CN111339149B - 一种基于耕地保护业务数据流的时空多维度大数据融合处理方法 - Google Patents

一种基于耕地保护业务数据流的时空多维度大数据融合处理方法 Download PDF

Info

Publication number
CN111339149B
CN111339149B CN202010200293.3A CN202010200293A CN111339149B CN 111339149 B CN111339149 B CN 111339149B CN 202010200293 A CN202010200293 A CN 202010200293A CN 111339149 B CN111339149 B CN 111339149B
Authority
CN
China
Prior art keywords
data
farmland protection
protection service
service data
farmland
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010200293.3A
Other languages
English (en)
Other versions
CN111339149A (zh
Inventor
崔树国
孙鸿睿
周晓宇
尹水镜
马海涛
侯琴
樊国堂
刘春洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningxia Hui Autonomous Region Natural Resources Survey Institute
Original Assignee
Ningxia Hui Autonomous Region Natural Resources Survey Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningxia Hui Autonomous Region Natural Resources Survey Institute filed Critical Ningxia Hui Autonomous Region Natural Resources Survey Institute
Priority to CN202010200293.3A priority Critical patent/CN111339149B/zh
Publication of CN111339149A publication Critical patent/CN111339149A/zh
Application granted granted Critical
Publication of CN111339149B publication Critical patent/CN111339149B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于耕地保护业务数据流的时空多维度大数据融合处理方法，包括如下步骤：S1、经各目标数据采集终端实现耕地保护业务数据流的采集；S2、基于时间信息以及空间信息实现耕地保护业务数据流的预分类；S3、采用Hadoop基于类间区分度的属性约简算法实现耕地保护业务数据的特征数据的提取；S4、基于LSSVM根据所述特征数据实现耕地保护业务数据的分类；S5、基于LSSVM输出的分类结果将对应的特征数据填充至模板对应的位置处，同时在该特征数据上建立其对应的耕地保护业务数据的超链接，实现耕地保护业务数据流的融合处理。本发明实现了耕地保护业务数据流的时空多维度的自动融合。

Description

一种基于耕地保护业务数据流的时空多维度大数据融合处理方法
技术领域
本发明涉及数据处理领域，具体涉及一种基于耕地保护业务数据流的时空多维度大数据融合处理方法。
背景技术
土地是人类赖以生存的物质基础，也是保障国家发展的重要资源。耕地作为土地资源的重要组成部分，是国家粮食安全和社会稳定发展的根本保障。
随着我国耕地保护体系的建立以及保护措施的实施推广，国家对地方落实耕地保护责任目标、贯彻各项耕地保护制度、实施耕地保护成效的考核和监管也将进一步加强，而目前，对耕地保护的监管更多地仍停留在程序和政策上的监管，较少关注技术和操作层面，监管手段比较单一、监督检查力度不够。为主动适应新形势下耕地保护要求，建立“政策+科技”的耕地保护动态监测监管体系，搭建耕地保护监测监管系统，加强耕地保护信息化建设，强化土地开发整治、耕地占补平衡等项目实施过程中耕地保护的全流程监测监管，对推进耕地保护体系不断完善，加快构建耕地数量、质量和生态“三位一体”保护，促进形成保护更加有力、执行更加顺畅、管理更加高效的耕地保护新格局具有重要意义。
针对海量耕地保护业务数据整合处理准备工作量极大，空间数据与业务数据的缺乏关联关系，对分析和应用造成很多不便的问题，本项目创新性地提出了基于时空多维度关系的大数据融合应用研究，研究开展了基于数据流图方法的耕地保护业务分析，通过对耕地保护要素等空间数据的抽取、缩编，实现针对业务的空间数据选择。开展了基于时空尺度转换模型以及空间分析模型的空间大数据与业务数据的转换与关联研究，实现了耕地保护工作中各类空间数据与相关业务数据的关联关系的建立。
发明内容
为解决上述问题，本发明提供了一种基于耕地保护业务数据流的时空多维度大数据融合处理方法，实现了耕地保护业务数据流的时空多维度的自动融合。
为实现上述目的，本发明采取的技术方案为：
一种基于耕地保护业务数据流的时空多维度大数据融合处理方法，包括如下步骤：
S1、经各目标数据采集终端实现耕地保护业务数据流的采集；
S2、基于时间信息以及空间信息实现耕地保护业务数据流的预分类；
S3、采用Hadoop基于类间区分度的属性约简算法实现耕地保护业务数据的特征数据的提取；
S4、基于LSSVM根据所述特征数据实现耕地保护业务数据的分类；
S5、基于LSSVM输出的分类结果将对应的特征数据填充至模板对应的位置处，同时在该特征数据上建立其对应的耕地保护业务数据的超链接，实现耕地保护业务数据流的融合处理。
进一步地，还包括剔除耕地保护业务数据流中图片数据的步骤。
进一步地，还包括基于one-stage_Inception_V2_coco模型实现图片数据的中目标数据识别的步骤。
进一步地，所述one-stage_Inception_V2_coco模型采用one-stage目标检测算法，用coco数据集预训练Inception_V2深度神经网络，然后用先前准备好的数据集训练该模型，微调深度神经网络中的各项参数，最后得到合适的用于对应区域耕地保护业务图片识别的检测模型。
进一步地，还包括根据数据分类的结果调用对应的数据分析模型根据所述特征数据实现耕地保护业务数据流分析，并将分析结果填入模板对应处的步骤。
进一步地，还包括根据图片数据识别的结果输出对应的文本数据的步骤。
本发明具有以下有益效果：
1）采用Hadoop基于类间区分度的属性约简算法实现耕地保护业务数据的特征数据的提取，大大提高了大规模数据的分析效率，从而可以将纷繁多样的海量数据转换成具有信息和商业价值的可用数据；然后基于LSSVM实现了耕地保护业务数据的自动分类，通过模板的设计以及超链接的设计实现了耕地保护业务数据流的时空多维度融合。
2）基于one-stage_Inception_V2_coco模型实现了图片数据的自动识别处理。
附图说明
图1为本发明实施例1一种基于耕地保护业务数据流的时空多维度大数据融合处理方法的流程图。
图2为本发明实施例2一种基于耕地保护业务数据流的时空多维度大数据融合处理方法的流程图。
图3为本发明实施例3一种基于耕地保护业务数据流的时空多维度大数据融合处理方法的流程图。
具体实施方式
为了阐述清楚本发明的思想方法，便于使用者掌握本发明的具体实施步骤 ，进而体会到本发明的优点与可能取得的社会效益，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施仅仅用以解释本发明，并不用于限定本发明。
实施例1
如图1所示，本发明实施例提供了一种基于耕地保护业务数据流的时空多维度大数据融合处理方法，包括如下步骤：
S1、经各目标数据采集终端实现耕地保护业务数据流的采集；
S2、基于时间信息以及空间信息实现耕地保护业务数据流的预分类；
S3、采用Hadoop基于类间区分度的属性约简算法实现耕地保护业务数据的特征数据的提取；
S4、基于LSSVM根据所述特征数据实现耕地保护业务数据的分类；
S5、基于LSSVM输出的分类结果将对应的特征数据填充至模板对应的位置处，同时在该特征数据上建立其对应的耕地保护业务数据的超链接，实现耕地保护业务数据流的融合处理。
实施例2
如图2所示，本发明实施例提供了一种基于耕地保护业务数据流的时空多维度大数据融合处理方法，包括如下步骤：
S1、经各目标数据采集终端实现耕地保护业务数据流的采集；
S2、基于时间信息以及空间信息实现耕地保护业务数据流的预分类；
S3、剔除每一类耕地保护业务数据流中的图片数据，基于one-stage_ Inception_V2_coco模型实现图片数据的中目标数据识别，并根据识别结果输出对应的文本数据，将输出的文本数据填充至模板对应的位置处，并在该文本数据上建立对应图片的超链接，通过点击该超链接即可实现对应图片的查看；
S4、采用Hadoop基于类间区分度的属性约简算法实现耕地保护业务数据的特征数据的提取；
S5、基于LSSVM根据所述特征数据实现耕地保护业务数据的分类；
S6、基于LSSVM输出的分类结果将对应的特征数据填充至模板对应的位置处，同时在该特征数据上建立其对应的耕地保护业务数据的超链接，实现耕地保护业务数据流的融合处理，通过点击该超链接，即可实现对应耕地保护业务数据的查看。
本实施例中，所述one-stage_Inception_V2_coco模型采用one-stage目标检测算法，用coco数据集预训练Inception_V2深度神经网络，然后用先前准备好的数据集训练该模型，微调深度神经网络中的各项参数，最后得到合适的用于对应区域耕地保护业务图片识别的检测模型。
实施例3
如图3所示，本发明实施例提供了一种基于耕地保护业务数据流的时空多维度大数据融合处理方法，包括如下步骤：
S1、经各目标数据采集终端实现耕地保护业务数据流的采集；
S2、基于时间信息以及空间信息实现耕地保护业务数据流的预分类；
S3、剔除每一类耕地保护业务数据流中的图片数据，基于one-stage_ Inception_V2_coco模型实现图片数据的中目标数据识别，具体的，首先识别耕地保护业务数据流中的图片数据，将属于一个时间信息及空间信息的图片信息放置在同一个数据库内，然后通过one-stage_ Inception_V2_coco模型实现图片数据的中目标数据识别，根据识别结果输出对应的文本数据，将输出的文本数据填充至模板对应的位置处，并在该文本数据上建立对应图片的超链接，通过点击该超链接即可实现对应图片的查看；
S4、采用Hadoop基于类间区分度的属性约简算法实现耕地保护业务数据的特征数据的提取；
S5、基于LSSVM根据所述特征数据实现耕地保护业务数据的分类；
S6、基于LSSVM输出的分类结果将对应的特征数据填充至模板对应的位置处，同时在该特征数据上建立其对应的耕地保护业务数据的超链接，通过点击该超链接，即可实现对应耕地保护业务数据的查看。
S7、根据数据分类的结果调用对应的数据分析模型根据所述特征数据实现耕地保护业务数据流分析，并将分析结果填入模板对应处。
本实施例中，所述one-stage_Inception_V2_coco模型采用one-stage目标检测算法，用coco数据集预训练Inception_V2深度神经网络，然后用先前准备好的数据集训练该模型，微调深度神经网络中的各项参数，最后得到合适的用于对应区域耕地保护业务图片识别的检测模型；所述分析模型采用Inception V3深度神经网络模型。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于耕地保护业务数据流的时空多维度大数据融合处理方法，其特征在于：包括如下步骤：
S1、经各目标数据采集终端实现耕地保护业务数据流的采集；
S2、基于时间信息以及空间信息实现耕地保护业务数据流的预分类；
S3、采用Hadoop基于类间区分度的属性约简算法实现耕地保护业务数据的特征数据的提取；
S4、基于LSSVM根据所述特征数据实现耕地保护业务数据的分类；
S5、基于LSSVM输出的分类结果将对应的特征数据填充至模板对应的位置处，同时在该特征数据上建立其对应的耕地保护业务数据的超链接，实现耕地保护业务数据流的融合处理。
2.如权利要求1所述的一种基于耕地保护业务数据流的时空多维度大数据融合处理方法，其特征在于：还包括剔除耕地保护业务数据流中图片数据的步骤。
3.如权利要求1所述的一种基于耕地保护业务数据流的时空多维度大数据融合处理方法，其特征在于：还包括基于one-stage_Inception_V2_coco模型实现图片数据的中目标数据识别的步骤。
4.如权利要求3所述的一种基于耕地保护业务数据流的时空多维度大数据融合处理方法，其特征在于：所述one-stage_Inception_V2_coco模型采用one-stage目标检测算法，用coco数据集预训练Inception_V2深度神经网络，然后用先前准备好的数据集训练该模型，微调深度神经网络中的各项参数，最后得到合适的用于对应区域耕地保护业务图片识别的检测模型。
5.如权利要求1所述的一种基于耕地保护业务数据流的时空多维度大数据融合处理方法，其特征在于：还包括根据数据分类的结果调用对应的数据分析模型根据所述特征数据实现耕地保护业务数据流分析，并将分析结果填入模板对应处的步骤。
6.如权利要求1所述的一种基于耕地保护业务数据流的时空多维度大数据融合处理方法，其特征在于：还包括根据图片数据识别的结果输出对应的文本数据的步骤。
CN202010200293.3A 2020-03-20 2020-03-20 一种基于耕地保护业务数据流的时空多维度大数据融合处理方法 Active CN111339149B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010200293.3A CN111339149B (zh) 2020-03-20 2020-03-20 一种基于耕地保护业务数据流的时空多维度大数据融合处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010200293.3A CN111339149B (zh) 2020-03-20 2020-03-20 一种基于耕地保护业务数据流的时空多维度大数据融合处理方法

Publications (2)

Publication Number Publication Date
CN111339149A CN111339149A (zh) 2020-06-26
CN111339149B true CN111339149B (zh) 2023-04-18

Family

ID=71186690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010200293.3A Active CN111339149B (zh) 2020-03-20 2020-03-20 一种基于耕地保护业务数据流的时空多维度大数据融合处理方法

Country Status (1)

Country Link
CN (1) CN111339149B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426461A (zh) * 2015-11-12 2016-03-23 中国科学院遥感与数字地球研究所 基于空间大数据进行知识挖掘的地图可视化系统及方法
CN106021751A (zh) * 2016-05-26 2016-10-12 上海海洋大学 基于ca和sar的海岸带土地利用变化模拟方法
CN107273820A (zh) * 2017-05-26 2017-10-20 中国科学院遥感与数字地球研究所 一种土地覆盖遥感分类方法及系统
CN107784283A (zh) * 2017-10-24 2018-03-09 防灾科技学院 面向对象的无人机高分影像煤火区土地覆被分类方法
CN110189043A (zh) * 2019-06-04 2019-08-30 中国地质大学（北京） 一种基于高分卫星遥感数据的可利用土地资源分析系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426461A (zh) * 2015-11-12 2016-03-23 中国科学院遥感与数字地球研究所 基于空间大数据进行知识挖掘的地图可视化系统及方法
CN106021751A (zh) * 2016-05-26 2016-10-12 上海海洋大学 基于ca和sar的海岸带土地利用变化模拟方法
CN107273820A (zh) * 2017-05-26 2017-10-20 中国科学院遥感与数字地球研究所 一种土地覆盖遥感分类方法及系统
CN107784283A (zh) * 2017-10-24 2018-03-09 防灾科技学院 面向对象的无人机高分影像煤火区土地覆被分类方法
CN110189043A (zh) * 2019-06-04 2019-08-30 中国地质大学（北京） 一种基于高分卫星遥感数据的可利用土地资源分析系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于对象的高分辨率遥感影像土地利用变化检测技术研究;劳小敏;《中国优秀硕士学位论文全文数据库 经济与管理科学辑》;20131015(第10(2013)期);J149-3，第4.1-4.2，5.1-5.2节 *
基于类间区分度的属性约简方法;饶亚 等;《计算机科学与探索》;20180716;第13卷(第08期);1422-1430，第1-5节 *

Also Published As

Publication number Publication date
CN111339149A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN111928888B (zh) 一种水域污染智能监控分析方法及系统
CN109218223B (zh) 一种基于主动学习的鲁棒性网络流量分类方法及系统
CN104954210B (zh) 配电通信网中的不同业务类型与无线通信方式的匹配方法
CN112367273A (zh) 基于知识蒸馏的深度神经网络模型的流量分类方法及装置
CN110334602A (zh) 一种基于卷积神经网络的人流量统计方法
CN110189057A (zh) 一种食品生产企业风险分级预警系统及方法
CN111598700A (zh) 一种金融风控系统及方法
CN111339149B (zh) 一种基于耕地保护业务数据流的时空多维度大数据融合处理方法
CN107507104A (zh) 一种基于互联网的建设咨询服务管理系统
CN112486676B (zh) 一种基于边缘计算的数据共享分发装置
CN110516101A (zh) 一种基于大数据挖掘的林业一张图建立方法及装置
CN109670599A (zh) 一种基于深度学习的sdn应用识别方法
CN109146569A (zh) 一种基于决策树的通信用户退网预测方法
CN117371945A (zh) 一种环境产业的一站式大数据管理服务平台
CN101764754A (zh) 基于dpi和dfi的业务识别系统中的样本获取方法
CN115147703B (zh) 一种基于GinTrans网络的垃圾分割方法及系统
Kulkarni et al. CDEF: Conceptual data extraction framework for heterogeneous data
CN107566372B (zh) 大数据环境下基于特征值反馈的安全数据采集优化方法
CN111931874B (zh) 基于深度学习和数据聚类的伴随式诱饵生成方法及装置
CN106485412B (zh) 一种变电站图像智能分析层次化多任务分布式计算方法
CN109918558A (zh) 一种基于爬取技术的大数据采集接口及采集方法
CN113326156A (zh) 基于人工智能的物联网数据资源的采集分析方法
CN116170829B (zh) 一种独立专网业务的运维场景识别方法及装置
CN109241135A (zh) 一种智能抽取数据的挖掘系统
CN107277183A (zh) 基于云计算的数据分析装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant