CN113065051A - 一种可视化农业大数据分析交互系统 - Google Patents

Abstract

本发明提供一种可视化农业大数据分析交互系统，涉及智慧农业领域。本发明通过农业大数据抓取系统对互联网上现存web服务器的，且是公开的农业数据进行合法的抓取，抓取数据类别包括：农业资讯、农业政策、投资资讯、产量数据、消费链数据等，并对这些数据进行可视化处理，让使用者能多方位、跟踪式地对农业数据进行可视化观察，对农业大数据进行广度和深度覆盖；通过农业资讯大数据可视化系统对文本化的农业资讯信息进行集中且自动更新，自动维护的展示，农业生产大数据可视化系统通过气泡图能对农业生产过程中的数据进行直观的展示，农产品消费链大数据可视化系统通过桑基图对农产品销售过程进行追踪式的展示。

Description

一种可视化农业大数据分析交互系统

技术领域

本发明涉及智慧农业领域，尤其涉及一种可视化农业大数据分析交互系统。

背景技术

随着智慧农业的普及和发展，农业生产销售过程中产生了大量的数据，这些数据本身不具备什么具体意义，但是将这些数据进行整合分析以后，能得到许多指导性的信息，例如：统计历年的棉花产量和价格曲线的对应关系，就可以通过今年棉花的价格曲线推测棉花产量，但是这些数据不经处理直接观察的话，很难发现其中的联系和作用，但将这些数据以视图的方式直观体现的化话，其中的规律和发展趋势便变得一目了然。

针对农业大数据可视化，公开号为CN112269956A的发明专利申请提供了一种本发明提供了一种基于机器学习引擎的农业大数据搜索结果呈现的方法，该方法包括：基于用户的当前搜索词，在农业大数据库中搜索到与所属当前搜索词匹配的农业信息，并附带的将搜索结果以过程逻辑可视化的方法呈现，即本装置对农业信息搜索过程的质量以准确度、相关度、过滤度、成熟度、新鲜度五大维度进行评估，以量化评分的形式在搜索结果中附加呈现，同时，本发明针对农业大数据搜索，提供了一种机器学习引擎装置，该装置可以为农业大数据搜索结果过程逻辑可视化提供技术支撑。

上述申请对数字化的数据具有较直观的展示，但是，农业领域的大数据包括的不只是数字化的数据，例如在农业生产前，国家的政策部署、企业的投资资讯、区域性的灾害气候讯息都是对农业生产起着指导性作用，又如，农业生产后的销售加工环节，我们关系的是农产品的销售去向以及加工去向，这些通过简单的数字数据加工难以进行直观的展示，且数据来源依靠已存在的统计数据，无法做到数据与时俱进，无法做到对数据进行自我更新和扩展。

因此，有必要提供一种新的，能分别对农业资讯大数据、农业生产大数据、农产品消费链大数据进行直观可视化展示，且具备数据自我更新扩展的一种可视化农业大数据分析交互系统来解决上述技术问题。

发明内容

为解决上述技术问题，本发明提供一种可视化农业大数据分析交互系统，涉及智慧农业领域。所述可视化农业大数据分析交互包括农业大数据抓取系统、农业资讯大数据可视化系统、农业生产大数据可视化系统、农产品消费链大数据可视化系统和可视化交互系统，本发明通过农业大数据抓取系统对互联网上现存web服务器的，且是公开的农业数据进行合法的抓取，抓取数据类别包括：农业资讯、农业政策、投资资讯、产量数据、消费链数据等，并对这些数据进行可视化处理，使使用者能多方位、跟踪式地对农业数据进行可视化观察，对农业大数据进行广度和深度覆盖；通过农业资讯大数据可视化系统对文本化的农业资讯信息进行集中且自动更新，自动维护的展示，农业生产大数据可视化系统通过气泡图能对农业生产过程中的数据进行直观的展示，农产品消费链大数据可视化系统通过桑基图对农产品销售过程进行追踪式的展示。

本发明提供的一种可视化农业大数据分析交互系统，包括农业大数据抓取系统、农业资讯大数据可视化系统、农业生产大数据可视化系统、农产品消费链大数据可视化系统和可视化交互系统。

作为更加具体的解决方案，所述农业大数据抓取系统通过数据爬虫对互联网上现存web服务器的，且是公开的农业数据进行合法的抓取、过滤和存储操作。

作为更加具体的解决方案，所述农业大数据抓取系统包括农业资讯数据抓取端、农业生产数据抓取端、农产品消费链数据抓取端和大数据存储端。

作为更加具体的解决方案，所述大数据存储端包括Redis数据库和Hadoop数据库，所述大数据存储端用于对农业资讯数据抓取端、农业生产数据抓取端和农产品消费链数据抓取端产生的数据进行分类存储。

作为更加具体的解决方案，所述农业资讯数据抓取端用于抓取指定权威资讯站点上农业领域的资讯信息并保存至大数据存储端的Redis数据库中，且定时对Redis数据库中的数据进行更新。

作为更加具体的解决方案，所述农业生产数据抓取端用于抓取互联网上农业生产领域的数据信息，并将数据信息对应的对象、数值和单位进行解析并保存至Hadoop数据库中；

所述农产品消费链数据抓取端用于抓取指定根数据源站点上的农产品消费链数据，且通过消费链数据构建溯源链表并保存至Hadoop数据库中。

作为更加具体的解决方案，所述农业资讯大数据可视化系统将所述农业资讯数据抓取端提供的农业领域的资讯信息按照地域、内容和发布日期进行分类可视化显示。

作为更加具体的解决方案，所述农业生产大数据可视化系统将所述农业生产数据抓取端抓取的农业生产大数据通过整理分类形成气泡图，并对进行可视化显示。

作为更加具体的解决方案，所述农产品消费链大数据可视化系统将所述农产品消费链数据抓取端提供的农产品消费链数据通过桑基图进行可视化显示。

作为更加具体的解决方案，所述可视化交互系统能提取农业资讯关键词、农业生产关键词和农产品消费链关键词，并将关键词进行关联串接，通过关联串结构建交互超链接。

作为更加具体的解决方案，所述农业资讯数据抓取端用于对现存web服务器的，且是公开的农业资讯信息进行合法的抓取，所述农业资讯数据抓取端为增量式网络爬虫端，包括页面爬行模块、初始URL集合、URL子集合、Hash去重模块、临时保存区、查重区、Rdis数据库和调度模块，所述调度模块将页面爬行模块、初始URL集合、URL子集合、Hash去重模块、临时保存区、查重区和Rdis数据库按照如下步骤进行调度：

S1通过页面爬行模块对初始URL集合中的目标URL进行内容爬取，并筛取关键内容保存至临时保存区；

S2调度Hash去重模块对临时保存区中的每一个关键内容分别进行Hash赋值并得到关键内容的Hash指针；

S3得到目标URL关键内容的所有Hash指针后，通过关键内容的Hash指针集合生成目标URL的Hash值；

S4将目标URL的Hash作为key元素，目标URL中所有关键内容作为value元素保存到Rdis数据库中，并更新key_value对照表；

S5对初始URL集合中所有目标URL进行S1至S4步骤，生成初始URL集合的key_value对照表；

S6通过页面爬行模块遍历爬取初始URL集合中所有子URL，并将所有子URL作为目标URL保存至URL子集合中；

S7对URL子集合中所有目标URL进行S1至S4步骤，并生成URL子集合的key_value对照表；

S8通过页面爬行模块爬取所有目标URL的历史更新频率，将平均每24小时更新不小于一次的目标URL保存至快URL集中，将平均每24小时更新小于一次的目标URL保存至慢URL集中；

S9通过页面爬行模块对快URL集中的目标URL每1个小时进行一次关键内容爬取，对慢URL集中的目标URL每6个小时进行一次关键内容爬取，并保存至查重区；

S10调度Hash去重模块对临时保存区中的每一个关键内容分别进行Hash赋值并得到关键内容的查重Hash指针；

S11得到目标URL关键内容的所有查重Hash指针后，通过关键内容的查重Hash指针集合生成目标URL的查重Hash值；

S12将目标URL的查重Hash值和保存在Rdis数据库中的指针进行比对，若相同，则目标URL的关键内容并未发生变化；若不相同，则目标URL的关键内容发生变化；

S13将关键内容发生变化的目标URL的查重Hash值作为key元素替换Rdis数据库中原有的key元素，将发生变化的关键内容作为value元素替换替换Rdis数据库中原有的value元素，并更新key_value对照表；

S14重复S1至S13步骤，历遍所有初始URL集合和URL子集合，保持更新。

作为更加具体的解决方案，所述农业生产数据抓取端用于对现存web服务器的，且是公开的农业生产过程中产生的信息进行合法的抓取，所述农业生产数据抓取端为聚焦式网络爬虫端，包括页面爬行模块、主题语意词典、关键词过滤器、数值解析器、URL检索器、临时保存区、待爬URL队列、Hadoop数据库和调度模块；所述调度模块将页面爬行模块、主题语意词典，关键词过滤器，数值解析器，初始URL集合，待爬URL队列、Hadoop数据库按照如下步骤进行调度：

S15将农业生产主题的语意树保存至主题语意词典中；

S16通过URL检索器按照农业生产主题的语意树的层次关系进行分层语意检索，并将内容符合当前检索语意的URL保存至待爬URL队列中；

S17通过页面爬行模块对待爬URL队列中的目标URL进行文本内容爬取，并将重要文本内容保存至临时保存区；

S18关键词过滤器对临时保存区中的重要本文进行关键词检索；

S19将含有目标关键词的重要本文送至数值解析器，数值解析器将关键词对应的数值和单位进行解析并保存至Hadoop数据库。

作为更加具体的解决方案，农产品消费链数据抓取端用于对现存web服务器的，且是公开的农产品在消费链流通所产生的信息进行合法的抓取，农产品消费链数据抓取端是深层式网络爬虫端，包括页面爬行模块、根URL集、URL子集、数据过滤器、区块链追溯模块、Hadoop数据库、溯源链表和调度模块；所述调度模块将页面爬行模块、根URL集、URL子集、数据过滤器、Hash追溯模块、溯源链表和Hadoop数据库按照如下步骤进行调度：

S20选取根URL集中的一个根URL作为目标URL；

S21通过页面爬行模块对目标URL进行关键内容识别，并将关键内容保存至临时保存区；

S22数据过滤器对临时保存区中的关键内容进行数据过滤，通过主词确定数据对象，通过副词确定对象流向，并保存至Hadoop数据库中；

S23通过Hash追溯模块为每一个数据对象生成对应Hash指针；

S24通过页面爬行模块爬取当前目标URL中包含的子URL，并保存至URL子集中；

S25选取URL子集中的一个子URL作为目标URL；

S26执行S21至S24步骤直至目标URL中再无子URL；

S27通过Hash指针生成追溯链末端Hash值；

S28将末端Hash值写入溯源链表中，并保存至Hadoop数据库中；

S29通过执行S20至S28步骤遍历根URL所有子URL的指针路径，直至描绘出根URL集中每一个根URL的子URL的指针路径；

S30通过溯源链表的Hash指针指向关系生成Merkle树。

作为更加具体的解决方案，所述农业资讯数据抓取端通过农业资讯大数据可视化系统进行分类可视化显示，所述农业资讯数据抓取端包括分类栏、条目栏和显示栏，所述分类栏包括地域选项、内容选项和发布日期选项，所述条目栏用于显示资讯选项条目，所述显示栏用于显示选项条目内容。

作为更加具体的解决方案，所述分类可视化显示包括如下步骤：

S31通过key_value对照表找到所有选项条目的key元素；

S32通过key元素中保存的Hash值找到Hash时间戳；

S33根据Hash时间戳确定选项条目的发布日期；

S34通过key_value对照表找到所有选项条目的value元素；

S35通过value元素确定选项条目的关键内容；

S36通过地域关键词和对内容关键词对选项条目的关键内容进行检索；

S37若在选项条目的关键内容中检索到与地域关键词匹配的词条，则为选项条目贴上对应的地域标签；

S38若在选项条目的关键内容中检索到与内容关键词匹配的词条，则为选项条目贴上对应的内容标签；

S39通过分类栏获取用户地域选项、内容选项和发布日期的设定值；

S40将地域标签、内容标签和发布日期满足地域选项、内容选项和发布日期的设定值的选项条目通过条目栏进行显示；

S41将用户选中的选项条目通过显示栏进行具体内容显示。

作为更加具体的解决方案，所述农业生产大数据可视化系统通过如下步骤得到农业生产大数据的气泡图：

S42读取Hadoop数据库中农业生产大数据；

S43为农业生产大数据中每一个关键词建立一个气泡项；

S44将关键词对应数值的单位进行单位统一化；

S45将统一后的数值和单位植入对应关键词的气泡项参数中；

S46将每一个气泡项按照对应参数进行逐一显示。

作为更加具体的解决方案，所述农产品消费链大数据可视化系统通过如下步骤得到农产品消费链大数据的桑基图：

S47读取Hadoop数据库中农产品消费链数据；

S48为每一个主词建立一个数据对象；

S49通过主词对应的副词确定数据对象的数据流向；

S50将数据对象作为桑基图中的起始对象，通过数据流向确定桑基图的流量路径；

S51将起始对象和流量路径进行可视化显示。

作为更加具体的解决方案，所述可视化交互系统是基于光标控制的交互系统，包括光标、关联词和可视化项；所述光标用于选择用户想要进行可视化的关联词，关联词用于对显示内容进行归类，可视化项通过光标点击关联词进行调用，所述可视化项包括资讯、生产和消费链。

与相关技术相比较，本发明提供的用于一种可视化农业大数据分析交互系统具有如下有益效果：

1、本发明通过农业大数据抓取系统对互联网上现存web服务器的，且是公开的农业数据进行合法的抓取，抓取数据类别包括：农业资讯、农业政策、投资资讯、产量数据、消费链数据等，并对这些数据进行可视化处理，使使用者能多方位、跟踪式地对农业数据进行可视化观察，对农业大数据进行广度和深度覆盖；

2、本发明通过农业资讯大数据可视化系统对文本化的农业资讯信息进行集中且自动更新，自动维护的展示，农业生产大数据可视化系统通过气泡图能对农业生产过程中的数据进行直观的展示，农产品消费链大数据可视化系统通过桑基图对农产品销售过程进行追踪式的展示；

3、本发明利用Redis数据库的去重特性对需要进行增量更新的农业资讯信息进行保存，对体量大，处理难度高的农业生产大数据和农产品消费链大数据通过Hadoop数据库进行保存极大的提高了系统的反应速度和鲁棒性。

附图说明

图1为本发明提供的一种可视化农业大数据分析交互系统的较佳实施例系统流程图；

图2为本发明提供的农业资讯大数据可视化系统的较佳实施例示意图；

图3为本发明提供的农业生产大数据可视化系统的较佳实施例示意图；

图4为本发明提供的农产品消费链大数据可视化系统的较佳实施例示意图。

具体实施方式

下面结合附图和实施方式对本发明作进一步说明。

如图1至图4所示，本发明提供的一种可视化农业大数据分析交互系统，包括农业大数据抓取系统、农业资讯大数据可视化系统、农业生产大数据可视化系统、农产品消费链大数据可视化系统和可视化交互系统。

作为本实施例更进一步的解决方案，如图1所示，所述农业大数据抓取系统通过数据爬虫对互联网上现存web服务器的，且是公开的农业数据进行合法的抓取、过滤和存储操作；所述农业大数据抓取系统包括农业资讯数据抓取端、农业生产数据抓取端、农产品消费链数据抓取端和大数据存储端；所述大数据存储端包括Redis数据库和Hadoop数据库，所述大数据存储端用于对农业资讯数据抓取端、农业生产数据抓取端和农产品消费链数据抓取端产生的数据进行分类存储；所述农业资讯数据抓取端用于抓取指定权威资讯站点上农业领域的资讯信息并保存至大数据存储端的Redis数据库中，且定时对Redis数据库中的数据进行更新；所述农业生产数据抓取端用于抓取互联网上农业生产领域的数据信息，并将数据信息对应的对象、数值和单位进行解析并保存至Hadoop数据库中；所述农产品消费链数据抓取端用于抓取指定根数据源站点上的农产品消费链数据，且通过消费链数据构建溯源链表并保存至Hadoop数据库中；所述农业资讯大数据可视化系统将所述农业资讯数据抓取端提供的农业领域的资讯信息按照地域、内容和发布日期进行分类可视化显示；所述农业生产大数据可视化系统将所述农业生产数据抓取端抓取的农业生产大数据通过整理分类形成气泡图，并对进行可视化显示；所述农产品消费链大数据可视化系统将所述农产品消费链数据抓取端提供的农产品消费链数据通过桑基图进行可视化显示；所述可视化交互系统能提取农业资讯关键词、农业生产关键词和农产品消费链关键词，并将关键词进行关联串接，通过关联串结构建交互超链接。

具体的，农业生产销售过程可分为前期政策投资引导层，中期农业生产层和后期的农产品消费加工的消费链层，不管是在前期的政策投资引导还是后期的农产品消费加工环节都会产生海量的农业大数据，而每一层的大数据有不同的数据特点：

对于第一层前期政策投资引导层，这些方面的数据往往是存在于一些权威的发布机构的网站上，例如农业资讯网、现代农业投资网、三农资讯网等，这些网站每天都会更新许多新鲜的农业资讯，涵盖农业政策，农业投资，农业趋势等等，针对这些网站的大数据采集，我们需要采用“集中采集”和“增量采集”，所谓“集中采集”就是对权威网址上的农业资讯进行详尽细致的采集，这样能做到排除虚假资讯和无用资讯的问题，而“增量采集”是指我们关心的是具备时效的资讯，这些资讯往往是近期更新或者近期新发布的，我们针对这些数据需要保持实时更新，以便实时掌握最新资讯，要实现“集中采集”和“增量采集”，本实施例采用的方法是通过基于增量式网络爬虫的农业资讯数据抓取端来实现的。

作为本实施例更进一步的解决方案，所述农业资讯数据抓取端用于对现存web服务器的，且是公开的农业资讯信息进行合法的抓取，所述农业资讯数据抓取端为增量式网络爬虫端，包括页面爬行模块、初始URL集合、URL子集合、Hash去重模块、临时保存区、查重区、Rdis数据库和调度模块。

需要说明的是：页面爬行模块能对目标URL对应的页面进行数据爬取，是数据爬虫的核心模块，初始URL集合中保存着如：农业资讯网、现代农业投资网、三农资讯网等权威农业资讯发布网站的URL，而URL子集合是用于对初始URL集合中的子URL进行深挖保证深度资讯也被爬取的关键所在，Hash去重模块是实现增量保存的关键，原理可以简述为：通过页面爬行模块对目标URL进行内容爬取，爬取的内容可分为无效内容和关键内容，无效内容指的是一些广告、页面设置、装饰栏等，关键内容指的是如：资讯标题、正文内容等具备实质内容价值的内容，这些内容也通常存在于页面的内容框和title里，我们爬取关键内容并保存至临时保存区，而Hash去重模块会为每一个重要内容一个Hash指针，再根据关键内容的Hash指针集合生成目标URL的Hash值，并将目标URL的Hash作为key元素，目标URL中所有关键内容作为value元素保存到Rdis数据库中，并更新key_value对照表，当URL对应的关键内容发生变化以后，对应的URL的Hash值也发生了变化，此时通过key_value就能找出Hash值发生变化的URL，由于Rdis数据库能自动删除重复的部分，所以我们直接将现在的所有关键内容作为value元素保存到Rdis数据库中，不需要检查，Rdis数据库就能将重复的部分删除，至更新发生变化的部分或者新增的部分。

作为本实施例更进一步的解决方案，所述调度模块将页面爬行模块、初始URL集合、URL子集合、Hash去重模块、临时保存区、查重区和Rdis数据库按照如下步骤进行调度：

S1通过页面爬行模块对初始URL集合中的目标URL进行内容爬取，并筛取关键内容保存至临时保存区；

S2调度Hash去重模块对临时保存区中的每一个关键内容分别进行Hash赋值并得到关键内容的Hash指针；

S3得到目标URL关键内容的所有Hash指针后，通过关键内容的Hash指针集合生成目标URL的Hash值；

S4将目标URL的Hash作为key元素，目标URL中所有关键内容作为value元素保存到Rdis数据库中，并更新key_value对照表；

S5对初始URL集合中所有目标URL进行S1至S4步骤，生成初始URL集合的key_value对照表；

S6通过页面爬行模块遍历爬取初始URL集合中所有子URL，并将所有子URL作为目标URL保存至URL子集合中；

S7对URL子集合中所有目标URL进行S1至S4步骤，并生成URL子集合的key_value对照表；

S8通过页面爬行模块爬取所有目标URL的历史更新频率，将平均每24小时更新不小于一次的目标URL保存至快URL集中，将平均每24小时更新小于一次的目标URL保存至慢URL集中；

S9通过页面爬行模块对快URL集中的目标URL每1个小时进行一次关键内容爬取，对慢URL集中的目标URL每6个小时进行一次关键内容爬取，并保存至查重区；

S10调度Hash去重模块对临时保存区中的每一个关键内容分别进行Hash赋值并得到关键内容的查重Hash指针；

S11得到目标URL关键内容的所有查重Hash指针后，通过关键内容的查重Hash指针集合生成目标URL的查重Hash值；

S12将目标URL的查重Hash值和保存在Rdis数据库中的指针进行比对，若相同，则目标URL的关键内容并未发生变化；若不相同，则目标URL的关键内容发生变化；

S13将关键内容发生变化的目标URL的查重Hash值作为key元素替换Rdis数据库中原有的key元素，将发生变化的关键内容作为value元素替换替换Rdis数据库中原有的value元素，并更新key_value对照表；

S14重复S1至S13步骤，历遍所有初始URL集合和URL子集合，保持更新。

作为本实施例更进一步的解决方案，所述农业生产数据抓取端用于对现存web服务器的，且是公开的农业生产过程中产生的信息进行合法的抓取，所述农业生产数据抓取端为聚焦式网络爬虫端，包括页面爬行模块、主题语意词典、关键词过滤器、数值解析器、URL检索器、临时保存区、待爬URL队列、Hadoop数据库和调度模块。

需要说明的是：聚焦式网络爬虫端与增量式网络爬虫端不同，它关心的是一个主题或者领域的浅层信息，当将第一层的信息采集完成后才会对下一层的信息进行采集，采用聚焦式网络爬虫端是考虑到了像甘肃省土豆产量、江苏省西红柿产量、台湾省凤梨产量这些信息通常不存在于一个或者几个网站中，通常是零碎分布在各个农业相关的网站中，对此我们就得采用广撒网、网状扩张的方式进行爬取，主题语意词典用于将需要爬取的主题词放入，这里我们选取的农业生产主题的语意树安层次的先后顺序包括蔬菜，水果，谷物等，蔬菜类别下面又包括大头菜，油麦菜等，像树一样慢慢展开，关键词过滤器类似于百度搜索的关键词检索，可以通过百度，360搜索等提供的API进行使用，通过关键词过滤器对主题语意词典中的主题词进行检索能发掘与主题词关联的URL，将这些URL加入待爬URL队列中，页面爬行模块对待爬URL队列中的文本内容进行爬取，数值解析器对关键词对应的数值和单位进行解析并保存至Hadoop数据库，单位包括万吨、吨、千克等，如“甘肃省进行生产土豆3800万吨”，数值解析器就能解析关键词“土豆”，数值“3800”，单位“万吨”，由于这些数据量大，且需要统一单位和进行数据分析，本实施例采用Hadoop数据库对数据进行保存。

作为本实施例更进一步的解决方案，所述调度模块将页面爬行模块、主题语意词典、关键词过滤器、数值解析器、URL检索器、临时保存区、待爬URL队列、Hadoop数据库按照如下步骤进行调度：

S15将农业生产主题的语意树保存至主题语意词典中；

S16通过URL检索器按照农业生产主题的语意树的层次关系进行分层语意检索，并将内容符合当前检索语意的URL保存至待爬URL队列中；

S17通过页面爬行模块对待爬URL队列中的目标URL进行文本内容爬取，并将重要文本内容保存至临时保存区；

S18关键词过滤器对临时保存区中的重要本文进行关键词检索；

S19将含有目标关键词的重要本文送至数值解析器，数值解析器将关键词对应的数值和单位进行解析并保存至Hadoop数据库。

作为本实施例更进一步的解决方案，农产品消费链数据抓取端用于对现存web服务器的，且是公开的农产品在消费链流通所产生的信息进行合法的抓取，农产品消费链数据抓取端是深层式网络爬虫端，包括页面爬行模块、根URL集、URL子集、数据过滤器、区块链追溯模块、Hadoop数据库、溯源链表和调度模块。

需要说明的是：深层式网络爬虫端又与聚焦式网络爬虫端和增量式网络爬虫端不同，它关注的是数据的流动和去向，它会将一个根URL挖缺到底直到再无子URL出现，这个和农产品消费链不谋而合，农产品消费链也是从产出、加工最后到消费者手里也是一条线走到底，所以我们通过深层式网络爬虫端对消费链大数据进行爬取，根URL集中保存着一些端口数据的URL，例如一些供应链公司的公开URL，通过这些根URL我们能爬取到农产品的来源，通过页面爬行模块能爬取根URL的内容和包括的子URL，子URL中通常包括农产品的去向；加工成什么制品；销往哪里；每一级通常对应一级的子URL，我们通过对每一级的URL生成Hash值，就能得到农产品的流量结构，并生成Merkle树。

所述调度模块将页面爬行模块、根URL集、URL子集、数据过滤器、Hash追溯模块、溯源链表和Hadoop数据库按照如下步骤进行调度：

S20选取根URL集中的一个根URL作为目标URL；

S21通过页面爬行模块对目标URL进行关键内容识别，并将关键内容保存至临时保存区；

S22数据过滤器对临时保存区中的关键内容进行数据过滤，通过主词确定数据对象，通过副词确定对象流向，并保存至Hadoop数据库中；

S23通过Hash追溯模块为每一个数据对象生成对应Hash指针；

S24通过页面爬行模块爬取当前目标URL中包含的子URL，并保存至URL子集中；

S25选取URL子集中的一个子URL作为目标URL；

S26执行S21至S24步骤直至目标URL中再无子URL；

S27通过Hash指针生成追溯链末端Hash值；

S28将末端Hash值写入溯源链表中，并保存至Hadoop数据库中；

S29通过执行S20至S28步骤遍历根URL所有子URL的指针路径，直至描绘出根URL集中每一个根URL的子URL的指针路径；

S30通过溯源链表的Hash指针指向关系生成Merkle树。

作为本实施例更进一步的解决方案，如图2所示，所述农业资讯数据抓取端通过农业资讯大数据可视化系统进行分类可视化显示，所述农业资讯数据抓取端包括分类栏、条目栏和显示栏，所述分类栏包括地域选项、内容选项和发布日期选项，所述条目栏用于显示资讯选项条目，所述显示栏用于显示选项条目内容。

作为本实施例更进一步的解决方案，所述分类可视化显示包括如下步骤：

S31通过key_value对照表找到所有选项条目的key元素；

S32通过key元素中保存的Hash值找到Hash时间戳；

S33根据Hash时间戳确定选项条目的发布日期；

S34通过key_value对照表找到所有选项条目的value元素；

S35通过value元素确定选项条目的关键内容；

S36通过地域关键词和对内容关键词对选项条目的关键内容进行检索；

S37若在选项条目的关键内容中检索到与地域关键词匹配的词条，则为选项条目贴上对应的地域标签；

S38若在选项条目的关键内容中检索到与内容关键词匹配的词条，则为选项条目贴上对应的内容标签；

S39通过分类栏获取用户地域选项、内容选项和发布日期的设定值；

S40将地域标签、内容标签和发布日期满足地域选项、内容选项和发布日期的设定值的选项条目通过条目栏进行显示；

S41将用户选中的选项条目通过显示栏进行具体内容显示。

作为本实施例更进一步的解决方案，如图3所示，所述农业生产大数据可视化系统通过如下步骤得到农业生产大数据的气泡图：

S42读取Hadoop数据库中农业生产大数据；

S43为农业生产大数据中每一个关键词建立一个气泡项；

S44将关键词对应数值的单位进行单位统一化；

S45将统一后的数值和单位植入对应关键词的气泡项参数中；

S46将每一个气泡项按照对应参数进行逐一显示。

作为本实施例更进一步的解决方案，如图4所示，所述农产品消费链大数据可视化系统通过如下步骤得到农产品消费链大数据的桑基图：

S47读取Hadoop数据库中农产品消费链数据；

S48为每一个主词建立一个数据对象；

S49通过主词对应的副词确定数据对象的数据流向；

S50将数据对象作为桑基图中的起始对象，通过数据流向确定桑基图的流量路径；

S51将起始对象和流量路径进行可视化显示。

作为本实施例更进一步的解决方案，所述可视化交互系统是基于光标控制的交互系统，包括光标、关联词和可视化项；所述光标用于选择用户想要进行可视化的关联词，关联词用于对显示内容进行归类，可视化项通过光标点击关联词进行调用，所述可视化项包括资讯、生产和消费链。

需要说明的是：以农业资讯大数据可视化系统为例，当农业资讯大数据可视化系统显示一条资讯的内容是“甘肃省进行生产土豆3800万吨”，“土豆”作为关联词，当用户将鼠标移动到“土豆”上并点击，文字下方就会出现“资讯”、“生产”和“消费链”三个可视化项，点击“资讯”就会出现与土豆相关的资讯信息，点击“生产”就会出现土豆相关的气泡图，当点击“消费链”时，就会出现土豆的桑基图。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种可视化农业大数据分析交互系统，其特征在于，包括农业大数据抓取系统、农业资讯大数据可视化系统、农业生产大数据可视化系统、农产品消费链大数据可视化系统和可视化交互系统；

所述农业大数据抓取系统通过数据爬虫对互联网上现存web服务器的，且是公开的农业数据进行合法的抓取、过滤和存储操作；所述农业大数据抓取系统包括农业资讯数据抓取端、农业生产数据抓取端、农产品消费链数据抓取端和大数据存储端；

所述大数据存储端包括Redis数据库和Hadoop数据库，所述大数据存储端用于对农业资讯数据抓取端、农业生产数据抓取端和农产品消费链数据抓取端产生的数据进行分类存储；

所述农业资讯数据抓取端用于抓取指定权威资讯站点上农业领域的资讯信息并保存至大数据存储端的Redis数据库中，且定时对Redis数据库中的数据进行更新；

所述农业生产数据抓取端用于抓取互联网上农业生产领域的数据信息，并将数据信息对应的对象、数值和单位进行解析并保存至Hadoop数据库中；

所述农产品消费链数据抓取端用于抓取指定根数据源站点上的农产品消费链数据，且通过消费链数据构建溯源链表并保存至Hadoop数据库中；

所述农业资讯大数据可视化系统将所述农业资讯数据抓取端提供的农业领域的资讯信息按照地域、内容和发布日期进行分类可视化显示；

所述农业生产大数据可视化系统将所述农业生产数据抓取端抓取的农业生产大数据通过整理分类形成气泡图，并对进行可视化显示；

所述农产品消费链大数据可视化系统将所述农产品消费链数据抓取端提供的农产品消费链数据通过桑基图进行可视化显示；

所述可视化交互系统能提取农业资讯关键词、农业生产关键词和农产品消费链关键词，并将关键词进行关联串接，通过关联串结构建交互超链接。

2.根据权利要求1所述的一种可视化农业大数据分析交互系统，其特征在于，所述农业资讯数据抓取端用于对现存web服务器的，且是公开的农业资讯信息进行合法的抓取，所述农业资讯数据抓取端为增量式网络爬虫端，包括页面爬行模块、初始URL集合、URL子集合、Hash去重模块、临时保存区、查重区、Rdis数据库和调度模块，所述调度模块将页面爬行模块、初始URL集合、URL子集合、Hash去重模块、临时保存区、查重区和Rdis数据库按照如下步骤进行调度：

S1通过页面爬行模块对初始URL集合中的目标URL进行内容爬取，并筛取关键内容保存至临时保存区；

S2调度Hash去重模块对临时保存区中的每一个关键内容分别进行Hash赋值并得到关键内容的Hash指针；

S3得到目标URL关键内容的所有Hash指针后，通过关键内容的Hash指针集合生成目标URL的Hash值；

S4将目标URL的Hash作为key元素，目标URL中所有关键内容作为value元素保存到Rdis数据库中，并更新key_value对照表；

S5对初始URL集合中所有目标URL进行S1至S4步骤，生成初始URL集合的key_value对照表；

S6通过页面爬行模块遍历爬取初始URL集合中所有子URL，并将所有子URL作为目标URL保存至URL子集合中；

S7对URL子集合中所有目标URL进行S1至S4步骤，并生成URL子集合的key_value对照表；

S8通过页面爬行模块爬取所有目标URL的历史更新频率，将平均每24小时更新不小于一次的目标URL保存至快URL集中，将平均每24小时更新小于一次的目标URL保存至慢URL集中；

S9通过页面爬行模块对快URL集中的目标URL每1个小时进行一次关键内容爬取，对慢URL集中的目标URL每6个小时进行一次关键内容爬取，并保存至查重区；

S10调度Hash去重模块对临时保存区中的每一个关键内容分别进行Hash赋值并得到关键内容的查重Hash指针；

S11得到目标URL关键内容的所有查重Hash指针后，通过关键内容的查重Hash指针集合生成目标URL的查重Hash值；

S12将目标URL的查重Hash值和保存在Rdis数据库中的指针进行比对，若相同，则目标URL的关键内容并未发生变化；若不相同，则目标URL的关键内容发生变化；

S13将关键内容发生变化的目标URL的查重Hash值作为key元素替换Rdis数据库中原有的key元素，将发生变化的关键内容作为value元素替换替换Rdis数据库中原有的value元素，并更新key_value对照表；

S14重复S1至S13步骤，历遍所有初始URL集合和URL子集合，保持更新。

3.根据权利要求1所述的一种可视化农业大数据分析交互系统，其特征在于，所述农业生产数据抓取端用于对现存web服务器的，且是公开的农业生产过程中产生的信息进行合法的抓取，所述农业生产数据抓取端为聚焦式网络爬虫端，包括页面爬行模块、主题语意词典、关键词过滤器、数值解析器、URL检索器、临时保存区、待爬URL队列、Hadoop数据库和调度模块；所述调度模块将页面爬行模块、主题语意词典，关键词过滤器，数值解析器，初始URL集合，待爬URL队列、Hadoop数据库按照如下步骤进行调度：

S15将农业生产主题的语意树保存至主题语意词典中；

S16通过URL检索器按照农业生产主题的语意树的层次关系进行分层语意检索，并将内容符合当前检索语意的URL保存至待爬URL队列中；

S17通过页面爬行模块对待爬URL队列中的目标URL进行文本内容爬取，并将重要文本内容保存至临时保存区；

S18关键词过滤器对临时保存区中的重要本文进行关键词检索；

S19将含有目标关键词的重要本文送至数值解析器，数值解析器将关键词对应的数值和单位进行解析并保存至Hadoop数据库。

4.根据权利要求1所述的一种可视化农业大数据分析交互系统，其特征在于，农产品消费链数据抓取端用于对现存web服务器的，且是公开的农产品在消费链流通所产生的信息进行合法的抓取，农产品消费链数据抓取端是深层式网络爬虫端，包括页面爬行模块、根URL集、URL子集、数据过滤器、区块链追溯模块、Hadoop数据库、溯源链表和调度模块；所述调度模块将页面爬行模块、根URL集、URL子集、数据过滤器、Hash追溯模块、溯源链表和Hadoop数据库按照如下步骤进行调度：

S20选取根URL集中的一个根URL作为目标URL；

S21通过页面爬行模块对目标URL进行关键内容识别，并将关键内容保存至临时保存区；

S22数据过滤器对临时保存区中的关键内容进行数据过滤，通过主词确定数据对象，通过副词确定对象流向，并保存至Hadoop数据库中；

S23通过Hash追溯模块为每一个数据对象生成对应Hash指针；

S24通过页面爬行模块爬取当前目标URL中包含的子URL，并保存至URL子集中；

S25选取URL子集中的一个子URL作为目标URL；

S26执行S21至S24步骤直至目标URL中再无子URL；

S27通过Hash指针生成追溯链末端Hash值；

S28将末端Hash值写入溯源链表中，并保存至Hadoop数据库中；

S29通过执行S20至S28步骤遍历根URL所有子URL的指针路径，直至描绘出根URL集中每一个根URL的子URL的指针路径；

S30通过溯源链表的Hash指针指向关系生成Merkle树。

5.根据权利要求1与权利要求2所述的一种可视化农业大数据分析交互系统，其特征在于，所述农业资讯数据抓取端通过农业资讯大数据可视化系统进行分类可视化显示，所述农业资讯数据抓取端包括分类栏、条目栏和显示栏，所述分类栏包括地域选项、内容选项和发布日期选项，所述条目栏用于显示资讯选项条目，所述显示栏用于显示选项条目内容。

6.根据权利要求5所述的一种可视化农业大数据分析交互系统，其特征在于，所述分类可视化显示包括如下步骤：

S31通过key_value对照表找到所有选项条目的key元素；

S32通过key元素中保存的Hash值找到Hash时间戳；

S33根据Hash时间戳确定选项条目的发布日期；

S34通过key_value对照表找到所有选项条目的value元素；

S35通过value元素确定选项条目的关键内容；

S36通过地域关键词和对内容关键词对选项条目的关键内容进行检索；

S37若在选项条目的关键内容中检索到与地域关键词匹配的词条，则为选项条目贴上对应的地域标签；

S38若在选项条目的关键内容中检索到与内容关键词匹配的词条，则为选项条目贴上对应的内容标签；

S39通过分类栏获取用户地域选项、内容选项和发布日期的设定值；

S40将地域标签、内容标签和发布日期满足地域选项、内容选项和发布日期的设定值的选项条目通过条目栏进行显示；

S41将用户选中的选项条目通过显示栏进行具体内容显示。

7.根据权利要求1与权利要求3所述的一种可视化农业大数据分析交互系统，其特征在于，所述农业生产大数据可视化系统通过如下步骤得到农业生产大数据的气泡图：

S42读取Hadoop数据库中农业生产大数据；

S43为农业生产大数据中每一个关键词建立一个气泡项；

S44将关键词对应数值的单位进行单位统一化；

S45将统一后的数值和单位植入对应关键词的气泡项参数中；

S46将每一个气泡项按照对应参数进行逐一显示。

8.根据权利要求1与权利要求4所述的一种可视化农业大数据分析交互系统，其特征在于，所述农产品消费链大数据可视化系统通过如下步骤得到农产品消费链大数据的桑基图：

S47读取Hadoop数据库中农产品消费链数据；

S48为每一个主词建立一个数据对象；

S49通过主词对应的副词确定数据对象的数据流向；

S50将数据对象作为桑基图中的起始对象，通过数据流向确定桑基图的流量路径；

S51将起始对象和流量路径进行可视化显示。

9.根据权利要求1所述的一种可视化农业大数据分析交互系统，其特征在于，所述可视化交互系统是基于光标控制的交互系统，所述可视化交互系统包括光标、关联词和可视化项；所述光标用于选择用户想要进行可视化的关联词，所述可视化项通过光标点击关联词进行调用，所述可视化项包括资讯、生产和消费链。

Images