CN112269956A

CN112269956A - 一种基于机器学习引擎的农业大数据搜索结果呈现的方法和装置

Info

Publication number: CN112269956A
Application number: CN202011255658.9A
Authority: CN
Inventors: 黄金港; 马忠; 高超; 朱元禄
Original assignee: Beidahuang Wave Information Co ltd
Current assignee: Beidahuang Wave Information Co ltd
Priority date: 2020-11-11
Filing date: 2020-11-11
Publication date: 2021-01-26

Abstract

本发明提供了一种基于机器学习引擎的农业大数据搜索结果呈现的方法，该方法包括：基于用户的当前搜索词，在农业大数据库中搜索到与所属当前搜索词匹配的农业信息，并附带的将搜索结果以过程逻辑可视化的方法呈现，即本装置对农业信息搜索过程的质量以准确度、相关度、过滤度、成熟度、新鲜度五大维度进行评估，以量化评分的形式在搜索结果中附加呈现。同时，本发明针对农业大数据搜索，提供了一种机器学习引擎装置，该装置可以为农业大数据搜索结果过程逻辑可视化提供技术支撑。

Description

一种基于机器学习引擎的农业大数据搜索结果呈现的方法和装置

技术领域

本发明涉及机器学习、数据挖掘领域，特别是一种基于机器学习引擎的农业大数据搜索结果呈现的方法和装置。

背景技术

随着网络信息的迅猛发展，搜索引擎能够为我们检索出海量的信息。例如：在百度上输入关键词“浪潮”进行检索，能够搜索出85,500,000 条相关信息，并且这个信息量是在不断增长的。在这上百万的数据中包含着很多重复信息和垃圾信息，用户很难快速、准确定位到所需要的信息。对于农业信息数据来说，农业数据的获取渠道相对闭塞。因此，一个可靠的农业数据获取来源对于搜索引擎来说来是十分重要的。同时，对于搜索结果的呈现方法，大部分搜索引擎呈现给我们的搜索结果并没有直观的向用户展示其搜索逻辑，更不会将搜索质量的评价结果呈现给用户，这样用户就很难准确的把握所需搜索结果，也无法根据搜索系统提供的质量评估指标做搜索决策的参考。

良好的数据呈现可以帮助使用者更好的理解数据背后隐藏的信息、发掘出数据之间的规律，让数据发挥更大的价值。随着大数据、云计算、区块链等高新技术的发展，数据模型复杂度越来越高，需要利用机器学习技术更高效的去处理数据。在数据搜索领域，由于技术的门槛壁垒，机器学习技术并没有普遍运用。同时，在利用机器学习技术的搜索产品中，往往都关注于机器学习算法本身的优化，忽略了对算法输出结果方式和方法的优化，用户无法直观看到算法的运行过程，也无法知晓农业大数据搜索结果的过程逻辑。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于机器学习引擎的农业大数据搜索结果呈现的方法和装置。

依据本发明的一个方面，提供了一种基于机器学习的农业大数据搜索结果评分呈现的方法，该方法包括：基于机器学习引擎在农业大数据库中搜索到与所属当前搜索词匹配的农业信息数据。

可选地，将农业信息数据搜索结果以过程逻辑可视化的方法呈现，即本装置对农业信息果的质量以准确度、相关度、过滤度、成熟度、新鲜度五大维度进行评估，以量化评分的形式在搜索结果中标注呈现。其中，准确度衡量搜索引擎排除不相关文档的能力；相关度衡量搜索引擎检索结果和用户查询的相关程度；过滤度衡量搜索结果信息过滤的程度；成熟度衡量当前搜索引擎搜索质量与预期搜索质量的相对值；新鲜度衡量搜索引擎搜索出的一年内收录的信息占总信息的比例。

可选地，针对农业信息大数据，搜索结果质量评估的综合评分值为准确度、相关度、过滤度、成熟度、新鲜度的加权平均值，并在搜索结果界面以五维指标雷达图的形式呈现。其中，把准确度、相关度、过滤度、成熟度、新鲜度这五大指标的运算过程抽象为搜索引擎工作逻辑，将搜索结果的显式呈现视为过程逻辑可视化。

依据本发明的另一个方面，还提供了一种基于机器学习引擎的农业大数据搜索结果评分呈现的装置，包括：

农业信息输入器，适用于接受来自用户当前农业信息搜索词；

农业信息搜索器，适用于基于所述用户的当前农业信息搜索词，在农业大数据库中搜索到与所述当前搜索词匹配的搜索结果；

农业信息搜索数据显示器，适于呈现所述搜索结果；

农业信息机器学习搜索引擎，基于机器学习技术，对农业信息搜索结果进行系统性评估，包括：数据源管理模块、数据预处模块、指标特征模块、搜索引擎模块、数据可视化模块。

数据源管理模块包括外部数据抓取和数据导入两个部分，用户可以从本地导入数据，进行机器学习可视化，也可以利用数据爬虫技术实时抓取海量农业信息数据；数据预处理模块包括标准化处理组件、虚拟变量处理组件和缺失值填充三个组件；指标特征模块可以对农业信息大数据源做特征工程处理；搜索引擎模块包括自定义机器学习算法，包括：分类、聚类、回归与关联算法，能为农业大数据搜索结果的质量评估提供技术支持；数据可视化模块可以直观分析农业大数据搜索评分数值，并显示相关量化数值的推导算法。

基于一种机器学习引擎，作为本发明的技术依托，采用的体系架构如下：

(1)引擎基础层，包括：基础硬件环境、基础软件环境、基础网络环境；

(2)引擎数据层，包括：基础数据和农业数据；

(3)核心算法层，包括：机器学习算法和模型评估分析；

(4)可视化呈现层，包括：算法文档呈现和算法评估指标呈现。

基于一种机器学习引擎，作为本发明的技术依托，采用的技术方案如下：

(1)数据融合技术方案：根据农业信息数据源的特点和特征维度的选择，利用机器学习技术，对数据融合任务进行抽象，选择出合适的预训练模型；

(2)主题识别技术方案：采用Python 、R及 Java作为主要编程语言，通过R语言结合正则表达式的方法提取农业信息；通过Java粘合搭建搜索环境所需的大数据框架；通过Python中的NLTK 程序包作为工具，分别进行句子级别的文本切割，构建自主的农业大数据语料库;

(3)算法可视化技术方案：从算法过程逻辑可视化和主题模型可视化两个层面做可视化展示。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制，在附图中：

图1、图2示出了根据本发明一个实施例的基于机器学习引擎的农业大数据搜索结果呈现方法的示意图；

图3、图4示出了根据本发明一个实施例的针对农业大数据的机器学习搜索引擎中数据源管理模块的示意图；其中，图3为数据源管理模块未导入数据时的示意图；图4为数据源管理模块已导入数据后的示意图；

图5示出了根据本发明一个实施例的针对农业大数据的机器学习搜索引擎中数据预处理模块的示意图；

图6示出了根据本发明一个实施例的针对农业大数据的机器学习搜索引擎中搜索引擎模块的示意图；

图7示出了根据本发明一个实施例的针对农业大数据的机器学习搜索引擎中数据可视化模块的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

在本发明的一个实施例中，预先构建基于农业信息的大数据库，大数据库中主要的数据来源渠道为农业信息。如图1所示，用户可以通过搜索框，在农业大数据库中搜索到与所属当前搜索词匹配的农业信息数据。如图2所示，本发明将农业信息数据搜索结果以“过程逻辑可视化”的方法呈现，即本装置对农业信息搜索结果的质量以准确度、相关度、过滤度、成熟度、新鲜度五大维度进行评估，以量化评分的形式在搜索结果中标注呈现。其中，图1的装置载体为农业信息输入器；图2的装置载体为农业信息搜索器。

在本发明的一个实施例中，如图3至图7的装置载体为农业信息机器学习搜索引擎。该装置可以为农业大数据搜索结果“过程逻辑可视化”提供技术支撑。技术支持包括以下六个步骤：

(1)计算准确度评估数值：准确度衡量搜索引擎排除不相关文档的能力；

(2)计算相关度评估数值：相关度衡量搜索引擎检索结果和用户查询的相关程度；

(3)计算过滤度评估数值：过滤度衡量搜索结果信息过滤的程度；

(4)计算成熟度评估数值：成熟度衡量当前搜索引擎搜索质量与预期搜索质量的相对值；

(5)计算新鲜度评估数值：新鲜度衡量搜索引擎搜索出的一年内收录的信息占总信息的比例；

(6)搜索结果质量评估的综合评分值为准确度、相关度、过滤度、成熟度、新鲜度的加权平均值。

在本发明的一个实施例中，一个完整测算五大维度评估值的步骤（在本实施例中以准确度指标测算为例，其余维度指标评估值测算具体实施方式相同），如下：

步骤S01，为搜索引擎数据处理前的准备，进行数据集的构建。依据农业大数据的特点，本发明选择 BERT 模型作为数据融合模型；

步骤S02，构建农业信息数据集进行 Fine-Tuning，以进行分类任务；

步骤S03，对数据融合模型进行效果验证，构建分类任务评价指标；

进一步地，农业大数据搜索结果主题识别的选定，需依据以下步骤：

步骤S04，将数据融合后的农业信息数据中同一类别的语义句子进行整合，构建农业信息预料库；

步骤S05，设定主题模型的参数为K，通过K值计算得到超参数；

步骤S06，根据参数与超参数，使用 LDA模型进行主题建模，得到主题建模模型结果；

步骤S07，对农业信息大数据主题模型进行效果评价；

步骤S08，依据主题模型效果评价的最优值，将此最优值默认为农业大数据搜索中主题识别方法；

步骤S09，如图 3所示，对数据源管理模块进行操作：(1)内嵌代码内部获取数据；(2)外部数据文件导入数据：本发明装置支持 JSON、CSV两种数据格式导入，可以完成对数据的格式转换和解析；(3)三方农业信息数据源爬取；(4)数据导出：本发明装置支持 JSON、CSV文件两种格式进行导出；

步骤S10，如图4所示，依据数据源可视化记录数据特征；

步骤S11，如图5所示，对数据预处理模块进行操作：（1）导入农业数据到 data 变量中；（2）Normalizer归一化数据预处理；（3）虚拟变量处理；（4）缺失值填充：使用统计指标填充缺失值；

步骤S12，对特征选择模块进行操作：通过模型选择法，根据建好的农业大数据模型对象传入选择器，自动选定特征值；

步骤S13，对数据维度压缩模块进行操作：利用主成分分析对特征向量进行降维，在减少数据集维度的同时，保持对方差贡献最大的特征，使用Python中的PCA类进行主成分分析；

步骤S14，如图6所示，对机器学习引擎模块进行操作，搜索引擎模块包括自定义机器学习算法，包括分类、聚类、回归与关联算法，能为农业大数据搜索结果的质量评估提供技术支持，具体操作步骤为：(1)建模求解模型方程；(2)进行模型训练；(4)进行模型评估；(5)使用模型预测未知参数；

步骤S15，如图7所示，数据可视化模块可以直观分析农业大数据搜索评分数值，并显示相关数值的推导算法；

步骤S16，步骤S01至步骤S15为一个完整测算五大维度评估值的步骤，如图6所示，五大维度评估值可完成量化测算。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims

1.一种基于机器学习引擎的农业大数据搜索结果呈现的方法，包括：将农业信息数据搜索结果以过程逻辑可视化的方法呈现，即本装置对农业信息果的质量以准确度、相关度、过滤度、成熟度、新鲜度五大维度进行评估，以量化评分的形式在搜索结果中呈现。

2.根据权利要求1所述的方法，其中，准确度衡量搜索引擎排除不相关搜索数据的能力；相关度衡量搜索引擎检索结果和用户查询的相关程度；过滤度衡量搜索结果信息过滤的程度；成熟度衡量当前搜索引擎搜索质量与预期搜索质量的相对值；新鲜度衡量搜索引擎搜索出的一年内收录的信息占总信息的比例。

3.根据权利要求1或2所述的方法，其中，针对农业信息大数据，搜索结果质量评估的综合评分值为准确度、相关度、过滤度、成熟度、新鲜度的加权平均值，并在搜索结果界面以五维指标雷达图的形式呈现。

4.根据权利要求1或2所述的方法，其中，针对农业信息大数据，搜索结果质量评估的综合评分值为准确度、相关度、过滤度、成熟度、新鲜度的加权平均值，并在搜索结果界面以五维指标雷达图的形式呈现。

5.根据权利要求1-3任一项所述的方法，其中，把准确度、相关度、过滤度、成熟度、新鲜度这五大指标的运算过程抽象为搜索引擎工作逻辑，将搜索结果的显式呈现视为过程逻辑可视化。

6.一种机器学习引擎装置，该装置可以为农业大数据搜索结果过程逻辑可视化提供技术支撑，包括：

数据源管理模块：由外部农业信息数据源抓取和农业信息数据源导入两部分组成；

数据预处模块：由标准化处理组件、虚拟变量处理组件和缺失值填充组件三部分组成；

指标特征模块：可以对农业信息大数据源做特征工程处理；

搜索引擎模块：可扩展自定义机器学习算法，可扩展的算法包括：分类、聚类、回归与关联算法；

数据可视化模块：可以直观的呈现搜索引擎的机器学习算法和逻辑运算过程。