CN109447266B - 一种基于大数据的农业科技服务智能分拣方法 - Google Patents

Abstract

本发明公开了基于大数据的农业科技服务智能分拣方法，实现农技问题能够精准推送给农业专家，包括关键步骤为：基于问题文本语料库的大数据挖掘和农业知识图谱分析，构建农技的问答模型Q和专家模型E，计算当前农户问题Q_i与历史推送问题Q_h的相似度H；计算历史推送问题Q_h与历史农业专家E_k的契合度R；计算历史农业专家E_k与当前备选专家E_m相近度P；最后将相似度H、契合度R、相近度P加权求和，计算当前农户问题Q_i分拣推送给当前备选专家E_m的概率S。本发明通过文本大数据构建的问题模型和专家模型，设计农技问题智能分拣算法，克服了传统以协同推送、内容推荐等缺陷如数据稀疏、冷启动，其精度和效率更高，在农技服务领域将具有很好的应用前景。

Description

一种基于大数据的农业科技服务智能分拣方法

技术领域

本发明属于数据处理模型领域，尤其涉及一种基于大数据的农业科技服务智能分拣方法。

背景技术

我国农村科技服务过程中的“最后一米”问题日益明显，现代农业发展急需建立以需求为导向的农村科技服务体系。由于现有供给模式粗放，保障机制不完善，科技资源整合乏力，需求洞察不足，信息化平台与系统服务系统紊乱，供给主体与服务农户供需信息对接效率不高，满足不了农户对多环节、个性化、地域性、专业化的技术需求。因此，在我省现代农业发展升级加快的背景下，内容服务、手段服务、服务方式发生深刻变化。

目前农村科技服务过程中的“最后一米”问题日趋严重，导致供给成本偏高而农户满意度较低，具体表现在一下三方面。第一，农村科技服务信息的采集利用水平低，可靠性不高。与发达国家相比，我国农村信息化和数据应用还处于探索阶段，技术水平较低，数据缺乏系统性、及时性，数据整合难度大等。第二，缺少能精准洞察农户需求的信息化平台，个性化不足。农户需求预测等相关服务功能有待加强，建设进程满足不了农户对农村科技服务的及时需求。第三，缺少能够支持人机智能互动的高尖技术，服务成本高。目前的智能问答系统是以互联网语料库及农户点击日志为基础，缺少专业化知识库的支撑，无法针对农业领域的问题实现精准回答。因此，现代农业发展急需建立以需求为导向的农村科技服务体系。

发明内容

本发明公开了基于大数据的农业科技服务智能分拣方法(S-HRP算法)，实现农技问题能够精准推送给农业专家，通过文本大数据构建的问题模型和专家模型，设计农技问题智能分拣算法，克服了传统以协同推送、内容推荐等单个算法的缺陷(如数据稀疏、冷启动等问题)，其精度和效率更高，在农技服务领域将具有很好的应用前景。

为解决上述技术问题，本发明采用的技术方案是：

一种基于大数据的农业科技服务智能分拣方法，

所述的基于大数据的农业科技服务智能分拣方法应用在智能分拣系统中，该智能分拣系统包括操作平台、大数据处理中心、知识数据库以及后台处理系统；所述操作平台用于接收反馈用户的请求与结果，所述大数据处理中心用于套嵌知识数据库，对数据进行分析处理转化建立深度学习及判定模型，

所述知识数据库用于将索引转化为机器语言，与同义词数据库建立关联规则反馈至农科词典，从而一一对应匹配问答库中现有答案；与专家库配型指定对应的多位专家进行人工服务，所述后台处理系统用于建立数据库之间的业务逻辑关系规则，以及数据提取规则；

用户通过操作平台录入问题，问题通过索引数据提取关键词，关键词通过机器语言翻译后，上报至后台处理系统的业务逻辑进行处理数据提取，与知识数据库进行匹配计算后，反馈至大数据处理中心，同时推送至操作平台，得出多个结果反馈至操作平台；

建立知识数据库：

所述知识数据库包括索引、问答库、专家库、农科词典及同义词数据库；所述索引通过业务逻辑处理后与同义词数据库进行匹配，关联农科词典的数据信息，基于语义排序的专家推理机模型与问答库进行一一关联匹配，生成数据库中最优答案；

用户对答案不满意时，再次重复上述匹配后，与问答模型Q进行匹配，专家库与大数据平台匹配关系，安排指定的专家进行解答，生成结果反馈至操作平台；

构建索引，其中，业务逻辑处理包括分词处理、词语抽取、关联查询模型，构建专家属性与互动特性关联规则进行用户需求匹配，构建所述的农科词典的数据库，有一数据样本集；

所述的数据样本集有若干农科的专有名词以及自然词汇；从所述的数据样本集中，提取关键词图谱，通过深度学习，转换为机器语言得出词向量，形成农科词典；

所述农科词典的数据库包括作物类别库、价格数据库、用户行为库以及销售信息库；

构建所述的同义词数据库，其中，同义词为与农科词典相同或相似意义的词汇数据；

构建基于语义排序的专家推理机模型与问答库进行一一关联匹配；

构建问答模型Q：其中，构建时空密度聚类方法实现问题分拣，问答模型Q 包括专家解答数据组合及农科问题；

所述专家解答数据组合中含有多个专家；

构建向量的相似度匹配模型实现科技成果精准推送结果反馈列表。

进一步地，

精准分拣参数的设定根据专家模型E和Hadoop框架的MapReduce算法，基于用户关键词搜索行为系数、个性化科技服务需求参数、农村科技服务数据仓库，对用户相关科技服务咨询问题进行无人值守问答，并精准的转向人工客服。

进一步地，

所述专家库与大数据平台匹配关系计算为：

(1)首先构建专家模型E和问答模型Q，利用语义关联度进行计算匹配度 H(i)，

(2)用户提出问题q，问题q通过索引与问答模型Q进行匹配，然后通过索引得出的关键词，计算与专家模型E匹配度H(i)＝V(q，E₁)，

(3)当H(i)大于精准分拣参数a时，问题q推送给专家库中的专家A，当所有H(i)＜a时，问题q需要人工干预分发给专家模型E。

本发明提供了基于大数据的农业科技服务智能分拣方法，包括如下步骤：

步骤1，基于文本语料库的大数据挖掘和分析构建农技的问答模型Q：利用分词系统对农技问题的标题、主题词、摘要、内容和区域进行关键词大数据特征提取，利用TF-IDF算法、农业知识图谱方法建立农户问题向量模型

步骤2，基于文本语料库的大数据挖掘和分析构建农业的专家模型E，利用分词系统对农业专家的学科S、职称P、领域F、成果M、描述和关注度进行关键词大数据特征提取，利用TF-IDF算法、农业知识图谱方法建立农业专家的词向量模型

步骤3，计算当前农户问题Q_i与历史推送问题Q_h的相似度H：根据农技的问答模型Q，利用向量夹角余弦相似度法计算当前农户问题Q_i与历史推送问题Q_h的语义相似度H；

步骤4，计算历史推送问题Q_h与历史农业专家E_k的契合度R：根据农技的问答模型Q，利用Softmax模型计算历史推送问题Q_h对于历史农业专家E_k的契合度R；

步骤5，计算历史农业专家E_k与当前备选专家E_m相近度P：根据农业的专家模型E，利用向量夹角余弦相似度法计算历史农业专家E_k与当前备选专家E_m特征相近度P；

步骤6，将步骤3、步骤4、步骤5的相似度H、契合度R、相近度P进行加权求和，计算当前农户问题Q_i分拣推送给当前备选专家E_m的概率S。

优选地，

所述步骤1中，利用自然语言处理中的TF-IDF算法，对问题文档语料库进行大数据特征提取，计算农户问题向量模型

中的关键词w_ij及权重s_ij，公式如下：

式中TF_ij、IDF_ij分别为问题文档中含关键词w_ij的词频和逆向词频，s_ij表示w 在问题文档语料库的重要性测度，n_ij为w_ij在问题文档出现的次数，N为问题库中问题文档数，n则表示包含w_ij的问题文档数，建立农户的问答模型向量

为：

式中q_T、q_K、q_A、q_C分别为问题文档中的标题T、主题词K、摘要A、内容 C的文档结构在农业知识图谱中的关联性测度，公式如下：

式中d_ij表示w_ij在农业知识图谱中语义长度，即w_ij在知识图谱中到根节点的最短距离；

所述步骤2中，在农业专家信息库中进行关键词大数据特征提取，建立农业专家的词向量模型

为：

式中e_S、e_P、e_F、e_M分别为农业专家信息中的学科S、职称P、领域F、描述M的专家属性在农业知识图谱关联性测度，公式如下：

所述步骤3中，根据农技的问答模型Q，利用向量夹角余弦法计算当前农户问题Q_i与历史推送问题Q_h的语义相似度H(Q_i，Q_h)，公式为：

所述步骤4中，根据农技的问答模型Q，利用Softmax分类函数计算历史推送问题Q_h对于历史农业专家E_k的契合度R(Q_h，E_k)，公式为：

式中A为参数，p(y^(h)＝j|E^(h)；A)，表示问题文档分给第j个专家的概率，

为问题向量

对于专家向量

基于农业知识图谱的特征向量，公式如下：

式中对称矩阵D为历史推送问题Q_h与历史农业专家E_k所含关键词的语义长度；

所述步骤5中，根据农业的专家模型E，利用向量夹角余弦法计算历史农业专家E_k，当前备选专家E_m的相近度P(E_k，E_m)，公式为：

所述步骤6中，当前农户问题Q_i分拣推送给当前备选专家E_m的概率 S(Q_i，E_m)，公式为：

S(Q_i，E_m)＝a·H(Q_i，E_m)+b·R(Q_i，E_m)+c·P(Q_i，E_m) (式10)

其中：a+b+c＝1

式中a、b、c为相似度H、契合度R、相近度P的权重。

本发明的有益效果是：通过大数据处理高度运算以及建立专家库匹配模型，深度学习建立对应的数据库更新，使得咨询结果更精准，解决农村科技服务咨询的高效性。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

在附图中：

图1为本发明的工作流程图；

图2为本发明的专家库与大数据平台关联关系图；

图3为本发明的数据处理流程图；

图4为本发明工作流程示意图。

具体实施方式

下面结合附图和具体较佳实施方式对本发明做进一步详细的说明。

实施例1

如图1-3所示，本发明提供了一种基于大数据的农业科技服务智能分拣方法，所述的基于大数据的农业科技服务智能分拣方法应用在智能分拣系统中，该智能分拣系统包括操作平台、大数据处理中心、知识数据库以及后台处理系统；所述操作平台用于接收反馈用户的请求与结果，所述大数据处理中心用于套嵌知识数据库，对数据进行分析处理转化建立深度学习及判定模型，

所述知识数据库用于将索引转化为机器语言，与同义词数据库建立关联规则反馈至农科词典，从而一一对应匹配问答库中现有答案；与专家库配型指定对应的多位专家进行人工服务，所述后台处理系统用于建立数据库之间的业务逻辑关系规则，以及数据提取规则；

用户通过操作平台录入问题，问题通过索引数据提取关键词，关键词通过机器语言翻译后，上报至后台处理系统的业务逻辑进行处理数据提取，与知识数据库进行匹配计算后，反馈至大数据处理中心，同时推送至操作平台，得出多个结果反馈至操作平台；

建立知识数据库：

所述知识数据库包括索引、问答库、专家库、农科词典及同义词数据库；所述索引通过业务逻辑处理后与同义词数据库进行匹配，关联农科词典的数据信息，基于语义排序的专家推理机模型与问答库进行一一关联匹配，生成数据库中最优答案；

用户对答案不满意时，再次重复上述匹配后，与问答模型Q进行匹配，专家库与大数据平台匹配关系，安排指定的专家进行解答，生成结果反馈至操作平台；

构建索引，其中，业务逻辑处理包括分词处理、词语抽取、关联查询模型，构建专家属性与互动特性关联规则进行用户需求匹配，构建所述的农科词典的数据库，有一数据样本集；

所述的数据样本集有若干农科的专有名词以及自然词汇；从所述的数据样本集中，提取关键词图谱，通过深度学习，转换为机器语言得出词向量，形成农科词典；

所述农科词典的数据库包括作物类别库、价格数据库、用户行为库以及销售信息库；

构建所述的同义词数据库，其中，同义词为与农科词典相同或相似意义的词汇数据；

构建基于语义排序的专家推理机模型与问答库进行一一关联匹配；

构建问答模型Q：其中，构建时空密度聚类方法实现问题分拣，问答模型Q 包括专家解答数据组合及农科问题；

所述专家解答数据组合中含有多个专家；

构建向量的相似度匹配模型实现科技成果精准推送结果反馈列表。

进一步地，

精准分拣参数的设定根据专家模型E和Hadoop框架的MapReduce算法，基于用户关键词搜索行为系数、个性化科技服务需求参数、农村科技服务数据仓库，对用户相关科技服务咨询问题进行无人值守问答，并精准的转向人工客服。

所述专家库与大数据平台匹配关系计算为：

(1)首先构建专家模型E和问答模型Q，利用语义关联度进行计算匹配度 H(i)，

(2)用户提出问题q，问题q通过索引与问答模型Q进行匹配，然后通过索引得出的关键词，计算与专家模型E匹配度H(i)＝V(q，E₁)，

(3)当H(i)大于精准分拣参数a时，问题q推送给专家库中的专家A，当所有H(i)＜a时，问题q需要人工干预分发给专家模型E。

本发明还提供了基于大数据的农业科技服务智能分拣方法，具体步骤：

步骤1，基于文本语料库的大数据挖掘和分析构建农技的问答模型Q：利用分词系统对农技问题的标题、主题词、摘要、内容和区域进行关键词大数据特征提取，利用TF-IDF算法、农业知识图谱方法建立农户的问答模型向量

步骤2，基于文本语料库的大数据挖掘和分析构建农业的专家模型E，利用分词系统对农业专家的学科S、职称P、领域F、成果M、描述和关注度进行关键词大数据特征提取，利用TF-IDF算法、农业知识图谱方法建立农业专家的词向量模型

步骤3，计算当前农户问题Q_i与历史推送问题Q_h的相似度H：根据农技的问答模型Q，利用向量夹角余弦相似度法计算当前农户问题Q_i与历史推送问题Q_h的语义相似度H；

步骤4，计算历史推送问题Q_h与历史农业专家E_k的契合度R：根据农技的问答模型Q，利用Softmax模型计算历史推送问题Q_h对于历史农业专家E_k的契合度R；

步骤5，计算历史农业专家E_k与当前备选专家E_m相近度P：根据农业的专家模型E，利用向量夹角余弦相似度法计算历史农业专家E_k与当前备选专家E_m特征相近度P；

步骤6，将步骤3、步骤4、步骤5的相似度H、契合度R、相近度P进行加权求和，计算当前农户问题Q_i分拣推送给当前备选专家E_m的概率S。

进一步地，

在步骤1中，利用自然语言处理中的TF-IDF算法，对问题文档语料库进行大数据特征提取，计算农户问题向量模型

中的关键词w_ij及权重s_ij，公式如下：

式中TF_ij、IDF_ij分别为问题文档中含关键词w_ij的词频和逆向词频，s_ij表示w 在问题文档语料库的重要性测度，n_ij为w_ij在问题文档出现的次数，N为问题库中问题文档数，n则表示包含w_ij的问题文档数，建立农户的问答模型向量

为：

式中q_T、q_K、q_A、q_C分别为问题文档中的标题T、主题词K、摘要A、内容 C的文档结构在农业知识图谱中的关联性测度，公式如下：

式中d_ij表示w_ij在农业知识图谱中语义长度，即w_ij在知识图谱中到根节点的最短距离；

在步骤2中，

在农业专家信息库中进行关键词大数据特征提取，建立农业专家的词向量模型

为：

式中e_S、e_P、e_F、e_M分别为农业专家信息中的学科S、职称P、领域F、描述M的专家属性在农业知识图谱关联性测度，公式如下：

在步骤3中，根据农技的问答模型Q，利用向量夹角余弦法计算当前农户问题Q_i与历史推送问题Q_h的语义相似度H(Q_i，Q_h)，公式为：

在步骤4中，根据农技的问答模型Q，利用Softmax分类函数计算历史推送问题Q_h对于历史农业专家E_k的契合度R(Q_h，E_k)，公式为：

式中A为参数，p(y^(h)＝j|E^(h)；A)，表示问题文档分给第j个专家的概率，

为问题向量

对于专家向量

基于农业知识图谱的特征向量，公式如下：

式中对称矩阵D为历史推送问题Q_h与历史农业专家E_k所含关键词的语义长度；

所述步骤5中，根据农业的专家模型E，利用向量夹角余弦法计算历史农业专家E_k，当前备选专家E_m的相近度P(E_k，E_m)，公式为：

所述步骤6中，当前农户问题Q_i分拣推送给当前备选专家E_m的概率 S(Q_i，E_m)，公式为：

S(Q_i，E_m)＝a·H(Q_i，E_m)+b·R(Q_i，E_m)+c·P(Q_i，E_m) (式10)

其中：a+b+c＝1

式中a、b、c为相似度H、契合度R、相近度P的权重。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，本发明要求保护范围由所附的权利要求书、说明书及其等效物界定。

Claims (5)

1.一种基于大数据的农业科技服务智能分拣方法，其特征在于：所述的基于大数据的农业科技服务智能分拣方法应用在智能分拣系统中，该智能分拣系统包括操作平台、大数据处理中心、知识数据库以及后台处理系统；所述操作平台用于接收反馈用户的请求与结果，所述大数据处理中心用于套嵌知识数据库，对数据进行分析处理转化建立深度学习及判定模型，

所述知识数据库用于将索引转化为机器语言，与同义词数据库建立关联规则反馈至农科词典，从而一一对应匹配问答库中现有答案；与专家库配型指定对应的多位专家进行人工服务，所述后台处理系统用于建立数据库之间的业务逻辑关系规则，以及数据提取规则；

用户通过操作平台录入问题，问题通过索引数据提取关键词，关键词通过机器语言翻译后，上报至后台处理系统的业务逻辑进行处理数据提取，与知识数据库进行匹配计算后，反馈至大数据处理中心，同时推送至操作平台，得出多个结果反馈至操作平台；

建立知识数据库：

所述知识数据库包括索引、问答库、专家库、农科词典及同义词数据库；所述索引通过业务逻辑处理后与同义词数据库进行匹配，关联农科词典的数据信息，基于语义排序的专家推理机模型与问答库进行一一关联匹配，生成数据库中最优答案；

用户对答案不满意时，再次重复上述匹配后，与问答模型Q进行匹配，专家库与大数据平台匹配关系，安排指定的专家进行解答，生成结果反馈至操作平台；

构建索引，其中，业务逻辑处理包括分词处理、词语抽取、关联查询模型，构建专家属性与互动特性关联规则进行用户需求匹配，构建所述的农科词典的数据库，有一数据样本集；

所述的数据样本集有若干农科的专有名词以及自然词汇；从所述的数据样本集中，提取关键词图谱，通过深度学习，转换为机器语言得出词向量，形成农科词典；

所述农科词典的数据库包括作物类别库、价格数据库、用户行为库以及销售信息库；

构建所述的同义词数据库，其中，同义词为与农科词典相同或相似意义的词汇数据；

构建基于语义排序的专家推理机模型与问答库进行一一关联匹配；

构建问答模型Q：其中，构建时空密度聚类方法实现问题分拣，问答模型Q包括专家解答数据组合及农科问题；

所述专家解答数据组合中含有多个专家；

构建向量的相似度匹配模型实现科技成果精准推送结果反馈列表。

2.根据权利要求1所述的一种基于大数据的农业科技服务智能分拣方法，其特征在于：精准分拣参数的设定根据专家模型E和Hadoop框架的MapReduce算法，基于用户关键词搜索行为系数、个性化科技服务需求参数、农村科技服务数据仓库，对用户相关科技服务咨询问题进行无人值守问答，并精准的转向人工客服。

3.根据权利要求2的所述的一种基于大数据的农业科技服务智能分拣方法，其特征在于：所述专家库与大数据平台匹配关系计算为：

(1)首先构建专家模型E和问答模型Q，利用语义关联度进行计算匹配度H(i)，

(2)用户提出问题q，问题q通过索引与问答模型Q进行匹配，然后通过索引得出的关键词，计算与专家模型E匹配度H(i)＝V(q，E₁)，

(3)当H(i)大于精准分拣参数a时，问题q推送给专家库中的专家A，当所有H(i)＜a时，问题q需要人工干预分发给专家模型E。

4.根据权利要求1-3任意一项所述的基于大数据的农业科技服务智能分拣方法，其特征在于：

步骤1，基于文本语料库的大数据挖掘和分析构建农技的问答模型Q：利用分词系统对农技问题的标题、主题词、摘要、内容和区域进行关键词大数据特征提取，利用TF-IDF算法、农业知识图谱方法建立农户的问答模型向量

步骤2，基于文本语料库的大数据挖掘和分析构建农业的专家模型E，利用分词系统对农业专家的学科S、职称P、领域F、成果M、描述和关注度进行关键词大数据特征提取，利用TF-IDF算法、农业知识图谱方法建立农业专家的词向量模型

步骤3，计算当前农户问题Q_i与历史推送问题Q_h的相似度H：根据农技的问答模型Q，利用向量夹角余弦相似度法计算当前农户问题Q_i与历史推送问题Q_h的语义相似度H；

步骤4，计算历史推送问题Q_h与历史农业专家E_k的契合度R：根据农技的问答模型Q，利用Softmax模型计算历史推送问题Q_h对于历史农业专家E_k的契合度R；

步骤5，计算历史农业专家E_k与当前备选专家E_m相近度P：根据农业的专家模型E，利用向量夹角余弦相似度法计算历史农业专家E_k与当前备选专家E_m特征相近度P；

步骤6，将步骤3、步骤4、步骤5的相似度H、契合度R、相近度P进行加权求和，计算当前农户问题Q_i分拣推送给当前备选专家E_m的概率S。

5.根据权利要求4所述的基于大数据的农业科技服务智能分拣方法，其特征在于：

所述步骤1中，利用自然语言处理中的TF-IDF算法，对问题文档语料库进行大数据特征提取，计算农户的问答模型向量

中的关键词w_ij及权重s_ij，公式如下：

式中TF_ij、IDF_ij分别为问题文档中含关键词w_ij的词频和逆向词频，s_ij表示w在问题文档语料库的重要性测度，n_ij为w_ij在问题文档出现的次数，N为问题库中问题文档数，n则表示包含w_ij的问题文档数，建立农户的问答模型向量

为：

式中q_T、q_K、q_A、q_C分别为问题文档中的标题T、主题词K、摘要A、内容C的文档结构在农业知识图谱中的关联性测度，公式如下：

式中d_ij表示w_ij在农业知识图谱中语义长度，即w_ij在知识图谱中到根节点的最短距离；

所述步骤2中，在农业专家信息库中进行关键词大数据特征提取，建立农业专家的词向量模型

为：

式中e_S、e_P、e_F、e_M分别为农业专家信息中的学科S、职称P、领域F、描述M的专家属性在农业知识图谱关联性测度，公式如下：

所述步骤3中，根据农技的问答模型Q，利用向量夹角余弦法计算当前农户问题Q_i与历史推送问题Q_h的语义相似度H(Q_i，Q_h)，公式为：

所述步骤4中，根据农技的问答模型Q，利用Softmax分类函数计算历史推送问题Q_h对于历史农业专家E_k的契合度R(Q_h，E_k)，公式为：

式中A为参数，p(y^(h)＝j|E^(h)；A)，表示问题文档分给第j个专家的概率，

为问题向量

对于专家向量

基于农业知识图谱的特征向量，公式如下：

式中对称矩阵D为历史推送问题Q_h与历史农业专家E_k所含关键词的语义长度；

所述步骤5中，根据农业的专家模型E，利用向量夹角余弦法计算历史农业专家E_k，当前备选专家E_m的相近度P(E_k，E_m)，公式为：

所述步骤6中，当前农户问题Q_i分拣推送给当前备选专家E_m的概率S(Q_i，E_m)，公式为：

S(Q_i，E_m)＝a·H(Q_i，E_m)+b·R(Q_i，E_m)+c·P(Q_i，E_m) (式10)

其中：a+b+c＝1

式中a、b、c为相似度H、契合度R、相近度P的权重。

Images