CN114625858A - 一种基于神经网络的政务问答智能回复方法及装置 - Google Patents
一种基于神经网络的政务问答智能回复方法及装置 Download PDFInfo
- Publication number
- CN114625858A CN114625858A CN202210299522.0A CN202210299522A CN114625858A CN 114625858 A CN114625858 A CN 114625858A CN 202210299522 A CN202210299522 A CN 202210299522A CN 114625858 A CN114625858 A CN 114625858A
- Authority
- CN
- China
- Prior art keywords
- text
- question
- answer
- model
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 43
- 230000004044 response Effects 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 11
- 239000013604 expression vector Substances 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 5
- 239000000463 material Substances 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 abstract 1
- 238000004590 computer program Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 238000003860 storage Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/338—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于神经网络的政务问答智能回复方法及装置，包括获取用户的输入数据，对所述输入数据进行处理，得到问题文本；其中，输入数据包括语音、文字或视频；将问题文本输入预构建的职能识别模型，确定问题文本的职能标签，在预构建的问答知识库中将职能标签与候选问答对进行匹配；如果存在与问题文本匹配的候选问答对，则根据匹配的候选问答对输出答复文本；如果不存在与问题文本匹配的候选问答对，则将问题文本输入搜索模型，确定是否存在相关文本，如果存在则输出相关文本的答复文本，如果不存在则输出预设答复。本申请中的主要模型采用BERT和Transformer神经网络模型，通过本申请提供的技术方案提升了政务问答效率和专业性，降低了部署成本。
Description
技术领域
本发明属于智能技术领域，具体涉及一种基于神经网络的政务问答智能回复方法及装置。
背景技术
传统的政务问答一般由用户通过面询、电话、邮箱等方式进行，效率低。近年来，随着人工智能的发展，政务问答开始转向智能问答形式。但由于政务涉及领域广、时效敏感，这导致知识图谱构建困难，进而基于知识图谱方式的智能问答未能有广泛应用。同时，由于政务问题存在长尾分布，基于知识库文档方式不能覆盖大部分政务问题，常导致无法回答用户问题的情况。
因此，相关技术中，大部分方法是通过阅读理解模型来解决尾部问题的回答。但由于阅读理解模型计算要求高、训练所需数据的标注难度大、答案解释性差等原因，使得该方法存在成本高、效果差的问题。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种基于神经网络的政务问答智能回复方法及装置，以解决现有技术中阅读理解模型存在成本高、效果差的问题。
为实现以上目的，本发明采用如下技术方案：一种基于神经网络的政务问答智能回复方法，包括：
获取用户的输入数据，对所述输入数据进行处理，得到问题文本；其中，所述输入数据包括语音、文字或视频；
将所述问题文本输入预构建的职能识别模型，确定所述问题文本的职能标签，在预构建的问答知识库中将所述职能标签与候选问答对进行匹配；
如果存在与所述问题文本匹配的候选问答对，则根据所述匹配的候选问答对输出答复文本；如果不存在与所述问题文本匹配的候选问答对，则将所述问题文本输入搜索模型，确定是否存在相关文本，如果存在，则输出相关文本的答复文本，如果不存在，则输出预设答复。
进一步的，对所述输入数据进行处理，包括：
对所述输入数据进行数据清洗，去除文本中的非法字符和错误拼写纠正。
进一步的，还包括：构建职能识别模型，包括：
获取公共语料，对所述公共语料进行训练得到语言模型；
利用预获取的政务问题语料对预训练语言模型进行调整，得到行业语言模型；
对所述行业语言模型进行知识处理得到微型行业语言模型，将所述微型行业语言模型确定为职能识别模型。
进一步的，所述问答知识库包括属性信息和候选问答对；
其中，所述属性信息包括时间、职能部门。
进一步的，所述候选问答对包括候选问题文本以及对应的文本答复；所述在预构建的问答知识库中将所述职能标签与候选问答对进行匹配，包括：
将问题文本与所述候选问题文本组成问题文本对；
将所述问题文本对输入相似度计算模型进行计算，得到问题文本对的相似度，根据所述相似度得到问题文本与候选文本对的相似度；
将相似度最高的候选文本对中的候选问题文本作为相似问题；
选择所述相似问题对应的答复文本确定输出的答复文本。
进一步的，还包括：
判断所述相似问题与所述问题文本的相似度是否高于第一预设阈值；
如果高于第一预设阈值，则输出答复文本，否则，输出为空。
进一步的，所述则将所述问题文本输入搜索模型，包括：
将所述问题文本输入预设的问题表示模型，得到表示向量；
通过HNSW算法根据所述表示向量检索预设的资料库，得到相关文本；
如果所述相关文本与所述问题文本的相似度得分高于第二预设阈值，则作为相关文本，并输出所述相似问题对应的答复文本。
进一步的，所述预设的资料库包括多个资料单元；
所述资料单元包括资料文本、资料表示向量、资料创建时间、资料来源时间以及资料来源；
所述资料文本由行政文件、行政公开、行政通知、行政公告以及官网网页的文本信息按照语义单位分割得到；
将资料文本输入资料表示模型得到资料表示向量。
进一步的，所述问题表示模型、资料表示模型均采用表示模型，所述表示模型的训练方法包括：
将相应的文本输入表示模型得到表示向量；
将表示向量顺序拼接得到拼接向量；
将拼接向量输入相似计算网络计算相似得分；
基于二元分类任务对神经网络进行训练，得到表示模型。
本申请实施例提供一种基于神经网络的政务问答智能回复装置，包括：
获取模块，用于获取用户的输入数据，对所述输入数据进行处理，得到问题文本；其中，所述输入数据包括语音、文字或视频；
匹配模块，用于将所述问题文本输入预构建的职能识别模型，确定所述问题文本的职能标签，在预构建的问答知识库中将所述职能标签与候选问答对进行匹配；
输出模块，用于如果存在与所述问题文本匹配的候选问答对，则根据所述匹配的候选问答对输出答复文本；如果不存在与所述问题文本匹配的候选问答对，则将所述问题文本输入搜索模型，确定是否存在相关文本，如果存在，则输出相关文本的答复文本，如果不存在，则输出预设答复。
本申请实施例提供一种计算机设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述任一项用于政务问答的智能回复方法的步骤。
本申请实施例还提供一种计算机存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述任一项用于政务问答的智能回复方法的步骤。
本发明采用以上技术方案，能够达到的有益效果包括：
本发明提供一种基于神经网络的政务问答智能回复方法及装置，本申请提供的方法可以适应各种线上政务问答场景，比如政府网站智能问答机器人。本发明在政府网站智能问答机器人中应用时，首先多个训练集训练上述算法模型。然后将算法模型部署到还有本发明的政务问答装置web服务中。再通过web服务接收原始问题文本，对原始问题文本进行处理，并将处理得到的问题文本经职能识别模块处理后，得到候选问答对；再将候选问答对和问题文本输入问题进行匹配，得到相似问题集和回答文本。当回答文本不为空时，通过web服务返回相似问题集和回答文本给请求端；当回答文本为空时，则将问题文本输入资料搜索，得到相关文本。当相关文本不为空时，通过web服务返回相似问题集和相关文本给请求端。否则，web服务返回相似问题集和默认回答给请求端。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于神经网络的政务问答智能回复方法的步骤示意图；
图2为本发明一种基于神经网络的政务问答智能回复方法的问答知识库的构建流程示意图；
图3为本发明一种基于神经网络的政务问答智能回复方法的资料库的构建流程示意图；；
图4为本发明一种基于神经网络的政务问答智能回复方法的具体实施方式流程示意图；
图5为本发明一种基于神经网络的政务问答智能回复装置的结构示意图；
图6为本发明一种基于神经网络的政务问答智能回复方法实施环境的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
下面结合附图介绍本申请实施例中提供的一个具体的基于神经网络的政务问答智能回复方法及装置。
如图1所示，本申请实施例中提供的一种基于神经网络的政务问答智能回复方法，包括：
S101，获取用户的输入数据，对所述输入数据进行处理，得到问题文本；其中，所述输入数据包括语音、文字或视频；
S102，将所述问题文本输入预构建的职能识别模型，确定所述问题文本的职能标签，在预构建的问答知识库中将所述职能标签与候选问答对进行匹配；
一些实施例中，所述问答知识库包括属性信息和候选问答对；
其中，所述属性信息包括时间、职能部门。
S103，如果存在与所述问题文本匹配的候选问答对，则根据所述匹配的候选问答对输出答复文本；如果不存在与所述问题文本匹配的候选问答对，则将所述问题文本输入搜索模型，确定是否存在相关文本，如果存在，则输出相关文本的答复文本，如果不存在，则输出预设答复。
一些实施例中，所述候选问答对包括候选问题文本以及对应的文本答复；所述在预构建的问答知识库中将所述职能标签与候选问答对进行匹配，包括：
将问题文本与所述候选问题文本组成问题文本对；
将所述问题文本对输入相似度计算模型进行计算，得到问题文本对的相似度，根据所述相似度得到问题文本与候选文本对的相似度；
将相似度最高的候选文本对中的候选问题文本作为相似问题；
选择所述相似问题对应的答复文本确定输出的答复文本。
一些实施例中，所述方法还包括：
判断所述相似问题与所述问题文本的相似度是否高于预设阈值；
如果高于预设阈值，则输出答复文本，否则，输出为空。
本申请中首先要构建职能识别模型、问答知识库、资料库以及搜索模型。
一、所述问答知识库的构建方法如图2所示。
具体的，问答知识库由政务用户人工录入，首先人工录入预添加的标准问题，构成候选问答对；当用户输入数据后，得到问题文本；然后遍历计算问答知识库中问答对中问题文本与预录入问题的ROUGE(Recall-Oriented Understudy for Gisting Evaluation)得分；
按照下述公式计算问答对中问题与问题文本的相似度；
其中，a,b分别为问答对中问题与问题文本，
和
分别为通过计算F1值的方法求出的两个文本的ROUGE-1、ROUGE-2和ROUGE-L得分；ROUGE-L中的L指最长公共子序列。
依照相似度对候选问答对中的问题进行排序，并返回排名靠前的相似问题给用户。
需要说明的是，在返给用户之前，要先判断相似问题与问题文本的相似度是否高于预设阈值；如果高于预设阈值，则输出答复文本，否则，输出为空。
在输出为空的时候，将所述问题文本输入搜索模型。具体包括：
将所述问题文本输入预设的问题表示模型，得到表示向量；
通过HNSW(Hierarchcal Navigable Small World graphs)算法根据所述表示向量检索预设的资料库，得到相关文本；
如果所述相关文本与所述问题文本的相似度得分高于预设阈值，则作为相关文本，并输出所述相似问题对应的答复文本。
如图2所示，这里可以由用户决定是否进行新增操作。若用户决定进行新增操作，则可以选择对输入数据信息进行补充，否则，则退出。具体如下：
录入问题的标准答案；
选择录入问题的职能类别；
信息补充后，该条问答对加入到问答知识库中。
一些实施例中，所述则将所述问题文本输入搜索模型，包括：
将所述问题文本输入预设的问题表示模型，得到表示向量；
通过HNSW算法根据所述表示向量检索预设的资料库，得到相关文本；
如果所述相关文本与所述问题文本的相似度得分高于预设阈值，则作为相关文本，并输出所述相似问题对应的答复文本。
优选的，如图3所示，所述预设的资料库包括多个资料单元；
所述资料单元包括资料文本、资料表示向量、资料创建时间、资料来源时间以及资料来源；
所述资料文本由行政文件、行政公开、行政通知、行政公告以及官网网页的文本信息按照语义单位分割得到；
将资料文本输入资料表示模型得到资料表示向量。
二、所述资料库的构建方法如图3所示。
步骤S301，所述预设的资料库的构建方法包括：首先收集政务文件、公告通知和其他相关文本，然后对上述政务文件、公告通知和其他相关文本进行语义分割，即步骤S301。具体为：
a)对相关文本进行数据清洗；
b)针对其中的涉及条例规定类的文本，通过规则识别出各个条例文本，并将条例文本作为资料单元的资料文本；
c)剩余文本，通过规则识别出各个自然段，将自然段作为资料单元中的资料文本；
资料单元，由资料文本、来源、来源时间、创建时间等属性构成；再通过步骤S302对资料单元进行质量检测，通过检测后加入资料库中；其中，通过质量打分模型对资料单元中的资料文本进行质量打分，当得分大于特定阈值时，资料单元被视为通过检测；
其中，质量打分模型由相关数据训练得到；资料库采用如下方法进行索引。具体包括：
首先利用资料表示模型计算资料表示向量，再根据表示距离网络使用HNSW算法计算索引ID，最后将资料ID与索引ID进行关联。
三、所述各模型均基于神经网络架构进行设计和训练。
一些实施例中，所述问题表示模型、资料表示模型均采用表示模型，所述表示模型的训练方法包括：
将相应的文本输入表示模型得到表示向量；
将表示向量顺序拼接得到拼接向量；
将拼接向量输入用于相似计算的神经网络计算相似得分；
基于二元分类任务对神经网络进行训练，得到表示模型。
一些实施例中，还包括：构建职能识别模型，包括：
获取公共语料，对所述公共语料进行训练得到语言模型；
利用预获取的政务问题语料对预训练语言模型进行调整，得到行业语言模型；
对所述行业语言模型进行知识处理得到微型行业语言模型，将所述微型行业语言模型确定为职能识别模型。
具体的，本申请中模型如下：
a)公开预训练得到基于BERT(Bidirectional Encoder Representation fromTransformers)的语言模型chinese-roberta-base-wwm-ext；
b)行业语言模型，是基于公开预训练的语言模型chinese-roberta-base-wwm-ext在政务问题数据集上经MLM(Masked Language Model)任务微调得到；
c)微型行业语言模型，隐向量为256的4层的Transformer模型，将行业语言模型作为老师模型，在公共数据集和政务问题数据集上经MLM任务微调得到；
d)职能识别模型，基于微型行业语言模型在问题职能数据集上经分类任务微调得到；
e)相似度计算模型，基于微型行业语言模型在相似问题数据集上经分类任务微调得到；
f)问题表示模型、g)资料表示模型及h)表示距离网络，是基于微型行业语言模型在相关资料数据集上仅二分类任务微调得到的；
i)质量打分模型，是经以下方法训练得到：
基于chinese-roberta-base-wwm-ext在文本质量数据集上经二分类任务微调得到老师模型，再利用隐向量为256的4层的Transformer作为学生模型，在文本质量数据集上经二分类训练得到。
作为一个具体的实施方式，如图4所示，本申请提供的一种基于神经网络的政务问答智能回复方法的工作原理为：
步骤S401：将输入数据进行清洗得到问题文本，其中清洗包括去除文本中的非法字符和错误拼写纠正；
步骤S402：将问题文本输入上述职能识别模型中，推理得到问题文本所属职能；
步骤S403：从知识库中筛选出具有与问题文本所属职能相同职能的问答对作为候选问答对；
步骤S404：对候选问答对进行相似计算，得到相似问题集结果和回答文本结果，具体包括：首先将问题文本和候选问答对中问题文本组成问题对，然后输入相似度计算模型，计算得到相似度，然后依据相似度进行排序，输出排名靠前的多个候选问答对中的问题作为相似问题集，同时输出排名最前的候选问答对中的回答文本作为输入问题的回答文本。
步骤S405：当回答文本满足预设条件时，后续流程终止并立刻返回回答文本和相似问题集；具体地，预设条件为回答文本的相似度大于第一预设阈值，而第一预设阈值由最大化本地验证集得分得到。
步骤S406：当回答文本不满足条件1时，利用问题文本在资料库中进行搜索得到相关文本；具体包括：首先利用问题表示模型计算输入问题文本的表示向量，再利用该表示向量搜索资料库得到最邻近索引ID，再根据索引ID与资料ID的对应关系找出候选资料集，最后输出时间属性最新的资料中资料文本作为相关文本；
步骤S407：当相关文本满足条件2时，则终止后续流程并立刻返回相关文本和相似问题集；具体地，条件2为相关文本的相似度大于第二预设阈值，而第二预设阈值是最大化本地验证集得分得到；当相关文本不满足条件2时，则输出默认回答和相似问题集。
一些实施例中，如图5所示，本申请实施例提供一种基于神经网络的政务问答智能回复装置，包括：
获取模块501，用于获取用户的输入数据，对所述输入数据进行处理，得到问题文本；其中，所述输入数据包括语音、文字或视频；
匹配模块502，用于将所述问题文本输入预构建的职能识别模型，确定所述问题文本的职能标签，在预构建的问答知识库中将所述职能标签与候选问答对进行匹配；
输出模块503，用于如果存在与所述问题文本匹配的候选问答对，则根据所述匹配的候选问答对输出答复文本；如果不存在与所述问题文本匹配的候选问答对，则将所述问题文本输入搜索模型，确定是否存在相关文本，如果存在，则输出相关文本的答复文本，如果不存在，则输出预设答复。
本申请提供的一种基于神经网络的政务问答智能回复装置的工作原理为，获取模块501获取用户的输入数据，对所述输入数据进行处理，得到问题文本；其中，所述输入数据包括语音、文字或视频；匹配模块502将所述问题文本输入预构建的职能识别模型，确定所述问题文本的职能标签，在预构建的问答知识库中将所述职能标签与候选问答对进行匹配；输出模块503如果存在与所述问题文本匹配的候选问答对，则根据所述匹配的候选问答对输出答复文本；如果不存在与所述问题文本匹配的候选问答对，则将所述问题文本输入搜索模型，确定是否存在相关文本，如果存在，则输出相关文本的答复文本，如果不存在，则输出预设答复。
本申请提供一种计算机设备，包括：存储器和处理器，还可以包括网络接口，所述存储器存储有计算机程序，存储器可以包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。该计算机设备存储有操作系统，存储器是计算机可读介质的示例。所述计算机程序被所述处理器执行时，使得所述处理器执行用于政务问答的智能回复方法，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的一种基于神经网络的政务问答智能回复方法可以实现为一种计算机程序的形式，计算机程序可在如图6所示的计算机设备上运行。
一些实施例中，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：获取用户的输入数据，对所述输入数据进行处理，得到问题文本；其中，所述输入数据包括语音、文字或视频；将所述问题文本输入预构建的职能识别模型，确定所述问题文本的职能标签，在预构建的问答知识库中将所述职能标签与候选问答对进行匹配；如果存在与所述问题文本匹配的候选问答对，则根据所述匹配的候选问答对输出答复文本；如果不存在与所述问题文本匹配的候选问答对，则将所述问题文本输入搜索模型，确定是否存在相关文本，如果存在，则输出相关文本的答复文本，如果不存在，则输出预设答复。
本申请还提供一种计算机存储介质，计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光光盘(DVD)或其他光学存储、磁盒式磁带存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
一些实施例中，本发明还提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，获取用户的输入数据，对所述输入数据进行处理，得到问题文本；其中，所述输入数据包括语音、文字或视频；将所述问题文本输入预构建的职能识别模型，确定所述问题文本的职能标签，在预构建的问答知识库中将所述职能标签与候选问答对进行匹配；如果存在与所述问题文本匹配的候选问答对，则根据所述匹配的候选问答对输出答复文本；如果不存在与所述问题文本匹配的候选问答对，则将所述问题文本输入搜索模型，确定是否存在相关文本，如果存在，则输出相关文本的答复文本，如果不存在，则输出预设答复。
可以理解的是，上述提供的方法实施例与上述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于神经网络的政务问答智能回复方法，其特征在于，包括：
获取用户的输入数据，对所述输入数据进行处理，得到问题文本；其中，所述输入数据包括语音、文字或视频；
将所述问题文本输入预构建的职能识别模型，确定所述问题文本的职能标签，在预构建的问答知识库中将所述职能标签与候选问答对进行匹配；
如果存在与所述问题文本匹配的候选问答对，则根据所述匹配的候选问答对输出答复文本；如果不存在与所述问题文本匹配的候选问答对，则将所述问题文本输入搜索模型，确定是否存在相关文本，如果存在，则输出相关文本的答复文本，如果不存在，则输出预设答复。
2.根据权利要求1所述的方法，其特征在于，所述对所述输入数据进行处理，包括：
对所述输入数据进行数据清洗，去除文本中的非法字符和错误拼写纠正。
3.根据权利要求1或2所述的方法，其特征在于，还包括：构建职能识别模型，包括：
获取公共语料，对所述公共语料进行训练得到语言模型；
利用预获取的政务问题语料对预训练语言模型进行调整，得到行业语言模型；
对所述行业语言模型进行知识处理得到微型行业语言模型，将所述微型行业语言模型确定为职能识别模型。
4.根据权利要求1所述的方法，其特征在于，所述问答知识库包括属性信息和候选问答对；
其中，所述属性信息包括时间、职能部门。
5.根据权利要求1所述的方法，其特征在于，所述候选问答对包括候选问题文本以及对应的文本答复；所述在预构建的问答知识库中将所述职能标签与候选问答对进行匹配，包括：
将问题文本与所述候选问题文本组成问题文本对；
将所述问题文本对输入相似度计算模型进行计算，得到问题文本对的相似度，根据所述相似度得到问题文本与候选文本对的相似度；
将相似度最高的候选文本对中的候选问题文本作为相似问题；
选择所述相似问题对应的答复文本确定输出的答复文本。
6.根据权利要求5所述的方法，其特征在于，还包括：
判断所述相似问题与所述问题文本的相似度是否高于第一预设阈值；
如果高于第一预设阈值，则输出答复文本，否则，输出为空。
7.根据权利要求6所述的方法，其特征在于，所述则将所述问题文本输入搜索模型，包括：
将所述问题文本输入预设的问题表示模型，得到表示向量；
通过HNSW算法根据所述表示向量检索预设的资料库，得到相关文本；
如果所述相关文本与所述问题文本的相似度得分高于第二预设阈值，则作为相关文本，并输出所述相似问题对应的答复文本。
8.根据权利要求7所述的方法，其特征在于，
所述预设的资料库包括多个资料单元；
所述资料单元包括资料文本、资料表示向量、资料创建时间、资料来源时间以及资料来源；
所述资料文本由行政文件、行政公开、行政通知、行政公告以及官网网页的文本信息按照语义单位分割得到；
将资料文本输入资料表示模型得到资料表示向量。
9.根据权利要求8所述的方法，其特征在于，所述问题表示模型、资料表示模型均采用表示模型，所述表示模型的训练方法包括：
将相应的文本输入表示模型得到表示向量；
将表示向量顺序拼接得到拼接向量；
将拼接向量输入相似计算网络计算相似得分；
基于二元分类任务对神经网络进行训练，得到表示模型。
10.一种基于神经网络的政务问答智能回复装置，其特征在于，包括：
获取模块，用于获取用户的输入数据，对所述输入数据进行处理，得到问题文本；其中，所述输入数据包括语音、文字或视频；
匹配模块，用于将所述问题文本输入预构建的职能识别模型，确定所述问题文本的职能标签，在预构建的问答知识库中将所述职能标签与候选问答对进行匹配；
输出模块，用于如果存在与所述问题文本匹配的候选问答对，则根据所述匹配的候选问答对输出答复文本；如果不存在与所述问题文本匹配的候选问答对，则将所述问题文本输入搜索模型，确定是否存在相关文本，如果存在，则输出相关文本的答复文本，如果不存在，则输出预设答复。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210299522.0A CN114625858A (zh) | 2022-03-25 | 2022-03-25 | 一种基于神经网络的政务问答智能回复方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210299522.0A CN114625858A (zh) | 2022-03-25 | 2022-03-25 | 一种基于神经网络的政务问答智能回复方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114625858A true CN114625858A (zh) | 2022-06-14 |
Family
ID=81903244
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210299522.0A Pending CN114625858A (zh) | 2022-03-25 | 2022-03-25 | 一种基于神经网络的政务问答智能回复方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114625858A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116595148A (zh) * | 2023-05-25 | 2023-08-15 | 北京快牛智营科技有限公司 | 一种利用大型语言模型实现对话流程的方法及系统 |
| CN116610964A (zh) * | 2023-07-20 | 2023-08-18 | 之江实验室 | 一种文本相似度匹配方法、装置和计算机设备 |
| CN116775882A (zh) * | 2023-06-29 | 2023-09-19 | 山东科技大学 | 一种智慧政务留言处理方法及设备 |
| CN117828064A (zh) * | 2024-03-05 | 2024-04-05 | 之江实验室 | 一种问答系统及问答系统的构建方法 |
-
2022
- 2022-03-25 CN CN202210299522.0A patent/CN114625858A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116595148A (zh) * | 2023-05-25 | 2023-08-15 | 北京快牛智营科技有限公司 | 一种利用大型语言模型实现对话流程的方法及系统 |
| CN116595148B (zh) * | 2023-05-25 | 2023-12-29 | 北京快牛智营科技有限公司 | 一种利用大型语言模型实现对话流程的方法及系统 |
| CN116775882A (zh) * | 2023-06-29 | 2023-09-19 | 山东科技大学 | 一种智慧政务留言处理方法及设备 |
| CN116775882B (zh) * | 2023-06-29 | 2024-02-27 | 山东科技大学 | 一种智慧政务留言处理方法及设备 |
| CN116610964A (zh) * | 2023-07-20 | 2023-08-18 | 之江实验室 | 一种文本相似度匹配方法、装置和计算机设备 |
| CN116610964B (zh) * | 2023-07-20 | 2023-09-26 | 之江实验室 | 一种文本相似度匹配方法、装置和计算机设备 |
| CN117828064A (zh) * | 2024-03-05 | 2024-04-05 | 之江实验室 | 一种问答系统及问答系统的构建方法 |
| CN117828064B (zh) * | 2024-03-05 | 2024-05-28 | 之江实验室 | 一种问答系统及问答系统的构建方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110188168B (zh) | 语义关系识别方法和装置 | |
| CN114625858A (zh) | 一种基于神经网络的政务问答智能回复方法及装置 | |
| CN110502738A (zh) | 中文命名实体识别方法、装置、设备和查询系统 | |
| US10713438B2 (en) | Determining off-topic questions in a question answering system using probabilistic language models | |
| CN110321537B (zh) | 一种文案生成方法和装置 | |
| CN110781687B (zh) | 相同意图语句的获取方法及装置 | |
| CN110597966A (zh) | 自动问答方法及装置 | |
| CN106649739B (zh) | 多轮交互信息继承识别方法、装置以及交互系统 | |
| CN106610990B (zh) | 情感倾向性分析的方法及装置 | |
| US20230376546A1 (en) | Apparatus and method of performance matching | |
| CN114528383A (zh) | 基于对比学习的预训练语言模型处理方法和智能问答系统 | |
| CN112287100A (zh) | 文本识别方法、拼写纠错方法及语音识别方法 | |
| US11854537B2 (en) | Systems and methods for parsing and correlating solicitation video content | |
| CN117668181A (zh) | 信息处理方法、装置、终端设备以及存储介质 | |
| CN115861995A (zh) | 一种视觉问答方法、装置及电子设备和存储介质 | |
| WO2023177723A1 (en) | Apparatuses and methods for querying and transcribing video resumes | |
| CN115374259A (zh) | 一种问答数据挖掘方法、装置及电子设备 | |
| CN116150306A (zh) | 问答机器人的训练方法、问答方法及装置 | |
| CN111783473B (zh) | 医疗问答中最佳答案的识别方法、装置和计算机设备 | |
| CN116521886A (zh) | 基于深度学习的教育领域学科知识图谱的构建方法和装置 | |
| CN114003708B (zh) | 基于人工智能的自动问答方法、装置、存储介质及服务器 | |
| CN115114396A (zh) | 一种语言模型的训练方法、样本数据的构建方法及装置 | |
| CN115809663A (zh) | 习题分析方法、装置、设备及存储介质 | |
| Kreyssig | Deep learning for user simulation in a dialogue system | |
| CN113342924A (zh) | 答案检索方法及装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |