CN110442676A - 基于多轮对话的专利检索方法及装置 - Google Patents
基于多轮对话的专利检索方法及装置 Download PDFInfo
- Publication number
- CN110442676A CN110442676A CN201910588974.9A CN201910588974A CN110442676A CN 110442676 A CN110442676 A CN 110442676A CN 201910588974 A CN201910588974 A CN 201910588974A CN 110442676 A CN110442676 A CN 110442676A
- Authority
- CN
- China
- Prior art keywords
- read statement
- input side
- lstm
- participle
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3325—Reformulation based on results of preceding query
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于多轮对话的专利检索方法及装置,其中,该方法包括:获取输入方的输入语句,并对输入语句进行分词生成多个分词;对多个分词进行命名实体识别处理,得到与输入语句对应的多个实体;对多个实体进行意图检测得到与输入语句对应的意图结果;获取输入方的历史对话信息,并根据历史对话信息和意图结果更新当前状态信息;获取与更新后的当前状态信息对应的执行动作,并根据执行动作生成与输入语句对应的查询请求;将查询请求输入专利知识库,得到查询结果,将查询结果加入预设模板返回给输入方。该方法利用多轮对话的方式呈现当前检索结果,辅助用户进行专利检索需求,可规范用户的需求描述,显著提高专利检索的准确率。
Description
技术领域
本发明涉及信息交互技术领域,特别涉及一种基于多轮对话的专利检索方法及装置。
背景技术
随着我国科技事业的蓬勃发展,“大众创业,万众创新”发展成为动力之源。2018年,中国发明专利申请量为154.2万件。共授权发明专利43.2万件,其中,国内发明专利授权34.6万件。专利作为科研成果的主要呈现形式之一,是科技发展和成果转化的重要参照和依靠。然而随着专利资源库的飞速扩张,如何在巨大的资源库中检索出与自身需求匹配的专利已经成为科技成果转化中的一个重要问题,目前主要的检索方式有:
1)直接通过检索框或表格的方式进行关键字匹配。该方案是最基础也是目前应用最广泛的一种解决方案。用户将专利的相关筛选条件输入对应的一个或多个检索框中,系统将检索内容与专利库中的专利进行关键字匹配,若有多个检索条件,则通过逻辑表达式的方式对条件进行组合,最终将匹配内容作为检索答案进行返回。
2)通过主题匹配的方式。该方案通过带约束非负矩阵分解等技术,将专利文档转化为原始文档矩阵,并抽取文档特征作为该专利的特征。当用户输入专利需求后,将用户需求与专利特征进行匹配,找到特征最相近的专利,并将其作为检索结果进行返回。
3)采用智能问答的方式。该方案采用自然语言处理领域相关技术,用户对想要查找的专利进行描述,并将描述语句输入系统,系统采用自然语言处理相关技术对用户的描述进行编码,采用语义解析的方式将用户的需求描述解析为查询语句,在系统中查询对应专利;或采用文本检索的方式,利用神经网络等技术将用户的需求描述映射为特征向量,与专利库中的专利进行匹配,将最相近的专利作为检索结果进行输出。
如上所述,目前的专利检索方式主要有如下三种:1)直接通过检索框或表格的方式进行关键字匹配;2)基于专利文档的主题进行匹配;3)采用智能问答的方式进行匹配。
方案1)基础、复杂度低,对于能熟练检索专利的专业人员而言效率高,但是对用户要求高,对于绝大部分没有专利检索经验的普通用户而言,很难将自身需求转化为精确的关键字进行检索,从而导致很难检索到满足需求的专利。方案2)对专利的特征提取可以离线完成,因此检索的复杂度低,对于用户要求低,只需输入专利需求的关键词,操作简单,但是在提取专利特征的过程中会丢失大量细节信息,因此查询结果准确率难以保障。方案3)采用了语义分析、内容检索等自然语言处理领域的先进技术,能更好的理解用户输入的专利检索需求并返回匹配的专利,采用的机器学习算法模型可以离线训练,因此专利检索复杂度低,对用户要求低;但是智能问答缺少上下文信息,用户必须一次输入所有需求,当用户对于需求无法很清晰的描述时,准确率难以保障。
上述目前主流的三种专利检索方案还存在一个共同问题,即无法对用户的需求描述进行反馈,例如当用户对于需求的描述与主流、精确的描述有一定偏差时,无法对用户进行提示和确认,影响用户最终的检索结果。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的一个目的在于提出一种基于多轮对话的专利检索方法,该方法可规范用户的需求描述,显著提高专利检索的准确率。
本发明的另一个目的在于提出一种基于多轮对话的专利检索装置。
为达到上述目的,本发明一方面实施例提出了一种基于多轮对话的专利检索方法,包括:
获取输入方的输入语句,并对所述输入语句进行分词生成多个分词;
对所述多个分词进行命名实体识别处理,得到与所述输入语句对应的多个实体;
对所述多个实体进行意图检测得到与所述输入语句对应的意图结果;
获取所述输入方的历史对话信息,并根据所述历史对话信息和所述意图结果更新当前状态信息;
获取与更新后的当前状态信息对应的执行动作,并根据所述执行动作生成与所述输入语句对应的查询请求;
将所述查询请求输入专利知识库,得到查询结果,将所述查询结果加入预设模板返回给所述输入方。
本发明实施例的基于多轮对话的专利检索方法,通过利用多轮对话的方式呈现当前检索结果,辅助用户进行专利检索需求,并利用知识库中信息对用户需求描述进行反馈,辅助用户修正需求描述。
另外,根据本发明上述实施例的基于多轮对话的专利检索方法还可以具有以下附加的技术特征:
进一步地,在本发明的一个实施例中,所述对所述输入语句进行分词生成多个分词,包括:
添加用户词典,将高频、误切分的专利名称和公司名称加入所述用户词典来辅助分词。
进一步地,在本发明的一个实施例中,获取所述输入方的输入语句后,生成所述输入方所能产生的所有动作,在所有动作中获取与更新后的当前状态信息对应的执行动作。
进一步地,在本发明的一个实施例中,采用了BERT+BiLSTM+CRF的模型结构进行命名实体识别任务,BERT为预训练模型,BiLSTM是双向的LSTM模型,CRF是条件随机场模型,所述BERT+BiLSTM+CRF的模型结构分为三层,第一层是BRET预训练层,将输入语句序列表示为稠密的二维向量矩阵;第二层是双向LSTM层,自动提取输入语句特征,将一个输入语句的各个词的embedding依次输入LSTM中,再将正向LSTM输出的隐状态序列与反向LSTM的在各个位置输出的隐状态进行按位置拼接,得到完整的隐状态序列;第三层是CRF层,进行句子级的序列标注,利用维特比算法计算序列标注的最优解,得到分词标注结果。
进一步地,在本发明的一个实施例中,所述查询结果包括所述输入语句对应的提示信息和专利查询结果。
为达到上述目的,本发明另一方面实施例提出了一种基于多轮对话的专利检索装置,包括:
分词模块,用于获取输入方的输入语句,并对所述输入语句进行分词生成多个分词;
实体识别模块,用于对所述多个分词进行命名实体识别处理,得到与所述输入语句对应的多个实体;
意图检测模块,用于对所述多个实体进行意图检测得到与所述输入语句对应的意图结果;
状态更新模块,用于获取所述输入方的历史对话信息,并根据所述历史对话信息和所述意图结果更新当前状态信息;
生成模块,用于获取与更新后的当前状态信息对应的执行动作,并根据所述执行动作生成与所述输入语句对应的查询请求;
输出模块,用于将所述查询请求输入专利知识库,得到查询结果,将所述查询结果加入预设模板返回给所述输入方。
本发明实施例的基于多轮对话的专利检索装置,通过利用多轮对话的方式呈现当前检索结果,辅助用户进行专利检索需求,并利用知识库中信息对用户需求描述进行反馈,辅助用户修正需求描述。
另外,根据本发明上述实施例的基于多轮对话的专利检索装置还可以具有以下附加的技术特征:
进一步地,在本发明的一个实施例中,所述对所述输入语句进行分词生成多个分词,包括:
添加用户词典,将高频、误切分的专利名称和公司名称加入所述用户词典来辅助分词。
进一步地,在本发明的一个实施例中,采用了BERT+BiLSTM+CRF的模型结构进行命名实体识别任务,BERT为预训练模型,BiLSTM是双向的LSTM模型,CRF是条件随机场模型,所述BERT+BiLSTM+CRF的模型结构分为三层,第一层是BRET预训练层,将输入语句序列表示为稠密的二维向量矩阵;第二层是双向LSTM层,自动提取输入语句特征,将一个输入语句的各个词的embedding依次输入LSTM中,再将正向LSTM输出的隐状态序列与反向LSTM的在各个位置输出的隐状态进行按位置拼接,得到完整的隐状态序列;第三层是CRF层,进行句子级的序列标注,利用维特比算法计算序列标注的最优解,得到分词标注结果。
进一步地,在本发明的一个实施例中,获取所述输入方的输入语句后,生成所述输入方所能产生的所有动作,在所有动作中获取与更新后的当前状态信息对应的执行动作。
进一步地,在本发明的一个实施例中,所述查询结果包括所述输入语句对应的提示信息和专利查询结果。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本发明一个实施例的基于多轮对话的专利检索方法流程图;
图2为根据本发明一个实施例的基于多轮对话的专利检索方法流程框图;
图3为根据本发明一个实施例的基于多轮对话的专利检索装置结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于多轮对话的专利检索方法及装置。
首先将参照附图描述根据本发明实施例提出的基于多轮对话的专利检索方法。
图1为根据本发明一个实施例的基于多轮对话的专利检索方法流程图。
如图1所示,该基于多轮对话的专利检索方法包括以下步骤:
在步骤S101中,获取输入方的输入语句,并对输入语句进行分词生成多个分词。
具体地,如图2所示,在用户需要进行专利检索的时候,向系统的自然语言理解模块中输入输入语句,考虑到数据规模以及效果的稳定性,自然语言处理模块为基于Pipeline结构的,自然语言理解模块中包括分词处理子模块、实体识别子模块和意图识别子模块。在Pipeline中,用户的输入语句依次进入每个处理子模块,上一个子模块的输出为下一个子模块的输入,最后一个子模块的输出为整个自然语言理解模块的输出。
首先,通过分词处理子模块对输入语句进行分词处理,得到多个分词。
分词是将连续的字序列按照一定的规范重新组合成词序列的过程。本方法主要面向中文专利,中文分词拥有十分成熟的解决方案,因此分词处理子模块是基于开源分词引擎完成分词任务的。
进一步地,在本发明的一个实施例中,对输入语句进行分词生成多个分词,包括:
添加用户词典,将高频、误切分的专利名称和公司名称加入用户词典来辅助分词。
专利领域包含了大量的专有名词,例如专利名称和机构名称,该类名词在使用通用分词引擎进行时会产生大量误切分现象,严重影响后续的实体识别等工作。在综合考虑了复杂度以及资源库规模的基础上,本方法采用了添加用户词典的方式,将高频、误切分的专利名称和公司名称加入用户词典辅助分词。
在步骤S102中,对多个分词进行命名实体识别处理,得到与输入语句对应的多个实体。
在对输入语句进行分词后得到多个分词,多个分词为分词处理子模块的输出,也就是实体处理子模块的输入,通过实体处理子模块对多个分词进行命名实体识别处理,获得相应的实体。
具体地,实体识别子模块的作用在于对已经分词的用户语句进行命名实体识别(NER)任务,获得相应的实体。预定义实体如表1所示,表1为预定义实体表。
表1
进一步地,本方法采用了BERT+BiLSTM+CRF的模型结构进行命名实体识别任务。BERT是目前主流的预训练模型,BiLSTM是双向的LSTM模型,CRF是条件随机场模型。整个模型分为三层,第一层是BRET预训练层,将语句序列表示为稠密的二维向量矩阵。第二层是双向LSTM层,自动提取句子特征,将一个句子的各个词的embedding依次输入LSTM中,再将正向LSTM输出的隐状态序列与反向LSTM的在各个位置输出的隐状态进行按位置拼接,得到完整的隐状态序列。第三层是CRF层,进行句子级的序列标注。利用维特比算法计算序列标注的最优解,最终得到标注结果。
在步骤S103中,对多个实体进行意图检测得到与输入语句对应的意图结果。
在进行实体识别得到多个实体后,再通过意图识别子模块对实体识别子模块输出的多个实体进行意图检测,检测用户输入语句的意图。
具体地,意图识别子模块的作用在于对用户的语句进行意图检测。预定义的用户意图如表2所示,表2为预定义意图表。
表2
序号 | 意图名称 | 意图含义 |
1 | Greet | 问候 |
2 | Confirm | 确认 |
3 | Goodbye | 告别 |
4 | Thanks | 感谢 |
5 | Deny | 否认 |
6 | P_search | 专利查询 |
7 | chitchat | 闲聊,即与上述几个意图无关的其他意图 |
本方法采用了BERT+全连接层+softmax的模型结构进行用户意图检测。第一层为预训练层,与实体识别类似,采用BERT作为预训练模型,利用其开头的CLS字符的隐层变量作为预训练的输出。第二层为全连接层,全连接层将该输出的维度转化为意图数。第三层为softmax层,通过softmax进行分类,完成意图检测。
在通过三个子模块的输入和输出后,得到自然语言理解模块的输出为输入方的输入语句的意图结果。将意图结果再输入系统的对话管理模块中。
在步骤S104中,获取输入方的历史对话信息,并根据历史对话信息和意图结果更新当前状态信息。
对话管理模块接收自然语言理解模块的输入,对接收到的信息进行处理,对话管理模块包括四个子模块,分别为:对话追踪子模块、对话动作子模块、对话决策子模块和语句生成子模块。
具体地,对话追踪子模块的作用为追踪对话动态,主要为对话槽、对话历史以及用户输入的信息。对话槽的作用为存储对话过程中的信息,预定义的对话槽如表3所示,表3为预定义对话槽表。
表3
在该子模块中,将每一个能改变对话的最小单位称为“事件”。在每一次“事件”后,对话追踪模块都会根据当前状态更新自身信息。
在用户输入语句后,对话追踪子模块获取输入方的历史对话信息,根据历史对话信息更好的体会输入方的意图,根据历史对话信息和意图结果更新当前的状态信息。其中,历史对话信息为用户当前轮次对话之前的对话信息,根据多轮对话信息更新当前对话状态信息。
在步骤S105中,获取与更新后的当前状态信息对应的执行动作,并根据执行动作生成与输入语句对应的查询请求。
进一步地,获取输入方的输入语句后,生成输入方所能产生的所有动作,在所有动作中获取与更新后的当前状态信息对应的执行动作。
在对当前的状态进行更新后,对话决策子模块根据当前的状态选择对应的执行动作,主要说明的是,选择的动作为对话动作子模块产生的。对话动作子模块定义了对话管理模块基于用户输入所能产生的所有动作,如表4所示,表4为预定义动作表。
表4
对话决策子模块决定在当前状态下执行哪一个动作。本方法采用了LSTM+全连接层+softmax的结构。整个模型分为三层,第一层是LSTM,将对话历史以编码形式依次输入网络,得到各时间状态下的隐层变量,并将最后一个隐层变量作为该层的输出。第二层是全连接层,将隐层变量从隐藏层维度映射到动作个数的长度。第三次是softmax层,用于预测下一步动作。
在确定下一步的动作之后生成对应的查询请求,利用多轮对话的方式呈现当前检索结果,辅助用户进行专利检索需求。
在步骤S106中,将查询请求输入专利知识库,得到查询结果,将查询结果加入预设模板返回给输入方。
将查询请求输入专利知识库中进行检索,得到查询结果,查询结果中包含对应的提示信息和专利查询结果。在得到查询结果后通过语句生成子模块返回给输入方。输入方根据查询结果调整下一轮的输入,辅助输入方进行专利检索。
语句生成子模块用于生成返回给用户的信息,包括了相应的提示信息以及专利结果。本方法采用了基于模板的生成方式,通过将信息加入模板,生成返回结果。加入的模板可以根据实际需求进行设定,供输入方更好的查看,更加有条理。
返回给用户的查询结果中包含的提示信息对用户的需求描述进行反馈,辅助用户修正需求的描述,使用户在下一轮的检索中而更加精确的输入并得到所需的检索结果。
综上,本方法与现有的专利检索方法相比,优势在于:
1)现有方法采用智能问答的方式完成相应的专利服务,无法利用上下文信息,这要求用户必须一次性描述专利检索需求,加大了用户的使用难度,且易导致用户描述不准确从而无法精确检索用户真正需要的专利。而本方法采用的是多轮对话的方式,用户可以在每轮对话中输入最关键的检索信息,并根据当前的检索结果动态决定后续的检索信息,可以显著提高用户体验以及最终的检索准确率。
2)现有方法没有针对专利需求描述的反馈,无法辅助用户修正需求描述。普通用户在进行专利检索时极有可能会使用一些不规范的描述,本方法利用多轮对话的优势,基于知识库信息以及正则表达式对用户在每一轮对话中的需求描述进行修正,并返回给用户确认,该方法可规范用户的需求描述,显著提高专利检索的准确率。
根据本发明实施例提出的基于多轮对话的专利检索方法,通过利用多轮对话的方式呈现当前检索结果,辅助用户进行专利检索需求,并利用知识库中信息对用户需求描述进行反馈,辅助用户修正需求描述。
其次参照附图描述根据本发明实施例提出的基于多轮对话的专利检索装置。
图3为根据本发明一个实施例的基于多轮对话的专利检索装置结构示意图。
如图3所示,该基于多轮对话的专利检索装置包括:分词模块100、实体识别模块200、意图检测模块300、状态更新模块400、生成模块500和输出模块600。
其中,分词模块100,用于获取输入方的输入语句,并对输入语句进行分词生成多个分词。
实体识别模块200,用于对多个分词进行命名实体识别处理,得到与输入语句对应的多个实体。
意图检测模块300,用于对多个实体进行意图检测得到与输入语句对应的意图结果。
状态更新模块400,用于获取输入方的历史对话信息,并根据历史对话信息和意图结果更新当前状态信息。
生成模块500,用于获取与更新后的当前状态信息对应的执行动作,并根据执行动作生成与输入语句对应的查询请求。
输出模块600,用于将查询请求输入专利知识库,得到查询结果,将查询结果加入预设模板返回给输入方。
进一步地,在本发明的一个实施例中,对输入语句进行分词生成多个分词,包括:
添加用户词典,将高频、误切分的专利名称和公司名称加入用户词典来辅助分词。
进一步地,在本发明的一个实施例中,采用了BERT+BiLSTM+CRF的模型结构进行命名实体识别任务,BERT为预训练模型,BiLSTM是双向的LSTM模型,CRF是条件随机场模型,BERT+BiLSTM+CRF的模型结构分为三层,第一层是BRET预训练层,将输入语句序列表示为稠密的二维向量矩阵;第二层是双向LSTM层,自动提取输入语句特征,将一个输入语句的各个词的embedding依次输入LSTM中,再将正向LSTM输出的隐状态序列与反向LSTM的在各个位置输出的隐状态进行按位置拼接,得到完整的隐状态序列;第三层是CRF层,进行句子级的序列标注,利用维特比算法计算序列标注的最优解,得到分词标注结果。
进一步地,在本发明的一个实施例中,获取输入方的输入语句后,生成输入方所能产生的所有动作,在所有动作中获取与更新后的当前状态信息对应的执行动作。
进一步地,在本发明的一个实施例中,查询结果包括输入语句对应的提示信息和专利查询结果。
需要说明的是,前述对基于多轮对话的专利检索方法实施例的解释说明也适用于该实施例的装置,此处不再赘述。
根据本发明实施例提出的基于多轮对话的专利检索装置,通过利用多轮对话的方式呈现当前检索结果,辅助用户进行专利检索需求,并利用知识库中信息对用户需求描述进行反馈,辅助用户修正需求描述。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于多轮对话的专利检索方法,其特征在于,包括以下步骤:
获取输入方的输入语句,并对所述输入语句进行分词生成多个分词;
对所述多个分词进行命名实体识别处理,得到与所述输入语句对应的多个实体;
对所述多个实体进行意图检测得到与所述输入语句对应的意图结果;
获取所述输入方的历史对话信息,并根据所述历史对话信息和所述意图结果更新当前状态信息;
获取与更新后的当前状态信息对应的执行动作,并根据所述执行动作生成与所述输入语句对应的查询请求;
将所述查询请求输入专利知识库,得到查询结果,将所述查询结果加入预设模板返回给所述输入方。
2.根据权利要求1所述的方法,其特征在于,所述对所述输入语句进行分词生成多个分词,包括:
添加用户词典,将高频、误切分的专利名称和公司名称加入所述用户词典来辅助分词。
3.根据权利要求1所述的方法,其特征在于,
获取所述输入方的输入语句后,生成所述输入方所能产生的所有动作,在所有动作中获取与更新后的当前状态信息对应的执行动作。
4.根据权利要求1所述的方法,其特征在于,
采用BERT+BiLSTM+CRF的模型结构进行命名实体识别任务,BERT为预训练模型,BiLSTM是双向的LSTM模型,CRF是条件随机场模型,所述BERT+BiLSTM+CRF的模型结构分为三层,第一层是BRET预训练层,将输入语句序列表示为稠密的二维向量矩阵;第二层是双向LSTM层,自动提取输入语句特征,将一个输入语句的各个词的embedding依次输入LSTM中,再将正向LSTM输出的隐状态序列与反向LSTM的在各个位置输出的隐状态进行按位置拼接,得到完整的隐状态序列;第三层是CRF层,进行句子级的序列标注,利用维特比算法计算序列标注的最优解,得到分词标注结果。
5.根据权利要求1所述的方法,其特征在于,
所述查询结果包括所述输入语句对应的提示信息和专利查询结果。
6.一种基于多轮对话的专利检索装置,其特征在于,包括:
分词模块,用于获取输入方的输入语句,并对所述输入语句进行分词生成多个分词;
实体识别模块,用于对所述多个分词进行命名实体识别处理,得到与所述输入语句对应的多个实体;
意图检测模块,用于对所述多个实体进行意图检测得到与所述输入语句对应的意图结果;
状态更新模块,用于获取所述输入方的历史对话信息,并根据所述历史对话信息和所述意图结果更新当前状态信息;
生成模块,用于获取与更新后的当前状态信息对应的执行动作,并根据所述执行动作生成与所述输入语句对应的查询请求;
输出模块,用于将所述查询请求输入专利知识库,得到查询结果,将所述查询结果加入预设模板返回给所述输入方。
7.根据权利要求6所述的装置,其特征在于,所述对所述输入语句进行分词生成多个分词,包括:
添加用户词典,将高频、误切分的专利名称和公司名称加入所述用户词典来辅助分词。
8.根据权利要求6所述的装置,其特征在于,
采用了BERT+BiLSTM+CRF的模型结构进行命名实体识别任务,BERT为预训练模型,BiLSTM是双向的LSTM模型,CRF是条件随机场模型,所述BERT+BiLSTM+CRF的模型结构分为三层,第一层是BRET预训练层,将输入语句序列表示为稠密的二维向量矩阵;第二层是双向LSTM层,自动提取输入语句特征,将一个输入语句的各个词的embedding依次输入LSTM中,再将正向LSTM输出的隐状态序列与反向LSTM的在各个位置输出的隐状态进行按位置拼接,得到完整的隐状态序列;第三层是CRF层,进行句子级的序列标注,利用维特比算法计算序列标注的最优解,得到分词标注结果。
9.根据权利要求6所述的装置,其特征在于,所述生成模块还用于:
获取所述输入方的输入语句后,生成所述输入方所能产生的所有动作,在所有动作中获取与更新后的当前状态信息对应的执行动作。
10.根据权利要求6所述的装置,其特征在于,
所述查询结果包括所述输入语句对应的提示信息和专利查询结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910588974.9A CN110442676A (zh) | 2019-07-02 | 2019-07-02 | 基于多轮对话的专利检索方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910588974.9A CN110442676A (zh) | 2019-07-02 | 2019-07-02 | 基于多轮对话的专利检索方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110442676A true CN110442676A (zh) | 2019-11-12 |
Family
ID=68428450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910588974.9A Pending CN110442676A (zh) | 2019-07-02 | 2019-07-02 | 基于多轮对话的专利检索方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110442676A (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110781254A (zh) * | 2020-01-02 | 2020-02-11 | 四川大学 | 一种案情知识图谱自动构建方法及系统及设备及介质 |
CN110825865A (zh) * | 2020-01-09 | 2020-02-21 | 浩鲸云计算科技股份有限公司 | 一种基于专有词纠正和冷启动的多轮对话智能客服系统 |
CN111125331A (zh) * | 2019-12-20 | 2020-05-08 | 京东方科技集团股份有限公司 | 语义识别方法、装置、电子设备及计算机可读存储介质 |
CN111191016A (zh) * | 2019-12-27 | 2020-05-22 | 车智互联(北京)科技有限公司 | 一种多轮对话处理方法、装置及计算设备 |
CN111243571A (zh) * | 2020-01-14 | 2020-06-05 | 北京字节跳动网络技术有限公司 | 文本的处理方法、装置、设备及计算机可读存储介质 |
CN111291569A (zh) * | 2020-04-15 | 2020-06-16 | 智者四海(北京)技术有限公司 | 多类别实体识别模型的训练方法及装置 |
CN111428483A (zh) * | 2020-03-31 | 2020-07-17 | 华为技术有限公司 | 语音交互方法、装置和终端设备 |
CN111475616A (zh) * | 2020-03-13 | 2020-07-31 | 平安科技(深圳)有限公司 | 基于对话状态预测的多轮对话方法、装置和计算机设备 |
CN112115238A (zh) * | 2020-10-29 | 2020-12-22 | 电子科技大学 | 一种基于bert和知识库的问答方法和系统 |
CN112364147A (zh) * | 2020-12-01 | 2021-02-12 | 四川长虹电器股份有限公司 | 一种基于知识图谱的跨领域多轮对话方法及实现系统 |
CN113326359A (zh) * | 2020-02-28 | 2021-08-31 | 浙江大搜车软件技术有限公司 | 一种对话应答及应答策略匹配模型的训练方法和装置 |
CN113377844A (zh) * | 2021-06-29 | 2021-09-10 | 哈尔滨工业大学 | 面向大型关系型数据库的对话式数据模糊检索方法及装置 |
CN113704432A (zh) * | 2021-08-31 | 2021-11-26 | 广州方舟信息科技有限公司 | 一种基于互联网医院的人工智能客服系统构建方法及装置 |
CN111462749B (zh) * | 2020-03-20 | 2023-07-21 | 北京邮电大学 | 基于对话状态导向和知识库检索的端到端对话系统及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104951458A (zh) * | 2014-03-26 | 2015-09-30 | 华为技术有限公司 | 基于语义识别的帮助处理方法及设备 |
CN108197191A (zh) * | 2017-12-27 | 2018-06-22 | 神思电子技术股份有限公司 | 一种多轮对话的场景意图中断方法 |
CN108874774A (zh) * | 2018-06-05 | 2018-11-23 | 浪潮软件股份有限公司 | 一种基于意图理解的服务调用方法和系统 |
CN109063035A (zh) * | 2018-07-16 | 2018-12-21 | 哈尔滨工业大学 | 一种面向出行领域的人机多轮对话方法 |
-
2019
- 2019-07-02 CN CN201910588974.9A patent/CN110442676A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104951458A (zh) * | 2014-03-26 | 2015-09-30 | 华为技术有限公司 | 基于语义识别的帮助处理方法及设备 |
CN108197191A (zh) * | 2017-12-27 | 2018-06-22 | 神思电子技术股份有限公司 | 一种多轮对话的场景意图中断方法 |
CN108874774A (zh) * | 2018-06-05 | 2018-11-23 | 浪潮软件股份有限公司 | 一种基于意图理解的服务调用方法和系统 |
CN109063035A (zh) * | 2018-07-16 | 2018-12-21 | 哈尔滨工业大学 | 一种面向出行领域的人机多轮对话方法 |
Non-Patent Citations (2)
Title |
---|
SLIDERSUN: "《https://blog.csdn.net/weixin_37947156/article/details/85313616》", 27 December 2018 * |
天生SMILE: "《https://www.jianshu.com/p/b05e50f682dd》", 5 December 2018 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111125331A (zh) * | 2019-12-20 | 2020-05-08 | 京东方科技集团股份有限公司 | 语义识别方法、装置、电子设备及计算机可读存储介质 |
CN111125331B (zh) * | 2019-12-20 | 2023-10-31 | 京东方科技集团股份有限公司 | 语义识别方法、装置、电子设备及计算机可读存储介质 |
CN111191016A (zh) * | 2019-12-27 | 2020-05-22 | 车智互联(北京)科技有限公司 | 一种多轮对话处理方法、装置及计算设备 |
CN111191016B (zh) * | 2019-12-27 | 2023-06-02 | 车智互联(北京)科技有限公司 | 一种多轮对话处理方法、装置及计算设备 |
CN110781254A (zh) * | 2020-01-02 | 2020-02-11 | 四川大学 | 一种案情知识图谱自动构建方法及系统及设备及介质 |
CN110825865A (zh) * | 2020-01-09 | 2020-02-21 | 浩鲸云计算科技股份有限公司 | 一种基于专有词纠正和冷启动的多轮对话智能客服系统 |
CN111243571A (zh) * | 2020-01-14 | 2020-06-05 | 北京字节跳动网络技术有限公司 | 文本的处理方法、装置、设备及计算机可读存储介质 |
CN113326359A (zh) * | 2020-02-28 | 2021-08-31 | 浙江大搜车软件技术有限公司 | 一种对话应答及应答策略匹配模型的训练方法和装置 |
WO2021179445A1 (zh) * | 2020-03-13 | 2021-09-16 | 平安科技(深圳)有限公司 | 基于对话状态预测的多轮对话方法、装置和计算机设备 |
CN111475616A (zh) * | 2020-03-13 | 2020-07-31 | 平安科技(深圳)有限公司 | 基于对话状态预测的多轮对话方法、装置和计算机设备 |
CN111475616B (zh) * | 2020-03-13 | 2023-08-22 | 平安科技(深圳)有限公司 | 基于对话状态预测的多轮对话方法、装置和计算机设备 |
CN111462749B (zh) * | 2020-03-20 | 2023-07-21 | 北京邮电大学 | 基于对话状态导向和知识库检索的端到端对话系统及方法 |
CN111428483A (zh) * | 2020-03-31 | 2020-07-17 | 华为技术有限公司 | 语音交互方法、装置和终端设备 |
CN111291569A (zh) * | 2020-04-15 | 2020-06-16 | 智者四海(北京)技术有限公司 | 多类别实体识别模型的训练方法及装置 |
CN112115238A (zh) * | 2020-10-29 | 2020-12-22 | 电子科技大学 | 一种基于bert和知识库的问答方法和系统 |
CN112364147A (zh) * | 2020-12-01 | 2021-02-12 | 四川长虹电器股份有限公司 | 一种基于知识图谱的跨领域多轮对话方法及实现系统 |
CN113377844A (zh) * | 2021-06-29 | 2021-09-10 | 哈尔滨工业大学 | 面向大型关系型数据库的对话式数据模糊检索方法及装置 |
CN113704432A (zh) * | 2021-08-31 | 2021-11-26 | 广州方舟信息科技有限公司 | 一种基于互联网医院的人工智能客服系统构建方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110442676A (zh) | 基于多轮对话的专利检索方法及装置 | |
CN110377715A (zh) | 基于法律知识图谱的推理式精准智能问答方法 | |
CN104408173B (zh) | 一种基于b2b平台的核心关键词自动提取方法 | |
CN111190997B (zh) | 一种使用神经网络和机器学习排序算法的问答系统实现方法 | |
CN115238101A (zh) | 一种面向多类型知识库的多引擎智能问答系统 | |
CN111462750A (zh) | 语义与知识增强的端到端任务型对话系统及方法 | |
CN111309871B (zh) | 一种基于文本语义分析需求与输出成果之间匹配度的方法 | |
CN113157885B (zh) | 一种面向人工智能领域知识的高效智能问答系统 | |
CN116991869A (zh) | 一种基于nlp语言模型自动生成数据库查询语句的方法 | |
CN117093729B (zh) | 一种基于医疗科研信息的检索方法、系统及检索终端 | |
CN115470338B (zh) | 一种基于多路召回的多场景智能问答方法和系统 | |
CN111159381B (zh) | 数据搜索方法及装置 | |
CN111651569B (zh) | 一种电力领域的知识库问答方法及系统 | |
Ackermann et al. | Data-driven annotation of textual process descriptions based on formal meaning representations | |
CN117251455A (zh) | 一种基于大模型的智能报表生成方法及其系统 | |
CN111400340A (zh) | 一种自然语言处理方法、装置、计算机设备和存储介质 | |
CN113779987A (zh) | 一种基于自注意力增强语义的事件共指消岐方法及系统 | |
CN112183110A (zh) | 一种基于数据中心的人工智能数据应用系统及应用方法 | |
CN116628146A (zh) | 一种金融领域的faq智能问答方法及系统 | |
CN110309258A (zh) | 一种输入检查方法、服务器和计算机可读存储介质 | |
CN114330285A (zh) | 语料处理方法、装置、电子设备及计算机可读存储介质 | |
CN113688636A (zh) | 扩展问的推荐方法、装置、计算机设备和存储介质 | |
CN118093636B (zh) | 一种sql语句查询正确性判别方法 | |
CN118070925B (zh) | 模型训练方法、装置、电子设备、存储介质及程序产品 | |
CN111767377B (zh) | 一种面向低资源环境的高效口语理解识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191112 |