CN109101492A - 一种自然语言处理中使用历史对话行为进行实体提取的方法及系统 - Google Patents

一种自然语言处理中使用历史对话行为进行实体提取的方法及系统 Download PDF

Info

Publication number
CN109101492A
CN109101492A CN201810825397.6A CN201810825397A CN109101492A CN 109101492 A CN109101492 A CN 109101492A CN 201810825397 A CN201810825397 A CN 201810825397A CN 109101492 A CN109101492 A CN 109101492A
Authority
CN
China
Prior art keywords
entity
vector
word
natural language
carries out
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810825397.6A
Other languages
English (en)
Inventor
徐恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Walkiri Network Technology Co Ltd
Original Assignee
Nanjing Walkiri Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Walkiri Network Technology Co Ltd filed Critical Nanjing Walkiri Network Technology Co Ltd
Priority to CN201810825397.6A priority Critical patent/CN109101492A/zh
Publication of CN109101492A publication Critical patent/CN109101492A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种自然语言处理中使用历史对话行为进行实体提取的方法及系统，其中方法包括：S1，向量化表示用户输入信息中的每个词语；S2，根据词向量或字向量与其上下文之间的关系，利用卷积神经网络初步得到命名实体；S3，根据注意力机制，结合历史对话信息，确定命名实体和当前任务；S4，根据命名实体和当前任务，基于规则过滤不必要的标注，提取实体之间的关系。本发明能够有效地找到特定类型文本这种蕴含的实体关系，提高实体提取的准确率，把文本本身提取到的实体进一步完善，从而最有效的辅助人工完成信息或服务获取的任务。

Description

一种自然语言处理中使用历史对话行为进行实体提取的方法 及系统
技术领域
本发明涉及人工智能技术领域，尤其涉及一种自然语言处理中使用历史对话行为进行实体提取的方法及系统。
背景技术
文本实体提取是自然语言处理的主要任务之一，从特定类型文本中提取实体关系。人工智能技术领域除了有很多结构化数据之外，还有更多的文本数据，通俗意义上都叫做非结构化数据，非结构化数据不包括语音、图片、视频等。在应用里面，结构化描述的数据是非常清楚的，但对于文本来说，由于人为书写的形式各异，表达方式多样，涉及多种要素，如人名、车牌号、手机号、组织名等都称之为实体。实体和实体的关系，以及实体和事件的关系，比较难发现之间的关联。
发明内容
本发明的目的在于提供一种自然语言处理中使用历史对话行为进行实体提取的方法及系统，旨在有效地找到特定类型文本蕴含的实体关系，提高实体提取的准确率。
为实现上述目的，本发明的技术方案如下：
一种自然语言处理中使用历史对话行为进行实体提取的方法，包括：
S1，根据用户输入的对话信息，将待处理文本中的词或字采用分布式向量表示，记作词向量或字向量；
S2，根据词向量或字向量与其上下文之间的关系，利用卷积神经网络初步得到命名实体；
S3，根据注意力机制，结合历史对话信息，确定命名实体和当前任务；
S4，根据命名实体和当前任务，基于规则提取实体之间的关系。
上述方案中，所述词向量为语言词表中的词映射成一个长度固定的向量，所有词向量构成一个向量空间，每一个词为词向量空间中的一个点。
上述方案中，所述步骤S2具体包括，根据词向量或字向量与其上下文之间的关系，利用卷积神经网络对待处理文本进行编码，重新输出一个新的向量或矩阵，并且对输出矩阵进行分类识别，识别出是否构成实体。
上述方案中，所述步骤S3具体包括，将历史对话信息作为背景，结合注意力机制，训练一个神经网络作为模型，确定文本中的命名实体以及当前任务。
上述方案中，所述步骤S4具体包括，根据当前任务和命名实体，重新训练实体识别模型，通过规则引擎及半监督方法，提取实体之间的关系。
一种自然语言处理中使用历史对话行为进行实体提取的系统，包括：
向量化单元，向量化处理用户输入信息中的每个词语；
初步筛选单元，通过卷积神经网络或者机器学习分类器，筛选出初步的命名实体；
深度筛选单元，结合历史对话文本信息，通过注意力机制将命名实体具体化；
关系抽取单元，利用预设定的规则引擎及监督训练方法，提取出实体间的关系。
本发明的自然语言处理中使用历史对话行为进行实体提取的方法，有效地找到特定类型文本这种蕴含的实体关系，提高实体提取的准确率，把文本本身提取到的实体进一步完善，从而最有效的辅助人工完成信息或服务获取的任务。
附图说明
图1是本发明一个实施例的自然语言处理中使用历史对话行为进行实体提取的方法的流程图；
图2是本发明一个实施例的自然语言处理中使用历史对话行为进行实体提取的系统的结构示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案做进一步的详细说明。
图1是本发发明一个实施例中一种自然语言处理中使用历史对话行为进行实体提取的方法的流程图。
如图1所示，该自然语言处理中使用历史对话行为进行实体提取的方法包括以下几个步骤：
S1，根据用户输入的对话信息，将待处理文本中的词或字采用分布式向量表示，记作词向量或字向量，作为后续步骤的输入。
其中，词向量或者字向量可以事先训练得到，也可以先初始化成随机向量，然后在训练当前任务的过程中调整。词向量计算是通过训练的方法，将语言词表中的词映射成一个长度固定的向量，词表中的所有词向量构成一个向量空间，每一个词为词向量空间中的一个点，利用该方法，实现文本的可计算。
举例说明：用户输入的对话信息为“今天我们的讨论主题是手机厂商。美国苹果公司是目前全球最大的手机厂商”，对对话信息中的每个词向量化处理，如将“美国”、“苹果”、“公司”映射成4096维度的向量。
S2，根据词向量或字向量与其上下文之间的关系，利用卷积神经网络或循环神经网络对文本进行编码，输出新的向量或矩阵，并且对输出矩阵进行分类识别，识别出是否构成实体。
举例而言，对于每个词，结合上下文关系，初步得到命名实体。如将“美国”、“苹果”、“公司”的向量形式拼接组合在一起，通过卷积神经网络或循环神经网络进行重新编码，训练得到新向量，用于表示实体的分布概率。例如实体类别为“水果”的概率为40％，“手机公司”的概率55％，其他类别的概率和为5％。
S3，根据注意力机制，结合历史对话信息，确定命名实体和当前任务。
将历史对话信息作为背景，结合注意力机制，训练一个神经网络作为模型，确定文本中的命名实体以及当前任务。
结合历史用户输入信息“今天我们的讨论主题是手机厂商”，通过注意力模型，例如，进一步筛选出手机公司的概率为95％。
S4，根据命名实体和当前任务，基于规则提取实体之间的关系。
根据当前任务和命名实体，重新训练实体识别模型，通过规则引擎及半监督方法，提取实体之间的关系。
根据预设的规则和一定的监督学习，提取出实体的关系与任务的意图。例如“美国苹果公司是目前全球最大的手机厂商”，提取出“苹果公司-属于-美国”和“苹果公司-属性-最大手机厂商”的关系。
一种自然语言处理中使用历史对话行为进行实体提取的系统，包括：
向量化单元，向量化处理用户输入信息中的每个词语；
初步筛选单元，通过卷积神经网络或者机器学习分类器，筛选出初步的命名实体；
深度筛选单元，结合历史对话文本信息，通过注意力机制将命名实体具体化；
关系抽取单元，利用预设定的规则引擎及监督训练方法，提取出实体间的关系。
以“今天我们的讨论主题是手机厂商。美国苹果公司是目前全球最大的手机厂商”为例
通过向量化单元对用户输入信息中的每个词语向量化处理，例如将“苹果”映射成4096维度的向量。
对于每个词，结合上下文关系，通过初步筛选单元初步得到命名实体。例如将“美国”，“苹果”，“公司”的向量形式拼接组合在一起，通过卷积神经网络或循环神经网络训练得到一个新向量，用于表示实体的分布概率。例如实体类别为“水果”的概率为40％，“手机公司”的概率55％，其他类别的概率和为5％。
通过深度筛选单元，结合历史数据“今天我们的讨论主题是手机厂商”，通过注意力模型，例如，进一步筛选出手机公司的概率为95％。
关系提取单元，根据预设的规则和一定的监督学习，提取出实体的关系与任务的意图。例如“美国苹果公司是目前全球最大的手机厂商”，可以提取出“苹果公司-属于-美国”和“苹果公司-属性-最大手机厂商”的关系。
本发明的自然语言处理中使用历史对话行为进行实体提取的方法及系统，有效地找到特定类型文本这种蕴含的实体关系，提高实体提取的准确率，把文本本身提取到的实体进一步完善，从而最有效的辅助人工完成信息或服务获取的任务。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是，以上所述仅为本发明的具体实施方式，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应含在本发明的保护范围之内。

Claims (6)

1.一种自然语言处理中使用历史对话行为进行实体提取的方法，其特征在于，包括：
S1，根据用户输入的对话信息，将待处理文本中的词或字采用分布式向量表示，记作词向量或字向量；
S2，根据词向量或字向量与其上下文之间的关系，利用卷积神经网络初步得到命名实体；
S3，根据注意力机制，结合历史对话信息，确定命名实体和当前任务；
S4，根据命名实体和当前任务，基于规则提取实体之间的关系。
2.根据权利要求1所述的自然语言处理中使用历史对话行为进行实体提取的方法，其特征在于：所述词向量为语言词表中的词映射成一个长度固定的向量，所有词向量构成一个向量空间，每一个词为词向量空间中的一个点。
3.根据权利要求1所述的自然语言处理中使用历史对话行为进行实体提取的方法，其特征在于：所述步骤S2包括，根据词向量或字向量与其上下文之间的关系，利用卷积神经网络对待处理文本进行编码，重新输出一个新的向量或矩阵，并且对输出矩阵进行分类识别，识别出是否构成实体。
4.根据权利要求1所述的自然语言处理中使用历史对话行为进行实体提取的方法，其特征在于：所述步骤S3包括，将历史对话信息作为背景，结合注意力机制，训练一个神经网络作为模型，确定文本中的命名实体以及当前任务。
5.根据权利要求1所述的自然语言处理中使用历史对话行为进行实体提取的方法，其特征在于：所述步骤S4包括，根据当前任务和命名实体，重新训练实体识别模型，通过规则引擎及半监督方法，提取实体之间的关系。
6.一种自然语言处理中使用历史对话行为进行实体提取的系统，其特征在于，包括：向量化单元，向量化处理用户输入信息中的每个词语；
初步筛选单元，通过卷积神经网络或者机器学习分类器，筛选出初步的命名实体；
深度筛选单元，结合历史对话文本信息，通过注意力机制将命名实体具体化；
关系抽取单元，利用预设定的规则引擎及监督训练方法，提取出实体间的关系。
CN201810825397.6A 2018-07-25 2018-07-25 一种自然语言处理中使用历史对话行为进行实体提取的方法及系统 Pending CN109101492A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810825397.6A CN109101492A (zh) 2018-07-25 2018-07-25 一种自然语言处理中使用历史对话行为进行实体提取的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810825397.6A CN109101492A (zh) 2018-07-25 2018-07-25 一种自然语言处理中使用历史对话行为进行实体提取的方法及系统

Publications (1)

Publication Number Publication Date
CN109101492A true CN109101492A (zh) 2018-12-28

Family

ID=64847381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810825397.6A Pending CN109101492A (zh) 2018-07-25 2018-07-25 一种自然语言处理中使用历史对话行为进行实体提取的方法及系统

Country Status (1)

Country Link
CN (1) CN109101492A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902299A (zh) * 2019-02-18 2019-06-18 北京明略软件系统有限公司 一种文本处理方法及装置
CN110222330A (zh) * 2019-04-26 2019-09-10 平安科技（深圳）有限公司 语义识别方法及装置、存储介质、计算机设备
CN110502614A (zh) * 2019-08-16 2019-11-26 阿里巴巴集团控股有限公司 文本拦截方法、装置、系统以及设备
CN110705302A (zh) * 2019-10-11 2020-01-17 掌阅科技股份有限公司 命名实体的识别方法、电子设备及计算机存储介质
CN110825526A (zh) * 2019-11-08 2020-02-21 欧冶云商股份有限公司 基于er关系的分布式调度方法及装置、设备以及存储介质
CN111222054A (zh) * 2020-01-03 2020-06-02 中国计量大学 一种基于上下文邻居关系建模的会话社交推荐方法
CN111581375A (zh) * 2020-04-01 2020-08-25 车智互联（北京）科技有限公司 对话意图类型识别方法、多轮对话方法、装置及计算设备
WO2021196981A1 (zh) * 2020-03-31 2021-10-07 华为技术有限公司 语音交互方法、装置和终端设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557462A (zh) * 2016-11-02 2017-04-05 数库（上海）科技有限公司 命名实体识别方法和系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557462A (zh) * 2016-11-02 2017-04-05 数库（上海）科技有限公司 命名实体识别方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ILIA KORVIGO ET AL: "Putting hands to rest: efficient deep CNN‑RNN architecture for chemical named entity recognition with no hand-crafted rules", 《JOURNAL OF CHEMINFORMATICS》 *
张亮: "基于深度学习的中文微博文本命名实体识别研究", 《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》 *
陈思佳: "实体关系抽取技术研究", 《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902299A (zh) * 2019-02-18 2019-06-18 北京明略软件系统有限公司 一种文本处理方法及装置
CN110222330A (zh) * 2019-04-26 2019-09-10 平安科技（深圳）有限公司 语义识别方法及装置、存储介质、计算机设备
CN110222330B (zh) * 2019-04-26 2024-01-30 平安科技（深圳）有限公司 语义识别方法及装置、存储介质、计算机设备
CN110502614B (zh) * 2019-08-16 2023-05-09 创新先进技术有限公司 文本拦截方法、装置、系统以及设备
CN110502614A (zh) * 2019-08-16 2019-11-26 阿里巴巴集团控股有限公司 文本拦截方法、装置、系统以及设备
CN110705302A (zh) * 2019-10-11 2020-01-17 掌阅科技股份有限公司 命名实体的识别方法、电子设备及计算机存储介质
CN110705302B (zh) * 2019-10-11 2023-12-12 掌阅科技股份有限公司 命名实体的识别方法、电子设备及计算机存储介质
CN110825526A (zh) * 2019-11-08 2020-02-21 欧冶云商股份有限公司 基于er关系的分布式调度方法及装置、设备以及存储介质
CN111222054B (zh) * 2020-01-03 2020-12-11 中国计量大学 一种基于上下文邻居关系建模的会话社交推荐方法
CN111222054A (zh) * 2020-01-03 2020-06-02 中国计量大学 一种基于上下文邻居关系建模的会话社交推荐方法
WO2021196981A1 (zh) * 2020-03-31 2021-10-07 华为技术有限公司 语音交互方法、装置和终端设备
CN111581375A (zh) * 2020-04-01 2020-08-25 车智互联（北京）科技有限公司 对话意图类型识别方法、多轮对话方法、装置及计算设备
CN111581375B (zh) * 2020-04-01 2023-05-30 车智互联（北京）科技有限公司 对话意图类型识别方法、多轮对话方法、装置及计算设备

Similar Documents

Publication Publication Date Title
CN109101492A (zh) 一种自然语言处理中使用历史对话行为进行实体提取的方法及系统
Dwarampudi et al. Effects of padding on LSTMs and CNNs
CN110334201B (zh) 一种意图识别方法、装置及系统
CN108681610B (zh) 生成式多轮闲聊对话方法、系统及计算机可读存储介质
Alonso et al. ExpliClas: automatic generation of explanations in natural language for weka classifiers
CN109887484A (zh) 一种基于对偶学习的语音识别与语音合成方法及装置
WO2021174880A1 (zh) 征提取模型训练方法、人脸识别方法、装置、设备及介质
CN109635080A (zh) 应答策略生成方法及装置
CN111353028B (zh) 用于确定客服话术簇的方法及装置
CN113010653B (zh) 一种对话策略模型训练、对话的方法和系统
CN106709804A (zh) 一种交互式财富规划咨询机器人系统
CN106875076A (zh) 建立外呼质量模型、外呼模型及外呼评价的方法及系统
Madasu et al. Sequential learning of convolutional features for effective text classification
CA3123387C (en) Method and system for generating an intent classifier
CN116049360A (zh) 基于客户画像的智能语音对话场景话术干预方法及系统
CN110516057A (zh) 一种信访问题答复方法及装置
Lee et al. Deep representation learning for affective speech signal analysis and processing: Preventing unwanted signal disparities
CN108595609A (zh) 基于人物ip的机器人回复生成方法、系统、介质及设备
CN111127185A (zh) 信贷欺诈识别模型构建方法及装置
CN112632248A (zh) 问答方法、装置、计算机设备和存储介质
CN109146317A (zh) 一种收益分成方法及相关设备
CN117476031A (zh) 一种噪声环境下耳机通话语音增强方法及系统
Jamil et al. Churn comprehension analysis for telecommunication industry using ALBA
CN109308896A (zh) 语音处理方法及装置、存储介质及处理器
CN116757835A (zh) 信用卡客户贷中交易风险监控方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181228