CN111368045B - 用户意图识别方法、装置、设备及计算机可读存储介质 - Google Patents

用户意图识别方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111368045B
CN111368045B CN202010110441.2A CN202010110441A CN111368045B CN 111368045 B CN111368045 B CN 111368045B CN 202010110441 A CN202010110441 A CN 202010110441A CN 111368045 B CN111368045 B CN 111368045B
Authority
CN
China
Prior art keywords
history
target
elements
target data
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010110441.2A
Other languages
English (en)
Other versions
CN111368045A (zh
Inventor
朱海军
许开河
王少军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010110441.2A priority Critical patent/CN111368045B/zh
Publication of CN111368045A publication Critical patent/CN111368045A/zh
Priority to PCT/CN2020/122059 priority patent/WO2021164286A1/zh
Application granted granted Critical
Publication of CN111368045B publication Critical patent/CN111368045B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及自然语言处理技术领域，公开了一种用户意图识别方法及装置、设备和计算机可读存储介质，该方法包括：接收用户输入的目标问题，并将目标问题输入至要素识别模型，以获取与目标问题关联的多个历史问题；获取各历史问题对应的历史要素，并对各历史要素进行查重处理，以获取多个相关历史要素；依次将各相关历史要素和目标问题进行组合，以获取多个目标数据，并通过要素识别模型对各目标数据依次进行预测，以确定各目标数据是否符合预设要求；将符合预设要求的目标数据中的相关历史要素作为与目标问题对应的目标问题要素，并基于目标问题要素确定所述用户的意图。解决了现有技术中进行要素识别时，准确性较低的技术问题。

Description

用户意图识别方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及自然语言处理技术领域，尤其涉及一种用户意图识别方法、装置、设备及计算机可读存储介质。
背景技术
目前，在智能客服系统中，用户query(疑问)的意图识别是非常重要的组成部分，而目前在对用户query的意图识别方案(如意图分类以及意图检索等)中，无法准确地对意图不明的query进行识别，而为了解决这一问题，目前基本上是采用识别用户query的重要要素来进行的，但是目前常见的要素识别方法有很大的局限性，要么对处理的数据限制较为严格，要么无法直接针对要素识别的目标进行优化，进而使要素识别时的准确性降低，从而影响到用户query的意图识别的最终结果。
发明内容
本发明的主要目的在于提供一种用户意图识别方法、装置、设备和计算机存储介质，旨在解决现有技术中进行要素识别时，准确性较低的技术问题。
为实现上述目的，本发明提供一种用户意图识别方法，所述用户意图识别方法包括：
接收用户输入的目标问题，并将所述目标问题输入至要素识别模型，以获取与所述目标问题关联的多个历史问题；
获取各所述历史问题对应的历史要素，并对各所述历史要素进行查重处理，以获取多个相关历史要素；
依次将各所述相关历史要素和所述目标问题进行组合，以获取各目标数据，并通过所述要素识别模型对各所述目标数据依次进行预测，以确定各所述目标数据是否符合预设要求；
将符合预设要求的目标数据中的相关历史要素作为与所述目标问题对应的目标问题要素，并基于所述目标问题要素确定所述用户的意图。
可选地，所述通过所述要素识别模型对各所述目标数据依次进行预测的步骤，包括：
依次遍历各所述目标数据，通过所述要素识别模型对当前遍历的目标数据进行训练，以确定所述目标问题是否包含当前遍历的所述目标数据中的相关历史要素；
若包含，则确定当前遍历的所述目标数据符合预设要求，并将当前遍历的所述目标数据中的相关历史要素作为所述目标问题对应的目标问题要素，直至各所述目标数据遍历完成。
可选地，所述接收用户输入的目标问题，并将所述目标问题输入至要素识别模型的步骤之前，包括：
获取语言表征模型bert模型和输入的多个训练问题，并通过所述bert模型对依次对各所述训练问题进行分类训练；
将经过各分类训练完成的bert模型作为训练模型，并基于所述训练模型确定要素识别模型。
可选地，所述通过所述bert模型对依次对各所述训练问题进行分类训练的步骤，包括：
依次遍历各所述训练问题，确定当前遍历的训练问题中的多个标注要素，并获取与当前遍历的训练问题相关联的多个负样本数据；
基于各所述负样本数据和各所述标注要素，并通过bert模型对当前遍历的所述训练问题进行分类训练，直至各所述训练问题遍历完成。
可选地，所述基于所述训练模型确定要素识别模型的步骤，包括：
通过知识蒸馏对所述训练模型进行压缩，以获取压缩模型，并将所述压缩模型进行发布，以获取要素识别模型。
可选地，所述获取各所述历史问题对应的历史要素，并对各所述历史要素进行查重处理，以获取多个相关历史要素的步骤，包括：
获取各所述历史问题对应的历史要素，对各所述历史要素进行查重处理，确定各所述历史要素中是否存在重复历史要素；
若不存在，则将各所述历史要素作为相关历史要素。
可选地，所述确定各所述历史要素中是否存在重复历史要素的步骤之后，包括：
若存在，则确定各所述重复历史要素的类型是否相同；
若不相同，则在同一类型的各所述重复历史要素中筛选一个重复历史要素作为需求历史要素，并将各所述历史要素中的非重复历史要素和所述需求历史要素作为相关历史要素，其中，各所述历史要素包括非重复历史要素和重复历史要素。
此外，为实现上述目的，本发明还提供一种用户意图识别装置，所述用户意图识别装置包括：
第一获取模块，用于接收用户输入的目标问题，并将所述目标问题输入至要素识别模型，以获取与所述目标问题关联的多个历史问题；
第二获取模块，用于获取各所述历史问题对应的历史要素，并对各所述历史要素进行查重处理，以获取多个相关历史要素；
预测模块，用于依次将各所述相关历史要素和所述目标问题进行组合，以获取多个目标数据，并通过所述要素识别模型对各所述目标数据依次进行预测，以确定各所述目标数据是否符合预设要求；
确定模块，用于将符合预设要求的目标数据中的相关历史要素作为与所述目标问题对应的目标问题要素，并基于所述目标问题要素确定所述用户的意图。
此外，为实现上述目的，本发明还提供一种用户意图识别设备；
所述用户意图识别设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中：
所述计算机程序被所述处理器执行时实现如上所述的用户意图识别方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质；
所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的用户意图识别方法的步骤。
本发明通过接收用户输入的目标问题，并将所述目标问题输入至要素识别模型，以获取与所述目标问题关联的多个历史问题；获取各所述历史问题对应的历史要素，并对各所述历史要素进行查重处理，以获取多个相关历史要素；依次将各所述相关历史要素和所述目标问题进行组合，以获取多个目标数据，并通过所述要素识别模型对各所述目标数据依次进行预测，以确定各所述目标数据是否符合预设要求；将符合预设要求的目标数据中的相关历史要素作为与所述目标问题对应的目标问题要素，并基于所述目标问题要素确定所述用户的意图。通过根据目标问题确定各相关历史要素，并依次将各相关历史要素和目标问题进行组合得到目标数据，再将各个目标数据依次输入到要素识别模型中进行模型训练，以确定目标问题要素，从而避免了现有技术中进行要素识别，无法直接对要素识别的目标进行优化的现象发生，提高了对用户意图识别的准确性，并由于是根据问题在模型中进行要素查找，从而提高了获取到的要素的准确性，解决了现有技术中在进行要素识别时，准确率较低的技术问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的终端\装置结构示意图；
图2为本发明用户意图识别方法第一实施例的流程示意图；
图3为本发明用户意图识别装置的功能模块示意图。
本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端为用户意图识别设备。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在终端设备移动到耳边时，关闭显示屏和/或背光。当然，终端设备还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及用户意图识别程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的用户意图识别程序，并执行以下操作：
接收用户输入的目标问题，并将所述目标问题输入至要素识别模型，以获取与所述目标问题关联的多个历史问题；
获取各所述历史问题对应的历史要素，并对各所述历史要素进行查重处理，以获取多个相关历史要素；
依次将各所述相关历史要素和所述目标问题进行组合，以获取多个目标数据，并通过所述要素识别模型对各所述目标数据依次进行预测，以确定各所述目标数据是否符合预设要求；
将符合预设要求的目标数据中的相关历史要素作为与所述目标问题对应的目标问题要素，并基于所述目标问题要素确定所述用户的意图。
参照图2，本发明提供一种用户意图识别方法，在用户意图识别方法一实施例中，用户意图识别方法包括以下步骤：
步骤S10，接收用户输入的目标问题，并将所述目标问题输入至所述要素识别模型，以获取获取与所述目标问题关联的多个历史问题；
在本实施例中将要素识别转换为要素寻找，从而简化任务的难度。要素寻找可以通过多次query(疑问)与要素的0/1分类来实现，1表示query中蕴含该要素，0表示query中没有蕴含该要素。但是由于目前人工标注通常只会标注query蕴含了哪些要素，但是0/1分类模型需要大量负样本数据，也就是只能通过query来获取0/1分类模型需要的要素，而不能获取到负样本数据。因此可以通过es(elasticsearch，开源搜索引擎)框架构架大量高质量的负样本数据。其中，负样本数据可以是与query相关联但是不相同的数据。
当获取到负样本数据和要素后，可以借助bert(语言表征模型)模型的自注意力以及强大的泛化能力，来对query和要素进行0/1分类训练，从而可以提高对数据分类的准确率，并降低了训练数据量的需求。并在bert模型对query和要素进行分类训练完成后，可以明显地检测到bert模型参数量巨大，进行模型训练时耗时较长，容易导致该bert模型无法满足智能客服实时性的需求，因此需要对已训练完成的bert模型，在尽量不损失模型效果的前提下，尽可能地压缩模型的参数量。也就是可以通过知识蒸馏技术对已训练完成的bert模型进行压缩，并在压缩完成后，将该已训练完成且进行压缩后的bert模型进行发布，即可以让线上人员正式应用此已发布的bert模型。其中，知识蒸馏是通过引用语教师网络相关的软目标以诱导学生网络的训练，实现知识迁移。在本实施例中，通过知识蒸馏对已训练好的bert模型进行知识精简，仅保留与query相关联的参数。
目标问题可以是用户输入的任意问题。要素识别模型可以是bert模型经过分类训练并进行知识蒸馏压缩发布后的模型。当系统终端接收到用户或者客户端输入的目标问题时，会将目标问题输入至要素识别模型中进行模型训练，并在要素识别模型对应的知识库中获取各个历史问题，并通过ES检索在各所述历史问题中获取与目标问题相关的各个历史问题。其中，在进行es检索时，可以通过检查各个历史问题中的文字是否有和目标问题相同的来确定与目标问题相关的各个历史问题；还可以是检查各个历史问题中词语的词义是否有和目标问题相同的来确定与目标问题相关的各个历史问题等。
步骤S20，获取各所述历史问题对应的历史要素，并对各所述历史要素进行查重处理，以获取多个相关历史要素；
当获取到与目标问题相关的各个历史问题后，还需要确定这些历史问题对应的历史要素，也就是从知识库中获取与目标问题相关的各个历史问题对应的历史要素，并在获取到历史要素后，可以对这些历史要素进行查重处理，检测是否存在有两个及两个以上的要素是完全相同的，若存在，则确定这些相同的要素为重复要素，并在确定各个重复要素之后，需要从这些重复要素中任选一个要素和非重复要素一起作为与目标问题对应的相关历史要素。其中，历史要素可以是历史问题中标注的要素。
步骤S30，依次将各所述相关历史要素和所述目标问题进行组合，以获取多个目标数据，并通过所述要素识别模型对各所述目标数据依次进行预测，以确定各所述目标数据是否符合预设要求；
当获取到各个相关历史要素后，还需要依次将各个相关历史要素和目标问题进行组合，以得到组合后的目标数据。例如，当目标问题为“柜员机转账是免费的吗”，而获取到的相关历史要素为“柜员机、手续费、免费”，此时就可以依次将“柜员机、手续费、免费”和“柜员机转账是免费的吗”分别进行组合，以获取到三个目标数据，以便通过要素识别模型对这三个目标数据进行模型训练。再将各个目标数据依次通过要素识别模型进行预测，根据预测结果来确定该目标数据是否符合预设要求，也就是在遍历各个目标数据时，通过要素识别模型确定当前遍历的目标数据是否符合预设要求(其中，预设要求可以是用户提前设置的任意要求)，若当前遍历的目标数据符合预设要求，则可以认为当前遍历的目标数据中的目标问题包含当前遍历的目标数据中的相关历史要素，并以此确定当前遍历的目标数据中的相关历史要素为与目标问题对应的目标问题要素。但是，若当前遍历的目标数据不符合预设要求，则可以认为当前遍历的目标数据中的目标问题不包含当前遍历的目标数据中的相关历史要素，并以此确定当前遍历的目标数据中的相关历史要素不是与目标问题对应的目标问题要素。需要说明的是，在本实施例中需要将所有的目标数据都通过要素识别模型进行预测。
步骤S40，将符合预设要求的目标数据中的相关历史要素作为与所述目标问题对应的目标问题要素，并基于所述目标问题要素确定所述用户的意图。
当将所有的目标数据均通过要素识别模型进行预测后，获取各个目标数据经过要素识别模型预测的预测结果，并根据预测结果来确定哪些目标数据是符合预设要求的，哪些目标数据是不符合预设要求，并将符合预设要求的目标数据中的相关历史要素作为与目标问题对应的目标问题要素，并当获取到各个目标问题要素后，就可以根据这些目标问题要素推算出用户的意图。
在本实施例中，通过接收用户输入的目标问题，并将所述目标问题输入至要素识别模型，以获取与所述目标问题关联的多个历史问题；获取各所述历史问题对应的历史要素，并对各所述历史要素进行查重处理，以获取多个相关历史要素；依次将各所述相关历史要素和所述目标问题进行组合，以获取多个目标数据，并通过所述要素识别模型对各所述目标数据依次进行预测，以确定各所述目标数据是否符合预设要求；将符合预设要求的目标数据中的相关历史要素作为与所述目标问题对应的目标问题要素，并基于所述目标问题要素确定所述用户的意图。通过根据目标问题确定各相关历史要素，并依次将各相关历史要素和目标问题进行组合得到目标数据，再将各个目标数据依次输入到要素识别模型中进行模型训练，以确定目标问题要素，从而避免了现有技术中进行要素识别，无法直接对要素识别的目标进行优化的现象发生，提高了对用户意图识别的准确性，并由于是根据问题在模型中进行要素查找，从而提高了获取到的要素的准确性，解决了现有技术中在进行要素识别时，准确率较低的技术问题。
进一步地，在本发明第一实施例的基础上，提出了本发明用户意图识别方法的第二实施例，本实施例是本发明第一实施例的步骤S30，通过所述要素识别模型对各所述目标数据依次进行预测的步骤，包括：
步骤a，依次遍历各所述目标数据，通过所述要素识别模型对当前遍历的目标数据进行训练，以确定所述目标问题是否包含当前遍历的所述目标数据中的相关历史要素；
在获取到各个目标数据后，需要通过要素识别模型对每个目标数据进行模型训练，以确定哪些目标数据是符合要求的，即可以通过依次遍历各个目标数据，并通过要素识别模型对当前遍历的目标数据进行模型训练，并根据训练结果确定目标问题是否包含当前遍历的目标数据中的相关历史要素，并基于不同的确定结果执行不同的操作。
步骤b，若包含，则确定当前遍历的所述目标数据符合预设要求，并将当前遍历的所述目标数据中的相关历史要素作为所述目标问题对应的目标问题要素，直至各所述目标数据遍历完成。
当经过判断发现目标问题包含当前遍历的目标数据中的相关历史要素，则可以将当前遍历的目标数据中的相关历史要素作为目标问题对应的目标问题要素，直到各个目标数据遍历完成，也就是需要确定所有的目标数据中的相关历史要素是否是目标问题对应的目标问题要素。但是若目标问题不包含当前遍历的目标数据中的相关历史要素，则继续遍历下一个目标数据，直至所有的目标数据遍历完成。
在本实施例中，通过遍历所有的目标数据，并通过要素识别模型确定目标问题对应的目标问题要素，从而提高了确定目标问题要素的准确性，并由于是直接确定目标问题是否包含相关历史要素，因此相对于现有技术中确定目标问题有哪些要素，简化了获取到目标问题要素的流程。
进一步地，在本实施例第一至第二任意一个实施例的基础上，提出了本发明用户意图识别方法的第三实施例，本实施例是本发明第一实施例的步骤S10，接收用户输入的目标问题，并将所述目标问题输入至要素识别模型的步骤之前，包括：
步骤c，获取语言表征模型bert模型和输入的多个训练问题，并通过所述bert模型对依次对各所述训练问题进行分类训练；
获取预设的bert模型和需要进行训练的各个训练问题，并可以通过bert模型和bert模型对应的知识库依次对各个训练问题进行分类训练，以确定训练问题包含哪些要素，直至各个训练问题训练完成。
步骤d，将经过各分类训练完成的bert模型作为训练模型，并基于所述训练模型确定要素识别模型。
当bert模型已对各个训练问题分类训练完成后，就可以将经过各分类训练完成的bert模型作为训练模型，并可以根据此训练模型来确定要素识别模型。即若将训练模型直接发布，则可以将已发布的训练模型作为要素识别模型，但是一般由于训练模型的参数量巨大，不满足实时需求，可以先对训练模型进行处理后再发布，以得到要素识别模型。
在本实施例中，通过将已进行过分类训练的bert模型作为训练模型，并根据训练模型确定要素识别模型，从而保障了获取到的要素识别模型是有效可用的。
具体地，通过所述bert模型对依次对各所述训练问题进行分类训练的步骤，包括：
步骤c1，依次遍历各所述训练问题，确定当前遍历的训练问题中的多个标注要素，并获取与当前遍历的训练问题相关联的多个负样本数据；
依次遍历各个训练问题，确定当前遍历的训练问题中的各个标注要素，并可以通过es检索来构造与当前遍历的训练问题相关联的大量高质量的负样本数据。其中，负样本数据是与训练问题相关联但不是标注要素的数据。
步骤c2，基于各所述负样本数据和各所述标注要素，并通过bert模型对当前遍历的所述训练问题进行分类训练，直至各所述训练问题遍历完成。
当获取到大量高质量的负样本数据和各个标注要素后，就可以通过bert模型对当前遍历的训练问题进行分类训练，确定当前遍历的训练问题包含哪些要素，直至各个训练问题遍历完成，也就是直到所有的训练问题均已进行分类训练。
在本实施例中，通过获取训练问题对应的标注要素和各负样本数据，并通过bert模型进行分类训练，从而确定了bert模型的可用性。
具体地，基于所述训练模型确定要素识别模型的步骤，包括：
步骤d1，通过知识蒸馏对所述训练模型进行压缩，以获取压缩模型，并将所述压缩模型进行发布，以获取要素识别模型。
当获取到训练模型后，可以明显地检测到训练模型的参数量巨大，进行模型训练时耗时较长，容易导致此训练模型无法满足智能客服实时性的需求，因此需要对此训练模型，在尽量不损失模型效果的前提下，尽可能地压缩模型的参数量，即可以通过知识蒸馏来对此训练模型进行压缩，并将压缩后的训练模型作为压缩模型，在将此压缩模型进行发布，从而获取到要素识别模型。
在本实施例中，通过知识蒸馏对训练模型进行压缩、发布，以获取要素识别模型，从而避免训练模型参数过多，导致训练模型确定目标问题要素时间过长的现象发生，保障了要素识别模型的实用性。
进一步地，在本实施例第一至第三任意一个实施例的基础上，提出了本发明用户意图识别方法的第四实施例，本实施例是本发明第一实施例的步骤S20，获取各所述历史问题对应的历史要素，并对各所述历史要素进行查重处理，以获取多个相关历史要素的步骤的细化，包括：
步骤e，获取各所述历史问题对应的历史要素，对各所述历史要素进行查重处理，确定各所述历史要素中是否存在重复历史要素；
获取各个历史问题对应的历史要素，并依次对各个历史要素进行查重处理，以确定各个历史要素中是否存在重复历史要素，并基于不同的确定结果执行不同的操作。
步骤f，若不存在，则将各所述历史要素作为相关历史要素。
当经过判断发现各个历史要素中不存在重复历史要素，则可以直接将各个历史要素作为目标问题对应的相关历史要素。
在本实施例中，通过对各个历史要素进行查重处理，确定是否存在重复历史要素，若不存在，则将各个历史要素作为相关历史要素，从而确保了获取到的相关历史要素的高质量。
进一步地，确定各所述历史要素中是否存在重复历史要素的步骤之后，包括：
步骤h，若存在，则确定各所述重复历史要素的类型是否相同；
当经过判断发现在各个历史要素中存在有重复要素，则确定各个重复历史要素的类型(如词意、拼音等)是否相同，也就是在确定有历史要素相重复时，确定是否所有的历史要素均相同，若相同，则可以直接在这些重复历史要素中选择一个重复历史要素作为相关历史要素。若不相同，则需要针对不同类型的重复历史要素进行筛选。
步骤g，若不相同，则在同一类型的各所述重复历史要素中筛选一个重复历史要素作为需求历史要素，并将各所述历史要素中的非重复历史要素和所述需求历史要素作为相关历史要素，其中，各所述历史要素包括非重复历史要素和重复历史要素。
当经过判断发现各个历史要素的类型不相同，则在同一类型的各个重复历史要素中任意筛选一个重复历史要素作为需求历史要素，并将各个历史要素中的非重复历史要素和各个需求历史要素作为目标问题对应的相关历史要素。其中在本实施例中，历史要素要么为重复历史要素，要么为非重复历史要素。
在本实施例中，通过确定各个重复历史要素的类型是否相同，若不相同，则需要在每个类型的重复历史要素中均获取一个重复历史要素和非重复历史要素一起作为相关历史要素，保障了获取到的相关历史要素的精简度。
此外，参照图3，本发明实施例还提出一种用户意图识别装置，所述用户意图识别装置包括：
第一获取模块，用于接收用户输入的目标问题，并将所述目标问题输入至要素识别模型，以获取与所述目标问题关联的多个历史问题；
第二获取模块，用于获取各所述历史问题对应的历史要素，并对各所述历史要素进行查重处理，以获取多个相关历史要素；
预测模块，用于依次将各所述相关历史要素和所述目标问题进行组合，以获取多个目标数据，并通过所述要素识别模型对各所述目标数据依次进行预测，以确定各所述目标数据是否符合预设要求；
确定模块，用于将符合预设要求的目标数据中的相关历史要素作为与所述目标问题对应的目标问题要素，并基于所述目标问题要素确定所述用户的意图。
进一步地，所述预测模块还用于：
依次遍历各所述目标数据，通过所述要素识别模型对当前遍历的目标数据进行训练，以确定所述目标问题是否包含当前遍历的所述目标数据中的相关历史要素；
若包含，则确定当前遍历的所述目标数据符合预设要求，并将当前遍历的所述目标数据中的相关历史要素作为所述目标问题对应的目标问题要素，直至各所述目标数据遍历完成。
进一步地，所述第一获取模块还用于：
获取语言表征模型bert模型和输入的多个训练问题，并通过所述bert模型对依次对各所述训练问题进行分类训练；
将经过各分类训练完成的bert模型作为训练模型，并基于所述训练模型确定要素识别模型。
进一步地，所述第一获取模块还用于：
依次遍历各所述训练问题，确定当前遍历的训练问题中的多个标注要素，并获取与当前遍历的训练问题相关联的多个负样本数据；
基于各所述负样本数据和各所述标注要素，并通过bert模型对当前遍历的所述训练问题进行分类训练，直至各所述训练问题遍历完成。
进一步地，所述第一获取模块还用于：
通过知识蒸馏对所述训练模型进行压缩，以获取压缩模型，并将所述压缩模型进行发布，以获取要素识别模型。
进一步地，所述第二获取模块还用于：
获取各所述历史问题对应的历史要素，对各所述历史要素进行查重处理，确定各所述历史要素中是否存在重复历史要素；
若不存在，则将各所述历史要素作为相关历史要素。
进一步地，所述第二获取模块还用于：
若存在，则确定各所述重复历史要素的类型是否相同；
若不相同，则在同一类型的各所述重复历史要素中筛选一个重复历史要素作为需求历史要素，并将各所述历史要素中的非重复历史要素和所述需求历史要素作为相关历史要素，其中，各所述历史要素包括非重复历史要素和重复历史要素。
其中，用户意图识别装置的各个功能模块实现的步骤可参照本发明用户意图识别方法的各个实施例，此处不再赘述。
本发明还提供一种用户意图识别设备，所述用户意图识别设备包括：存储器、处理器及存储在所述存储器上的用户意图识别程序；所述处理器用于执行所述用户意图识别程序，以实现上述用户意图识别方法各实施例的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述用户意图识别方法各实施例的步骤。
本发明计算机可读存储介质具体实施方式与上述要素识别方法各实施例基本相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种用户意图识别方法，其特征在于，所述用户意图识别方法包括以下步骤：
接收用户输入的目标问题，并将所述目标问题输入至要素识别模型，以获取与所述目标问题关联的多个历史问题；
获取各所述历史问题对应的历史要素，并对各所述历史要素进行查重处理，以获取多个相关历史要素；
依次将各所述相关历史要素和所述目标问题进行组合，以获取多个目标数据，并通过所述要素识别模型对各所述目标数据依次进行预测，以确定各所述目标数据是否符合预设要求；
将符合预设要求的目标数据中的相关历史要素作为与所述目标问题对应的目标问题要素，并基于所述目标问题要素确定所述用户的意图；
所述通过所述要素识别模型对各所述目标数据依次进行预测的步骤，包括：
依次遍历各所述目标数据，通过所述要素识别模型对当前遍历的目标数据进行训练，以确定所述目标问题是否包含当前遍历的所述目标数据中的相关历史要素；
若包含，则确定当前遍历的所述目标数据符合预设要求，并将当前遍历的所述目标数据中的相关历史要素作为所述目标问题对应的目标问题要素，直至各所述目标数据遍历完成；
若所述目标问题不包含当前遍历的目标数据中的相关历史要素，则继续遍历下一个目标数据，直至所有的目标数据遍历完成。
2.如权利要求1所述的用户意图识别方法，其特征在于，所述要素识别方法，其特征在于，所述接收用户输入的目标问题，并将所述目标问题输入至要素识别模型的步骤之前，包括：
获取语言表征模型bert模型和输入的多个训练问题，并通过所述bert模型对依次对各所述训练问题进行分类训练；
将经过各分类训练完成的bert模型作为训练模型，并基于所述训练模型确定要素识别模型。
3.如权利要求2所述的用户意图识别方法，其特征在于，所述通过所述bert模型对依次对各所述训练问题进行分类训练的步骤，包括：
依次遍历各所述训练问题，确定当前遍历的训练问题中的多个标注要素，并获取与当前遍历的训练问题相关联的多个负样本数据；
基于各所述负样本数据和各所述标注要素，并通过bert模型对当前遍历的所述训练问题进行分类训练，直至各所述训练问题遍历完成。
4.如权利要求2所述的用户意图识别方法，其特征在于，所述基于所述训练模型确定要素识别模型的步骤，包括：
通过知识蒸馏对所述训练模型进行压缩，以获取压缩模型，并将所述压缩模型进行发布，以获取要素识别模型。
5.如权利要求1-4任一项所述的用户意图识别方法，其特征在于，所述获取各所述历史问题对应的历史要素，并对各所述历史要素进行查重处理，以获取多个相关历史要素的步骤，包括：
获取各所述历史问题对应的历史要素，对各所述历史要素进行查重处理，确定各所述历史要素中是否存在重复历史要素；
若不存在，则将各所述历史要素作为相关历史要素。
6.如权利要求5所述的用户意图识别方法，其特征在于，所述确定各所述历史要素中是否存在重复历史要素的步骤之后，包括：
若存在，则确定各所述重复历史要素的类型是否相同；
若不相同，则在同一类型的各所述重复历史要素中筛选一个重复历史要素作为需求历史要素，并将各所述历史要素中的非重复历史要素和所述需求历史要素作为相关历史要素，其中，各所述历史要素包括非重复历史要素和重复历史要素。
7.一种用户意图识别装置，其特征在于，所述用户意图识别装置包括：
第一获取模块，用于接收用户输入的目标问题，并将所述目标问题输入至要素识别模型，以获取与所述目标问题关联的多个历史问题；
第二获取模块，用于获取各所述历史问题对应的多个历史要素，并对各所述历史要素进行查重处理，以获取多个相关历史要素；
预测模块，用于依次将各所述相关历史要素和所述目标问题进行组合，以获取多个目标数据，并通过所述要素识别模型对各所述目标数据依次进行预测，以确定各所述目标数据是否符合预设要求；
确定模块，用于将符合预设要求的目标数据中的相关历史要素作为与所述目标问题对应的目标问题要素，并基于所述目标问题要素确定所述用户的意图；
其中，所述预测模块，还用于：
依次遍历各所述目标数据，通过所述要素识别模型对当前遍历的目标数据进行训练，以确定所述目标问题是否包含当前遍历的所述目标数据中的相关历史要素；
若包含，则确定当前遍历的所述目标数据符合预设要求，并将当前遍历的所述目标数据中的相关历史要素作为所述目标问题对应的目标问题要素，直至各所述目标数据遍历完成；
若所述目标问题不包含当前遍历的目标数据中的相关历史要素，则继续遍历下一个目标数据，直至所有的目标数据遍历完成。
8.一种用户意图识别设备，其特征在于，所述用户意图识别设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的用户意图识别程序，所述用户意图识别程序被所述处理器执行时实现如权利要求1至6中任一项所述的用户意图识别方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有用户意图识别程序，所述用户意图识别程序被处理器执行时实现如权利要求1至6中任一项所述的用户意图识别方法的步骤。
CN202010110441.2A 2020-02-21 2020-02-21 用户意图识别方法、装置、设备及计算机可读存储介质 Active CN111368045B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010110441.2A CN111368045B (zh) 2020-02-21 2020-02-21 用户意图识别方法、装置、设备及计算机可读存储介质
PCT/CN2020/122059 WO2021164286A1 (zh) 2020-02-21 2020-10-20 用户意图识别方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010110441.2A CN111368045B (zh) 2020-02-21 2020-02-21 用户意图识别方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111368045A CN111368045A (zh) 2020-07-03
CN111368045B true CN111368045B (zh) 2024-05-07

Family

ID=71208318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010110441.2A Active CN111368045B (zh) 2020-02-21 2020-02-21 用户意图识别方法、装置、设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN111368045B (zh)
WO (1) WO2021164286A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368045B (zh) * 2020-02-21 2024-05-07 平安科技（深圳）有限公司 用户意图识别方法、装置、设备及计算机可读存储介质
CN117473070B (zh) * 2023-12-27 2024-04-02 深圳星网信通科技股份有限公司 智能机器人的多渠道应用方法、智能机器人和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599278A (zh) * 2016-12-23 2017-04-26 北京奇虎科技有限公司 应用搜索意图的识别方法及装置
CN107862005A (zh) * 2017-10-25 2018-03-30 阿里巴巴集团控股有限公司 用户意图识别方法及装置
CN107977415A (zh) * 2017-11-22 2018-05-01 北京寻领科技有限公司 自动问答方法及装置
WO2018149326A1 (zh) * 2017-02-16 2018-08-23 阿里巴巴集团控股有限公司 一种自然语言问句答案的生成方法、装置及服务器
CN110377911A (zh) * 2019-07-23 2019-10-25 中国工商银行股份有限公司 对话框架下的意图识别方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10853396B2 (en) * 2017-12-22 2020-12-01 Sap Se Intelligent natural language query processor
CN109522556B (zh) * 2018-11-16 2024-03-12 北京九狐时代智能科技有限公司 一种意图识别方法及装置
CN110399609B (zh) * 2019-06-25 2023-12-01 众安信息技术服务有限公司 意图识别方法、装置、设备及计算机可读存储介质
CN110390108B (zh) * 2019-07-29 2023-11-21 中国工商银行股份有限公司 基于深度强化学习的任务型交互方法和系统
CN111368045B (zh) * 2020-02-21 2024-05-07 平安科技（深圳）有限公司 用户意图识别方法、装置、设备及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599278A (zh) * 2016-12-23 2017-04-26 北京奇虎科技有限公司 应用搜索意图的识别方法及装置
WO2018149326A1 (zh) * 2017-02-16 2018-08-23 阿里巴巴集团控股有限公司 一种自然语言问句答案的生成方法、装置及服务器
CN107862005A (zh) * 2017-10-25 2018-03-30 阿里巴巴集团控股有限公司 用户意图识别方法及装置
CN107977415A (zh) * 2017-11-22 2018-05-01 北京寻领科技有限公司 自动问答方法及装置
CN110377911A (zh) * 2019-07-23 2019-10-25 中国工商银行股份有限公司 对话框架下的意图识别方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于语义要素组合的知识库问答方法;刘飞龙;郝文宁;余晓晗;陈刚;刘冲;;计算机工程;20181115(11);52-61 *

Also Published As

Publication number Publication date
WO2021164286A1 (zh) 2021-08-26
CN111368045A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN109597993B (zh) 语句分析处理方法、装置、设备以及计算机可读存储介质
CN109726103B (zh) 测试报告的生成方法、装置、设备及存储介质
CN110222791B (zh) 样本标注信息的审核方法及装置
CN110264274B (zh) 客群划分方法、模型生成方法、装置、设备及存储介质
TWI716012B (zh) 樣本標註方法、裝置、儲存媒體和計算設備、損傷類別的識別方法及裝置
KR102002024B1 (ko) 객체 라벨링 처리 방법 및 객체 관리 서버
CN111368045B (zh) 用户意图识别方法、装置、设备及计算机可读存储介质
CN109376757B (zh) 一种多标签分类方法及系统
CN110610193A (zh) 标注数据的处理方法及装置
CN112070076B (zh) 文本段落结构还原方法、装置、设备及计算机存储介质
CN114596497B (zh) 目标检测模型的训练方法、目标检测方法、装置及设备
CN110717806B (zh) 产品信息推送方法、装置、设备及存储介质
CN107885836B (zh) 一种用于智能终端的应用程序推荐方法及装置
CN113836885A (zh) 文本匹配模型训练方法、文本匹配方法、装置和电子设备
WO2023168812A1 (zh) 一种搜索系统的优化方法、装置、存储介质及计算机设备
CN111210402A (zh) 人脸图像质量评分方法、装置、计算机设备及存储介质
CN111402220B (zh) 用于获取信息的方法及装置
CN114880310A (zh) 一种用户行为分析方法、装置、计算机设备及存储介质
CN112926621A (zh) 数据标注方法、装置、电子设备及存储介质
CN112633341A (zh) 一种界面测试方法、装置、计算机设备和存储介质
CN109829051B (zh) 一种数据库相似语句筛选的方法和装置
CN115859065A (zh) 模型评测方法、装置、设备及存储介质
CN108074240B (zh) 识别方法、识别装置、计算机可读存储介质及程序产品
CN114676295A (zh) 基于ai的个性化教学方法、装置、设备及可读存储介质
CN109040774B (zh) 一种节目信息提取方法、终端设备、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant