CN113407677B - 评估咨询对话质量的方法、装置、设备和存储介质 - Google Patents

评估咨询对话质量的方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN113407677B
CN113407677B CN202110723052.1A CN202110723052A CN113407677B CN 113407677 B CN113407677 B CN 113407677B CN 202110723052 A CN202110723052 A CN 202110723052A CN 113407677 B CN113407677 B CN 113407677B
Authority
CN
China
Prior art keywords
sentence
determining
sentences
conversation
consultation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110723052.1A
Other languages
English (en)
Other versions
CN113407677A (zh
Inventor
白亚楠
刘子航
王锴睿
李鹏飞
欧阳宇
王丛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110723052.1A priority Critical patent/CN113407677B/zh
Publication of CN113407677A publication Critical patent/CN113407677A/zh
Application granted granted Critical
Publication of CN113407677B publication Critical patent/CN113407677B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种评估咨询对话质量的方法、装置、设备和存储介质，涉及人工智能技术领域，具体涉及自然语言处理技术领域和深度学习技术领域。评估咨询对话质量的方法的具体实现方案为：获得待处理咨询对话的特征信息；基于特征信息，采用预定等级分类模型确定待处理咨询对话的质量等级。

Description

评估咨询对话质量的方法、装置、设备和存储介质
技术领域
本公开涉及人工智能技术领域，具体涉及自然语言处理技术领域和深度学习技术领域，更具体地涉及一种评估咨询对话质量的方法、装置、设备和存储介质。
背景技术
随着互联网技术的发展，线上咨询已覆盖到多个业务场景。线上咨询经常会出现用户表述不准确、答复信息不完整的情况。为了便于为下游应用提供参考信息，通常需要对线上咨询的内容进行质量评估。
相关技术中，通常采用人工抽审、根据设定的规则评估或基于端到端的分类器来实现对线上咨询内容的质量评估。
发明内容
提供了一种能够提高等级准确性和降低评估成本的评估咨询对话质量的方法、装置、设备、介质和程序产品。
根据第一方面，提供了一种评估咨询对话质量的方法，包括：获得待处理咨询对话的特征信息；基于特征信息，采用预定等级分类模型确定待处理咨询对话的质量等级。
根据第二方面，提供了一种评估咨询对话质量的装置，包括：特征信息获得模块，用于获得待处理咨询对话的特征信息；质量等级确定模块，用于基于特征信息，采用预定等级分类模型确定待处理咨询对话的质量等级。
根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的评估咨询对话质量的方法。
根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的评估咨询对话质量的方法。
根据第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开提供的评估咨询对话质量的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例的评估咨询对话质量的方法和装置的应用场景示意图；
图2是根据本公开实施例的评估咨询对话质量的方法的流程示意图；
图3是根据本公开实施例的确定每个会话语句的意图满足信息的原理示意图；
图4是根据本公开实施例的确定至少一个语句对的原理示意图；
图5是根据本公开实施例的确定待处理咨询对话的质量等级的原理示意图；
图6是根据本公开实施例的评估咨询对话质量的装置的结构框图；以及
图7是用来实现本公开实施例的评估咨询对话质量的方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开提供了一种评估咨询对话质量的方法，该方法包括特征信息获得阶段和质量等级确定阶段。在特征信息获得阶段中，获得待处理咨询对话的特征信息。在质量等级确定阶段中，基于特征信息，采用预定等级分类模型确定待处理咨询对话的质量等级。
以下将结合图1对本公开提供的方法和装置的应用场景进行描述。
图1是根据本公开实施例的评估咨询对话质量的方法和装置的应用场景图。
如图1所示，该实施例的应用场景100例如可以包括服务器110和数据库120，服务器110可以通过网络访问数据库120，以从数据库120中获取数据。网络例如可以包括有线或无线通信网络。
数据库120中可以维护有在线咨询产生的多组咨询对话，每组咨询对话包括一次在线咨询过程所生成的所有对话语句。在线咨询是指借助互联网，利用图文信息、视频或者语音等方式，实时向专业人士咨询问题的交流方式。在线咨询可以包括医疗问诊、购物咨询、服务咨询等多个业务场景下的咨询。例如，在医疗问诊场景下，用户可以通过线上咨询实时地向医生咨询症状对应疾病、健康问题等。
服务器110例如可以从数据库中获取未进行过质量评估的咨询对话，并作为待处理咨询对话130进行质量评估。服务器具体可以确定该待处理咨询对话的质量等级，并基于该质量等级对待处理咨询对话进行标注，将标注后的对话140重新写入数据库120中，以供下游应用调用。
例如，由于线上咨询产生的对话数据具有信息真实、案例覆盖广、可参考价值高等的特点，则通过对该线上咨询产生的对话数据进行质量等级的划分，可以向更多下游业务提供准确信息。下游业务例如可以包括病案检索、科普满足、对咨询提供方(例如医生)的评价等。
服务器例如可以响应于用户操作从数据库中随机抽取对话数据，并由人工对该对话数据进行质量等级的评估。或者，服务器可以基于预先建立的规则，来对对话数据进行质量等级的评估。例如，可以对对话数据进行识别，确定对话数据中是否包括禁用词，根据包括的禁用词个数来划分质量等级。或者，服务器可以采用分类器来确定对话数据的质量等级。
在一实施例中，如图1所示，该应用场景100还可以包括有终端设备150，用户可以经由该终端设备150进行线上咨询，终端设备150可以将一次线上咨询产生的对话数据160发送给服务器110，以使得服务器110将该对话数据160作为待处理咨询对话进行质量等级的标注，并将标注后对话写入数据库120中。
其中，终端设备150可以为具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。服务器110可以是提供各种服务的服务器，例如对用户利用终端设备所访问的网站或客户端应用提供支持的后台管理服务器。该服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
需要说明的是，本公开提供的评估咨询对话质量的方法可以由服务器110执行。相应地，本公开提供的评估咨询对话质量的装置可以设置在服务器110中。
应该理解，图1中的终端设备、服务器和数据库的类型和数目仅仅是示意性的。根据实现需要，可以具有任意类型和数目的终端设备、服务器和数据库。
以下将结合图1描述的应用场景，通过图2～图6对本公开提供的评估咨询对话质量的方法进行详细描述。
图2是根据本公开实施例的评估咨询对话质量的方法的流程示意图。
如图2所示，该实施例的评估咨询对话质量的方法200可以包括操作S210～操作S220。
在操作S210，获得待处理咨询对话的特征信息。
根据本公开的实施例，待处理咨询对话可以为在一次在线咨询过程中产生的对话文本。在通过语音咨询时，该实施例可以采用自动语音识别技术(Automatic SpeechRecognition，ASR)，将语音咨询内容转换为文本信息。该待处理咨询对话例如可以包括多个对话语句，该多个对话语句可以由多个会话方输入文字信息或者录制音频信息而得到。在线咨询场景中，多个会话方通常包括用户和专业人士。例如，在线医疗咨询场景中，多个会话方可以包括患者和医生。
根据本公开的实施例，可以从待处理咨询对话中提取关键词，将该关键词作为特征信息。或者，可以采用预先训练好的语义理解模型来提取该待处理咨询对话的语义特征，并将该语义特征作为特征信息。可以理解的是，可以采用相关技术中提取文本特征的任意方法来获得待处理咨询对话的特征信息，本公开对此不做限定。
其中，为了提高特征信息的准确性和完整性，该实施例可以针对待处理咨询对话中的每个会话语句进行特征提取，得到每个会话语句的特征信息。将多个会话语句的特征信息根据多个会话语句在待处理咨询对话中的排列顺序依次拼接，得到待处理咨询对话的特征信息。
在一实施例中，可以对每个会话语句进行意图识别，将识别结果作为特征信息。例如可以采用基于词典以及模板的规则方法来确定每个会话语句的意图信息。或者可以采用预定意图分类模型来确定每个会话语句的意图类别。该预定意图分类模型可以采用传统的机器学习方法或者深度学习文本分类模型。传统的机器学习方法可以包括随机森林模型、支持向量机分类模型等。深度学习文本分类模型可以包括fastText模型、TextCNN模型、TextRNN模型或者TextRNN+Attention模型等，该模型可以根据实际需求来进行选择，本公开对此不做限定。
其中，意图类别可以为预定意图类别中的任意一个，预定意图类别可以根据实际场景进行设定。例如，在在线医疗咨询场景中，预定意图类别可以包括病情收集、病情诊断、用药建议、治疗建议、检查建议、日常建议等。
在一实施例中，可以对每个会话语句进行情感识别，将识别结果作为特征信息。例如，可以基于情感词典来确定每个会话语句的情感类别，或者可以采用预定情感分类模型来确定每个会话语句的情感类别。该预定情感分类模型的架构与前述预定意图分类模型的架构类似，主要区别在于训练时样本中的标签指示的内容不同。
其中，情感类别可以为预定情感类别中的任意一个，预定情感类别可以根据实际场景进行设定。例如，预定意图类别可以包括问候、感谢、抬杠、辱骂等。
根据本公开的实施例，可以采用多种方式提取特征信息，以提取到多维的特征，将该多维的特征拼接后得到待处理咨询对话的特征信息。
在操作S220，基于特征信息，采用预定等级分类模型确定待处理咨询对话的质量等级。
根据本公开的实施例，预定等级分类模型输出的例如可以为质量评估值。该实施例可以根据质量评估值与质量等级之间的映射关系，来确定待处理咨询对话的质量等级。或者，预定等级分类模型可以直接输出待处理咨询对话的质量等级，本公开对此不做限定。
根据本公开的实施例，可以以特征信息作为预定等级分类模型的输入，经由预定等级分类模型处理后，输出得到待处理咨询对话的质量等级。预定等级分类模型可以采用循环神经网络结构，例如，双向长短期记忆网络(Bi-LSTM)+条件随机场(CRF)模型。
在一实施例中，在针对每个对话语句得到特征信息的情况下，该实施例还可以对多个对话语句的特征信息进行统计和分析，得到待处理咨询对话的多个指标数据，将该多个指标数据作为该预定等级分类模型的输入，来获得待处理咨询对话的质量等级。此种情况下，预定等级分类模型可以采用简单的线性模型或树模型。例如可以采用线性回归模型、基于分布式梯度增强库(eXtreme Grandient Boosting，XGBoost)构建的模型等。
其中，多个指标数据例如可以包括会话方态度、专业人士的服务专业度、信息密度、信息丰富度、信息完整度等。
例如，若特征信息包括多个会话语句的情感类别，则该实施例可以统计每一个会话方的会话语句的情感类别。在某一会话方的多个会话语句中有多个语句的情感类别为抬杠，则可以确定该某一会话方的态度为不配合。例如可以通过预定规则，为各指标提供分值。例如，若会话方的态度为不配合，则该会话方态度的分值可以为较低的值。若会话方的态度为配合，则会话方的分值可以为较高的值。
类似地，例如可以根据专业人士的会话语句中意图类别的种类、意图类别基于语句的排序等来确定专业人士的服务专业度。根据整个待处理咨询对话中用户的会话语句所占的比例，来确定用户信息密度等。根据意图类别的种类来确定信息丰富度、信息完整度等。
通过采用线性模型或树模型来确定质量等级，可以提高质量等级结果的可回溯性。质量等级的准确性在一定程度上受统计特征信息得到指标数据的方法的影响。
综上分析，本公开实施例通过先获得待处理咨询对话的特征信息，再基于该特征信息采用分类模型来确定待处理咨询对话的质量等级。相较于采用端到端的模型确定质量等级的技术方案，可以在提高质量等级准确性的同时，降低对分类模型的学习能力的要求，并因此降低对分类模型训练中样本数据的要求，降低对话质量等级的确定成本。换言之，该实施例通过先获得特征信息再进行质量等级的确定，可以实现模型输入信息的降维，从而降低对预定等级分类模型的要求。
图3是根据本公开实施例的确定每个会话语句的意图满足信息的原理示意图。
根据本公开的实施例，可以确定每个会话语句的意图满足信息，将该意图满足信息作为特征信息。例如，可以先确定会话语句的句类，针对不同句类的会话语句，分别确定意图满足信息。这是由于意图得到满足的待处理咨询对话通常更具有参考价值，考虑该意图满足信息得到的质量等级的准确度会更高，以便于向下游应用提供准确的参考信息。
根据本公开的实施例，例如可以采用知识增强的语义表示(EnhancedRepresentation from Knowledge Integration，ERNIE)模型来确定语句句类。即将每个会话语句作为该ERNIE模型的输入，输出得到该每个会话语句属于每个预定语句句类的概率，将最大概率对应的预定语句句类作为该每个会话语句的语句句类。其中，句类是指按照句子的语气划分的类别。在该实施例中，预定语句句类可以包括疑问句和陈述句等。可以理解的是，上述确定语句句类的方法仅作为示例以利于理解本公开，本公开对此不做限定。
意图满足信息例如可以包括满足、不满足、被满足和未被满足等。例如，对于陈述句，意图满足信息可以指示满足或不满足，以表示该陈述句满足了待处理咨询对话中的某个问句，或者该陈述句未满足待处理咨询对话中的所有问句。在某个陈述句满足了待处理咨询对话中的多个问句时，该意图满足信息还可以指示被满足的问句个数的信息。例如，若不满足，则意图满足信息可以为0，若满足，且满足了n个问句时，则该意图满足信息可以为n。类似地，对于问句，意图满足信息可以指示被满足和未被满足，以表示存在可以满足该问句意图的陈述句和不存在可以满足该问句意图的陈述句。类似的，若有多个陈述句可以满足某个问句的意图，意图满足信息还可以指示满足的陈述句个数的信息。例如，若不存在满足该某个问句意图的陈述句，则该某个问句的意图满足信息为0。若存在m个满足该某个问句意图的陈述句，则该某个问句的意图满足信息为m。其中，m、n均为自然数。
根据本公开的实施例，如图3所示的实施例300，对于待处理咨询对话310，包括按序排列的多个会话语句，例如包括依次排列的用户问候语句(语句1)、医生问候语句(语句2)、用户病情描述语句(语句3)、医生病情搜集语句(语句4)、用户病情描述语句(语句5)、用户询问治疗语句(语句6)、医生治疗建议语句(语句7)和用户感谢语句(语句8)。该多个会话语句中包括第一会话方的第一语句311，即语句1、语句3、语句5、语句6、语句8，该些第一语句的语句句类分别为陈述句、陈述句、陈述句、问句和陈述句。多个会话语句中包括第二会话方的第二语句312，即语句2、语句4、语句7。该些第二语句的语句句类分别为陈述句、陈述句、问句和陈述句。
在确定每个会话语句的意图满足信息时，可以先基于语句句类和会话语句按序排列的顺序，确定多个会话语句构成的至少一个语句对。例如，可以从第一语句311中抽取一个语句，从第二语句312中抽取一个语句，得到一个语句对320。通过该方式，可以得到至少一个语句对。随后，对于至少一个语句对中的每个语句对320，可以采用预定意图满足分类模型330来确定针对每个语句对的满足类别340。其中，预定意图满足分类模型的架构可以与前述的预定意图分类模型的架构类似，区别在于训练时采用的样本数据和样本数据的标签不同。该预定意图满足分类模型可以采用循环神经网络模型架构，以充分考虑语句对中两个语句的关联关系。该预定意图满足分类模型例如可以设置有全连接层，模型的输出为类别为满足的概率。若该概率大于等于预定阈值，则确定满足类别为满足。若小于预定阈值，则确定满足类别为不满足。在得到满足类别340后，即可基于该满足类别340确定语句对中每个语句的意图满足信息350。
例如，若满足类别为不满足，则可以确定语句对中的陈述句的意图满足信息为未满足，语句对中的问句的意图满足信息为未被满足。若满足类别为满足，则可以确定语句对中的陈述句的意图满足信息为满足，语句对中的问句的意图满足信息为被满足。
例如，若意图满足信息还指示被满足的问句个数的信息或满足的陈述句个数的信息。则在每个语句对的满足类别为满足时，可以将语句对中的每个语句的意图满足信息加1，否则，将语句对中的每个语句的意图满足信息加0。
根据本公开的实施例，在确定多个会话语句构成的语句对时，例如可以仅针对包括有问句和陈述句的语句对进行意图满足分类。这是由于两个相同句类的语句之间通常不存在意图满足关系。通过该方式，可以提高确定对话质量等级的效率，避免不必要资源的浪费。
示例性地，可以从多个会话语句中选择句类不同的第一语句311和第二语句312，将选择的一个第一语句和第二语句组成一个语句对。例如，对于待处理咨询对话310，可以得到以下语句对：由语句1和语句4组成的语句对、由语句3和语句4组成的语句对、由语句4和语句5组成的语句对、由语句4和语句8组成的语句对、由语句2和语句6组成的语句对、由语句6和语句7组成的语句对。
根据本公开的实施例，考虑到存在满足关系的问句和陈述句中，问句通常位于陈述句之前产生。则该实施例在确定至少一个语句对时，例如还可以将前述的句类不同的第一语句和第二语句构成的语句对作为候选语句对。随后基于多个会话语句按序排列的顺序，从该候选语句对中选择疑问句的顺序位于陈述句的顺序之前的语句对，得到至少一个语句对。通过该方式，可以进一步提高确定满足类别的效率和确定对话质量等级的效率。
图4是根据本公开实施例的确定至少一个语句对的原理示意图。
根据本公开的实施例，对于问句，若其意图得到满足，则通常会在该问句之后的若干个会话中得到满足，若干个会话之后则会针对新生成的问句进行解答。因此，在获得前述的候选语句对时，可以先将该若干个会话构成一个会话组，由属于同一个会话组的两个语句来构成一个候选语句对。以此，可以有效减少包括的两个语句彼此不相关的语句对，提高至少一个语句对的确定效率，提高确定对话质量等级的效率。
例如，在该实施例400中，对于待处理咨询对话410中的多个会话语句，可以基于按序排列的顺序，确定多个会话语句中相邻的预定数量个会话语句，将该相邻的预定数量个会话语句构成一个会话组。其中，待处理咨询对话410与前文描述的包括语句1～语句8的待处理咨询对话类似，在此不再赘述。设定预定数量为4，则对于该待处理咨询对话410，可以得到以下会话组：语句1～语句4构成的会话组411、语句2～语句5构成的会话组412、语句3～语句6构成的会话组413、语句4～语句7构成的会话组414和语句5～语句8构成的会话组415。
在得到各会话组后，对于每个会话组，可以将每个会话组中句类不同的第一语句和第二语句组成一个候选语句对。例如，对于会话组411，可以得到以下候选语句对：语句1和语句4构成的语句对421，语句3和语句4构成的语句对422。对于会话组412，可以得到以下候选语句对：语句3和语句4构成的语句对422，语句4和语句5构成的语句对423。对于会话组412，可以得到以下候选语句对：语句3和语句4构成的语句对422，语句4和语句5构成的语句对423。对于会话组413，可以得到以下候选语句对：语句3和语句4构成的语句对422、语句4和语句5构成的语句对423。对于会话组414，可以得到以下候选语句对：语句4和语句5构成的语句对423，语句6和语句7构成的语句对424。针对会话组415，可以得到以下候选语句对：语句6和语句7构成的语句对424。通过去重操作，可以得到以下候选语句对：语句对421、语句对422、语句对423和语句对424。
在得到以上语句对421～424后，通过选择疑问句的顺序位于陈述句的顺序之前的候选语句对，可以得到需要确定满足类别的语句对：语句对423和语句对424。
通过上述实施例可知，通过前述基于相邻的预定数量个会话语句获得会话组，再从每个会话组中选择组成候选语句对的第一语句和第二语句，可以在保证准确性的基础上，有效减少候选语句对的个数，从而可以有效提高确定至少一个语句对的效率，并因此提高确定对话质量等级的效率。
图5是根据本公开实施例的确定待处理咨询对话的质量等级的原理示意图。
根据本公开的实施例，特征信息除了前述获得的每个会话语句的意图满足信息外，例如还可以包括以下至少之一：前述采用预定意图识别模型确定的每个会话语句的意图类别、前述采用预定情感分类模型确定的每个会话语句的情感类别、每个会话语句的语句句类等。基于该些特征信息，可以统计得到每个会话语句的特征信息。通过考虑多个维度的特征信息来确定待处理咨询对话的质量等级，可以提高确定的质量等级的准确性。
例如，若特征信息包括意图满足信息、意图类别、情感类别和语句句类，该实施例可以将每个会话语句的特征信息构成一个向量，将各会话语句的特征信息构成的向量基于多个会话语句的排列顺序依次输入预定等级分类模型中。预定等级分类模型例如可以为双向循环神经网络，具体可以为双向长短时记忆网络，该模型至少包括输入层541、前向反馈层542、后向反馈层543和输出层544。
其中，输入层用于对每个语句的特征信息进行融合。如图5所示，该实施例500经由该输入层541，可以针对每个会话语句，将每个会话语句的该些特征信息融合后得到针对该每个会话语句的特征信息。例如，，针对多个会话语句，可以采用concat函数将第1个会话语句的语句句类511、意图类别512、情感类别513和意图满足信息514融合，得到针对第1个会话语句的特征信息。采用concat函数将第2个会话语句的语句句类521、意图类别522、情感类别523和意图满足信息524融合，得到针对第2个会话语句的特征信息。采用concat函数将第3个会话语句的语句句类531、意图类别532、情感类别533和意图满足信息534融合，得到针对第3个会话语句的特征信息。
随后输入层541可以将融合得到的特征信息输入前向反馈层542，在多个会话语句的特征信息均经由前向反馈层542、后向反馈层543和输出层处理后，经由输出层544可以输出得到待处理咨询对话的质量等级。
根据本公开的实施例，在具体应用场景中，在训练预定意图分类模型时，例如可以从所有对话数据中剔除不属于预定意图类别的语句，以提高预定意图分类模型的训练效率，降低对样本数据数量的需求。
根据本公开的实施例，在训练情感分类模型时，例如可以对某些预定情感类别的样本数据进行增强处理，以提高预定情感分类模型对该多些预定情感类别的鉴别能力。其中，该某些预定情感类别例如可以包括辱骂类别、抬杠类别等。对样本数据的增强处理方法可以为：从所有样本数据中挑选该些预定情感类别的样本数据，并将该挑选出的样本数据与其他样本数据根据预定比例进行混合，得到对预定情感分类模型进行训练的样本数据。
根据本公开的实施例，通过采用双向循环神经网络构建预定等级分类模型，则在得到特征信息后，无需对特征信息进行统计处理，该模型可以对特征进行融合，从而可以使得特征表现更为灵活，且确定的质量等级更为准确，不受统计方法等的影响。
基于前文描述的评估咨询对话质量的方法，本公开还提供了一种评估咨询对话质量的装置。以下将结合图6对该装置进行详细描述。
图6是根据本公开实施例的评估咨询对话质量的装置的结构框图。
如图6所示，该实施例的评估咨询对话质量的装置600可以包括特征信息获得模块610和质量等级确定模块620。
特征信息获得模块610用于获得待处理咨询对话的特征信息。在一实施例中，特征信息获得模块610可以用于执行前文描述的操作S210，在此不再赘述。
质量等级确定模块620用于基于特征信息，采用预定等级分类模型确定待处理咨询对话的质量等级。在一实施例中，质量等级确定模块620可以用于执行前文描述的操作S220，在此不再赘述。
根据本公开的实施例，待处理咨询对话包括多个会话语句，上述特征信息获得模块610可以包括句类确定子模块和意图满足确定子模块。句类确定子模块用于确定多个会话语句中每个会话语句的语句句类。意图满足确定子模块用于基于语句句类，确定每个会话语句的意图满足信息。
根据本公开的实施例，多个会话语句包括第一会话方的第一语句和第二会话方的第二语句，且多个会话语句按序排列。上述意图满足确定子模块可以包括语句对确定单元、满足类别确定单元和意图满足确定单元。语句对确定单元用于基于语句句类和多个会话语句按序排列的顺序，确定多个会话语句构成的至少一个语句对，每个语句对包括述第一语句和第二语句。满足类别确定单元用于基于语句句类和多个会话语句按序排列的顺序，确定多个会话语句构成的至少一个语句对，每个语句对包括第一语句和所述第二语句。意图满足确定单元用于基于满足类别，确定每个语句对中各语句的意图满足信息。
根据本公开的实施例，语句句类包括陈述句和疑问句，上述语句对确定单元可以包括候选对获得子单元和语句对获得子单元。候选对获得子单元用于基于多个会话语句中句类不同的第一语句和第二语句，获得多个候选语句对。语句对获得子单元用于基于多个会话语句按序排列的顺序，确定疑问句的顺序位于陈述句的顺序之前的候选语句对，得到至少一个语句对。
根据本公开的实施例，候选对获得子单元具体用于通过以下方式获得候选语句对：基于按序排列的顺序，确定多个会话语句中相邻的预定数量个会话语句，获得至少一个会话组；以及针对至少一个会话组中的每个会话组，确定每个会话组中句类不同的第一语句和第二语句，得到多个候选语句对。
根据本公开的实施例，上述特征信息获得模块610还包括以下至少之一：意图确定子模块，用于采用预定意图分类模型确定每个会话语句的意图类别；情感确定子模块，用于采用预定情感分类模型确定每个会话语句的情感类别。
根据本公开的实施例，质量等级确定模块用于通过以下方式获得质量等级：以所述特征信息作为预定等级分类模型的输入，获得待处理咨询对话的质量等级。其中，预定等级分类模型包括循环神经网络模型。
根据本公开的实施例，上述质量等级确定模块620可以包括指标确定子模块和等级确定子模块。指标确定子模块用于基于特征信息，确定待处理咨询对话的多个指标数据。等级确定子模块用于以多个指标数据作为预定等级分类模型的输入，获得待处理咨询对话的质量等级。其中，预定等级分类模型包括线性模型和树模型。
需要说明的是，本公开的技术方案中，所涉及的用户个人信息的获取、存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7示出了可以用来实现本公开实施例的评估咨询对话质量的方法的电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如评估咨询对话质量的方法。例如，在一些实施例中，评估咨询对话质量的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的评估咨询对话质量的方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行评估咨询对话质量的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。其中，服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (12)

1.一种评估咨询对话质量的方法，包括：
获得待处理咨询对话的特征信息；以及
基于所述特征信息，采用预定等级分类模型确定所述待处理咨询对话的质量等级；
其中，所述待处理咨询对话包括多个会话语句；所述获得所述待处理咨询对话的特征信息包括：
确定所述多个会话语句中每个会话语句的语句句类；以及
基于所述语句句类，确定所述每个会话语句的意图满足信息；
其中，所述多个会话语句包括第一会话方的第一语句和第二会话方的第二语句，且所述多个会话语句按序排列；确定所述每个会话语句的意图满足信息包括：
基于所述语句句类和所述多个会话语句按序排列的顺序，确定所述多个会话语句构成的至少一个语句对，每个语句对包括所述第一语句和所述第二语句；
针对所述至少一个语句对中的每个语句对，采用预定意图满足分类模型确定针对所述每个语句对的满足类别；以及
基于所述满足类别，确定所述每个语句对中各语句的意图满足信息；
其中，所述语句句类包括陈述句和疑问句；确定所述多个会话语句构成的至少一个语句对包括：
基于所述多个会话语句中句类不同的第一语句和第二语句，获得多个候选语句对；以及
基于所述多个会话语句按序排列的顺序，确定所述疑问句的顺序位于所述陈述句的顺序之前的候选语句对，得到所述至少一个语句对。
2. 根据权利要求1所述的方法，其中，获得多个候选语句对包括：
基于所述按序排列的顺序，确定所述多个会话语句中相邻的预定数量个会话语句，获得至少一个会话组；以及
针对所述至少一个会话组中的每个会话组，确定所述每个会话组中句类不同的第一语句和第二语句，得到所述多个候选语句对。
3.根据权利要求1或2所述的方法，其中，所述获得所述待处理咨询对话的特征信息还包括以下至少之一：
采用预定意图分类模型确定所述每个会话语句的意图类别；
采用预定情感分类模型确定所述每个会话语句的情感类别。
4.根据权利要求1~3中任一项所述的方法，其中，采用预定等级分类模型确定所述待处理咨询对话的质量等级包括：
以所述特征信息作为所述预定等级分类模型的输入，获得所述待处理咨询对话的质量等级，
其中，所述预定等级分类模型包括循环神经网络模型。
5. 根据权利要求1~3中任一项所述的方法，其中，采用预定等级分类模型确定所述待处理咨询对话的质量等级包括：
基于所述特征信息，确定所述待处理咨询对话的多个指标数据；以及
以所述多个指标数据作为所述预定等级分类模型的输入，获得所述待处理咨询对话的质量等级，
其中，所述预定等级分类模型包括线性模型或树模型。
6. 一种评估咨询对话质量的装置，包括：
特征信息获得模块，用于获得待处理咨询对话的特征信息；以及
质量等级确定模块，用于基于所述特征信息，采用预定等级分类模型确定所述待处理咨询对话的质量等级；
其中，所述待处理咨询对话包括多个会话语句；所述特征信息获得模块包括：
句类确定子模块，用于确定所述多个会话语句中每个会话语句的语句句类；以及
意图满足确定子模块，用于基于所述语句句类，确定所述每个会话语句的意图满足信息；
其中，所述多个会话语句包括第一会话方的第一语句和第二会话方的第二语句，且所述多个会话语句按序排列；所述意图满足确定子模块包括：
语句对确定单元，用于基于所述语句句类和所述多个会话语句按序排列的顺序，确定所述多个会话语句构成的至少一个语句对，每个语句对包括所述第一语句和所述第二语句；
满足类别确定单元，用于基于所述语句句类和所述多个会话语句按序排列的顺序，确定所述多个会话语句构成的至少一个语句对，每个语句对包括所述第一语句和所述第二语句；以及
意图满足确定单元，用于基于所述满足类别，确定所述每个语句对中各语句的意图满足信息；
其中，所述语句句类包括陈述句和疑问句；所述语句对确定单元包括：
候选对获得子单元，用于基于所述多个会话语句中句类不同的第一语句和第二语句，获得多个候选语句对；以及
语句对获得子单元，用于基于所述多个会话语句按序排列的顺序，确定所述疑问句的顺序位于所述陈述句的顺序之前的候选语句对，得到所述至少一个语句对。
7. 根据权利要求6所述的装置，其中，所述候选对获得子单元具体用于通过以下方式获得候选语句对：
基于所述按序排列的顺序，确定所述多个会话语句中相邻的预定数量个会话语句，获得至少一个会话组；以及
针对所述至少一个会话组中的每个会话组，确定所述每个会话组中句类不同的第一语句和第二语句，得到所述多个候选语句对。
8.根据权利要求6或7所述的装置，其中，所述特征信息获得模块还包括以下至少之一：
意图确定子模块，用于采用预定意图分类模型确定所述每个会话语句的意图类别；
情感确定子模块，用于采用预定情感分类模型确定所述每个会话语句的情感类别。
9.根据权利要求6~8任一项所述的装置，其中，所述质量等级确定模块用于通过以下方式获得所述质量等级：
以所述特征信息作为所述预定等级分类模型的输入，获得所述待处理咨询对话的质量等级，
其中，所述预定等级分类模型包括循环神经网络模型。
10. 根据权利要求6~8任一项所述的装置，其中，所述质量等级确定模块包括：
指标确定子模块，用于基于所述特征信息，确定所述待处理咨询对话的多个指标数据；以及
等级确定子模块，用于以所述多个指标数据作为所述预定等级分类模型的输入，获得所述待处理咨询对话的质量等级，
其中，所述预定等级分类模型包括线性模型或树模型。
11.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1~5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1~5中任一项所述的方法。
CN202110723052.1A 2021-06-28 2021-06-28 评估咨询对话质量的方法、装置、设备和存储介质 Active CN113407677B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110723052.1A CN113407677B (zh) 2021-06-28 2021-06-28 评估咨询对话质量的方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110723052.1A CN113407677B (zh) 2021-06-28 2021-06-28 评估咨询对话质量的方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN113407677A CN113407677A (zh) 2021-09-17
CN113407677B true CN113407677B (zh) 2023-11-14

Family

ID=77679945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110723052.1A Active CN113407677B (zh) 2021-06-28 2021-06-28 评估咨询对话质量的方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN113407677B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418115B (zh) * 2022-01-11 2023-09-12 华中师范大学 心理咨询师的共情会谈训练方法、装置、设备及存储介质
CN114969195B (zh) * 2022-05-27 2023-10-27 北京百度网讯科技有限公司 对话内容挖掘方法和对话内容评估模型的生成方法
CN116741360B (zh) * 2023-08-16 2023-12-19 深圳市微能信息科技有限公司 基于智能终端的医生问诊及服务质量评价系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832294A (zh) * 2017-11-06 2018-03-23 广州杰赛科技股份有限公司 客服质量评价方法和装置
CN108255943A (zh) * 2017-12-12 2018-07-06 百度在线网络技术（北京）有限公司 人机对话质量评估方法、装置、计算机设备及存储介质
CN110688454A (zh) * 2019-09-09 2020-01-14 深圳壹账通智能科技有限公司 咨询对话处理的方法、装置、设备及存储介质
WO2020135124A1 (zh) * 2018-12-27 2020-07-02 阿里巴巴集团控股有限公司 会话质量评价方法、装置及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197115B (zh) * 2018-01-26 2022-04-22 上海智臻智能网络科技股份有限公司 智能交互方法、装置、计算机设备和计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832294A (zh) * 2017-11-06 2018-03-23 广州杰赛科技股份有限公司 客服质量评价方法和装置
CN108255943A (zh) * 2017-12-12 2018-07-06 百度在线网络技术（北京）有限公司 人机对话质量评估方法、装置、计算机设备及存储介质
WO2020135124A1 (zh) * 2018-12-27 2020-07-02 阿里巴巴集团控股有限公司 会话质量评价方法、装置及电子设备
CN110688454A (zh) * 2019-09-09 2020-01-14 深圳壹账通智能科技有限公司 咨询对话处理的方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于生成式对抗网络的在线健康咨询服务评价模型;张子芋;;科技经济导刊(04);全文 *

Also Published As

Publication number Publication date
CN113407677A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN113407677B (zh) 评估咨询对话质量的方法、装置、设备和存储介质
CN111222305A (zh) 一种信息结构化方法和装置
CN111680159A (zh) 数据处理方法、装置及电子设备
CN109325121B (zh) 用于确定文本的关键词的方法和装置
CN112733042A (zh) 推荐信息的生成方法、相关装置及计算机程序产品
CN112699645B (zh) 语料标注方法、装置及设备
CN112926308B (zh) 匹配正文的方法、装置、设备、存储介质以及程序产品
CN115099239B (zh) 一种资源识别方法、装置、设备以及存储介质
CN116882372A (zh) 文本生成方法、装置、电子设备以及存储介质
CN113239204A (zh) 文本分类方法及装置、电子设备、计算机可读存储介质
CN113392218A (zh) 文本质量评估模型的训练方法和确定文本质量的方法
CN110738056A (zh) 用于生成信息的方法和装置
WO2022022049A1 (zh) 文本长难句的压缩方法、装置、计算机设备及存储介质
CN110826327A (zh) 情感分析方法、装置、计算机可读介质及电子设备
CN112948584A (zh) 短文本分类方法、装置、设备以及存储介质
CN111783424A (zh) 一种文本分句方法和装置
CN114118049B (zh) 信息获取方法、装置、电子设备及存储介质
CN116204624A (zh) 应答方法、装置、电子设备及存储介质
CN113360672B (zh) 用于生成知识图谱的方法、装置、设备、介质和产品
CN113792230B (zh) 服务链接方法、装置、电子设备和存储介质
CN113806541A (zh) 情感分类的方法和情感分类模型的训练方法、装置
WO2021063089A1 (zh) 规则匹配方法、规则匹配装置、存储介质及电子设备
CN114676699A (zh) 实体情感分析方法、装置、计算机设备和存储介质
CN112131378A (zh) 用于识别民生问题类别的方法、装置及电子设备
CN113344405B (zh) 基于知识图谱生成信息的方法、装置、设备、介质和产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant