CN111597821B - 一种确定应答概率的方法及装置 - Google Patents

一种确定应答概率的方法及装置 Download PDF

Info

Publication number
CN111597821B
CN111597821B CN202010404542.0A CN202010404542A CN111597821B CN 111597821 B CN111597821 B CN 111597821B CN 202010404542 A CN202010404542 A CN 202010404542A CN 111597821 B CN111597821 B CN 111597821B
Authority
CN
China
Prior art keywords
information
sample
sentence
target
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010404542.0A
Other languages
English (en)
Other versions
CN111597821A (zh
Inventor
刘澈
熊超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Priority to CN202010404542.0A priority Critical patent/CN111597821B/zh
Publication of CN111597821A publication Critical patent/CN111597821A/zh
Application granted granted Critical
Publication of CN111597821B publication Critical patent/CN111597821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting

Abstract

本发明提供了一种确定应答概率的方法及装置，其中，该确定应答概率的方法包括：获取历史会话信息，所述历史会话信息包括：提问方信息以及应答方信息；针对每一所述历史会话信息，依据预先设置的切分条件，从该历史会话信息包括的语句之间选择切分点，对该历史会话信息进行切分，得到样本信息，将该样本信息作为输入参数，输入到应答概率模型，得到该样本信息的应答概率。本申请通过比较当前的提问方信息对应的应答概率参数与预设的应答概率阈值的大小关系，确定是否需要对用户当前发出的提问信息进行应答，使得智能聊天机器人可以自行判断应答时机，提高对应答时机的判断能力。

Description

一种确定应答概率的方法及装置
技术领域
本发明涉及智能客服技术领域，具体而言，涉及一种确定应答概率的方法及装置。
背景技术
近年来，随着人工智能技术的不断发展，智能聊天机器人被广泛用于智能客服领域。为了保证智能聊天机器人与用户能够进行流畅的对话，提高智能聊天机器人与用户的沟通效率，常常需要智能聊天机器人能够自行判断应答的时机，因此，智能聊天机器人根据用户的提问信息，如何确定是否需要对该提问信息作出应答，成为当前智能客服技术领域所迫切需要解决的一个技术问题。
目前的方法，通常将人工客服与用户的历史对话数据中应答的时间信息看作监督信号，基于该监督信号构建一个二分类模型，使得智能聊天机器人依据构建的该二分类模型，判断是否需要对当前用户的提问信息作出应答。这种判断应答时机的方法，由于，人工客服经常需要同时对多个客户的提问信息进行应答，因此，人工客服的应答时机存在延时，这样用作监督信号的应答时间信息并不能准确地反映出当前用户的提问信息需要被应答的概率，造成所述二分类模型所确定的应答概率并不准确，因而，导致智能聊天机器人自行判断当前提问信息的应答时机的能力较低。
发明内容
有鉴于此，本发明的目的在于提供一种确定应答概率的方法及装置，以提高智能聊天机器人对应答时机的判断能力。
第一方面，本发明实施例提供了一种确定应答概率的方法，其中，所述方法包括：
获取历史会话信息，所述历史会话信息包括：提问方信息以及应答方信息；
针对每一所述历史会话信息，依据预先设置的切分条件，从该历史会话信息包括的语句之间选择切分点，对该历史会话信息进行切分，得到样本信息，其中，所述样本信息包括：正响应样本、负响应样本和待处理信息，所述待处理信息包括该历史会话信息中位于所述切分点之前的语句信息，所述正响应样本为该历史会话信息中位于所述切分点之后的第一条应答方信息，所述负响应样本为获取的全部历史会话信息中包含的任一所述应答方信息；
将该样本信息作为输入参数，输入到应答概率模型，得到该样本信息的应答概率，其中，所述应答概率为所述待处理信息包含的样本提问方信息对应的应答概率参数。
可选地，所述方法还包括：
获取当前的目标提问方信息，其中，当前的所述目标提问方信息为截止到当前获取信息的时间节点，目标提问方所发送的全部信息；
依据预先设置的第一滑动窗口，对所述目标提问方信息中的语句进行窗口选取，以得到第一窗口信息，其中，在进行窗口选取时，将所述目标提问方信息中的最后一个语句作为所述第一窗口信息内的最后一个语句；
针对当前得到的第一窗口信息，依据该第一窗口信息内包含的语句，计算目标提问语句对应的应答概率参数，其中，所述目标提问语句为该第一窗口信息内的最后一个语句；
判断所述应答概率参数是否大于预先设置的应答概率阈值；
若所述应答概率参数大于所述应答概率阈值，则对所述目标提问语句进行应答。
可选地，所述方法还包括：
若所述应答概率参数小于或者等于所述应答概率阈值，则在所述目标提问方信息更新之后，获取更新后的目标提问方信息作为当前的目标提问方信息，依据所述第一滑动窗口，对当前的目标提问方信息进行下一次窗口选取。
可选地，所述依据该第一窗口信息内包含的语句，计算目标提问语句对应的应答概率参数，包括：
针对该第一窗口信息内包含的每一个语句，对该语句与所述目标提问语句进行相似度计算，将相似度计算结果作为该语句对应的相似度值；
利用该第一窗口信息内各语句对应的相似度值，对所述目标提问语句对应的相似度值进行归一化处理，以将归一化处理后的结果作为所述应答概率参数。
可选地，所述将该样本信息作为输入参数，输入到应答概率模型，得到该样本信息的应答概率，包括：
获取该样本信息中包含的所述样本提问方信息；
依据预先设置的第二滑动窗口和滑动步长，对所述样本提问方信息中的语句逐句进行滑动选取，以得到第二窗口信息，其中，在进行第一次滑动选取时，将所述样本提问方信息中的第一个语句作为所述第二窗口信息内的最后一个语句，在进行最后一次滑动选取时，将所述样本提问方信息中的最后一个语句作为所述第二窗口信息内的最后一个语句；
针对当前得到的第二窗口信息，依据该第二窗口信息内包含的语句，计算样本目标语句的语义表示，将计算结果作为该第二窗口信息对应的语义表示，其中，所述样本目标语句为该第二窗口信息内的最后一个语句；
针对每一所述第二窗口信息，依据所述样本目标语句在所述待处理信息中的语句顺序，提取目标语义表示，其中，所述目标语义表示为符合语句顺序条件要求的样本目标语句的语义表示；
依据所述待处理信息中的语句顺序，对提取的所述目标语义表示以及应答方信息包含的语句进行排序，以将排序后的结果作为训练样本，其中，所述应答方信息为所述待处理信息中包含的应答方信息，所述目标语义表示的顺序与该目标语义表示对应的样本目标语句在所述待处理信息中的语句顺序相同；
针对每一所述训练样本，将该训练样本与所述正响应样本作为第一组输入参数，将该训练样本与所述负响应样本作为第二组输入参数，第一组输入参数与第二组输入参数交替输入到所述应答概率模型，得到该训练样本的应答概率，其中，该训练样本的应答概率为该训练样本对应的所述样本提问方信息对应的应答概率参数。
可选地，所述依据该第二窗口信息内包含的语句，计算样本目标语句的语义表示，包括：
针对该第二窗口信息内包含的每一个语句，对该语句与所述样本目标语句进行相似度计算，将相似度计算结果作为该语句对应的相似度值；
利用该第二窗口信息内各语句对应的相似度值，对该语句对应的相似度值进行归一化处理，将归一化处理后的结果作为该语句的相似度权重值；
依据该第二窗口信息内包含的各语句以及该语句的相似度权重值，进行加权求和，将加权求和结果作为所述样本目标语句的语义表示。
可选地，所述依据所述样本目标语句在所述待处理信息中的语句顺序，提取目标语义表示，包括：
依据所述样本目标语句在所述待处理信息中的语句顺序，判断所述样本目标语句的语句顺序是否位于当前的指定应答语句的前一位，其中，选择的指定应答语句为所述待处理信息中的应答方信息包含的一个语句；
若所述样本目标语句的语句顺序位于当前的指定应答语句的前一位，则提取该样本目标语句的语义表示。
可选地，所述判断所述样本目标语句的语句顺序是否位于当前的指定应答语句的前一位，还包括：
若所述样本目标语句的语句顺序不位于当前的指定应答语句的前一位，则利用下一次选择的指定应答语句判断所述样本目标语句的语句顺序是否位于当前的指定应答语句的前一位，其中，在选择指定应答语句时，每次选择的指定应答语句与之前选择过的指定应答语句均不相同。
可选地，所述依据所述样本目标语句在所述待处理信息中的语句顺序，提取目标语义表示，还包括：
依据所述样本目标语句在所述待处理信息中的语句顺序，若所述样本目标语句在提问方语句中位于最后一位，则提取该样本目标语句的语义表示，其中，所述提问方语句为所述待处理信息中的样本提问方信息包含的语句。
可选地，所述第一组输入参数与第二组输入参数交替输入到所述应答概率模型，得到该训练样本的应答概率，包括：
针对每一组输入参数，将该组输入参数中的响应样本作为参考样本，将该组输入参数中的训练样本作为待匹配样本，将该组输入参数输入到所述应答概率模型中，以将得出所述待匹配样本与所述参考样本的语义匹配程度值，将得出的所述语义匹配程度值作为该组输入参数对应的语义匹配程度值，其中，所述响应样本为所述正响应样本或者所述负响应样本；
计算所述参考样本与该组输入参数对应的语义匹配程度值的差值，将计算得到的所述差值的绝对值作为该组输入参数对应的语义损失值，其中，在计算所述差值时，将所述正响应样本记为1，将所述负响应样本记为0；
判断该组输入参数对应的语义损失值是否达到所述应答概率模型的最低语义损失值；
若该组输入参数对应的语义损失值达到所述应答概率模型的最低语义损失值，则将当前各样本提问方语句的相似度权重值作为该样本提问方语句对应的应答概率参数，其中，所述样本提问方语句为该组输入参数中的训练样本对应的每一所述第二窗口信息内包含的全部语句。
可选地，所述方法还包括：
若该组输入参数对应的语义损失值未达到所述应答概率模型的最低语义损失值，则返回到计算样本目标语句的语义表示的步骤。
第二方面，本申请还提供了一种确定应答概率的装置，其中，所述装置包括：
信息获取模块，用于获取历史会话信息，所述历史会话信息包括：提问方信息以及应答方信息；
信息处理模块，用于针对每一所述历史会话信息，依据预先设置的切分条件，从该历史会话信息包括的语句之间选择切分点，对该历史会话信息进行切分，得到样本信息，其中，所述样本信息包括：正响应样本、负响应样本和待处理信息，所述待处理信息包括该历史会话信息中位于所述切分点之前的语句信息，所述正响应样本为该历史会话信息中位于所述切分点之后的第一条应答方信息，所述负响应样本为获取的全部历史会话信息中包含的任一所述应答方信息；
模型训练模块，用于将该样本信息作为输入参数，输入到应答概率模型，得到该样本信息的应答概率，其中，所述应答概率为所述待处理信息包含的样本提问方信息对应的应答概率参数。
可选地，所述模型训练模块，还包括：
获取信息模块，用于获取该样本信息中包含的所述样本提问方信息；
第二滑动选取模块，用于依据预先设置的第二滑动窗口和滑动步长，对所述样本提问方信息中的语句逐句进行滑动选取，以得到第二窗口信息，其中，在进行第一次滑动选取时，将所述样本提问方信息中的第一个语句作为所述第二窗口信息内的最后一个语句，在进行最后一次滑动选取时，将所述样本提问方信息中的最后一个语句作为所述第二窗口信息内的最后一个语句；
语义表示计算模块，用于针对当前得到的第二窗口信息，依据该第二窗口信息内包含的语句，计算样本目标语句的语义表示，将计算结果作为该第二窗口信息对应的语义表示，其中，所述样本目标语句为该第二窗口信息内的最后一个语句；
信息提取模块，用于针对每一所述第二窗口信息，依据所述样本目标语句在所述待处理信息中的语句顺序，提取目标语义表示，其中，所述目标语义表示为符合语句顺序条件要求的样本目标语句的语义表示；
排序模块，用于依据所述待处理信息中的语句顺序，对提取的所述目标语义表示以及应答方信息包含的语句进行排序，以将排序后的结果作为训练样本，其中，所述应答方信息为所述待处理信息中包含的应答方信息，所述目标语义表示的顺序与该目标语义表示对应的样本目标语句在所述待处理信息中的语句顺序相同；
模型训练子模块，用于针对每一所述训练样本，将该训练样本与所述正响应样本作为第一组输入参数，将该训练样本与所述负响应样本作为第二组输入参数，第一组输入参数与第二组输入参数交替输入到所述应答概率模型，得到该训练样本的应答概率，其中，该训练样本的应答概率为该训练样本对应的所述样本提问方信息对应的应答概率参数。
可选地，所述语义表示计算模块，可以具体用于：
针对该第二窗口信息内包含的每一个语句，对该语句与所述样本目标语句进行相似度计算，将相似度计算结果作为该语句对应的相似度值；
利用该第二窗口信息内各语句对应的相似度值，对该语句对应的相似度值进行归一化处理，将归一化处理后的结果作为该语句的相似度权重值；
依据该第二窗口信息内包含的各语句以及该语句的相似度权重值，进行加权求和，将加权求和结果作为所述样本目标语句的语义表示。
可选地，所述信息提取模块，可以具体用于：
依据所述样本目标语句在所述待处理信息中的语句顺序，判断所述样本目标语句的语句顺序是否位于当前的指定应答语句的前一位，其中，选择的指定应答语句为所述待处理信息中的应答方信息包含的一个语句；
若所述样本目标语句的语句顺序位于当前的指定应答语句的前一位，则提取该样本目标语句的语义表示。
可选地，所述信息提取模块，还可以具体用于：
若所述样本目标语句的语句顺序不位于当前的指定应答语句的前一位，则利用下一次选择的指定应答语句判断所述样本目标语句的语句顺序是否位于当前的指定应答语句的前一位，其中，在选择指定应答语句时，每次选择的指定应答语句与之前选择过的指定应答语句均不相同。
可选地，所述信息提取模块，还可以具体用于：
若所述样本目标语句在提问方语句中位于最后一位，则提取该样本目标语句的语义表示，其中，所述提问方语句为所述待处理信息中的样本提问方信息包含的语句。
可选地，所述模型训练子模块，可以具体用于：
针对每一组输入参数，将该组输入参数中的响应样本作为参考样本，将该组输入参数中的训练样本作为待匹配样本，将该组输入参数输入到所述应答概率模型中，以将得出所述待匹配样本与所述参考样本的语义匹配程度值，将得出的所述语义匹配程度值作为该组输入参数对应的语义匹配程度值，其中，所述响应样本为所述正响应样本或者所述负响应样本；
计算所述参考样本与该组输入参数对应的语义匹配程度值的差值，将计算得到的所述差值的绝对值作为该组输入参数对应的语义损失值，其中，在计算所述差值时，将所述正响应样本记为1，将所述负响应样本记为0；
判断该组输入参数对应的语义损失值是否达到所述应答概率模型的最低语义损失值；
若该组输入参数对应的语义损失值达到所述应答概率模型的最低语义损失值，则将当前各样本提问方语句的相似度权重值作为该样本提问方语句对应的应答概率参数，其中，所述样本提问方语句为该组输入参数中的训练样本对应的每一所述第二窗口信息内包含的全部语句。
可选地，所述模型训练子模块，还可以具体用于：
若该组输入参数对应的语义损失值未达到所述应答概率模型的最低语义损失值，则返回到计算样本目标语句的语义表示的步骤。
可选地，所述装置还包括：
获取模块，用于获取当前的目标提问方信息，其中，当前的所述目标提问方信息为截止到当前获取信息的时间节点，目标提问方所发送的全部信息；
第一滑动选取模块，用于依据预先设置的第一滑动窗口，对所述目标提问方信息中的语句进行窗口选取，以得到第一窗口信息，其中，在进行窗口选取时，将所述目标提问方信息中的最后一个语句作为所述第一窗口信息内的最后一个语句；
计算模块，用于针对当前得到的第一窗口信息，依据该第一窗口信息内包含的语句，计算目标提问语句对应的应答概率参数，其中，所述目标提问语句为该第一窗口信息内的最后一个语句；
判断模块，用于判断所述应答概率参数是否大于预先设置的应答概率阈值；
应答模块，用于若所述应答概率参数大于所述应答概率阈值，则对所述目标提问语句进行应答。
可选地，所述应答模块，可以具体用于：
若所述应答概率参数小于或者等于所述应答概率阈值，则在所述目标提问方信息更新之后，获取更新后的目标提问方信息作为当前的目标提问方信息，依据所述第一滑动窗口，对当前的目标提问方信息进行下一次窗口选取。
可选地，所述计算模块，还具体用于：
针对该第一窗口信息内包含的每一个语句，对该语句与所述目标提问语句进行相似度计算，将相似度计算结果作为该语句对应的相似度值；
利用该第一窗口信息内各语句对应的相似度值，对所述目标提问语句对应的相似度值进行归一化处理，以将归一化处理后的结果作为所述应答概率参数。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述确定应答概率的方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述确定应答概率的方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果：
从提问方与应答方的历史会话信息中提炼样本信息，这样，由于获取的历史会话信息只是提问方与应答方的会话的语义信息，因此，即使应答方的应答时间存在延时，也不会影响应答概率模型的训练结果，解决了现有技术中，用作监督信号的应答时间信息并不能准确地反映出当前用户的提问信息需要被应答的概率的技术问题。并且对于应答时机而言，应答的时间顺序代表着与前面会话中的提问信息的语义匹配程度，应答时间越早的应答方信息与前面会话中的提问信息的语义匹配程度越高，越能解决提问方的问题，因此，将所述历史会话信息中位于所述切分点之后的第一条应答方信息作为正响应样本，训练应答概率模型，可以有效地提高应答概率模型确定的样本信息的应答概率的准确度，进而，提高了智能聊天机器人对应答时机的判断能力。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的确定应答概率的方法流程示意图；
图2示出了本申请实施例所提供的一种确定样本信息的应答概率的方法的流程示意图；
图3示出了本发明实施例所提供的第二滑动窗口进行滑动选取的方法流程示意图；
图4示出了图3的步骤b中第一次滑动选取时对应的示例图；
图5示出了图3的步骤c中第二次滑动选取时对应的示例图；
图6示出了图3的步骤d中第三次滑动选取时对应的示例图；
图7示出了图3的步骤e中最后一次滑动选取时对应的示例图；
图8示出了本申请实施例所提供的一种应答概率模型的训练方法的流程示意图；
图9示出了本申请实施例所提供的一种在实际的应用场景下，判断是否需要对用户当前发出的提问信息进行应答的方法的流程示意图；
图10示出了本发明实施例所提供的第一滑动窗口进行窗口选取时对应的示例图；
图11示出了本发明实施例所提供的确定应答概率的装置结构示意图；
图12示出了本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以根据各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了使得本领域技术人员能够使用本申请内容，结合特定应用场景“智能聊天机器人与用户对话”，给出以下实施方式。对于本领域技术人员来说，在不脱离本申请的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景。虽然本申请主要围绕智能聊天机器人如何确定对用户的提问信息进行应答的时机进行描述，但是应该理解，这仅是一个示例性实施例。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
本发明实施例提供了一种确定应答概率的方法及装置，下面通过实施例进行描述。
实施例一
图1示出了本发明实施例所提供的确定应答概率的方法流程示意图，该方法包括步骤S101-S103；具体的：
S101，获取历史会话信息，所述历史会话信息包括：提问方信息以及应答方信息。
本申请实施例中，作为一可选实施例，可以从历史数据库中获取人工客服与用户的历史会话数据，从获取的所述历史会话数据中，提取人工客服与用户会话的文本信息作为所述历史会话信息，其中，用户对应于提问方，人工客服对应于应答方。
示例性的说明，例如，人工客服与用户的历史会话数据包括：人工客服与用户会话的文本信息、会话的时间信息、会话的地点信息以及会话的订单信息，对人工客服与用户的历史会话数据进行筛选，只提取其中人工客服与用户会话的文本信息作为历史会话信息，将人工客服的发言信息标记为应答方信息，将用户的发言信息标记为提问方信息。
S102，针对每一所述历史会话信息，依据预先设置的切分条件，从该历史会话信息包括的语句之间选择切分点，对该历史会话信息进行切分，得到样本信息，其中，所述样本信息包括：正响应样本、负响应样本和待处理信息，所述待处理信息包括该历史会话信息中位于所述切分点之前的语句信息，所述正响应样本为该历史会话信息中位于所述切分点之后的第一条应答方信息，所述负响应样本为获取的全部历史会话信息中包含的任一所述应答方信息。
需要说明的是，针对每一所述历史会话信息的切分次数并不限定，只要满足预先设置的切分条件，切分次数可以一次也可以多次，以便得到充足的所述待处理样本信息，保证训练样本的数量，维持应答概率模型的稳定性。
本申请实施例中，作为一可选实施例，所述预先设置的切分条件可以为：从所述历史会话信息包含的应答方信息中，任意选取一个应答方的语句作为切分点之后的第一个语句。
示例性的说明，例如，历史会话信息为：A AA B A A B B A B，其中A表示提问方的语句，B表示应答方的语句，依据预先设置的切分条件，选择第二个B之前的空位作为切分点，对历史会话信息进行一次切分，得到两组语句信息，第一组语句信息：A AA B A A，第二组语句信息：B B A B，将第一组语句信息作为待处理信息，从第二组语句信息中，提取第一个应答方语句B作为正响应样本，从获取到的全部历史会话信息中，随机选取一个应答方语句作为负响应样本，例如，可以通过随机采样的方法，从获取到的全部历史会话信息包含的应答方信息中，选择一个应答方语句作为负响应样本。
本申请实施例中，作为一可选实施例，可以将所述样本信息随机划分为三份，分别用于应答概率模型的训练、验证以及测试。
示例性的说明，例如，若得到1200份样本信息，将这1200份样本信息进行随机划分，得到700份样本信息用于应答概率模型的训练，300份样本信息用于应答概率模型的验证，200份样本信息用于应答概率模型的测试，这样，由于选择了各不相同的样本信息分别用于应答概率模型的训练、验证以及测试，因此，可以提高应答概率模型的稳定度，进而，提高了智能聊天机器人对应答时机的判断能力。
S103，将该样本信息作为输入参数，输入到应答概率模型，得到该样本信息的应答概率，其中，所述应答概率为所述待处理信息包含的样本提问方信息对应的应答概率参数。
具体的，所述待处理信息中包括应答方语句以及提问方语句，获取所述待处理信息中的全部提问方语句作为所述样本提问方信息，将提问方语句与应答方语句分开，对获取的提问方语句单独处理，以计算样本提问方信息浓缩后的语义表示，该语义表示用于表征样本提问方信息的提问要点，所述正响应样本用于表征所述样本提问方信息的最佳应答语句，所述负响应样本用于表征与所述样本提问方信息无关联的应答语句，所述应答概率模型根据该语义表示分别与正、负响应样本的语义匹配程度，来得到样本信息中各提问方语句对应的应答概率，以深度学习应答时机，提高了对应答时机的判断能力。
在一个可行的实施方案中，图2示出了本申请实施例所提供的一种确定样本信息的应答概率的方法的流程示意图，如图2所示，在执行S103时，该方法还包括S201-S206；具体的：
S201，获取该样本信息中包含的所述样本提问方信息。
S202，依据预先设置的第二滑动窗口和滑动步长，对所述样本提问方信息中的语句逐句进行滑动选取，以得到第二窗口信息，其中，在进行第一次滑动选取时，将所述样本提问方信息中的第一个语句作为所述第二窗口信息内的最后一个语句，在进行最后一次滑动选取时，将所述样本提问方信息中的最后一个语句作为所述第二窗口信息内的最后一个语句。
示例性的说明，例如，预设的第二滑动窗口的大小为4个语句，预设的滑动步长为1个语句，参见图3所示的第二滑动窗口进行滑动选取的方法流程示意图：
步骤a，获取样本提问方信息为：A B C D，其中，A、B、C、D均为语句；
步骤b，利用预设的第二滑动窗口，将样本提问方信息中的第一个语句A作为第二滑动窗口的最后一个语句，对获取的样本提问方信息进行第一次滑动选取，参见图4所示，第一次滑动选取后的第二窗口信息包含的语句为：A；
步骤c，利用预设的第二滑动窗口以及滑动步长，对获取的样本提问方信息进行第二次滑动选取，由于滑动步长为1个语句，因此，参见图5所示，第二次滑动选取后的第二窗口信息包含的语句为：A、B；
步骤d，利用预设的第二滑动窗口以及滑动步长，对获取的样本提问方信息进行第三次滑动选取，参见图6所示，第三次滑动选取后的第二窗口信息包含的语句为：A、B、C；
步骤e，利用预设的第二滑动窗口以及滑动步长，对获取的样本提问方信息进行最后一次滑动选取，由于样本提问方信息中语句D是最后一个语句，并且语句D在当前的第二窗口信息中也是最后一个语句，因此，此时第四次滑动选取即为最后一次滑动选取，参见图7所示，最后一次滑动选取后的第二窗口信息包含的语句为：A、B、C、D。
S203，针对当前得到的第二窗口信息，依据该第二窗口信息内包含的语句，计算样本目标语句的语义表示，将计算结果作为该第二窗口信息对应的语义表示，其中，所述样本目标语句为该第二窗口信息内的最后一个语句。
需要说明的是，本申请实施例中所提到的“语句”在进行处理时，可以通过神经网络，例如但不限于LSTM(Long Short-Term Memory，长短期记忆网络)、TextCNN(TextConvolutional Neural Networks,卷积神经网络模型)，将文本形式的语句转化为向量形式的语句，使得本申请实施例中所提到的语句均是以向量形式的语句，参与到应答概率模型的训练过程中，本申请实施例中所提到的“语义表示”也是以向量的形式，参与到应答概率模型的训练过程中。
本申请实施例中，作为一可选实施例，所述依据该第二窗口信息内包含的语句，计算样本目标语句的语义表示，包括：
针对该第二窗口信息内包含的每一个语句，对该语句与所述样本目标语句进行相似度计算，将相似度计算结果作为该语句对应的相似度值；
利用该第二窗口信息内各语句对应的相似度值，对该语句对应的相似度值进行归一化处理，将归一化处理后的结果作为该语句的相似度权重值；
依据该第二窗口信息内包含的各语句以及该语句的相似度权重值，进行加权求和，将加权求和结果作为所述样本目标语句的语义表示。
示例性的说明，例如，以上述举例情况中的图7所示情况为例，图7中第二窗口信息包含的语句为：A、B、C、D，其中，语句D即为所述样本目标语句，此时，可以利用自注意力机制算法来计算每一个语句对应的相似度的值，与传统的自注意力机制算法不同的是，针对当前的第二窗口信息中包含的每一个语句，均是将该语句作为自注意力机制算法中的key(键)，选择当前的第二窗口信息中的最后一个语句作为query(查询)，计算该语句对应的相似度的值，这样，经计算可以得到语句A与样本目标语句D的相似度的值为a，语句B与样本目标语句D的相似度的值为b，语句C与样本目标语句D的相似度的值为c，语句D与样本目标语句D的相似度的值为d，利用该第二窗口信息内包含的各语句与样本目标语句D的相似度的值：a、b、c、d，对各个语句对应的相似度的值进行归一化处理，将归一化处理后的相似度的值作为该语句的相似度权重值。
作为一可选实施例，归一化公式为：
Figure BDA0002490786570000141
WXi为当前第二窗口信息内的第i个语句对应的归一化处理之后的相似度权重值；
Xn为当前第二窗口信息内的最后一个语句对应的归一化处理之前的相似度的值；
Xi为当前第二窗口信息内的第i个语句对应的归一化处理之前的相似度的值；
n为当前第二窗口信息内包含的语句个数。
依据上述归一化公式，可以计算得到语句A、B、C、D的相似度权重值：
Figure BDA0002490786570000142
Figure BDA0002490786570000143
Figure BDA0002490786570000144
Figure BDA0002490786570000145
根据加权求和公式：
Figure BDA0002490786570000151
其中，
Figure BDA0002490786570000152
分别为语句A、B、C、D的向量形式；
可以得到所述样本目标语句的语义表示
Figure BDA0002490786570000153
需要说明的是，第一次滑动选取得到的第二窗口信息只包含语句A，同时语句A也是当前的第二窗口信息中的最后一个语句，此时，为了保持计算机计算方式的一致性，即使语句A与样本目标语句A的相似度为1，但也参考上述规则计算，因此，即使当前的第二窗口信息只包含样本目标语句A，仍然根据上述说明的方法计算样本目标语句A的语义表示
Figure BDA0002490786570000154
S204，针对每一所述第二窗口信息，依据所述样本目标语句在所述待处理信息中的语句顺序，提取目标语义表示，其中，所述目标语义表示为符合语句顺序条件要求的样本目标语句的语义表示。
本申请实施例中，作为一可选实施例，所述依据所述样本目标语句在所述待处理信息中的语句顺序，提取目标语义表示，包括：
依据所述样本目标语句在所述待处理信息中的语句顺序，判断所述样本目标语句的语句顺序是否位于当前的指定应答语句的前一位，其中，选择的指定应答语句为所述待处理信息中的应答方信息包含的一个语句；
若所述样本目标语句的语句顺序位于当前的指定应答语句的前一位，则提取该样本目标语句的语义表示。
示例性的说明，例如，待处理信息为：A 1 B C 2 D，其中字母A、B、C、D表示样本提问方信息包含的语句，数字1和2表示应答方信息包含的语句，参见图3所示的滑动选取的方法，对样本提问方信息：A B C D，进行滑动选取，以图4所示的第一次滑动选取得到的第二窗口信息为例，此时，样本目标语句为语句A，依据待处理信息中所示的语句顺序，若指定应答语句为语句1，则提取目标语义表示
Figure BDA0002490786570000155
若指定应答语句为语句2，则不提取目标语义表示
Figure BDA0002490786570000156
本申请实施例中，作为一可选实施例，所述判断所述样本目标语句的语句顺序是否位于当前的指定应答语句的前一位，还包括：
若所述样本目标语句的语句顺序不位于当前的指定应答语句的前一位，则利用下一次选择的指定应答语句判断所述样本目标语句的语句顺序是否位于当前的指定应答语句的前一位，其中，在选择指定应答语句时，每次选择的指定应答语句与之前选择过的指定应答语句均不相同。
示例性的说明，例如，仍以上述举例情况为例，图4所示的第一次滑动选取得到的样本目标语句为语句A，若第一次选择的指定应答语句为语句2，由于语句A在待处理信息中不位于语句2的前一位，因此，需要进行下一次选择，选择与语句2不同的应答方信息包含的语句，即选择语句1作为当前的指定语句，由于语句A在待处理信息中位于语句1的前一位，因此，提取语句A所对应的目标语义表示
Figure BDA0002490786570000161
对于图5所示的第二次滑动选取得到的第二窗口信息，该第二窗口信息中样本目标语句是语句B，由于语句B既不位于语句1的前一位，也不位于语句2的前一位，因此，对于语句B的目标语义表示
Figure BDA0002490786570000162
是不需要进行提取的。
示例性的说明，作为一可选实施例，还可以按照所述待处理信息中的语句顺序，选择指定应答语句。例如，待处理信息为：A 1 B C 2 D，其中字母A、B、C、D表示样本提问方信息包含的语句，数字1和2表示应答方信息包含的语句，可以先选择语句1作为当前的指定应答语句，按照先语句1后语句2的顺序，从左向右选取指定应答语句。
本申请实施例中，作为一可选实施例，还可以依据所述样本目标语句在所述待处理信息中的语句顺序，若所述样本目标语句在提问方语句中位于最后一位，则提取该样本目标语句的语义表示，其中，所述提问方语句为所述待处理信息中的样本提问方信息包含的语句。
示例性的说明，例如，仍以待处理信息：A 1 B C 2 D为例，所述提问方语句为：语句A、语句B、语句C、语句D，对于图7所示的最后一次滑动选取时得到的第二窗口信息，该第二窗口信息中的样本目标语句是语句D，即使语句D既不位于语句1的前一位，也不位于语句2的前一位，但由于语句D在所述提问方语句中位于最后一位，因此，也需要提取语句D对应的目标语义表示
Figure BDA0002490786570000163
S205，依据所述待处理信息中的语句顺序，对提取的所述目标语义表示以及应答方信息包含的语句进行排序，以将排序后的结果作为训练样本，其中，所述应答方信息为所述待处理信息中包含的应答方信息，所述目标语义表示的顺序与该目标语义表示对应的样本目标语句在所述待处理信息中的语句顺序相同。
具体的，所述目标语义表示用于表征各所述第二窗口信息的语义要点，按照待处理信息中的语句顺序，即原历史会话中会话的时间先后顺序，对提取的各目标语义表示以及应答方语句进行排序，将排序结果作为训练样本。
S206，针对每一所述训练样本，将该训练样本与所述正响应样本作为第一组输入参数，将该训练样本与所述负响应样本作为第二组输入参数，第一组输入参数与第二组输入参数交替输入到所述应答概率模型，得到该训练样本的应答概率，其中，该训练样本的应答概率为该训练样本对应的所述样本提问方信息对应的应答概率参数。
需要说明的是，由于所述响应样本均是由应答方语句构成的，而在本申请实施例中，语句均是以向量形式参与到应答概率模型的训练过程中，因此，所述响应样本在本申请实施例中，也是以向量形式参与到应答概率模型的训练过程中。
在一个可行的实施方案中，图8示出了本申请实施例所提供的一种应答概率模型的训练方法的流程示意图，如图8所示，在执行S206时，该方法还包括S801-S804；具体的：
S801，针对每一组输入参数，将该组输入参数中的响应样本作为参考样本，将该组输入参数中的训练样本作为待匹配样本，将该组输入参数输入到所述应答概率模型中，以将得出所述待匹配样本与所述参考样本的语义匹配程度值，将得出的所述语义匹配程度值作为该组输入参数对应的语义匹配程度值，其中，所述响应样本为所述正响应样本或者所述负响应样本。
S802，计算所述参考样本与该组输入参数对应的语义匹配程度值的差值，将计算得到的所述差值的绝对值作为该组输入参数对应的语义损失值，其中，在计算所述差值时，将所述正响应样本记为1，将所述负响应样本记为0。
示例性的说明，例如，对于第一组输入参数，将第一组输入参数输入到应答概率模型中，通过LSTM，得到该组输入参数中的训练样本对应的语义表示
Figure BDA0002490786570000171
然后，依据反向传播算法，若得到语义表示
Figure BDA0002490786570000172
与第一组输入参数中的正响应样本
Figure BDA0002490786570000173
的语义匹配程度值为0.6，则将正响应样本记为1，得到第一组输入参数对应的语义损失值为0.4；对于第二组输入参数，依据反向传播算法，若得到语义表示
Figure BDA0002490786570000174
与第二组输入参数中的负响应样本
Figure BDA0002490786570000175
的语义匹配程度值为0.2，则将负响应样本记为0，得到第二组输入参数对应的语义损失值为0.2。
S803，判断该组输入参数对应的语义损失值是否达到所述应答概率模型的最低语义损失值。
具体的，在判断该组输入参数对应的语义损失值是否达到所述应答概率模型的最低语义损失值时，可以先返回到计算样本目标语句的语义表示的步骤，重复之前的相似度权重值的计算步骤，对该组输入参数中的训练样本进行更新，通过这样的迭代过程，应答概率模型将逐渐收敛，当该组输入参数对应的语义损失值达到历史最低语义损失值，且在一定的次数内连续不变时，此时，可以确定该组输入参数对应的语义损失值已经达到所述应答概率模型的最低语义损失值。
示例性的说明，例如，以上述举例情况为例，得到更新后的训练样本对应的语义表示
Figure BDA0002490786570000181
对于第一组输入参数，保持正响应样本
Figure BDA0002490786570000182
不变，将训练样本对应的语义表示更新为
Figure BDA0002490786570000183
重新计算第一组输入参数对应的语义损失值，对于第二组输入参数，保持负响应样本
Figure BDA0002490786570000184
不变，将训练样本对应的语义表示更新为
Figure BDA0002490786570000185
重新计算第二组输入参数对应的语义损失值，通过这样的迭代过程，应答概率模型将逐渐收敛，例如，对于一组输入参数，若连续三次更新后得到的所述语义损失值均为0.1，此时，则可以确定应答概率模型所能收敛到的最低语义损失值为0.1，将当前各样本提问方语句的相似度权重值作为该样本提问方语句对应的应答概率参数，其中，当前各样本提问方语句为该组输入参数中最后一次更新的训练样本对应的每一所述第二窗口信息内包含的语句；若连续两次更新后得到的语义损失值为0.2，下一次更新后得到的语义损失值为0.1，则不能确定0.1是否已经为应答概率模型所能收敛到的最低语义损失值，还需重新返回到计算样本目标语句的语义表示的步骤，直至更新后得到的语义损失值为历史最低语义损失值且不再变化。
S804，若该组输入参数对应的语义损失值达到所述应答概率模型的最低语义损失值，则将当前各样本提问方语句的相似度权重值作为该样本提问方语句对应的应答概率参数，其中，所述样本提问方语句为该组输入参数中的训练样本对应的每一所述第二窗口信息内包含的全部语句。
本申请实施例中，作为一可选实施例，若该组输入参数对应的语义损失值未达到所述应答概率模型的最低语义损失值，则返回到计算样本目标语句的语义表示的步骤。
在一个可行的实施方案中，图9示出了本申请实施例所提供的一种在实际的应用场景下，判断是否需要对用户当前发出的提问信息进行应答的方法的流程示意图，如图9所示，完成上述所有步骤，得到训练好的应答概率模型之后，该方法还包括步骤S901-S905；具体的：
S901，获取当前的目标提问方信息，其中，当前的所述目标提问方信息为截止到当前获取信息的时间节点，目标提问方所发送的全部信息。
S902，依据预先设置的第一滑动窗口，对所述目标提问方信息中的语句进行窗口选取，以得到第一窗口信息，其中，在进行窗口选取时，将所述目标提问方信息中的最后一个语句作为所述第一窗口信息内的最后一个语句。
示例性的说明，例如，获取到当前的目标提问方信息为ABCDE时，参见图10所示的第一滑动窗口进行窗口选取时对应的示例图，预设的第一滑动窗口的大小为4个语句，由于语句E为当前的目标提问方信息中的最后一个语句，因此，第一滑动窗口对当前的目标提问方信息ABCDE进行窗口选取时，得到的第一窗口信息为语句B、语句C、语句D、语句E。
S903，针对当前得到的第一窗口信息，依据该第一窗口信息内包含的语句，计算目标提问语句对应的应答概率参数，其中，所述目标提问语句为该第一窗口信息内的最后一个语句。
本申请实施例中，作为一可选实施例，所述依据该第一窗口信息内包含的语句，计算目标提问语句对应的应答概率参数，包括：
针对该第一窗口信息内包含的每一个语句，对该语句与所述目标提问语句进行相似度计算，将相似度计算结果作为该语句对应的相似度值；
利用该第一窗口信息内各语句对应的相似度值，对所述目标提问语句对应的相似度值进行归一化处理，以将归一化处理后的结果作为所述应答概率参数。
示例性的说明，例如，以上述举例情况为例，得到第一窗口信息为语句B、语句C、语句D、语句E，其中，语句E为目标提问语句，语句B与目标提问语句E的相似度的值为b、语句C与目标提问语句E的相似度的值为c、语句D与目标提问语句E的相似度的值为d、语句E与目标提问语句E的相似度的值为e；
依据归一化公式：
Figure BDA0002490786570000191
若得到归一化处理后的目标提问语句E对应的相似度的值We为0.6，则目标提问语句E对应的应答概率参数为0.6。
S904，判断所述应答概率参数是否大于预先设置的应答概率阈值。
S905，若所述应答概率参数大于所述应答概率阈值，则对所述目标提问语句进行应答。
具体的，预先设置的应答概率阈值用于表征应答的频率，可以通过调整应答概率阈值的大小，来调节智能聊天机器人的应答频率，以避免因应答过于频繁而导致的系统繁忙，以及因应答过于缓慢而导致的用户体验性降低。
示例性的说明，例如，仍以上述举例情况为例，通过参考历史会话信息中人工客服的应答频率，预先设置的应答概率阈值为0.5，由于目标提问语句E对应的应答概率参数0.6大于0.5，因此，智能聊天机器人将对语句E进行应答。作为一可选实施例，若此时系统较为繁忙，则可以适当调高应答概率阈值，以减轻系统负载压力；若此时收到客户投诉反馈，则可以适当调低应答概率阈值，以提高客户的体验性。
本申请实施例中，作为另一可选实施例，若所述应答概率参数小于或者等于所述应答概率阈值，则可以在所述目标提问方信息更新之后，获取更新后的目标提问方信息作为当前的目标提问方信息，依据所述第一滑动窗口，对当前的目标提问方信息进行下一次窗口选取。
示例性的说明，例如，仍以上述举例情况为例，若得到当前的第一窗口信息内目标提问语句E对应的应答概率参数为0.4，由于0.4小于预先设置的应答概率阈值0.5，因此，智能聊天机器人将不对该语句进行应答，当接收到用户新的发言时，获取更新后的用户的发言信息，进行下一次窗口选取，将用户发言的最新一个语句作为当前的目标提问语句，计算当前的目标提问语句的应答概率参数，重复上述的判断步骤。
本申请实施例中，作为一可选实施例，还可以使用带有标注的正负样本作为监督信号，基于该监督信号，构建分类模型，使得智能聊天机器人依据构建的分类模型，判断是否需要对用户当前发出的提问信息进行应答。
示例性的说明，例如，基于上述实施例中的确定应答概率的方法，可以依据应答概率模型的训练结果，从样本信息中包含的样本提问方信息中，选择应答概率参数较高的100条样本提问方语句作为带有“应答”标注的正样本，选择应答概率参数较低的100条样本提问方语句作为带有“不应答”标注的负样本，将所述正样本与所述负样本作为监督信号，构建分类模型，针对每次滑动选取，依据当前得到的第一窗口信息，将该第一窗口信息内的最后一个语句的应答概率参数作为所述分类模型的输入参数，输入到所述分类模型中，得到该语句所属的分类类别，所述分类类别包括：应答类别以及不应答类别，智能聊天机器人依据该语句所属的分类类别，判断是否需要对该语句进行应答，若该语句所属的分类类别为应答类别，则需要对该语句进行应答，若该语句所属的分类类别为不应答类别，则不需要对该语句进行应答。
实施例二
图11示出了本发明实施例所提供的确定应答概率的装置结构示意图，该装置包括：
信息获取模块1101，用于获取历史会话信息，所述历史会话信息包括：提问方信息以及应答方信息；
信息处理模块1102，用于针对每一所述历史会话信息，依据预先设置的切分条件，从该历史会话信息包括的语句之间选择切分点，对该历史会话信息进行切分，得到样本信息，其中，所述样本信息包括：正响应样本、负响应样本和待处理信息，所述待处理信息包括该历史会话信息中位于所述切分点之前的语句信息，所述正响应样本为该历史会话信息中位于所述切分点之后的第一条应答方信息，所述负响应样本为获取的全部历史会话信息中包含的任一所述应答方信息；
模型训练模块1103，用于将该样本信息作为输入参数，输入到应答概率模型，得到该样本信息的应答概率，其中，所述应答概率为所述待处理信息包含的样本提问方信息对应的应答概率参数。
本申请实施例中，作为一可选实施例，模型训练模块1103，具体包括：
获取信息模块，用于获取该样本信息中包含的所述样本提问方信息；
第二滑动选取模块，用于依据预先设置的第二滑动窗口和滑动步长，对所述样本提问方信息中的语句逐句进行滑动选取，以得到第二窗口信息，其中，在进行第一次滑动选取时，将所述样本提问方信息中的第一个语句作为所述第二窗口信息内的最后一个语句，在进行最后一次滑动选取时，将所述样本提问方信息中的最后一个语句作为所述第二窗口信息内的最后一个语句；
语义表示计算模块，用于针对当前得到的第二窗口信息，依据该第二窗口信息内包含的语句，计算样本目标语句的语义表示，将计算结果作为该第二窗口信息对应的语义表示，其中，所述样本目标语句为该第二窗口信息内的最后一个语句；
信息提取模块，用于针对每一所述第二窗口信息，依据所述样本目标语句在所述待处理信息中的语句顺序，提取目标语义表示，其中，所述目标语义表示为符合语句顺序条件要求的样本目标语句的语义表示；
排序模块，用于依据所述待处理信息中的语句顺序，对提取的所述目标语义表示以及应答方信息包含的语句进行排序，以将排序后的结果作为训练样本，其中，所述应答方信息为所述待处理信息中包含的应答方信息，所述目标语义表示的顺序与该目标语义表示对应的样本目标语句在所述待处理信息中的语句顺序相同；
模型训练子模块，用于针对每一所述训练样本，将该训练样本与所述正响应样本作为第一组输入参数，将该训练样本与所述负响应样本作为第二组输入参数，第一组输入参数与第二组输入参数交替输入到所述应答概率模型，得到该训练样本的应答概率，其中，该训练样本的应答概率为该训练样本对应的所述样本提问方信息对应的应答概率参数。
本申请实施例中，作为一可选实施例，所述语义表示计算模块，可以具体用于：
针对该第二窗口信息内包含的每一个语句，对该语句与所述样本目标语句进行相似度计算，将相似度计算结果作为该语句对应的相似度值；
利用该第二窗口信息内各语句对应的相似度值，对该语句对应的相似度值进行归一化处理，将归一化处理后的结果作为该语句的相似度权重值；
依据该第二窗口信息内包含的各语句以及该语句的相似度权重值，进行加权求和，将加权求和结果作为所述样本目标语句的语义表示。
本申请实施例中，作为一可选实施例，所述信息提取模块，可以具体用于：
依据所述样本目标语句在所述待处理信息中的语句顺序，判断所述样本目标语句的语句顺序是否位于当前的指定应答语句的前一位，其中，选择的指定应答语句为所述待处理信息中的应答方信息包含的一个语句；
若所述样本目标语句的语句顺序位于当前的指定应答语句的前一位，则提取该样本目标语句的语义表示。
本申请实施例中，作为一可选实施例，所述信息提取模块，还可以具体用于：
若所述样本目标语句的语句顺序不位于当前的指定应答语句的前一位，则利用下一次选择的指定应答语句判断所述样本目标语句的语句顺序是否位于当前的指定应答语句的前一位，其中，在选择指定应答语句时，每次选择的指定应答语句与之前选择过的指定应答语句均不相同。
本申请实施例中，作为一可选实施例，所述信息提取模块，还可以具体用于：
若所述样本目标语句在提问方语句中位于最后一位，则提取该样本目标语句的语义表示，其中，所述提问方语句为所述待处理信息中的样本提问方信息包含的语句。
本申请实施例中，作为一可选实施例，所述模型训练子模块，可以具体用于：
针对每一组输入参数，将该组输入参数中的响应样本作为参考样本，将该组输入参数中的训练样本作为待匹配样本，将该组输入参数输入到所述应答概率模型中，以将得出所述待匹配样本与所述参考样本的语义匹配程度值，将得出的所述语义匹配程度值作为该组输入参数对应的语义匹配程度值，其中，所述响应样本为所述正响应样本或者所述负响应样本；
计算所述参考样本与该组输入参数对应的语义匹配程度值的差值，将计算得到的所述差值的绝对值作为该组输入参数对应的语义损失值，其中，在计算所述差值时，将所述正响应样本记为1，将所述负响应样本记为0；
判断该组输入参数对应的语义损失值是否达到所述应答概率模型的最低语义损失值；
若该组输入参数对应的语义损失值达到所述应答概率模型的最低语义损失值，则将当前各样本提问方语句的相似度权重值作为该样本提问方语句对应的应答概率参数，其中，所述样本提问方语句为该组输入参数中的训练样本对应的每一所述第二窗口信息内包含的全部语句。
本申请实施例中，作为一可选实施例，所述模型训练子模块，还可以具体用于：
若该组输入参数对应的语义损失值未达到所述应答概率模型的最低语义损失值，则返回到计算样本目标语句的语义表示的步骤。
作为一可选实施例，所述装置还包括：
获取模块(图中未示出)，用于获取当前的目标提问方信息，其中，当前的所述目标提问方信息为截止到当前获取信息的时间节点，目标提问方所发送的全部信息；
第一滑动选取模块(图中未示出)，用于依据预先设置的第一滑动窗口，对所述目标提问方信息中的语句进行窗口选取，以得到第一窗口信息，其中，在进行窗口选取时，将所述目标提问方信息中的最后一个语句作为所述第一窗口信息内的最后一个语句；
计算模块(图中未示出)，用于针对当前得到的第一窗口信息，依据该第一窗口信息内包含的语句，计算目标提问语句对应的应答概率参数，其中，所述目标提问语句为该第一窗口信息内的最后一个语句；
判断模块(图中未示出)，用于判断所述应答概率参数是否大于预先设置的应答概率阈值；
应答模块(图中未示出)，用于若所述应答概率参数大于所述应答概率阈值，则对所述目标提问语句进行应答。
本申请实施例中，作为一可选实施例，所述应答模块，可以具体用于：
若所述应答概率参数小于或者等于所述应答概率阈值，则在所述目标提问方信息更新之后，获取更新后的目标提问方信息作为当前的目标提问方信息，依据所述第一滑动窗口，对当前的目标提问方信息进行下一次窗口选取。
本申请实施例中，作为一可选实施例，所述计算模块，还具体用于：
针对该第一窗口信息内包含的每一个语句，对该语句与所述目标提问语句进行相似度计算，将相似度计算结果作为该语句对应的相似度值；
利用该第一窗口信息内各语句对应的相似度值，对所述目标提问语句对应的相似度值进行归一化处理，以将归一化处理后的结果作为所述应答概率参数。
实施例三
如图12所示，本申请一实施例提供了一种计算机设备1200，用于执行本申请中的确定应答概率的方法，该设备包括存储器1201、处理器1202以及存储在该存储器1201上并可在该处理器1202上运行的计算机程序，其中，上述处理器1202执行上述计算机程序时，实现上述确定应答概率的方法的步骤。
具体地，上述存储器1201和处理器1202可以是通用的存储器和处理器，这里不做具体限定，当处理器1202运行存储器1201存储的计算机程序时，能够执行上述确定应答概率的方法。
对应于本申请中的确定应答概率的方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述确定应答概率的方法的步骤。
具体地，该存储介质可以是通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述确定应答概率的方法。
在本申请所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以通过软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种确定应答概率的方法，其特征在于，所述方法包括：
获取历史会话信息，所述历史会话信息包括：提问方信息以及应答方信息；
针对每一所述历史会话信息，依据预先设置的切分条件，从该历史会话信息包括的语句之间选择切分点，对该历史会话信息进行切分，得到样本信息，其中，所述样本信息包括：正响应样本、负响应样本和待处理信息，所述待处理信息包括该历史会话信息中位于所述切分点之前的语句信息，所述正响应样本为该历史会话信息中位于所述切分点之后的第一条应答方信息，所述负响应样本为获取的全部历史会话信息中包含的任一所述应答方信息；
将该样本信息作为输入参数，输入到应答概率模型，得到该样本信息的应答概率，其中，所述应答概率为所述待处理信息包含的样本提问方信息对应的应答概率参数；
其中，所述正响应样本用于表征所述样本提问方信息的最佳应答语句，所述负响应样本用于表征与所述样本提问方信息无关联的应答语句，所述应答概率模型根据语义表示分别与正、负响应样本的语义匹配程度，来得到样本信息中各提问方语句对应的应答概率，以深度学习应答时机。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取当前的目标提问方信息，其中，当前的所述目标提问方信息为截止到当前获取信息的时间节点，目标提问方所发送的全部信息；
依据预先设置的第一滑动窗口，对所述目标提问方信息中的语句进行窗口选取，以得到第一窗口信息，其中，在进行窗口选取时，将所述目标提问方信息中的最后一个语句作为所述第一窗口信息内的最后一个语句；
针对当前得到的第一窗口信息，依据该第一窗口信息内包含的语句，计算目标提问语句对应的应答概率参数，其中，所述目标提问语句为该第一窗口信息内的最后一个语句；
判断所述应答概率参数是否大于预先设置的应答概率阈值；
若所述应答概率参数大于所述应答概率阈值，则对所述目标提问语句进行应答。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
若所述应答概率参数小于或者等于所述应答概率阈值，则在所述目标提问方信息更新之后，获取更新后的目标提问方信息作为当前的目标提问方信息，依据所述第一滑动窗口，对当前的目标提问方信息进行下一次窗口选取。
4.根据权利要求2所述的方法，其特征在于，所述依据该第一窗口信息内包含的语句，计算目标提问语句对应的应答概率参数，包括：
针对该第一窗口信息内包含的每一个语句，对该语句与所述目标提问语句进行相似度计算，将相似度计算结果作为该语句对应的相似度值；
利用该第一窗口信息内各语句对应的相似度值，对所述目标提问语句对应的相似度值进行归一化处理，以将归一化处理后的结果作为所述应答概率参数。
5.根据权利要求1所述的方法，其特征在于，所述将该样本信息作为输入参数，输入到应答概率模型，得到该样本信息的应答概率，包括：
获取该样本信息中包含的所述样本提问方信息；
依据预先设置的第二滑动窗口和滑动步长，对所述样本提问方信息中的语句逐句进行滑动选取，以得到第二窗口信息，其中，在进行第一次滑动选取时，将所述样本提问方信息中的第一个语句作为所述第二窗口信息内的最后一个语句，在进行最后一次滑动选取时，将所述样本提问方信息中的最后一个语句作为所述第二窗口信息内的最后一个语句；
针对当前得到的第二窗口信息，依据该第二窗口信息内包含的语句，计算样本目标语句的语义表示，将计算结果作为该第二窗口信息对应的语义表示，其中，所述样本目标语句为该第二窗口信息内的最后一个语句；
针对每一所述第二窗口信息，依据所述样本目标语句在所述待处理信息中的语句顺序，提取目标语义表示，其中，所述目标语义表示为符合语句顺序条件要求的样本目标语句的语义表示；
依据所述待处理信息中的语句顺序，对提取的所述目标语义表示以及应答方信息包含的语句进行排序，以将排序后的结果作为训练样本，其中，所述应答方信息为所述待处理信息中包含的应答方信息，所述目标语义表示的顺序与该目标语义表示对应的样本目标语句在所述待处理信息中的语句顺序相同；
针对每一所述训练样本，将该训练样本与所述正响应样本作为第一组输入参数，将该训练样本与所述负响应样本作为第二组输入参数，第一组输入参数与第二组输入参数交替输入到所述应答概率模型，得到该训练样本的应答概率，其中，该训练样本的应答概率为该训练样本对应的所述样本提问方信息对应的应答概率参数。
6.根据权利要求5所述的方法，其特征在于，所述依据该第二窗口信息内包含的语句，计算样本目标语句的语义表示，包括：
针对该第二窗口信息内包含的每一个语句，对该语句与所述样本目标语句进行相似度计算，将相似度计算结果作为该语句对应的相似度值；
利用该第二窗口信息内各语句对应的相似度值，对该语句对应的相似度值进行归一化处理，将归一化处理后的结果作为该语句的相似度权重值；
依据该第二窗口信息内包含的各语句以及该语句的相似度权重值，进行加权求和，将加权求和结果作为所述样本目标语句的语义表示。
7.根据权利要求5所述的方法，其特征在于，所述依据所述样本目标语句在所述待处理信息中的语句顺序，提取目标语义表示，包括：
依据所述样本目标语句在所述待处理信息中的语句顺序，判断所述样本目标语句的语句顺序是否位于当前的指定应答语句的前一位，其中，选择的指定应答语句为所述待处理信息中的应答方信息包含的一个语句；
若所述样本目标语句的语句顺序位于当前的指定应答语句的前一位，则提取该样本目标语句的语义表示。
8.根据权利要求7所述的方法，其特征在于，所述判断所述样本目标语句的语句顺序是否位于当前的指定应答语句的前一位，还包括：
若所述样本目标语句的语句顺序不位于当前的指定应答语句的前一位，则利用下一次选择的指定应答语句判断所述样本目标语句的语句顺序是否位于当前的指定应答语句的前一位，其中，在选择指定应答语句时，每次选择的指定应答语句与之前选择过的指定应答语句均不相同。
9.根据权利要求5所述的方法，其特征在于，所述依据所述样本目标语句在所述待处理信息中的语句顺序，提取目标语义表示，还包括：
依据所述样本目标语句在所述待处理信息中的语句顺序，若所述样本目标语句在提问方语句中位于最后一位，则提取该样本目标语句的语义表示，其中，所述提问方语句为所述待处理信息中的样本提问方信息包含的语句。
10.根据权利要求6所述的方法，其特征在于，所述第一组输入参数与第二组输入参数交替输入到所述应答概率模型，得到该训练样本的应答概率，包括：
针对每一组输入参数，将该组输入参数中的响应样本作为参考样本，将该组输入参数中的训练样本作为待匹配样本，将该组输入参数输入到所述应答概率模型中，以得出所述待匹配样本与所述参考样本的语义匹配程度值，将得出的所述语义匹配程度值作为该组输入参数对应的语义匹配程度值，其中，所述响应样本为所述正响应样本或者所述负响应样本；
计算所述参考样本与该组输入参数对应的语义匹配程度值的差值，将计算得到的所述差值的绝对值作为该组输入参数对应的语义损失值，其中，在计算所述差值时，将所述正响应样本记为1，将所述负响应样本记为0；
判断该组输入参数对应的语义损失值是否达到所述应答概率模型的最低语义损失值；
若该组输入参数对应的语义损失值达到所述应答概率模型的最低语义损失值，则将当前各样本提问方语句的相似度权重值作为该样本提问方语句对应的应答概率参数，其中，所述样本提问方语句为该组输入参数中的训练样本对应的每一所述第二窗口信息内包含的全部语句。
11.根据权利要求10所述的方法，其特征在于，所述方法还包括：
若该组输入参数对应的语义损失值未达到所述应答概率模型的最低语义损失值，则返回到计算样本目标语句的语义表示的步骤。
12.一种确定应答概率的装置，其特征在于，所述装置包括：
信息获取模块，用于获取历史会话信息，所述历史会话信息包括：提问方信息以及应答方信息；
信息处理模块，用于针对每一所述历史会话信息，依据预先设置的切分条件，从该历史会话信息包括的语句之间选择切分点，对该历史会话信息进行切分，得到样本信息，其中，所述样本信息包括：正响应样本、负响应样本和待处理信息，所述待处理信息包括该历史会话信息中位于所述切分点之前的语句信息，所述正响应样本为该历史会话信息中位于所述切分点之后的第一条应答方信息，所述负响应样本为获取的全部历史会话信息中包含的任一所述应答方信息；
模型训练模块，用于将该样本信息作为输入参数，输入到应答概率模型，得到该样本信息的应答概率，其中，所述应答概率为所述待处理信息包含的样本提问方信息对应的应答概率参数；
其中，所述正响应样本用于表征所述样本提问方信息的最佳应答语句，所述负响应样本用于表征与所述样本提问方信息无关联的应答语句，所述应答概率模型根据语义表示分别与正、负响应样本的语义匹配程度，来得到样本信息中各提问方语句对应的应答概率，以深度学习应答时机。
13.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至11任一所述的确定应答概率的方法的步骤。
14.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至11任一所述的确定应答概率的方法的步骤。
CN202010404542.0A 2020-05-13 2020-05-13 一种确定应答概率的方法及装置 Active CN111597821B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010404542.0A CN111597821B (zh) 2020-05-13 2020-05-13 一种确定应答概率的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010404542.0A CN111597821B (zh) 2020-05-13 2020-05-13 一种确定应答概率的方法及装置

Publications (2)

Publication Number Publication Date
CN111597821A CN111597821A (zh) 2020-08-28
CN111597821B true CN111597821B (zh) 2021-03-19

Family

ID=72185508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010404542.0A Active CN111597821B (zh) 2020-05-13 2020-05-13 一种确定应答概率的方法及装置

Country Status (1)

Country Link
CN (1) CN111597821B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112988992B (zh) * 2021-02-08 2022-04-08 北京嘀嘀无限科技发展有限公司 一种信息交互方法、装置及电子设备
CN113569029A (zh) * 2021-07-28 2021-10-29 北京小米移动软件有限公司 对话应答方法、装置及存储介质
CN116610790B (zh) * 2023-07-18 2023-10-10 阿里健康科技(中国)有限公司 应答数据的获取方法、装置、设备和介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110209768A (zh) * 2019-05-31 2019-09-06 中国联合网络通信集团有限公司 自动问答的问题处理方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7409335B1 (en) * 2001-06-29 2008-08-05 Microsoft Corporation Inferring informational goals and preferred level of detail of answers based on application being employed by the user
CN108509463B (zh) * 2017-02-28 2022-03-29 华为技术有限公司 一种问题的应答方法及装置
CN109543005A (zh) * 2018-10-12 2019-03-29 平安科技（深圳）有限公司 客服机器人对话状态识别方法及装置、设备、存储介质
CN110795531B (zh) * 2019-10-10 2023-01-20 卓尔智联(武汉)研究院有限公司 一种意图识别方法、装置及存储介质
CN111046152B (zh) * 2019-10-12 2023-09-29 平安科技（深圳）有限公司 Faq问答对自动构建方法、装置、计算机设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110209768A (zh) * 2019-05-31 2019-09-06 中国联合网络通信集团有限公司 自动问答的问题处理方法和装置

Also Published As

Publication number Publication date
CN111597821A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN111597821B (zh) 一种确定应答概率的方法及装置
CN111666761B (zh) 细粒度情感分析模型训练方法及装置
CN111143530B (zh) 一种智能答复方法及装置
CN111428017B (zh) 人机交互优化方法以及相关装置
CN112487173A (zh) 人机对话方法、设备和存储介质
CN113505200B (zh) 一种结合文档关键信息的句子级中文事件检测的方法
CN111507573A (zh) 业务员考核方法、系统、设备及存储介质
CN111078856A (zh) 一种群聊对话处理方法、装置及电子设备
CN112036168A (zh) 事件主体识别模型优化方法、装置、设备及可读存储介质
CN105630890A (zh) 基于智能问答系统会话历史的新词发现方法及系统
CN111199149A (zh) 一种对话系统的语句智能澄清方法及系统
CN114416943A (zh) 对话模型的训练方法、装置、电子设备及存储介质
CN113094478A (zh) 表情回复方法、装置、设备及存储介质
CN108509588B (zh) 一种基于大数据的律师评估方法及推荐方法
CN113705164A (zh) 一种文本处理方法、装置、计算机设备以及可读存储介质
CN111708870A (zh) 基于深度神经网络的问答方法、装置及存储介质
CN115048505A (zh) 语料筛选方法和装置、电子设备、计算机可读介质
CN113157993A (zh) 一种基于时序图极化分析的网络水军行为预警模型
CN113688620A (zh) 文章情感分析方法和装置
CN115759113B (zh) 识别对话信息中的句子语义的方法及装置
CN112383593B (zh) 基于线下陪访的智能内容推送方法、装置及计算机设备
CN112966104B (zh) 文本聚类方法、装置、处理设备及存储介质
CN114238625A (zh) 一种基于用户动态图表征不一致性的网络水军行为预警方法
CN111611354B (zh) 人机对话控制方法、装置、服务器及可读存储介质
CN116127010A (zh) 意图识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant