CN110674277A - 交互数据有效性识别方法和装置 - Google Patents
交互数据有效性识别方法和装置 Download PDFInfo
- Publication number
- CN110674277A CN110674277A CN201910934721.2A CN201910934721A CN110674277A CN 110674277 A CN110674277 A CN 110674277A CN 201910934721 A CN201910934721 A CN 201910934721A CN 110674277 A CN110674277 A CN 110674277A
- Authority
- CN
- China
- Prior art keywords
- interactive
- sample data
- data
- interaction
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种交互数据有效性识别方法和装置,其中,方法包括:获取第一有效交互样本数据和无效交互样本数据;根据预设的填补策略补充无效交互样本数据中缺少的交互特征获取第二有效交互样本数据;提取第一有效交互样本数据和第二有效交互样本数据中每个样本数据的n个交互特征;根据所有样本数据对应的n个交互特征生成交互识别模型,以便于根据交互识别模型的识别结果确定交互数据的有效性。由此,基于有效和无效的交互样本训练交互识别模型,实现了对交互数据的有效性的精确识别,提高了人工智能技术的智能化程度,解决了现有技术中,对场景中的所有语音信息响应导致智能化程度不高的技术问题。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种交互数据有效性识别方法和装置。
背景技术
随着人工智能技术的进步,人工智能应用在智能机器人上已经成为一种主流趋势,智能机器人基于采集到的用户语音数据,执行对应的指令。
相关技术中,机器人采用拾音设备采集周围的语音信息,基于采集到的语音信息识别控制指令,然而,拾音设备采集到的语音信息无法对语音信息进行筛选,采集到的语音信息即包含噪音信息,也包含不是对机器人发送的语音信息,因此,导致机器人的误执行,影响人工智能的智能化程度。
发明内容
本发明提出一种交互数据有效性识别方法和装置,以解决现有技术中,对场景中的所有语音信息响应导致智能化程度不高的技术问题。
本发明一方面实施例提出了一种交互数据有效性识别方法,包括以下步骤:获取第一有效交互样本数据和无效交互样本数据,其中,所述有效交互样本数据中包含n个交互特征,所述无效交互样本数据中缺少所述n个交互特征中的至少一个交互特征,其中,n为大于等于1的自然数;根据预设的填补策略补充所述无效交互样本数据中缺少的交互特征获取第二有效交互样本数据;提取所述第一有效交互样本数据和所述第二有效交互样本数据中每个样本数据的所述n个交互特征;根据所有样本数据对应的所述n个交互特征生成交互识别模型,以便于根据所述交互识别模型的识别结果确定交互数据的有效性。
另外,本发明实施例的交互数据有效性识别方法,还包括如下附加的技术特征:
在本发明的一种可能的实现方式中,所述根据所有样本数据对应的所述n个交互特征生成交互识别模型,包括:确定所述所有样本数据中的训练样本数据和验证样本数据;根据所述训练样本数据对应的所述n个交互特征生成训练集;根据所述验证样本数据对应的所述n个交互特征生成验证集;根据所述训练集和所述验证集训练生成所述交互识别模型。
在本发明的一种可能的实现方式中,所述提取所述第一有效交互样本数据和所述第二有效交互样本数据中每个样本数据的所述n个交互特征,包括:获取所述每个样本数据中与所述n个交互特征中每个交互特征对应的多个交互因子;根据所述每个交互特征对应的所有交互因子确定所述每个样本数据对应的所述每个交互特征。
在本发明的一种可能的实现方式中,所述交互特征,包括:交互数据本身特征、包含所述交互数据的多轮对话特征、人脸特征、声源特征中的一种或多种。
本发明另一方面实施例提出了一种交互数据有效性识别方法,包括:获取待识别交互数据;提取所述待识别交互数据中的n个交互特征,其中,n为大于等于1的自然数;将所述n个交互特征输入预设的交互识别模型,获取所述交互识别模型输出的有效性概率;当所述有效性概率大于预设阈值时,确定所述待识别交互数据是有效交互数据。
另外,本发明实施例的交互数据有效性识别方法,还包括如下附加的技术特征:
在本发明的一种可能的实现方式中,所述提取所述待识别交互数据中的所述n个交互特征,包括:若没有提取到所述n个交互特征,则确定所述待识别交互数据在所述n个交互特征中缺少的交互特征;计算与所述待识别交互数据对应的所述缺少的交互特征以获取所述n个交互特征。本发明又一方面实施例提出了一种交互数据有效性识别装置,包括:第一获取模块,用于获取第一有效交互样本数据和无效交互样本数据,其中,所述有效交互样本数据中包含n个交互特征,所述无效交互样本数据中缺少所述n个交互特征中的至少一个交互特征,其中,n为大于等于1的自然数;补充模块,用于根据预设的填补策略补充所述无效交互样本数据中缺少的交互特征获取第二有效交互样本数据;第一提取模块,用于提取所述第一有效交互样本数据和所述第二有效交互样本数据中每个样本数据的所述n个交互特征;模型训练模块,用于根据所有样本数据对应的所述n个交互特征生成交互识别模型,以便于根据所述交互识别模型的识别结果确定交互数据的有效性。
另外,本发明实施例的交互数据有效性识别装置,还包括如下附加的技术特征:
在本发明的一种可能的实现方式中,所述第一提取模块,具体用于:获取所述每个样本数据中与所述n个交互特征中每个交互特征对应的多个交互因子;根据所述每个交互特征对应的所有交互因子确定所述每个样本数据对应的所述每个交互特征。
本发明还一方面实施例提出了一种交互数据有效性识别装置,包括:第二获取模块,用于获取待识别交互数据;第二提取模块,用于提取所述待识别交互数据中的所述n个交互特征;第三获取模块,用于将所述n个交互特征输入所述交互识别模型,获取所述交互识别模型输出的有效性概率;确定模块,用于当所述有效性概率大于预设阈值时,确定所述待识别交互数据是有效交互数据。
另外,本发明实施例的交互数据有效性识别装置,还包括如下附加的技术特征:
在本发明的一种可能的实现方式中,所述模型训练模块,具体用于:确定所述所有样本数据中的训练样本数据和验证样本数据;根据所述训练样本数据对应的所述n个交互特征生成训练集;根据所述验证样本数据对应的所述n个交互特征生成验证集;根据所述训练集和所述验证集训练生成所述交互识别模型。
本发明再一方面实施例提出了一种电子设备,包括处理器和存储器;其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如上述实施例所述的交互数据有效性识别方法。
本发明还又一方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述实施例所述的交互数据有效性识别方法。
本发明实施例提供的技术方案,至少包括如下技术效果:
获取第一有效交互样本数据和无效交互样本数据,其中,有效交互样本数据中包含n个交互特征,无效交互样本数据中缺少n个交互特征中的至少一个交互特征,根据预设的填补策略补充无效交互样本数据中缺少的交互特征获取第二有效交互样本数据,进而,提取第一有效交互样本数据和第二有效交互样本数据中每个样本数据的n个交互特征,最后,根据所有样本数据对应的n个交互特征生成交互识别模型,以便于根据交互识别模型的识别结果确定交互数据的有效性。由此,基于有效和无效的交互样本训练交互识别模型,实现了对交互数据的有效性的精确识别,提高了人工智能技术的智能化程度,解决了现有技术中,对场景中的所有语音信息响应导致智能化程度不高的技术问题。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例所提供的一种交互数据有效性识别方法的流程示意图;
图2为根据本发明一个实施例的交互特征确定流程图;
图3为根据本发明另一个实施例的交互特征确定流程图;
图4是根据本发明一个实施例的交互识别模型的训练过程示意图;
图5是根据本发明另一个实施例的交互识别模型的训练过程示意图;
图6是根据本发明又一个实施例的交互识别模型的训练过程示意图;
图7是根据本发明还一个实施例的交互识别模型的训练过程示意图;
图8为本发明实施例提供的另一种交互数据有效性识别方法的流程图;
图9为本发明实施例提供的又一种交互数据有效性识别方法的流程图;
图10为本发明实施例提供的一种交互数据有效性识别装置的结构示意图;
图11为本发明实施例提供的另一种交互数据有效性识别装置的结构示意图;以及
图12是根据本发明一个实施例的电子设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的交互数据有效性识别方法和装置。本发明实施例的交互数据有效性识别方法应用在基于人工智能技术的产品上,该产品可以基于与用户之间的交互数据实现指令的执行。下述实施例中,为了便于说明以该产品为机器人为例。
针对上述背景技术中提到的,现有技术中,用户在与机器人等人工智能产品的交互过程中,机器人无法区分有效的语音数据从而导致智能化程度不高的技术问题,本发明提出了一种对语音数据的有效性进行识别的技术方案。
具体而言,图1为本发明实施例所提供的一种交互数据有效性识别方法的流程示意图。
如图1所示,该交互数据有效性识别方法包括以下步骤:
步骤101,获取第一有效交互样本数据和无效交互样本数据,其中,有效交互样本数据中包含n个交互特征,无效交互样本数据中缺少n个交互特征中的至少一个交互特征,其中,n为大于等于1的自然数。
具体的,为了提高后续识别交互数据有效性的鲁棒性,本发明的实施例中,基于第一有效交互样本数据和无效交互样本数据来参与训练,其中,有效样本数据包含n个交互特征,无效交互样本数据中缺少n个交互特征中的至少一个交互特征。
作为一种可能的示例,n个交互特征多个交互特征,从而以便于从多个维度定义交互样本数据,便于后续识别交互数据的有效性的准确性,其中,多个交互特征包括但不限于交互数据本身特征、包含交互数据的多轮对话特征、人脸特征、声源特征中的一种或多种。
在本实施例中,可以理解,预先获取大量的交互样本数据,提取多个样本数据的n个交互特征,基于提取交互特征的情况确定出第一有效交互样本数据和无效交互样本数据,其中,优选的,第一有效交互样本数据和无效交互样本数据的数量均为相对较大的值。其中,无效交互样本数据中缺少的交互特征可以互相相同,比如均缺少声源特征,也可以不同,其中,当所有的无效交互样本数据缺少的交互特征相同时,可以使得后续训练出的模型能够获取缺少对应的交互特征时的交互数据的有效性识别结果。
步骤102,根据预设的填补策略补充无效交互样本数据中缺少的交互特征获取第二有效交互样本数据。
具体的,在获取到无效交互样本数据后,根据预设的填补策略补充无效交互样本数据中缺少的交互特征获取第二有效交互样本数据,由此,基于这种填补策略后的第二有效交互样本数据参与训练,提高而训练的鲁棒性,使得在后续使用时,即使待识别的交互数据缺少部分交互特征,也可以精确得到对应的有效性识别结果。
需要说明的是,在不同的应用场景下,根据缺少的交互特征的不同,填补策略可不同:
作为一种可能的实现方式,可以基于获取到的交互特征推导对应的缺少的交互特征,举例而言,当缺少的交互特征为声源特征时,可以基于人脸特来估算声源特征填补。这是由于人脸的与机器人界面的角度和人脸的距离等可以反映出人脸的声源角度,通常,面向机器人界面且距离小于一定值的用户为当前发送交互数据的用户,根据该用户所在的范围可以估算出声源特征。
作为另一种可能的实现方式,预先训练反应交互特征之间对应关系的神经网络模型,基于输入的交互特征可以输出缺少的交互特征。
步骤103,提取第一有效交互样本数据和第二有效交互样本数据中每个样本数据的n个交互特征。
作为一种可能的实现方式,当交互特征包括交互数据本身特征、包含交互数据的多轮对话特征、人脸特征、声源特征时,如图2所示,提取第一有效交互样本数据和第二有效交互样本数据(图中统称为交互样本数据)的多组交互因子,其中,多组交互因子中的每组交互因子对应于一个交互特征,每组交互因子可以为多个,由此,充分挖掘交互样本数据的特点,寻找可能体现出有效交互样本数据的交互特征。
举例而言,如图3所示,交互数据本身特征的交互因子包括“用户是否回答机器人的对话”、“对话时长”、“对话的句种(疑问句、祈使句、陈述句)”、“对话长度(比如字符长度)”等,包含交互数据的多轮对话特征的交互因子包括“唤醒时间段”、“唤醒时间段内其他对话的数目”等,人脸特征的交互因子根据机器人采集的人脸图像,结合拾音设备采集的声源的交互,匹配出对话的用户,然后提取出人脸特征,该交互因子包括人脸与机器人界面的角度、人脸与机器人的距离等,声源特征根据麦克等拾音设备确定的声源来确定,该交互因子包括声源角度、与邻近声源的方差等。
在获取多组交互因子后,可以基于多组交互因子的特征向量确定交互特征,也可以基于每组交互因子中每个交互因子的归一化值确定交互特征。当然,在计算交互特征时,也可以基于不同的交互因子对交互特征的影响程度设置不同的权重。
步骤104,根据所有样本数据对应的n个交互特征生成交互识别模型,以便于根据交互识别模型的识别结果确定交互数据的有效性。
具体的,根据所有样本数据对应的n个交互特征生成交互识别模型,即根据第一有效交互样本数据和第二交互样本数据的交互特征训练生成交互识别模型,以便于根据交互识别模型的识别结果确定交互数据的有效性,其中,训练完毕的交互数据识别模型可以基于输入的交互数据输出该交互数据的有效性,该有效性结果可以是有效的概率值,也可以是有效的文字结果等。
在实际训练时,为了提高训练的交互识别模型的有效性,可以将多个训练样本数据划分为验证样本数据和训练样本数据来训练。
作为一种可能的实现方式,如图4所示,确定所有样本数据中的训练样本数据和验证样本数据,根据训练样本数据对应的n个交互特征生成训练集,根据验证样本数据对应的n个交互特征生成验证集;根据训练集和验证集训练生成交互识别模型。
作为一种可能的实现方式,可以基于训练集中包含的交互特征训练生成初始交互识别模型,进而,根据验证集合中的一个或者多个交互特征输入至该初始交互识别模型,基于识别结果确定是否与验证集合中对应交互特征对应的交互样本数据的标注结果一致,若是不一致,则继续训练,若一致则直接将对应的初始交互识别模型作为最后输出的交互识别模型。
作为一种可能的实现方式,如图5所示,确定第一有效交互样本数据和第二有效交互样本数据中的多个训练样本数据和多个验证样本数据,可以平均将第一有效交互样本数据和第二有效交互样本数据划分为多个训练样本数据和多个验证样本数据,也可以按照较高的比例划分出多个交互样本数据作为多个训练样本数据,以保证训练的强度,并将剩余的交互样本数据作为多个验证样本数据。当然,为了提高验证的精确性,也可以预先提取每个交互样本数据的样本特征,将样本特征最符合有效性特征的多个交互样本数据作为多个验证样本数据。该样本特征可以为交互特征的有效性值等。
在训练过程中,作为一种可能的实现方式,可以如图6所示,根据多个训练样本数据中的部分训练样本数据对应的所有的交互特征(图中仅仅示出了提取部分训练样本数据训练的实施例),训练生成初始交互识别模型,进而,将多个验证样本数据中的至少部分验证样本数据(图中仅仅示出了提取部分验证样本数据验证的实施例)对应的交互特征,输入初始交互识别模型获取识别结果,将识别结果与至少部分验证样本数据对应的标注识别结果匹配,判断匹配度是否大于预设阈值,比如,有效性识别的概率是否一致等,则进入下一轮训练过程,若匹配度小于等于预设阈值,则在多个训练样本数据中的剩余部分训练样本数据中确定至少部分训练样本数据,根据至少部分训练样本数据对应的交互特征训练初始交互识别模型,直至匹配度大于预设阈值则将训练生成的初始交互识别模型作为交互识别模型。其中,后续选取训练样本数据中的剩余部分训练样本数据时,为了提高训练效率,每次选取的训练样本数据量相对较少,因而,保证后续多轮训练也可以在剩余部分训练样本数据中寻找到相应数量的交互样本数据,当然,在实际执行过程中,后续选择的训练样本数据也可以和前面训练过程中选择的训练样本数据具有重复部分,在此不作限制。
若匹配度大于等于预设阈值,则将初始交互识别模型作为训练完成的交互识别模型,结束对交互识别模型的训练。由此,不用一开始就用所有的训练样本数据训练模型,提高了训练效率,避免了交互识别模型训练时的过拟合,其中,图6中仅仅示出了两轮训练过程。
在上述实施例中,在使用验证样本数据验证时,可以根据参与验证的交互样本数据的大部分的匹配度结果,确定交互识别模型的程序,而不用全部的参与验证的交互样本数据的大部分的匹配度都大于预设阈值。
作为另一种可能的实现方式,如图7所示,在训练过程中,根据多个训练样本数据的交互特征对初始交互识别模型进行多轮训练,并在对初始交互识别模型进行多轮训练时,将多个验证样本数据的交互特征输入每一轮训练生成的候选交互识别模型,进而,获取每一轮训练生成的候选交互识别模型的识别结果与多个验证样本数据对应的标注识别结果的匹配度,其中,识别结果和标注识别结果可以是具体的识别概率等,从第二轮训练开始,将每一轮训练生成的候选交互识别模型对应的匹配度与上一轮训练生成的候选交互识别模型对应的匹配度比较,当每一轮训练生成的候选交互识别模型对应的匹配度小于上一轮训练生成的候选交互识别模型对应的匹配度时,表明对交互识别模型的训练发生了过拟合,从而,停止对交互识别模型的训练,将上一轮训练生成的候选交互识别模型确定为交互识别模型。
在上述训练过程中,为了进一步防止过拟合,还可以使用贝叶斯优化进行交互识别模型的超参数调整。
在训练完成交互识别模型后,该识别模型的识别结果在不同的验证场景中的准确率较高,证明了本发明中交互识别模型的实用性,本方案可有效提取出用户与机器之间的有效交互数据,并且保证了一定的准确率,更为关键的是,本方案提取出的有效交互数据可描述总体有效数据分布,原因是交互特征提取过程中,本方案仅从用户行为和对话本身出发,数据均为最原始数据,没有任何人工干预和运营。
对服务机器人来说,获得这样一份有效数据益处无穷,举例而言,不但可提高有效交互率,基于机器人的指令执行可以反应机器人实际被使用的比例;并且从有效交互的对话中,可以了解到用户对机器人提问的问题集中在哪里,对商场而言,可以知道最关心商场什么问题。
具体而言,在训练完成交互识别模型后,如图8所示,机器人可以根据拾音设备等获取待识别交互数据,提取待识别交互数据中的n个交互特征,将n个交互特征输入交互识别模型,获取交互识别模型输出的有效性概率,当有效性概率大于预设阈值时,确定待识别交互数据是有效交互数据。从而,基于该有效交互数据进行关键词识别、语义识别等,确定该有效技术数据对应的控制指令,以便于响应该控制指令。
在本实施例中,若没有提取到n个交互特征,比如没有提取完整n个交互特征,则认为待识别交互数据缺少交互特征,则确定待识别交互数据在n个交互特征中缺少的交互特征,计算与待识别交互数据对应的缺少的交互特征以获取n个交互特征。具体的计算缺少的交互特征的方式也可以通过上述填补策略计算。
基于上述实施例,本发明交互数据有效性识别方法中,运行机器学习方法解决了用户与机器人之间的有效交互数据的识别问题,多方位的利用了有效交互数据的交互因子构造交互特征,提高了有效交互数据的识别准确性。
综上,本发明实施例的交互数据有效性识别方法,获取第一有效交互样本数据和无效交互样本数据,其中,有效交互样本数据中包含n个交互特征,无效交互样本数据中缺少n个交互特征中的至少一个交互特征,根据预设的填补策略补充无效交互样本数据中缺少的交互特征获取第二有效交互样本数据,进而,提取第一有效交互样本数据和第二有效交互样本数据中每个样本数据的n个交互特征,最后,根据所有样本数据对应的n个交互特征生成交互识别模型,以便于根据交互识别模型的识别结果确定交互数据的有效性。由此,基于有效和无效的交互样本训练交互识别模型,实现了对交互数据的有效性的精确识别,提高了人工智能技术的智能化程度,解决了现有技术中,对场景中的所有语音信息响应导致智能化程度不高的技术问题。
为了实现上述实施例,本发明还提出一种交互数据有效性识别方法。
图9是根据本发明另一个实施例的交互数据有效性识别方法的流程图,如图9所示,该方法包括:
步骤201,获取待识别交互数据。
其中,机器人可以根据拾音设备等获取待识别交互数据。
步骤202,提取待识别交互数据中的n个交互特征,其中,n为大于等于1的自然数。
n个交互特征可以为交互数据本身特征、包含所述交互数据的多轮对话特征、人脸特征、声源特征中的一种或多种。
步骤203,将n个交互特征输入预设的交互识别模型,获取交互识别模型输出的有效性概率。
其中,该预设的交互识别模型可以是通过上述图1-图8实施例描述的训练过程训练得到,也可以是使用其他方式预先训练得到的。
步骤204,当有效性概率大于预设阈值时,确定待识别交互数据是有效交互数据。
具体的,将n个交互特征输入交互识别模型,获取交互识别模型输出的有效性概率,当有效性概率大于预设阈值时,确定待识别交互数据是有效交互数据。从而,基于该有效交互数据进行关键词识别、语义识别等,确定该有效技术数据对应的控制指令,以便于响应该控制指令。
在本实施例中,若没有提取到n个交互特征,比如没有提取完整n个交互特征,则认为待识别交互数据缺少交互特征,则确定待识别交互数据在n个交互特征中缺少的交互特征,计算与待识别交互数据对应的缺少的交互特征以获取n个交互特征。具体的计算缺少的交互特征的方式也可以通过填补策略计算。
综上,本发明交互数据有效性识别方法,运行机器学习方法解决了用户与机器人之间的有效交互数据的识别问题,多方位的利用了有效交互数据的交互因子构造交互特征,提高了有效交互数据的识别准确性。
为了实现上述实施例,本发明还提出一种交互数据有效性识别装置。
图10为本发明实施例提供的一种交互数据有效性识别装置的结构示意图。
如图10所示,该交互数据有效性识别装置包括:第一获取模块100、补充模块200、第一提取模块300和模型训练模块400。
其中,第一获取模块100,用于获取第一有效交互样本数据和无效交互样本数据,其中,有效交互样本数据中包含n个交互特征,无效交互样本数据中缺少n个交互特征中的至少一个交互特征,其中,n为大于等于1的自然数。
补充模块200,用于根据预设的填补策略补充无效交互样本数据中缺少的交互特征获取第二有效交互样本数据。
第一提取模块300,用于提取第一有效交互样本数据和第二有效交互样本数据中每个样本数据的n个交互特征。
在本发明的一个实施例中,第一提取模块300具体用于:
获取每个样本数据中与n个交互特征中每个交互特征对应的多个交互因子。
根据每个交互特征对应的所有交互因子确定每个样本数据对应的每个交互特征。
模型训练模块400,用于根据所有样本数据对应的n个交互特征生成交互识别模型,以便于根据交互识别模型的识别结果确定交互数据的有效性。
需要说明的是,前述对交互数据有效性识别方法实施例的解释说明也适用于该实施例的交互数据有效性识别装置,此处不再赘述。
综上,本发明实施例的交互数据有效性识别装置,获取第一有效交互样本数据和无效交互样本数据,其中,有效交互样本数据中包含n个交互特征,无效交互样本数据中缺少n个交互特征中的至少一个交互特征,根据预设的填补策略补充无效交互样本数据中缺少的交互特征获取第二有效交互样本数据,进而,提取第一有效交互样本数据和第二有效交互样本数据中每个样本数据的n个交互特征,最后,根据所有样本数据对应的n个交互特征生成交互识别模型,以便于根据交互识别模型的识别结果确定交互数据的有效性。由此,基于有效和无效的交互样本训练交互识别模型,实现了对交互数据的有效性的精确识别,提高了人工智能技术的智能化程度,解决了现有技术中,对场景中的所有语音信息响应导致智能化程度不高的技术问题。
为了实现上述实施例,本发明还提出了一种交互数据的有效性识别装置。
在本发明实施例的一种可能的实现方式中,如图11所示,该装置包括:第二获取模块500、第二提取模块600、第三获取模块700和确定模块800,其中,
第二获取模块500,用于获取待识别交互数据。
第二提取模块600,用于提取待识别交互数据中的n个交互特征。
第三获取模块700,用于将n个交互特征输入预设的交互识别模型,获取交互识别模型输出的有效性概率。
其中,该预设的交互识别模型可以是通过上述图1-图8实施例描述的训练过程训练得到,也可以是使用其他方式预先训练得到的。
确定模块800,用于当有效性概率大于预设阈值时,确定待识别交互数据是有效交互数据。
在本发明的一个实施例中,模型训练模块400,具体用于:确定所有样本数据中的训练样本数据和验证样本数据。根据训练样本数据对应的n个交互特征生成训练集,根据验证样本数据对应的n个交互特征生成验证集,根据训练集和验证集训练生成交互识别模型。
综上,本发明交互数据有效性识别装置,运行机器学习方法解决了用户与机器人之间的有效交互数据的识别问题,多方位的利用了有效交互数据的交互因子构造交互特征,提高了有效交互数据的识别准确性。
为了实现上述实施例,本发明实施例还提出一种电子设备,包括处理器和存储器;
其中,处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于实现如上述实施例所描述的交互数据有效性识别方法。
图12示出了适于用来实现本发明实施方式的示例性电子设备的框图。图12显示的电子设备12仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图12所示,电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture;以下简称:ISA)总线,微通道体系结构(Micro Channel Architecture;以下简称:MAC)总线,增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation;以下简称:VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection;以下简称:PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory;以下简称:RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图12未显示,通常称为“硬盘驱动器”)。尽管图12中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如:光盘只读存储器(Compact Disc Read OnlyMemory;以下简称:CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory;以下简称:DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多数量据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该电子设备12交互的设备通信,和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network;以下简称:LAN),广域网(Wide Area Network;以下简称:WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与电子设备12的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现前述实施例中提及的方法。
为了实现上述实施例,本发明实施例还提出一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述实施例所描述的交互数据有效性识别方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种交互数据有效性识别方法,其特征在于,包括以下步骤:
获取第一有效交互样本数据和无效交互样本数据,其中,所述有效交互样本数据中包含n个交互特征,所述无效交互样本数据中缺少所述n个交互特征中的至少一个交互特征,其中,n为大于等于1的自然数;
根据预设的填补策略补充所述无效交互样本数据中缺少的交互特征获取第二有效交互样本数据;
提取所述第一有效交互样本数据和所述第二有效交互样本数据中每个样本数据的所述n个交互特征;
根据所有样本数据对应的所述n个交互特征生成交互识别模型。
2.如权利要求1所述的方法,其特征在于,所述根据所有样本数据对应的所述n个交互特征生成交互识别模型,包括:
确定所述所有样本数据中的训练样本数据和验证样本数据;
根据所述训练样本数据对应的所述n个交互特征生成训练集;
根据所述验证样本数据对应的所述n个交互特征生成验证集;
根据所述训练集和所述验证集训练生成所述交互识别模型。
3.如权利要求1所述的方法,其特征在于,所述提取所述第一有效交互样本数据和所述第二有效交互样本数据中每个样本数据的所述n个交互特征,包括:
获取所述每个样本数据中与所述n个交互特征中每个交互特征对应的多个交互因子;
根据所述每个交互特征对应的所有交互因子确定所述每个样本数据对应的所述每个交互特征。
4.如权利要求1-3任一所述的方法,其特征在于,所述交互特征,包括:
交互数据本身特征、包含所述交互数据的多轮对话特征、人脸特征、声源特征中的一种或多种。
5.一种交互数据有效性识别方法,其特征在于,包括以下步骤:
获取待识别交互数据;
提取所述待识别交互数据中的n个交互特征,其中,n为大于等于1的自然数;
将n个交互特征输入预设的交互识别模型,获取所述交互识别模型输出的有效性概率;
当所述有效性概率大于预设阈值时,确定所述待识别交互数据是有效交互数据。
6.如权利要求5所述的方法,其特征在于,所述提取所述待识别交互数据中的所述n个交互特征,包括:
若没有提取到所述n个交互特征,则确定所述待识别交互数据在所述n个交互特征中缺少的交互特征;
计算与所述待识别交互数据对应的所述缺少的交互特征以获取所述n个交互特征。
7.一种交互数据有效性识别装置,其特征在于,包括:
第一获取模块,用于获取第一有效交互样本数据和无效交互样本数据,其中,所述有效交互样本数据中包含n个交互特征,所述无效交互样本数据中缺少所述n个交互特征中的至少一个交互特征,其中,n为大于等于1的自然数;
补充模块,用于根据预设的填补策略补充所述无效交互样本数据中缺少的交互特征获取第二有效交互样本数据;
第一提取模块,用于提取所述第一有效交互样本数据和所述第二有效交互样本数据中每个样本数据的所述n个交互特征;
模型训练模块,用于根据所有样本数据对应的所述n个交互特征生成交互识别模型。
8.一种交互数据有效性识别装置,其特征在于,包括:
第二获取模块,用于获取待识别交互数据;
第二提取模块,用于提取所述待识别交互数据中的n个交互特征,其中,n为大于等于1的自然数;
第三获取模块,用于将所述n个交互特征输入预设的交互识别模型,获取所述交互识别模型输出的有效性概率;
确定模块,用于当所述有效性概率大于预设阈值时,确定所述待识别交互数据是有效交互数据。
9.一种电子设备,其特征在于,包括处理器和存储器;
其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如权利要求1-4中任一,或者,如权利要求5或6所述的交互数据有效性识别方法。
10.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要1-4中任一,或者,如权利要求5或6所述的交互数据有效性识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910934721.2A CN110674277A (zh) | 2019-09-29 | 2019-09-29 | 交互数据有效性识别方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910934721.2A CN110674277A (zh) | 2019-09-29 | 2019-09-29 | 交互数据有效性识别方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110674277A true CN110674277A (zh) | 2020-01-10 |
Family
ID=69080125
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910934721.2A Pending CN110674277A (zh) | 2019-09-29 | 2019-09-29 | 交互数据有效性识别方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110674277A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150269933A1 (en) * | 2014-03-24 | 2015-09-24 | Microsoft Corporation | Mixed speech recognition |
CN108320738A (zh) * | 2017-12-18 | 2018-07-24 | 上海科大讯飞信息科技有限公司 | 语音数据处理方法及装置、存储介质、电子设备 |
CN108646920A (zh) * | 2018-05-16 | 2018-10-12 | Oppo广东移动通信有限公司 | 识别交互方法、装置、存储介质及终端设备 |
CN108765315A (zh) * | 2018-05-04 | 2018-11-06 | Oppo广东移动通信有限公司 | 图像补全方法、装置、计算机设备及存储介质 |
CN109063433A (zh) * | 2018-07-09 | 2018-12-21 | 中国联合网络通信集团有限公司 | 虚假用户的识别方法、装置及可读存储介质 |
CN109979437A (zh) * | 2019-03-01 | 2019-07-05 | 百度在线网络技术(北京)有限公司 | 语音识别方法、装置、设备和存储介质 |
-
2019
- 2019-09-29 CN CN201910934721.2A patent/CN110674277A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150269933A1 (en) * | 2014-03-24 | 2015-09-24 | Microsoft Corporation | Mixed speech recognition |
CN108320738A (zh) * | 2017-12-18 | 2018-07-24 | 上海科大讯飞信息科技有限公司 | 语音数据处理方法及装置、存储介质、电子设备 |
CN108765315A (zh) * | 2018-05-04 | 2018-11-06 | Oppo广东移动通信有限公司 | 图像补全方法、装置、计算机设备及存储介质 |
CN108646920A (zh) * | 2018-05-16 | 2018-10-12 | Oppo广东移动通信有限公司 | 识别交互方法、装置、存储介质及终端设备 |
CN109063433A (zh) * | 2018-07-09 | 2018-12-21 | 中国联合网络通信集团有限公司 | 虚假用户的识别方法、装置及可读存储介质 |
CN109979437A (zh) * | 2019-03-01 | 2019-07-05 | 百度在线网络技术(北京)有限公司 | 语音识别方法、装置、设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3655947B1 (en) | Speaker diarization using speaker embedding(s) and trained generative model | |
CN107818798B (zh) | 客服服务质量评价方法、装置、设备及存储介质 | |
CN106683680B (zh) | 说话人识别方法及装置、计算机设备及计算机可读介质 | |
CN107731228B (zh) | 英文语音信息的文本转换方法和装置 | |
CN109034069B (zh) | 用于生成信息的方法和装置 | |
WO2019099198A1 (en) | Partitioning videos | |
EP3619708B1 (en) | Speaker diarization using an end-to-end model | |
CN109785846B (zh) | 单声道的语音数据的角色识别方法及装置 | |
CN109616101B (zh) | 声学模型训练方法、装置、计算机设备和可读存储介质 | |
CN111428448A (zh) | 文本生成方法、装置、计算机设备及可读存储介质 | |
CN112232276B (zh) | 一种基于语音识别和图像识别的情绪检测方法和装置 | |
CN109670559A (zh) | 手写汉字的识别方法、装置、设备和存储介质 | |
CN110909889B (zh) | 一种基于特征分布的训练集生成、模型训练方法及装置 | |
CN110688471B (zh) | 训练样本获取方法、装置及设备 | |
CN114639152A (zh) | 基于人脸识别的多模态语音交互方法、装置、设备及介质 | |
CN117152308B (zh) | 一种虚拟人动作表情优化方法与系统 | |
CN113361396A (zh) | 多模态的知识蒸馏方法及系统 | |
CN116680385A (zh) | 基于人工智能的对话问答方法、装置、计算机设备及介质 | |
CN110647622A (zh) | 交互数据有效性识别方法和装置 | |
CN110674277A (zh) | 交互数据有效性识别方法和装置 | |
CN114510617A (zh) | 在线课程学习行为确定方法及装置 | |
US20220383874A1 (en) | Documentation system based on dynamic semantic templates | |
CN108710697B (zh) | 用于生成信息的方法和装置 | |
CN111027667B (zh) | 意图类别的识别方法和装置 | |
CN116153312A (zh) | 利用语音识别的在线笔试方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |