CN113204973A - 答非所问识别模型的训练方法、装置、设备和存储介质 - Google Patents
答非所问识别模型的训练方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN113204973A CN113204973A CN202110487439.1A CN202110487439A CN113204973A CN 113204973 A CN113204973 A CN 113204973A CN 202110487439 A CN202110487439 A CN 202110487439A CN 113204973 A CN113204973 A CN 113204973A
- Authority
- CN
- China
- Prior art keywords
- training
- semantic vector
- training sample
- semantic
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 247
- 238000000034 method Methods 0.000 title claims abstract description 60
- 239000013598 vector Substances 0.000 claims abstract description 277
- 230000015654 memory Effects 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 11
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000012795 verification Methods 0.000 description 7
- 238000004140 cleaning Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Machine Translation (AREA)
Abstract
本申请涉及人工智能领域,具体公开了一种答非所问识别模型的训练方法、装置、设备和存储介质,其中,训练方法包括:获取训练样本,所述训练样本包括问句和答句;对所述训练样本中的问句进行语义向量编码,得到所述训练样本的第一语义向量;对所述训练样本中的答句进行语义向量编码,得到所述训练样本的第二语义向量;获取所述第一语义向量与所述第二语义向量的差,得到第三语义向量;将所述训练样本的第一语义向量、第二语义向量和第三语义向量进行拼接,得到所述训练样本的第四语义向量;将所述训练样本的第四语义向量输入初始识别模型中进行训练,得到答非所问识别模型。
Description
技术领域
本发明涉及人工智能技术领域,具体涉及一种答非所问识别模型的训练方法、装置、设备和存储介质。
背景技术
目前,金融欺诈风险不断扩大,反欺诈形势严峻。对于新型的欺诈手段,传统反欺诈手段维度单一、效率低下、范围受限,难以应对。对此,通过对历史数据的分析,发现客户是否正确回答坐席的问题,以及正确回答的占比,和该客户是否是一个风险欺诈用户的可能性息息相关。因此,可以通过分析客户与坐席的对话,初步预测该客户是否是一个风险欺诈用户的可能性。
但是,目前的答非所问分析大多是基于实体和意图的匹配,即,分别确定问句和答句的实体特征和意图特征,继而,通过分析问句和答句的实体特征和意图特征的匹配度,确定问句和答句是否属于答非所问。这种分析方式只运用了句子的实体特征和意图特征,识别的准确率并不高。
发明内容
为了解决现有技术中存在的上述问题,本申请实施方式提供了一种答非所问识别模型的训练方法、装置、电子设备和存储介质,能够极大的提升答非所问识别的准确率。
第一方面,本申请的实施方式提供了一种答非所问识别模型的训练方法,包括:
获取训练样本,训练样本包括问句和答句;
对训练样本中的问句进行语义向量编码,得到训练样本的第一语义向量;
对训练样本中的答句进行语义向量编码,得到训练样本的第二语义向量;
获取第一语义向量与第二语义向量的差,得到第三语义向量;
将训练样本的第一语义向量、第二语义向量和第三语义向量进行拼接,得到训练样本的第四语义向量;
将训练样本的第四语义向量输入初始识别模型中进行训练,得到答非所问识别模型。
第二方面,本申请的实施方式提供了一种答非所问识别模型的训练装置,包括:
样本获取模块,用于获取训练样本,训练样本包括问句和答句;
样本处理模块,用于对训练样本中的问句进行语义向量编码,得到训练样本的第一语义向量,对训练样本中的答句进行语义向量编码,得到训练样本的第二语义向量,获取第一语义向量与第二语义向量的差,得到第三语义向量,以及将训练样本的第一语义向量、第二语义向量和第三语义向量进行拼接,得到训练样本的第四语义向量;
训练模块,用于将训练样本的第四语义向量输入初始识别模型中进行训练,得到答非所问识别模型。
第三方面,本申请实施方式提供一种电子设备,包括:处理器,处理器与存储器相连,存储器用于存储计算机程序,处理器用于执行存储器中存储的计算机程序,以使得电子设备执行如第一方面的方法。
第四方面,本申请实施方式提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序使得计算机执行如第一方面的方法。
第五方面,本申请实施方式提供一种计算机程序产品,计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,计算机可操作来使计算机执行如第一方面的方法。
实施本申请实施方式,具有如下有益效果:
在本申请实施方式中,首先,通过对训练样本中的问句和答句分别进行语义向量编码,得到对应于训练样本中问句的第一语义向量和对应于训练样本中答句的第二语义向量。然后,使第一语义向量减去第二语义向量,得到第三语义向量,使得问句与答句在语义向量层面产生交互,再将第一语义向量、第二语义向量和第三语义向量进行拼接,得到训练样本的第四语义向量。最后,基于第四语义向量对初始识别模型进行训练,得到最终的答非所问识别模型。由此,在训练过程中,增加了问句与答句在句子层面语义向量之间的交互信息,即,第三语义向量,使得问句的特征、答句的特征、以及问句与答句在句子层面语义向量之间的交互信息均被充分利用,提高了答非所问识别模型对问句与答句之间匹配的准确率。
附图说明
为了更清楚地说明本申请实施方式中的技术方案,下面将对实施方式描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施方式提供的一种答非所问识别模型的训练装置的硬件结构示意图;
图2为本申请实施方式提供的一种答非所问识别模型的训练方法的流程示意图;
图3为本申请实施方式提供的一种对训练样本中的问句进行语义向量编码的方法的流程示意图;
图4为本申请实施方式提供的一种将各个字符的字向量按照对应的字符在原句中的位置进行纵向拼接的示意图;
图5为本申请实施方式提供的另一种对训练样本中的问句进行语义向量编码的方法的流程示意图;
图6为本申请实施方式提供的再一种对训练样本中的问句进行语义向量编码的方法的流程示意图;
图7为本申请实施方式提供的一种用每个字符的字向量中的最大元素替换训练样本中的问句中的每个字符的示意图;
图8为本申请实施方式提供的一种答非所问识别模型的训练装置的功能模块组成框图;
图9为本申请实施方式提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施方式中的附图,对本申请实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式是本申请一部分实施方式,而不是全部的实施方式。基于本申请中的实施方式,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施方式”意味着,结合实施方式描述的特定特征、结果或特性可以包含在本申请的至少一个实施方式中。在说明书中的各个位置出现该短语并不一定均是指相同的实施方式,也不是与其它实施方式互斥的独立的或备选的实施方式。本领域技术人员显式地和隐式地理解的是,本文所描述的实施方式可以与其它实施方式相结合。
参阅图1,图1为本申请实施方式提供的一种答非所问识别模型的训练装置的硬件结构示意图。该答非所问识别模型的训练装置100包括至少一个处理器101,通信线路102,存储器103以及至少一个通信接口104。
在本实施方式中,处理器101,可以是一个通用中央处理器(central processingunit,CPU),微处理器,特定应用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制本申请方案程序执行的集成电路。
通信线路102,可以包括一通路,在上述组件之间传送信息。
通信接口104,可以是任何收发器一类的装置(如天线等),用于与其他设备或通信网络通信,例如以太网,RAN,无线局域网(wireless local area networks,WLAN)等。
存储器103,可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory,EEPROM)、只读光盘(compactdisc read-only memory,CD-ROM) 或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
在本实施方式中,存储器103可以独立存在,通过通信线路102与处理器 101相连接。存储器103也可以和处理器101集成在一起。本申请实施方式提供的存储器103通常可以具有非易失性。其中,存储器103用于存储执行本申请方案的计算机执行指令,并由处理器101来控制执行。处理器101用于执行存储器103中存储的计算机执行指令,从而实现本申请下述实施方式中提供的方法。
在可选的实施方式中,计算机执行指令也可以称之为应用程序代码,本申请对此不作具体限定。
在可选的实施方式中,处理器101可以包括一个或多个CPU,例如图1中的CPU0和CPU1。
在可选的实施方式中,答非所问识别模型的训练装置100可以包括多个处理器,例如图1中的处理器101和处理器107。这些处理器中的每一个可以是一个单核(single-CPU)处理器,也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在可选的实施方式中,若答非所问识别模型的训练装置100为服务器,则答非所问识别模型的训练装置100还可以包括输出设备105和输入设备106。输出设备105和处理器101通信,可以以多种方式来显示信息。例如,输出设备 105可以是液晶显示器(liquidcrystal display,LCD),发光二级管(light emitting diode,LED)显示设备,阴极射线管(cathode ray tube,CRT)显示设备,或投影仪(projector)等。输入设备106和处理器101通信,可以以多种方式接收用户的输入。例如,输入设备106可以是鼠标、键盘、触摸屏设备或传感设备等。
上述的答非所问识别模型的训练装置100可以是一个通用设备或者是一个专用设备。本申请实施方式不限定答非所问识别模型的训练装置100的类型。
参阅图2,图2为本申请实施方式提供的一种答非所问识别模型的训练方法的流程示意图。该答非所问识别模型的训练方法包括以下步骤:
201:获取训练样本。
在本实施方式中,训练样本可以是从原始样本库中得到的一问句和一答句组成的问答对。示例性的,可以将历史累积的对话信息进行问句和答句提取,在经过配对后,作为一个原始样本存入原始样本库。此外,还可以通过自动问答模型随机生成一些问答对,讲这些问答对也作为原始样本存入原始样本库。
在本实施方式中,训练样本可以是多个。示例性的,训练样本可以分为正向样本和负向样本。其中,正向样本指问句和答句可以匹配,属于正常问答的问答对。负向样本指问句和答句无法匹配,属于答非所问的问答对。
具体而言,可以在正向样本中随机抽选部分正向问答对,在负向样本中随机抽选部分负向问答对,共同组成训练样本集。其中,每个正向问答对或每个负向问答对作为训练样本集中的一个训练样本,且正向问答对的数量与负向问答对的数量的比例为1:5。
同时,在本实施方式中,从原始样本库中获取到原始样本后,还需要对样本进行数据清理,以使得之后的模型训练更加容易拟合,以提升模型训练的效率。具体而言,首先对随机选取出的原始样本进行归一化处理,以归一化文本格式,例如,采用正则表达式对原始样本中的所有字符进行全角转半角处理。然后,对于正则化后的原始样本将其中不属于中文字符、英文字符和数字字符的特殊字符,例如:“@”、“#”、“&”等字符,进行剔除,得到数据清洗后的原始样本,作为训练样本。
此外,在本实施方式中,还可以将在正向样本中随机抽选部分正向问答对,以及在负向样本中随机抽选部分负向问答对,共同组成训练样本集划分为训练集和验证集。示例性的,可以按照8:2的比例将训练样本集进行随机划分,得到训练集和验证集,基于此,在之后的文本中,训练样本可以特指训练集中的样本,而验证集中的样本将称呼为验证样本。
202:对训练样本中的问句进行语义向量编码,得到训练样本的第一语义向量。
在本实施方式中,提供了一种对训练样本中的问句进行语义向量编码的方法,如图3所示,该方法包括:
301:对训练样本中的问句中的每个字符,分别获取每个字符的字向量。
示例性的,对于问句“请问要喝点什么?”,首先,可以先对该问句进行字符分割,得到字符序列“请”、“问”、“要”、“喝”、“点”、“什”、“么”和“?”。然后,分别获取分割的字符的字向量,例如,“请”的字向量为[1,2]、“问”的字向量为[2,3]、“要”的字向量为[3,4]、“喝”的字向量为[4,5]、“点”的字向量为[5,6]、“什”的字向量为[6,7]、“么”的字向量为[7,8]、以及“?”的字向量为[8,9]。
302:按照每个字符在训练样本中的问句中的位置,将每个字符的字向量,进行纵向拼接,得到训练样本中的第一语义向量。
由此,可以完全保留问句中的所有特征,以提升最终识别的精准度。
在可选的实施方式中,还提供了另一种对训练样本中的问句进行语义向量编码的方法,如图5所示,该方法包括:
501:对训练样本中的问句中的每个字符,分别获取每个字符的字向量。
在本实施方式中,获取每个字符的字向量的方法与步骤301中获取每个字符的字向量的方法相似,在此不再赘述。
502:将训练样本中的问句中的所有字符的字向量的第a位元素的元素值的平均值,作为训练样本中的第一语义向量的第a位元素的元素值,得到训练样本中的第一语义向量。
在本实施方式中,a可以为大于0的整数。示例性的,沿用上述问句“请问要喝点什么?”的示例,在得到各个字符的字向量后,将每个字符的字向量的第一位累加后求平均值,得到:(1+2+3+4+5+6+7+8)/8=4,将该平均值作为第一语义向量的第一位;将每个字符的字向量的第二位累加后求平均值,得到:(2+3+4+5+6+7+8+9)/8=5,将该平均值作为第一语义向量的第二位。由此,可以得到第一语义向量[4,5]。
由此,可以简化及计算,提升模型的识别效率。
在可选的实施方式中,还提供了再一种对训练样本中的问句进行语义向量编码的方法,如图6所示,该方法包括:
601:对训练样本中的问句中的每个字符,分别获取每个字符的字向量。
在本实施方式中,获取每个字符的字向量的方法与步骤301中获取每个字符的字向量的方法相似,在此不再赘述。
602:确定每个字符的字向量中的最大元素。
示例性的,沿用上述问句“请问要喝点什么?”的示例,“请”的字向量中的最大元素为2、“问”的字向量中的最大元素为3、“要”的字向量中的最大元素为4、“喝”的字向量中的最大元素为5、“点”的字向量中的最大元素为6、“什”的字向量中的最大元素为7、“么”的字向量中的最大元素为8、以及“?”的字向量中的最大元素为9。
603:使用每个字符的字向量中的最大元素替换训练样本中的问句中的每个字符,得到训练样本中的第一语义向量。
示例性的,沿用上述问句“请问要喝点什么?”的示例,在得到各个字符的字向量中的最大元素后,用该最大元素替换训练样本中的问句中的每个字符,如图7所示,可以得到第一语义向量[2,3,4,5,6,7,8,9]。
由此,在尽可能保留问句中的特征的同时,简化了第一语义向量,使最终的识别精度和模型的识别效率均得到保障。
203:对训练样本中的答句进行语义向量编码,得到训练样本的第二语义向量。
在本实施方式中,对答句进行语义向量编码的方法与步骤202中对问句进行语义向量编码的方法相似,在此不再赘述。
204:获取第一语义向量与第二语义向量的差,得到第三语义向量。
在本实施方式中,可以通过将第一语义向量中的第b位元素的元素值与第二语义向量中的第b位元素的元素值的差,作为第三语义向量中的第b位元素的元素值,得到第一语义向量与第二语义向量的差,即第三语义向量,其中,b可以为大于0的整数。示例性的,对于第一语义向量[2,3,4,5,6,7,8, 9],和第二语义向量[4,7,5,2,3,3,6,4],求差可以表示为[2-4,3-7, 4-5,5-2,6-3,7-3,8-6,9-4],由此,可得第三语义向量[-2,-4,-1,3,3, 4,2,5]。由此,通过相减,使问句的语义向量(即第一语义向量)与答句的语义向量(即第二语义向量)之间产生交互。
205:将训练样本的第一语义向量、第二语义向量和第三语义向量进行拼接,得到训练样本的第四语义向量。
在本实施方式中,可以依次横向拼接训练样本的第一语义向量、第二语义向量和第三语义向量,得到训练样本的第四语义向量。示例性的,第一语义向量为u,第二语义向量为v,则第四语义向量为[u,v,(u-v)]。
206:将训练样本的第四语义向量输入初始识别模型中进行训练,得到答非所问识别模型。
在本实施方式中,初始识别模型可以是一种二分类器,例如: Softmaxclassifier分类器。当然,也可以是其他任意一种具有识别或分类功能的模型,本申请在此不作限制。
在本实施方式中,得到答非所问识别模型后,还可以通过验证集对该答非所问模型进行调整。示例性的,可以将验证集输入该答非所问识别模型中,得到识别结果,再根据识别结果和验证集中的原结果得到损失量,继而根据该损失量对答非所问识别模型中的超参进行调整,得到最终的答非所问识别模型。
此外,在本实施方式中,得到答非所问识别模型后,即可以对客户与坐席之间的实时对话,预测该客户是一个风险欺诈用户的可能性。具体而言,首先,通过麦克风等声音采集装置实时采集客户与坐席之间的对话;然后,对采集到的对话进行文本转化,将语音数据转化为文本数据;再之后,对转化所得的文本数据进行数据清洗,得到待识别文本,具体清洗方法和步骤201 中的清洗方法相似,在此不再赘述;最后,将待识别文本输入训练好的答非所问识别模型,对客户与坐席之间的实时对话进行答非所问识别。
综上所述,本发明所提供的答非所问识别模型的训练方法,首先,通过对训练样本中的问句和答句分别进行语义向量编码,得到对应于训练样本中问句的第一语义向量和对应于训练样本中答句的第二语义向量。然后,使第一语义向量减去第二语义向量,得到第三语义向量,使得问句与答句在语义向量层面产生交互,再将第一语义向量、第二语义向量和第三语义向量进行拼接,得到训练样本的第四语义向量。最后,基于第四语义向量对初始识别模型进行训练,得到最终的答非所问识别模型。由此,在训练过程中,增加了问句与答句在句子层面语义向量之间的交互信息,即,第三语义向量,使得问句的特征、答句的特征、以及问句与答句在句子层面语义向量之间的交互信息均被充分利用,提高了答非所问识别模型对问句与答句之间匹配的准确率。
参阅图8,图8为本申请实施方式提供的一种答非所问识别模型的训练装置的功能模块组成框图。如图8所示,该答非所问识别模型的训练装置800包括:
样本获取模块801,用于获取训练样本,训练样本包括问句和答句;
样本处理模块802,用于对训练样本中的问句进行语义向量编码,得到训练样本的第一语义向量,对训练样本中的答句进行语义向量编码,得到训练样本的第二语义向量,获取第一语义向量与第二语义向量的差,得到第三语义向量,以及将训练样本的第一语义向量、第二语义向量和第三语义向量进行拼接,得到训练样本的第四语义向量;
训练模块803,用于将训练样本的第四语义向量输入初始识别模型中进行训练,得到答非所问识别模型。
在本发明的实施方式中,在对训练样本中的问句进行语义向量编码,得到训练样本的第一语义向量方面,样本处理模块802,具体用于:
对训练样本中的问句中的每个字符,分别获取每个字符的字向量;
确定每个字符的字向量中的最大元素;
使用每个字符的字向量中的最大元素替换训练样本中的问句中的每个字符,得到训练样本中的第一语义向量。
在本发明的实施方式中,在对训练样本中的问句进行语义向量编码,得到训练样本的第一语义向量方面,样本处理模块802,具体用于:
对训练样本中的问句中的每个字符,分别获取每个字符的字向量;
将训练样本中的问句中的所有字符的字向量的第a位元素的元素值的平均值,作为训练样本中的第一语义向量的第a位元素的元素值,得到训练样本中的第一语义向量,其中,a为大于0的整数。
在本发明的实施方式中,在对训练样本中的问句进行语义向量编码,得到训练样本的第一语义向量方面,样本处理模块802,具体用于:
对训练样本中的问句中的每个字符,分别获取每个字符的字向量;
按照每个字符在训练样本中的问句中的位置,将每个字符的字向量,进行纵向拼接,得到训练样本中的第一语义向量。
在本发明的实施方式中,在将训练样本的第一语义向量、第二语义向量和第三语义向量进行拼接,得到训练样本的第四语义向量方面,样本处理模块802,具体用于:
依次横向拼接训练样本的第一语义向量、第二语义向量和第三语义向量,得到训练样本的第四语义向量。
在本发明的实施方式中,在获取训练样本之前,样本获取模块801,还用于:
获取原始样本;
分别对原始样本中的所有字符进行全角转半角处理,得到第一样本;
将第一样本中的第一字符剔除,得到与原始样本对应的训练样本,其中,第一字符为除去中文字符、英文字符和数字字符之外的字符。
在本发明的实施方式中,该答非所问识别模型的训练装置800还包括:识别模块,该识别模块用于在将训练样本的第四语义向量输入初始识别模型中进行训练,得到答非所问识别模型之后,获取待识别文本。并将待识别文本输入答非所问识别模型,得到识别结果,以确定待识别文本是否属于答非所问。
参阅图9,图9为本申请实施方式提供的一种电子设备的结构示意图。如图9所示,电子设备900包括收发器901、处理器902和存储器903。它们之间通过总线904连接。示例性的,收发器901用于接收待处理的数据至处理器902,以及向外输出处理器902的处理结果,具体而言,在本实施方式中,收发器901 可以用于接收训练样本,以及输出完成训练的答非所问识别模型。存储器903 用于存储计算机程序和数据,并可以将存储器903存储的数据传输给处理器 902。
处理器902用于读取存储器903中的计算机程序执行以下操作:
获取训练样本,训练样本包括问句和答句;
对训练样本中的问句进行语义向量编码,得到训练样本的第一语义向量;
对训练样本中的答句进行语义向量编码,得到训练样本的第二语义向量;
获取第一语义向量与第二语义向量的差,得到第三语义向量;
将训练样本的第一语义向量、第二语义向量和第三语义向量进行拼接,得到训练样本的第四语义向量;
将训练样本的第四语义向量输入初始识别模型中进行训练,得到答非所问识别模型。
在本发明的实施方式中,在对训练样本中的问句进行语义向量编码,得到训练样本的第一语义向量方面,处理器902,具体用于执行以下操作:
对训练样本中的问句中的每个字符,分别获取每个字符的字向量;
确定每个字符的字向量中的最大元素;
使用每个字符的字向量中的最大元素替换训练样本中的问句中的每个字符,得到训练样本中的第一语义向量。
在本发明的实施方式中,在对训练样本中的问句进行语义向量编码,得到训练样本的第一语义向量方面,处理器902,具体用于执行以下操作:
对训练样本中的问句中的每个字符,分别获取每个字符的字向量;
将训练样本中的问句中的所有字符的字向量的第a位元素的元素值的平均值,作为训练样本中的第一语义向量的第a位元素的元素值,得到训练样本中的第一语义向量,其中,a为大于0的整数。
在本发明的实施方式中,在对训练样本中的问句进行语义向量编码,得到训练样本的第一语义向量方面,处理器902,具体用于执行以下操作:
对训练样本中的问句中的每个字符,分别获取每个字符的字向量;
按照每个字符在训练样本中的问句中的位置,将每个字符的字向量,进行纵向拼接,得到训练样本中的第一语义向量。
在本发明的实施方式中,在将训练样本的第一语义向量、第二语义向量和第三语义向量进行拼接,得到训练样本的第四语义向量方面,处理器902,具体用于执行以下操作:
依次横向拼接训练样本的第一语义向量、第二语义向量和第三语义向量,得到训练样本的第四语义向量。
在本发明的实施方式中,在获取训练样本之前,处理器902,具体用于执行以下操作:
获取原始样本;
分别对原始样本中的所有字符进行全角转半角处理,得到第一样本;
将第一样本中的第一字符剔除,得到与原始样本对应的训练样本,其中,第一字符为除去中文字符、英文字符和数字字符之外的字符。
在本发明的实施方式中,在将训练样本的第四语义向量输入初始识别模型中进行训练,得到答非所问识别模型之后,处理器902,具体用于执行以下操作:
获取待识别文本;
将待识别文本输入答非所问识别模型,得到识别结果,以确定待识别文本是否属于答非所问。
应理解,本申请中的答非所问识别模型的训练装置可以包括智能手机(如Android手机、iOS手机、Windows Phone手机等)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备MID(Mobile Internet Devices,简称:MID)、机器人或穿戴式设备等。上述答非所问识别模型的训练装置仅是举例,而非穷举,包含但不限于上述答非所问识别模型的训练装置。在实际应用中,上述答非所问识别模型的训练装置还可以包括:智能车载终端、计算机设备等等。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现。基于这样的理解,本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施方式或者实施方式的某些部分所述的方法。
因此,本申请实施方式还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行以实现如上述方法实施方式中记载的任何一种答非所问识别模型的训练方法的部分或全部步骤。例如,所述存储介质可以包括硬盘、软盘、光盘、磁带、磁盘、优盘、闪存等。
本申请实施方式还提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序可操作来使计算机执行如上述方法实施方式中记载的任何一种答非所问识别模型的训练方法的部分或全部步骤。
需要说明的是,对于前述的各方法实施方式,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施方式均属于可选的实施方式,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施方式中,对各个实施方式的描述都各有侧重,某个实施方式中没有详述的部分,可以参见其他实施方式的相关描述。
在本申请所提供的几个实施方式中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施方式的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施方式进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施方式的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种答非所问识别模型的训练方法,其特征在于,所述训练方法包括:
获取训练样本,所述训练样本包括问句和答句;
对所述训练样本中的问句进行语义向量编码,得到所述训练样本的第一语义向量;
对所述训练样本中的答句进行语义向量编码,得到所述训练样本的第二语义向量;
获取所述第一语义向量与所述第二语义向量的差,得到第三语义向量;
将所述训练样本的第一语义向量、第二语义向量和第三语义向量进行拼接,得到所述训练样本的第四语义向量;
将所述训练样本的第四语义向量输入初始识别模型中进行训练,得到答非所问识别模型。
2.根据权利要求1所述的训练方法,其特征在于,所述对所述训练样本中的问句进行语义向量编码,得到所述训练样本的第一语义向量,包括:
对所述训练样本中的问句中的每个字符,分别获取所述每个字符的字向量;
确定所述每个字符的字向量中的最大元素;
使用所述每个字符的字向量中的最大元素替换所述训练样本中的问句中的所述每个字符,得到所述训练样本中的第一语义向量。
3.根据权利要求1所述的训练方法,其特征在于,所述对所述训练样本中的问句进行语义向量编码,得到所述训练样本的第一语义向量,包括:
对所述训练样本中的问句中的每个字符,分别获取所述每个字符的字向量;
将所述训练样本中的问句中的所有字符的字向量的第a位元素的元素值的平均值,作为所述训练样本中的第一语义向量的第a位元素的元素值,得到所述训练样本中的第一语义向量,其中,a为大于0的整数。
4.根据权利要求1所述的训练方法,其特征在于,所述对所述训练样本中的问句进行语义向量编码,得到所述训练样本的第一语义向量,包括:
对所述训练样本中的问句中的每个字符,分别获取所述每个字符的字向量;
按照所述每个字符在所述训练样本中的问句中的位置,将所述每个字符的字向量,进行纵向拼接,得到所述训练样本中的第一语义向量。
5.根据权利要求1-4中任意一项所述的训练方法,其特征在于,所述将所述训练样本的第一语义向量、第二语义向量和第三语义向量进行拼接,得到所述训练样本的第四语义向量,包括:
依次横向拼接所述训练样本的第一语义向量、第二语义向量和第三语义向量,得到所述训练样本的第四语义向量。
6.根据权利要求5所述的训练方法,其特征在于,在所述获取训练样本之前,所述训练方法还包括:
获取原始样本;
分别对所述原始样本中的所有字符进行全角转半角处理,得到第一样本;
将所述第一样本中的第一字符剔除,得到与所述原始样本对应的训练样本,其中,所述第一字符为除去中文字符、英文字符和数字字符之外的字符。
7.根据权利要求1-6中任意一项所述的训练方法,其特征在于,在所述将所述训练样本的第四语义向量输入初始识别模型中进行训练,得到答非所问识别模型之后,所述训练方法还包括:
获取待识别文本;
将所述待识别文本输入所述答非所问识别模型,得到识别结果,以确定所述待识别文本是否属于答非所问。
8.一种答非所问识别模型的训练装置,其特征在于,所述训练装置包括:
样本获取模块,用于获取训练样本,所述训练样本包括问句和答句;
样本处理模块,用于对所述训练样本中的问句进行语义向量编码,得到所述训练样本的第一语义向量,对所述训练样本中的答句进行语义向量编码,得到所述训练样本的第二语义向量,获取所述第一语义向量与所述第二语义向量的差,得到第三语义向量,以及将所述训练样本的第一语义向量、第二语义向量和第三语义向量进行拼接,得到所述训练样本的第四语义向量;
训练模块,用于将所述训练样本的第四语义向量输入初始识别模型中进行训练,得到答非所问识别模型。
9.一种电子设备,其特征在于,包括处理器、存储器、通信接口以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述一个或多个程序包括用于执行权利要求1-7任一项方法中的步骤的指令。
10.一种可读计算机存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行以实现如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110487439.1A CN113204973B (zh) | 2021-04-30 | 2021-04-30 | 答非所问识别模型的训练方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110487439.1A CN113204973B (zh) | 2021-04-30 | 2021-04-30 | 答非所问识别模型的训练方法、装置、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113204973A true CN113204973A (zh) | 2021-08-03 |
CN113204973B CN113204973B (zh) | 2024-07-12 |
Family
ID=77030012
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110487439.1A Active CN113204973B (zh) | 2021-04-30 | 2021-04-30 | 答非所问识别模型的训练方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113204973B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114360537A (zh) * | 2021-12-27 | 2022-04-15 | 科大讯飞股份有限公司 | 口语问答的评分方法、训练方法、计算机设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110442689A (zh) * | 2019-06-25 | 2019-11-12 | 平安科技(深圳)有限公司 | 一种问答关系排序方法、装置、计算机设备及存储介质 |
CN110704597A (zh) * | 2019-09-29 | 2020-01-17 | 北京金山安全软件有限公司 | 对话系统可靠性校验方法、模型生成方法及装置 |
CN111427995A (zh) * | 2020-02-26 | 2020-07-17 | 平安科技(深圳)有限公司 | 基于内部对抗机制的语义匹配方法、装置及存储介质 |
WO2021070819A1 (ja) * | 2019-10-10 | 2021-04-15 | 株式会社Nttドコモ | 採点モデル学習装置、採点モデル及び判定装置 |
-
2021
- 2021-04-30 CN CN202110487439.1A patent/CN113204973B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110442689A (zh) * | 2019-06-25 | 2019-11-12 | 平安科技(深圳)有限公司 | 一种问答关系排序方法、装置、计算机设备及存储介质 |
CN110704597A (zh) * | 2019-09-29 | 2020-01-17 | 北京金山安全软件有限公司 | 对话系统可靠性校验方法、模型生成方法及装置 |
WO2021070819A1 (ja) * | 2019-10-10 | 2021-04-15 | 株式会社Nttドコモ | 採点モデル学習装置、採点モデル及び判定装置 |
CN111427995A (zh) * | 2020-02-26 | 2020-07-17 | 平安科技(深圳)有限公司 | 基于内部对抗机制的语义匹配方法、装置及存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114360537A (zh) * | 2021-12-27 | 2022-04-15 | 科大讯飞股份有限公司 | 口语问答的评分方法、训练方法、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113204973B (zh) | 2024-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110705301B (zh) | 实体关系抽取方法及装置、存储介质、电子设备 | |
CN111695352A (zh) | 基于语义分析的评分方法、装置、终端设备及存储介质 | |
CN112860841A (zh) | 一种文本情感分析方法、装置、设备及存储介质 | |
CN113158656B (zh) | 讽刺内容识别方法、装置、电子设备以及存储介质 | |
CN111767714B (zh) | 一种文本通顺度确定方法、装置、设备及介质 | |
CN114090755A (zh) | 基于知识图谱的回复语句确定方法、装置及电子设备 | |
CN109978139B (zh) | 图片自动生成描述的方法、系统、电子装置及存储介质 | |
CN111428448A (zh) | 文本生成方法、装置、计算机设备及可读存储介质 | |
CN110738056B (zh) | 用于生成信息的方法和装置 | |
CN112926308A (zh) | 匹配正文的方法、装置、设备、存储介质以及程序产品 | |
CN113626576A (zh) | 远程监督中关系特征抽取方法、装置、终端及存储介质 | |
CN115062718A (zh) | 语言模型训练方法、装置、电子设备及存储介质 | |
CN110852071A (zh) | 知识点检测方法、装置、设备及可读存储介质 | |
CN114780701A (zh) | 自动问答匹配方法、装置、计算机设备及存储介质 | |
CN113204973A (zh) | 答非所问识别模型的训练方法、装置、设备和存储介质 | |
CN114528851B (zh) | 回复语句确定方法、装置、电子设备和存储介质 | |
CN107656627B (zh) | 信息输入方法和装置 | |
CN113342932B (zh) | 目标词向量的确定方法、装置、存储介质和电子装置 | |
CN115630643A (zh) | 语言模型的训练方法、装置、电子设备及存储介质 | |
CN115565186A (zh) | 文字识别模型的训练方法、装置、电子设备和存储介质 | |
CN115186666A (zh) | 一种命名实体识别方法、装置、电子设备及存储介质 | |
CN114676699A (zh) | 实体情感分析方法、装置、计算机设备和存储介质 | |
CN114625960A (zh) | 线上考评方法、装置、电子设备及存储介质 | |
CN114297380A (zh) | 一种数据处理方法、装置、设备及存储介质 | |
CN113627177A (zh) | 多批次文档处理方法、装置和计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |