CN113608664A - 智能语音机器人交互效果优化方法、装置及智能机器人 - Google Patents
智能语音机器人交互效果优化方法、装置及智能机器人 Download PDFInfo
- Publication number
- CN113608664A CN113608664A CN202110845176.7A CN202110845176A CN113608664A CN 113608664 A CN113608664 A CN 113608664A CN 202110845176 A CN202110845176 A CN 202110845176A CN 113608664 A CN113608664 A CN 113608664A
- Authority
- CN
- China
- Prior art keywords
- model
- output result
- result
- effect
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000694 effects Effects 0.000 title claims abstract description 120
- 230000003993 interaction Effects 0.000 title claims abstract description 108
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000005457 optimization Methods 0.000 title claims abstract description 37
- 238000012795 verification Methods 0.000 claims abstract description 61
- 238000002372 labelling Methods 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 2
- 230000008569 process Effects 0.000 description 43
- 238000012360 testing method Methods 0.000 description 26
- 238000007726 management method Methods 0.000 description 22
- 230000006872 improvement Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000007619 statistical method Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000013518 transcription Methods 0.000 description 3
- 230000035897 transcription Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
Abstract
本申请公开了一种智能语音机器人交互效果优化方法、装置及智能机器人。具体实现方案为：确定语音交互系统中经过改进的第一模型和与所述第一模型对应的未改进的第二模型；获取用户的语音信息；根据所述语音信息获取所述第一模型和所述第二模型的输入信息；在调用所述第二模型时，将所述输入信息分别输入至所述第一模型和所述第二模型，获得所述第一模型的第一输出结果和所述第二模型的第二输出结果；根据所述第一输出结果和所述第二输出结果，验证所述第一模型的效果。本申请可以提高模型效果验证的准确性，也可以减少数据指标的波动性。
Description
技术领域
本申请涉及人工智能领域，具体涉及语音技术及智能对话领域，尤其涉及一种智能语音机器人交互效果优化方法、装置、及智能机器人。
背景技术
互联网常规的优化点击效果是依赖AB测试机制，AB测试是为Web或App界面或流程制作两个或多个版本，在同一时间维度，分别让组成成分相同或相似的访客群组(目标人群)随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析、评估出最好版本正式采用。
目前机器人实际优化过程也基本采用这个优化思路，而机器人的交互中除了手动点击操作外，还会涉及到语音交互过程。此外，语音交互会受环境因素、技术线路等影响，同时也会受不同人群的方言习惯等影响，所以现有AB测试方法在智能语音机器人优化过程中并不适用。
发明内容
本申请提供了一种用于智能语音机器人交互效果优化的方法、装置及智能机器人。
根据本申请的第一方面，提供了一种智能语音机器人交互效果优化方法，包括：
确定语音交互系统中经过改进的第一模型和与所述第一模型对应的未改进的第二模型；
获取用户的语音信息；
根据所述语音信息获取所述第一模型和所述第二模型的输入信息；
在调用所述第二模型时，将所述输入信息分别输入至所述第一模型和所述第二模型，获得所述第一模型的第一输出结果和所述第二模型的第二输出结果；
根据所述第一输出结果和所述第二输出结果，验证所述第一模型的效果。
在本申请的一些实施例中，所述根据所述第一输出结果和所述第二输出结果，验证所述第一模型的效果，包括：
获取所述语音信息的标注结果；
将所述第一输出结果和所述第二输出结果分别与所述标注结果进行比对，得到所述第一输出结果对应的第一比对结果和所述第二输出结果对应的第二比对结果；
根据所述第一比对结果和所述第二比对结果，确定所述第一模型的效果验证结果。
进一步地，所述将所述第一输出结果和所述第二输出结果分别与所述标注结果进行比对，得到所述第一输出结果对应的第一比对结果和所述第二输出结果对应的第二比对结果，包括：
判断所述第一输出结果与所述第二输出结果是否一致；
响应于所述第一输出结果与所述第二输出结果不一致时，将所述第一输出结果作为第一目标输出结果，将所述第二输出结果作为第二目标输出结果；
将所述第一目标输出结果和所述第二目标输出结果分别与所述标注结果进行比对，得到所述第一输出结果对应的第一比对结果和所述第二输出结果对应的第二比对结果。
在本申请的一些实施例中，所述语音交互系统包括对话管理模块，所述智能语音机器人交互效果优化方法还包括：
根据所述第一输出结果，获取所述对话管理模块的第一反馈结果；
根据所述第二输出结果，获取所述对话管理模块的第二反馈结果；
其中，所述根据所述第一输出结果和所述第二输出结果，验证所述第一模型的效果，包括：
根据所述第一输出结果、所述第二输出结果、所述第一反馈结果和所述第二反馈结果，验证所述第一模型的效果。
可选地，在本申请的一些实施例中，所述方法还包括：
在所述第一模型的效果达到预期时，将线上语音交互系统中的所述第二模型替换为所述第一模型。
根据本申请的第二方面，提出了一种智能语音机器人交互优化装置，包括：
确定模块，用于确定语音交互系统中经过改进的第一模型和与所述第一模型对应的未改进的第二模型；
第一获取模块，用于获取用户的语音信息；
第二获取模块，用于根据所述语音信息获取所述第一模型和所述第二模型的输入信息；
第三获取模块，用于在调用所述第二模型时，将所述输入信息分别输入至所述第一模型和所述第二模型，获得所述第一模型的第一输出结果和所述第二模型的第二输出结果；
验证模块，用于根据所述第一输出结果和所述第二输出结果，验证所述第一模型的效果。
在本申请的一些实施例中，所述验证模块包括：
获取单元，用于获取所述语音信息的标注结果；
比对单元，用于将所述第一输出结果和所述第二输出结果分别与所述标注结果进行比对，得到所述第一输出结果对应的第一比对结果和所述第二输出结果对应的第二比对结果；
确定单元，用于根据所述第一比对结果和所述第二比对结果，确定所述第一模型的效果验证结果。
其中，所述比对单元具体用于：
判断所述第一输出结果与所述第二输出结果是否一致；
响应于所述第一输出结果与所述第二输出结果不一致时，将所述第一输出结果作为第一目标输出结果，将所述第二输出结果作为第二目标输出结果；
将所述第一目标输出结果和所述第二目标输出结果分别与所述标注结果进行比对，得到所述第一输出结果对应的第一比对结果和所述第二输出结果对应的第二比对结果。
在本申请的一些实施例中，所述智能语音机器人交互优化装置还包括：
第四获取模块，用于根据所述第一输出结果，获取对话管理模块的第一反馈结果，其中，所述语音交互系统包括所述对话管理模块；
第五获取模块，用于根据所述第二输出结果，获取所述对话管理模块的第二反馈结果；
其中，所述验证模块用于：
根据所述第一输出结果、所述第二输出结果、所述第一反馈结果和所述第二反馈结果，验证所述第一模型的效果。
可选地，在本申请的一些实施例中，所述装置还包括：
替换模块，用于在所述第一模型的效果达到预期时，将线上所述语音交互系统中的所述第二模型替换为所述第一模型。
根据本申请的第三方面，提供了一种智能语音机器人，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面所述的方法。
根据本申请的第四方面，提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述第一方面所述的方法。
根据本申请的技术方案，解决了现有AB测试在智能语音机器人优化过程中的问题，由于使改进的模型与系统中对应未改进的模型并行运行，可以避免由于真实环境因素对模型验证的影响，使模型效果的对比可以在完全相同的条件下进行，从而可以提高模型效果验证的准确性，也可以减少数据指标的波动性。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请实施例提出的一种智能语音机器人交互效果优化方法的流程图；
图2是本申请实施例中的一种智能语音机器人交互效果优化方法的示例图；
图3是本申请实施例中的一种关于验证第一模型效果的流程图；
图4是本申请实施例中的另一种于验证第一模型效果的流程图；
图5是本申请实施例提出的另一种智能语音机器人交互效果优化方法的流程图；
图6是本申请实施例中智能语音机器人交互效果优化方法对应的结构示意图；
图7是本申请实施例中的另一种智能语音机器人交互效果优化方法的示例图；
图8是本申请实施例提出的一种智能语音机器人交互效果优化装置的结构框图；
图9是本申请实施例提出的另一种智能语音机器人交互效果优化装置的结构框图；
图10为本申请实施例提出的一种智能语音机器人的结构框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，AB测试是为Web或App界面或流程制作两个或多个版本，在同一时间维度，分别让组成成分相同或相似的访客群组(目标人群)随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析、评估出最好版本正式采用。
而机器人交互中，除了用户手动点击操作外，还会涉及到语音交互过程，语音交互带来了环境因素，同时语音所依赖的技术路线对环境有较为严重依赖，使得现有的AB测试优化方法在智能语音机器人的优化过程中准确率不高，具体有下面几个方面：
1.依赖用户量更多：AB测试的基本前提是有组成成分相同或相似的用户群组(目标人群)，比如地域分布上是一致的，由于加入语音交互后，每个人语音通话过程中环境因素是不同的，相当于额外增加一种环境因素分布一致的考量，因此每个分组的用户会依赖更多的用户量。
2.口音/方言/说话习惯等个人特征导致特例用户更多且无法舍弃：常规web或app用户群，由于都是点击操作试验，所以很多情况下会将一些特例操作用户数据(比如：点击数量极端多等情况)舍弃，不计入一般效果优化统计中。但是由于语音交互特有的口音、方言、说话习惯等个人情况在这种情况变得较为普遍，不能将这部分用户当做特例用户舍弃，反而很多时候这部分用户更是需要优化的情况。
3.每个用户只有一次机会(时间维度不同)：用户不可重复性导致的测试用户无法相对稳定：语音交互很多是通过手机电话进行，但是很多AB测试场景都是和用户一次性交流，没有第二次尝试机会。
4.常规的AB测试都存在一定的数据指标波动，一般会随着用户量的增加波动变小。而在语音交互过程中，针对此过程试验由于数量限制波动变的更大。
基于上述问题，本申请提出了一种智能语音机器人交互效果优化方法、装置、及电子设备。
需要说明的是，一般智能语音机器人智能交互包括几个主要步骤：语音识别(ASR，Automatic Speech Recognition)、意图理解(NLU，Natural Language Understanding)、对话管理(DM，Dialog Management)和语音合成(TTS，Text to Speech)，经由电话系统和真实用户进行交互。本申请提出的智能语音机器人交互效果优化方法主要是针对语音交互各步骤中的模型改进的效果验证，可以在线实施，可以将相关数据信息存储起来离线试验，接下来将以在线实施为例进行介绍。
图1为本申请实施例提出的一种智能语音机器人交互效果优化方法的流程图。需要说明的是，本申请实施例中的智能语音机器人交互效果优化方法可应用与本申请实施例中的智能语音机器人交互效果优化装置，且该装置配置于智能机器人。如图1所示，该方法包括：
步骤101，确定语音交互系统中经过改进的第一模型和与第一模型对应的未改进的第二模型。
可以理解，为了提高智能语音机器人的交互效果，相关工作人员会不断地针对语音交互系统中的模型进行改进，从而提高智能语音机器人的用户体验。在改进的模型部署线上语音交互系统时，需要针对该模型进行验证，确保改进后的模型效果优于现有模型后，才可部署线上。
在本申请实施例中，语音交互系统中经过改进的第一模型是指将语音交互系统中某个现有模型进行改进而得到的模型，与该第一模型对应的未改进的第二模型是指目前线上语音交互系统中的现有模型，也就是说，第一模型是针对该现有模型改进的。
通常，在进行模型验证时，可以将对应的数据输入到该模型，并与使用现有模型的结果进行对比，确定该模型改进的效果。在本申请实施例中，可以使用一定数量的智能语音机器人来进行验证试验，其中用于验证智能语音机器人的语音交互系统依然为目前线上的系统，只是会将第二模型的调用环节增加了一个第一模型，相当于在调用第二模型的时候，同时也会调用第一模型，从而可以将得到的第一模型输出结果和第二模型的输出结果进行对比。需要说明的是，用于验证的智能机器人依然是使用目前线上的语音交互系统来实现与用户的交互，也就是说，第二模型的调用和第二模型的输出结果并不会影响机器人与用户的交互，即第二模型的输出结果并不会继续向后续步骤传递。由于该方法的用户无感知性，所以可以使用现实场景中的智能语音机器人来进行验证试验，也就是说，可以针对真实用户与智能语音机器人的语音交互数据来验证模型的效果，从而可以减少试验过程的成本。
步骤102，获取用户的语音信息。
可以理解，用户的语音信息，也就是这些用于验证试验的智能语音机器人对应的用户与其进行交互时的语音信息。
步骤103，根据语音信息获取第一模型和第二模型的输入信息。
由于，用于模型验证的智能语音机器人，其语音交互系统中的第一模型与第二模型是并行的，即在智能语音机器人在语音交互过程中，调用第二模型时，会同时调用第一模型和第二模型，所以第一模型和第二模型的输入信息是相同的。
在本申请实施例中，智能语音机器人在接收到用户的语音信息后，会按照语音交互的步骤逐步执行，直至需要调用第二模型时，将调用第二模型前对应的步骤的输出结果作为第一模型和第二模型的输入信息。
步骤104，在调用第二模型时，将输入信息分别输入至第一模型和第二模型，获得第一模型的第一输出结果和第二模型的第二输出结果。
为了可以准确地对改进后的模型进行效果验证，本申请实施例中，智能语音机器人的语音交互系统在调用第二模型时，也就是在调用该试验过程需要验证的模型对应的现有模型时，会将输入信息分别输入到第一模型和第二模型，从而可以得到第一模型的第一输出结果和第二模型的第二输出结果。可以理解，第一输出结果和第二输出结果是针对相同的语音数据，且在相同的环境下获得的，因此可以避免结果的输出受到环境等因素的影响，从而可以提高试验过程结果的准确性。
需要说明的是，参与试验的智能语音机器人在进行语音交互时，由于该机器人的语音交互系统均为目前的线上系统，所以第二模型依然为当前线上使用的模型，也就是说，通过第二模型得到的第二输出结果依然会按照语音交互的过程继续向后续模块传递，直至完成对用户语音信息的回答。而第一输出结果只是用于模型效果的验证，并不继续向后续语音交互过程中的模块传递。
步骤105，根据第一输出结果和第二输出结果，验证第一模型的效果。
可以理解，在语音交互过程中各模块上下游存在依赖关系，某个环节的改变对于下游的影响会产生不确定的效果传递。比如，若针对语音识别模块中的模型改进使得语音识别更准确，但是由于意图理解的结果没有变化或者变得糟糕，导致最终与用户交互的效果没有变化或者变差。
所以，在本申请实施例中，直接根据第一输出结果和第二输出结果的比对，来验证第一模型的效果，可以避免由于语音交互过程中其他环节的影响造成，最终与用户的交互效果的不确定性。作为一种示例，验证第一模型的效果的实现方式可以为，将第一输出结果和第二输出结果分别与该过程的真实值进行比对，来确定第一输出结果与第二输出结果是否正确。比如：若第一输出结果与真实值一致，而第二输出结果与真实值不一致，则说明当前第一模型的效果优于第二模型。
为了使上述实施例更易于理解，接下来将以示例的方式进行说明。举例而言，如图2所示，假如将语音交互系统中语音识别模块中的ASR模型进行改进，其中，ASR模型A是指目前语音交互系统中的线上ASR模型，ASR模型B是指改进后的ASR模型。若用户向智能语音机器人说：“我问下哪天可以到？”，此时语音会经过电话系统传递给MRCP(Media ResourceControl Protocol，媒体资源控制协议)，前期经过声学模型，判断各语音片段，经传递给下游的ASR模型A进行文字转写，同时也会将相同的语音片段传递给ASR模型B进行文字识别，只是ASR模型B的输出结果不进入后面的意图理解模块。将ASR模型A和ASR模型B得到的输出结果，进行对比分析，来确定ASR模型B的效果。
在本申请的一些实施例中，由于会有一定数量的智能语音机器人参与模型验证试验，所以每个智能语音机器人在与用户互动的时候均会得到第一输出结果和第二输出结果，也就是说，每个智能语音机器人在与用户互动的时候均会得到对应的第一模型的验证结果。为了保证最终验证结果的准确性，需要根据所有的验证结果分析汇总后，确定第一模型的最终验证结果。作为一种可能的实现方式，参与验证的智能语音机器人在得到第一模型的验证结果后，均会将第一模型的验证结果发送至结果统计平台，由结果统计平台对验证结果进行统计分析，以及数据的监控。
在本申请的一些实施例中，经过结果统计平台对验证结果进行统计分析，若统计后第一模型的最终验证结果优于第二模型，则该平台会向智能语音机器人发送模型切换信息，智能语音机器人在收到模型切换信息后，将线上语音系统中的第二模型切换为第一模型。
此外，针对在线实施方式，结果统计平台可以实时对模型的验证结果进行统计分析，所以也可以根据统计结果来对参与试验的智能语音机器人的数据进行调整。比如：若针对某模型改进的验证中，结果统计平台得到的数据量较少，不利于验证结果的统计分析，此时可以增大参与试验的智能语音机器人的数量，以增加数据量，同时也可以提高验证的准确性。
作为另一种可能实现的方式，参与试验的智能语音机器人可以将其得到第一输出结果和第二输出结果直接发送给结果统计平台，由结果统计平台针对得到的输出结果进行对比分析，得到第一模型的最终验证结果。
由于以上方法可以采用离线的实施方式，在离线实施时需要将相关的数据信息进行存储，同时针对离线实施的数据信息可以重复利用，在实际实施时可以根据实际情况来确定实施方式。
需要说明的是，本申请实施例提出的效果优化方法也可以用于除模型改进之外的其他环节的效果验证，比如策略调整或者某个配置的调整等。
根据本申请实施例提出的智能语音机器人交互效果优化方法，针对智能语音机器人语音交互系统中的模型改进，将改进后的模型与未改进的模型并行，也就是说，在机器人语音交互过程中调用未改进的模型时，会同时运行未改进和改进后的模型，从而可以针对模型的输出结果进行对比验证。本申请的方法解决了现有AB测试在智能语音机器人优化过程中的问题，由于使改进的模型与系统中对应未改进的模型并行运行，可以避免由于真实环境因素对模型验证的影响，使模型效果的对比可以在完全相同的条件下进行，从而可以提高模型效果验证的准确性，也可以减少数据指标的波动性。
为了进一步对验证第一模型效果的实现方式进行介绍，本申请提出了另一个实施例。
图3为本申请实施例提出的关于验证第一模型效果的流程图。如图3所示，验证第一模型效果的实现过程可以包括：
步骤301，获取语音信息的标注结果。
在本申请实施例中，语音信息的标注结果为用户的语音信息对应的真实结果，此处需要人工介入。比如：智能语音机器人获得用户的语音信息后，会将该语音信息发送给对应的工作人员的信息接收终端，工作人员针对收到的语音信息将其对应的真实结果返给对应的智能语音机器人。
步骤302，将第一输出结果和第二输出结果分别与标注结果进行比对，得到第一输出结果对应的第一比对结果和第二输出结果对应的第二比对结果。
在本申请实施例中，将第一输出结果和第二输出结果分别与标注结果进行比对，可以确定第一输出结果和第二输出结果与标注结果的差异，即第一比对结果和第二比对结果。
步骤303，根据第一比对结果和第二比对结果，确定第一模型的效果验证结果。
举例而言，若第一比对结果表示第一输出结果与标注结果一致，且第二对比结果表示第二输出结果与标注结果不一致，则说明第一模型的输出结果正确而第二模型的输出结果错误，也就是说，第一模型的效果优于第二模型。
其中，第一模型的效果验证结果中可以包括第一输出结果和第二输出结果分别与标注结果的差异，也可以包括第一输出结果和第二输出结果的内容，也可以包括其他有利于验证结果统计分析的数据，其具体的内容及形式可根据实际情况而定，本申请对此不作限定。
根据本申请实施例提出的智能语音机器人交互效果优化方法，将改进后的模型输出结果和未改进的模型输出结果分别与标注结果进行比对，可以实时获取对应的比对结果，即可以确定该条数据对应的改进后的模型的效果，进而使结果统计平台可以实时监控模型的验证进程及结果分析。
可以理解，若第一输出结果和第二输出结果一致，则说明模型的改进前后并没有区别，所以此类数据可以不用于模型的验证计算。为了降低模型验证的计算量，本申请针对模型验证过程提出了另一个实施例。
图4为本申请实施例提出的另一个关于验证第一模型效果的流程图。如图4所示，验证第一模型效果的实现过程包括：
步骤401，获取语音信息的标注结果。
步骤402，判断第一输出结果与第二输出结果是否一致。
可以理解，若第一输出结果和第二输出结果一致，则说明模型的改进前后对输出结果并没有改变，也就是说，不管第一输出结果和第二输出结果是否与标注结果一致，其输出结果的比对分析对模型的验证过程均没有作用，所以针对第一输出结果和第二输出结果一致的数据，可以不进行后续的比对计算。
步骤403，响应于第一输出结果与第二输出结果不一致时，将第一输出结果作为第一目标输出结果，将第二输出结果作为第二目标输出结果。
步骤404，将第一目标输出结果和第二目标输出结果分别与标注结果进行比对，得到第一输出结果对应的第一比对结果和第二输出结果对应的第二比对结果。
也就是说，只针对第一输出结果和第二输出结果不一致时，才执行与标注结果的比对，从而可以减少比对计算的资源浪费。针对第一输出结果和第二输出结果一致的数据，可以直接发送给结果统计平台，以计算整体试验过程中的样本量。
步骤405，根据第一比对结果和第二比对结果，确定第一模型的效果验证结果。
根据本申请实施例提出的智能语音机器人交互效果优化方法，在数据比对前，增加了第一输出结果和第二输出结果是否一致的判断，从而只针对第一输出结果和第二输出结果不一致的数据进行对比分析，可以有效地降低比对分析的计算消耗，也可以有助于提高模型验证的效率。
由于语音交互的过程中，各模块上下游有依赖关系，所以一个模型的改进即使其输出结果的准确率有提高，但是在整个对话过程中来说，其改进可能对整个对话过程并没有直接的效果。所以为了进一步地对模型进行验证，提高模型验证的准确率，本申请提出了又一个实施例。
图5为本申请实施例提出的另一种智能语音机器人交互效果优化方法的流程图。图6为该方法对应的结构示意图，如图6所示，在该智能语音机器人的语音交互系统种包括对话管理模块，此外还包括语音识别模块、意图理解模块和语音合成模块。也就是说，针对改进后模型的输出结果，可以根据语音交互的流程继续向后续环节传递，直到意图理解模块。根据意图理解模块的输出结果进行分析，相当于将模型的改进效果在整个对话过程中来进行效果分析，可以进一步提高模型优化效果验证的准确率，也可以减少验证的波动性。如图5所示，在上述实施例的基础上，该方法还包括：
步骤505，根据第一输出结果，获取对话管理模块的第一反馈结果。
为了验证第一模型在整个对话过程中的效果，在本申请实施例中，将第一输出结果按照语音交互的过程继续向后续环节传递，直至到对话管理模块的输出为止。也就是说，后续每个语音交互环节中都会得到一个第一模型对应的结果，直至得到对话管理模块的输出结果后，该输出结果将不再向后续环节传递。其中，对话管理模块的输出结果为第一反馈结果。
步骤506，根据第二输出结果，获取对话管理模块的第二反馈结果。
可以理解，由于第二模型是线上语音交互系统中使用的模型，所以由第二模型得到的第二输出结果会向语音交互过程中的后续环节传递，直至机器人完成针对用户语音信息的回答为止。在本申请实施例中，将调用第二模型后，由对话管理模块输出的结果作为第二反馈结果。
需要说明的是，在语音交互过程中，第一输出结果向后续环节传递时，每个环节均会得到一个输出结果，同时第二输出结果向后续环节传递时，每个环节也会得到一个输出结果。为了便于统计分析，可以将这两种情况下每个环节中得到的输出结果进行比对记录，比如diff记录。
步骤507，根据第一输出结果、第二输出结果、第一反馈结果和第二反馈结果，验证第一模型的效果。
为了进一步地确定该模型改进对整个对话过程中的效果如何，不仅需要根据第一输出结果和第二输出结果对模型改进进行效果验证，还需要根据第一反馈结果和第二反馈结果进一步地对模型效果进行验证。其中，根据第一输出结果和第二输出结果来验证第一模型的效果可以根据上述实施例的方式进行。根据第一反馈结果和第二反馈结果进一步对第一模型的效果进行验证，其具体的实现方式可以为：获取用户语音信息对应的真实回答内容，此处需要人工介入进行标注；将真实的回答内容与第二反馈结果进行比对，若一致，说明使用第二模型得到的第二反馈结果正确，从而可以直接判断第一反馈结果是否正确，从而进一步地判断模型的效果；若第二反馈结果与真实的回答内容不一致，则说明使用第二模型得到的第二反馈结果不正确，此时再判断第一反馈结果是否正确，从而进一步地判断模型的效果。需要说明的是，针对与用户的第一次对话过程中，若第二模型对应的对话管理模块的第二反馈结果错误，此时针对第一模型的输出判断会更有价值，因为错误流程导致的后续会话会完全不同，相较第一模型可能完全无法模拟。
在本申请实施例中，若仅根据第一输出结果和第二输出结果得到的第一模型效果并不优于第二模型，但是根据第一反馈结果和第二反馈结果得到的第一模型效果优于第二模型，则说明第一模型在整个对话过程中是有效果的，所以综合上述，得到的第一模型的效果是优于第二模型的，从而可以进一步地对第一模型进行验证，提高模型验证的准确率。
其中，图5中步骤501-504与图1中步骤101-104的实现方式一致，此处不再赘述。
为了使上述实施例更易于理解，接下来将以示例的方式进行说明。举例而言，如图7所示，假如将语音交互系统中语音识别模块中的ASR模型进行改进，其中，ASR模型A是指目前语音交互系统中的线上ASR模型，ASR模型B是指改进后的ASR模型。若用户向智能语音机器人说：“我问下哪天可以到？”，此时语音会经过电话系统传递给MRCP，前期经过声学模型，判断各语音片段，经传递给下游的ASR模型A进行文字转写，同时也会将相同的语音片段传递给ASR模型B进行文字识别；其中ASR模型A得到的结果为“我问下哪天可以送货”，ASR模型B得到的结果为“我问下哪天可以送到”，并将得到的输出结果继续向意图理解模块输入，通过意图理解模块对这两个输入信息的理解，分别输出ASR模型A的结果对应的开始送货时间和ASR模型B的结果对应的送到时间；意图理解模块的输出结果分别输入到对话管理模块进行数据查询并回答用户，得到ASR模型A和ASR模型B对应的回答语句；若ASR模型A和ASR模型B对应的回答语句一致且均符合真实结果，则说明ASR模型B的改进虽然使文字转写更准确，但是对整个对话来说并没有明显效果；若ASR模型A对应的回答语句为“送货时间为XXX“，而ASR模型B对应为“送到时间为XXX“，则说明ASR模型B的对整个对话来说有明显效果；其中ASR模型A和ASR模型B的输出结果及后续环节中的输出结果均会进行存储，便于后续的分析，确定和ASR模型B的效果。
根据本申请实施例提出的智能语音机器人交互效果优化方法，针对智能语音机器人语音交互系统中的模型改进，将改进后的模型的输出结果继续向后续语音交互的模块传递，根据对话管理模块针对改进后模型和未改进模型的回答语句的输出，确定模型的改进对整个对话流程的效果，从而可以进一步地验证模型改进后的效果，进而可以提高模型效果验证的准确性，也可以减少数据指标的波动性。
为了实现上述实施例，本申请提出了一种智能语音机器人交互效果优化装置。
图8为本申请实施例提出的一种智能语音机器人交互效果优化装置的结构框图。如图8所示，该装置包括：
确定模块810，用于确定语音交互系统中经过改进的第一模型和与第一模型对应的未改进的第二模型；
第一获取模块820，用于获取用户的语音信息；
第二获取模块830，用于根据语音信息获取第一模型和第二模型的输入信息；
第三获取模块840，用于在调用第二模型时，将输入信息分别输入至第一模型和第二模型，获得第一模型的第一输出结果和第二模型的第二输出结果；
验证模块850，用于根据第一输出结果和第二输出结果，验证第一模型的效果。
在本申请的一些实施例中，验证模块850包括：
获取单元851，用于获取语音信息的标注结果；
比对单元852，用于将第一输出结果和第二输出结果分别与标注结果进行比对，得到第一输出结果对应的第一比对结果和第二输出结果对应的第二比对结果；
确定单元853，用于根据第一比对结果和第二比对结果，确定第一模型的效果验证结果。
其中，比对单元852具体用于：
判断第一输出结果与第二输出结果是否一致；
响应于第一输出结果与第二输出结果不一致时，将第一输出结果作为第一目标输出结果，将第二输出结果作为第二目标输出结果；
将第一目标输出结果和第二目标输出结果分别与标注结果进行比对，得到第一输出结果对应的第一比对结果和第二输出结果对应的第二比对结果。
根据本申请实施例提出的智能语音机器人交互效果优化装置，针对智能语音机器人语音交互系统中的模型改进，将改进后的模型与未改进的模型并行，也就是说，在机器人语音交互过程中调用未改进的模型时，会同时运行未改进和改进后的模型，从而可以针对模型的输出结果进行对比验证。本申请的方法解决了现有AB测试在智能语音机器人优化过程中的问题，由于使改进的模型与系统中对应未改进的模型并行运行，可以避免由于真实环境因素对模型验证的影响，使模型效果的对比可以在完全相同的条件下进行，从而可以提高模型效果验证的准确性，也可以减少数据指标的波动性。
为了进一步地提高模型效果验证的准确率，本申请实施例提出了另一种智能语音机器人交互效果优化装置。
图9为本申请实施例提出的另一种智能语音机器人交互效果优化装置的结构框图。如图9所示，在上述实施例的基础上，该装置还包括：
第四获取模块960，用于根据第一输出结果，获取对话管理模块的第一反馈结果；
第五获取模块970，用于根据第二输出结果，获取对话管理模块的第二反馈结果；
其中，验证模块950用于：
根据第一输出结果、第二输出结果、第一反馈结果和第二反馈结果，验证第一模型的效果。
可选地，在本申请的一些实施例中，该装置还可包括：
替换模块980，用于在第一模型的效果达到预期时，将线上语音交互系统中的第二模型替换为第一模型。
其中，图9中910-950和图8中810-850具有相同功能和结构，此处不再赘述。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
根据本申请实施例提出的智能语音机器人交互效果优化装置，针对智能语音机器人语音交互系统中的模型改进，将改进后的模型的输出结果继续向后续语音交互的模块传递，根据对话管理模块针对改进后模型和未改进模型的回答语句的输出，确定模型的改进对整个对话流程的效果，从而可以进一步地验证模型改进后的效果，进而可以提高模型效果验证的准确性，也可以减少数据指标的波动性。
根据本申请的实施例，本申请还提供了一种智能语音机器人和一种可读存储介质。
如图10所示，智能语音机器人可以包括以下一个或多个组件：处理组件1002，存储器1004，电源组件1006，多媒体组件10010，音频组件1010，输入/输出(I/O)的接口1012，传感器组件1014，以及通信组件1016。
处理组件1002通常控制智能语音机器人的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1002可以包括一个或多个处理器1020来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1002可以包括一个或多个模块，便于处理组件1002和其他组件之间的交互。例如，处理组件1002可以包括多媒体模块，以方便多媒体组件1008和处理组件1002之间的交互。
存储器1004被配置为存储各种类型的数据以支持在智能语音机器人的操作。这些数据的示例包括用于在智能语音机器人上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1004可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件1006为智能语音机器人的各种组件提供电力。电源组件1006可以包括电源管理系统，一个或多个电源，及其他与为电子设备1000生成、管理和分配电力相关联的组件。
多媒体组件1008包括在所述智能语音机器人和用户之间的提供一个输出接口的触控显示屏。在一些实施例中，触控显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
音频组件1010被配置为输出和/或输入音频信号。例如，音频组件1010包括一个麦克风(MIC)，当智能语音机器人处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1004或经由通信组件1016发送。在一些实施例中，音频组件1010还包括一个扬声器，用于输出音频信号。
I/O接口1012为处理组件1002和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1014包括一个或多个传感器，用于为智能语音机器人提供各个方面的状态评估。例如，传感器组件1014可以检测到智能语音机器人的打开/关闭状态，组件的相对定位，例如所述组件为智能语音机器人的显示器和小键盘，传感器组件1014还可以检测智能语音机器人或智能语音机器人一个组件的位置改变，用户与智能语音机器人接触的存在或不存在，智能语音机器人方位或加速/减速和智能语音机器人的温度变化。传感器组件1014可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1014还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1014还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件1016被配置为便于智能语音机器人和其他设备之间有线或无线方式的通信。智能语音机器人可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件1016经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1016还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，智能语音机器人可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述智能语音机器人交互效果优化方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1004，上述指令可智能语音机器人的处理器1020执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由智能语音机器人的处理器执行时，使得智能语音机器人能够执行上述智能语音机器人交互效果优化方法。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (10)
1.一种智能语音机器人交互效果优化方法，其特征在于，包括：
确定语音交互系统中经过改进的第一模型和与所述第一模型对应的未改进的第二模型；
获取用户的语音信息；
根据所述语音信息获取所述第一模型和所述第二模型的输入信息；
在调用所述第二模型时，将所述输入信息分别输入至所述第一模型和所述第二模型，获得所述第一模型的第一输出结果和所述第二模型的第二输出结果；
根据所述第一输出结果和所述第二输出结果，验证所述第一模型的效果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一输出结果和所述第二输出结果，验证所述第一模型的效果，包括：
获取所述语音信息的标注结果；
将所述第一输出结果和所述第二输出结果分别与所述标注结果进行比对，得到所述第一输出结果对应的第一比对结果和所述第二输出结果对应的第二比对结果；
根据所述第一比对结果和所述第二比对结果，确定所述第一模型的效果验证结果。
3.根据权利要求2所述的方法，其特征在于，所述将所述第一输出结果和所述第二输出结果分别与所述标注结果进行比对，得到所述第一输出结果对应的第一比对结果和所述第二输出结果对应的第二比对结果，包括：
判断所述第一输出结果与所述第二输出结果是否一致；
响应于所述第一输出结果与所述第二输出结果不一致时，将所述第一输出结果作为第一目标输出结果，将所述第二输出结果作为第二目标输出结果；
将所述第一目标输出结果和所述第二目标输出结果分别与所述标注结果进行比对，得到所述第一输出结果对应的第一比对结果和所述第二输出结果对应的第二比对结果。
4.根据权利要求1所述的方法，其特征在于，所述语音交互系统包括对话管理模块，该方法还包括：
根据所述第一输出结果，获取所述对话管理模块的第一反馈结果；
根据所述第二输出结果，获取所述对话管理模块的第二反馈结果；
其中，所述根据所述第一输出结果和所述第二输出结果，验证所述第一模型的效果，包括：
根据所述第一输出结果、所述第二输出结果、所述第一反馈结果和所述第二反馈结果，验证所述第一模型的效果。
5.根据权利要求1至4中任一项所述的方法，其特征在于，还包括：
在所述第一模型的效果达到预期时，将线上语音交互系统中的所述第二模型替换为所述第一模型。
6.一种智能语音机器人交互效果优化装置，其特征在于，包括：
确定模块，用于确定语音交互系统中经过改进的第一模型和与所述第一模型对应的未改进的第二模型；
第一获取模块，用于获取用户的语音信息；
第二获取模块，用于根据所述语音信息获取所述第一模型和所述第二模型的输入信息；
第三获取模块，用于在调用所述第二模型时，将所述输入信息分别输入至所述第一模型和所述第二模型，获得所述第一模型的第一输出结果和所述第二模型的第二输出结果；
验证模块，用于根据所述第一输出结果和所述第二输出结果，验证所述第一模型的效果。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第四获取模块，用于根据所述第一输出结果，获取对话管理模块的第一反馈结果；其中，所述语音交互系统包括所述对话管理模块；
第五获取模块，用于根据所述第二输出结果，获取所述对话管理模块的第二反馈结果；
其中，所述验证模块用于：
根据所述第一输出结果、所述第二输出结果、所述第一反馈结果和所述第二反馈结果，验证所述第一模型的效果。
8.根据权利要求6至7中任一项所述的装置，其特征在于，还包括：
替换模块，用于在所述第一模型的效果达到预期时，将线上所述语音交互系统中的所述第二模型替换为所述第一模型。
9.一种智能语音机器人，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1－5中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1－5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110845176.7A CN113608664A (zh) | 2021-07-26 | 2021-07-26 | 智能语音机器人交互效果优化方法、装置及智能机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110845176.7A CN113608664A (zh) | 2021-07-26 | 2021-07-26 | 智能语音机器人交互效果优化方法、装置及智能机器人 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113608664A true CN113608664A (zh) | 2021-11-05 |
Family
ID=78305412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110845176.7A Pending CN113608664A (zh) | 2021-07-26 | 2021-07-26 | 智能语音机器人交互效果优化方法、装置及智能机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113608664A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109360550A (zh) * | 2018-12-07 | 2019-02-19 | 上海智臻智能网络科技股份有限公司 | 语音交互系统的测试方法、装置、设备和存储介质 |
| CN109545185A (zh) * | 2018-11-12 | 2019-03-29 | 百度在线网络技术（北京）有限公司 | 交互系统评价方法、评价系统、服务器及计算机可读介质 |
| CN110085210A (zh) * | 2019-03-15 | 2019-08-02 | 平安科技（深圳）有限公司 | 交互信息测试方法、装置、计算机设备及存储介质 |
| KR20190104280A (ko) * | 2019-08-20 | 2019-09-09 | 엘지전자 주식회사 | 지능적 음성 인식 방법, 음성 인식 장치 및 지능형 컴퓨팅 디바이스 |
| US20200013395A1 (en) * | 2019-08-20 | 2020-01-09 | Lg Electronics Inc. | Intelligent voice recognizing method, apparatus, and intelligent computing device |
| CN111667818A (zh) * | 2020-05-27 | 2020-09-15 | 北京声智科技有限公司 | 一种训练唤醒模型的方法及装置 |
| CN111739519A (zh) * | 2020-06-16 | 2020-10-02 | 平安科技（深圳）有限公司 | 基于语音识别的对话管理处理方法、装置、设备及介质 |
| CN111951788A (zh) * | 2020-08-10 | 2020-11-17 | 百度在线网络技术（北京）有限公司 | 一种语言模型的优化方法、装置、电子设备及存储介质 |
| CN112384974A (zh) * | 2018-09-20 | 2021-02-19 | 三星电子株式会社 | 电子装置和用于提供或获得用于训练电子装置的数据的方法 |
| CN112435656A (zh) * | 2020-12-11 | 2021-03-02 | 平安科技（深圳）有限公司 | 模型训练方法、语音识别方法、装置、设备及存储介质 |
-
2021
- 2021-07-26 CN CN202110845176.7A patent/CN113608664A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112384974A (zh) * | 2018-09-20 | 2021-02-19 | 三星电子株式会社 | 电子装置和用于提供或获得用于训练电子装置的数据的方法 |
| CN109545185A (zh) * | 2018-11-12 | 2019-03-29 | 百度在线网络技术（北京）有限公司 | 交互系统评价方法、评价系统、服务器及计算机可读介质 |
| CN109360550A (zh) * | 2018-12-07 | 2019-02-19 | 上海智臻智能网络科技股份有限公司 | 语音交互系统的测试方法、装置、设备和存储介质 |
| CN110085210A (zh) * | 2019-03-15 | 2019-08-02 | 平安科技（深圳）有限公司 | 交互信息测试方法、装置、计算机设备及存储介质 |
| KR20190104280A (ko) * | 2019-08-20 | 2019-09-09 | 엘지전자 주식회사 | 지능적 음성 인식 방법, 음성 인식 장치 및 지능형 컴퓨팅 디바이스 |
| US20200013395A1 (en) * | 2019-08-20 | 2020-01-09 | Lg Electronics Inc. | Intelligent voice recognizing method, apparatus, and intelligent computing device |
| CN111667818A (zh) * | 2020-05-27 | 2020-09-15 | 北京声智科技有限公司 | 一种训练唤醒模型的方法及装置 |
| CN111739519A (zh) * | 2020-06-16 | 2020-10-02 | 平安科技（深圳）有限公司 | 基于语音识别的对话管理处理方法、装置、设备及介质 |
| CN111951788A (zh) * | 2020-08-10 | 2020-11-17 | 百度在线网络技术（北京）有限公司 | 一种语言模型的优化方法、装置、电子设备及存储介质 |
| CN112435656A (zh) * | 2020-12-11 | 2021-03-02 | 平安科技（深圳）有限公司 | 模型训练方法、语音识别方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 楼海华;: "基于语音控制的智能人机交互助手的关键技术研究", 计算机产品与流通, no. 12 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10964325B2 (en) | Asynchronous virtual assistant | |
| CN109801644B (zh) | 混合声音信号的分离方法、装置、电子设备和可读介质 | |
| CN106201424B (zh) | 一种信息交互方法、装置及电子设备 | |
| CN104951335B (zh) | 应用程序安装包的处理方法及装置 | |
| CN111261144A (zh) | 一种语音识别的方法、装置、终端以及存储介质 | |
| CN111461304B (zh) | 分类神经网络的训练方法、文本分类方法、装置及设备 | |
| CN107564526B (zh) | 处理方法、装置和机器可读介质 | |
| CN109819288B (zh) | 广告投放视频的确定方法、装置、电子设备及存储介质 | |
| CN110619873A (zh) | 音频处理方法、装置及存储介质 | |
| CN111742311A (zh) | 智能助理方法 | |
| CN115840841A (zh) | 多模态对话方法、装置、设备及存储介质 | |
| CN111414772A (zh) | 一种机器翻译方法、装置及介质 | |
| CN108597499A (zh) | 语音处理方法以及语音处理装置 | |
| CN112035651A (zh) | 语句补全方法、装置及计算机可读存储介质 | |
| CN113608664A (zh) | 智能语音机器人交互效果优化方法、装置及智能机器人 | |
| WO2022213943A1 (zh) | 消息发送方法、消息发送装置、电子设备和存储介质 | |
| CN109285545A (zh) | 信息处理方法及装置 | |
| CN113115104B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN111667827B (zh) | 应用程序的语音控制方法、装置及存储介质 | |
| CN115547333A (zh) | 语言识别模型的生成方法、生成装置、系统、设备及介质 | |
| CN115393932A (zh) | 基于微表情的视频面签处理方法、装置、系统及存储介质 | |
| CN111400443B (zh) | 信息处理方法、装置及存储介质 | |
| CN116415595A (zh) | 对话意图识别方法、系统和存储介质 | |
| CN114462410A (zh) | 实体识别方法、装置、终端及存储介质 | |
| CN114090738A (zh) | 场景数据信息确定的方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |