CN111145737A - 语音测试方法、装置和电子设备 - Google Patents
语音测试方法、装置和电子设备 Download PDFInfo
- Publication number
- CN111145737A CN111145737A CN201811313452.XA CN201811313452A CN111145737A CN 111145737 A CN111145737 A CN 111145737A CN 201811313452 A CN201811313452 A CN 201811313452A CN 111145737 A CN111145737 A CN 111145737A
- Authority
- CN
- China
- Prior art keywords
- test
- text
- voice
- unit
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010998 test method Methods 0.000 title description 5
- 238000012360 testing method Methods 0.000 claims abstract description 342
- 238000000034 method Methods 0.000 claims abstract description 46
- 230000004044 response Effects 0.000 claims abstract description 42
- 238000006243 chemical reaction Methods 0.000 claims abstract description 30
- 238000005516 engineering process Methods 0.000 claims abstract description 29
- 238000004891 communication Methods 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000003058 natural language processing Methods 0.000 claims description 9
- 238000013461 design Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000009193 crawling Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种语音测试方法、装置和电子设备。该方法在接收包括测试特征的语音测试指令后,查找测试用例库,获取测试特征对应的特征文件,测试用例库用于存储至少一个特征文件和每个特征文件对应的至少一个测试文本,并对特征文件中的至少一个测试文本,采用文语转换技术,转换为至少一个测试语音后,播放至少一个测试语音;在待测试的语音识别系统根据至少一个测试语音输出的相应响应结果后,将存储的至少一个测试文本对应的预期结果与相应的响应结果进行关键信息比对;若比对结果一致,则确定语音测试成功。该方法实现了多个特征文件和测试用例的自动生成,支持批量执行测试用例,并提升测试用例的设计效率,减少测试时间。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种语音测试方法、装置和电子设备。
背景技术
语音识别(Automatic speech recognition,ASR)是从语音波形中识别出对应的文字内容的技术。目前,语音识别技术己应用于各场景,例如,导航系统中利用语音识别技术识别用户的语音输入命令;搜索引擎或电商平台中利用语音识别技术识别用户语音输入的搜索关键字;利用语音识别技术识别用户输入的语音实现机器人对话等场景。针对语音识别系统在上线使用前,均需要对该语音识别系统进行测试,也就是对语音识别系统的识别准确率进行测试,从而根据测试结果确定当前语音识别系统是否达到上线使用标准,并可根据识别准确率对语音识别系统进行适当的改进。现有的语音测试方法主要分为人工测试和自动化测试。
人工测试由发音人面对收音设备诵读测试语料,依据收音设备响应内容,人工判断测试结果,然而,这种测试方式存在测试内容受发音人情绪、清晰度、语言标准性影响较大,且难以批量执行。
现有的自动化测试是将输入的语音测试指令与存储的关键字集进行匹配,识别该语音测试指令中的关键字,以生成测试用例,执行测试并输出测试结果。
然而,发明人发现自动化测试相较于人工测试,虽然避免了人工测试出现的上述问题,但现有的自动化测试使用的测试用例是人为设定的,测试用例的应用场景种类会因人而异,导致测试用例的应用场景不全面,降低用户体验。
发明内容
本申请实施例提供一种语音测试方法、装置和电子设备,以用于解决现有技术的上述问题,丰富了测试用例的应用场景,提高了用户体验。
第一方面,提供了一种语音测试方法,该方法包括:
接收语音测试指令,所述语音测试指令包括测试特征;
查找测试用例库,获取所述测试特征对应的特征文件,所述测试用例库用于存储至少一个特征文件和每个特征文件对应的至少一个测试文本;
将所述特征文件对应的至少一个测试文本,采用文语转换技术,转换为至少一个测试语音;
播放所述至少一个测试语音;
接收待测试的语音识别系统根据所述至少一个测试语音输出的相应响应结果;
将存储的所述至少一个测试文本对应的预期结果与相应的响应结果进行关键信息比对;若比对结果一致,则确定语音测试成功。
在一个可选的实现中,查找测试用例库之前,该方法包括:
根据预设的特征,从存储的日志中选取至少一个文本;
创建所述预设的特征对应的特征文件,所述特征文件包括选取的所述至少一个文本。
在一个可选的实现中,所述存储的日志包括当前用户日志和历史测试日志。
在一个可选的实现中,查找测试用例库之前,所述方法包括:
采用预设爬虫算法,周期性采集目标网页上的至少一个数据信息,所述至少一个数据信息包括至少一个文本和所述至少一个文本对应的文本特征;
创建所述文本特征对应的特征文件,所述特征文件包括所述至少一个文本。
在一个可选的实现中,采集目标网页上的数据信息之后,所述方法包括:
对所述至少一个文本对应的文本特征,采用预设匹配算法,得到匹配后的文本特征;
对匹配后的文本特征对应的至少一个文本,采用去重处理,获取去重后的至少一个文本;
创建所述匹配后的文本特征对应的特征文件,所述特征文件包括所述去重后的至少一个文本。
第二方面,提供了一种语音测试方法,该方法包括:
接收播放的至少一个测试语音,所述至少一个测试语音是将存储的目标特征文件对应的至少一个测试文本采用文语转换技术转换得到的;
将所述至少一个测试语音中的每个测试语音,采用语音识别技术,转换为语音测试文本;
对所述语音测试文本,采用自然语言处理进行语义解析,得到所述语音测试文本的响应结果;
输出所述响应结果。
第三方面,提供了一种语音测试装置,该装置包括:接收单元、查找单元、第一转换单元、播放单元、接收单元和比较单元;
所述接收单元,用于接收语音测试指令,所述语音测试指令包括测试特征;
所述查找单元,用于查找测试用例库,获取所述测试特征对应的特征文件,所述测试用例库用于存储至少一个特征文件和每个特征文件对应的至少一个测试文本;
所述第一转换单元,用于将所述特征文件对应的至少一个测试文本,采用文语转换技术,转换为至少一个测试语音;
所述播放单元,用于播放所述至少一个测试语音;
所述接收单元,用于接收待测试的语音识别系统根据所述至少一个测试语音输出的相应响应结果;
所述比较单元,用于将存储的所述至少一个测试文本对应的预期结果与相应的响应结果进行关键信息比对;若比对结果一致,则确定语音测试成功。
在一个可选的实现中,所述装置还包括选取单元和第一创建单元;
所述选取单元,用于根据预设的特征,从存储的日志中选取至少一个文本;
所述第一创建单元,用于创建所述预设的特征对应的特征文件,所述特征文件包括选取的所述至少一个文本。
在一个可选的实现中,所述存储的日志包括当前用户日志和历史测试日志。
在一个可选的实现中,所述装置还包括采集单元和第二创建单元;
所述采集单元,用于采用预设爬虫算法,周期性采集目标网页上的至少一个数据信息,所述至少一个数据信息包括至少一个文本和所述至少一个文本对应的文本特征;
所述第二创建单元,用于创建所述文本特征对应的特征文件,所述特征文件包括所述至少一个文本。
在一个可选的实现中,所述装置还包括运算单元和去重单元;
所述运算单元,用于对所述至少一个文本对应的文本特征,采用预设匹配算法,得到匹配后的文本特征;
所述去重单元,用于对匹配后的文本特征对应的至少一个文本,采用去重处理,获取去重后的至少一个文本;
所述第二创建单元,具体用于创建所述匹配后的文本特征对应的特征文件,所述特征文件包括所述去重后的至少一个文本。
第四方面,提供了一种语音测试装置,所述装置包括:接收单元、第二转换单元、解析单元和输出单元;
所述接收单元,用于接收播放的至少一个测试语音,所述至少一个测试语音是将存储的目标特征文件对应的至少一个测试文本采用文语转换技术转换得到的;
所述第二转换单元,用于将所述至少一个测试语音中的每个测试语音,采用语音识别技术,转换为语音测试文本;
所述解析单元,用于对所述语音测试文本,采用自然语言处理进行语义解析,得到所述语音测试文本的响应结果;
所述输出单元,用于输出所述响应结果。
第五方面,提供了一种电子设备,该电子设备包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述第一方面中任一所述的方法步骤或上述第二方面中任一项上所述的方法步骤。
第六方面,提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面中任一所述的方法步骤或上述第二方面中任一所述的方法步骤。
本发明实施例在接收包括测试特征的语音测试指令后,查找测试用例库,获取测试特征对应的特征文件,测试用例库用于存储至少一个特征文件和每个特征文件对应的至少一个测试文本,并对特征文件中的至少一个测试文本,采用文语转换技术,转换为至少一个测试语音后,播放至少一个测试语音;在待测试的语音识别系统根据至少一个测试语音输出的相应响应结果后,将存储的至少一个测试文本对应的预期结果与相应的响应结果进行关键信息比对;若比对结果一致,则确定语音测试成功。该方法实现了多个特征文件和测试用例的自动生成,支持批量执行测试用例,并提升测试用例的设计效率,减少测试时间。
附图说明
图1为本发明实施例提供的一种语音测试系统的结构示意图;
图2为本发明实施例提供的一种语音测试方法的流程示意图;
图3为图2中测试用例库静态配置方式的流程示意图;
图4为图2中测试用例库动态获取方式的流程示意图;
图5为本发明实施例提供的一种语音测试装置的结构示意图;
图6为本发明实施例提供的另一种语音测试装置的结构示意图;
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,并不是全部的实施例。基于本申请实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本发明实施例提供的语音测试方法可以应用在服务器上,也可以应用在终端上。为了保证测试的精确性,服务器是具有较强计算能力的应用服务器;终端可以是具有较强的计算能力的用户设备(User Equipment,UE)、具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备、移动台(Mobilestation,MS)等。
语音测试方法可以应用在图1所示的语音测试系统中,该测试系统可以包括待测试的语音识别设备和语音测试设备。
语音测试设备,用于通过存储的日志和/或预设爬虫算法,获取不同测试场景(或称“特征文件”)下的测试用例(或称“测试文本”),并进行存储。根据语音测试指令,启动测试语音,并向待测试的语音识别设备播放测试文本对应的测试语音。之后,通过判断待测试的语音识别设备输出的响应结果与存储的相应预期结果的一致性,确定语音测试是否成功。
其中,特征文件可以包括关键字文件、用户性别文件、新闻标题文件、用户技能文件、年龄文件等。其中,特征文件可以包括至少一个测试文本,存储的日志可以包括当前用户日志、历史测试日志等。
待测试的语音识别设备,用于接收播放的测试语音,并分析测试语音对应的语音测试文本,输出该语音测试文本的响应结果。
可见,该语音测试系统可以自动生成不同特征文件下的测试文本,减少了测试文本的设计工作量,提升语音测试效率,且通过自动播放控件,解决了测试人员人工播放音频效率不高的问题,提高了用户体验。
以下结合说明书附图对本申请的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明,并且在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
下面以语音测试系统为执行主体,对语音的测试过程进行详细描述。
图2为本发明实施例提供的一种语音测试方法的流程示意图。如图2所示,该方法可以包括:
步骤210、接收语音测试指令,语音测试指令包括测试特征。
语音测试设备接收语音测试指令,其中,语音测试指令包括测试特征,如关键字特征、用户性别特征、用户技能特征、用户年龄特征、语音测试失败特征、语音测试合格特征等。
步骤220、查找测试用例库,获取测试特征对应的特征文件,测试用例库用于存储至少一个特征文件和每个特征文件对应的至少一个测试文本。
测试用例库包括至少一个特征文件,每个特征文件包括至少一个测试文本,以用于语音测试。
在执行该步骤之前,语音测试设备需要创建测试用例库。创建测试用例库可以包括静态配置和动态获取两种方式,如图3所示,静态配置方式包括:
步骤310、配置预设爬取策略;
预设爬取策略可以包括预设爬虫算法、爬取周期和存在预设数据结构的目标网页。
其中,预设数据结构为存在至少两层数据结构。存在预设数据结构的目标网页为目标网页上的数据信息存在包含关系,如标题和内容的包含关系。
步骤320、采用预设爬取策略中的预设爬虫算法,周期性采集目标网页上的至少一个数据信息。
至少一个数据信息为包括至少一个文本和至少一个文本对应的文本特征的两层数据结构,并将两层数据结构以<key,value>格式进行存储,其中key为文本特征,value为文本。
其中,一个文本特征key可以包括至少一个文本value。如设key为“搜索”,value可以为“天气”、“交通”、“图片”、“文字”、“视频”等中的至少一个。
可选地,为了加快测试效率,需要保证文本特征对应的至少一个文本存在唯一性。
首先,对至少一个文本对应的文本特征key,采用预设匹配算法,得到匹配后的文本特征。该步骤实现了文本特征key的分类。
对至少一个文本对应的文本特征key进行两两匹配,采用分词的匹配算法比较两个文本特征中的字符串相似度Sim,将Sim值超过预设阈值λ的key定为同一类。其中,此预设阈值λ值为正数,其可根据实际结果进行变动。
将定为同一类的key中相同的子特征提取出来作为新的key,且两个原key各自关联的value重新关联到新key。相似度计算具体步骤如下:
(1)根据词库,对两个文本特征中的字符串分别采用双向最大匹配算法(Bi-directction Matching method,BM),得到切分结果为Res 1={S1,S2,S3……Sn}和Res 2={C1,C2,C3……Cm};
(2)计算Res 1和Res 2中子串的Hash值,以判断Sx和Cx是否相等。使用Jaccard相似系数计算出相似度Sim。
其次,对匹配后的文本特征key对应的至少一个文本value,采用去重处理,获取去重后的至少一个文本value。该步骤实现了文本value的合并。
将同一key下所有的value值进行匹配。考虑到要对语音识别准确性和技能的命中率进行测试,语音测试用例集主要考虑用例集的全面性,尽量不删除测试用例,value合并仅进行去重处理。
步骤330、创建匹配后的文本特征对应的特征文件,特征文件包括去重后的至少一个文本。
在存储至少一个特征文件,以及每个特征文件包括至少一个文本后,即可形成测试用例库。
如图4所示,动态获取方式包括:
步骤410、根据预设的特征,从存储的日志中选取至少一个文本。
存储的日志可以包括当前用户日志和历史测试日志。
当存储的日志为当前用户日志时,通过分析线上用户的使用日志,按照用户特征,自动生成各个文本特征key(或称“各个场景用例”)。具体可包括如下步骤:
(1)分析线上用户的使用日志。
(2)分别按照预设的性别特征、预设的年龄特征和预设的使用相应技能的时间段特征,选取相应使用技能的文本。
其中,性别、年龄和时间段是根据统计学方式筛选出的文本特征。根据用户的使用日志,筛选出各自对应的至少一种使用技能文本。
当存储的日志为历史测试日志时,通过分析历史测试日志,按照预设测试特征,自动生成各个文本特征key(或称“各个场景用例”)。具体可包括如下步骤:
(1)分析历史测试日志。
(2)分别按照预设的历史失败特征、预设的随机特征、预设的历史成功特征,选取相应特征对应的至少一个测试文本。
步骤420、创建预设的特征对应的特征文件,特征文件包括选取的至少一个文本。
回到步骤220,语音测试设备查找测试用例库中与该测试特征匹配的特征文件,获取匹配的特征文件,以及该特征文件对应的至少一个测试文本。
可选地,为了便于测试问题定位和相应的测试管理,可以对每个特征文件中的至少一个测试文本进行编号,以确定测试顺序。
在执行步骤220之后,对测试特征对应的特征文件中至少一个测试文本设置对应的预期结果,以便后续进行语音测试的准确性判决。
步骤230、将特征文件对应的至少一个测试文本,采用文语转换技术,转换为至少一个测试语音。
文语转换(Text to Speech,TTS)是一种将文字转换成语音的技术,它通常是根据设置的转换参数将文字转换成该文字对应的语音。转换参数包括以下至少一种类别:声库参数、语音特征参数、环境特征参数。
目标特征文件对应的至少一个测试文本中每个测试文本,采用文语转换技术,转换为相应的测试语音。
步骤240、播放至少一个测试语音。
通过播放控件播放至少一个测试文本的相应测试语音。
步骤250、将至少一个测试语音中的每个测试语音,采用语音识别技术,转换为语音测试文本。
步骤260、对语音测试文本,采用自然语言处理进行语义解析,得到语音测试文本的响应结果,并输出响应结果。
将语音测试文本采用自然语言处理(natural language processing,NLP)后,得到语音测试文本的执行信息,如service字段,根据service字段执行语音测试文本对应的功能操作后,向待测试的语音识别设备返回语音测试文本对应的响应结果,并输出该响应结果。
步骤270、将存储的至少一个测试文本对应的预期结果与相应的响应结果进行关键信息比对。
语音测试设备将存储的至少一个测试文本对应的预期结果与相应的响应结果进行关键信息比对;
若比对结果一致,则确定语音测试成功。
若存储的至少一个测试文本对应的预期结果与相应的响应结果进行关键信息比对结果不一致,则确定语音测试不成功。
可选地,为了进一步提高测试效率与测试的准确率,在执行该步骤前的文语转换阶段、语音识别阶段、语义解析阶段、返回响应结果阶段中每个阶段后,分别记录当前阶段的关键信息,关键信息可以包括该测试语音所属的特征文件、该特征文件中该测试语音的顺序标识、测试结果等信息。其中,该测试语音的顺序标识与特征文件中相应的测试文本的顺序标识一致。如以<特征文件ID、用例ID、用例测试阶段、测试结果>的方式进行存储,便于后续结果分析时,对该阶段操作结果进行分析判断。
在存储的至少一个测试文本对应的预期结果与相应的响应结果进行关键信息比对结果不一致时,根据获取各个测试阶段的关键信息,判断语音测试不成功的原因。
如获取语音识别阶段存储的该关键信息,将语音测试文本与该关键信息中该测试语音的顺序标识对应的测试文本进行关键信息比对,若不一致,则确定此阶段出现测试问题。
本发明上述方法在接收包括测试特征的语音测试指令后,查找测试用例库,获取测试特征对应的特征文件,测试用例库用于存储至少一个特征文件和每个特征文件对应的至少一个测试文本,并对特征文件中的至少一个测试文本,采用文语转换技术,转换为至少一个测试语音后,播放至少一个测试语音;在待测试的语音识别系统根据至少一个测试语音输出的相应响应结果后,将存储的至少一个测试文本对应的预期结果与相应的响应结果进行关键信息比对;若比对结果一致,则确定语音测试成功。该方法实现了多个特征文件和测试用例的自动生成,支持批量执行测试用例,并提升测试用例的设计效率,减少测试时间。
与上述方法对应的,本发明实施例还提供一种语音测试装置,如图5所示,该语音测试装置包括:接收单元501、查找单元502、第一转换单元503、播放单元504、接收单元505和比较单元506;
接收单元501,用于接收语音测试指令,所述语音测试指令包括测试特征;
查找单元502,用于查找测试用例库,获取所述测试特征对应的特征文件,所述测试用例库用于存储至少一个特征文件和每个特征文件对应的至少一个测试文本;
第一转换单元503,用于将所述特征文件对应的至少一个测试文本,采用文语转换技术,转换为至少一个测试语音;
播放单元504,用于播放至少一个测试语音;
接收单元505,用于接收待测试的语音识别系统根据至少一个测试语音输出的相应响应结果;
比较单元506,用于将存储的所述至少一个测试文本对应的预期结果与相应的响应结果进行关键信息比对;若比对结果一致,则确定语音测试成功。
在一个可选的实现中,所述装置还包括选取单元507和第一创建单元508;
选取单元507,用于根据预设的特征,从存储的日志中选取至少一个文本;
第一创建单元508,用于创建所述预设的特征对应的特征文件,所述特征文件包括选取的所述至少一个文本。
在一个可选的实现中,所述存储的日志包括当前用户日志和历史测试日志。
在一个可选的实现中,所述装置还包括采集单元509和第二创建单元510;
采集单元509,用于采用预设爬虫算法,周期性采集目标网页上的至少一个数据信息,所述至少一个数据信息包括至少一个文本和所述至少一个文本对应的文本特征;
第二创建单元510,用于创建所述文本特征对应的特征文件,所述特征文件包括所述至少一个文本。
在一个可选的实现中,所述装置还包括运算单元511和去重单元512;
运算单元511,用于对所述至少一个文本对应的文本特征,采用预设匹配算法,得到匹配后的文本特征;
去重单元512,用于对匹配后的文本特征对应的至少一个文本,采用去重处理,获取去重后的至少一个文本;
第二创建单元510,具体用于创建所述匹配后的文本特征对应的特征文件,所述特征文件包括所述去重后的至少一个文本。
本发明上述实施例提供的语音测试装置的各功能单元的功能,可以通过上述各方法步骤来实现,因此,本发明实施例提供的语音测试装置中的各个单元的具体工作过程和有益效果,在此不复赘述。
与上述方法对应的,本发明实施例还提供一种语音测试装置,如图6所示,该语音测试装置包括:接收单元601、第二转换单元602、解析单元603和输出单元604;
接收单元601,用于接收播放的至少一个测试语音,所述至少一个测试语音是将存储的目标特征文件对应的至少一个测试文本采用文语转换技术转换得到的;
第二转换单元602,用于将所述至少一个测试语音中的每个测试语音,采用语音识别技术,转换为语音测试文本;
解析单元603,用于对所述语音测试文本,采用自然语言处理进行语义解析,得到所述语音测试文本的响应结果;
输出单元604,用于输出所述响应结果。
本发明上述实施例提供的语音测试装置的各功能单元的功能,可以通过上述各方法步骤来实现,因此,本发明实施例提供的语音测试装置中的各个单元的具体工作过程和有益效果,在此不复赘述。
本发明实施例还提供了一种电子设备,如图7所示,包括处理器710、通信接口720、存储器730和通信总线740,其中,处理器710,通信接口720,存储器730通过通信总线740完成相互间的通信。
存储器730,用于存放计算机程序;
处理器710,用于执行存储器730上所存放的程序时,实现如下步骤:
接收语音测试指令,所述语音测试指令包括测试特征;
查找测试用例库,获取所述测试特征对应的特征文件,所述测试用例库用于存储至少一个特征文件和每个特征文件对应的至少一个测试文本;
将所述特征文件对应的至少一个测试文本,采用文语转换技术,转换为至少一个测试语音;
播放所述至少一个测试语音;
接收待测试的语音识别系统根据所述至少一个测试语音输出的相应响应结果;
将存储的所述至少一个测试文本对应的预期结果与相应的响应结果进行关键信息比对;若比对结果一致,则确定语音测试成功。
在一个可选的实现中,查找测试用例库之前,根据预设的特征,从存储的日志中选取至少一个文本;
创建所述预设的特征对应的特征文件,所述特征文件包括选取的所述至少一个文本。
在一个可选的实现中,所述存储的日志包括当前用户日志和历史测试日志。
在一个可选的实现中,查找测试用例库之前,采用预设爬虫算法,周期性采集目标网页上的至少一个数据信息,所述至少一个数据信息包括至少一个文本和所述至少一个文本对应的文本特征;
创建所述文本特征对应的特征文件,所述特征文件包括所述至少一个文本。
在一个可选的实现中,采集目标网页上的数据信息之后,所述方法包括:
对所述至少一个文本对应的文本特征,采用预设匹配算法,得到匹配后的文本特征;
对匹配后的文本特征对应的至少一个文本,采用去重处理,获取去重后的至少一个文本;
创建所述匹配后的文本特征对应的特征文件,所述特征文件包括所述去重后的至少一个文本。
或者,接收播放的至少一个测试语音,所述至少一个测试语音是将存储的目标特征文件对应的至少一个测试文本采用文语转换技术转换得到的;
将所述至少一个测试语音中的每个测试语音,采用语音识别技术,转换为语音测试文本;
对所述语音测试文本,采用自然语言处理进行语义解析,得到所述语音测试文本的响应结果;
输出所述响应结果。
上述提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
由于上述实施例中电子设备的各器件解决问题的实施方式以及有益效果可以参见图2-图4所示的实施例中的各步骤来实现,因此,本发明实施例提供的电子设备的具体工作过程和有益效果,在此不复赘述。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的语音测试方法。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的语音测试方法。
本领域内的技术人员应明白,本申请实施例中的实施例可提供为方法、系统、或计算机程序产品。因此,本申请实施例中可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例中可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例中是参照根据本申请实施例中实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例中的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例中范围的所有变更和修改。
显然,本领域的技术人员可以对本申请实施例中实施例进行各种改动和变型而不脱离本申请实施例中实施例的精神和范围。这样,倘若本申请实施例中实施例的这些修改和变型属于本申请实施例中权利要求及其等同技术的范围之内,则本申请实施例中也意图包含这些改动和变型在内。
Claims (14)
1.一种语音测试方法,其特征在于,所述方法包括:
接收语音测试指令,所述语音测试指令包括测试特征;
查找测试用例库,获取所述测试特征对应的特征文件,所述测试用例库用于存储至少一个特征文件和每个特征文件对应的至少一个测试文本;
将所述特征文件对应的至少一个测试文本,采用文语转换技术,转换为至少一个测试语音;
播放所述至少一个测试语音;
接收待测试的语音识别系统根据所述至少一个测试语音输出的相应响应结果;
将存储的所述至少一个测试文本对应的预期结果与相应的响应结果进行关键信息比对;若比对结果一致,则确定语音测试成功。
2.如权利要求1所述的方法,其特征在于,查找测试用例库之前,所述方法包括:
根据预设的特征,从存储的日志中选取至少一个文本;
创建所述预设的特征对应的特征文件,所述特征文件包括选取的所述至少一个文本。
3.如权利要求2所述的方法,其特征在于,所述存储的日志包括当前用户日志和历史测试日志。
4.如权利要求1所述的方法,其特征在于,查找测试用例库之前,所述方法包括:
采用预设爬虫算法,周期性采集目标网页上的至少一个数据信息,所述至少一个数据信息包括至少一个文本和所述至少一个文本对应的文本特征;
创建所述文本特征对应的特征文件,所述特征文件包括所述至少一个文本。
5.如权利要求4所述的方法,其特征在于,采集目标网页上的数据信息之后,所述方法包括:
对所述至少一个文本对应的文本特征,采用预设匹配算法,得到匹配后的文本特征;
对匹配后的文本特征对应的至少一个文本,采用去重处理,获取去重后的至少一个文本;
创建所述匹配后的文本特征对应的特征文件,所述特征文件包括所述去重后的至少一个文本。
6.一种语音测试方法,其特征在于,所述方法包括:
接收播放的至少一个测试语音,所述至少一个测试语音是将存储的目标特征文件对应的至少一个测试文本采用文语转换技术转换得到的;
将所述至少一个测试语音中的每个测试语音,采用语音识别技术,转换为语音测试文本;
对所述语音测试文本,采用自然语言处理进行语义解析,得到所述语音测试文本的响应结果;
输出所述响应结果。
7.一种语音测试装置,其特征在于,所述装置包括:
接收单元、查找单元、第一转换单元、播放单元、接收单元和比较单元;
所述接收单元,用于接收语音测试指令,所述语音测试指令包括测试特征;
所述查找单元,用于查找测试用例库,获取所述测试特征对应的特征文件,所述测试用例库用于存储至少一个特征文件和每个特征文件对应的至少一个测试文本;
所述第一转换单元,用于将所述特征文件对应的至少一个测试文本,采用文语转换技术,转换为至少一个测试语音;
所述播放单元,用于播放所述至少一个测试语音;
所述接收单元,用于接收待测试的语音识别系统根据所述至少一个测试语音输出的相应响应结果;
所述比较单元,用于将存储的所述至少一个测试文本对应的预期结果与相应的响应结果进行关键信息比对;若比对结果一致,则确定语音测试成功。
8.如权利要求7所述的装置,其特征在于,所述装置还包括选取单元和第一创建单元;
所述选取单元,用于根据预设的特征,从存储的日志中选取至少一个文本;
所述第一创建单元,用于创建所述预设的特征对应的特征文件,所述特征文件包括选取的所述至少一个文本。
9.如权利要求8所述的装置,其特征在于,所述存储的日志包括当前用户日志和历史测试日志。
10.如权利要求7所述的装置,其特征在于,所述装置还包括采集单元和第二创建单元;
所述采集单元,用于采用预设爬虫算法,周期性采集目标网页上的至少一个数据信息,所述至少一个数据信息包括至少一个文本和所述至少一个文本对应的文本特征;
所述第二创建单元,用于创建所述文本特征对应的特征文件,所述特征文件包括所述至少一个文本。
11.如权利要求10所述的装置,其特征在于,所述装置还包括运算单元和去重单元;
所述运算单元,用于对所述至少一个文本对应的文本特征,采用预设匹配算法,得到匹配后的文本特征;
所述去重单元,用于对匹配后的文本特征对应的至少一个文本,采用去重处理,获取去重后的至少一个文本;
所述第二创建单元,具体用于创建所述匹配后的文本特征对应的特征文件,所述特征文件包括所述去重后的至少一个文本。
12.一种语音测试装置,其特征在于,所述装置包括:
接收单元、第二转换单元、解析单元和输出单元;
所述接收单元,用于接收播放的至少一个测试语音,所述至少一个测试语音是将存储的目标特征文件对应的至少一个测试文本采用文语转换技术转换得到的;
所述第二转换单元,用于将所述至少一个测试语音中的每个测试语音,采用语音识别技术,转换为语音测试文本;
所述解析单元,用于对所述语音测试文本,采用自然语言处理进行语义解析,得到所述语音测试文本的响应结果;
所述输出单元,用于输出所述响应结果。
13.一种电子设备,其特征在于,所述电子设备包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存储的程序时,实现权利要求1-5或6任一所述的方法步骤。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-5或6任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811313452.XA CN111145737B (zh) | 2018-11-06 | 2018-11-06 | 语音测试方法、装置和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811313452.XA CN111145737B (zh) | 2018-11-06 | 2018-11-06 | 语音测试方法、装置和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111145737A true CN111145737A (zh) | 2020-05-12 |
CN111145737B CN111145737B (zh) | 2022-07-01 |
Family
ID=70515233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811313452.XA Active CN111145737B (zh) | 2018-11-06 | 2018-11-06 | 语音测试方法、装置和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111145737B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111694752A (zh) * | 2020-07-28 | 2020-09-22 | 中移(杭州)信息技术有限公司 | 应用测试方法、电子设备及存储介质 |
CN111933108A (zh) * | 2020-09-25 | 2020-11-13 | 蘑菇车联信息科技有限公司 | 一种智能网联终端智能语音交互系统自动化测试方法 |
CN111953764A (zh) * | 2020-08-07 | 2020-11-17 | 杭州国芯科技股份有限公司 | 人工智能语音算法自动化测试方法 |
CN112261214A (zh) * | 2020-10-21 | 2021-01-22 | 广东商路信息科技有限公司 | 网络语音通信自动化测试方法及系统 |
CN112420019A (zh) * | 2020-11-18 | 2021-02-26 | 青岛海尔科技有限公司 | 设备的测试方法及装置 |
CN112908357A (zh) * | 2021-01-19 | 2021-06-04 | 广州橙行智动汽车科技有限公司 | 仪表声音测试方法、装置、测试设备以及存储介质 |
CN113140217A (zh) * | 2021-04-08 | 2021-07-20 | 青岛歌尔智能传感器有限公司 | 语音指令测试方法、测试装置及可读存储介质 |
CN113282472A (zh) * | 2021-05-25 | 2021-08-20 | 北京达佳互联信息技术有限公司 | 性能测试方法及装置 |
CN113485914A (zh) * | 2021-06-09 | 2021-10-08 | 镁佳(北京)科技有限公司 | 一种车载语音sdk测试方法、装置及系统 |
CN113674769A (zh) * | 2021-08-20 | 2021-11-19 | 湖北亿咖通科技有限公司 | 语音系统测试方法、装置、设备、介质及程序产品 |
CN114006985A (zh) * | 2021-10-27 | 2022-02-01 | 易谷网络科技股份有限公司 | Ivr测试流程中音频测试方法、装置、设备及存储介质 |
CN114040188A (zh) * | 2021-09-26 | 2022-02-11 | 湖北三赢兴光电科技股份有限公司 | 一种基于语音识别的摄像模组自动测试方法及系统 |
CN115982000A (zh) * | 2022-11-28 | 2023-04-18 | 上海浦东发展银行股份有限公司 | 一种全场景语音机器人测试系统、方法、介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1647969A1 (en) * | 2004-10-15 | 2006-04-19 | Microsoft Corporation | Testing of an automatic speech recognition system using synthetic inputs generated from its acoustic models |
WO2013086736A1 (zh) * | 2011-12-16 | 2013-06-20 | 华为技术有限公司 | 说话人识别方法及设备 |
CN103578463A (zh) * | 2012-07-27 | 2014-02-12 | 腾讯科技(深圳)有限公司 | 自动化测试方法及测试装置 |
CN104347081A (zh) * | 2013-08-07 | 2015-02-11 | 腾讯科技(深圳)有限公司 | 一种测试场景说法覆盖度的方法和装置 |
CN106548772A (zh) * | 2017-01-16 | 2017-03-29 | 上海智臻智能网络科技股份有限公司 | 语音识别测试系统及方法 |
CN107039050A (zh) * | 2016-02-04 | 2017-08-11 | 阿里巴巴集团控股有限公司 | 对待测试语音识别系统的自动测试方法和装置 |
CN107086040A (zh) * | 2017-06-23 | 2017-08-22 | 歌尔股份有限公司 | 语音识别能力测试方法和装置 |
CN108538296A (zh) * | 2017-03-01 | 2018-09-14 | 广东神马搜索科技有限公司 | 语音识别测试方法及测试终端 |
CN109040750A (zh) * | 2018-09-17 | 2018-12-18 | 四川长虹电器股份有限公司 | 一种智能电视的语音模块的自动化测试系统及方法 |
CN110264995A (zh) * | 2019-06-28 | 2019-09-20 | 百度在线网络技术(北京)有限公司 | 智能设备的语音测试方法、装置电子设备及可读存储介质 |
-
2018
- 2018-11-06 CN CN201811313452.XA patent/CN111145737B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1647969A1 (en) * | 2004-10-15 | 2006-04-19 | Microsoft Corporation | Testing of an automatic speech recognition system using synthetic inputs generated from its acoustic models |
US20060085187A1 (en) * | 2004-10-15 | 2006-04-20 | Microsoft Corporation | Testing and tuning of automatic speech recognition systems using synthetic inputs generated from its acoustic models |
WO2013086736A1 (zh) * | 2011-12-16 | 2013-06-20 | 华为技术有限公司 | 说话人识别方法及设备 |
CN103578463A (zh) * | 2012-07-27 | 2014-02-12 | 腾讯科技(深圳)有限公司 | 自动化测试方法及测试装置 |
CN104347081A (zh) * | 2013-08-07 | 2015-02-11 | 腾讯科技(深圳)有限公司 | 一种测试场景说法覆盖度的方法和装置 |
CN107039050A (zh) * | 2016-02-04 | 2017-08-11 | 阿里巴巴集团控股有限公司 | 对待测试语音识别系统的自动测试方法和装置 |
CN106548772A (zh) * | 2017-01-16 | 2017-03-29 | 上海智臻智能网络科技股份有限公司 | 语音识别测试系统及方法 |
CN108538296A (zh) * | 2017-03-01 | 2018-09-14 | 广东神马搜索科技有限公司 | 语音识别测试方法及测试终端 |
CN107086040A (zh) * | 2017-06-23 | 2017-08-22 | 歌尔股份有限公司 | 语音识别能力测试方法和装置 |
CN109040750A (zh) * | 2018-09-17 | 2018-12-18 | 四川长虹电器股份有限公司 | 一种智能电视的语音模块的自动化测试系统及方法 |
CN110264995A (zh) * | 2019-06-28 | 2019-09-20 | 百度在线网络技术(北京)有限公司 | 智能设备的语音测试方法、装置电子设备及可读存储介质 |
Non-Patent Citations (2)
Title |
---|
HONGHAO YANG: ""A vulnerability test method for speech recognition systems based on frequency signal processing"", 《2018 IEEE THIRD INTERNATIONAL CONFERENCE ON DATA SCIENCE IN CYBERSPACE》 * |
董桂官: ""智能电视中文语音识别测试研究"", 《电声技术》 * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111694752A (zh) * | 2020-07-28 | 2020-09-22 | 中移(杭州)信息技术有限公司 | 应用测试方法、电子设备及存储介质 |
CN111694752B (zh) * | 2020-07-28 | 2023-09-05 | 中移(杭州)信息技术有限公司 | 应用测试方法、电子设备及存储介质 |
CN111953764B (zh) * | 2020-08-07 | 2023-04-07 | 杭州国芯科技股份有限公司 | 人工智能语音算法自动化测试方法 |
CN111953764A (zh) * | 2020-08-07 | 2020-11-17 | 杭州国芯科技股份有限公司 | 人工智能语音算法自动化测试方法 |
CN111933108A (zh) * | 2020-09-25 | 2020-11-13 | 蘑菇车联信息科技有限公司 | 一种智能网联终端智能语音交互系统自动化测试方法 |
CN111933108B (zh) * | 2020-09-25 | 2021-01-12 | 蘑菇车联信息科技有限公司 | 一种智能网联终端智能语音交互系统自动化测试方法 |
CN112261214A (zh) * | 2020-10-21 | 2021-01-22 | 广东商路信息科技有限公司 | 网络语音通信自动化测试方法及系统 |
CN112420019A (zh) * | 2020-11-18 | 2021-02-26 | 青岛海尔科技有限公司 | 设备的测试方法及装置 |
CN112908357A (zh) * | 2021-01-19 | 2021-06-04 | 广州橙行智动汽车科技有限公司 | 仪表声音测试方法、装置、测试设备以及存储介质 |
CN113140217A (zh) * | 2021-04-08 | 2021-07-20 | 青岛歌尔智能传感器有限公司 | 语音指令测试方法、测试装置及可读存储介质 |
CN113282472A (zh) * | 2021-05-25 | 2021-08-20 | 北京达佳互联信息技术有限公司 | 性能测试方法及装置 |
CN113282472B (zh) * | 2021-05-25 | 2024-01-02 | 北京达佳互联信息技术有限公司 | 性能测试方法及装置 |
CN113485914A (zh) * | 2021-06-09 | 2021-10-08 | 镁佳(北京)科技有限公司 | 一种车载语音sdk测试方法、装置及系统 |
CN113674769A (zh) * | 2021-08-20 | 2021-11-19 | 湖北亿咖通科技有限公司 | 语音系统测试方法、装置、设备、介质及程序产品 |
CN114040188A (zh) * | 2021-09-26 | 2022-02-11 | 湖北三赢兴光电科技股份有限公司 | 一种基于语音识别的摄像模组自动测试方法及系统 |
CN114006985A (zh) * | 2021-10-27 | 2022-02-01 | 易谷网络科技股份有限公司 | Ivr测试流程中音频测试方法、装置、设备及存储介质 |
CN115982000A (zh) * | 2022-11-28 | 2023-04-18 | 上海浦东发展银行股份有限公司 | 一种全场景语音机器人测试系统、方法、介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111145737B (zh) | 2022-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111145737B (zh) | 语音测试方法、装置和电子设备 | |
CN112115706B (zh) | 文本处理方法、装置、电子设备及介质 | |
CN111667814A (zh) | 一种多语种的语音合成方法及装置 | |
CN111161758B (zh) | 一种基于音频指纹的听歌识曲方法、系统及音频设备 | |
CN110795532A (zh) | 一种语音信息的处理方法、装置、智能终端以及存储介质 | |
CN108027814B (zh) | 停用词识别方法与装置 | |
CN110910283A (zh) | 生成法律文书的方法、装置、设备和存储介质 | |
CN110321562B (zh) | 一种基于bert的短文本匹配方法及装置 | |
CN106897290B (zh) | 一种建立关键词模型的方法及装置 | |
CN111159404B (zh) | 文本的分类方法及装置 | |
CN109859747B (zh) | 语音交互方法、设备以及存储介质 | |
CN112149386A (zh) | 一种事件抽取方法、存储介质及服务器 | |
CN115830649A (zh) | 一种网络资产指纹特征的识别方法、装置及电子设备 | |
CN111581388B (zh) | 一种用户意图识别方法、装置及电子设备 | |
CN112053692A (zh) | 语音识别处理方法、装置及存储介质 | |
CN111354354B (zh) | 一种基于语义识别的训练方法、训练装置及终端设备 | |
CN113761137B (zh) | 一种提取地址信息的方法及装置 | |
CN115858776B (zh) | 一种变体文本分类识别方法、系统、存储介质和电子设备 | |
CN111833842A (zh) | 合成音模板发现方法、装置以及设备 | |
CN113656575B (zh) | 训练数据的生成方法、装置、电子设备及可读介质 | |
CN115331703A (zh) | 一种歌曲人声检测方法及装置 | |
CN114420136A (zh) | 一种声纹识别模型训练的方法、装置以及存储介质 | |
CN111768764B (zh) | 语音数据处理方法、装置、电子设备及介质 | |
CN114218428A (zh) | 音频数据聚类方法、装置、设备及存储介质 | |
CN114121038A (zh) | 音响语音测试方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |