CN110908913A - 一种回访机器人的测试方法、装置,电子设备及存储介质 - Google Patents
一种回访机器人的测试方法、装置,电子设备及存储介质 Download PDFInfo
- Publication number
- CN110908913A CN110908913A CN201911179939.8A CN201911179939A CN110908913A CN 110908913 A CN110908913 A CN 110908913A CN 201911179939 A CN201911179939 A CN 201911179939A CN 110908913 A CN110908913 A CN 110908913A
- Authority
- CN
- China
- Prior art keywords
- test
- return visit
- robot
- node
- problem node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010998 test method Methods 0.000 title claims abstract description 10
- 238000012360 testing method Methods 0.000 claims abstract description 366
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000004590 computer program Methods 0.000 claims description 5
- 230000003993 interaction Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 11
- 238000012790 confirmation Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Electrically Operated Instructional Devices (AREA)
- Manipulator (AREA)
Abstract
本申请提供一种回访机器人的测试方法、装置,电子设备及存储介质,属于语音交互技术领域。该方法包括:获取测试样本,生成样本库;其中,所述测试样本包括针对回访机器人的回访问题预设的用户回复数据以及测试标签;根据所述测试标签生成测试用例;通过所述测试用例对所述回访机器人进行测试。在本申请实施例中,通过获取测试样本,根据测试标签生成测试用例。再通过测试用例对所述回访机器人进行测试。与现有技术相比,无需人工一条一条的写测试用例,实现了自动化测试,并且提供了测试效率。
Description
技术领域
本申请涉及语音交互技术领域,具体而言,涉及一种回访机器人的测试方法、装置,电子设备及存储介质。
背景技术
近年来,AI(Artificial Intelligence,人工智能)的发展,特别是NPL(NaturalLanguage Processing,自然语言处理)的发展,为机器人客服的实现提供了技术基础,机器人客服以其低成本、易拓展、服务体验统一等优点得到各大服务行业的欢迎,机器人客服可以通过语音、文本等方式与客户交流。现在很多行业都通过机器人客服对客户进行回访,如通过专门的回访机器人对客户进行回访,以了解客户的满意度。回访机器人的话术、回访问题固定,因此,采用机器人客服回访极大的提高了效率、大幅降低成本。
回访机器人在应用前必然需要进行验证和测试,传统的测试方式为人工写测试用例,然后按照人工写的测试用例一步一步执行,来验证回访机器人是否符合要求。该方式效率低、可重复性差,且耗费大量人力成本。
发明内容
本申请实施例的目的在于提供一种回访机器人的测试方法、装置,电子设备及存储介质,以改善传统的测试方式效率低、可重复性差以及耗费大量人力成本的问题。
本发明是这样实现的:
第一方面,本申请实施例提供一种回访机器人的测试方法,所述方法包括:获取测试样本,生成样本库;其中,所述测试样本包括针对回访机器人的回访问题预设的用户回复数据以及测试标签;根据所述测试标签生成测试用例;通过所述测试用例对所述回访机器人进行测试。
在本申请中,通过获取测试样本,根据测试标签生成测试用例。再通过测试用例对所述回访机器人进行测试。与现有技术相比,无需人工一条一条的写测试用例,实现了自动化测试,并且提供了测试效率。
结合上述第一方面提供的技术方案,在一些可能的实现方式中,所述回访机器人包括按序排列的问题节点,每个所述问题节点对应一个回访问题;每个所述测试样本包括所述问题节点以及针对一个所述问题节点对应的回访问题的回复;所述根据所述测试标签生成测试用例,包括:根据所述问题节点以及所述测试标签生成测试用例;其中,所述测试用例包括当前问题节点,所述当前问题节点对应的测试标签以及下一问题节点。
在本申请中,通过根据问题节点以及测试标签生成测试用例,便于后续通过问题节点来验证回访机器人是否符合要求。
结合上述第一方面提供的技术方案,在一些可能的实现方式中,所述通过所述测试用例对所述回访机器人进行测试,包括:从所述测试用例中确定出目标测试用例;接收所述回访机器人发送的第一问题节点对应的回访问题;根据所述第一问题节点以及第一问题节点对应的测试标签,从所述样本库中确定出第一测试样本;将所述第一测试样本发送至所述回访机器人。
在本申请中,通过从测试用例中确定出目标测试用例;接收回访机器人发送的第一问题节点对应的回访问题;根据第一问题节点以及第一问题节点对应的测试标签,从样本库中确定出第一测试样本;将第一测试样本发送至所述回访机器人,使得测试可以覆盖所有需要的场景,提高了对所有场景进行测试的效率。
结合上述第一方面提供的技术方案,在一些可能的实现方式中,在所述将所述第一测试样本发送至所述回访机器人之后,所述方法还包括:接收所述回访机器人返回的第二问题节点对应的回访问题;判断所述回访机器人返回的回访问题中的第二问题节点与所述测试用例中第一问题节点对应的下一问题节点是否一致;若是,则根据所述第二问题节点以及第二问题节点对应的测试标签,从所述样本库中确定出第二测试样本;将所述第二测试样本发送至所述回访机器人。
在本申请中,通过接收回访机器人返回的第二问题节点对应的回访问题;判断回访机器人返回的回访问题中的第二问题节点与测试用例中第一问题节点对应的下一问题节点是否一致;若是,则根据第二问题节点以及第二问题节点对应的测试标签,从样本库中确定出第二测试样本;将第二测试样本发送至所述回访机器人,实现了对回访机器人回访问题的正确性的测试。
结合上述第一方面提供的技术方案,在一些可能的实现方式中,在所述通过所述测试用例对所述回访机器人进行测试之后,所述方法还包括:对测试结果进行统计。
在本申请中,通过对测试结果进行统计,测试人员可以及时查看统计结果,也便于测试人员查找、定位问题。
第二方面,本申请实施例提供一种回访机器人的测试装置,所述装置包括:获取模块,用于获取测试样本,生成样本库;其中,所述测试样本包括针对回访机器人的回访问题预设的用户回复数据以及测试标签;生成模块,用于根据所述测试标签生成测试用例;测试模块,用于通过所述测试用例对所述回访机器人进行测试。
结合上述第二方面提供的技术方案,在一些可能的实现方式中,所述回访机器人包括按序排列的问题节点,每个所述问题节点对应一个回访问题;每个所述测试样本包括所述问题节点以及针对一个所述问题节点对应的回访问题的回复;所述生成模块还用于根据所述问题节点以及所述测试标签生成测试用例;其中,所述测试用例包括当前问题节点,所述当前问题节点对应的测试标签以及下一问题节点。
结合上述第二方面提供的技术方案,在一些可能的实现方式中,所述测试装置还包括统计模块;所述统计模块用于在所述通过所述测试用例对所述回访机器人进行测试之后,对测试结果进行统计。
第三方面,本申请实施例提供一种电子设备,包括:处理器和存储器,所述处理器和所述存储器连接;所述存储器用于存储程序;所述处理器用于调用存储在所述存储器中的程序,执行如上述第一方面实施例和/或结合上述第一方面实施例的一些可能的实现方式提供的方法。
第四方面,本申请实施例提供一种存储介质,其上存储有计算机程序,所述计算机程序在被处理器运行时执行如上述第一方面实施例和/或结合上述第一方面实施例的一些可能的实现方式提供的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种电子设备的结构示意图。
图2为本申请实施例提供的一种回访机器人的测试方法的步骤流程图。
图3为本申请实施例提供的一种测试用例的示意图。
图4为本申请实施例提供的一种获取步骤S103的步骤流程图。
图5为本申请实施例提供的一种文本形式的回访机器人的样本库的示意图。
图6为本申请实施例提供的一种对文本形式的回访机器人进行测试的统计结果图。
图7为本申请实施例提供的一种语音形式的回访机器人的样本库的示意图。
图8为本申请实施例提供的一种对语音形式的回访机器人进行测试的统计结果图。
图标:100-电子设备;101-处理器;102-存储器;103-通信总线。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
目前,对于回访机器人的验证和测试,传统的方式为人工写测试用例,然后按照人工写的测试用例一步一步执行,来验证回访机器人是否符合要求,且测试结果需手工记录,回传给开发者。比如,回访机器人的回访问题包括“身份确认”、“回访意愿确认”、“打分”以及“打分原因”,则传统方式针对每一问题写回复内容,然后逐条进行测试。该方式效率低、可重复性差,且耗费大量人力成本。
鉴于上述问题,本申请发明人经过研究探索,提出以下实施例以解决上述问题。
请参阅图1,图1为本申请实施例提供的一种应用回访机器人的测试方法、装置的电子设备100的结构示意图。本申请实施例中,电子设备100可以是,但不限于电脑、智能手机、平板电脑、个人数字助理(Personal Digital Assistant,PAD)、移动上网设备(MobileInternet Device,MID)等。
在结构上,电子设备100包括至少一个处理器101,至少一个存储器102和至少一个通信总线103。其中,通信总线103用于实现处理器101、存储器102之间的连接通信。回访机器人的测试装置包括至少一个可以通过软件或固件的形式存储于存储器102中或固化在电子设备100的操作系统(Operating System,OS)中的软件模块。处理器101用于执行存储器102中存储的可执行模块,例如,处理器101用于获取测试样本,生成样本库。处理器101还用于根据所述测试标签生成测试用例。处理器101还用于通过所述测试用例对所述回访机器人进行测试。
其中,处理器101可以是一种集成电路芯片,具有信号处理能力。处理器101也可以是通用处理器,例如,可以是数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、分立门或晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。此外,通用处理器可以是微处理器或者任何常规处理器等。
存储器102可以是,但不限于,随机存取存储器(Random Access Memory,RAM)、只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read-OnlyMemory,PROM)、可擦可编程序只读存储器(Erasable Programmable Read-Only Memory,EPROM),以及电可擦编程只读存储器(Electric Erasable Programmable Read-OnlyMemory,EEPROM)。存储器102用于存储程序,处理器101在接收到执行指令后,执行该程序。
应当理解,图1所示的结构仅为示意,本申请实施例提供的电子设备100还可以具有比图1更少或更多的组件,或是具有与图1所示不同的配置。此外,图1所示的各组件可以通过软件、硬件或其组合实现。
请参考图2,本申请实施例提供一种回访机器人的测试方法。该方法应用于图1所示出的电子设备100中。下面,结合图2对回访机器人的测试方法的具体流程及步骤进行描述。该方法包括:步骤S101-步骤S103。
步骤S101:获取测试样本,生成样本库。
首先,获取测试样本,生成样本库。需要说明的是,测试样本包括针对回访机器人的回访问题预设的用户回复数据。该预设的用户回复数据可以是从海量的历史数据中获取的回复数据和/或以往人工测试中梳理出的回复数据,其中,历史数据可以是以往的回访机器人在执行回访任务时的数据。该预设的用户回复数据还可以是测试人员根据回访机器人的回访问题编写的回复答案。对此,本申请不作限定。
可选地,每个测试样本中还包括测试标签和问题节点。
其中,每个测试标签表示测试样本所包含的实际语义,比如当测试样本为“是的”,对应的测试标签为“是”,当测试样本为“没错”,对应的测试标签也为“是”;当测试样本为“不行”,对应的测试标签为“否”,当测试样本为“不是的”,对应的测试标签也为“否”。
其中,问题节点是指回访机器人的回访过程的一个环节,通常回访机器人的回访过程包括四个环节,如身份确认、回访意愿确认、打分、打分原因。每一个环节即一个问题节点,比如身份确认为问题节点1,回访意愿确认为问题节点2、打分为问题节点3、打分原因为问题节点4。通常回访过程的多个问题节点(环节)按照一定的逻辑顺序排列。例如,在回访过程包括身份确认,回访意愿确认,打分,及打分原因四个环节的实施例中,回访机器人首先需要确认被回访对象的身份(即,进行身份确认),以避免实际被回访对象错误致使回访无效的情况发生;在确认身份后,回访机器人需要确认被回访对象有无意愿进行本次回访,以避免在被回访对象无意参与本次回访的情况下强行回访给被回访对象带来不好的体验;在确认被回访对象有意愿参与本次回访并完成回访后,回访机器人可以请求被回访对象对本次回访/回访问题所涉及的服务进行打分,以及给出打分原因,以便开发人员能够根据打分及打分原因对回访机器人的回访过程进行优化/商家能够根据打分及打分原因对回访所涉及的服务进行优化。本实施例中,回访过程的多个问题节点(环节)顺序编号。
本实施例中,每个问题节点都对应一个回访问题,比如问题节点1为身份确认,则问题节点1对应的回访问题可以是“请问您是张先生吗”,又比如问题节点3为打分,则问题节点3对应的回访问题可以是“请您对服务质量进行打分,满分10分,最低0分”。
本实施例中,预设的用户回复数据分别与问题节点及测试标签相互对应。比如,测试样本中的预设的用户回复数据可以为“我打9分”,则该预设的用户回复数据对应的问题节点为问题节点3(即,打分环节),“我打9分”即为针对问题节点3所对应的回访问题的回复,而该预设的用户回复数据对应的测试标签为9。又比如预设的用户回复数据为“我正在开车”,则该预设的用户回复数据对应的问题节点可以为问题节点2,“我正在开车”为针对问题节点2所对应的回访问题的答复,而该预设的用户回复数据对应的测试标签为“用户忙”。
当然,在其他实施例中,回访机器人的回访过程还可以包括结束环节。结束环节作为回访机器人的回访过程的最后一个环节,也是一个问题节点。比如将结束环节作为问题节点5设置在打分原因环节4后,当回访机器人接收到用户的打分原因后跳转至问题节点5,问题节点5对应的内容可以是“谢谢您的参与”。又比如在回访机器人发送问题节点1进行身份确认时,用户返回的是“否”,则跳转至问题节点5,问题节点5对应的内容可以是“打扰了,祝您生活愉快”。
步骤S102:根据测试标签生成测试用例。
然后根据测试标签生成测试用例,比如以上述回访机器人包括五个环节为例,则测试用例可以根据每一个问题进行设置,比如测试用例设置为“是,有时间,10,服务好”。“是”即为针对第一个问题回复的测试样本的测试标签,“有时间”即为针对第二个问题回复的测试样本的测试标签,“10”即为针对第三个问题回复的测试样本的测试标签,“服务好”即为针对第四个问题回复的测试样本的测试标签。又比如测试用例还可以是“是,用户忙”。由于第五个环节为结束环节,结束环节可以不设置对应的测试标签。
可选地,当回访机器人的回访过程包括按序排列的问题节点,且每个测试样本还包括问题节点时,根据测试标签生成测试用例,包括:
根据问题节点以及测试标签生成测试用例。
继续以上述回访机器人包括五个环节为例,测试用例根据每一个问题进行设置,比如测试用例可以是“1-是,2-有时间,3-8,4-服务好”。“是”即为针对问题节点1回复的测试样本的测试标签,“有时间”即为针对问题节点2回复的测试样本的测试标签,“8”即为针对问题节点3回复的测试样本的测试标签,“服务好”即为针对问题节点4回复的测试样本的测试标签。其中,测试用例包括当前问题节点,当前问题节点对应的测试标签以及下一问题节点,如图3所示,图3为测试用例示意图,包括用例编号,当前问题节点,测试标签以及下一问题节点。下面以用例编号1为例,在用例编号1的第一行,分别是当前问题节点1,测试标签“是”,以及下一问题节点2。下一问题节点表示测试的下一个节点,比如下一问题节点2,则当接收到回访机器人基于问题节点1的测试标签返回的问题后,通过下一问题节点2中的测试标签进行回复,此时下一问题节点2又作为当前问题节点,也即在用例编号1的第二行包括当前问题节点2,测试标签“是”以及下一问题节点3。用例编号1的第三行、第四行原理相同,为了避免累赘,在此不做过多阐述。
步骤S103:通过测试用例对回访机器人进行测试。
在生成好测试用例后,通过测试用例对回访机器人进行测试。首先,在测试用例中确定出目标测试用例,然后通过目标测试用例对回访机器人进行测试。
综上,在本申请实施例中,通过获取测试样本,根据测试标签生成测试用例。再通过测试用例对所述回访机器人进行测试。与现有技术相比,无需人工一条一条的写测试用例,实现了自动化测试,并且提供了测试效率。
请参阅图4,可选的,若根据问题节点以及测试标签生成测试用例,则上述步骤S103通过测试用例对回访机器人进行测试,可以包括:步骤S201-S208。
步骤S201:从测试用例中确定出目标测试用例。
首先,要从生成的测试用例中确定出目标测试用例。可以是随机从测试用例中筛选出目标测试用例,也可以是根据测试用例的用例编号依次作为目标测试用例。比如确定出的目标测试用例为图3中的测试用例1。
步骤S202:接收回访机器人发送的第一问题节点对应的回访问题。
在确定好目标测试用例后,与回访机器人建立连接,此时接收回访机器人发送的第一问题节点对应的回访问题,如“请问您是张女士吗”,又如“请问您是陈老师吗”。此时的第一问题节点即为问题节点1。
步骤S203:根据第一问题节点以及第一问题节点对应的测试标签,从样本库中确定出第一测试样本。
测试用例1中当前问题节点为1时对应的测试标签为“是”。然后根据测试标签为“是”,从样本库中确定出第一测试样本。通常情况下,相同的测试标签的测试样本不唯一,比如测试标签为“是”,它的测试样本可能是“对的,我是”,“没错,是我”,所以此时需从样本库中确定出第一测试样本,可选地,从样本库中随机筛选出测试标签为“是”对应的测试样本,当然也可以从样本库中按照顺序筛选出测试标签为“是”对应的测试样本,对此,本申请不作限定。假设此时,确定出的测试样本为“是的”。
步骤S204:将第一测试样本发送至回访机器人。
然后将确定出的第一测试样本发送至回访机器人,回访机器人根据第一测试样本中的回复内容,生成语义标签,如图5所示,图5为回访机器人的样本库,包括问题节点,回复内容以及语义标签。其中,回复内容为针对一个问题对应的回访问题的回复。然后根据语义标签,发送下一问题节点(即第二问题节点),以及下一问题节点(即第二问题节点)所对应的回访问题。
步骤S205:接收回访机器人返回的第二问题节点对应的回访问题。
接收回访机器人发送的第二问题节点对应的回访问题,如“请问您现在方便吗”,“可以打扰您几分钟吗”,“谢谢您的参与”。
步骤S206:判断回访机器人返回的回访问题中的第二问题节点与测试用例中第一问题节点对应的下一问题节点是否一致。
在接收回访机器人发送的第二问题节点对应的回访问题后,判断回访机器人返回的第二问题节点与测试用例中第一问题节点对应的下一问题节点是否一致,比如测试用例中第一问题节点对应的下一问题节点为问题节点2,此时判断回访机器机器人返回的第二问题节点是否是问题节点2。若是,则执行步骤S207,若否则执行步骤S209。
步骤S207:根据第二问题节点以及第二问题节点对应的测试标签从样本库中确定出第二测试样本。
然后根据第二问题节点对应的测试标签从样本库中确定出第二测试样本,第二问题节点即为问题节点2。
测试用例1中当前问题节点为2对应的测试标签为“是”。然后根据测试标签为“是”,从样本库中确定出第二测试样本。通常情况下,相同的测试标签的测试样本不唯一,比如测试标签为“是”,它的测试样本可能是“有空”,“可以”,所以此时需从样本库中确定出第二测试样本,可选地,从样本库中随机筛选出测试标签为“是”对应的测试样本,当然也可以从样本库中按照顺序筛选出测试标签为“是”对应的测试样本,对此,本申请不作限定。假设此时,确定出的测试样本为“可以”。
步骤S208:将第二测试样本发送至回访机器人。
然后将确定出的第二测试样本发送至回访机器人,回访机器人根据第二测试样本中的回复内容,生成语义标签。然后根据语义标签,发送下一问题节点(即第三问题节点),以及下一问题节点(即第三问题节点)所对应的回访问题。
步骤S209:结束此条目标测试用例的测试。
若判断出回访机器人返回的第二问题节点与测试用例中第一问题节点对应的下一问题节点不一致,则说明回访机器人的返回的问题有误,则停止此条测试用例的测试。
综上,在本申请实施例中,通过从测试用例中确定出目标测试用例;接收回访机器人发送的第一问题节点对应的回访问题;根据第一问题节点以及第一问题节点对应的测试标签,从样本库中确定出第一测试样本;将第一测试样本发送至所述回访机器人,使得测试可以覆盖所有需要的场景,提高了对所有场景进行测试的效率。通过接收回访机器人返回的第二问题节点对应的回访问题;判断回访机器人返回的回访问题中的第二问题节点与测试用例中第一问题节点对应的下一问题节点是否一致;若是,则根据第二问题节点以及第二问题节点对应的测试标签,从样本库中确定出第二测试样本;将第二测试样本发送至所述回访机器人,实现了对回访机器人回访问题的正确性的测试。
需要说明的是,以上仅以第一问题节点、第二问题节点进行说明的,下面结合一个完整的对话例子,对上述“通过测试用例对回访机器人进行测试”进行说明。
比如以用例编号1对应的测试用例作为目标测试用例(请继续参阅图3),与回访机器人建立连接后,接收回访机器人发送的第一问题节点对应的回访问题“请问您是李先生吗”,此时的第一问题节点为问题节点1。用例编号1的当前问题节点为1对应的测试标签为“是”,此时,从样本库中确定出第一测试样本为“是的”,然后,将“是的”发送至回访机器人,回访机器人根据“是的”生成语义标签,然后返回第二问题节点以及第二问题节点对应的回访问题。然后接收回访机器人返回的第二问题节点以及第二问题节点对应的回访问题,并判断回访机器人返回的第二问题节点与测试用例中问题节点1对应的下一问题节点是否一致。如图3示出的,当前问题节点为1对应的下一问题节点为2,此时判断回访机器人返回的第二问题节点是否是问题节点2,若否,则停止此条目标测试用例的测试。若是(在判断结果为是的情况下,若回访机器人发送的第二问题节点对应的回访问题为“请问您现在有时间吗”),则根据问题节点2对应的测试标签为“是”,确定出第二测试样本“有时间”,然后将“有时间”发送至回访机器人,回访机器人根据“有时间”生成语义标签,然后返回第三问题节点以及第三问题节点对应的回访问题。然后接收回访机器人返回的第三问题节点以及第三问题节点对应的回访问题,并判断回访机器人返回的第三问题节点与测试用例中问题节点2对应的下一问题节点是否一致。如图3示出的,当前问题节点为2对应的下一问题节点为3,此时判断回访机器人返回的第三问题节点是否是问题节点3,若否,则停止此条目标测试用例的测试。若是(在判断结果为是的情况下,若回访机器人发送的第三问题节点对应的回访问题为“请您对我们的服务打分,满分10分,最低0分”),则根据问题节点3对应的测试标签为“十”,确定出第三测试样本“我打十分”,然后将“我打十分”发送至回访机器人,回访机器人根据“我打十分”生成语义标签,然后返回第四问题节点以及第四问题节点对应的回访问题。然后接收回访机器人返回的第四问题节点以及第四问题节点对应的回访问题,并判断回访机器人返回的第四问题节点与测试用例中问题节点3对应的下一问题节点是否一致。如图3示出的,当前问题节点为3对应的下一问题节点为4,此时判断回访机器人返回的第四问题节点是否是问题节点4,若否,则停止此条目标测试用例的测试。若是(在判断结果为是的情况下,若回访机器人发送的第四问题节点对应的回访问题为“请您收下打分原因”)则根据问题节点4对应的测试标签为“用户忙”,确定出第四测试样本“我开车,不方便”,然后将“我开车,不方便”发送至回访机器人,回访机器人根据“我开车,不方便”生成语义标签,然后返回第五问题节点。然后接收回访机器人返回的第五问题节点并判断回访机器人返回的第五问题节点与测试用例中问题节点4对应的下一问题节点是否一致。判断完成即结束此次目标用例的测试。
可选地,为了便于测试人员查找、定位问题(回访机器人在哪边环节出错),在通过测试用例对回访机器人进行测试后,该方法还包括:对测试结果进行统计。
统计结果如图6所示,统计结果中包括判断回访机器人返回的问题节点与测试用例中当前问题节点对应的下一问题节点是否一致,若一致,则在预期结果一栏中标注TRUE,若不一致,则在预期结果一栏中标注FALSE,测试结束。
在本申请实施例中,通过对测试结果进行统计,测试人员可以及时查看统计结果,也便于测试人员查找、定位问题。
需要说明的是,上述实施例中对文本形式的回访机器人进行测试的,比如通过微信文字回访的回访机器人或者是以短信回访的回访机器人,而针对语音形式的回访机器人与文本形式的回访机器人的区别仅在于测试过程中,测试样本为音频文件(每个测试样本均包括测试标签),回访机器人在接收到音频文件转化为文本形式,然后再生成语义标签。如图7所示,图7为语音形式的回访机器人的样本库,包括问题节点,回复内容、回复音频文件以及语义标签。回复内容即为回复音频文件对应的文本内容。如图8所示,图8为对语音形式的回访机器人进行测试的统计结果。与图6示出的对文本形式的回访机器人进行测试的统计结果相比,多一栏ASR(Automatic Speech Recognition,语音识别)结果。
基于同一发明构思,本申请实施例中还提供一种回访机器人的测试装置,包括:获取模块,生成模块和测试模块。
该获取模块用于获取测试样本,生成样本库;其中,所述测试样本包括针对回访机器人的回访问题预设的用户回复数据以及测试标签;
该生成模块,用于根据所述测试标签生成测试用例;
该测试模块,用于通过所述测试用例对所述回访机器人进行测试。
可选地,回访机器人包括按序排列的问题节点,每个所述问题节点对应一个回访问题;每个所述测试样本包括所述问题节点以及针对一个所述问题节点对应的回访问题的回复。所述生成模块还用于根据所述问题节点以及所述测试标签生成测试用例;其中,所述测试用例包括当前问题节点,所述当前问题节点对应的测试标签以及下一问题节点。
可选地,测试模块还用于从所述测试用例中确定出目标测试用例;接收所述回访机器人发送的第一问题节点对应的回访问题;根据所述第一问题节点以及第一问题节点对应的测试标签,从所述样本库中确定出第一测试样本;将所述第一测试样本发送至所述回访机器人。
可选地,测试模块还用于接收所述回访机器人返回的第二问题节点对应的回访问题;判断所述回访机器人返回的回访问题中的第二问题节点与所述测试用例中第一问题节点对应的下一问题节点是否一致;若是,则根据所述第二问题节点以及第二问题节点对应的测试标签,从所述样本库中确定出第二测试样本;将所述第二测试样本发送至所述回访机器人。
可选地,该测试装置还包括统计模块。统计模块用于在所述通过所述测试用例对所述回访机器人进行测试之后,对测试结果进行统计。
基于同一发明构思,本申请实施例还提供一种存储介质,其上存储有计算机程序,计算机程序在被运行时执行上述实施例中提供的方法。
该存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种回访机器人的测试方法,其特征在于,所述方法包括:
获取测试样本,生成样本库;其中,所述测试样本包括针对回访机器人的回访问题预设的用户回复数据以及测试标签;
根据所述测试标签生成测试用例;
通过所述测试用例对所述回访机器人进行测试。
2.根据权利要求1所述的回访机器人的测试方法,其特征在于,所述回访机器人包括按序排列的问题节点,每个所述问题节点对应一个回访问题;每个所述测试样本包括所述问题节点以及针对一个所述问题节点对应的回访问题的回复;所述根据所述测试标签生成测试用例,包括:
根据所述问题节点以及所述测试标签生成测试用例;其中,所述测试用例包括当前问题节点,所述当前问题节点对应的测试标签以及下一问题节点。
3.根据权利要求2所述的回访机器人的测试方法,其特征在于,所述通过所述测试用例对所述回访机器人进行测试,包括:
从所述测试用例中确定出目标测试用例;
接收所述回访机器人发送的第一问题节点对应的回访问题;
根据所述第一问题节点以及第一问题节点对应的测试标签,从所述样本库中确定出第一测试样本;
将所述第一测试样本发送至所述回访机器人。
4.根据权利要求3所述的回访机器人的测试方法,其特征在于,在所述将所述第一测试样本发送至所述回访机器人之后,所述方法还包括:
接收所述回访机器人返回的第二问题节点对应的回访问题;
判断所述回访机器人返回的回访问题中的第二问题节点与所述测试用例中第一问题节点对应的下一问题节点是否一致;
若是,则根据所述第二问题节点以及第二问题节点对应的测试标签,从所述样本库中确定出第二测试样本;
将所述第二测试样本发送至所述回访机器人。
5.根据权利要求1所述的回访机器人的测试方法,其特征在于,在所述通过所述测试用例对所述回访机器人进行测试之后,所述方法还包括:
对测试结果进行统计。
6.一种回访机器人的测试装置,其特征在于,所述装置包括:
获取模块,用于获取测试样本,生成样本库;其中,所述测试样本包括针对回访机器人的回访问题预设的用户回复数据以及测试标签;
生成模块,用于根据所述测试标签生成测试用例;
测试模块,用于通过所述测试用例对所述回访机器人进行测试。
7.根据权利要求6所述的回访机器人的测试装置,其特征在于,所述回访机器人包括按序排列的问题节点,每个所述问题节点对应一个回访问题;每个所述测试样本包括所述问题节点以及针对一个所述问题节点对应的回访问题的回复;
所述生成模块还用于根据所述问题节点以及所述测试标签生成测试用例;其中,所述测试用例包括当前问题节点,所述当前问题节点对应的测试标签以及下一问题节点。
8.根据权利要求6所述的回访机器人的测试装置,其特征在于,所述测试装置还包括统计模块;
所述统计模块用于在所述通过所述测试用例对所述回访机器人进行测试之后,对测试结果进行统计。
9.一种电子设备,其特征在于,包括:处理器和存储器,所述处理器和所述存储器连接;
所述存储器用于存储程序;
所述处理器用于运行存储在所述存储器中的程序,执行如权利要求1-5中任一项所述的方法。
10.一种存储介质,其特征在于,其上存储有计算机程序,所述计算机程序在被计算机运行时执行如权利要求1-5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911179939.8A CN110908913B (zh) | 2019-11-26 | 2019-11-26 | 一种回访机器人的测试方法、装置,电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911179939.8A CN110908913B (zh) | 2019-11-26 | 2019-11-26 | 一种回访机器人的测试方法、装置,电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110908913A true CN110908913A (zh) | 2020-03-24 |
CN110908913B CN110908913B (zh) | 2024-03-29 |
Family
ID=69818570
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911179939.8A Active CN110908913B (zh) | 2019-11-26 | 2019-11-26 | 一种回访机器人的测试方法、装置,电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110908913B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111611391A (zh) * | 2020-06-17 | 2020-09-01 | 厦门快商通科技股份有限公司 | 一种对对话进行归类别的方法、装置、设备和存储介质 |
CN113065850A (zh) * | 2021-04-02 | 2021-07-02 | 京东数科海益信息科技有限公司 | 用于智能外呼机器人的话术测试方法及装置 |
CN113268431A (zh) * | 2021-06-24 | 2021-08-17 | 深圳市凯莱特科技股份有限公司 | 一种rpa机器人软件的学习方法 |
CN113489846A (zh) * | 2021-06-30 | 2021-10-08 | 未鲲(上海)科技服务有限公司 | 一种语音交互测试方法、装置、设备及计算机存储介质 |
CN113782004A (zh) * | 2021-09-17 | 2021-12-10 | 深圳追一科技有限公司 | 人机语音交互测试方法、装置、计算机设备和存储介质 |
CN115982056A (zh) * | 2023-02-27 | 2023-04-18 | 麦岩智能科技(北京)有限公司 | 一种基于RosTopic的自动化测试方法、存储介质、设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105095069A (zh) * | 2015-06-19 | 2015-11-25 | 北京京东尚科信息技术有限公司 | 一种人工智能应答系统测试方法及系统 |
CN107305579A (zh) * | 2016-04-25 | 2017-10-31 | 北京京东尚科信息技术有限公司 | 智能问答系统的测试方法和装置 |
US20180089058A1 (en) * | 2016-09-26 | 2018-03-29 | Cognizant Technology Solutions India Pvt. Ltd. | Method and system for analyzing test cases for automatically generating optimized business models |
CN110070370A (zh) * | 2019-04-29 | 2019-07-30 | 上海智臻智能网络科技股份有限公司 | 回访服务的提供方法、装置、计算机设备和存储介质 |
CN110109828A (zh) * | 2019-04-15 | 2019-08-09 | 深圳壹账通智能科技有限公司 | 问答接口测试方法、装置、计算机设备和存储介质 |
-
2019
- 2019-11-26 CN CN201911179939.8A patent/CN110908913B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105095069A (zh) * | 2015-06-19 | 2015-11-25 | 北京京东尚科信息技术有限公司 | 一种人工智能应答系统测试方法及系统 |
CN107305579A (zh) * | 2016-04-25 | 2017-10-31 | 北京京东尚科信息技术有限公司 | 智能问答系统的测试方法和装置 |
US20180089058A1 (en) * | 2016-09-26 | 2018-03-29 | Cognizant Technology Solutions India Pvt. Ltd. | Method and system for analyzing test cases for automatically generating optimized business models |
CN110109828A (zh) * | 2019-04-15 | 2019-08-09 | 深圳壹账通智能科技有限公司 | 问答接口测试方法、装置、计算机设备和存储介质 |
CN110070370A (zh) * | 2019-04-29 | 2019-07-30 | 上海智臻智能网络科技股份有限公司 | 回访服务的提供方法、装置、计算机设备和存储介质 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111611391A (zh) * | 2020-06-17 | 2020-09-01 | 厦门快商通科技股份有限公司 | 一种对对话进行归类别的方法、装置、设备和存储介质 |
CN111611391B (zh) * | 2020-06-17 | 2022-08-23 | 厦门快商通科技股份有限公司 | 一种对对话进行归类别的方法、装置、设备和存储介质 |
CN113065850A (zh) * | 2021-04-02 | 2021-07-02 | 京东数科海益信息科技有限公司 | 用于智能外呼机器人的话术测试方法及装置 |
CN113268431A (zh) * | 2021-06-24 | 2021-08-17 | 深圳市凯莱特科技股份有限公司 | 一种rpa机器人软件的学习方法 |
CN113489846A (zh) * | 2021-06-30 | 2021-10-08 | 未鲲(上海)科技服务有限公司 | 一种语音交互测试方法、装置、设备及计算机存储介质 |
CN113489846B (zh) * | 2021-06-30 | 2024-02-27 | 上海凌荣网络科技有限公司 | 一种语音交互测试方法、装置、设备及计算机存储介质 |
CN113782004A (zh) * | 2021-09-17 | 2021-12-10 | 深圳追一科技有限公司 | 人机语音交互测试方法、装置、计算机设备和存储介质 |
CN113782004B (zh) * | 2021-09-17 | 2023-10-24 | 深圳追一科技有限公司 | 人机语音交互测试方法、装置、计算机设备和存储介质 |
CN115982056A (zh) * | 2023-02-27 | 2023-04-18 | 麦岩智能科技(北京)有限公司 | 一种基于RosTopic的自动化测试方法、存储介质、设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110908913B (zh) | 2024-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110908913A (zh) | 一种回访机器人的测试方法、装置,电子设备及存储介质 | |
CN111324441A (zh) | 运行环境的切换方法、装置、计算机设备和存储介质 | |
CN111158987B (zh) | 微服务架构的健康检查方法及装置 | |
CN111913880A (zh) | 一种应用软件测试方法及装置 | |
CN115757150A (zh) | 一种生产环境测试方法、装置、设备及存储介质 | |
CN115061924A (zh) | 自动化测试案例的生成方法、生成装置 | |
CN110264995A (zh) | 智能设备的语音测试方法、装置电子设备及可读存储介质 | |
CN110769064A (zh) | 一种用于离线推送消息的系统、方法和设备 | |
CN111340574B (zh) | 风险用户的识别方法、装置和电子设备 | |
CN116662351B (zh) | 一种银行数据采集方法以及系统 | |
CN101017496A (zh) | 基于最佳匹配测试结果类型自动格式化数据的方法和装置 | |
CN107423140B (zh) | 一种返回码识别方法和装置 | |
CN111510566A (zh) | 通话标签的确定方法、装置、计算机设备和存储介质 | |
CN115022201B (zh) | 一种数据处理功能测试方法、装置、设备及存储介质 | |
CN114338846B (zh) | 一种报文测试的方法及装置 | |
CN110221958B (zh) | 应用测试方法、装置、计算设备及计算机可读存储介质 | |
CN113837587B (zh) | 客服质检方法、装置、计算机设备及存储介质 | |
CN115437903A (zh) | 接口测试方法、装置、设备、存储介质及程序 | |
CN113821443A (zh) | 应用程序的功能检测方法、装置、设备及存储介质 | |
CN113760747A (zh) | 软件测试方法、装置、设备、储存介质及程序产品 | |
CN105988917A (zh) | 异常信息获取方法及装置 | |
CN111262727A (zh) | 服务的扩容方法、装置、设备及存储介质 | |
CN110928788B (zh) | 服务验证方法及设备 | |
CN116594862B (zh) | Dbms的测试方法、装置、电子设备及可读存储介质 | |
CN117555813B (zh) | 公用测试用例确定方法、装置、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |