CN111885268A - 对话平台的测试方法、装置、电子设备和存储介质 - Google Patents

对话平台的测试方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111885268A
CN111885268A CN202010537919.XA CN202010537919A CN111885268A CN 111885268 A CN111885268 A CN 111885268A CN 202010537919 A CN202010537919 A CN 202010537919A CN 111885268 A CN111885268 A CN 111885268A
Authority
CN
China
Prior art keywords
platform
test
dialogue
call
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010537919.XA
Other languages
English (en)
Other versions
CN111885268B (zh
Inventor
范括
陈昱彤
王东妮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010537919.XA priority Critical patent/CN111885268B/zh
Publication of CN111885268A publication Critical patent/CN111885268A/zh
Priority to US17/120,707 priority patent/US20210390042A1/en
Priority to EP20214553.8A priority patent/EP3923556A1/en
Priority to KR1020210060314A priority patent/KR102428685B1/ko
Priority to JP2021093621A priority patent/JP7250066B2/ja
Application granted granted Critical
Publication of CN111885268B publication Critical patent/CN111885268B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/22—Arrangements for supervision, monitoring or testing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/22—Arrangements for supervision, monitoring or testing
    • H04M3/26—Arrangements for supervision, monitoring or testing with means for applying test signals or for measuring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3604—Software analysis for verifying properties of programs
    • G06F11/3612—Software analysis for verifying properties of programs by runtime analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3664—Environments for testing or debugging software
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3696—Methods or tools to render software testable
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/50—Business processes related to the communications industry
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/01—Assessment or evaluation of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/22—Arrangements for supervision, monitoring or testing
    • H04M3/26—Arrangements for supervision, monitoring or testing with means for applying test signals or for measuring
    • H04M3/28—Automatic routine testing ; Fault testing; Installation testing; Test methods, test equipment or test arrangements therefor
    • H04M3/32—Automatic routine testing ; Fault testing; Installation testing; Test methods, test equipment or test arrangements therefor for lines between exchanges
    • H04M3/323—Automatic routine testing ; Fault testing; Installation testing; Test methods, test equipment or test arrangements therefor for lines between exchanges for the arrangements providing the connection (test connection, test call, call simulation)
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/51—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
    • H04M3/5175—Call or contact centers supervision arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/40—Aspects of automatic or semi-automatic exchanges related to call centers
    • H04M2203/403—Agent or workforce training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Artificial Intelligence (AREA)
  • Tourism & Hospitality (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Telephonic Communication Services (AREA)
  • Debugging And Monitoring (AREA)
  • Operations Research (AREA)
  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本申请公开了对话平台的测试方法、装置、电子设备和存储介质，涉及深度学习和智能对话技术领域。具体方案为：创建至少一个模拟测试实例，模拟测试实例包括多个测试任务信息，每个测试任务信息包括测试号码、振铃模拟数据和通话模拟数据，将测试号码发送至对话平台以启动测试，将振铃模拟数据发送至对话平台以接收对话平台反馈的任务状态，将通话模拟数据发送至对话平台以接收对话平台反馈的对话数据，从而根据测试任务，以及测试任务对应的任务状态和对话数据对对话平台进行对话测试，实现了消除对呼叫中心的依赖，降低了测试成本，避免对用户造成骚扰，提高了测试效率，解决了现有技术中测试成本高，效率低，同时还对用户造成骚扰的技术问题。

Description

对话平台的测试方法、装置、电子设备和存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及深度学习和智能对话技术领域，具体涉及一种对话平台的测试方法、装置、电子设备和存储介质。
背景技术
典型的智能对话系统中，需要接收各方的会话，话务量较大，为了确保智能对话系统在高并发通话的情况下，能稳定的运行，需要预先对智能对话系统进行模拟测试。
相关技术中，对智能对话系统进行模拟测试时，需要依赖呼叫中心的环境进行拨号测试，这种方式需要向呼叫中心支付大额的号线使用费用，还会给用户带来骚扰，测试难度较大，因此，摆脱对呼叫中心的依赖，实现对智能对话系统的测试，是测试人员要解决的重要难题。
发明内容
提供了一种用于对话平台的测试方法、装置、电子设备以及存储介质。
根据第一方面，提供了一种对话平台的测试方法，根据不同的测试实例中的测试任务，利用预先构建的对对话平台测试需要的测试号码、振铃模拟数据和通话模拟数据，对对话平台进行对话测试，对话测试的过程不需要真实拨打电话，消除了对呼叫中心的依赖，避免了对用户造成骚扰，降低了成本，测试效率更高。
本申请的第二方面提出一种对话平台的测试装置。
本申请的第三方面提出一种电子设备。
本申请的第四方面提出一种存储有计算机指令的非瞬时计算机可读存储介质。
根据第一方面，提供了一种对话平台的测试方法，该方法包括：
创建至少一个模拟测试实例，其中，所述模拟测试实例包括多个测试任务信息，其中，每个所述测试任务信息包括测试号码、振铃模拟数据和通话模拟数据；
将所述测试号码发送至所述对话平台以启动测试；
将所述振铃模拟数据发送至所述对话平台以接收所述对话平台反馈的任务状态；
将所述通话模拟数据发送至所述对话平台，并接收所述对话平台反馈的对话数据；以及
根据所述测试任务，以及所述测试任务对应的所述任务状态和所述对话数据对所述对话平台进行对话测试。
根据第二方面，提供了一种对话平台的测试装置，该装置包括：
创建模块，用于创建至少一个模拟测试实例，其中，所述模拟测试实例包括多个测试任务信息，其中，每个所述测试任务信息包括测试号码、振铃模拟数据和通话模拟数据；
启动模块，用于将所述测试号码发送至所述对话平台以启动测试；
接收模块，用于将所述振铃模拟数据发送至所述对话平台以接收所述对话平台反馈的任务状态；
所述接收模块，还用于将所述通话模拟数据发送至所述对话平台，并接收所述对话平台反馈的对话数据；以及
对话测试模块，用于根据所述测试任务，以及所述测试任务对应的所述任务状态和所述对话数据对所述对话平台进行对话测试。
根据第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的对话平台的测试方法。
根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行第一方面所述的对话平台的测试方法。
本发明实施例所提供的技术方案，可以包含如下的有益效果：
创建至少一个模拟测试实例，其中，模拟测试实例包括多个测试任务信息，其中，每个测试任务信息包括测试号码、振铃模拟数据和通话模拟数据，将测试号码发送至对话平台以启动测试，将振铃模拟数据发送至对话平台以接收对话平台反馈的任务状态，将通话模拟数据发送至对话平台，并接收对话平台反馈的对话数据，以及根据测试任务，以及测试任务对应的任务状态和对话数据对对话平台进行对话测试。本申请中通过创建多个测试用例，根据测试用例模拟生成对应的对话测试数据，基于对话测试数据，对对话平台进行对话测试，同时对话测试的过程中不需要真实拨打电话，消除了对呼叫中心的依赖，避免了对用户造成骚扰，节省了资源，测试效率更高。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请实施例提供的对话平台的测试方法的流程示意图之一；
图2为本申请实施例提供的对话平台的测试方法的流程示意图之二；
图3为本申请实施例提供的对话平台的测试方法的流程示意图之三；
图4为本申请实施例提供的对话平台的测试方法的流程示意图之四；
图5为本申请实施例提供的对话平台的测试方法的流程示意图之五；
图6为本申请实施例提供的对话平台的测试方法的流程示意图之六；
图7为本申请实施例提供的对话平台的测试方法的流程示意图之七；
图8为本申请实施例提供的一种对话平台的测试装置的结构示意图；以及
图9为本申请实施例的对话平台的测试方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本申请实施例的对话平台的测试方法、装置、电子设备和存储介质。
图1为本申请实施例所提供的对话平台的测试方法的流程示意图之一。
相关技术中，对对话平台进行测试时，采用的测试方案是在集成了呼叫中心的环境中通过拨测，即真实拨打电话来实现对话平台的集成测试。对于对话平台的测试人员来说，拨测前需要收集大批量的真实手机号码，而收集大批量真实号码难度大，耗费大量人力。同时，大批量的拨打电话不但会支付大额的号线使用的费用，还会对接收人员造成骚扰，降低了整体的测试效率。而本申请中基于测试需求，预先生成测试号码、模拟多种振铃模拟数据以及通话模拟数据，实现了对对话平台的通话测试，同时，通话测试过程中消除了对呼叫中心的依赖，降低了测试成本，提高了测试效率，也不会对用户造成骚扰。
如图1所示，该方法包括以下步骤：
步骤101，创建至少一个模拟测试实例，其中，模拟测试实例包括多个测试任务信息，其中，每个测试任务信息包括测试号码、振铃模拟数据和通话模拟数据。
本实施例的执行主体为对话平台的测试装置，该装置可被配置于基于mock技术的测试系统中。本申请中的对话平台则为待测试的系统，该待测试的系统可配置在智能交互产品中，例如，智能机器人。
其中，模拟测试实例，是根据测试场景的需求，为了对对话平台进行测试而生成的，基于创建的测试实例，可完成对对话平台的各个模块的完整的测试。模拟测试实例可以为一个或多个，当模拟测试实例为多个时，多个模拟测试实例可以是顺序执行的，也可以是并行执行的。
在一种场景下，模拟测试实例为一个，通过一个模拟测试实例对对话平台进行对话测试，即按照本实施例中的对话平台的测试方法的步骤进行对话测试，以实现不依赖呼叫中心，即可实现对话测试。
在第二种场景下，模拟测试实例为多个，多个模拟测试实例顺序执行，其中，执行的顺序可以是预设的执行顺序，也可以是随机的执行顺序，而每个模拟测试实例均按照本实施例中的对话平台的测试方法的步骤进行对话测试，以实现不依赖呼叫中心，即可实现对话测试。
在第三种场景下，模拟测试实例为多个，多个模拟测试实例并发进行，而每个模拟测试实例均按照本实施例中的对话平台的测试方法的步骤进行对话测试，以实现不依赖呼叫中心，即可实现对话测试。
其中，多个测试实例可以相同也不可以不同，通过设置多个模拟测试实例并发对对话平台进行测试，可以测试对话平台对大并发数据下的性能，稳定性，以及对对话平台进行压力测试，例如，当多个通话同时进行时，对话平台是否存在阻塞的问题。进而，根据多个测试实例并发测试的结果，对对话平台进行适应性调整。
本实施例中每个模拟测试实例包含测试过程中需要的多个测试任务信息，其中，测试任务，可以为呼叫测试任务、性能调度测试任务等，其中，呼叫测试任务，又可以基于不同的测试需求和测试场景，分为呼叫重试测试任务、通话测试任务、异常通话测试任务等，本实施例中不一一列举。
本实施例中，测试号码，是测试系统根据不同的号码类型自动化生成用于对平台进行测试的测试号码，以满足不同场景的测试需求。
在一种场景下，根据不同运营商的不同手机号码段，自动生成测试号码，例如，133开头的手机号码，185开头的手机号码，或189开头的手机号码，本实施例中不一一列举。
在第二种场景下，根据不同的省市，生成对应的座机的测试号码，其中，区号和号码间用括号或“-”间隔。
在第三种场景下，根据手机短号和特别号码，自动生成测试号码，例如，主机的短号号码为720，关联绑定手机的短号号码为722。其中，特别号码是指根据特定场景需求生成的号码，例如，常见的火警号码，119，求救号码：110等，还可以为自制的号码，例如，号码520，代表表达爱意的特别号码。
在第四种场景下，生成异常号码，例如，位数不符合要求的号码，格式错误的号码等，例如，正常的手机号码是11位，生成9位或10位的测试号码等，本实施例中不一一列举。
本实施例中，振铃模拟数据，是指通过模拟不同的通话状态的返回状态，以真实反映线上客户进行对话时的接通情况，其中，通话状态的返回状态可以有多种，包括：通话中，挂断，关机，占线，停机，空号，转人工和其他等，其中，针对振铃模拟数据的生成，下述实施例中会详细介绍。
本实施例中，通话模拟数据，是通过模拟用户在真实通话过程中的通话数据，其中，不同通话场景下，通话模拟数据也会不同，例如，以用户和对话平台的机器人通话为例，用户当前不愿意进行通话，在通话接通后，用户会立刻挂断，此种场景下，通话模拟数据中，通话时间较短，通话记录中只包含对话平台端的机器人的开场白。又例如，通话过程中，用户会打断机器人，则由于存在交互过程，通话时长可较长，生成的通话模拟数据中则包含用户打断的对话，以及机器人被打断后的回复。其中，针对通话模拟数据的生成，下述实施例中会详细介绍。
步骤102，将测试号码发送至对话平台以启动测试。
具体地，测试系统生成测试号码后，将生成的测试号码发送至对话平台，以启动对对话平台的测试。
步骤103，将振铃模拟数据发送至对话平台以接收对话平台反馈的任务状态。
具体地，对话平台启动后，将振铃模拟数据发送至对话平台后，以使得对话平台根据振铃模拟数据生成对应的反馈任务状态，其中，针对不同的振铃模拟数据，从对话平台获取到的反馈的任务状态也是不同的，例如，当前振铃模拟数据对应的振铃状态为“关机”，则对话平台反馈的任务状态为“待重试”。又例如，当前振铃模拟数据对应的振铃状态为“挂断”，则对话平台反馈的任务状态为“已完成”。又例如，当前振铃模拟数据对应的振铃状态为“停机”，则对话平台反馈的任务状态为“异常”。针对不同的振铃模拟数据，接收到对话平台反馈的任务状态的情况可参照下表1，表1中列举了各种不同的振铃模拟数据和反馈任务状态的对应关系。
振铃模拟数据(振铃状态) 反馈任务状态
通话中，转人工 执行中
其他(如，忙)，关机，占线 等待重试
挂断 已完成
停机，空号，其他(如，未知) 异常
表1
步骤104，将通话模拟数据发送至对话平台，并接收对话平台反馈的对话数据。
其中，通话模拟数据是指基于不同的通话时长，其中，通话时长可以是随机的时长，也可以是用户设置的固定时长，并基于不同的通话时长，模拟的用户在真实通话过程中的通话数据。
具体地，对话平台启动后，将通话模拟数据发送至对话平台后，以使得对话平台根据通话模拟数据生成对应的反馈对话数据，即实现了获取真实通话过程中的通话数据。
步骤105，根据测试任务，以及测试任务对应的任务状态和对话数据对对话平台进行对话测试。
本实施例中，不同的测试场景，对应不同的测试任务，其中，测试任务例如为呼叫重试测试，批量调度性能测试和系统报警测试等。而不同的测试任务包含的测试号码、振铃模拟数据和通话模拟数据也是不同的，而振铃模拟数据对应的反馈任务状态，以及通话模拟数据对应的反馈的对话数据也是不同的，从而实现了基于不同的场景的测试需求，对对话平台进行针对性测试，实现了不依赖呼叫中心，即可模拟各种真实场景下的对话测试，避免了对用户造成骚扰，提高了测试效率，降低了测试成本。
为了便于理解对对话平台的对话测试过程，以三个具体的测试场景为例进行说明。
在一种场景下，测试任务为呼叫重试任务，测试系统确定呼叫重试任务需要的测试号码、振铃模拟数据和通话模拟数据，其中，在呼叫重试任务中，通话模拟数据为零，也就是说不需要通话模拟数据。首先，测试系统将测试号码发送至对话平台以启动对话测试，以使得对话平台根据测试号码进行电话拨打，测试系统在接收到拨打请求后，根据测试号码对应的振铃状态，例如：占线，将对应的振铃状态：占线，发送至对话平台，并接收对话平台反馈的对应占线的振铃状态的任务状态，即“等待重试”，进而，根据呼叫重试任务，基于“等待重试”的任务状态，再次进行呼叫拨打，直至完成预设的重试次数，或者是满足预设的重试时间，则结束呼叫重试任务，即完成基于该呼叫重试任务对对话平台进行的对话测试。
在另一种场景下，测试任务为正常的通话测试任务，测试系统确定通话测试任务对应的测试号码和振铃模拟数据和通话模式数据，为了便于说明，本实施例中以一个测试号码为例进行说明。具体来说，测试系统将测试号码，例如187···075的号码，发送至对话平台以启动测试，以使得对话平台将测试号码发送至测试系统，测试系统确定该测试号码对应的振铃模拟数据为“通阿虎中”，并将该振铃模拟数据“通话中”发送至对话平台以接收对话平台反馈的任务状态为“执行中”。从而，基于该测试号码的一通电话开始进行，测试系统将通话模拟数据发送至对话平台，例如发送的为“hi，你好”，以使得对话平台根据通话模拟数据，从通话模拟数据中确定对应的反馈对话数据，进而接收对话平台反馈的对话数据“嗯，你好，你是哪位，有什么事吗？”，也就是说根据通话模拟数据中预先设置的通话时长和完整的对话数据，对对话平台完成整个通话测试任务，也就是说测试了对话平台中各个模块的调度功能，实现了在不依靠呼叫中心的情况下，可实现对对话平台的各种场景下的对话测试，成本低，效率高。
在又一种场景下，测试任务为系统报警测试任务，其中，报警测试任务是基于特定接通率条件下的测试任务，是基于预设接通率和系统响应间的预设关系实现的，例如，测试在接通率为30％的情况下，系统是否反馈报警信息，也就是说当测试1000个测试号码，其中有70％的为未接通，即低于正常情况下的接通率，那么这种情况对话平台可能存在异常，需要出发报警响应，以测试对话平台的报警响应能力，从而实现在真实场景下可以出发报警，以及时对对话系统进行处理。具体地，确定系统报警测试任务需要的测试号码、振铃模拟数据和通话模拟数据，其中，振铃模拟数据是按照比例模拟的真实线上用户的振铃状态，例如，通过测试号码拨打电话时，模拟了70％的用户，测试系统会返回对应的振铃状态为：关机。进而，利用对应的测试号码启动对话平台，将对应的振铃模拟数据发送至对话平台，确认是否可以接收到对话平台反馈的任务状态，并将对应的通话模拟数据发送至对话平台，并确认是否可以接收对话平台反馈的对话数据，以测试对话平台的各个模块，是否可以按照测试任务反馈对应的响应数据。进一步，以实现在脱离呼叫中心的情况下，基于系统报警测试任务实现对对话平台的对话测试。
需要说明的是，上述场景下的对话平台的测试仅为示例，并不构成对本申请的限制。本申请中可预先生成各种测试场景下需要的测试号码、振铃模拟数据和通话模拟数据，从而根据测试号码、振铃模拟数据和通话模拟数据，可以实现各种场景下对对话平台的测试，本实施例中不一一对各种场景下对对话平台的测试进行列举。
本实施例的对话平台的测试方法中，创建至少一个模拟测试实例，模拟测试实例包括多个测试任务信息，每个测试任务信息包括测试号码、振铃模拟数据和通话模拟数据，将测试号码发送至对话平台以启动测试，将振铃模拟数据发送至对话平台以接收对话平台反馈的任务状态，将模拟通话数据发送至对话平台，并接收对话平台反馈的对话数据，以及根据测试任务，以及测试任务对应的任务状态和对话数据对对话平台进行对话测试，消除了对呼叫中心的依赖，避免对用户造成骚扰，提高了测试效率，降低了测试成本。
上一实施例中描述了，将模拟通话数据发送至对话平台，可以接收对话平台反馈的任务状态，进而基于测试任务，以及测试任务对应的任务状态和对话数据对对话平台进行对话测试，实现对了对话平台在脱离呼叫中心的情况下，完成对话测试。而本实施例中，还可以根据对话平台反馈的对话数据，模拟语音流，以实现多轮对话，以测试对话平台是否可以实现智能对话，也就是说对话平台中设置了对话模型，该对话模型可以是基于深度学习的方法得到的，在多轮对话的过程中可以对对话模型的对话效果进行评测，进而调整对话模型的参数，以提高多轮对话的效果。为此，本实施例提供了一种对话平台的测试方法，图2为本申请实施例提供的对话平台的测试方法的流程示意图之二。
如图2所示，步骤104之后还包含以下步骤：
步骤201，根据对话平台反馈的对话数据构建对话模拟数据，并将对话模拟数据发送至对话平台。
步骤202，接收对话平台进一步反馈的对话数据。
本实施例中，在上述步骤104中接收对话平台反馈的对话数据后，根据对话平台反馈的对话数据构建对话模拟数据，其中，对话模拟数据为根据真实用户的录音数据，模拟生成对话模拟数据，并将对话模拟数据发送至对话平台，并接收对话平台根据对话模拟数据进一步反馈的对话数据。
例如，接收到对话平台反馈的对话数据为“你好呀”，则构建得到的对话模拟数据为“我想查找我的包裹到哪里了”，将该对话模拟数据再发给对话平台，则接收到对话平台进一步反馈的对话数据为“请说出或输入您的包裹快递单号”，从而实现了多轮对话的模拟，获取了对话平台反馈的多轮对话数据。进而可在对应的场景下，基于多轮对话数据，测试了对话平台对于多轮对话的响应能力，满足了各种通话场景的测试需求。
本实施例的对话平台的测试方法中，创建至少一个模拟测试实例，模拟测试实例包括多个测试任务信息，每个测试任务信息包括测试号码、振铃模拟数据和通话模拟数据，将测试号码发送至对话平台以启动测试，将振铃模拟数据发送至对话平台以接收对话平台反馈的任务状态，将模拟通话数据发送至对话平台，并接收对话平台反馈的对话数据，以及根据测试任务，以及测试任务对应的任务状态和对话数据对对话平台进行对话测试，消除了对呼叫中心的依赖，避免对用户造成骚扰，提高了测试效率，降低了测试成本，同时，基于多轮对话数据，测试了对话平台对于多轮对话的响应能力，也满足智能对话场景的需求，提高了对话平台的性能。
上一实施例中说明了需要基于振铃模拟数据对测试平台进行测试，因此，基于上一实施例，下面通过二个实施例具体说明了如何生成振铃模拟数据。
图3为本申请实施例提供的对话平台的测试方法的流程示意图之三，提供了一种振铃模拟数据生成的可能的实现方式。
如图3所示，步骤101中的振铃模拟数据，可以通过以下步骤生成：
步骤301，获取当前的测试号码。
步骤302，确定测试号码属于预设号段，则将振铃模拟数据设置为预设号段对应的振铃状态。
其中，预设号码段，是根据不同的测试场景需求生成的，不同的预设号码段具有对应的振铃状态。
通过表2，展示预设号段和振铃状态的对应关系，其中，不同的测试号码段，对应相应的预设号段，也就是说不同的测试号码段对应的预设号段可以相同，也可以不同。而不同的预设号段对应不同的振铃状态。本实施例中主要列举9种常见的振铃状态，即振铃状态数据，但并不构成对本实施例的限定。
测试号码 预设号段 振铃状态
测试号码1 预设号段1 通话中
测试号码2 预设号段3 挂断
测试号码3 预设号段2 关机
测试号码4 预设号段5 占线
测试号码5 预设号段7 停机
测试号码6 预设号段6 空号
测试号码7 预设号段8 转人工
测试号码8 预设号段9 其他(忙状态)
测试号码9 预设号段4 其他(未知状态)
······ ······ ······
测试号码N 预设号段1 通话中
表2
例如，预设号段177-178开头的手机号码段，该预设号段对应的振铃状态为关机，而生成的测试号码中包含177*******2的手机测试号码和177*******8的手机测试号码，则将该测试号码对应的振铃模拟数据设置为关机的振铃状态，实现了针对测试号码，生成对应的振铃模拟数据，以真实反应针对特定号码，用户接通的情况。
需要说明的是，对于测试号码中，不属于预设号段的测试号码，则可以采用随机的方式返回振铃状态，以使得不同的测试号码均具有对应的返回振铃状态。
本申请的对话平台的测试方法中，通过设定预设号段，建立预设号段和振铃状态间的对应关系，可以满足特定的测试需求，例如，在多个测试号码需要进行测试的场景下，需要一次测试模拟多种振铃状态，在测试结束后测试人员可以根据预设号段和振铃状态的对应关系，批量自动化校验系统的返回状态是不是符合预期，使得自动化测试效率更高。
基于上述实施例，图4为本申请实施例提供的对话平台的测试方法的流程示意图之四，提供了另一种振铃模拟数据生成的可能的实现方式。
如图4所示，步骤101中的振铃模拟数据，可以通过以下步骤生成：
步骤401，随机生成随机比例值。
步骤402，获取随机比例值所属的比例区间，并将振铃模拟数据设置为比例区间对应的振铃状态。
本实施例中生成振铃模拟数据，是不依赖生成的测试号码，也就是说，并不设定特定的测试号码设置对应的振铃状态，而是预先根据状态设置对应的比例区间，再根据随机生成随机比例值所属的比例区间，将振铃模拟数据设置为比例区间对应的振铃状态。例如，20％的测试号码所属的比例区间对应的振铃状态为空号，16％的测试号码所属的比例区间对应的振铃状态为占线，35％的测试号码所属的比例区间对应振铃状态为通话中，本实施例中不一一列举说明。
本实施例的振铃模拟数据的生成方法，可以满足定制化测试需求，根据线上运营数据，模拟真实线上客户行为，通过设置的随机的比例值，获取对应的振铃状态，实现基于特定接通率，对系统性能进行测试，模拟系统的边界或异常情况，如测试当接通率小于一定比例阈值时，是否可以触发被测系统的报警等，以保证被测系统的稳定性。具体来说，报警测试任务是基于特定接通率条件下的测试任务，是基于预设接通率和系统响应间的预设关系实现的，例如，测试在接通率为30％的情况下，系统是否反馈报警信息，也就是说当测试1000个测试号码，其中有70％的为未接通，即低于正常情况下的接通率，那么这种情况对话平台可能存在异常，需要出发报警响应，以测试对话平台的报警响应能力，从而实现在真实场景下可以出发报警，以及时对对话系统进行处理。
上一实施例中说明了，需要基于通话模拟数据对测试平台进行测试，因此，下面通过两个实施例具体说明了如何生成通话模拟数据。
基于上一实施例，图5为本申请实施例提供的对话平台的测试方法的流程示意图之五，提供了一种通话模拟数据生成的可能的实现方式。
如图5所示，步骤101中的通话模拟数据，可以通过以下步骤生成：
步骤501，获取线上通话数据。
其中，线上通话数据，是指线上真实的用户通话数据，例如，可从服务器中存储的数据中获取线上通话数据。
步骤502，根据线上通话数据生成通话模拟数据。
具体地，获取线上通话数据后，根据线上通话数据，统计线上通话数据的通话时长，按照比例确定通话时长，其中，该比例是随机确定的，例如，20％的通话时长为10秒，60％的通话时长为3分钟，10％通话为30分钟等，此处不一一列举。并获取通话时长对应的通话数据，进而，将基于比例确定的通话时长和对应的通话数据，作为通话模拟数据。
本实施例中，根据真实线上数据，按比例确定不同通话时间和对应的通话数据，使得生成的通话模拟数据尽量贴近真实，提高了对对话平台测试的效果。
基于上述实施例，图6为本申请实施例提供的对话平台的测试方法的流程示意图之六，提供了另一种生成通话模拟数据的可能的实现方式。
如图6所示，步骤101中的通话模拟数据，可以通过以下步骤生成：
步骤601，确定多个通话时长。
步骤602，针对每一个通话时长，模拟生成对应的通话记录。
步骤603，根据通话时长和通话记录，生成相应的通话模拟数据。
其中，通话模拟数据中，包含通话的时长和通话的记录。
本实施例中不同的通话场景下，可设置不同的通话时间，不同的通话时间对应的通话记录则也是不同的，从而生成的通话模拟数据也是不同的。下面针对不同的场景，设置的不同的通话时间和通话记录，即通话内容进行说明。
在第一种场景下，模拟用户秒挂断的通话场景，生成对应的通话模拟数据。
具体来说，在用户秒挂断的场景下，通话时间是较短的，从而可设置较短的通话时间，例如，4秒。而生成的通话记录中则只包含机器人的开场白。例如，真实场景下，一通电话接通后，机器人介绍说，你好，我是XX，则用户直接挂断，整个通话过程持续约3秒。因此，基于该场景，设置较短的第一通话时间，及对应的通话记录，作为该场景下的通话模拟数据。
在第二种场景下，模拟用户静默的通话场景，生成对应的通话模拟数据。
具体来说，用户在接通一通电话后，听到机器人的开场白后，用户可能并不感兴趣，并不想继续进行这个通话，或者是用户基于开场白在进行思考，从而会有一段时间的静默，也就是没有用户的回答。从而，在该场景下，设置通话时间为第二通话时间，以及对应的通话记录，通话记录中包含机器人的开场白，以及静默的回复，作为该场景下的通话模拟数据。
在第三种场景下，模拟用户打断机器人的通话场景，生成对应的通话模拟数据。
具体来说，用户在和机器人通话的过程中，会存在用户打断机器人的情况，从而机器人根据用户打断时的对话，生成打断后的回复话语，从而，将包含用户打断的话语以及机器人被打断后的回复的通话记录，及对应的通话时间，作为该场景下的通话模拟数据。
在第四种场景下，模拟用户辱骂机器人的通话场景，生成对应的通话模拟数据。
具体来说，用户在和机器人进行通话的过程中，会存在用户因不满意等，辱骂机器人的情况，当识别出用户辱骂机器人的话语时，触发辱骂事件，以使得机器人主动挂断电话，通话结束。将包含用户辱骂机器人以及机器人回复的通话记录作为该场景下的通话模拟数据。
在第五种场景下，模拟正常的完整通话场景，生成对应的通话模拟数据。
具体来说，根据对话平台设置的预设最大通话时间，设置该完整对话流程的通话时间，也就是说完整对话流程的通话时间小于等于预设最大通话时间，并根据不同的会话流程生成包含机器人和客户对话的通话记录，将该通话记录作为该场景下的通话模拟数据。
本实施例中，基于不同的通话场景，设置不同的通话时长，并搭配不同的通话记录，根据设置的不同的通话时长和对应的通话记录，作为该场景下的通话模拟数据，使得每个场景下的生成的模拟通话数据尽量贴近真实场景，从而，基于生成的通话模拟数据，可以实现对特定场景的测试，例如秒挂场景，超长通话的异常场景等，通话模拟数据生成灵活，测试效率较高。
基于上述实施例，图7为本申请实施例提供的对话平台的测试方法的流程示意图之七，如图7所示，步骤105之后，该方法还包含以下步骤：
步骤701，获取对话平台的运行状态信息。
步骤702，根据运行状态信息对对话平台进行运行测试。
本实施例中，在对话平台进行对话测试过程中，还可以获取对话平台的运行状态信息，其中，运行状态信息包含被测系统的系统内存占用信息、中央处理器信息、对话时长信息，对话平台的错误信息等。根据运行状态信息，对对对话平台进行运行测试，以测试对话平台的运行状态的稳定性，压力承受能力等，并根据测试结果生成运行测试报告，以实现基于运行测试报告，改善对话平台的性能。
本实施例的对话平台的测试方法中，通过收集对话平台在测试过程中的运行状态信息，根据运行状态信息对对话平台进行运行测试，实现了对对话平台的稳定性、承压性进行测试，以根据测试结果改善对话平台的性能。
为了实现上述实施例，本实施例提供了一种对话平台的测试装置。
图8为本申请实施例提供的一种对话平台的测试装置的结构示意图。
如图8所示，该装置包括：创建模块81、启动模块82、接收模块83和对话测试模块84。
创建模块81，用于创建至少一个模拟测试实例，其中，模拟测试实例包括多个测试任务信息，其中，每个测试任务信息包括测试号码、振铃模拟数据和通话模拟数据。
启动模块82，用于将测试号码发送至对话平台以启动测试。
接收模块83，用于将振铃模拟数据发送至对话平台以接收对话平台反馈的任务状态。
上述接收模块83，还用于将通话模拟数据发送至对话平台，并接收对话平台反馈的对话数据。
对话测试模块84，用于根据测试任务，以及测试任务对应的任务状态和对话数据对对话平台进行对话测试。
在本发明实施例的一种可能的实现方式中，该装置还包括：获取模块和运行测试模块。
获取模块，用于获取所述对话平台的运行状态信息。
运行测试模块，用于根据所述运行状态信息对所述对话平台进行运行测试。
在本发明实施例的一种可能的实现方式中，该装置还包括：发送模块。
发送模块，用于根据所述对话平台反馈的对话数据构建对话模拟数据，并将所述对话模拟数据发送至所述对话平台。
上述接收模块83，还用于接收所述对话平台进一步反馈的对话数据。
在本发明实施例的一种可能的实现方式中，上述创建模块81，在生成振铃模拟数据时，通过以下两种可能的实现方式实现。
作为一种可能的实现方式，上述创建模块81，包括：获取单元和设置单元。
获取单元，用于获取当前的所述测试号码。
设置单元，用于确定所述测试号码属于预设号段，则将所述振铃模拟数据设置为所述预设号段对应的振铃状态。
作为另一种可能的实现方式，上述创建模块81，还包括：生成单元。
生成单元，用于随机生成随机比例值。
上述设置单元，用于获取所述随机比例值所属的比例区间，并将所述振铃模拟数据设置为所述比例区间对应的振铃状态。
在本发明实施例的一种可能的实现方式中，上述创建模块81，在生成模拟通话数据时，通过以下两种可能的实现方式实现。
作为一种可能的实现方式，上述获取单元，用于获取线上通话数据。上述生成单元，用于根据所述线上通话数据生成所述通话模拟数据。
作为另一种可能的实现方式，上述确定单元，用于确定多个通话时长。上述生成单元，还用于针对每一个通话时长，模拟生成对应的通话记录；根据所述通话时长和所述通话记录，生成相应的通话模拟数据。
需要说明的是前述对对话平台的测试方法实施例的解释说明也适用于本实施例的对话平台的测试装置，原理相同，此处不再赘述。
本实施例的对话平台的测试装置中，创建至少一个模拟测试实例，模拟测试实例包括多个测试任务信息，每个测试任务信息包括测试号码、振铃模拟数据和通话模拟数据，将测试号码发送至对话平台以启动测试，将振铃模拟数据发送至对话平台以接收对话平台反馈的任务状态，将通话模拟数据发送至对话平台，并接收对话平台反馈的对话数据，以及根据测试任务，以及测试任务对应的任务状态和对话数据对对话平台进行对话测试，消除了对呼叫中心的依赖，避免对用户造成骚扰，提高了测试效率，降低了测试成本。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图9所示，是根据本申请实施例的对话平台的测试方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示，该电子设备包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器901为例。
存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的对话平台的测试方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的对话平台的测试方法。
存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的对话平台的测试方法对应的程序指令/模块(例如，附图8所示的创建模块81、启动模块82、接收模块83和对话测试模块84)。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的对话平台的测试方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据对话平台的测试方法的电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至对话平台的测试方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
对话平台的测试方法的电子设备还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图9中以通过总线连接为例。
输入装置903可接收输入的数字或字符信息，以及产生与对话平台的测试方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置Y04可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，创建至少一个模拟测试实例，模拟测试实例包括多个测试任务信息，每个测试任务信息包括测试号码、振铃模拟数据和通话模拟数据，将测试号码发送至对话平台以启动测试，将振铃模拟数据发送至对话平台以接收对话平台反馈的任务状态，将模拟通话数据发送至对话平台，并接收对话平台反馈的对话数据，以及根据测试任务，以及测试任务对应的任务状态和对话数据对对话平台进行对话测试，消除了对呼叫中心的依赖，避免对用户造成骚扰，提高了测试效率，解决了现有技术中必须依赖呼叫中心进行对话测试，成本高，效率低，同时还对用户造成骚扰的技术问题。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (16)

1.一种对话平台的测试方法，包括：
创建至少一个模拟测试实例，其中，所述模拟测试实例包括多个测试任务信息，其中，每个所述测试任务信息包括测试号码、振铃模拟数据和通话模拟数据；
将所述测试号码发送至所述对话平台以启动测试；
将所述振铃模拟数据发送至所述对话平台以接收所述对话平台反馈的任务状态；
将所述通话模拟数据发送至所述对话平台，并接收所述对话平台反馈的对话数据；以及
根据所述测试任务，以及所述测试任务对应的所述任务状态和所述对话数据对所述对话平台进行对话测试。
2.如权利要求1所述的对话平台的测试方法，其中，还包括：
获取所述对话平台的运行状态信息；
根据所述运行状态信息对所述对话平台进行运行测试。
3.如权利要求1所述的对话平台的测试方法，其中，还包括：
根据所述对话平台反馈的对话数据构建对话模拟数据，并将所述对话模拟数据发送至所述对话平台；
接收所述对话平台进一步反馈的对话数据。
4.如权利要求1所述的对话平台的测试方法，其中，所述振铃模拟数据通过以下步骤生成：
获取当前的所述测试号码；
确定所述测试号码属于预设号段，则将所述振铃模拟数据设置为所述预设号段对应的振铃状态。
5.如权利要求1所述的对话平台的测试方法，其中，所述振铃模拟数据通过以下步骤生成：
随机生成随机比例值；
获取所述随机比例值所属的比例区间，并将所述振铃模拟数据设置为所述比例区间对应的振铃状态。
6.如权利要求1所述的对话平台的测试方法，其中，所述通话模拟数据通过以下步骤生成：
获取线上通话数据；
根据所述线上通话数据生成所述通话模拟数据。
7.如权利要求1所述的对话平台的测试方法，其中，所述通话模拟数据通过以下步骤生成：
确定多个通话时长；
针对每一个通话时长，模拟生成对应的通话记录；
根据所述通话时长和所述通话记录，生成相应的通话模拟数据。
8.一种对话平台的测试装置，包括：
创建模块，用于创建至少一个模拟测试实例，其中，所述模拟测试实例包括多个测试任务信息，其中，每个所述测试任务信息包括测试号码、振铃模拟数据和通话模拟数据；
启动模块，用于将所述测试号码发送至所述对话平台以启动测试；
接收模块，用于将所述振铃模拟数据发送至所述对话平台以接收所述对话平台反馈的任务状态；
所述接收模块，还用于将所述通话模拟数据发送至所述对话平台，并接收所述对话平台反馈的对话数据；
对话测试模块，用于根据所述测试任务，以及所述测试任务对应的所述任务状态和所述对话数据对所述对话平台进行对话测试。
9.如权利要求8所述的对话平台的测试装置，其中，还包括：
获取模块，用于获取所述对话平台的运行状态信息；
运行测试模块，用于根据所述运行状态信息对所述对话平台进行运行测试。
10.如权利要求8所述的对话平台的测试装置，其中，还包括：
构建模块，用于根据所述对话平台反馈的对话数据构建对话模拟数据，并将所述对话模拟数据发送至所述对话平台；
所述接收模块，还用于接收所述对话平台进一步反馈的对话数据。
11.如权利要求8所述的对话平台的测试装置，其中，所述创建模块，包括：
获取单元，用于获取当前的所述测试号码；
设置单元，用于确定所述测试号码属于预设号段，则将所述振铃模拟数据设置为所述预设号段对应的振铃状态。
12.如权利要求8所述的对话平台的测试装置，其中，所述创建模块，还包括：
生成单元，用于随机生成随机比例值；
所述设置单元，用于获取所述随机比例值所属的比例区间，并将所述振铃模拟数据设置为所述比例区间对应的振铃状态。
13.如权利要求8所述的对话平台的测试装置，其中，
所述获取单元，用于获取线上通话数据；
所述生成单元，用于根据所述线上通话数据生成所述通话模拟数据。
14.如权利要求8所述的对话平台的测试装置，其中，
所述确定单元，用于确定多个通话时长；
所述生成单元，还用于针对每一个通话时长，模拟生成对应的通话记录；根据所述通话时长和所述通话记录，生成相应的通话模拟数据。
15.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的对话平台的测试方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的对话平台的测试方法。
CN202010537919.XA 2020-06-12 2020-06-12 对话平台的测试方法、装置、电子设备和存储介质 Active CN111885268B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010537919.XA CN111885268B (zh) 2020-06-12 2020-06-12 对话平台的测试方法、装置、电子设备和存储介质
US17/120,707 US20210390042A1 (en) 2020-06-12 2020-12-14 Method and apparatus for testing dialogue platform, and storage medium
EP20214553.8A EP3923556A1 (en) 2020-06-12 2020-12-16 Method and apparatus for testing dialogue platform, and storage medium
KR1020210060314A KR102428685B1 (ko) 2020-06-12 2021-05-10 대화 플랫폼의 테스트 방법, 대화 플랫폼의 테스트 장치, 전자기기 및 저장매체
JP2021093621A JP7250066B2 (ja) 2020-06-12 2021-06-03 対話プラットフォームのテスト方法、装置、電子機器及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010537919.XA CN111885268B (zh) 2020-06-12 2020-06-12 对话平台的测试方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111885268A true CN111885268A (zh) 2020-11-03
CN111885268B CN111885268B (zh) 2022-03-22

Family

ID=73156979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010537919.XA Active CN111885268B (zh) 2020-06-12 2020-06-12 对话平台的测试方法、装置、电子设备和存储介质

Country Status (5)

Country Link
US (1) US20210390042A1 (zh)
EP (1) EP3923556A1 (zh)
JP (1) JP7250066B2 (zh)
KR (1) KR102428685B1 (zh)
CN (1) CN111885268B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113032543A (zh) * 2021-04-27 2021-06-25 中国平安人寿保险股份有限公司 基于栈结构的对话诊断方法、装置、设备及介质
CN113065850A (zh) * 2021-04-02 2021-07-02 京东数科海益信息科技有限公司 用于智能外呼机器人的话术测试方法及装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592305B (zh) * 2021-07-29 2024-08-13 北京百度网讯科技有限公司 测试方法、装置、电子设备以及存储介质
CN114363846B (zh) * 2021-12-30 2023-12-12 天翼物联科技有限公司 物联网5g-sa计费拨测验证方法、系统、装置及介质
CN114374632B (zh) * 2022-01-10 2022-10-04 北京中电兴发科技有限公司 一种物联网数据平台多协议测试提效方法
CN114567627B (zh) * 2022-02-25 2024-01-26 山东云海国创云计算装备产业创新中心有限公司 一种仿真平台管理方法、系统、设备以及介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6173244B1 (en) * 1998-04-09 2001-01-09 Lucent Technologies, Inc. System and method for testing a switching system in a telecommunication network
CN101729681A (zh) * 2008-10-23 2010-06-09 华为技术有限公司 一种自动拨测方法、拨测终端及通信系统
US20120131476A1 (en) * 2010-05-26 2012-05-24 Xperience Consulting, SL System and method for unmoderated remote user testing and card sorting
CN103905659A (zh) * 2012-12-28 2014-07-02 北京大唐高鸿数据网络技术有限公司 测试呼叫中心智能话务排队系统功能的系统及方法
CN105472177A (zh) * 2015-12-10 2016-04-06 上海携程商务有限公司 呼叫中心的压力测试方法
CN106453972A (zh) * 2016-12-16 2017-02-22 携程旅游信息技术（上海）有限公司 呼叫中心的自动呼叫测试系统及方法
CN108132886A (zh) * 2018-01-08 2018-06-08 携程旅游信息技术（上海）有限公司 呼叫中心gui的测试方法及系统、计算机可读存储介质
CN108376115A (zh) * 2018-01-29 2018-08-07 数据通信科学技术研究所 一种跨Android平台自动化测试方法及系统
CN108540674A (zh) * 2018-03-22 2018-09-14 平安科技（深圳）有限公司 自动化测试方法、装置、计算机设备以及存储介质
CN108989583A (zh) * 2018-08-10 2018-12-11 携程旅游信息技术（上海）有限公司 呼叫中心的压力测试方法、系统、电子设备和存储介质
CN109600521A (zh) * 2018-11-14 2019-04-09 平安科技（深圳）有限公司 呼叫中心外呼测试方法及装置、电子设备、存储介质
CN109670016A (zh) * 2018-12-25 2019-04-23 苏州思必驰信息科技有限公司 用于语音对话平台内语音产品的技能测试方法及系统
CN110166636A (zh) * 2019-04-15 2019-08-23 深圳壹账通智能科技有限公司 压力测试的装置、方法及存储介质
CN110209561A (zh) * 2019-05-09 2019-09-06 北京百度网讯科技有限公司 用于对话平台的评测方法和评测装置
CN111246511A (zh) * 2020-01-19 2020-06-05 惠州Tcl移动通信有限公司 一种通话测试系统、方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5652791A (en) * 1995-07-19 1997-07-29 Rockwell International Corp. System and method for simulating operation of an automatic call distributor
GB0013180D0 (en) * 2000-06-01 2000-07-19 Ibm Testing voice message applications
US6914962B2 (en) * 2000-12-14 2005-07-05 Nortel Networks Limited Call-flow verification method and apparatus
US8670972B1 (en) * 2007-06-07 2014-03-11 West Corporation Method and apparatus for voice recognition unit simulation
KR101622783B1 (ko) * 2009-09-14 2016-05-19 에스케이텔레콤 주식회사 통신망 성능 검증 시스템 및 통신망 성능 검증 방법
US8625772B2 (en) * 2009-12-22 2014-01-07 Cyara Solutions Pty Ltd. Integrated testing platform for contact centres
KR101199311B1 (ko) * 2012-01-26 2012-11-07 주식회사 예스피치 자동응답시스템의 자동 시나리오 테스트 시스템, 장치 및 방법
AU2015315101A1 (en) 2014-09-09 2016-07-14 Cyara Solutions Pty Ltd Call recording test suite
CN108737205A (zh) * 2017-04-18 2018-11-02 中兴通讯股份有限公司 拨测方法、装置及系统
US10326880B2 (en) * 2017-07-03 2019-06-18 Cyara Solutions Pty Ltd System and method for integrated CX-AX contact center testing
KR20190097461A (ko) * 2018-02-12 2019-08-21 보리 주식회사 사람 - 인공지능 협업 콜센터 시스템 및 서비스 방법
KR102224500B1 (ko) * 2018-03-23 2021-03-08 주식회사 포지큐브 인공지능 기반의 가상 호스트 캐릭터를 이용한 대화형 고객 응대 서비스 제공 시스템 및 방법
KR102138974B1 (ko) * 2018-09-21 2020-07-28 나택균 이동통신망에서의 콜 테스트 자동화 시스템 및 방법
US11567846B2 (en) * 2019-10-17 2023-01-31 Cyara Solutions Pty Ltd System and method for contact center fault diagnostics

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6173244B1 (en) * 1998-04-09 2001-01-09 Lucent Technologies, Inc. System and method for testing a switching system in a telecommunication network
CN101729681A (zh) * 2008-10-23 2010-06-09 华为技术有限公司 一种自动拨测方法、拨测终端及通信系统
US20120131476A1 (en) * 2010-05-26 2012-05-24 Xperience Consulting, SL System and method for unmoderated remote user testing and card sorting
CN103905659A (zh) * 2012-12-28 2014-07-02 北京大唐高鸿数据网络技术有限公司 测试呼叫中心智能话务排队系统功能的系统及方法
CN105472177A (zh) * 2015-12-10 2016-04-06 上海携程商务有限公司 呼叫中心的压力测试方法
CN106453972A (zh) * 2016-12-16 2017-02-22 携程旅游信息技术（上海）有限公司 呼叫中心的自动呼叫测试系统及方法
CN108132886A (zh) * 2018-01-08 2018-06-08 携程旅游信息技术（上海）有限公司 呼叫中心gui的测试方法及系统、计算机可读存储介质
CN108376115A (zh) * 2018-01-29 2018-08-07 数据通信科学技术研究所 一种跨Android平台自动化测试方法及系统
CN108540674A (zh) * 2018-03-22 2018-09-14 平安科技（深圳）有限公司 自动化测试方法、装置、计算机设备以及存储介质
CN108989583A (zh) * 2018-08-10 2018-12-11 携程旅游信息技术（上海）有限公司 呼叫中心的压力测试方法、系统、电子设备和存储介质
CN109600521A (zh) * 2018-11-14 2019-04-09 平安科技（深圳）有限公司 呼叫中心外呼测试方法及装置、电子设备、存储介质
CN109670016A (zh) * 2018-12-25 2019-04-23 苏州思必驰信息科技有限公司 用于语音对话平台内语音产品的技能测试方法及系统
CN110166636A (zh) * 2019-04-15 2019-08-23 深圳壹账通智能科技有限公司 压力测试的装置、方法及存储介质
CN110209561A (zh) * 2019-05-09 2019-09-06 北京百度网讯科技有限公司 用于对话平台的评测方法和评测装置
CN111246511A (zh) * 2020-01-19 2020-06-05 惠州Tcl移动通信有限公司 一种通话测试系统、方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065850A (zh) * 2021-04-02 2021-07-02 京东数科海益信息科技有限公司 用于智能外呼机器人的话术测试方法及装置
CN113065850B (zh) * 2021-04-02 2024-06-18 京东科技信息技术有限公司 用于智能外呼机器人的话术测试方法及装置
CN113032543A (zh) * 2021-04-27 2021-06-25 中国平安人寿保险股份有限公司 基于栈结构的对话诊断方法、装置、设备及介质
CN113032543B (zh) * 2021-04-27 2023-07-18 中国平安人寿保险股份有限公司 基于栈结构的对话诊断方法、装置、设备及介质

Also Published As

Publication number Publication date
EP3923556A1 (en) 2021-12-15
US20210390042A1 (en) 2021-12-16
KR102428685B1 (ko) 2022-08-03
JP7250066B2 (ja) 2023-03-31
JP2021132413A (ja) 2021-09-09
CN111885268B (zh) 2022-03-22
KR20210061984A (ko) 2021-05-28

Similar Documents

Publication Publication Date Title
CN111885268B (zh) 对话平台的测试方法、装置、电子设备和存储介质
US10582057B2 (en) Automatic quality management of chat agents via chat bots
US9148394B2 (en) Systems and methods for user interface presentation of virtual agent
US8812417B2 (en) Hierarchical based sequencing machine learning model
US20140164532A1 (en) Systems and methods for virtual agent participation in multiparty conversation
CN112486820B (zh) 用于测试代码的方法、装置、设备以及存储介质
CN113656179B (zh) 云计算资源的调度方法及装置、电子设备和存储介质
CN101867487A (zh) 用图形呼叫连接象征管理联系中心的系统和方法
CN107920173B (zh) 多方通话的电话会议发起方法、系统、设备及存储介质
CN104144250A (zh) 一种终端上对事件进行提醒的方法及装置
CN110750419B (zh) 离线任务的处理方法、装置、电子设备及存储介质
CN113742174B (zh) 云手机应用监控方法、装置、电子设备和存储介质
CN113382310B (zh) 信息推荐方法及装置、电子设备和介质
CN117971661A (zh) 大模型测试方法、装置、电子设备及存储介质
CN112631843A (zh) 设备测试方法及装置、电子设备、可读介质、产品
CN115050396A (zh) 测试方法及装置、电子设备及介质
CN114706610A (zh) 一种业务流程图生成方法、装置、设备及存储介质
CN114861675A (zh) 用于语义识别的方法及装置、控制指令的生成方法及装置
CN110730323B (zh) 会议交互信息处理方法、装置、计算机装置及存储介质
CN112579032A (zh) 智能设备引导的方法及装置
CN117093691B (zh) 基于大语言模型的系统帮助方法、装置、设备及存储介质
CN113114851B (zh) 来电智能语音回复方法、装置、电子设备和存储介质
US20240296831A1 (en) Method and apparatus for generating data to train models for predicting intent from conversations
CN114401275B (zh) 云手机数据备份及还原方法、装置、电子设备及存储介质
US20240296836A1 (en) Method and apparatus for generating data to train models for entity recognition from conversations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant