CN110417589B - 一种车载语音云用户体验质量路测方法 - Google Patents

一种车载语音云用户体验质量路测方法 Download PDF

Info

Publication number
CN110417589B
CN110417589B CN201910664375.0A CN201910664375A CN110417589B CN 110417589 B CN110417589 B CN 110417589B CN 201910664375 A CN201910664375 A CN 201910664375A CN 110417589 B CN110417589 B CN 110417589B
Authority
CN
China
Prior art keywords
voice
user experience
service
data packet
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910664375.0A
Other languages
English (en)
Other versions
CN110417589A (zh
Inventor
安媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuzhou University of Technology
Original Assignee
Xuzhou University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuzhou University of Technology filed Critical Xuzhou University of Technology
Priority to CN201910664375.0A priority Critical patent/CN110417589B/zh
Publication of CN110417589A publication Critical patent/CN110417589A/zh
Application granted granted Critical
Publication of CN110417589B publication Critical patent/CN110417589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G09B29/006—Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/01—Assessment or evaluation of speech recognition systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H04L43/55—Testing of service level quality, e.g. simulating service usage

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Acoustics & Sound (AREA)
  • Educational Administration (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ecology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种车载语音云用户体验质量路测方法，其特征在于：一种车载语音云用户体验质量路测方法，其特征在于基于用户行为脚本的业务测试发起方法、在线时延和识别精度自动分析方法、基于实际响应时间和心理感知时间非线性映射的用户体验质量评价方法以及基于GIS的车载语音云业务用户体验质量展示方法。本发明涉及的一种车载语音云用户体验质量路测方法，提高了用户体验路测的自动化程度，降低了人工处理时间；同时，该方法，记录了业务发生的经纬度，在地图上以不同颜色显示用户体验分值，有助于提高测试结果展示的直观性和整体性。

Description

一种车载语音云用户体验质量路测方法
技术领域
本发明属于通信技术领域，具体是一种车载语音云用户体验质量路测方法。
背景技术
车载智能语音系统以其独特的优势，可以帮助驾驶者降低对车内设备的操作依赖，增加驾驶安全系数。
面对日益繁多的需求类型以及其不断扩大的功能要求，其相关测试的有效方法和系统必不可少，车载环境的快速变化和用户请求的多样性，加大了测试的难度。传统的通信测试方法使用随机发送数据包的方法，仅能够测试网络和服务器的承载能力；而由测试员手工拨测的方法虽然可以测试业务质量，但是以人工为主，这样不仅耗费人力、效率低下，而且测试结果主观化，精确度较低，不能满足产品研发和改进的需求。
发明内容
要解决的问题
本发明要解决的技术问题是提供一种面向车载环境的语音云业务平台路测方法，该方法能够真实再现不同场景的用户行为特征，发起业务并记录业务质量，在网络终端侧模拟真实用户的心理感知过程，获得大量业务单次执行的评分，根据评分结果和业务发生地点在地图上直观显示测试结果。从而可以作为产品基线测试和商用网路测提供支持。该测试方法面向此类产品生产过程中的测试者使用，对即将上线和已经上线的产品进行大面积指标摸底，方便进行产品改进以及通信系统更新之后的前后用户体验对比之用。
技术方案
为解决上述技术问题，本发明所采取的技术方案是：一种车载语音云用户体验质量路测方法，其特征在于：一种车载语音云用户体验质量路测方法，其特征在于基于用户行为脚本的业务测试发起方法、在线时延和识别精度自动分析方法、基于实际响应时间和心理感知时间非线性映射的用户体验质量评价方法以及基于GIS的车载语音云业务用户体验质量展示方法；
所述的业务测试发起方法利用脚本描述典型语音云用户的常用语音请求意图比例和常见请求频率以及常见请求语音长度，从语音库提取语音样本发送到云端语音识别服务器，并接收服务器反馈的识别信息，业务测试发起方法执行的同时，在线时延和识别精度自动分析方法记录数据包，根据请求数据包应用层数据特征和反馈数据包特征计算响应时延，根据反馈文本和语音样本库预存的对应文本比对结果计算反馈精度，这里采用关键词而不是全部文本比对结果判断识别对于业务执行的效果，根据实验样本和心理指标的韦伯定律设计的车载语音云的用户体验质量评价方法将实际响应时间映射到心理感知时间，根据心理感知时间计算评价分值，根据识别精度确定最终用户体验评价分值，并用统一的公式一次性完成上述评价过程，评价用户体验质量的同时记录业务发生的经纬度，基于GIS的车载语音云业务用户体验质量展示方法计算评价结果的数学期望，通过GIS系统把分值展示在地图的道路上。
对上述方案作进一步补充，所述的基于用户行为脚本的业务测试发起方法根据用户常见语音请求类型、长度和频度设置路测脚本，通过发送语音库的典型测试样例发起业务，同时记录数据包。
对上述方案作进一步补充，所述的在线时延和识别精度自动分析方法根据不同语音云服务产品的特征，提取数据包的应用层请求数据，识别第一个请求数据包和第一个回应数据包，根据第一个回应数据包的传输层编号和网络层编号识别最后一个回应数据包，根据第一个请求数据包和最后一个回应数据包的时间戳获得语音识别反馈时延。利用语音云API接口的输出获得识别结果，将语音库中与发送语音样本对应的关键字结合与识别结果对比，获得识别精度。
对上述方案作进一步补充，基于实际响应时间和心理感知时间非线性映射的用户体验质量评价方法采用如下实验所得公式量化用户体验质量：
Figure BDA0002139586820000021
其中，T为测试时延，为识别成功率，时延T为起止数据包的时延差值既是T＝Tr-Tc，tr从建立交互开始的第一个数据报文时间，tc数据业务完成后，确认结束的报文时间。
对上述方案作进一步补充，根据数据包获取的实际时延和识别精度，利用用户体验量化公式获得用户体验的分值。记录业务发生的经纬度，并以冷色调表示高分值，以暖色调表示低分值，将用户体验分值显示在地图上。
一种车载语音云用户体验质量路测方法，包括如下步骤：
1)建立典型语音库，包括用户常用请求语音文件和与之对应的关键字；
2)针对不同典型场景建立测试脚本描述用户的请求类型、语音长度和请求频率；
3)根据测试脚本在车辆上自动发起业务，调用典型语音发送的被测的云服务器，同时记录网络数据包和API输出识别结果；
4)根据语音云服务商特点在数据包应用层的体现定义初始请求包和最后反馈数据包；
5)根据数据包捕获的时间戳计算反馈时延；
6)提取语音库中和发送语音样本对应的关键字文本，在识别反馈信息中匹配关键字，获得识别精度；
7)根据反馈时延和识别精度计算用户体验分值；
8)根据业务发起位置显示用户体验测试结果，以不同颜色图标表示不同的用户体验等级；
相比于现有技术，本发明的有益效果为：
本发明中的用户行为描述脚本把用户请求类型、语音长度和请求频率作为参数描述不同场景下的用户行为特征，根据这些特征提取语音库中的典型语音样本进行测试，可以提高语音样本的复用度，利用少量典型样本组建各类测试场景；同时，该方法，根据语音云业务商信息在数据包应用层的体现和网络层序号的相关性，自动识别关键数据包，计算时延，根据识别结果自动计算识别精度，根据实验获得的用户体验量化公式，将客观指标转化为心理感知指标，提高了用户体验路测的自动化程度，降低了人工处理时间；同时，该方法，记录了业务发生的经纬度，在地图上以不同颜色显示用户体验分值，有助于提高测试结果展示的直观性和整体性。
附图说明
图1是本发明中语音云测试方法分层示意图；
图2是本发明中语音云路测方法的系统架构图；
图3是测试用例场景模拟示意图；
图4是在线实时路测业务发起流程图；
图5是时延指标分析分析方法流程图；
图6是识别率指标计算流程图。
具体实施方式
下面结合具体实施例对本发明进一步进行描述。
本发明具体涉及一种车载语音云用户体验质量路测方法，用于车载环境下语音云业务质量的测试，通过模拟典型用户行为，自动计算用户体验量化指标，并在地图上图形化呈现测试结果，便于测试人员观察不同路段和场景下的业务质量。
附图1为语音云测试方法分层示意图，附图2为语音云路测方法的系统架构图，该方法利用脚本描述典型语音云用户的常用语音请求意图比例和常见请求频率以及常见请求语音长度，从语音库提取语音样本发送到云端语音识别服务器，并接收服务器反馈的识别信息，业务测试发起方法执行的同时，在线时延和识别精度自动分析方法记录数据包，根据请求数据包应用层数据特征和反馈数据包特征计算响应时延，根据反馈文本和语音样本库预存的对应文本比对结果计算反馈精度，这里采用关键词而不是全部文本比对结果判断识别对于业务执行的效果，根据实验样本和心理指标的韦伯定律设计的车载语音云的用户体验质量评价方法将实际响应时间映射到心理感知时间，根据心理感知时间计算评价分值，根据识别精度确定最终用户体验评价分值，并用统一的公式一次性完成上述评价过程，评价用户体验质量的同时记录业务发生的经纬度，基于GIS的车载语音云业务用户体验质量展示方法计算评价结果的数学期望，通过GIS系统把分值展示在地图的道路上。
语音云路测方法利用脚本描述用户行为特征，利用数据包分析获取关键指标并通过映射公式获得用户体验量化分值，利用GIS系统展示用户体验分值。便于测试人员从整体视角观察区域内语音云的通信服务质量。
本发明中，用户行为描述方法，如附图3所示：将典型用户行为产生的语音请求信息作为样本记录在语音库中，采用脚本描述某场景下用户请求内容、请求语音长度和请求频率。业务发起时根据脚本从语音库中提取样本发送到云端的服务器，并接收反馈信息，同时记录网络数据包。实时测试时的业务发起流程如图4所示。
本发明中，语音请求信息的反馈时延计算方法，如图5所示，利用语音云服务商的特征在数据包应用层的体现识别关键数据包，并根据关键数据包的时间戳计算语音云业务的时延。
本发明中，语音请求识别准确率的计算方法，如图6所示，语音库中预先存放与语音样本对应的关键字。测试时获得语音云服务器的反馈文本，以反馈文本包含对应关键字的比例计算识别精度，而不用对比语音实际对应文本和识别获得文本，从而更好的描述语音云服务对用户意图还原的能力。
本发明中，量化语音云业务用户体验质量的计算方法，如
Figure BDA0002139586820000041
所示，通过实验获得了车载情况下，语音云反馈时延和识别精度对用户心理满意度的影响，并用公式进行了量化。在获得时延和精度指标后自动带入公式输出用户体验质量分值。
语音云用户体验质量的呈现采用图形化形式，在业务发起时记录业务发生地点的经纬度，获得用户体验评分之后，以不同颜色在地图上呈现测试结果。
利用上述的车载语音云用户体验质量路测方法，其具体实现步骤如下：
1)建立典型语音库
分析用户发生频率较高的行为，记录典型的用户请求语音信息，以WAV文件格式存放在语音库中，判断请求信息中的关键字，认为关键字如果被全部识别，则一般语音云业务则可以准确判断出用户请求意图。将关键字集合和语音云WAV发文件对应存放。
2)编写测试脚本
分析不同场景下，用户的主要请求内容和行为习惯，针对不同典型场景建立测试脚本描述用户的请求类型、语音长度和请求频率。脚本应直接指向语音库中的具体WAV语音样本文件，或者根据脚本的描述可以准确寻找符合要求的WAV语音样本文件。
3)测试业务发起
根据测试脚本在车辆上自动发起业务，控制器向车辆上的测试客户都按发出指令，调用语音库中的典型语音WAV文件发送到被测的云服务器，同时记录下该过程中产生的网络数据包，并接收语音云服务器发回的输出识别结果；
4)关键数据包识别
根据语音云服务商特点在数据包应用层的体现定义初始请求包，根据请求数据包和反馈数据包在传输层或者应用层的对应关系找到第一个反馈数据包，如果请求采用TCP协议，则对应关系可以在传输层找到，如果请求采用UDP协议，则对应关系可以在应用层找到。根据传输层序号和网络层序号，识别出对应该请求的最后一个反馈数据包。
5)计算反馈时延
根据请求数据包的捕获时间和最后一个反馈数据包的时间戳计算反馈时延，同时，记录下获得反馈数据包时的车辆经纬度。
6)计算识别精度
提取语音库中和发送语音样本对应的关键字文本，在语音云反馈信息文本中查找与关键字匹配的子字符串，以能够找到的关键字比例作为识别精度。
7)计算用户体验分值
如果识别精度为100％，则根据公式
Figure BDA0002139586820000051
所示的实际反馈时延和心理时延对应关系计算用户体验分值，如果识别精度小于100％则认为反馈无效，用户体验分值为0。其中，T为测试时延，为识别成功率，时延T为起止数据包的时延差值既是T＝Tr-Tc，tr从建立交互开始的第一个数据报文时间，tc数据业务完成后，确认结束的报文时间。
8)测试结果呈现
根据业务发起位置显示用户体验测试结果，以不同颜色图标表示不同的用户体验等级，并以冷色调表示高分值，以暖色调表示低分值，将用户体验分值显示在地图上。
车载语音云用户体验质量路测方法根据车载语音业务的特点，采用少量典型用户行为构建各种不同测试场景，利用数据包自带特征识别关键数据包并自动在线计算关键指标，根据实验公式将指标映射到用户主观心理评价并量化成分值，利用GIS系统以不同颜色在地图上展示用户体验质量的测得分值。因此，有助于在商用网络中低成本的进行大规模车载语音云业务测试，有助于测试人员观察区域内业务的用户体验情况，有助于业务部署和通信质量进行有针对性的改善。
由技术常识可知，本发明可以通过其他的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明所包含。

Claims (5)

1.一种车载语音云用户体验质量路测方法，其特征在于：一种车载语音云用户体验质量路测方法，其特征在于基于用户行为脚本的业务测试发起方法、在线时延和识别精度自动分析方法、基于实际响应时间和心理感知时间非线性映射的用户体验质量评价方法以及基于GIS的车载语音云业务用户体验质量展示方法；
所述的业务测试发起方法利用脚本描述典型语音云用户的常用语音请求意图比例和常见请求频率以及常见请求语音长度，从语音库提取语音样本发送到云端语音识别服务器，并接收服务器反馈的识别信息，业务测试发起方法执行的同时，在线时延和识别精度自动分析方法记录数据包，根据请求数据包应用层数据特征和反馈数据包特征计算响应时延，根据反馈文本和语音样本库预存的对应文本比对结果计算反馈精度，这里采用关键词而不是全部文本比对结果判断识别对于业务执行的效果，根据实验样本和心理指标的韦伯定律设计的车载语音云的用户体验质量评价方法将实际响应时间映射到心理感知时间，根据心理感知时间计算评价分值，根据识别精度确定最终用户体验评价分值，并用统一的公式一次性完成上述评价过程，评价用户体验质量的同时记录业务发生的经纬度，基于GIS的车载语音云业务用户体验质量展示方法计算评价结果的数学期望，通过GIS系统把分值展示在地图的道路上；
所述的基于实际响应时间和心理感知时间非线性映射的用户体验质量评价方法采用如下实验所得公式量化用户体验质量：
Figure FDA0003503146670000011
其中，T为测试时延，PSR为识别成功率，时延T为起止数据包的时延差值既是T＝Tr-Tc，tr从建立交互开始的第一个数据报文时间，tc数据业务完成后，确认结束的报文时间。
2.根据权利要求1所述的一种车载语音云用户体验质量路测方法，其特征在于：所述的基于用户行为脚本的业务测试发起方法根据用户常见语音请求类型、长度和频度设置路测脚本，通过发送语音库的典型测试样例发起业务，同时记录数据包。
3.根据权利要求1所述的一种车载语音云用户体验质量路测方法，其特征在于：所述的在线时延和识别精度自动分析方法是根据不同语音云服务产品的特征，提取数据包的应用层请求数据，识别第一个请求数据包和第一个回应数据包，根据第一个回应数据包的传输层编号和网络层编号识别最后一个回应数据包，根据第一个请求数据包和最后一个回应数据包的时间戳获得语音识别反馈时延，利用语音云API接口的输出获得识别结果，将语音库中与发送语音样本对应的关键字结合与识别结果对比，获得识别精度。
4.根据权利要求3所述的一种车载语音云用户体验质量路测方法，其特征在于：根据数据包获取的实际时延和识别精度，利用用户体验量化公式获得用户体验的分值；基于GIS的车载语音云业务用户体验质量展示方法记录业务发生的经纬度，并以冷色调表示高分值，以暖色调表示低分值，将分值显示在地图上。
5.根据权利要求1所述的一种车载语音云用户体验质量路测方法，其特征在于：包括如下具体步骤：
1)建立典型语音库，包括用户常用请求语音文件和与之对应的关键字；
2)针对不同典型场景建立测试脚本描述用户的请求类型、语音长度和请求频率；
3)根据测试脚本在车辆上自动发起业务，调用典型语音发送的被测的云服务器，同时记录网络数据包和API输出识别结果；
4)根据语音云服务商特点在数据包应用层的体现定义初始请求包和最后反馈数据包；
5)根据数据包捕获的时间戳计算反馈时延；
6)提取语音库中和发送语音样本对应的关键字文本，在识别反馈信息中匹配关键字，获得识别精度；
7)根据反馈时延和识别精度计算用户体验分值；
8)根据业务发起位置显示用户体验测试结果，以不同颜色图标表示不同的用户体验等级。
CN201910664375.0A 2019-07-23 2019-07-23 一种车载语音云用户体验质量路测方法 Active CN110417589B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910664375.0A CN110417589B (zh) 2019-07-23 2019-07-23 一种车载语音云用户体验质量路测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910664375.0A CN110417589B (zh) 2019-07-23 2019-07-23 一种车载语音云用户体验质量路测方法

Publications (2)

Publication Number Publication Date
CN110417589A CN110417589A (zh) 2019-11-05
CN110417589B true CN110417589B (zh) 2022-11-29

Family

ID=68362535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910664375.0A Active CN110417589B (zh) 2019-07-23 2019-07-23 一种车载语音云用户体验质量路测方法

Country Status (1)

Country Link
CN (1) CN110417589B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205261B (zh) * 2020-08-27 2024-02-20 中车株洲电力机车研究所有限公司 网络通信数据正确性的自动化测试方法及存储介质
CN112908337B (zh) * 2021-01-31 2023-05-26 云知声智能科技股份有限公司 语音识别文本的展示方法、装置、设备和存储介质
CN113380229B (zh) * 2021-06-08 2023-04-28 阿波罗智联(北京)科技有限公司 语音响应速度确定方法、相关装置及计算机程序产品
CN114936872B (zh) * 2022-05-11 2023-06-16 山东远盾网络技术股份有限公司 一种基于大数据的信息分析方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1619643A (zh) * 2003-09-04 2005-05-25 株式会社东芝 语音识别评价装置和语音识别评价方法
CN103874019A (zh) * 2014-03-11 2014-06-18 腾讯科技（深圳）有限公司 语音交互方法和装置
CN108877839A (zh) * 2018-08-02 2018-11-23 南京华苏科技有限公司 基于语音语义识别技术的语音质量感知评估的方法及系统
CN109448701A (zh) * 2018-09-19 2019-03-08 易诚博睿(南京)科技有限公司 一种智能语音识别到语义理解的结果统计系统及方法
CN109712618A (zh) * 2018-12-06 2019-05-03 珠海格力电器股份有限公司 一种语音服务的控制方法、装置、存储介质及空调

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7949533B2 (en) * 2005-02-04 2011-05-24 Vococollect, Inc. Methods and systems for assessing and improving the performance of a speech recognition system
KR101700099B1 (ko) * 2016-10-11 2017-01-31 미디어젠(주) 하이브리드 음성인식 복합 성능 자동 평가시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1619643A (zh) * 2003-09-04 2005-05-25 株式会社东芝 语音识别评价装置和语音识别评价方法
CN103874019A (zh) * 2014-03-11 2014-06-18 腾讯科技（深圳）有限公司 语音交互方法和装置
CN108877839A (zh) * 2018-08-02 2018-11-23 南京华苏科技有限公司 基于语音语义识别技术的语音质量感知评估的方法及系统
CN109448701A (zh) * 2018-09-19 2019-03-08 易诚博睿(南京)科技有限公司 一种智能语音识别到语义理解的结果统计系统及方法
CN109712618A (zh) * 2018-12-06 2019-05-03 珠海格力电器股份有限公司 一种语音服务的控制方法、装置、存储介质及空调

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"An Illustrated Methodology for Evaluating ASR Systems";María González1.etc;《Adaptive Multimedia Retrieval. Large-Scale Multimedia Retrieval and Evaluation. Lecture Notes in Computer Science 7836 (2013)》;20131231;全文 *
"Evaluating automatic speech recognition systems as quantitative models of cross-lingual phonetic category perception";Thomas Schatz, Francis Bach, Emmanuel Dupoux;《Journal of the Acoustical Society of America, Acoustical Society of America》;20181207;全文 *
"次任务驾驶中智能语音交互行为体验";沙强，孙婷婷;《设计》;20160603;全文 *
"车载语音识别系统可接受度评价研究";杨明伟，蒋浩，田兴伟;《2018中国汽车工程学会年会论文集》;20181106;全文 *
胡永 ; 张旭东，赵静，吴蔚华，徐永生."智能终端语音识别用户体验测评研究".《电视技术》.2019, *

Also Published As

Publication number Publication date
CN110417589A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN110417589B (zh) 一种车载语音云用户体验质量路测方法
US11605226B2 (en) Video data processing method and apparatus, and readable storage medium
CN110378749B (zh) 客户端相似性的评估方法、装置、终端设备及存储介质
CN108899012B (zh) 语音交互设备评测方法、系统、计算机设备和存储介质
CN109857674A (zh) 一种录制回放测试方法和相关装置
CN110221979A (zh) 应用程序的性能测试方法、装置、设备及存储介质
CN111479129B (zh) 直播封面的确定方法、装置、服务器、介质及系统
CN109739768B (zh) 搜索引擎评测方法、装置、设备以及可读存储介质
CN110335596A (zh) 基于语音识别的产品推荐方法、装置、设备和存储介质
US9009083B1 (en) Mechanism for automatic quantification of multimedia production quality
CN111447107A (zh) 网络状态确定方法、装置、存储介质及电子设备
CN107688533A (zh) 应用程序测试方法、装置、计算机设备和存储介质
CN115798518B (zh) 一种模型训练方法、装置、设备及介质
CN115048506A (zh) 基于知识图谱的试题生成系统、方法、装置及存储介质
CN108874673B (zh) 应用程序的测试方法及装置
CN103593282B (zh) 产品自动化测试实现方法和产品自动化测试辅助工具
CN110867187B (zh) 语音数据的处理方法、装置、存储介质及电子设备
CN111415283A (zh) 一种有效在线教学的因素分析方法和装置
CN111553555A (zh) 培训方法、装置、计算机设备和存储介质
CN115408606A (zh) 保险信息推送方法、装置、存储介质及计算机设备
KR20110018244A (ko) 온라인 시험과 연계한 강의 정보 제공 시스템 및 방법
CN112565904A (zh) 视频片段推送方法、装置、服务器以及存储介质
KR100768800B1 (ko) 인터넷을 이용한 한자 학습 시스템 및 그 방법
CN111882347A (zh) 模型性能的检测方法、装置、计算机设备及存储介质
KR20100003111A (ko) 음성인식 서버의 성능을 평가하기 위한 시뮬레이션 장치 및그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant