CN112289345A - 一种可视化智能终端语音诊断的方法 - Google Patents

一种可视化智能终端语音诊断的方法 Download PDF

Info

Publication number
CN112289345A
CN112289345A CN202011304860.6A CN202011304860A CN112289345A CN 112289345 A CN112289345 A CN 112289345A CN 202011304860 A CN202011304860 A CN 202011304860A CN 112289345 A CN112289345 A CN 112289345A
Authority
CN
China
Prior art keywords
voice
information
interaction process
abnormal
intelligent terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011304860.6A
Other languages
English (en)
Other versions
CN112289345B (zh
Inventor
黄涛涛
高美军
李洋全
陈贵凤
陈新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN202011304860.6A priority Critical patent/CN112289345B/zh
Publication of CN112289345A publication Critical patent/CN112289345A/zh
Application granted granted Critical
Publication of CN112289345B publication Critical patent/CN112289345B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425—Monitoring of client processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种可视化智能终端语音诊断的方法，在语音交互过程中同步保存语音信息的具体流程，对智能终端语音异常进行诊断，诊断方法包括：进入语音诊断界面，判断语音程序是否运行；获取最近一次语音信息；根据所获取的最近一次语音信息，判断异常原因，对异常原因按照语音交互过程进行分步式判断，所述分布式判断包括依次对语音交互过程进行判断，得到异常信息。通过本发明的方法通过跨进程交互规则，获取语音交互信息，通过分析语音交互过程是否执行，执行是否有异常信息确定语音的异常原因，从而实现语音异常的快速、准确定位。

Description

一种可视化智能终端语音诊断的方法
技术领域
本发明涉及智能终端语音识别技术领域，特别涉及一种可视化智能终端语音诊断的方法。
背景技术
随着高性能芯片的发展，可视化的智能终端产品占有率也在进一步扩大，例如，智能电视本身功能就较为复杂，在提高功能的同时更增加了软件的复杂度。智能电视搭载语音功能，语音功能包含有录音、声音识别、根据识别文本解析用户行为、执行对应功能以及语音回复等。由于交互所包含的功能点比较多，当用户的电视出现异常情况时，反馈到售后，目前的反馈流程最多只能提供一个用户录制的语音异常视频，而且，根据视频内容并不能直观的确定具体的异常原因。
目前，所采用的方法步骤如下：A.通过远程调试工具连接上异常电视，并开启日志；B.告知用户在开启日志的状态下再重复一次出现异常现象；C.复现到相同异常，根据保存的日志分析具体原因，做出修改。然而，在抓取日志的过程中，用户复现相同的问题通常需要耗费大量的时长，甚至有可能因为用户的无意操作并不能够复现问题，这对于开发人员来说，确定异常的原因所耗费的时间往往比解决问题所耗费的时间更长，因此，现有技术存在无法快速复现智能终端异常的缺陷，从而导致开发人员不能够及时对异常进行处理。
发明内容
为解决现有技术中存在的问题，本发明的目的是提供一种可视化智能终端语音诊断的方法，基于语音程序增加单独界面显示信息，能够获取到最近一次语音交互过程中语音执行到的具体步骤，以及报错信息，从而快速、准确的定位到异常信息完成处理。
为实现上述目的，本发明采用的技术方案是:
一种可视化智能终端语音诊断的方法，在语音交互过程中同步保存语音信息的具体流程，从而对智能终端语音异常进行诊断，所述诊断方法包括：
进入语音诊断界面，判断语音程序是否运行；
获取最近一次语音信息；
根据所获取的最近一次语音信息，判断异常原因，对异常原因按照语音交互过程进行分步式判断，所述分布式判断包括依次对语音交互过程是否授权、是否结束录音、是否有识别结果、语义数据是否正确、以及回复语是否播报成功进行判断，得到异常信息。
进一步地，所述语音交互过程包括语音唤醒、授权状态、录音、识别结果、语义数据下发、语音播报和语音信息的保存。
进一步地，所述语音交互过程中，进行语音唤醒时，对已保存的上一次语音信息进行清空。
进一步地，所述同步保存语音信息通过error信息记录。
进一步地，所述诊断方法还包括，首先，对语音交互过程的网络状态进行诊断，使用ping命令连接语音识别引擎域名，根据连接状态判断当前网络环境是否都能够访问语音识别引擎。
本发明的有益效果是：
通过跨进程交互规则，获取语音交互信息，包括识别引擎初始化状态，授权状态，录音是否完成，语音识别结果，语义数据下发和语音播报结果的按顺序执行，并通过分析这些步骤是否执行，执行是否有异常信息判断确定语音的异常原因，从而实现语音异常的快速、准确定位。
附图说明
图1为本发明实施例语音交互过程的流程示意图。
图2为本发明实施例可视化智能终端语音诊断的方法流程图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。
下面结合附图1-2对本发明的具体实施方式进行说明。
在其中一个实施例中，如附图1所示，在语音交互过程中同步保存语音信息的具体流程，所述语音交互过程包括：语音唤醒、授权状态、录音、识别结果、语义数据下发、语音播报和语音信息保存等流程。作为优选，当进行语音唤醒时，清空语音已经保存的上一次语音信息，以保证对智能终端进行语音诊断时，能够快速准确的抓取本次的语音信息；然后，依次进行授权状态、录音、识别结果、语义数据下发和语音播报运行状态进行步骤信息保存，至完成整个语音交互过程，上述步骤在运行过程中出现异常都通过error信息记录，保存在内存中，等待语音诊断应用获取，从而进行诊断。
本发明实施例公开了一种可视化智能终端语音诊断的方法，以对上述的语音交互过程进行诊断，如附图2所示，该方法的具体步骤包括：
步骤A、首先，进入语音诊断界面，判断语音程序是否在运行；ActivityManager.RunningServiceInfo通过遍历正在运行的服务并对比语音程序包名，可判断语音是否正在运行。若在运行，则开始智能终端的语音诊断，进入步骤B；若否，则通过startservice拉起语音，然后进入步骤B。
步骤B、获取最近一次语音信息；
设置一个获取语音状态的按钮，点击该按钮可以和语音进程交互，通过startservice将消息发送至语音进程，语音进程收到消息通过sendbroadcast将语音上一次交互的信息发送至诊断应用，通过json字符串的格式携带信息，如：{isAuth：”true”,endOfSpeech：”true”,result：”今天的天气”,nlpData:{},feedback:”今天天气晴。。。。。”,Error:””}。通过这些信息可以清晰的知道最近一次语音的识别结果，以及所执行的功能。
步骤C、根据所获取的最近一次语音信息，判断异常原因；异常原因的判断方法包括依次进行下列判断过程：
步骤C1、判断是否授权；如图1所示，先判断这次语音授权状态，若未授权isAuth，则根据异常信息error查看授权失败原因，则”false”将会知道识别引擎授权信息不通过，根据error信息能够知道为什么识别引擎授权不通过，快速定位到问题。若授权isAuth，则进入步骤C2；
步骤C2、判断是否结束录音；判断录音流程是否完成，若录音没完成，例如，唤醒后没有说话，不算异常；并在error信息中查看是否存在硬件异常，则可以定位相关问题；若录音完成，则进入步骤C3；
步骤C3、判断是否有识别结果；若无识别结果，例如，近场遥控器按下后，并未识别到说话不算异常；并验证遥控器是否匹配，从而可以定位识别问题；若有识别结果，则进入步骤C4；
步骤C4、判断语义数据是否正确；若语义不正确，例如，语义数据没有获取到，不算异常；语义数据出现错误，则可以查看语义错误原因，从而定位语义数据问题；若语义正确，则进入步骤C5；
步骤C5、判断回复语是否播报成功；若播报不成功，语音播报识别原因error显示语音播报异常信息，则可查看播报异常原因，从而定位播报问题；若回复语播报成功，则语音交互无异常，结束。
通过该方法能够在正常语音功能的状态下，快速获取到语音程序出现异常时的状态，快速确定出现问题的异常模块；从而缩短抓取终端日志的耗时，快速拿到日志确定具体的问题原因，从而给出修复方案。
在另一个实施例中，在维护软件功能的过程中，经常存在特殊的某一片区域运营商网络问题，即使已接入wifi，其他网络数据可以访问但是唯独语音识别引擎域名不能进行访问。针对这类问题，为了可以快速定位，使用URLconnect工具或ping命令连接识别引擎域名，根据连接状态判断当前网络环境是否都能够访问语音识别引擎，这样能够直观的反映出网络导致的语音不识别问题。
通过这样检测语音状态检测网络状态的来诊断语音异常原因。通过这种方法可以快速诊断用户的语音异常信息，减少在修复异常过程中的定位异常问题所消耗的时间，从而提高语音诊断的效率。
本专利的一种可视化智能终端语音诊断的方法，该方法主要是通过获取语音保存最近一次语音交互信息，通过跨进程交互规则，获取语音交互信息，包括识别引擎初始化状态，授权状态，录音是否完成，语音识别结果，语义数据和语音播报结果的按顺序执行，并通过分析这些步骤是否执行，执行是否有异常信息判断确定语音的异常原因，从而实现语音异常的快速、准确定位。
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (5)

1.一种可视化智能终端语音诊断的方法，其特征在于，在语音交互过程中同步保存语音信息的具体流程，从而对智能终端语音异常进行诊断，所述诊断方法包括：
进入语音诊断界面，判断语音程序是否运行；
获取最近一次语音信息；
根据所获取的最近一次语音信息，判断异常原因，对异常原因按照语音交互过程进行分步式判断，所述分步式判断包括依次对语音交互过程是否授权、是否结束录音、是否有识别结果、语义数据是否正确、以及回复语是否播报成功进行判断，得到异常信息。
2.根据权利要求1所述的方法，其特征在于，所述语音交互过程包括语音唤醒、授权状态、录音、识别结果、语义数据下发、语音播报和语音信息的保存。
3.根据权利要求2所述的方法，其特征在于，所述语音交互过程中，进行语音唤醒时，对已保存的上一次语音信息进行清空。
4.根据权利要求1所述的方法，其特征在于，所述同步保存语音信息通过error信息记录。
5.根据权利要求1所述的方法，其特征在于，所述诊断方法还包括，首先，对语音交互过程的网络状态进行诊断，使用ping命令连接语音识别引擎域名，根据连接状态判断当前网络环境是否都能够访问语音识别引擎。
CN202011304860.6A 2020-11-19 2020-11-19 一种可视化智能终端语音诊断的方法 Active CN112289345B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011304860.6A CN112289345B (zh) 2020-11-19 2020-11-19 一种可视化智能终端语音诊断的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011304860.6A CN112289345B (zh) 2020-11-19 2020-11-19 一种可视化智能终端语音诊断的方法

Publications (2)

Publication Number Publication Date
CN112289345A true CN112289345A (zh) 2021-01-29
CN112289345B CN112289345B (zh) 2022-06-17

Family

ID=74399530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011304860.6A Active CN112289345B (zh) 2020-11-19 2020-11-19 一种可视化智能终端语音诊断的方法

Country Status (1)

Country Link
CN (1) CN112289345B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113593570A (zh) * 2021-07-28 2021-11-02 深圳创维－Rgb电子有限公司 语音异常诊断方法、装置、设备及存储介质
CN114743542A (zh) * 2022-04-29 2022-07-12 青岛海尔科技有限公司 语音处理的方法、装置、存储介质及电子装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020123892A1 (en) * 2001-03-01 2002-09-05 International Business Machines Corporation Detecting speech recognition errors in an embedded speech recognition system
EP1928183A2 (en) * 2006-11-30 2008-06-04 Matsushita Electric Industrial Co., Ltd. Decoder Device, Receiver Device, and Medium Reproduction Device with error handling
CN104678987A (zh) * 2013-12-31 2015-06-03 中国航空工业集团公司沈阳飞机设计研究所 一种基于语音交互的故障诊断方法
CN106331975A (zh) * 2016-08-18 2017-01-11 上海智臻智能网络科技股份有限公司 用于智能语音交互设备的故障检测方法、装置及系统
CN106815089A (zh) * 2016-12-23 2017-06-09 北京五八信息技术有限公司 基于日志的故障排查方法及装置
US20170213545A1 (en) * 2016-01-22 2017-07-27 Electronics And Telecommunications Research Institute Self-learning based dialogue apparatus and method for incremental dialogue knowledge
CN109040750A (zh) * 2018-09-17 2018-12-18 四川长虹电器股份有限公司 一种智能电视的语音模块的自动化测试系统及方法
CN109817219A (zh) * 2019-03-19 2019-05-28 四川长虹电器股份有限公司 语音唤醒测试方法及系统
CN110364155A (zh) * 2019-07-30 2019-10-22 广东美的制冷设备有限公司 语音控制报错方法、电器及计算机可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020123892A1 (en) * 2001-03-01 2002-09-05 International Business Machines Corporation Detecting speech recognition errors in an embedded speech recognition system
EP1928183A2 (en) * 2006-11-30 2008-06-04 Matsushita Electric Industrial Co., Ltd. Decoder Device, Receiver Device, and Medium Reproduction Device with error handling
CN104678987A (zh) * 2013-12-31 2015-06-03 中国航空工业集团公司沈阳飞机设计研究所 一种基于语音交互的故障诊断方法
US20170213545A1 (en) * 2016-01-22 2017-07-27 Electronics And Telecommunications Research Institute Self-learning based dialogue apparatus and method for incremental dialogue knowledge
CN106331975A (zh) * 2016-08-18 2017-01-11 上海智臻智能网络科技股份有限公司 用于智能语音交互设备的故障检测方法、装置及系统
CN106815089A (zh) * 2016-12-23 2017-06-09 北京五八信息技术有限公司 基于日志的故障排查方法及装置
CN109040750A (zh) * 2018-09-17 2018-12-18 四川长虹电器股份有限公司 一种智能电视的语音模块的自动化测试系统及方法
CN109817219A (zh) * 2019-03-19 2019-05-28 四川长虹电器股份有限公司 语音唤醒测试方法及系统
CN110364155A (zh) * 2019-07-30 2019-10-22 广东美的制冷设备有限公司 语音控制报错方法、电器及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAMM C: "User interfaces for voice applications", 《PROCEEDING OF THE NATIONAL ACADEMY OF SCIENCES》 *
黄孝鹏,等: "基于HMM 的家用机器人语音交互系统故障预测方法的研究", 《电子质量》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113593570A (zh) * 2021-07-28 2021-11-02 深圳创维－Rgb电子有限公司 语音异常诊断方法、装置、设备及存储介质
CN114743542A (zh) * 2022-04-29 2022-07-12 青岛海尔科技有限公司 语音处理的方法、装置、存储介质及电子装置

Also Published As

Publication number Publication date
CN112289345B (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
WO2019109915A1 (zh) 汽车故障诊断方法、汽车故障诊断装置及电子设备
CN109361562B (zh) 一种基于关联网络设备接入的自动化测试方法
CN107766209B (zh) 中控自动化测试方法、装置、设备及计算机可读存储介质
CN110502366B (zh) 案例执行方法、装置、设备及计算机可读存储介质
CN107861876A (zh) 测试方法、装置、计算机设备及可读存储介质
US20240028491A1 (en) Automobile Bus Fault Diagnosis Method, Apparatus and Computing Device
CN112289345B (zh) 一种可视化智能终端语音诊断的方法
CN111639002A (zh) 休眠功耗测试方法、系统、计算机设备和存储介质
CN112286825A (zh) 智能座舱的屏幕测试方法、装置及电子设备
CN111475412B (zh) 软件测试方法、装置、电子设备和计算机可读存储介质
CN114594984A (zh) 巡检方法、装置、计算机设备及存储介质
CN111694734A (zh) 软件接口校验方法、装置及计算机设备
KR101774815B1 (ko) 커서 위치 인식 테스트 자동화 시스템 및 이를 이용한 커서 위치 인식 테스트자동화 방법
CN115086384B (zh) 远程控制测试方法、装置、设备和存储介质
CN114625106B (zh) 车辆诊断的方法、装置、电子设备及存储介质
CN114756448A (zh) 一种用户界面的还原度自动测试系统和方法
CN115827435A (zh) 前端性能测试方法、电子设备及计算机可读存储介质
CN111666200A (zh) 一种pc软件冷启动耗时的测试方法及终端
CN115576816A (zh) 基于Linux操作系统的安卓应用功能自动化测试方法及装置
CN115080387A (zh) 一种前端可视化调试方法、系统、设备及可读存储介质
CN111722997B (zh) 自动化测试的异常检测方法及计算机可读存储介质
CN109783263B (zh) 一种服务器老化测试故障的处理方法和系统
CN113590399A (zh) 一种车载语音的自动化测试系统及方法
CN113127277B (zh) 一种设备测试方法、装置、电子设备及可读存储介质
CN111190830B (zh) 自动识别电脑端口状态并启动测试程序的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant