CN113973149A - 电子设备及其器件故障检测方法和介质 - Google Patents

电子设备及其器件故障检测方法和介质 Download PDF

Info

Publication number
CN113973149A
CN113973149A CN202010709678.2A CN202010709678A CN113973149A CN 113973149 A CN113973149 A CN 113973149A CN 202010709678 A CN202010709678 A CN 202010709678A CN 113973149 A CN113973149 A CN 113973149A
Authority
CN
China
Prior art keywords
signal
fault
detected
microphone
initial detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010709678.2A
Other languages
English (en)
Inventor
张岳
仇存收
张龙
鲍光照
缪海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010709678.2A priority Critical patent/CN113973149A/zh
Publication of CN113973149A publication Critical patent/CN113973149A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/24Arrangements for testing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/004Monitoring arrangements; Testing arrangements for microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Telephone Function (AREA)

Abstract

本申请涉及信息处理技术领域,公开了一种电子设备及其器件故障检测方法和介质。本申请器件故障的方法,包括:获取用于检测电子设备的器件故障的初始检测信号;通过第一器件输出初始检测信号;通过第二器件采集第一器件输出的初始检测信号以得到待检测信号;基于待检测信号和初始检测信号判断第二器件是否存在故障。本申请能够在正常使用终端电子设备的过程中完成对其信号接收器件的功能检测,当器件发生故障时,能够快速检测判断出故障类型并匹配相应的维修建议通过电子设备的显示界面展示给用户以供用户参考或展示给维修工程师作为维修指导,还可以进行初步的故障排除处理,提高用户对终端电子设备的使用体验。

Description

电子设备及其器件故障检测方法和介质
技术领域
本发明涉及信息处理技术领域,尤其涉及一种电子设备及其器件故障检测方法和介质。
背景技术
当前的终端电子设备包括手机、耳机和穿戴设备等,一般都带有麦克风或者振动传感器(例如骨导传感器)等接收信号或拾取检测信号的器件,这些信号接收器件为终端电子设备的信号接收提供了硬件支持,并由此提供了终端电子设备的各种功能,例如,通话、录音和智能语音等,但用户在使用终端电子设备过程中,因各种原因譬如进跌落、受潮、受腐蚀、进杂质、进水或被堵等会导致信号接收器件故障,最终会影响终端电子设备的功能使用,例如,通话时上行声音无声或声音小,或者录音时上行无声或声音小,或者终端电子设备出现智能语音唤不醒情况。
目前终端电子设备的信号接收器件也有故障检测方法,但需要专门的检测工具或者专门的检测应用,被检测的终端电子设备打开信号接收器件录制信号并将录制信号发送给检测工具(或检测应用),检测工具(或检测应用)分析被检测终端电子设备的信号接收器件接收的信号,通过算法分析判断哪个信号接收器件存在大致什么样的故障问题,但是检测工具或检测应用需要用户主动去打开才能进行检测,无法实时检测终端电子设备的信号接收器件的故障,因此用户在使用终端电子设备过程中信号接收器件突发故障时,用户并不知道信号接收器件存在的问题,从而影响用户正常使用终端电子设备。
发明内容
本申请实施例提供了一种电子设备及其器件故障检测方法和介质,能够在正常使用终端电子设备的过程中完成对其信号接收器件的功能检测,当器件发生故障时,能够快速检测判断出故障类型并匹配相应的维修建议通过电子设备的显示界面展示给用户以供用户参考或展示给维修工程师作为维修指导,还可以进行初步的故障排除处理,如规避故障器件或者降低故障器件的使用比例来保障用户正常使用终端电子设备,提高用户对终端电子设备的使用体验。
第一方面,本申请的实施例公开了一种用于检测电子设备的器件故障的方法,包括:获取用于检测电子设备的器件故障的初始检测信号;通过第一器件输出所述初始检测信号;通过第二器件采集所述第一器件输出的所述初始检测信号以得到待检测信号;基于所述待检测信号和所述初始检测信号判断所述第二器件是否存在故障。其中,初始检测信号可以是外部被电子设备的器件采集到的信号,也可以是电子设备使用过程中产生的信号,还可以是出厂前设置在电子设备中专门用于故障检测的专用信号。基于对所述待检测信号和所述初始检测信号的分析结果进而判断第二器件是否存在故障。
例如,作为初始检测信号的数字音频信号,可以是通话中人声信号经过处理后得到的数字音频信号,也可以是电子设备的音乐播放器播放的声音经过处理后得到的数字音频信号,还可以是专用于故障检测的人造特殊数字音频信号。
作为初始检测信号的数字音频信号转换后通过第一器件播放输出,通过第二器件采集第一器件播放输出的初始检测信号以得到待检测信号。基于对待检测信号与初始检测信号的分析来判断第二器件是否存在故障。
在上述第一方面的一种实现中,基于所述待检测信号和所述初始检测信号判断所述第二器件是否存在故障包括:在所述待检测信号的信号强度小于第一预设强度阈值或者大于第二预设强度阈值的情况下,确定所述第二器件存在故障。
例如,第一器件可以是扬声器,第二器件可以是麦克风,第一预设强度阈值可以是下文中第二器件麦克风的检测响度阈值范围的下限值,第二预设强度阈值可以是下文中第二器件麦克风的检测响度阈值范围的上限值,如果待检测信号的信号强度处于第一预设强度阈值和第二预设强度阈值之间则表明麦克风是正常工作、无故障的;如果待检测信号的信号强度大于第二预设强度阈值,表明待检测信号的信号强度过大,则表明麦克风存在故障;如果待检测信号的信号强度小于第一预设强度阈值,甚至接近于零,则表明麦克风存在故障。
在上述第一方面的一种实现中,在确定所述第一器件输出的初始检测信号的信号强度、以及待检测信号与所述初始检测信号之间的相关性满足检测条件的情况下,判断所述待检测信号的信号强度是否小于第一预设强度阈值或者大于第二预设强度阈值。即在判断第二器件是否存在故障之前,先确定初始检测信号是否满足故障检测需要达到的程度,并确定第二器件采集到的信号是否来源于第一器件输出的初始检测信号。若不满足上述检测条件中的任意一个或两个,那么会导致对第二器件故障检测结果的准确性降低。
在上述第一方面的一种实现中,所述初始检测信号和待检测信号为音频信号,并且,在所述初始检测信号的响度大于第一响度阈值的情况下,确定所述第一器件输出初始检测信号的信号强度满足检测条件;在所述待检测信号与所述初始检测信号之间的回声相关性系数大于回声相关性阈值的情况下,确定待检测信号与所述初始检测信号之间的相关性满足检测条件。音频信号的响度是音频信号能量大小的一种体现,只有当作为初始检测信号的音频信号响度达到一定程度时将其用于第二器件的故障检测才能确保检测结果的准确性,否则可能会出现误判。音频信号的回声相关性系数是判断两个信号是否相关的重要标准,如果两个音频信号实质上是同一音频信号或者来源于相同的音频信号,如果待检测信号与所述初始检测信号之间的回声相关性系数大则表明待检测信号来源于所述第一器件输出的所述初始检测信号,如果待检测信号与所述初始检测信号之间的回声相关性系数小到一定程度则表明待检测信号很可能是所述第二器件采集到的其他音频信号,会导致对第二器件的故障检测结果不准确。
例如,第一响度阈值可以是实施例(一)中说的下行响度阈值,初始检测信号可以是实施例(一)中说的参考信号,下行响度阈值可以根据参考信号的种类预先统计设定,不同的音频流对应不同的下行响度阈值;下行响度阈值也可以通过对扬声器播放输出的音频信号进行实时监测响度得到,例如,下行响度阈值是实时监测的响度值或者是某一时间段内实时监测响度的平均值等。
在上述第一方面的另一种实现中,基于所述待检测信号和所述初始检测信号判断所述第二器件是否存在故障包括:通过计算所述待检测信号和所述初始检测信号之间的质量特征差异,判断所述第二器件是否存在故障。质量特征的差异可以反映所述待检测信号和所述初始检测信号之间的差异程度。
例如,所述初始检测信号为音频信号,经第一器件扬声器播放输出后被第二器件麦克风或振动传感器采集得到待检测信号的过程中信号会发生合理范围内的变化,即所述待检测信号和所述初始检测信号之间的差异程度在合理的范围内,则表明麦克风或振动传感器无故障,若所述待检测信号和所述初始检测信号之间的差异程度超过了合理范围,则表明麦克风或振动传感器出现了故障。
在上述第一方面的一种实现中,所述待检测信号和所述初始检测信号为音频信号,并且所述质量特征包括信号强度、动态范围、相关性和频谱特征中的至少一种。例如,信号强度、动态范围、相关性和频谱特征中的任意一个质量特征差异可以单独作为评估所述待检测信号和所述初始检测信号之间差异程度的标准,也可以综合信号强度、动态范围、相关性和频谱特征中的某两个或者某三个或四个质量特征差异共同作为评估所述待检测信号和所述初始检测信号之间差异程度的标准。可以理解,综合多个质量特征差异作为评估标准判断第二器件(例如麦克风或振动传感器)是否存在故障的准确度会更高。
在上述第一方面的一种实现中,在确定所述第一器件输出的初始检测信号的信号强度满足检测条件的情况下,计算所述待检测信号和所述初始检测信号之间的质量特征差异。即在判断第二器件是否存在故障之前,先确定初始检测信号是否满足故障检测需要达到的程度。
在上述第一方面的一种实现中,在所述初始检测信号的响度大于第一响度阈值的情况下,确定所述第一器件输出初始检测信号的信号强度满足检测条件。
例如,对第二器件麦克风的故障检测过程中,第一响度阈值可以是实施例(一)或(二)中说的下行响度阈值,初始检测信号可以是实施例(一)或(二)中说的参考信号,为了避免重复,在此不再赘述。
在上述第一方面的另一种实现中,还包括:通过所述电子设备的第三器件采集所述第一器件输出的初始检测信号以得到参考信号;并且基于所述待检测信号和所述初始检测信号判断所述第二器件是否存在故障包括:基于所述待检测信号和所述参考信号之间的质量特征差异、以及所述待检测信号和所述初始检测信号之间的质量特征差异判断所述第二器件是否存在故障。
例如,第一器件为扬声器,第二器件为麦克风,第三器件为振动传感器。作为初始检测信号的音频信号可以是下文实施例(三)中的第一参考信号,振动传感器接收到扬声器播放音频信号时产生的振动信号进行转化得到第二参考信号,麦克风采集扬声器播放的音频信号经过转换得到待检测信号,基于待检测信号分别与第一参考信号、第二参考信号之间的质量特征差异判断麦克风是否存在故障。
再例如,第一器件为扬声器,第二器件为振动传感器,第三器件为麦克风。作为初始检测信号的音频信号可以是下文实施例(四)中的第一参考信号,麦克风采集扬声器播放的音频信号经过转换得到第二参考信号,振动传感器接收到扬声器播放音频信号时产生的振动信号进行转化得到待检测信号,基于待检测信号分别与第一参考信号、第二参考信号之间的质量特征差异判断振动传感器是否存在故障。
在上述第一方面的另一种实现中,在确定所述第三器件无故障的情况下,基于所述待检测信号和所述参考信号之间的质量特征差异、以及所述待检测信号和所述初始检测信号之间的质量特征差异判断所述第二器件是否存在故障。基于所述参考信号与所述初始检测信号之间的质量特征差异确认第三器件是否存在故障。
例如,第一器件为扬声器、第二器件为麦克风、第三器件为振动传感器时,要先确认振动传感器无故障之后再将振动传感器检测到扬声器播放音频信号时产生的振动信号进行转化得到的音频信号作为参考信号。可以通过所述参考信号与所述初始检测信号之间的质量特征差异确认振动传感器是否存在故障。
第一器件为扬声器、第二器件为振动传感器、第三器件为麦克风时,要先确认麦克风无故障之后再将麦克风采集扬声器播放的音频信号作为参考信号。可以通过所述参考信号与所述初始检测信号之间的质量特征差异确认麦克风是否存在故障。
在上述第一方面的另一种实现中,所述待检测信号、参考信号以及初始检测信号为音频信号,并且所述质量特征包括信号强度、动态范围、相关性和频谱特征中的至少一种。通过计算表示所述质量特征差异程度的质量分数确定所述第二器件的故障等级,其中,所述质量分数所属的数值范围不同,表示所述第二器件的故障等级不同。所述故障等级包括:性能完好、性能受损、完全失效;或者所述故障等级包括:性能完好、性能一级受损、性能二级受损、性能三级受损、完全失效。
例如,信号强度、动态范围、相关性和频谱特征中的任意一个质量特征差异可以单独作为评估所述待检测信号和所述初始检测信号之间差异程度的标准,也可以综合信号强度、动态范围、相关性和频谱特征中的某两个或者某三个或四个质量特征差异共同作为评估所述待检测信号和所述初始检测信号之间差异程度的标准。可以理解,综合多个质量特征差异作为评估标准判断第二器件(例如麦克风或振动传感器)是否存在故障的准确度会更高。
通过计算待检测信号与参考信号(第二参考信号)之间以及待检测信号与初始检测信号(第一参考信号)之间的信号强度、动态范围、相关性或频谱特征差异的质量分数,通过质量分数值是否在合理范围内来评估麦克风或振动传感器是否存在故障及故障等级。还可以基于计算得到的信号强度、动态范围、相关性或频谱特征差异的质量分数进一步设置每个质量特征差异的权重计算综合质量分数,或者再进一步根据综合质量分数计算复合质量分数,通过综合质量分数或者复合质量分数来评估麦克风或振动传感器是否存在故障及故障等级。
上述故障等级可以是下文实施例中的故障类型,例如,还可以是性能完好、轻微受损、一般受损、严重受损、完全失效。故障等级的划分可以是更多层级的,即故障类型可以更细致的划分为更多类型,此处不做限制。
在上述第一方面的一种实现中,在确定所述第二器件存在故障的情况下,通知用户所述电子设备的第二器件存在故障。
例如通知用户的方式可以通过电子设备的显示界面展示给用户,也可以是电子设备系统通知的形式告知用户。例如,通知用户麦克风或者振动传感器存在故障时,可以以简述故障类型的内容通知给用户,也可以同时展示故障类型和维修建议,可以根据用户的喜好或者市场调研的情况设置通知内容及通知形式,此处不做限制。
第二方面,本申请的实施例公开了一种可读介质,所述可读介质上存储有指令,该指令在电子设备上执行时使电子设备执行上述第一方面公开的用于检测电子设备的器件故障的方法。
第三方面,一种电子设备,包括:第一器件,用于发送用于检测电子设备的器件故障的初始检测信号;第二器件,用于采集第一器件发送的初始检测信号以得到待检测信号;存储器,用于存储由电子设备的一个或多个处理器执行的指令,以及处理器,是电子设备的处理器之一,用于获取初始检测信号,并控制所述第一器件和第二器件执行上述第一方面公开的用于检测电子设备的器件故障的方法。例如,电子设备是手机、平板电脑、智能穿戴设备等。
在上述第三方面的一种实现中,一种电子设备,还包括:第三器件,用于采集第一器件发送的初始检测信号以得到参考信号。该参考信号与待检测信号之间的质量特征差异用于进一步更准确的判断第二器件是否存在故障及故障类型。
附图说明
图1所示为本申请实施例提供的手机100的硬件结构示意图。
图2a所示为本申请实施例提供的一种麦克风检测的系统结构示意图。
图2b所示为本申请实施例提供的一种麦克风检测的系统结构示意图。
图3a所示为本申请实施例提供的一种麦克风检测的系统流程示意图。
图3b所示为本申请实施例提供的一种麦克风检测的系统流程示意图。
图4a所示为本申请实施例提供的一种手机100的界面示意图。
图4b所示为本申请实施例提供的一种手机100的界面示意图。
图5a所示为本申请实施例提供的另一种麦克风检测的系统结构示意图。
图5b所示为本申请实施例提供的一种振动传感器检测的系统结构示意图。
图5c所示为本申请实施例提供的另一种振动传感器检测的系统结构示意图。
图6a所示为本申请实施例提供的另一种麦克风检测的系统流程示意图。
图6b所示为本申请实施例提供的一种振动传感器检测的系统流程示意图。
图6c所示为本申请实施例提供的另一种振动传感器检测的系统流程示意图。
图7根据本申请一些实施例,示出了能够实现手机100功能的软件系统示意图。
具体实施方式
下面通过附图和实施例,对本申请实施例(的技术方案做进一步的详细描述。
在本申请的技术方案中,无需额外的检测工具,可以通过分析比较运行中电子设备内置的信号接收器件接收的信号与参考信号之间的能量变化和/或质量特征变化,判断信号接收器件的故障特征进一步判断信号接收器件的故障类型,并提示用户是哪个信号接收器件故障,给出相应的维修建议。例如,电子设备运行中扬声器播放的音频信号被麦克风接收,通过分析比较麦克风接收的音频信号与参考信号之间的能量变化或者质量特征变化,从而判断被检测的麦克风可能是何种故障,比如电路损坏、或者是有异物进入等。又例如,电子设备运行过程中,振动传感器接收到振动信号,通过分析比较振动传感器接收到的振动信号与参考信号之间的的质量特征变化,从而判断振动传感器可能是哪种故障类型,比如性能受损、完全失效。这些故障类型以系统通知等通知方式显示在电子设备的显示屏上以提醒用户及时维修处理,以保障电子设备中信号接收器件稳定发挥作用功能从而支持电子设备的正常运行。
本申请的技术方案适用于具有信号收发功能的各种电子设备内的信号接收器件的检测,电子设备包括但不限于膝上型计算机、台式计算机、平板计算机、智能手机、服务器、可穿戴设备(例如,显示眼镜或护目镜,头戴式显示器(Head-Mounted Display,简称HMD)、头戴式显示器、虚拟现实(Virtual Reality,简称VR)和/或增强现实(AugmentReality,简称AR)设备)、物联网(Internet of Things,IoT)设备、移动电子邮件设备、便携式游戏机、便携式音乐播放器、阅读器设备以及嵌有或耦接有一个或多个处理器的电视机等能够访问网络的电子设备。
下面以手机100为例详细描述本技术方案的一些具体实施示例。
图1根据本申请的实施例示出了一种手机100的结构示意图。
如图1所示,手机100包括处理器110、外部存储器接口120,内部存储器121,通用串行总线(Universal Sserial Bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(Subscriber Identification Module,SIM)卡接口195等。其中传感器模块180包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,振动传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K以及环境光传感器180L等。
可以理解的是,图1示意的结构并不构成对手机100的具体限定。在本申请另一些实施例中,手机100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(Application Processor,AP),调制解调处理器,图形处理器(Graphics ProcessingUnit,GPU),图像信号处理器(Image Signal Processor,ISP),控制器,视频编解码器,数字信号处理器(Digital Signal Processor,DSP),基带处理器,和/或神经网络处理器(Neural-network Processing Unit,NPU)等。其中,一个处理单元可以是一个独立处理器件,也可以多个处理单元集成在某个处理器件中。
处理器110中通常还设置存储器,用于存储上层输入的指令或者处理器110自身要进行的运算指令以及相关运算需要的数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器,该存储器可以保存处理器110之前使用或循环使用的指令或数据,如果处理器110需要再次使用前述指令或数据,可从该存储器中直接调用。这样就避免了重复存取,减少了处理器110的运行等待时间,从而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(Inter-Integrated Circuit,I2C)接口,集成电路内置音频(Inter-Integrated circuitSound,I2S)接口,脉冲编码调制(Pulse Code Modulation,PCM)接口,通用异步收发传输器(Universal Asynchronous Receiver/Transmitter,UART)接口,移动产业处理器接口(Mobile Industry Processor Interface,MIPI),通用输入输出(General-PurposeInput/Output,GPIO)接口,SIM卡接口,和/或USB接口等。
其中,I2S接口和PCM接口都可以用于音频通信。在I2S接口用于音频通信的具体实施中,比如,在一些实施例中,处理器110可以包含多组I2S接口总线,处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。再比如,在一些实施例中,音频模块170也可以通过I2S接口实现与无线通信模块160之间的通信,实现通过蓝牙耳机接听电话的功能。在PCM接口用于音频通信的具体实施中,PCM接口可以将模拟信号抽样,量化和编码。比如,在一些实施例中,音频模块170与无线通信模块160也可以通过PCM接口总线耦合。再比如,在一些实施例中,音频模块170也可以通过PCM接口实现与无线通信模块160之间的通信,实现通过蓝牙耳机接听电话的功能。
UART接口是一种通用串行数据总线,用于异步通信,UART接口总线可以为双向通信总线,它将要传输的数据在串行通信与并行通信之间实现转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口与无线通信模块160建立通信,实现通过蓝牙耳机控制播放音乐的功能。
GPIO接口可以用于软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等之间的控制或数据传输。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。
可以理解的是,本发明实施例示意的各模块之间的接口连接关系,只是示意性说明,并不构成对手机100的结构限定。在本申请另一些实施例中,手机100也可以采用与上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
电源管理模块141用于连接电池142、充电管理模块140与处理器110。其中,充电管理模块140用于从充电器接收充电输入。
手机100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等实现。
其中,天线1和天线2用于发射和接收电磁波信号。移动通信模块150可以提供应用在手机100上的包括2G/3G/4G/5G等无线通信解决方案。无线通信模块160可以提供应用在手机100上的包括无线局域网(Wireless Local Area Networks,WLAN),无线保真(Wireless Fidelity,Wi-Fi)网络,蓝牙(Bluetooth,BT),全球导航卫星系统(GlobalNavigation Satellite System,GNSS),调频(Frequency Modulation,FM),近距离无线通信技术(Near Field Communication,NFC),红外技术(Infrared,IR)等无线通信的解决方案。
手机100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU用于执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等,也可以用于显示手机100内的一些信息、通知或者其他提醒事项,比如手机100内部的部件出现故障的维修提醒等。
手机100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能拓展手机100的存储能力。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统、一个或一个以上功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储手机100使用过程中所创建的数据((比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(Universal Flash Storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器110中的其他存储器的指令,执行手机100的各种功能应用以及数据处理。处理器110中的存储器可以为缓存处理器,例如上述高速缓存处理器。
手机100可以通过音频模块170(包括转换模块,扬声器170A,受话器170B,麦克风170C,耳机接口170D以及应用处理器等)实现音频接收或播放功能。例如音乐播放,通话录音等功能。
音频模块170中的转换模块包括数/模转换器和模/数转换器。数/模转换器用于将数字音频信息转换成模拟音频信号输出,模/数转换器用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。还有在一些实施例中,处理器110所实现的功能,也可以通过音频模块170来实现,该音频模块170内可以设置DSP芯片,DSP芯片即指能够实现数字信号处理技术的芯片。
扬声器170A,也称“喇叭”,用于将模拟音频信号转换为声音信号。手机100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当手机100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”或“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。手机100可以设置至少一个麦克风170C。在另一些实施例中,手机100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,手机100还可以设置三个,四个或更多麦克风170C,实现采集声音信号、降噪,还可以实现识别声音来源、定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(Open Mobile Terminal Platform,OMTP)标准接口,美国蜂窝电信工业协会(Cellular Telecommunications Industry Association of the USA,CTIA)标准接口。
陀螺仪传感器180B可以用于确定手机100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定手机100围绕三个轴(即x,y和z轴)运动的角速度。陀螺仪传感器180B可以用于拍摄防抖。比如,当按下快门,陀螺仪传感器180B检测手机100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消手机100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航场景、体感游戏场景等。
振动传感器180E可以用于检测振动,它的作用主要是将机械量(比如振动信号)接收下来,并转换为与之成比例的电量(比如模拟音频信号)。由于它也是一种机电转换装置。所以我们有时也称它为换能器、拾振器等。
振动传感器180E包括加速度传感器,加速度传感器可检测手机100在各个方向上(一般为三轴)加速度的大小,当手机100静止时可检测出重力的大小及方向,还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。振动传感器180E还包括骨传导传感器,在一些实施例中,骨传导传感器可以获取人体声部振动骨块的振动信号。骨传导传感器也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于骨传导传感器获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器获取的血压跳动信号解析心率信息,实现心率检测功能。
触摸传感器180K,也称“触控器件”触摸传感器180K可以设置于显示屏194中,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。
按键190包括开机键,音量键等。马达191可以用于产生振动提示。指示器192可以是指示灯,可以用于指示充电状态、电量变化,也可以用于指示消息、未接来电、通知等。SIM卡接口195用于连接SIM卡。
下面根据结合具体场景,详细介绍本申请的技术方案的几种实施例。
实施例(一)
本实施例以检测音频信号接收器件麦克风为例,通过检测并计算麦克风接收到的音频信号的响度大小来判断麦克风是否存在故障。
如图2a,示出了基于图1所述手机100结构的一种麦克风故障检测方法的系统结构示意图。
具体地,如图2a所示,实现麦克风故障检测方法的系统包括处理器110、扬声器170A和麦克风170C,处理器110包括处理模块110A、处理模块110B和检测模块110C。其中,麦克风170C可以包括麦克风170C-1、麦克风170C-2。
可以理解,为了便于说明,图2a中示出了2个麦克风170C-1、麦克风170C-2,但是,本申请的技术方案适用于更多数量的麦克风170C的检测,此处不做限制。在实际检测过程中,对麦克风170C的检测是逐个完成的。例如对2个麦克风170C-1、麦克风170C-2进行故障检测时,当麦克风170C-1工作时,麦克风170C-2处于未启用的状态,进行故障检测时先对麦克风170C-1进行故障检测,当麦克风170C-1存在故障时禁用麦克风170C-1,同时启用麦克风170C-2并对麦克风170C-2进行故障检测。
处理器110的处理模块110B可以获取用于故障检测的数字音频信号。处理模块110B对获取的数字音频信号进行回声消除、降噪等处理后,一方面将其存储作为参考信号,另一方面将其通过D/A转换器196进行数模转换得到模拟音频信号。然后,该模拟音频信号由扬声器170A播放。麦克风170C可以采集扬声器107A播放的上述模拟音频信号。A/D转换器197可以将麦克风170C采集的模拟音频信号进行模数转换得到数字音频信号。处理模块110A可以对A/D转换器197转换后的数字音频信号进行回声消除、降噪等处理,得到用于检测麦克风170C是否存在故障的待检测信号。
检测模块110C用于获取待检测信号和参考信号进行检测分析,通过分析待检测信号的响度,判断麦克风170C是否存在故障,若存在故障则进一步判断故障类型匹配维修建议,处理器110可以根据上报的故障类型发出指令进行简单的故障排除。
可以理解,用于故障检测的数字音频信号可以是通话中人声信号经过处理器110处理后得到的数字音频信号,也可以是音乐播放器播放的声音经过处理器110处理后得到的数字音频信号,甚至是人造特殊数字信号,比如存储器中存储的用于检测信号接收器件故障的专有音频信号。
可以理解,在该系统中,由于扬声器170A播放的和麦克风170C接收的都是模拟音频信号,而处理器110内部处理的是二进制数字音频信号。因此需要通过转换模块(比如A/D转换器197)对麦克风170C接收的模拟音频信号进行采样、量化转换得到数字音频信号后再由处理模块110A进行处理。而处理模块110B处理后的数字音频信号则需要通过转换模块(比如D/A转换器196)将数字音频信号转化为模拟音频信号后再由扬声器170A播放。处理模块110A和处理模块110B分别对其获取的数字音频信号进行回声消除、降噪等处理以用于其他应用。
其中,采样是指用每隔一定时间的信号采样值来代替原来在时间上连续的信号,也就是在时间上将模拟信号离散化。量化是将经过采样得到的离散数据转换成二进制的过程,量化深度表示一个二进制的位数,即采样样本的比特数,在本申请的一些实施例中,处理器110的量化深度可以是4位、8位、16位、32位等。例如,量化深度为8位时,每个采样样本可以表示256个不同的量化值,而量化深度为16位时,每个采样样本可以表示65536个不同量化值,量化深度的大小影响到声音的质量,量化深度的位数越多,量化后的波形越接近于原始波形,声音的质量越高,而需要的存储空间也越大,量化深度的位数越少,声音的质量越低,需要的存储空间越少。
此外,可以理解,上述D/A转换器196和A/D转换器197可以位于在常用的应用处理器中,也可以位于音频模块170的DSP芯片中。
下面结合图3a具体说明本实施例的麦克风故障检测方法的具体判断执行流程:
3a01:检测模块110C获取待检测信号和参考信号。
如前所述,检测模块110C可以从处理模块110A获取待检测信号,并从处理模块110B获取参考信号。
3a02:检测模块110C判断参考信号的响度是否大于或等于下行响度阈值,以确定由扬声器170A播放的模拟音频信号的能量强度是否足够用来进行麦克风170C的故障检测。
如果参考信号的响度大于或等于下行响度阈值,则执行3a03;否则,则表明参考信号的能量不够,由扬声器170A播放的模拟音频信号能量强度不足,那么麦克风170C-1(或麦克风170C-2)采集到的模拟音频信号能量强度也就会很弱,故障检测方法继续执行的话其故障判断结论的准确性会受到影响,因此需要返回执行3a01。其中,对于响度的计算,可以参考以下示例。
响度的大小主要依赖于声强,也与声音的频率有关,声强是单位时间内通过一定面积的的声波能量,因具有功率的单位,又叫做声功率。声强可以用声强级表示,声强级是指该处的声强与参考声强的比值常用对数的值再乘以10,度量它的单位为分贝(符号为dB)。同声压级一样,为了简化表示,通常用声强级来表示声强。一般来说,响度可以用声强的单位分贝值来表征,下述公式中用DB表示响度的分贝值。
例如,在一些实施例中,音频信号响度的分贝值可以通过均方根有效值(RootMean Square,RMS)进行计算,因而响度的分贝值可以通过RMS算法计算得出。RMS算法是一种估计音频能量的方法,计算简单,具有良好的实时性,且与声音分贝值有直接的关联关系。
在RMS算法中,首先将数字音频信号分割成N个帧长为T(单位为ms)的数字音频信号帧,则每个数字音频信号帧的采样样本数M为:
Figure BDA0002596060830000121
其中,Fs为采样频率,采样频率是每秒采集的样本数,单位为Hz,在上面的公式(1)中,例如,采样频率Fs为16000Hz,数字音频信号帧的帧长为20ms,则数字音频信号帧的采样样本数M为320个。
然后,计算数字音频信号帧的RMS,公式如下:
Figure BDA0002596060830000122
其中,a(j)为该数字音频信号帧中第j个样本的振幅,振幅以量化值表示,对整个音频文件提取RMS,可以提取得到N个帧数字音频信号的RMS序列:
RMS=[RMS1,RMS2,……,RMSN]
根据公式:
DBN=20log10(RMSN) (3)
得出第N帧数字音频信号响度的分贝值,从而将RMS序列转化为响度的分贝序列:
DB=[DB1,DB2,……,DBN]
因此,通过上述公式(1)~(3),可以得到参考信号响度的分贝值DB1N和待检测信号响度的分贝值DB2N
检测模块110C判断根据上述方法计算出的参考信号中第N帧数字音频信号响度的分贝值DB1N是否大于或等于下行响度阈值。可以理解,参考信号中每帧信号响度的分贝值均大于或等于下行响度阈值时,或者任意当前帧信号响度的分贝值大于或等于下行响度阈值时,即可确认参考信号的响度是否大于或等于下行响度阈值。
对于下行响度阈值的确定,可以参考以下示例:
检测模块110C可以根据参考信号的响度对下行响度阈值进行适配取值,即下行响度阈值的确定可以根据参考信号的种类预先统计设定,即不同的音频流对应设置的下行响度阈值应该也是不同的;也可以根据对扬声器170A播放的模拟音频信号响度的实时监测进行更新迭代,即根据监测到的扬声器170A播放的模拟音频信号响度的分贝值来更新下行响度阈值。比如,扬声器170A播放的模拟音频信号响度比较大时其音频流就比较大,相应的增益也会比较大,那么麦克风170C采集的模拟音频信号响度也相应的比较大,此时对应判断的下行响度阈值则应该提高一些;反之,扬声器170A播放的音模拟频信号响度比较小时,则麦克风170C采集的模拟音频信号响度也相应的比较小,此时对应判断的下行响度阈值应该降低一些。
3a03:检测模块110C判断待检测信号与参考信号的回声相关性系数是否大于回声相关性阈值。
如果待检测信号与参考信号之间的回声相关性系数小于回声相关性阈值,表明麦克风170C-1(或麦克风170C-2)采集的模拟音频信号与参考信号之间的差异大或者相关性小,麦克风170C-1(或麦克风170C-2)采集的模拟音频信号很可能不是扬声器170A播放的模拟音频信号,需要返回3a01;如果待检测信号与参考信号之间的回声相关性系数大于回声相关性阈值,表明麦克风170C-1(或麦克风170C-2)采集的模拟音频信号与参考信号之间的差异小或者相关性大,可以确定麦克风170C-1(或麦克风170C-2)接受的模拟音频信号来源于扬声器170A播放的模拟音频信号,则执行3a04。
对于回声相关性系数的估算和回声相关性阈值的设定可以参考以下示例:
回声相关性阈值可以事先根据各个麦克风170C的回声拾取情况统计分析设定。回声相关性系数则是比较待检测信号与参考信号之间的相似度。
具体地,这个相似度可以通过比较麦克风170C采集的音频帧的振幅与参考信号帧的振幅的接近程度,振幅的接近程度越大,相似度越大,回声相关性系数越高,反之则越小。
另外,麦克风170C采集扬声器170A播放的模拟音频信号帧存在时延差,例如,在0秒时刻扬声器170A播放一个音频帧,根据麦克风170C正常情形下的统计(统计基于经验值)应该在20ms(时延)后采集到该模拟音频信号帧,如果麦克风170C采集到该模拟音频信号帧是30ms后,则时延差为10ms。时延差越大,回声相关性系数可能越小;时延差越小,回声相关性系数可能越大。在本申请的一些实施例中,可以通过信号对齐消除时延差,从而忽略时延差的影响。
需要说明的是,回声相关性阈值同样与麦克风170C本身的配置以及麦克风170C和扬声器170A的相对距离相关,相对距离小一些,回声相关性会更好一些。例如,麦克风170C-1与扬声器170A都位于手机100的底部且距离较近,麦克风170C-2位于手机100的顶部距离扬声器170A较远,可以设定麦克风170C-1的回声相关性阈值大于麦克风170C-2的回声相关性阈值。
3a04:检测模块110C判断待检测信号的响度是否处于对应的麦克风170C-1(或麦克风170C-2)的检测响度阈值范围内。
如果待检测信号的响度小于对应的麦克风170C-1(或麦克风170C-2)的检测响度阈值范围的下限值或者待检测信号的响度大于对应的麦克风170C-1(或麦克风170C-2)的检测响度阈值范围的上限值,则表明该麦克风170C-1(或者麦克风170C-2)存在故障,则执行3a05;如果待检测信号的响度处于对应的麦克风170C-1(或麦克风170C-2)的检测响度阈值范围内,则表明该麦克风170C-1(或者麦克风170C-2)无故障,则执行3a06,结束本流程。
检测模块110C可以通过待检测信号中第N帧音频信号响度分贝值DB2N是否处于麦克风170C-1(或者170C-2)的检测响度阈值分贝值范围内来判断麦克风170C-1(或者170C-2)的故障类型。可以理解,在确认待检测信号中每帧信号响度的分贝值是否处于检测响度阈值范围内时,或者任意当前帧信号响度的分贝值是否处于检测响度阈值范围内时,即可确认待检测信号的响度是否处于检测响度阈值范围内。
若DB2N高于检测响度阈值分贝值范围的上限值则表示检测模块110C获取到的待检测信号能量过强,说明麦克风170C-1(或者170C-2)的故障类型为性能受损;若DB2N低于检测响度阈值分贝值范围的下限值则表明获取到的待检测信号能量太小,麦克风可能被堵了,同样说明麦克风170C-1(或者170C-2)的故障类型为性能受损。若DB2N很小几乎为零,即麦克风170C-1(或者170C-2)完全听不到声音,则说明麦克风170C-1(或者170C-2)的故障类型为完全失效。
其中,检测响度阈值及其范围的设置与麦克风170C本身的配置以及麦克风170C与扬声器170A的相对距离相关。需要说明的是,如果电子设备200上有多个麦克风170C,则每个麦克风170C的检测响度阈值范围可能不同,例如,麦克风170C-1与扬声器170A都位于电子设备200的底部且距离较近,麦克风170C-2位于电子设备200的顶部距离扬声器170A较远,可以设定麦克风170C-1的检测响度阈值大于麦克风170C-2的检测响度阈值,同样的,麦克风170C-1的检测响度阈值范围的上限值和下限值分别大于麦克风170C-2的检测响度阈值范围的上限值和下限值。
3a05:检测模块110C确定麦克风170C-1(或麦克风170C-2)的故障类型并将故障类型上报处理器110,检测模块110C也可以根据故障类型匹配麦克风维修建议上报给处理器110。
处理器110可以根据故障类型执行故障排除算法临时排除简单故障。此次麦克风故障检测流程结束。
可以参考以下示例将故障类型、维修建议显示给用户。
比如,故障类型和维修建议可以通过手机100的显示屏194显示。具体地,例如检测模块110C检测到待检测信号响度的分贝值异常大,则输出麦克风170C-1(或麦克风170C-2)的故障类型为性能受损,手机100的显示屏194显示“麦克风性能受损,需要更换麦克风”(如图4a所示);又例如,检测模块110C检测到待检测信号响度的分贝值异常小,比如小于一定的响度阈值(比如小于-80dB)时,则输出麦克风170C-1(或麦克风170C-2)的故障类型麦克风性能轻微受损,则手机100的显示屏194显示“麦克风轻微受损,可能内有异物,请及时清理麦克风”(如图4b所示);如果检测模块110C检测到待检测信号响度的分贝值几乎为零,则输出故障类型是麦克风完全失效。
在一些实施例中,当检测模块110C检测的结果是麦克风170C-1性能损坏时,而此时用户正在进行通话或录音,则处理器110可以发出指令先将音频接收器件由麦克风170C-1切换到麦克风170C-2使用,待用户通话或录音完成后,再将故障类型和维修建议通过手机100的显示屏194显示给用户(参考图4a或图4b的描述)。
3a06:检测模块110C判断麦克风170C无故障并将判断结果上报处理器110。此次麦克风故障检测流程结束。
上述流程中,3a02和3a03可以同时进行或者先后进行,这里不做限制。
可以理解,上述实施例中,处理器110中的各模块(如处理模块110A、处理模块110B、检测模块110C等)为软件模块,具有与各模块功能类似的其他软件模块或者程序,均可用于上述实施例。
此外,可以理解,在本申请的其他实施例中,此处处理器110实现的功能,可以通过对音频信号进行处理的音频模块170来实现或者可以通过除了处理器110之外的其他控制器来实现,例如,处理器110之外的DSP芯片来实现。
上述实施例介绍了通过检测并计算麦克风采集到的音频信号的响度大小来判断麦克风是否存在故障的技术方案,下面介绍对麦克风进行故障检测的另一实施例。
实施例(二)
本实施例以检测音频信号接收器件麦克风为例,通过计算麦克风采集到的音频信号相对于参考信号的质量分数来判断麦克风是否存在故障。
图2b所示系统中各器件中,除了检测模块110C,其他器件的功能与图2a所示的相同,在此不再赘述。具体地,检测模块110C用于获取待检测信号和参考信号进行检测分析,通过分析待检测信号和参考信号之间质量特征差异的质量分数,判断麦克风170C是否存在故障,若存在故障则进一步判断故障类型匹配维修建议,这时,处理器110根据故障类型发出指令进行简单的故障排除。
可以理解,为了便于说明,图2b中示出了2个麦克风170C-1、麦克风170C-2,但是,本申请的技术方案适用于更多数量的麦克风170C的检测,此处不做限制。在实际检测过程中,对麦克风170C的检测是逐个完成的。例如对2个麦克风170C-1、麦克风170C-2进行故障检测时,当麦克风170C-1工作时,麦克风170C-2处于未启用的状态,进行故障检测时先对麦克风170C-1进行故障检测,当麦克风170C-1存在故障时禁用麦克风170C-1,同时启用麦克风170C-2并对麦克风170C-2进行故障检测。
下面结合图3b具体说明本实施例的麦克风故障检测方法的具体判断执行流程:
步骤3b01和3b02与图3a中的步骤3a01和3a02相同,在此不再赘述。
3b03:检测模块110C通过质量特征模型210分析并计算待检测信号和参考信号之间质量特征差异的综合质量分数(下文中的质量分数、综合质量分数及复合质量分数均指质量特征差异的质量分数、综合质量分数及复合质量分数)。
可以理解,在本申请中,通过确定参考信号与待检测信号之间的质量特征差异来确定器件是否存在故障,其中,参考信号或待检测信号的信号质量可以通过质量特征来表示,参考信号或待检测信号之间的质量特征差异可以通过计算至少一个质量特征的质量分数来表示。例如,在本申请的一些实施例中,质量特征包括但不限于信号强度、相关性、动态范围、频谱特征。
在本申请的技术方案中,可以基于一个质量特征的质量分数来确定参考信号与待检测信号之间的质量特征差异,也可以基于多个质量特征的综合质量分数来确定参考信号与待检测信号之间的质量特征差异,在两者的质量特征差异大于某一程度的情况下,确定麦克风170C存在故障。
例如,在一些实施例中,可以通过参考信号与待检测信号之间某个质量特征差异的质量分数所处质量阈值的层级来确定麦克风170C-1(或170C-2)的故障特征,进而判断出麦克风170C-1(或170C-2)是否存在故障及其故障类型,也可以通过综合参考信号与待检测信号之间的多个质量特征(比如,信号强度、相关性、动态范围、频谱特征四个质量特征)差异的综合质量分数所处质量阈值的层级来确定麦克风170C-1(或170C-2)的故障特征,进而判断出麦克风170C-1(或170C-2)是否存在故障及其故障类型。一般来说,综合多个质量特征变化的质量分数判断的结果准确度会更高一些。综合的质量特征越多,准确度也相应更高。
下文以综合质量分数的计算为例进行说明。可以理解,下文介绍的各质量特征的质量分数计算过程也适用于单个质量特征的质量分数的计算或者任意多个质量特征的综合质量分数的计算。
3b04:检测模块110C根据综合质量分数处于质量阈值的层级来确定麦克风170C的故障特征,进而通过上述故障特征判断麦克风170C是否存在故障。
3b05:检测模块110C基于上述故障特征确认麦克风170C-1(或170C-2)的故障类型,并将故障类型上报处理器110,检测模块110C可以根据故障类型匹配维修建议上报处理器110。此次麦克风故障检测流程结束。
综合质量分数所处质量阈值的层级对应着相应层级的故障特征,根据综合质量分数确定故障特征进而判断故障类型可以参考以下示例。
例如,综合信号强度、相关性、动态范围、频谱特征这几个质量特征差异的综合质量分数处于质量阈值的某个层级,质量阈值的层级对应着相应的故障特征并最终对应着相应的故障类型,例如下表1所示,通过下表1所示的对应关系便可以通过综合质量分数判断麦克风170C的故障特征。
质量阈值的层级可以包括多个层级,不同的层级表示麦克风不同的故障类型,例如下表1所示,质量阈值的层级可以分为三个层级:
质量阈值的层级 [0,60%) [60%,90%) [90%,100%]
故障类型 性能完好 性能受损 完全失效
表1
从表1可以看出,综合质量分数小于60%时,表示麦克风170C无故障,性能完好;综合质量分数在60%和90%之间(包含60%)时,表示麦克风170C存在的故障类型为性能受损;综合质量分数大于90%(包含90%)时,表示表示麦克风170C存在的故障类型为完全失效。例如,综合质量分数为70%,处于质量阈值的层级的60%和90%之间,检测模块110C则可以判断麦克风170C-1(或170C-2)存在故障且故障类型为性能受损。
进一步地,性能受损程度也可以分为其他数量的等级,例如五个层级,如下表2所示:
质量阈值的层级 [0,40%) [40%,60%) [60%,80%) [80%,95%) [95%,100%]
故障类型 性能完好 轻微受损 一般受损 严重受损 完全失效
表2
从表2可以看出,综合质量分数小于40%时,表示麦克风170C无故障,性能完好;综合质量分数在40%到60%之间(包含40%)时,表示麦克风170C存在的故障类型为轻微受损;综合质量分数在60%到80%之间(包含60%)时,表示麦克风170C存在的故障类型为一般受损;综合质量分数在80%到95%之间(包含80%)时,表示麦克风170C存在的故障类型为严重受损;综合质量分数在95%到100%之间(包含95%和100%)时,表示麦克风170C存在的故障类型为完全失效。例如,质量分数为65%,处于质量阈值的层级为60%和80%之间(包含60%),检测模块110C可以判断麦克风170C-1(或170C-2)的故障类型是一般受损。
可以理解的是,质量阈值的层级的选择可以是多种,并不限于上述的三种层级或五种层级,上述对质量阈值的层级划分涉及的数值只是示例性的,还可以是其他数值,在此不做限制。
如果综合质量分数所处质量阈值的层级确定的故障特征判断麦克风170C-1(或麦克风170C-2)存在故障,则执行3b05;如果综合质量分数所处质量阈值的层级确定的故障特征判断麦克风170C-1(或麦克风170C-2)无故障,则执行3b06。
处理器110可以根据故障类型执行故障排除算法临时排除简单故障。
可以参考以下示例将故障类型、维修建议显示给用户。
比如,麦克风170C-1(或170C-2)故障类型和维修建议可以通过手机100的显示屏194显示。例如,参考信号与待检测信号之间的综合质量分数为80%,参考表2,可以确认麦克风170C-1(或170C-2)的故障类型是严重受损,则输出故障类型是麦克风170C-1(或170C-2)严重受损,则手机100的显示屏194显示“麦克风严重损坏,需要更换麦克风”(如图4a所示);又例如,参考信号与待检测信号之间的综合质量分数为58%,参考表2,可以确认麦克风170C-1(或170C-2)的故障类型是轻微受损,则输出故障类型是麦克风170C-1(或170C-2)轻微受损,则手机100的显示屏194显示“麦克风轻微受损,可能内有异物,请及时清理麦克风”(如图4b所示)。
当检测出来麦克风无故障时,则不需要将检测结果显示给用户。比如,如果参考信号与待检测信号之间的综合质量分数为25%,参考表2,可以确认麦克风170C-1(或170C-2)性能完好,则执行3b06上报麦克风170C-1(或170C-2)无故障,结束上述检测流程。
在一些实施例中,当检测模块110C检测的结果是麦克风170C-1性能损坏时,而此时用户正在进行通话或录音,则处理器110可以发出指令先将音频接收器件切换到麦克风170C-2使用,待用户通话或录音完成后,再将麦克风170C-1的故障类型和维修建议通过手机100的显示屏194显示给用户(参考图4a或图4b的描述)。
3b06:检测模块110C将麦克风170C-1(或170C-2)无故障上报处理器110。此次麦克风故障检测流程结束。
下面详细介绍参考信号和待检测信号的信号强度、动态范围、相关性、频谱特征这四个质量特征差异的质量分数及综合质量分数的计算过程:
参考信号与待检测信号的信号强度、动态范围、相关性、频谱特征这四个质量特征差异的综合质量分数W的计算公式如下:
W=αW1+βW2+γW3+δW4 (4)
其中,W1为参考信号和待检测信号的信号强度差异的质量分数,W2为参考信号和待检测信号的动态范围差异的质量分数,W3为参考信号和待检测信号的相关性差异的质量分数,W4为参考信号和待检测信号的频谱特征差异的的质量分数,α、β、γ、δ为四个质量特征变化的权重系数,且α+β+γ+δ=1。
下面依次说明参考信号和待检测信号的信号强度、动态范围、相关性、频谱特征这四个质量特征差异的质量分数的计算方式。
1.参考信号和待检测信号的信号强度差异的质量分数W1
信号强度可以通过音频信号的分贝值DB表示,然后计算信号强度变化的质量分数W1,质量分数W1的计算公式如下:
W1=abs(DB2-DB1)/DB1×100% (5)
其中,DB1表示参考信号的信号强度分贝值,DB2表示待检测信号的信号强度分贝值。
分贝值DB的计算方式可以参考上述公式(1)~(3)。例如,参考信号的音频信号第n帧的分贝值50dB,待检测信号的音频信号第n帧的分贝值为40dB,则根据公式(5),得出质量分数W1为25%。
2.参考信号和待检测信号的动态范围变化的质量分数W2
动态范围指的是音频信号帧中最大振幅与最小振幅的比值,计算公式为:
Figure BDA0002596060830000191
其中,Amax表示最大振幅,Amin表示最小振幅。
质量分数W2的计算公式为:
W2=abs(DT2-DT1)/DT1×100% (7)
其中,DT2表示参考信号的动态范围值,DT1表示待检测信号的动态范围值。
例如,处理器110的量化深度为8位,则每个采样样本可以有256个不同的采样值(振幅),例如,参考信号的音频信号帧的最大振幅是最小振幅的256倍,则参考信号的动态范围DT2为48,待检测信号的最大振幅是最小振幅的200倍,则待检测信号的动态范围DT1为46,则质量分数W2为4%。
3.参考信号和待检测信号的相关性变化的质量分数W3
两种信号的相关性有互相关和自相关两种,分别用于描述两个信号x(t)、y(t)或者其中一个信号在一定时移前后x(t)与x(t-τ)之间或者y(t)与y(t-τ)之间的相似度关系。因此,参考信号与待检测信号之间的相关性可以用以下函数表达。
在本申请的一些实施例中,参考信号与待检测信号的相关性可以通过信号的自相关函数和互相关函数来计算,然后计算出相关性变化的质量分数W3。自相关函数的通用公式为:
Figure BDA0002596060830000192
Figure BDA0002596060830000193
互相关函数的通用公式为:
Figure BDA0002596060830000194
如果两信号正交,
Figure BDA0002596060830000195
说明正交信号之间毫无相似之处。
其中,R1(τ)为参考信号的自相关函数,R2(τ)为待检测信号的自相关函数,R12(τ)为参考信号与待检测信号之间的互相关函数,则相关性质量分数为:
W3=f{R1(τ),R2(τ),R12(τ)} (11)
其中,f表示R1(τ),R2(τ),R12(τ)之间的函数关系,譬如,f表示的函数关系为1-R12(τ)/(R1(τ)*R2(τ))。
4.参考信号和待检测信号的频谱特征变化的质量分数W4
频谱特征,即所谓信号的频谱就是信号中不同频率分量的幅值、相位与频率的关系函数。频谱特征的质量分数可以通过离散时间傅里叶变换计算参考信号和待检测信号的频域响应傅里叶变换,其变换公式如下:
Figure BDA0002596060830000196
其中,ω是角频率,X(e)一个随角频率ω的复数,是连续分布的,信号x(n)的离散傅里叶变换X(e)在实际应用中的一个通常叫法是频谱,即一系列随频率变化的值,反应了信号的频域分布和变化规律。
在本申请的一些实施例中,参考信号和待检测信号的上述频谱特征变化便可计算得出,则质量分数W4的计算公式为:
Figure BDA0002596060830000201
X1(e)和X2(e)分别表示参考信号和待检测信号的w频点响应;且F表示最高频点。
分别计算出参考信号与待检测信号的信号强度、动态范围、相关性、频谱特征这四个质量特征差异的质量分数W1、W2、W3、W4后,再根据预设的权重系数α、β、γ、δ以及公式(4)计算出参考信号与待检测信号的信号强度、动态范围、相关性、频谱特征这四个质量特征差异的综合质量分数W。
可以理解,上述四个质量特征差异的质量分数函数的设置均是使得质量分数与接收器件故障的可能性呈正相关,即质量分数越高接收器件越有可能存在故障。因此后续综合上述质量分数得到的综合质量分数以及复合质量分数的高低同样与接收器件的故障可能性呈正相关。即综合质量分数或复合质量分数越高,则接收器件越有可能存在故障。
根据上述过程计算得到的参考信号和待检测信号之间的综合质量分数W。参照上述表1和表2描述的方法根据综合质量分数W确定麦克风170C-1(或170C-2)的故障特征及故障类型,质量阈值的层级范围的具体数值可以根据实际情况设置。为了避免重复,在此不再赘述。
可以理解,上述实施例中,处理器110中的各模块(如处理模块110A、处理模块110B、检测模块110C等)为软件模块,具有与各模块功能类似的其他软件模块或者程序,均可用于上述实施例。
此外,可以理解,在本申请的其他实施例中,此处处理器110实现的功能,可以通过对音频信号进行处理的音频模块170来实现或者可以通过除了处理器110之外的其他控制器来实现,例如,处理器110之外的DSP芯片来实现。
上述实施例介绍了通过检测并计算麦克风接收到的音频信号的质量特征变化的综合质量分数来判断麦克风是否存在故障的技术方案,下面介绍对麦克风进行故障检测的另一实施例。
实施例(三)
上述实施例(二)通过将待检测信号和一个参考信号进行比较来检测麦克风是否存在故障。在本申请的技术方案中,还可以通过将待检测信号和多个参考信号进行比较来确定麦克风是否存在故障。
例如,图5a示出了基于两个参考信号来确定麦克风是否存在故障的一种系统结构示意图。具体地,此处的两个参考信号中的一个与实施例(二)中的相同,是处理器110获取到用于检测故障的音频信号后直接作为参考信号,而另一个参考信号是振动传感器接收到的扬声器发出模拟音频信号时产生的振动信号,该模拟音频信号同时被麦克风采集到,即将麦克风采集到扬声器发出的音频信号分别与处理器初始用于检测的音频信号和振动传感器接收到的振动信号转化得到的音频信号进行比对,以确定麦克风是否存在故障。
图5a示出了基于图1所述手机100结构的一种麦克风故障检测方法的系统结构示意图。具体地,该系统包括处理器110、D/A转换器501、D/A转换器502、D/A转换器503、扬声器170A、麦克风170C和振动传感器180E。其中,处理器110包括激励模块304、故障分析模块305和故障处理模块306,其中,故障分析模块305包括质量特征模型307和质量特征模型308。
可以理解,为了便于说明,图5a示出了一个麦克风170C,但是,本申请的技术方案适用于更多数量的麦克风170C的检测,此处不做限制。在实际检测过程中,对麦克风170C的检测是逐个完成的。例如对2个麦克风170C-1、麦克风170C-2进行故障检测时,当麦克风170C-1工作时,麦克风170C-2处于未启用的状态,进行故障检测时先对麦克风170C-1进行故障检测,当麦克风170C-1存在故障时禁用麦克风170C-1,同时启用麦克风170C-2并对麦克风170C-2进行故障检测。
具体地,处理器110的激励模块304可以获取用于故障检测的数字音频信号。激励模块304对获取的数字音频信号进行回声消除、降噪等处理后,一方面将其存储作为第一参考信号,另一方面将其作为激励信号通过D/A转换器501进行数模转换得到模拟音频信号,然后,该模拟音频信号由扬声器170A播放。
可以理解,用于故障检测的数字音频信号可以是手机100在语音通话中的人声信号经过处理器110处理后得到的数字音频信号,也可以是音乐播放器播放的声音经过处理器110处理后得到的数字音频信号,甚至还可以是人造的特殊数字音频信号,比如存储器中存储的用于检测信号接收器件故障的专有音频信号。
在一些实施例中,振动传感器180E为模拟器件,振动传感器180E用于在接收到扬声器170A播放模拟音频信号时产生的振动信号后,将接收到的振动信号转化为模拟音频信号,振动传感器180E转化的模拟音频信号经A/D转换器503转换后得到数字音频信号,该数字音频信号输入故障分析模块305作为第二参考信号。
在另一些实施例中,振动传感器180E为数字器件,振动传感器180E用于在接收到扬声器170A播放模拟音频信号时产生的振动信号后,将接收到的振动信号转化为数字音频信号,该数字音频信号输入故障分析模块305作为第二参考信号。
麦克风170C可以采集扬声器107A播放的模拟音频信号。A/D转换器502可以将麦克风170C接收的模拟音频信号进行模数转换得到数字音频信号,该数字音频信号输入故障分析模块305作为待检测信号。
故障分析模块305包括质量特征模型307和质量特征模型308。其中,质量特征模型307用于计算第一参考信号和待检测信号之间的综合质量分数B,质量特征模型308用于计算第二参考信号和待检测信号之间的综合质量分数C。
故障分析模块305用于根据综合质量分数B和C得到的复合质量分数A处于质量阈值的层级来确定麦克风170C的故障特征进而判断麦克风170C是否存在故障及其故障类型。
故障处理模块306用于对存在故障的麦克风170C做初步的故障排除处理。
下面结合图6a具体说明本实施例的麦克风故障检测方法的具体判断执行流程:
6a01:故障分析模块305获取第一参考信号、第二参考信号以及待检测信号。
6a02:故障分析模块305通过质量特征模型307计算待检测信号与第一参考信号之间的综合质量分数B,通过质量特征模型308计算待检测信号与第二参考信号之间的综合质量分数C,并计算综合质量分数B和综合质量分数C的复合质量分数A。
如上述实施例(二)所述,质量特征模型307或质量特征模型308中的质量特征包括但不限于信号强度、相关性、动态范围、频谱特征。其中,待检测信号和第一参考信号的信号强度差异的质量分数B1可以参考公式(5)进行计算,待检测信号和第一参考信号的动态范围差异的质量分数B2参考公式(6)~(7)进行计算,待检测信号和第一参考信号的相关性差异的质量分数B3参考公式(8)~(11)进行计算,待检测信号和第一参考信号的频谱特征差异的质量分数B4参考公式(12)~(13)进行计算,再根据预设的权重系数α、β、γ、δ以及公式(4)计算出待检测信号和第一参考信号的信号强度、动态范围、相关性、频谱特征这四个质量特征差异的综合质量分数B,其中,B=αB1+βB2+γB3+δB4
此外,同理,待检测信号和第二参考信号的信号强度差异的质量分数C1可以参考公式(5)进行计算,待检测信号和第二参考信号的动态范围差异的质量分数C2参考公式(6)~(7)进行计算,待检测信号和第二参考信号的相关性差异的质量分数C3参考公式(8)~(11)进行计算,待检测信号和第二参考信号的频谱特征差异的质量分数C4参考公式(12)~(13)进行计算,再根据预设的权重系数α、β、γ、δ以及公式(4)计算出待检测信号和第二参考信号的信号强度、动态范围、相关性、频谱特征这四个质量特征差异的综合质量分数C,其中,C=αC1+βC2+γC3+δC4
通过对上述第一综合质量分数B和第二综合质量分数C设置权重系数m、n,计算复合质量分数A,其中m+n=1,则复合质量分数A的计算公式为:
A=mB+nC (14)
可以理解,质量分数、综合质量分数和复合质量分数应为0~1之间的某个数(包含0和1)。
可以理解,在上述实施例中,采用振动传感器180E接收到的振动信号转换得到的音频信号作为第二参考信号,其所基于的前提是振动传感器180E是正常工作的,为此,在上述实施例中,在进行麦克风170C的故障检测前,可以先排除振动传感器180E存在故障能够正常工作,具体的排除方法可以参考下文中的实施例(四)。
6a03:故障分析模块305根据复合质量分数A处于质量阈值的层级确定故障特征,并判断麦克风170C是否是存在故障。
如果复合质量分数A所处质量阈值的层级确定的故障特征判断麦克风170C存在故障,则执行6a04;如果复合质量分数A所处质量阈值的层级确定的故障特征判断麦克风170C无故障,则执行6a06。
根据上述计算得到的复合质量分数A参照上述表1和表2描述的方法以确定麦克风170C是否存在故障,质量阈值的层级范围的具体数值可以根据实际情况设置。为了避免重复,在此不再赘述。
6a04:故障分析模块305根据故障特征确定麦克风170C的故障类型和维修建议,并将确定的故障类型和维修建议发送给故障处理模块306。
6a05:故障处理模块306根据上述故障类型和维修建议进行初步故障排除处理,并将故障类型和维修建议上报处理器110。此次麦克风故障检测流程结束。
可以参考以下示例将故障类型、维修建议显示给用户。
比如,麦克风170C故障类型和维修建议可以通过手机100的显示屏194显示。例如,复合质量分数A为80%,参考表2,可以确认麦克风170C的故障类型是严重受损,则输出故障类型是麦克风170C严重受损,则手机100的显示屏194显示“麦克风严重损坏,需要更换麦克风”(如图4a所示);又例如,复合质量分数A为58%,参考表2,可以确认麦克风170C的故障类型是轻微受损,则输出故障类型是麦克风170C轻微受损,则手机100的显示屏194显示“麦克风轻微受损,可能内有异物,请及时清理麦克风”(如图4b所示)。
在一些实施例中,当故障分析模块305检测的结果是麦克风170C-1性能损坏时,而此时用户正在进行通话或录音,故障处理模块306可以控制先将音频接收器件切换到麦克风170C-2使用,待用户通话或录音完成后,再将故障类型和维修建议通过手机100的显示屏194显示给用户(参考图4a或图4b的描述)。
6a06:故障分析模块305将无故障检测结果上报处理器110。故障分析模块305也可以通过故障处理模块306将无故障检测结果上报处理器110。此次麦克风故障检测流程结束。
当检测出来麦克风170C无故障时,则不需要将检测结果显示给用户。例如,复合质量分数A为25%,参考表2,可以确认麦克风170C性能完好,上报处理器110麦克风170C无故障,结束麦克风故障检测流程。
此外,可以理解,上述实施例中,处理器110中的各模块(如激励模块304、故障分析模块305、故障处理模块306等)为软件模块,具有与各模块功能类似的其他软件模块或者程序,均可用于上述实施例。
此外,可以理解,在本申请的其他实施例中,此处处理器110实现的功能,可以通过对音频信号进行处理的音频模块170来实现或者可以通过除了处理器110之外的其他控制器来实现,例如,处理器110之外的DSP芯片来实现。
上述实施例介绍了通过处理器中的激励模块获取数字音频信号对麦克风进行故障检测,通过分别分析待检测信号与两个参考信号之间的两个综合质量分数进一步计算复合质量分数,进而通过复合质量分数判断麦克风是否存在故障及其故障类型的技术方案。下面以检测振动信号接收器件振动传感器为例,介绍对振动传感器进行故障检测的一种实施例。
实施例(四)
本实施例以检测振动信号接收器件-振动传感器为例,通过计算振动传感器检测到振动信号转化得到的模拟音频信号相对于参考信号的质量分数来判断振动传感器是否存在故障。
图5b示出了基于图1所述手机100结构的一种振动传感器故障检测方法的系统结构示意图。具体地,实现振动传感器180E的故障检测方法的系统包括处理器110、D/A转换器501、D/A转换器503、马达191、振动传感器180E,其中,处理器110包括激励模块304、故障分析模块305和故障处理模块306,其中,故障分析模块305包括质量特征模型307。
可以理解,在另一些实施例中,该检测系统中马达191的功能也可以由扬声器170A实现。
可以理解,为了便于说明,图5b中示出了一个振动传感器180E,但是,本申请的技术方案适用于更多数量的振动传感器180E的检测,此处不做限制。在实际检测过程中,对振动传感器180E的检测是逐个完成的。例如对2个振动传感器180E-1、振动传感器180E-2进行故障检测时,当振动传感器180E-1工作时,振动传感器180E-2处于未启用的状态,进行故障检测时先对振动传感器180E-1进行故障检测,当振动传感器180E-1存在故障时禁用振动传感器180E-1,同时启用振动传感器180E-2并对振动传感器180E-2进行故障检测。
具体地,处理器110中激励模块304的功能与实施例(三)中相同,是激励模块304获取用于故障检测的数字音频信号。激励模块304对获取的数字音频信号进行回声消除、降噪等处理后,一方面将其存储作为参考信号,另一方面将其作为激励信号通过D/A转换器501进行数模转换得到模拟音频信号,然后,该模拟音频信号由马达191获取并产生振动信号。
可以理解,用于故障检测的数字音频信号可以是手机100在语音通话中的人声信号经过处理器110处理后得到的数字音频信号,也可以是音乐播放器播放的声音经过处理器110处理后得到的数字音频信号,甚至还可以是人造的特殊数字音频信号,比如存储器中存储的用于检测信号接收器件故障的专有音频信号。
在一些实施例中,振动传感器180E为模拟器件,振动传感器180E接收到马达191的振动信号后,将接收到的振动信号转化为模拟音频信号,振动传感器180E转化的模拟音频信号经A/D转换器503转换后得到数字音频信号,该数字音频信号输入故障分析模块305后被作为待检测信号。
在另一些实施例中,振动传感器180E为数字器件,振动传感器180E接收到马达191产生的振动信号后,将接收到的振动信号转化为数字音频信号该数字音频信号输入故障分析模块305后被作为待检测信号。
故障分析模块305包括质量特征模型307,其中质量特征模型307用于计算参考信号和待检测信号之间的综合质量分数W。
故障分析模块305用于根据综合质量分数W处于质量阈值的层级来确定振动传感器180E的故障特征进而判断振动传感器180E是否存在故障及其故障类型。故障处理模块306用于对存在故障的振动传感器180E做初步的故障排除处理。
下面结合图6b具体说明本实施例的振动传感器故障检测方法的具体判断执行流程:
6b01:故障分析模块305获取参考信号和待检测信号。
6b02:故障分析模块305通过质量特征模型307计算待检测信号与参考信号之间的综合质量分数W。
如上述实施例(二)所述,质量特征模型307中的质量特征包括但不限于信号强度、相关性、动态范围、频谱特征。其中,待检测信号和参考信号的信号强度差异的质量分数W1可以参考公式(5)进行计算,待检测信号和参考信号的动态范围差异的质量分数W2参考公式(6)~(7)进行计算,待检测信号和参考信号的相关性差异的质量分数W3参考公式(8)~(11)进行计算,待检测信号和参考信号的频谱特征差异的质量分数W4参考公式(12)~(13)进行计算,再根据预设的权重系数α、β、γ、δ以及公式(4)计算出待检测信号和参考信号的信号强度、动态范围、相关性、频谱特征这四个质量特征差异的综合质量分数W,其中,W=αW1+βW2+γW3+δW4
6b03:故障分析模块305根据综合质量分数W处于质量阈值的层级来确定振动传感器180E的故障特征进而判断振动传感器180E是否存在故障。
如果综合质量分数W所处质量阈值的层级确定的故障特征判断振动传感器180E存在故障,则执行6b04;如果综合质量分数W所处质量阈值的层级确定的故障特征判断振动传感器180E无故障,则执行6b06。
根据上述计算得到的参考信号和待检测信号之间的综合质量分数W并参照上述表1和表2描述的方法以确定振动传感器180E是否存在故障,质量阈值的层级范围的具体数值可以根据实际情况设置。为了避免重复,在此不再赘述。
6b04:故障分析模块305根据故障特征确定振动传感器180E的故障类型和维修建议,并将确定的故障类型和维修建议发送给故障处理模块306。
6b05:故障处理模块306根据上述故障类型和维修建议进行初步故障排除处理,并将故障类型和维修建议上报处理器110。此次振动传感器故障检测流程结束。
可以参考以下示例将故障类型、维修建议显示给用户。
比如,振动传感器180E故障类型和维修建议可以通过手机100的显示屏194显示。例如,参考信号与待检测信号之间的综合质量分数W为80%,参考表2,可以确认振动传感器180E的故障类型是严重受损,则输出故障类型是振动传感器180E严重受损,则手机100的显示屏194显示“振动传感器严重损坏,需要更换振动传感器”(参考图4a或图4b的描述);又例如,参考信号与待检测信号之间的综合质量分数为58%,参考表2,可以确认振动传感器180E的故障类型是轻微受损,则输出故障类型是振动传感器180E轻微受损,则手机100的显示屏194显示“振动传感器轻微受损,请及时更换振动传感器”(参考图4a或图4b的描述)。
在一些实施例中,当故障分析模块305检测的结果是振动传感器180E-1性能损坏时,而此时用户正在进行通话或录音,故障处理模块306可以控制先将振动信号接收器件切换到振动传感器180E-2使用,待用户通话或录音完成后,再将故障类型和维修建议通过手机100的显示屏194显示给用户(参考图4a或图4b的描述)。
6b06:故障分析模块305将振动传感器180E无故障的检测结果上报处理器110。故障分析模块305也可以通过故障处理模块306将无故障检测结果上报处理器110。此次振动传感器故障检测流程结束。
当检测出来振动传感器180E无故障时,则不需要将检测结果显示给用户。例如,参考信号与待检测信号之间的综合质量分数为25%,参考表2,可以确认振动传感器180E性能完好,上报处理器振动传感器180E无故障,结束振动传感器故障检测流程。
此外,可以理解,上述实施例中,处理器110中的各模块(如激励模块304、故障分析模块305、故障处理模块306等)为软件模块,具有与各模块功能类似的其他软件模块或者程序,均可用于上述实施例。
此外,可以理解,在本申请的其他实施例中,此处处理器110实现的功能,可以通过对音频信号进行处理的音频模块170来实现或者可以通过除了处理器110之外的其他控制器来实现,例如,处理器110之外的DSP芯片来实现。
上述实施例介绍了通过处理器中的激励模块获取用于故障检测的激励信号对振动传感器进行故障检测,通过待检测信号与参考信号之间的综合质量分数来判断振动传感器是否存在故障及其故障类型的技术方案,下面介绍对振动传感器进行故障检测的另一实施例。
实施例(五)
上述实施例(四)通过将待检测信号和一个参考信号进行比较来检测振动传感器是否存在故障。在本申请的技术方案中,还可以通过将待检测信号和多个参考信号进行比较来确定振动传感器是否存在故障。
例如,图5c示出了基于两个参考信号来确定振动传感器是否存在故障的一种系统结构示意图。具体地,此处的两个参考信号中的一个与实施例(四)中的参考信号或者实施例(三)中的第一参考信号相同,是处理器110中的激励模块304获取到用于检测故障的数字音频信号后直接作为参考信号,而另一个参考信号是麦克风采集到的扬声器发出的模拟音频信号,扬声器发出模拟音频信号的同时产生的振动信号被振动传感器接收到并转化为模拟或数字音频信号,即将振动传感器接收到扬声器发出模拟音频信号时产生的振动信号转化得到的音频信号转换后分别与初始用于故障检测的音频信号和麦克风采集到的扬声器发出的音频信号进行比对,以确定振动传感器是否存在故障。
图5c所示的系统个器件中,除了故障分析模块305和故障处理模块306,其他器件的功能与图5a所示的相同,在此不再赘述。具体地,故障分析模块305用于获取待检测信号、第一参考信号和第二参考信号进行检测分析,故障分析模块305包括质量特征模型307和质量特征模型308。
可以理解,为了便于说明,图5c中示出了一个振动传感器180E,但是,本申请的技术方案适用于更多数量的振动传感器180E的检测,此处不做限制。在实际检测过程中,对振动传感器180E的检测是逐个完成的。例如对2个振动传感器180E-1、振动传感器180E-2进行故障检测时,当振动传感器180E-1工作时,振动传感器180E-2处于未启用的状态,进行故障检测时先对振动传感器180E-1进行故障检测,当振动传感器180E-1存在故障时禁用振动传感器180E-1,同时启用振动传感器180E-2并对振动传感器180E-2进行故障检测。
具体地,处理器110的激励模块304的功能与实施例(三)中的相同,激励模块304获取用于故障检测的数字音频信号并对获取的数字音频信号进行回声消除、降噪等处理后,一方面将其存储作为第一参考信号,另一方面将其作为激励信号通过D/A转换器501进行数模转换得到模拟音频信号,然后,该模拟音频信号由扬声器170A播放。
用于故障检测的数字音频信号与实施例(三)中的也相同,为了避免重复,在此不再赘述。
麦克风170C用于采集扬声器170A播放的模拟音频信号,麦克风170C采集到的模拟音频信号经A/D转换器502转换后得到数字音频信号,该数字音频信号输入故障分析模块305作为第二参考信号。
振动传感器180E可以接收扬声器170A播放模拟音频信号时产生的振动信号。在一些实施例中,振动传感器180E为模拟器件,振动传感器180E将接收到的振动信号转化为模拟音频信号,该模拟音频信号经A/D转换器503转换后得到数字音频信号,该数字音频信号输入故障分析模块305作为待检测信号。
在另一些实施例中,振动传感器180E为数字器件,振动传感器180E将接收到的振动信号转化为数字音频信号,该数字音频信号输入故障分析模块305作为待检测信号。
故障分析模块305包括质量特征模型307和质量特征模型308。其中,质量特征模型307用于计算第一参考信号和待检测信号之间的综合质量分数B,质量特征模型308用于计算第二参考信号和待检测信号之间的综合质量分数C。
故障分析模块305用于根据综合质量分数B和C得到的复合质量分数A处于质量阈值的层级来确定振动传感器180E的故障特征进而判断振动传感器180E是否存在故障及其故障类型。
故障处理模块306用于对存在故障的振动传感器180E做初步的故障排除处理。
下面结合图6c具体说明本实施例的振动传感器故障检测方法的具体判断执行流程:
步骤6c01和6c02与图6a中的步骤6a01和6a02相同,在此不再赘述。
可以理解,在上述实施例中,采用麦克风170C采集到的音频信号作为第二参考信号,其所基于的前提是麦克风170C是正常工作的,为此,在上述实施例中,在进行振动传感器180E的故障检测前,可以先排除麦克风170C存在故障能够正常工作,具体的排除方法可以参考上文中的实施例(一)或实施例(二)。
6c03:故障分析模块305根据复合质量分数A处于质量阈值的层级确定故障特征,并判断振动传感器180E是否是存在故障。
如果复合质量分数A所处质量阈值的层级确定的故障特征判断振动传感器180E存在故障,则执行6c04;如果复合质量分数A所处质量阈值的层级确定的故障特征判断振动传感器180E无故障,则执行6c06。
根据上述计算得到的复合质量分数A参照上述表1和表2描述的方法以确定振动传感器180E是否存在故障,质量阈值的层级范围的具体数值可以根据实际情况设置。为了避免重复,在此不再赘述。
6c04:故障分析模块305根据故障特征确定振动传感器180E的故障类型和维修建议,并将确定的故障类型和维修建议发送给故障处理模块306。
6a05:故障处理模块306根据上述故障类型和维修建议进行初步故障排除处理,并将故障类型和维修建议上报处理器110。此次振动传感器故障检测流程结束。
可以参考以下示例将故障类型、维修建议显示给用户。
比如,振动传感器180E的故障类型和维修建议可以通过手机100的显示屏194显示。例如,复合质量分数A为80%,参考表2,可以确认振动传感器180E的故障类型是严重受损,则输出故障类型是振动传感器180E严重受损,则手机100的显示屏194显示“振动传感器严重损坏,需要更换振动传感器”(参考图4a或图4b所示);又例如,复合质量分数A为58%,参考表2,可以确认振动传感器180E的故障类型是轻微受损,则输出故障类型是振动传感器180E轻微受损,则手机100的显示屏194显示“振动传感器轻微受损,请及时更换振动传感器”(参考图4a或图4b所示)。
在一些实施例中,当故障分析模块305检测的结果是振动传感器180E-1性能损坏时,而此时用户正在进行通话或录音,故障处理模块306可以控制先将振动信号接收器件切换到振动传感器180E-2使用,待用户通话或录音完成后,再将故障类型和维修建议通过手机100的显示屏194显示给用户(参考图4a或图4b的描述)。
6c06:故障分析模块305将无故障检测结果上报处理器110。故障分析模块305也可以通过故障处理模块306将无故障检测结果上报处理器110。此次振动传感器故障检测流程结束。
当检测出来振动传感器180E无故障时,则不需要将检测结果显示给用户。例如,复合质量分数A为25%,参考表2,可以确认振动传感器180E性能完好,上报处理器110振动传感器180E无故障,结束麦克风故障检测流程。
此外,可以理解,上述实施例中,处理器110中的各模块(如激励模块304、故障分析模块305、故障处理模块306等)为软件模块,具有与各模块功能类似的其他软件模块或者程序,均可用于上述实施例。
此外,可以理解,在本申请的其他实施例中,此处处理器110实现的功能,可以通过对音频信号进行处理的音频模块170来实现或者可以通过除了处理器110之外的其他控制器来实现,例如,处理器110之外的DSP芯片来实现。
以上实施例介绍了对信号接收器件麦克风或振动传感器进行故障检测的技术方案。为了更好的理解本申请技术方案,下面对终端电子设备的软件系统做一个简单介绍。
对于终端电子设备的的软件系统,还是以手机100为例,现参考图7,在一些实施例中,手机100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的安卓(Android)系统为例,示例性说明终端电子设备的软件结构。图7是本发明以手机100为实施例的终端电子设备的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行环境和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图7所示,应用程序包可以包括电话、相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(ApplicationProgramming Interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图7所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供终端电子设备的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,终端电子设备振动,指示灯闪烁等。
Android运行环境(Android Runtime,ART)包括核心库和虚拟机。ART负责安卓系统的调度和管理。
核心库包含两部分:一部分是计算机编程(java)语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(Surface Manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGLES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:动态图象专家组(Moving Pictures Experts Group,MPEG4),H.264编解码器,MP3播放器,高级音频编码(Advanced Audio Coding,AAC),AMR文件格式,JPG/JPEG格式(Joint Photographic Experts Group,JPG/JPEG),便携式网络图形(Portable Network Graphics,PNG)格式等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
在说明书对“一个实施例”或“实施例”的引用意指结合实施例所描述的具体特征、结构或特性被包括在根据本公开的至少一个范例实施方案或技术中。说明书中的各个地方的短语“在一个实施例中”的出现不一定全部指代同一个实施例。
本公开还涉及用于执行文本中的操作装置。该装置可以专门处于所要求的目的而构造或者其可以包括被存储在计算机中的计算机程序选择性地激活或者重新配置的通用计算机。这样的计算机程序可以被存储在计算机可读介质中,诸如,但不限于任何类型的盘,包括软盘、光盘、紧凑型光盘只读储存器(Compact Disc Read-Only Memory,CD-ROM)、磁光盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、带电可擦可编程只读存储器(Electrically Erasable Programmable read only memory,EEPROM)、磁或光卡、专用集成电路(Application Specific Integrated Circuit,ASIC)或者适于存储电子指令的任何类型的介质,并且每个可以被耦合到计算机系统总线。此外,说明书中所提到的计算机可以包括单个处理器或者可以是采用针对增加的计算能力的多个处理器涉及的架构。
本文所提出的过程和显示器固有地不涉及任何具体计算机或其他装置。各种通用系统也可以与根据本文中的教导的程序一起使用,或者构造更多专用装置以执行一个或多个方法步骤可以证明是方便的。在一下描述中讨论了用于各种这些系统的结构。另外,可以使用足以实现本公开的技术和实施方案的任何具体编程语言。各种编程语言可以被用于实施本公开,如本文所讨论的。
另外,在本说明书所使用的的语言已经主要被选择用于可读性和指导性的目的并且可能未被选择为描绘或限制所公开的主题。因此,本公开旨在说明而非限制本文所讨论的概念的范围。

Claims (20)

1.一种用于检测电子设备的器件故障的方法,其特征在于,包括:
获取用于检测电子设备的器件故障的初始检测信号;
通过第一器件输出所述初始检测信号;
通过第二器件采集所述第一器件输出的初始检测信号以得到待检测信号;
基于所述待检测信号和所述初始检测信号判断所述第二器件是否存在故障。
2.根据权利要求1所述的方法,其特征在于,基于所述待检测信号和所述初始检测信号判断所述第二器件是否存在故障包括:
在所述待检测信号的信号强度小于第一预设强度阈值或者大于第二预设强度阈值的情况下,确定所述第二器件存在故障。
3.根据权利要求2所述的方法,其特征在于,在确定所述第一器件输出的初始检测信号的信号强度、以及待检测信号与所述初始检测信号之间的相关性满足检测条件的情况下,判断所述待检测信号的信号强度是否小于第一预设强度阈值或者大于第二预设强度阈值。
4.根据权利要求3所述的方法,其特征在于,所述初始检测信号和待检测信号为音频信号,并且,
在所述初始检测信号的响度大于第一响度阈值的情况下,确定所述第一器件输出所述初始检测信号的信号强度满足检测条件;
在所述待检测信号与所述初始检测信号之间的回声相关性系数大于回声相关性阈值的情况下,确定所述待检测信号与所述初始检测信号之间的相关性满足检测条件。
5.根据权利要求1所述的方法,其特征在于,基于所述待检测信号和所述初始检测信号判断所述第二器件是否存在故障包括:
通过计算所述待检测信号和所述初始检测信号之间的质量特征差异,判断所述第二器件是否存在故障。
6.根据权利要求5所述的方法,其特征在于,所述待检测信号和所述初始检测信号为音频信号,并且所述质量特征包括信号强度、动态范围、相关性和频谱特征中的至少一种。
7.根据权利要求5或6所述的方法,其特征在于,在确定所述第一器件输出的所述初始检测信号的信号强度满足检测条件的情况下,计算所述待检测信号和所述初始检测信号之间的质量特征差异。
8.根据权利要求7所述的方法,其特征在于,在所述初始检测信号的响度大于第一响度阈值的情况下,确定所述第一器件输出所述初始检测信号的信号强度满足检测条件。
9.根据权利要求1至8中任一项所述的方法,其特征在于,所述第一器件为扬声器,第二器件为麦克风。
10.根据权利要求5或6中任一项所述的方法,其特征在于,所述第一器件为扬声器或马达,第二器件为振动传感器。
11.根据权利要求1所述的方法,其特征在于,还包括:
通过所述电子设备的第三器件采集所述第一器件输出的所述初始检测信号以得到参考信号;并且
基于所述待检测信号和所述初始检测信号判断所述第二器件是否存在故障包括:
基于所述待检测信号和所述参考信号之间的质量特征差异、以及所述待检测信号和所述初始检测信号之间的质量特征差异判断所述第二器件是否存在故障。
12.根据权利要求11所述的方法,其特征在于,在确定所述第三器件无故障的情况下,基于所述待检测信号和所述参考信号之间的质量特征差异、以及所述待检测信号和所述初始检测信号之间的质量特征差异,判断所述第二器件是否存在故障。
13.根据权利要求12所述的方法,其特征在于,还包括:
基于所述参考信号与所述初始检测信号之间的质量特征差异确认第三器件是否存在故障。
14.根据权利要求11至13中任一项所述的方法,其特征在于,所述待检测信号、所述参考信号以及所述初始检测信号为音频信号,并且所述质量特征包括信号强度、动态范围、相关性和频谱特征中的至少一种。
15.根据权利要求11至14中任一项所述的方法,其特征在于,所述第一器件为扬声器、所述第二器件为麦克风、所述第三器件为振动传感器;或者所述第一器件为扬声器、所述第二器件为振动传感器、所述第三器件为麦克风。
16.根据权利要求5或11所述的方法,其特征在于,判断所述第二器件是否存在故障还包括:
通过计算表示所述质量特征差异程度的质量分数确定所述第二器件的故障等级,其中,所述质量分数所属的数值范围不同,表示所述第二器件的故障等级不同。
17.根据权利要求16所述的方法,其特征在于:所述故障等级包括:性能完好、性能受损、完全失效;或者
所述故障等级包括:性能完好、性能一级受损、性能二级受损、性能三级受损、完全失效。
18.根据权利要求1至17中任一项所述的方法,其特征在于,在确定所述第二器件存在故障的情况下,通知用户所述电子设备的第二器件存在故障。
19.一种可读介质,其特征在于,所述可读介质上存储有指令,该指令在电子设备上执行时使电子设备执行权利要求1至18中任一项所述的用于检测电子设备的器件故障的方法。
20.一种电子设备,其特征在于,包括:
第一器件,用于发送用于检测电子设备的器件故障的初始检测信号;
第二器件,用于采集第一器件发送的初始检测信号以得到待检测信号;
存储器,用于存储由电子设备的一个或多个处理器执行的指令,以及
处理器,是电子设备的处理器之一,用于获取初始检测信号,并控制所述第一器件和第二器件执行权利要求1至18中任一项所述的用于检测电子设备的器件故障的方法。
CN202010709678.2A 2020-07-22 2020-07-22 电子设备及其器件故障检测方法和介质 Pending CN113973149A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010709678.2A CN113973149A (zh) 2020-07-22 2020-07-22 电子设备及其器件故障检测方法和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010709678.2A CN113973149A (zh) 2020-07-22 2020-07-22 电子设备及其器件故障检测方法和介质

Publications (1)

Publication Number Publication Date
CN113973149A true CN113973149A (zh) 2022-01-25

Family

ID=79584800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010709678.2A Pending CN113973149A (zh) 2020-07-22 2020-07-22 电子设备及其器件故障检测方法和介质

Country Status (1)

Country Link
CN (1) CN113973149A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106302905A (zh) * 2016-07-29 2017-01-04 努比亚技术有限公司 麦克风模式切换方法及移动终端
CN106851516A (zh) * 2017-03-03 2017-06-13 广东欧珀移动通信有限公司 电子装置及基于响度的检测方法
CN107172560A (zh) * 2017-06-28 2017-09-15 青岛海信移动通信技术股份有限公司 一种移动终端中麦克风的异常检测方法和移动终端
CN108124042A (zh) * 2017-12-19 2018-06-05 厦门美图移动科技有限公司 器件故障检测方法、装置及移动终端
CN208273185U (zh) * 2018-04-26 2018-12-21 深圳市韶音科技有限公司 一种麦克风装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106302905A (zh) * 2016-07-29 2017-01-04 努比亚技术有限公司 麦克风模式切换方法及移动终端
CN106851516A (zh) * 2017-03-03 2017-06-13 广东欧珀移动通信有限公司 电子装置及基于响度的检测方法
CN107172560A (zh) * 2017-06-28 2017-09-15 青岛海信移动通信技术股份有限公司 一种移动终端中麦克风的异常检测方法和移动终端
CN108124042A (zh) * 2017-12-19 2018-06-05 厦门美图移动科技有限公司 器件故障检测方法、装置及移动终端
CN208273185U (zh) * 2018-04-26 2018-12-21 深圳市韶音科技有限公司 一种麦克风装置

Similar Documents

Publication Publication Date Title
CN109166593B (zh) 音频数据处理方法、装置及存储介质
JP7324313B2 (ja) 音声対話方法及び装置、端末、並びに記憶媒体
EP3127116B1 (en) Attention-based dynamic audio level adjustment
KR101829865B1 (ko) 멀티센서 음성 검출
US9620116B2 (en) Performing automated voice operations based on sensor data reflecting sound vibration conditions and motion conditions
WO2020207376A1 (zh) 一种去噪方法及电子设备
CN106293601A (zh) 一种音频播放方法和装置
CN113744750B (zh) 一种音频处理方法及电子设备
CN114299933A (zh) 语音识别模型训练方法、装置、设备、存储介质及产品
CN111081275B (zh) 基于声音分析的终端处理方法、装置、存储介质及终端
CN115831155A (zh) 音频信号的处理方法、装置、电子设备及存储介质
CN111028838A (zh) 一种语音唤醒方法、设备及计算机可读存储介质
CN111048109A (zh) 声学特征的确定方法、装置、计算机设备及存储介质
CN114333774A (zh) 语音识别方法、装置、计算机设备及存储介质
CN114360546A (zh) 电子设备及其唤醒方法
WO2022199405A1 (zh) 一种语音控制方法和装置
CN113744736B (zh) 命令词识别方法、装置、电子设备及存储介质
CN113973149A (zh) 电子设备及其器件故障检测方法和介质
CN113362836A (zh) 训练声码器方法、终端及存储介质
CN106293607A (zh) 自动切换音频输出模式的方法及系统
CN112750425A (zh) 语音识别方法、装置、计算机设备及计算机可读存储介质
CN110288999B (zh) 语音识别方法、装置、计算机设备及存储介质
US11710475B2 (en) Methods and apparatus for obtaining biometric data
CN116757284A (zh) 模型推理方法、设备、存储介质和程序产品
CN117692845A (zh) 声场校准方法、电子设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220125