CN109005272A - 语音拾取方法及相关产品 - Google Patents

语音拾取方法及相关产品 Download PDF

Info

Publication number
CN109005272A
CN109005272A CN201810822720.4A CN201810822720A CN109005272A CN 109005272 A CN109005272 A CN 109005272A CN 201810822720 A CN201810822720 A CN 201810822720A CN 109005272 A CN109005272 A CN 109005272A
Authority
CN
China
Prior art keywords
target
audio signal
parameter
electronic equipment
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810822720.4A
Other languages
English (en)
Other versions
CN109005272B (zh
Inventor
郑志勇
柳明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oppo Chongqing Intelligent Technology Co Ltd
Original Assignee
Oppo Chongqing Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo Chongqing Intelligent Technology Co Ltd filed Critical Oppo Chongqing Intelligent Technology Co Ltd
Priority to CN201810822720.4A priority Critical patent/CN109005272B/zh
Publication of CN109005272A publication Critical patent/CN109005272A/zh
Application granted granted Critical
Publication of CN109005272B publication Critical patent/CN109005272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/19Arrangements of transmitters, receivers, or complete sets to prevent eavesdropping, to attenuate local noise or to prevent undesired transmission; Mouthpieces or receivers specially adapted therefor
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)

Abstract

本申请实施例公开了一种语音拾取方法,应用于电子设备,所述电子设备包括主麦克风和副麦克风,其中:获取所述主麦克风输入的目标音频信号;确定所述目标音频信号的输入音量和所述电子设备的基准音量;若所述基准音量与所述输入音量之间的差值与所述基准音量之间的比值大于预设占比,确定所述主麦克风被堵塞,获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号;对所述第一音频信号和所述第二音频信号进行处理得到目标语音。采用本申请,可提高语音拾取质量。

Description

语音拾取方法及相关产品
技术领域
本申请涉及通信技术领域,主要涉及了一种语音拾取方法及相关产品。
背景技术
目前,电子设备(如手机)设置了多个麦克风,包括单个主麦克风和多个副麦克风,其中:主麦克风主要作为输入麦克风,副麦克风主要作为降噪麦克风,可抑制拾取范围内的环境噪声,提高语音拾取质量。
发明内容
本申请实施例提供了一种语音拾取方法及相关产品,可提高语音拾取质量,便于提高用户体验。
第一方面,本申请实施例提供一种语音拾取方法,应用于电子设备,所述电子设备包括主麦克风和副麦克风,其中:
获取所述主麦克风输入的目标音频信号;
确定所述目标音频信号的输入音量和所述电子设备的基准音量;
若所述基准音量与所述输入音量之间的差值与所述基准音量之间的比值大于预设占比,确定所述主麦克风被堵塞,获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号;
对所述第一音频信号和所述第二音频信号进行处理,得到目标语音。
第二方面,本申请实施例提供一种语音拾取装置,应用于电子设备,所述电子设备包括主麦克风和副麦克风,其中:
获取单元,用于获取所述主麦克风输入的目标音频信号;
确定单元,用于确定所述目标音频信号的输入音量和所述电子设备的基准音量;若所述基准音量与所述输入音量之间的差值与所述基准音量之间的比值大于预设占比,确定所述主麦克风被堵塞;
所述获取单元,还用于获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号;
处理单元,用于对所述第一音频信号和所述第二音频信号进行处理,得到目标语音。
第三方面,本申请实施例提供一种电子设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,所述程序包括用于如第一方面中所描述的部分或全部步骤的指令。
第四方面,本申请实施例提供了一种计算机可读存储介质,其中,所述计算机可读存储介质存储计算机程序,其中,所述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机程序产品,其中,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本申请实施例,将具有如下有益效果:
采用了上述的语音拾取方法及相关产品之后,应用于包括主麦克风和副麦克风的电子设备。所述电子设备获取所述主麦克风输入的目标音频信号,确定所述目标音频信号的输入音量和所述电子设备的基准音量,若所述基准音量与所述输入音量之间的差值与所述基准音量之间的比值大于预设占比,确定所述主麦克风被堵塞,获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号,对所述第一音频信号和所述第二音频信号进行处理得到目标语音。也就是说,根据目标音频信号的输入音量、电子设备的基准音量和预设占比确定主麦克风是否被堵塞,并在主麦克风被堵塞时,通过主麦克风和副麦克风同时采集音频信号,提高语音提取质量,便于提高用户体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1A为本申请实施例提供的一种语音拾取方法的流程示意图;
图1B为本申请实施例提供的一种电子设备的侧面示意图;
图1C为本申请实施例提供的一种电子设备的正面示意图;
图1D为本申请实施例提供的另一种电子设备的侧面示意图;
图1E为本申请实施例提供的一种三轴加速度传感器的原理示意图;
图2为本申请实施例提供的一种语音拾取装置的结构示意图;
图3为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(user equipment,UE),移动台(mobile station,MS),终端设备(terminaldevice)等等。为方便描述,上面提到的设备统称为电子设备。下面对本申请实施例进行详细介绍。
本申请实施例提供了一种语音拾取方法及相关产品,可提高语音拾取质量,便于提高用户体验。
请参照图1A,本申请实施例提供一种语音拾取方法的流程示意图。该语音拾取方法应用于电子设备,请参照图1B和图1C,其中:图1B为电子设备的侧面示意图,图1C为电子设备的正面示意图。如图1B所示,主麦克风12位于电子设备100的底端的侧面。如图1C所示,副麦克风14位于电子设备100的顶端的正面,听筒15的旁边。
需要说明的是,本申请所涉及的电子设备可能包括多个副麦克风,如图1D所示的另一种电子设备的侧面示意图,如图1D所示,副麦克风14位于电子设备100的顶端。此外还可位于电子设备的背面的闪光灯的边上,在此不做限定。
若主麦克风故障时,可选取多个副麦克风中的一个副麦克风作为主麦克风,对于选取方法不做限定,可多个副麦克风分别采集音频信号,根据音频信号的强度确定作为主麦克风的副麦克风;也可确定目标用户的位置,根据其位置选取作为主麦克风的副麦克风等。
具体的,如图1A所示,一种语音拾取方法,包括:
S101:获取主麦克风输入的目标音频信号。
在本申请实施例中,目标音频信号为电子设备运行通话或录音类型的应用或功能时主麦克风所输入的音频信号,可以是完整的音频信号,也可以是指定时长内的音频信号。本申请对于指定时长不做限定,可为1秒等较短的时间,则在主麦克风故障时,选用备选方案,从而提高故障处理能力和语音拾取质量。
上述的通话或录音类型的应用或功能包括通话应用、视频通话功能、语音通话功能、发送语音信息功能、录音功能、录制视频功能等,在此也不做限定。
S102:确定所述目标音频信号的输入音量和电子设备的基准音量。
在本申请实施例中,输入音量可以是目标音频信号的平均音量,也可以目标音频信号中的最大音量或最小音量,在此不做限定。
基准音量为主麦克风处于正常模式或未被堵塞时可采集的音频信号的音量,对于获取基准音量的方法不做限定,可对多条语音拾取记录进行分析得到基准音量对应的映射关系,然后根据其映射关系确定基准音量。
可选的,所述确定所述电子设备的基准音量包括:确定所述电子设备的运行参数;确定目标用户握持所述电子设备的目标握持参数;根据所述目标握持参数和所述运行参数确定所述基准音量。
在可选实施例中,运行参数包括前台应用、时间信息、通话类型等,在此不做限定。其中,前台应用为电子设备正在运行的应用,时间信息可包括当前时间、前台应用的运行时间(如:游戏时长、观看时长等)、通话时长等,通话类型包括免提模式、耳机模式和听筒模式。
由于电子设备运行不同的前台应用时,目标用户握持电子设备的目标握持参数不同,例如:在查看社交网络信息时,电子设备常处于竖屏握持状态,目标用户与电子设备之间的距离较近;在打游戏时,目标用户与电子设备之间的距离较近,握持力度较大;在观看视频时,电子设备常处于横屏握持状态,目标用户与电子设备之间的距离较远等。
与之类似的,电子设备运行不同的通话类型,目标用户的目标握持参数不同,例如:电子设备处于免提模式和耳机模式时,目标用户可能不接触电子设备,与电子设备之间的距离较远;电子设备处于听筒模式时,与电子设备之间的距离较近。
在本申请中,预先存储目标用户的作息时间,即目标用户在不同时间下所处的环境不同时,环境音量不同,从而根据时间信息确定环境音量,再根据环境音量确定基准音量。
在可选实施例中,目标握持参数包括电子设备的握持姿态、握持力度、握持面积、握持位置等握持手势,还可包括目标用户与电子设备之间的目标距离等多个维度信息,可通过触控显示屏检测触控操作进行确定目标握持参数,在此也不做限定。
进一步的,握持位置包括多个手指和手掌的握持位置,握持面积包括多个手指的接触面积和手掌的接触面积。
在其中一个示例中,所述方法还包括:根据所述多个手指的握持位置确定所述多个手指中每一手指之间的间隔距离;获取所述电子设备的重量;根据所述多个手指中每一手指之间的间隔距离、所述每一握持位置对应的接触面积和所述重量确定所述握持力度。
可以理解,根据多个手指中每一手指之间的间隔距离可估算多个手指中每一手指的长度,根据多个手指中每一手指的握持面积确定对应手指的宽度,再根据每一手指的长度、宽度、间隔距离、手掌的接触面积和电子设备的重量确定握持力度。由于在握持状态时,手掌处于缩紧状态,而非展开状态,通过握持位置、握持面积和重量确定握持力度,可提高确定握持力度的准确性。
握持姿态可通过三轴加速度传感器进行确定。三轴加速度传感器具有体积小和重量轻特点,可以测量空间加速度,用于测量电子设备的姿态和倾斜角,除了自动切换水平、垂直显示视角外,还可在全球定位系统(global positioning system,GPS)信号不好时,用作运动偏移补偿计算,能够全面准确反映物体的运动性质。
请参照图1E,图1E为三维加速度传感器确定电子设备的握持姿态的原理示意图。如图1E所示,x轴、y轴、z轴均是相对电子设备机身位置的,通常y轴向机身向上,x轴向机身向右,z轴垂直机身正面,与地心引力同向。横向分量、纵向分量、竖向分量一般是一个单位的地心引力(大小1g(m*m/s),方向垂直地面向下),在各轴上的投影。横向分量对应与x轴上的数值,纵向分量对应与y轴上的数值,竖向分量对应与z轴上的数值,则横向倾斜角度为x轴与水平面的夹角,纵向倾斜角度为y轴与水平面的夹角。
例如:将电子设备平放在桌面上,x轴默认为0,y轴默认0,z轴默认9.81;将电子设备朝下放在桌面上,z轴为-9.81;将电子设备向左倾斜,x轴为正值;将电子设备向右倾斜,x轴为负值;将电子设备向上倾斜,y轴为负值;将电子设备向下倾斜,y轴为正值;将z轴小于-3的情况,视为电子设备的触控显示屏朝下。
基于此,可选的,所述通过所述三轴加速度传感器确定所述电子设备的握持姿态包括:获取所述三轴加速度传感器对应的横向分量、纵向分量和竖向分量,根据所述横向分量、所述纵向分量和所述竖向分量确定所述握持姿态。
在本申请中,可预先存储握持姿态和上述分量之间的映射关系,在确定横向分量、纵向分量和竖向分量之后,从而快速确定握持姿态,提高了确定握持姿态的准确性。
进一步的,根据所述横向分量和所述纵向分量确定所述电子设备的偏转角度;根据所述偏转角度和所述竖向分量确定所述握持姿态。也就是说,从偏转角度的方向和竖向分量确定握持姿态,可提高了确定握持姿态的准确性。
对于获取目标用户与电子设备之间的目标距离不做限定,可通过脑电波传感器获取目标用户的脑电波信号,然后根据脑电波信号的强弱确定目标距离;也可通过接近传感器直接获取目标用户与电子设备之间的目标距离等。
其中,脑电波传感器用于采集脑电波信号,脑电波(electroencephalogram,EEG)是在大脑在活动时,大量神经元同步发生的突触后电位经总和后形成的生理指标记录,记录了大脑活动时的电波变化,是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映。
在其中一个示例中,所述电子设备还包括脑电波传感器,所述方法还包括:所述根据所述脑电波信号确定所述目标用户与所述电子设备之间的目标距离包括:通过脑电波传感器获取目标用户的脑电波信号;确定所述脑电波信号的目标活跃度和目标信号强度;从预设的映射关系集中选取与所述目标活跃度对应的目标映射关系;根据所述目标映射关系确定与所述目标信号强度对应的目标距离。
本申请对于脑电波信号的解析方法不作限定,可以采用频域分析方法,也可以是经典的时频域结合分析方法,比如时空模式分析、统计分析、空间滤波、快速傅里叶变换、自回归模型系数,小波和小波包的系数均值和方差、双语估计以及希尔伯特黄变换等。
在本申请中,可采用上述的解析方法对脑电波信号进行解析,根据解析脑电波信号之后得到特征参数,其中,特征参数可以是频率数据、幅度数据、能量数据和相位数据中的至少一种数据。在得到特征参数之后,可对特征参数进行处理或直接根据特征参数进行匹配,从而确定目标活跃度和目标信号强度。
本申请对于目标活跃度的获取方法不作限定,可选的,获取满足预设条件的目标特征参数;获取所述目标特征参数对应的能量谱;根据所述能量谱确定所述目标活跃度。
其中,对于预设条件不作限定,例如,当特征参数为频率数据,且预设条件为大于13Hz时,则目标特征参数的频率大于13Hz。可以理解,本申请仅获取满足预设条件的目标特征参数对应的能量谱,从而根据能量谱确定目标活跃度,便于根据目标活跃度的准确性。
本申请实施例对于目标信号强度的获取方法不作限定,可根据特征参数确定所述目标信号强度,即直接根据脑电波信号对应的特征参数确定目标信号强度;也可以生成脑电波信号对应的脑电图,获取模板脑电图集合中与所述脑电图匹配的目标模板脑电图,确定所述目标模板脑电图对应的信号强度为所述目标信号强度。
在本申请中,映射关系集包括多组映射关系,每一组映射关系对应一种活跃度,每一组映射关系为信号强度与距离之间的映射关系。
可以理解,通过脑电波传感器获取目标用户的脑电波信号,对脑电波信号进行解析可确定脑电波信号的目标活跃度和目标信号强度,根据预先存储的映射关系集选取与目标活跃度对应的目标映射关系,再根据目标映射关系和目标信号强度确定目标距离,考虑了目标用户的脑电波信号的活跃度对脑电波信号的影响,从而提高了确定目标距离的准确性。
在本申请中,可在主麦克风附近设置一个接近传感器,如图1B所示上述的接近传感器13位于主麦克风的附近,且采用无孔结构,用于确定与所述电子设备之间的目标距离,即确定目标用户是否接近与主麦克风。
接近传感器其类型可包括光电型和磁力型等。接近传感器的接近事件上报阈值的形式可以为一个值域范围(Xmin,Xmax)。其中,Xmin为接近传感器的最小值,Xmax为接近传感器的最大值。当电子设备对接近传感器设置为(Xmin,Xmax)中一个接近事件上报阈值时,通过接近传感器获取目标用户与电子设备之间的距离,再根据所述距离是否大于接近事件上报阈值向系统上报接近事件。常用于在通话模式下,若用户头部接近电子设备,通知电子设备将触控显示屏的背光灯进行熄灭。
在本申请实施例中,对于如何根据目标握持参数和运行参数确定基准音量的方法不做限定,可选的,所述目标握持参数和所述运行参数包括多个维度信息,所述方法还包括:获取所述多个维度信息中每一维度信息对应的遮挡概率值得到多个遮挡概率值;根据预先存储的所述多个维度信息中每一维度信息对应的预设权值对所述多个遮挡概率值进行加权计算得到目标概率值;根据所述目标概率值确定所述基准音量。
其中,遮挡概率值用于描述维度信息对应遮挡主麦克风的概率值;多个维度信息对应的多个预设权值之和为1。
对于预设权值不做限定,如上述的电子设备运行不同的运行参数时,目标握持参数不同,则可根据运行参数确定每一维度信息对应的预设权值,从而提高分配与预设权值的准确性,便于提高确定目标概率值的准确性。
也就是说,获取目标握持参数中每一维度信息对应的遮挡概率值,然后根据每一维度信息对应的遮挡概率值和预设权值进行加权计算得到目标概率值,再获取与目标概率值对应的基准音量,从而从多个方面确定目标概率值,可提高确定目标概率值的准确性,便于提高确定基准音量的准确性。
可以理解,确定电子设备的运行参数和目标用户握持电子设备的目标握持参数,然后根据目标握持参数和运行参数确定基准音量,可提高确定基准音量的准确性,便于提高确定主麦克风是否被堵塞的准确性。
进一步的,所述根据所述目标握持参数和所述运行参数确定所述基准音量包括:根据所述目标握持参数确定所述电子设备的运动轨迹;根据所述运动轨迹和所述运行参数确定所述基准音量。
上述方法可应用于通话类型为免提模式,目标用户处于运动状态的场景。
可以理解,根据目标握持参数可确定电子设备的运动轨迹,根据其运动轨迹中目标距离的变化确定基准音量,从而动态调整基准音量,便于提高确定主麦克风是否被堵塞的准确性。
S103:若所述基准音量与所述输入音量之间的差值与所述基准音量之间的比值大于预设占比,确定所述主麦克风被堵塞,获取所述主麦克风输入的第一音频信号和副麦克风输入的第二音频信号。
在本申请实施例中,预设占比用于确定主麦克风是否被堵塞,即在基准音量与输入音量之间的差值与基准音量之间的比值小于预设占比时,确定主麦克风被堵塞。
在本申请中对于如何确定预设占比的第二音频信号不做限定,可选的,所述方法还包括:从预先存储的多条语音拾取记录中选取与所述基准音量对应的多条第一语音拾取记录;从所述多条第一语音拾取记录中选取与所述目标距离对应的多条第二语音拾取记录;将所述多条第二语音拾取记录和所述多条第一语音拾取记录之间的数量比作为所述预设占比。
也就是说,多条第一语音拾取记录均对应基准音量,多条第二语音拾取记录既对应基准音量,又对应目标距离,预设占比为多条第一语音拾取记录和多条第二语音拾取记录之间的数量比,可提高确定预设占比的准确性,便于提高确定主麦克风是否被遮挡的准确性。
当主麦克风被堵塞时,难以采集完整的音频数据。在本申请实施例中,若确定主麦克风被堵塞时,可通过主麦克风和副麦克风同时采集音频信号,从而提高语音提取质量。
在本申请中对于如何获取主麦克风输入的第一音频信号和副麦克风输入的第二音频信号的方法不做限定,可选的,所述获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号包括:根据所述目标握持参数和所述比值获取所述主麦克风的第一工作参数;根据所述目标握持参数获取所述副麦克风的第二工作参数;获取所述主麦克风按照所述第一工作参数采集的所述第一音频信号和所述副麦克风按照所述第二工作参数采集的所述第二音频信号。
上述的工作参数包括拾取范围、功率、电流、电压等,在此不做限定。
可以理解,根据目标握持参数确定副麦克风的第二工作参数,根据目标握持参数和比值确定主麦克风的第一工作参数,再分别按照对应的工作参数采集音频信号,从而得到第一音频信号和第二音频信号,提高了提取第一音频信号和第二音频信号的质量和准确性。
S104:对所述第一音频信号和所述第二音频信号进行处理得到目标语音。
在本申请实施例中,在获取第一音频信号和第二音频信号之后,将第一音频信号和第二音频信号处理为单声道数据,则电子设备可传输或存储上述的单声道数据。
可选的,所述对所述第一音频信号和所述第二音频信号进行处理得到目标语音包括:获取所述第一音频信号和所述第二音频信号对应的音调变化曲线;获取所述第一音频信号对应的第一文本和第一音频信号对应的第二文本;按照时间顺序对所述第一文本和所述第二文本进行去重复操作得到目标文本;按照所述音调变化曲线对所述目标文本进行合成得到所述目标语音。
可以理解,获取第一音频信号和第二音频信对应的音调变化曲线,再对第一音频信号和第二音频信号进行文字识别得到第一音频信号对应的第一文本和第二音频信号对应的第二文本,从而按照音调变化曲线对目标文本进行合成得到目标语音,可提高目标语音的还原度和语音质量。
进一步的,对所述第一音频信号和所述第二音频信号进行声音识别,可得到在第一音频信号中目标用户对应的多个第一音频片段和第二音频信号中目标用户对应的多个第二音频片段,然后获取所述多个第一音频片段和所述多个第二音频片段对应的所述音调变化曲线;获取所述多个第一音频片段对应的所述第一文本和所述多个第二音频片段对应的所述第二文本。也就是说,预先提取第一音频信号和第二音频信号中的目标用户的音频片段,再执行后续步骤,从而提高合成的效率和准确性。
在如图1A所示的语音拾取方法中,电子设备获取主麦克风输入的目标音频信号,确定所述目标音频信号的输入音量和所述电子设备的基准音量,若所述基准音量与所述输入音量之间的差值与所述基准音量之间的比值大于预设占比,确定所述主麦克风被堵塞,获取所述主麦克风输入的第一音频信号和副麦克风输入的第二音频信号,对所述第一音频信号和所述第二音频信号进行处理得到目标语音。也就是说,根据目标音频信号的输入音量、电子设备的基准音量和预设占比确定主麦克风是否被堵塞,并在主麦克风被堵塞时,通过主麦克风和副麦克风同时采集音频信号,提高语音提取质量,便于提高用户体验。
与图1A的实施例一致,请参照图2,图2是本申请实施例提供的一种语音拾取装置的结构示意图,所述装置应用于电子设备,所述电子设备包括主麦克风和副麦克风。如图2所示,上述语音拾取装置200包括:
获取单元201用于获取所述主麦克风输入的目标音频信号;
确定单元202用于确定所述目标音频信号的输入音量和所述电子设备的基准音量;若所述基准音量与所述输入音量之间的差值与所述基准音量之间的比值大于预设占比,确定所述主麦克风被堵塞;
所述获取单元201还用于获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号;
处理单元203用于对所述第一音频信号和所述第二音频信号进行处理得到目标语音。
可以理解,获取单元201获取主麦克风输入的目标音频信号,确定单元202确定所述目标音频信号的输入音量和所述电子设备的基准音量,若所述基准音量与所述输入音量之间的差值与所述基准音量之间的比值大于预设占比,确定所述主麦克风被堵塞,获取单元201获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号,处理单元203对所述第一音频信号和所述第二音频信号进行处理得到目标语音。也就是说,根据目标音频信号的输入音量、电子设备的基准音量和预设占比确定主麦克风是否被堵塞,并在主麦克风被堵塞时,通过主麦克风和副麦克风同时采集音频信号,提高语音提取质量,便于提高用户体验。
在一个可能的示例中,在所述确定所述电子设备的基准音量方面,所述确定单元202具体用于确定所述电子设备的运行参数;确定目标用户握持所述电子设备的目标握持参数;根据所述目标握持参数和所述运行参数确定所述基准音量。
在一个可能的示例中,在所述根据所述目标握持参数和所述运行参数确定所述基准音量方面,所述确定单元202具体用于根据所述目标握持参数确定所述电子设备的运动轨迹;根据所述运动轨迹和所述运行参数确定所述基准音量。
在一个可能的示例中,在所述获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号方面,所述获取单元201具体用于根据所述目标握持参数和所述比值获取所述主麦克风的第一工作参数;根据所述目标握持参数获取所述副麦克风的第二工作参数;获取所述主麦克风按照所述第一工作参数采集的所述第一音频信号和所述副麦克风按照所述第二工作参数采集的所述第二音频信号。
在一个可能的示例中,所述目标握持参数包括所述目标用户与所述电子设备之间的目标距离,所述装置200还包括:
选取单元204,用于从预先存储的多条语音拾取记录中选取与所述基准音量对应的多条第一语音拾取记录;从所述多条第一语音拾取记录中选取与所述目标距离对应的多条第二语音拾取记录;由所述确定单元202将所述多条第二语音拾取记录和所述多条第一语音拾取记录之间的数量比确定所述预设占比。
与图1A的实施例一致,请参照图3,图3是本申请实施例提供的一种电子设备的结构示意图。如图3所示,该电子设备300包括处理器310、存储器320、通信接口330以及一个或多个程序340,其中,通信接口330包括主麦克风和副麦克风,上述一个或多个程序340被存储在上述存储器320中,并且被配置由上述处理器310执行,上述程序340包括用于执行以下步骤的指令:
获取所述主麦克风输入的目标音频信号;
确定所述目标音频信号的输入音量和所述电子设备的基准音量;
若所述基准音量与所述输入音量之间的差值与所述基准音量之间的比值大于预设占比,确定所述主麦克风被堵塞,获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号;
对所述第一音频信号和所述第二音频信号进行处理得到目标语音。
可以理解,电子设备300获取所述主麦克风输入的目标音频信号,确定所述目标音频信号的输入音量和所述电子设备的基准音量,若所述基准音量与所述输入音量之间的差值与所述基准音量之间的比值大于预设占比,确定所述主麦克风被堵塞,获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号,对所述第一音频信号和所述第二音频信号进行处理得到目标语音。也就是说,根据目标音频信号的输入音量、电子设备的基准音量和预设占比确定主麦克风是否被堵塞,并在主麦克风被堵塞时,通过主麦克风和副麦克风同时采集音频信号,提高语音提取质量,便于提高用户体验。
在一个可能的示例中,在所述确定所述电子设备的基准音量方面,所述程序340中的指令还用于执行以下操作:
确定所述电子设备的运行参数;
确定目标用户握持所述电子设备的目标握持参数;
根据所述目标握持参数和所述运行参数确定所述基准音量。
在一个可能的示例中,在所述根据所述目标握持参数和所述运行参数确定所述基准音量方面,所述程序340中的指令具体用于执行以下操作:
根据所述目标握持参数确定所述电子设备的运动轨迹;
根据所述运动轨迹确定所述基准音量。
在一个可能的示例中,在所述获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号方面,所述程序340中的指令具体用于执行以下操作:
根据所述目标握持参数和所述比值获取所述主麦克风的第一工作参数;
根据所述目标握持参数获取所述副麦克风的第二工作参数;
获取所述主麦克风按照所述第一工作参数采集的所述第一音频信号和所述副麦克风按照所述第二工作参数采集的所述第二音频信号。
在一个可能的示例中,所述目标握持参数包括所述目标用户与所述电子设备之间的目标距离,所述程序340中的指令还用于执行以下操作:
从预先存储的多条语音拾取记录中选取与所述基准音量对应的多条第一语音拾取记录;
从所述多条第一语音拾取记录中选取与所述目标距离对应的多条第二语音拾取记录;
将所述多条第二语音拾取记录和所述多条第一语音拾取记录之间的数量比作为所述预设占比。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于存储计算机程序,该计算机程序使得计算机执行如方法实施例中记载的任一方法的部分或全部步骤,计算机包括电子设备。
本申请实施例还提供一种计算机程序产品,计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,计算机程序可操作来使计算机执行如方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,计算机包括电子设备。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模式并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序模式的形式实现。
集成的单元如果以软件程序模式的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(read-only memory,ROM)、随机存取存储器(randomaccess memory,RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、ROM、RAM、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种语音拾取方法,其特征在于,应用于电子设备,所述电子设备包括主麦克风和副麦克风,所述方法包括:
获取所述主麦克风输入的目标音频信号;
确定所述目标音频信号的输入音量和所述电子设备的基准音量;
若所述基准音量与所述输入音量之间的差值与所述基准音量之间的比值大于预设占比,确定所述主麦克风被堵塞,获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号;
对所述第一音频信号和所述第二音频信号进行处理,得到目标语音。
2.根据权利要求1所述的方法,其特征在于,所述确定所述电子设备的基准音量,包括:
确定所述电子设备的运行参数;
确定目标用户握持所述电子设备的目标握持参数;
根据所述目标握持参数和所述运行参数确定所述基准音量。
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标握持参数和所述运行参数确定所述基准音量,包括:
根据所述目标握持参数确定所述电子设备的运动轨迹;
根据所述运动轨迹和所述运行参数确定所述基准音量。
4.根据权利要求2或3所述的方法,其特征在于,所述获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号,包括:
根据所述目标握持参数和所述比值获取所述主麦克风的第一工作参数;
根据所述目标握持参数获取所述副麦克风的第二工作参数;
获取所述主麦克风按照所述第一工作参数采集的所述第一音频信号和所述副麦克风按照所述第二工作参数采集的所述第二音频信号。
5.根据权利要求2-4任一项所述的方法,其特征在于,所述目标握持参数包括所述目标用户与所述电子设备之间的目标距离,所述方法还包括:
从预先存储的多条语音拾取记录中选取与所述基准音量对应的多条第一语音拾取记录;
从所述多条第一语音拾取记录中选取与所述目标距离对应的多条第二语音拾取记录;
将所述多条第二语音拾取记录和所述多条第一语音拾取记录之间的数量比作为所述预设占比。
6.一种语音拾取装置,其特征在于,应用于电子设备,所述电子设备包括主麦克风和副麦克风,所述装置包括:
获取单元,用于获取所述主麦克风输入的目标音频信号;
确定单元,用于确定所述目标音频信号的输入音量和所述电子设备的基准音量;若所述基准音量与所述输入音量之间的差值与所述基准音量之间的比值大于预设占比,确定所述主麦克风被堵塞;
所述获取单元,还用于获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号;
处理单元,用于对所述第一音频信号和所述第二音频信号进行处理,得到目标语音。
7.根据权利要求6所述的装置,其特征在于,在所述确定所述电子设备的基准音量方面,所述确定单元具体用于确定所述电子设备的运行参数;确定目标用户握持所述电子设备的目标握持参数;根据所述目标握持参数和所述运行参数确定所述基准音量。
8.根据权利要求7所述的装置,其特征在于,在所述根据所述目标握持参数和所述运行参数确定所述基准音量方面,所述确定单元具体用于根据所述目标握持参数确定所述电子设备的运动轨迹;根据所述运动轨迹和所述运行参数确定所述基准音量。
9.根据权利要求7或8所述的装置,其特征在于,在所述获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号方面,所述获取单元具体用于根据所述目标握持参数和所述比值获取所述主麦克风的第一工作参数;根据所述目标握持参数获取所述副麦克风的第二工作参数;获取所述主麦克风按照所述第一工作参数采集的所述第一音频信号和所述副麦克风按照所述第二工作参数采集的所述第二音频信号。
10.根据权利要求7-9任一项所述的装置,其特征在于,所述目标握持参数包括所述目标用户与所述电子设备之间的目标距离,所述装置还包括:
选取单元,用于从预先存储的多条语音拾取记录中选取与所述基准音量对应的多条第一语音拾取记录;从所述多条第一语音拾取记录中选取与所述目标距离对应的多条第二语音拾取记录;由所述确定单元将所述多条第二语音拾取记录和所述多条第一语音拾取记录之间的数量比确定所述预设占比。
11.一种电子设备,其特征在于,包括处理器、存储器、通信接口以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行权利要求1-5任一项方法中的步骤的指令。
12.一种计算机可读存储介质,其特征在于,其用于存储计算机程序,其中,所述计算机程序使得计算机执行如权利要求1-5任一项所述的方法。
CN201810822720.4A 2018-07-24 2018-07-24 语音拾取方法及相关产品 Active CN109005272B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810822720.4A CN109005272B (zh) 2018-07-24 2018-07-24 语音拾取方法及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810822720.4A CN109005272B (zh) 2018-07-24 2018-07-24 语音拾取方法及相关产品

Publications (2)

Publication Number Publication Date
CN109005272A true CN109005272A (zh) 2018-12-14
CN109005272B CN109005272B (zh) 2021-01-29

Family

ID=64597319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810822720.4A Active CN109005272B (zh) 2018-07-24 2018-07-24 语音拾取方法及相关产品

Country Status (1)

Country Link
CN (1) CN109005272B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110536193A (zh) * 2019-07-24 2019-12-03 华为技术有限公司 一种音频信号的处理方法及装置
CN111586547A (zh) * 2020-04-28 2020-08-25 北京小米松果电子有限公司 音频输入模组的检测方法及装置、存储介质
CN114220457A (zh) * 2021-10-29 2022-03-22 成都中科信息技术有限公司 双通道通信链路的音频数据处理方法、装置及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102752687A (zh) * 2012-06-28 2012-10-24 华为终端有限公司 终端设备音效调整方法以及终端设备
US20140064506A1 (en) * 2012-08-31 2014-03-06 Samsung Electronics Co., Ltd. Electronic device and method for blocking echo generation by eliminating sound output from speaker
EP2928164A1 (en) * 2012-12-27 2015-10-07 ZTE Corporation Transmission method and device for voice data
CN105282339A (zh) * 2015-10-30 2016-01-27 东莞酷派软件技术有限公司 一种监测麦克工作状态的方法、装置及移动终端
CN105578230A (zh) * 2015-12-15 2016-05-11 广东欧珀移动通信有限公司 视频播放方法、装置和移动终端
CN105979053A (zh) * 2016-04-18 2016-09-28 广东欧珀移动通信有限公司 移动终端中麦克风的检测方法、装置以及移动终端
CN106331359A (zh) * 2016-08-31 2017-01-11 广东欧珀移动通信有限公司 一种语音信号采集方法、装置及终端
CN106406803A (zh) * 2016-08-31 2017-02-15 青岛海信移动通信技术股份有限公司 终端应用的音量控制方法和装置
CN107483735A (zh) * 2017-08-18 2017-12-15 广东欧珀移动通信有限公司 移动终端的音量控制方法、装置及存储介质和移动终端
CN107509153A (zh) * 2017-08-18 2017-12-22 广东欧珀移动通信有限公司 声音播放器件的检测方法、装置、存储介质及终端
CN107547704A (zh) * 2017-09-28 2018-01-05 奇酷互联网络科技(深圳)有限公司 通话mic的切换方法、装置和移动终端
CN107968887A (zh) * 2017-11-27 2018-04-27 努比亚技术有限公司 移动终端的操作方法、终端及计算机可读存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102752687A (zh) * 2012-06-28 2012-10-24 华为终端有限公司 终端设备音效调整方法以及终端设备
US20140064506A1 (en) * 2012-08-31 2014-03-06 Samsung Electronics Co., Ltd. Electronic device and method for blocking echo generation by eliminating sound output from speaker
EP2928164A1 (en) * 2012-12-27 2015-10-07 ZTE Corporation Transmission method and device for voice data
CN105282339A (zh) * 2015-10-30 2016-01-27 东莞酷派软件技术有限公司 一种监测麦克工作状态的方法、装置及移动终端
CN105578230A (zh) * 2015-12-15 2016-05-11 广东欧珀移动通信有限公司 视频播放方法、装置和移动终端
CN105979053A (zh) * 2016-04-18 2016-09-28 广东欧珀移动通信有限公司 移动终端中麦克风的检测方法、装置以及移动终端
CN106331359A (zh) * 2016-08-31 2017-01-11 广东欧珀移动通信有限公司 一种语音信号采集方法、装置及终端
CN106406803A (zh) * 2016-08-31 2017-02-15 青岛海信移动通信技术股份有限公司 终端应用的音量控制方法和装置
CN107483735A (zh) * 2017-08-18 2017-12-15 广东欧珀移动通信有限公司 移动终端的音量控制方法、装置及存储介质和移动终端
CN107509153A (zh) * 2017-08-18 2017-12-22 广东欧珀移动通信有限公司 声音播放器件的检测方法、装置、存储介质及终端
CN107547704A (zh) * 2017-09-28 2018-01-05 奇酷互联网络科技(深圳)有限公司 通话mic的切换方法、装置和移动终端
CN107968887A (zh) * 2017-11-27 2018-04-27 努比亚技术有限公司 移动终端的操作方法、终端及计算机可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110536193A (zh) * 2019-07-24 2019-12-03 华为技术有限公司 一种音频信号的处理方法及装置
CN111586547A (zh) * 2020-04-28 2020-08-25 北京小米松果电子有限公司 音频输入模组的检测方法及装置、存储介质
US11395079B2 (en) 2020-04-28 2022-07-19 Beijing Xiaomi Pinecone Electronics Co., Ltd. Method and device for detecting audio input module, and storage medium
CN114220457A (zh) * 2021-10-29 2022-03-22 成都中科信息技术有限公司 双通道通信链路的音频数据处理方法、装置及存储介质

Also Published As

Publication number Publication date
CN109005272B (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN109558512A (zh) 一种基于音频的个性化推荐方法、装置和移动终端
CN103918284B (zh) 语音控制装置、语音控制方法和程序
CN109005272A (zh) 语音拾取方法及相关产品
CN109872710B (zh) 音效调制方法、装置及存储介质
CN109754823A (zh) 一种语音活动检测方法、移动终端
CN108196815A (zh) 一种通话声音的调节方法和移动终端
CN109243488A (zh) 音频检测方法、装置及存储介质
CN104133654B (zh) 一种电子设备及信息处理方法
CN204117590U (zh) 语音采集降噪装置以及语音质量评价系统
CN108958699A (zh) 语音拾取方法及相关产品
CN108924331A (zh) 语音拾取方法及相关产品
CN113676590A (zh) 录音方法、装置、电子设备及存储介质
CN108260012A (zh) 电子装置、视频播放控制方法及相关产品
US9733714B2 (en) Computing system with command-sense mechanism and method of operation thereof
CN110677759B (zh) 智能耳机默认音量的设置方法及系统
CN113656258B (zh) 基于互联网的智能蓝牙耳机用场景分析管控系统
CN108804996B (zh) 人脸验证方法、装置、计算机设备及存储介质
CN108680181B (zh) 无线耳机、基于耳机检测的计步方法及相关产品
CN106197803A (zh) 跌落数据的采集方法及终端设备
CN109561642A (zh) 电磁干扰控制方法及相关产品
CN109164986A (zh) 云盘数据处理方法、装置、电子设备及存储介质
CN113593602B (zh) 一种音频处理方法、装置、电子设备和存储介质
CN108882112A (zh) 音频播放控制方法、装置、存储介质及终端设备
CN109032482A (zh) 分屏控制方法、装置、存储介质和电子设备
CN105491297B (zh) 一种摄像参数的调整方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant