CN108965600B - 语音拾取方法及相关产品 - Google Patents

语音拾取方法及相关产品 Download PDF

Info

Publication number
CN108965600B
CN108965600B CN201810817135.5A CN201810817135A CN108965600B CN 108965600 B CN108965600 B CN 108965600B CN 201810817135 A CN201810817135 A CN 201810817135A CN 108965600 B CN108965600 B CN 108965600B
Authority
CN
China
Prior art keywords
microphone
audio signal
determining
proximity
variation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810817135.5A
Other languages
English (en)
Other versions
CN108965600A (zh
Inventor
郑志勇
柳明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oppo Chongqing Intelligent Technology Co Ltd
Original Assignee
Oppo Chongqing Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo Chongqing Intelligent Technology Co Ltd filed Critical Oppo Chongqing Intelligent Technology Co Ltd
Priority to CN201810817135.5A priority Critical patent/CN108965600B/zh
Publication of CN108965600A publication Critical patent/CN108965600A/zh
Application granted granted Critical
Publication of CN108965600B publication Critical patent/CN108965600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/03—Constructional features of telephone transmitters or receivers, e.g. telephone hand-sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种语音拾取方法，应用于电子设备，所述电子设备包括主麦克风、副麦克风、与所述主麦克风接近的第一接近光传感器和与所述副麦克风接近的第二接近光传感器，其中：在语音拾取模式下，通过所述第一接近光传感器确定所述主麦克风是否被遮挡，通过所述第二接近光传感器确定所述副麦克风是否被遮挡；若所述主麦克风或所述副麦克风被遮挡，获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号；对所述第一音频信号和所述第二音频信号进行处理得到目标语音。采用本申请，可提高语音拾取质量。

Description

语音拾取方法及相关产品
技术领域
本申请涉及通信技术领域，主要涉及了一种语音拾取方法及相关产品。
背景技术
目前，电子设备(如手机)设置了多个麦克风，包括单个主麦克风和多个副麦克风，其中：主麦克风主要作为输入麦克风，副麦克风主要作为降噪麦克风，可抑制拾取范围内的环境噪声，提高语音拾取质量。
发明内容
本申请实施例提供了一种语音拾取方法及相关产品，可提高语音拾取质量，便于提高用户体验。
第一方面，本申请实施例提供一种语音拾取方法，应用于电子设备，所述电子设备包括主麦克风、副麦克风、与所述主麦克风接近的第一接近光传感器和与所述副麦克风接近的第二接近光传感器，其中：
在语音拾取模式下，通过所述第一接近光传感器确定所述主麦克风是否被遮挡，通过所述第二接近光传感器确定所述副麦克风是否被遮挡；
若所述主麦克风或所述副麦克风被遮挡，获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号；
对所述第一音频信号和所述第二音频信号进行处理，得到目标语音。
第二方面，本申请实施例提供一种语音拾取装置，应用于电子设备，所述电子设备包括主麦克风、副麦克风、与所述主麦克风接近的第一接近光传感器和与所述副麦克风接近的第二接近光传感器，其中：
确定单元，用于在语音拾取模式下，通过所述第一接近光传感器确定所述主麦克风是否被遮挡，通过所述第二接近光传感器确定所述副麦克风是否被遮挡；
获取单元，用于若所述主麦克风或所述副麦克风被遮挡，获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号；
处理单元，用于对所述第一音频信号和所述第二音频信号进行处理，得到目标语音。
第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，所述程序包括用于如第一方面中所描述的部分或全部步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本申请实施例，将具有如下有益效果：
采用了上述的语音拾取方法及相关产品之后，应用于包括主麦克风、副麦克风、与所述主麦克风接近的第一接近光传感器和与所述副麦克风接近的第二接近光传感器的电子设备。在电子设备处于语音拾取模式下，通过所述第一接近光传感器确定所述主麦克风是否被遮挡，通过所述第二接近光传感器确定所述副麦克风是否被遮挡，若所述主麦克风或所述副麦克风被遮挡，所述电子设备获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号，对所述第一音频信号和所述第二音频信号进行处理得到目标语音，如此，在主麦克风或副麦克风被遮挡时，通过主麦克风和副麦克风同时采集音频信号，提高语音提取质量，便于提高用户体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1A为本申请实施例提供的一种语音拾取方法的流程示意图；
图1B为本申请实施例提供的一种电子设备的侧面示意图；
图1C为本申请实施例提供的一种电子设备的正面示意图；
图1D为本申请实施例提供的另一种电子设备的侧面示意图；
图1E为本申请实施例提供的一种三轴加速度传感器的原理示意图；
图2为本申请实施例提供的另一种语音拾取方法的流程示意图；
图3为本申请实施例提供的一种语音拾取装置的结构示意图；
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(user equipment，UE)，移动台(mobile station，MS)，终端设备(terminaldevice)等等。为方便描述，上面提到的设备统称为电子设备。下面对本申请实施例进行详细介绍。
本申请实施例提供了一种语音拾取方法及相关产品，可提高语音拾取质量，便于提高用户体验。
请参照图1A，本申请实施例提供一种语音拾取方法的流程示意图。该语音拾取方法应用于电子设备，请参照图1B和图1C，其中：图1B为电子设备的侧面示意图，图1C为电子设备的正面示意图。如图1B所示，电子设备100包括主麦克风12和与主麦克风12接近的第一接近光传感器13，主麦克风12和第一接近光传感器13位于电子设备100的底端的侧面。如图1C所示，电子设备100包括副麦克风15和与副麦克风15接近的第二接近光传感器16，副麦克风15和第二接近光传感器16位于电子设备100的顶端的正面，听筒14旁边。
上述的接近光传感器采用无孔光感的结构，用于确定目标用户与电子设备之间的距离，接近光传感器的接近事件上报阈值的形式可以为一个值域范围(Xmin，Xmax)。其中，Xmin为接近光传感器的最小值，Xmax为接近光传感器的最大值。当电子设备对接近光传感器设置为(Xmin，Xmax)中一个接近事件上报阈值时，通过接近光传感器获取目标用户与电子设备之间的距离，再根据所述距离是否大于接近事件上报阈值向系统上报接近事件。常用于在通话模式下，若用户头部接近电子设备，通知电子设备将触控显示屏的背光灯进行熄灭。
需要说明的是，本申请所涉及的电子设备可能包括多个副麦克风，如图1D所示的另一种电子设备的侧面示意图，如图1D所示，副麦克风15与第二接近光传感器16接近，副麦克风15和第二接近光传感器16位于电子设备100的顶端。此外还可位于电子设备的背面的闪光灯的边上，在此不做限定。
若主麦克风故障时，可选取多个副麦克风中的一个副麦克风作为主麦克风，对于选取方法不做限定，可多个副麦克风分别采集音频信号，根据音频信号的强度确定作为主麦克风的副麦克风；也可确定目标用户的位置，根据其位置选取作为主麦克风的副麦克风等。
具体的，如图1A所示，一种语音拾取方法，包括：
S101：在语音拾取模式下，通过第一接近光传感器确定主麦克风是否被遮挡。
在本申请实施例中，在电子设备运行通话或录音类型的应用或功能时，进入语音拾取模式，上述的通话或录音类型的应用或功能包括通话应用、视频通话功能、语音通话功能、发送语音信息功能、录音功能、录制视频功能等，在此不做限定。
可选的，所述通过所述第一接近光传感器确定所述主麦克风是否被遮挡包括：通过所述第一接近光传感器获取指定时长内的第一反射红外线强度值；获取所述第一反射红外线强度值对应的第一红外线变化量；若所述第一红外变化量大于接近阈值，确定所述主麦克风被遮挡。
其中，指定时长可以是电子设备中预先存储的时间间隔或用户设置的检测时间，还可以根据主麦克风输入的音频数据的时长进行确定，例如：10秒的音频数据，指定时长为2秒，5秒的音频数据，指定时长为1秒。
在可选实施例中，第一接近光传感器利用红外线的反射性质测量反射红外线强度得到第一反射红外线强度值，并将指定时长内的第一反射红外线强度值的变化量作为第一红外线变化量，可提高确定第一红外线变化量的准确性。
本申请对于接近阈值不做限定，可根据电子设备所处环境的环境光强进行确定，也可根据电子设备当前运行的前台应用进行确定，还可根据目标用户握持电子设备的姿态进行确定等。
在其中一个示例中，所述电子设备还包括三轴加速度传感器，所述方法还包括：通过所述三轴加速度传感器确定所述电子设备的握持姿态；确定所述电子设备的前台应用；根据所述握持姿态和所述前台应用确定所述接近阈值。
三轴加速度传感器具有体积小和重量轻特点，可以测量空间加速度，用于测量电子设备的姿态和倾斜角，除了自动切换水平、垂直显示视角外，还可在全球定位系统(global positioning system，GPS)信号不好时，用作运动偏移补偿计算，能够全面准确反映物体的运动性质。
请参照图1E，图1E为三维加速度传感器确定电子设备的握持姿态的原理示意图。如图1E所示，x轴、y轴、z轴均是相对电子设备机身位置的，通常y轴向机身向上，x轴向机身向右，z轴垂直机身正面，与地心引力同向。横向分量、纵向分量、竖向分量一般是一个单位的地心引力(大小1g(m*m/s)，方向垂直地面向下)，在各轴上的投影。横向分量对应与x轴上的数值，纵向分量对应与y轴上的数值，竖向分量对应与z轴上的数值，则横向倾斜角度为x轴与水平面的夹角，纵向倾斜角度为y轴与水平面的夹角。
例如：将电子设备平放在桌面上，x轴默认为0，y轴默认0，z轴默认9.81；将电子设备朝下放在桌面上，z轴为-9.81；将电子设备向左倾斜，x轴为正值；将电子设备向右倾斜，x轴为负值；将电子设备向上倾斜，y轴为负值；将电子设备向下倾斜，y轴为正值；将z轴小于-3的情况，视为电子设备的触控显示屏朝下。
基于此，可选的，所述通过所述三轴加速度传感器确定所述电子设备的握持姿态包括：获取所述三轴加速度传感器对应的横向分量、纵向分量和竖向分量，根据所述横向分量、所述纵向分量和所述竖向分量确定所述握持姿态。
在本申请中，可预先存储握持姿态和上述分量之间的映射关系，在确定横向分量、纵向分量和竖向分量之后，从而快速确定握持姿态，提高了确定握持姿态的准确性。
进一步的，根据所述横向分量和所述纵向分量确定所述电子设备的偏转角度；根据所述偏转角度和所述竖向分量确定所述握持姿态。也就是说，从偏转角度的方向和竖向分量确定握持姿态，可提高了确定握持姿态的准确性。
由于电子设备运行不同的前台应用时，用户的握持姿态不同，例如：在查看社交网络信息时，电子设备常处于竖屏握持状态，在打游戏或观看视频时，电子设备常处于横屏握持状态。
可以理解，确定电子设备的前台应用，并通过三轴加速度传感器确定电子设备的握持姿态，根据握持姿态和前台应用确定接近阈值，可提高确定接近阈值的准确性，便于提高确定第一红外线变化量的准确性。
同理，对于如何通过第二接近光传感器确定副麦克风是否被遮挡可参照上述描述，在此不再赘述。即所述通过所述第二接近光传感器确定所述副麦克风是否被遮挡包括：通过所述第二接近光传感器获取所述指定时长内的第二反射红外线强度值；获取所述第二反射红外线强度值对应的第二红外线变化量；若所述第二红外变化量大于所述接近阈值，确定所述副麦克风被遮挡。
S102：若所述主麦克风被遮挡，获取所述主麦克风输入的第一音频信号和副麦克风输入的第二音频信号。
当主麦克风被遮挡时，难以采集完整的音频数据。在本申请实施例中，若确定主麦克风被遮挡时，可通过主麦克风和副麦克风同时采集音频信号，从而提高语音提取质量。
对于如何采集音频信号不做限定，可选的，所述获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号包括：根据所述握持姿态和所述第一红外变化量确定所述主麦克风的第一工作参数；根据所述握持姿态和所述第二红外变化量确定所述副麦克风的第二工作参数；获取所述主麦克风按照所述第一工作参数采集的所述第一音频信号和所述副麦克风按照所述第二工作参数采集的所述第二音频信号。
上述的工作参数包括拾取范围、功率、电流、电压等，在此不做限定。也就是说，根据握持姿态和对应的红外变化量确定拾取操作的工作参数，可提高拾取音频质量，并节省功耗。
可选的，所述根据所述握持姿态和所述第一红外变化量确定所述主麦克风的第一工作参数包括：根据所述握持姿态和所述第一红外变化量确定第一遮挡程度；根据所述第一遮挡程度确定所述第一工作参数。
也就是说，根据握持姿态和第一红外变化量确定第一遮挡程度，然后由第一遮挡程度确定第一工作参数，可提高拾取操作的准确性，节省电子设备的功耗，从而提高拾取音频质量。第二工作参数的方法也可参照此方法，即根据所述握持姿态和所述第二红外变化量确定第二遮挡程度；根据所述第二遮挡程度确定所述第二工作参数，在此不再赘述。
可以理解，握持姿态和红外变化量均与麦克风的遮挡程度相关，通过握持姿态和第一红外变化量确定主麦克风的第一工作参数，通过握持姿态和第二红外变化量确定副麦克风的第二工作参数，然后，分别按照对应的工作参数采集音频信号，从而得到第一音频信号和第二音频信号，提高了提取第一音频信号和第二音频信号的质量和准确性。
S103：对所述第一音频信号和所述第二音频信号进行处理得到目标语音。
在本申请实施例中，在获取第一音频信号和第二音频信号之后，将第一音频信号和第二音频信号处理为单声道数据，则电子设备可传输或存储上述的单声道数据。
可选的，所述对所述第一音频信号和所述第二音频信号进行处理得到目标语音包括：获取所述第一音频信号和所述第二音频信号对应的音调变化曲线；获取所述第一音频信号对应的第一文本和第一音频信号对应的第二文本；按照时间顺序对所述第一文本和所述第二文本进行去重复操作得到目标文本；按照所述音调变化曲线对所述目标文本进行合成得到所述目标语音。
可以理解，在可选实施例中，获取第一音频信号和第二音频信对应的音调变化曲线，再对第一音频信号和第二音频信号进行文字识别得到第一音频信号对应的第一文本和第二音频信号对应的第二文本，从而按照音调变化曲线对目标文本进行合成得到目标语音，可提高目标语音的还原度和语音质量。
进一步的，对所述第一音频信号和所述第二音频信号进行声音识别，可得到在第一音频信号中目标用户对应的多个第一音频片段和第二音频信号中目标用户对应的多个第二音频片段，然后获取所述多个第一音频片段和所述多个第二音频片段对应的所述音调变化曲线；获取所述多个第一音频片段对应的所述第一文本和所述多个第二音频片段对应的所述第二文本。也就是说，预先提取第一音频信号和第二音频信号中的目标用户的音频片段，再执行后续步骤，从而提高合成的效率和准确性。
在如图1A所示的语音拾取方法中，在电子设备处于语音拾取模式下，通过所述第一接近光传感器确定所述主麦克风是否被遮挡，若所述主麦克风被遮挡，所述电子设备获取所述主麦克风输入的第一音频信号和副麦克风输入的第二音频信号，对所述第一音频信号和所述第二音频信号进行处理得到目标语音，如此，在主麦克风被遮挡时，通过主麦克风和副麦克风同时采集音频信号，提高语音提取质量，便于提高用户体验。
与图1A的实施例一致，请参照图2，图2是本申请实施例提供的另一种语音拾取方法，如图2所示，该语音拾取方法包括：
S201：在语音拾取模式下，通过第一接近光传感器确定主麦克风是否被遮挡，通过第二接近光传感器确定副麦克风是否被遮挡。
所述通过所述第一接近光传感器确定所述主麦克风是否被遮挡，通过所述第二接近光传感器确定所述副麦克风是否被遮挡包括：通过所述第一接近光传感器获取指定时长内的第一反射红外线强度值，通过所述第二接近光传感器获取所述指定时长内的第二反射红外线强度值；获取所述第一反射红外线强度值对应的第一红外线变化量和所述第二反射红外线强度值对应的第二红外线变化量；若所述第一红外变化量大于接近阈值，确定所述主麦克风被遮挡；若所述第二红外变化量大于所述接近阈值，确定所述副麦克风被遮挡。
在本申请实施例中，对于如何通过第二接近光传感器确定副麦克风是否被遮挡可参照图1A中的描述，在此不再赘述。
可以理解，接近光传感器利用红外线的反射性质测量反射红外线强度得到对应的反射红外线强度值，并将指定时长内的反射红外线强度值的变化量作为红外线变化量，可提高确定第一红外线变化量和第二红外线变化量的准确性。
可选的，所述电子设备还包括三轴加速度传感器，所述方法还包括：通过所述三轴加速度传感器确定所述电子设备的握持姿态；确定所述电子设备的前台应用；根据所述握持姿态和所述前台应用确定所述接近阈值。
可以理解，确定电子设备的前台应用，并通过三轴加速度传感器确定电子设备的握持姿态，根据握持姿态和前台应用确定接近阈值，可提高确定接近阈值的准确性，便于提高确定第一红外线变化量的准确性。
S202：若所述主麦克风或所述副麦克风被遮挡，获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号。
当主麦克风被遮挡时，难以采集完整的音频数据，当副麦克风被遮挡时，难以对环境中的噪声进行过滤，从而降低了语音提取质量。在本申请实施例中，若确定主麦克风或副麦克风被遮挡时，可通过主麦克风和副麦克风同时采集音频信号，从而提高语音提取质量。
可选的，所述获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号包括：根据所述握持姿态和所述第一红外变化量确定所述主麦克风的第一工作参数；根据所述握持姿态和所述第二红外变化量确定所述副麦克风的第二工作参数；获取所述主麦克风按照所述第一工作参数采集的所述第一音频信号和所述副麦克风按照所述第二工作参数采集的所述第二音频信号。
可以理解，握持姿态和红外变化量均与麦克风的遮挡程度相关，通过握持姿态和第一红外变化量确定主麦克风的第一工作参数，通过握持姿态和第二红外变化量确定副麦克风的第二工作参数，然后，分别按照对应的工作参数采集音频信号，从而得到第一音频信号和第二音频信号，提高了提取第一音频信号和第二音频信号的质量和准确性。
可选的，所述根据所述握持姿态和所述第一红外变化量确定所述主麦克风的第一工作参数包括：根据所述握持姿态和所述第一红外变化量确定第一遮挡程度；根据所述第一遮挡程度确定所述第一工作参数。
也就是说，根据握持姿态和第一红外变化量确定第一遮挡程度，然后由第一遮挡程度确定第一工作参数，可提高拾取操作的准确性，节省电子设备的功耗，从而提高拾取音频质量。第二工作参数的方法也可参照此方法，即根据所述握持姿态和所述第二红外变化量确定第二遮挡程度；根据所述第二遮挡程度确定所述第二工作参数，在此不再赘述。
S203：对所述第一音频信号和所述第二音频信号进行处理得到目标语音。
可选的，所述对所述第一音频信号和所述第二音频信号进行处理，得到目标语音包括：获取所述第一音频信号和所述第二音频信号对应的音调变化曲线；获取所述第一音频信号对应的第一文本和第一音频信号对应的第二文本；按照时间顺序对所述第一文本和所述第二文本进行去重复操作得到目标文本；按照所述音调变化曲线对所述目标文本进行合成，得到所述目标语音。
可以理解，获取第一音频信号和第二音频信对应的音调变化曲线，再对第一音频信号和第二音频信号进行文字识别得到第一音频信号对应的第一文本和第二音频信号对应的第二文本，从而按照音调变化曲线对目标文本进行合成得到目标语音，可提高目标语音的还原度和语音质量。
在如图2所示的语音拾取方法中，在电子设备处于语音拾取模式下，通过所述第一接近光传感器确定所述主麦克风是否被遮挡，通过所述第二接近光传感器确定所述副麦克风是否被遮挡，若所述主麦克风或所述副麦克风被遮挡，所述电子设备获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号，对所述第一音频信号和所述第二音频信号进行处理得到目标语音，如此，在主麦克风或副麦克风被遮挡时，通过主麦克风和副麦克风同时采集音频信号，提高语音提取质量，便于提高用户体验。
与图1A和图2的实施例一致，请参照图3，图3是本申请提供的一种语音拾取装置的结构示意图，所述装置应用于电子设备，所述电子设备包括主麦克风、副麦克风、与所述主麦克风接近的第一接近光传感器和与所述副麦克风接近的第二接近光传感器。如图3所示，上述语音拾取装置300包括：
确定单元301用于在语音拾取模式下，通过所述第一接近光传感器确定所述主麦克风是否被遮挡，通过所述第二接近光传感器确定所述副麦克风是否被遮挡；
获取单元302用于若所述主麦克风或所述副麦克风被遮挡，获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号；
处理单元303用于对所述第一音频信号和所述第二音频信号进行处理得到目标语音。
可以理解，在电子设备处于语音拾取模式下，确定单元301通过第一接近光传感器确定主麦克风是否被遮挡，并通过第二接近光传感器确定副麦克风是否被遮挡，若所述主麦克风或所述副麦克风被遮挡，获取单元302获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号，处理单元303对所述第一音频信号和所述第二音频信号进行处理得到目标语音，如此，在主麦克风或副麦克风被遮挡时，通过主麦克风和副麦克风同时采集音频信号，提高语音提取质量，便于提高用户体验。
在一个可能的示例中，所述获取单元302还用于通过所述第一接近光传感器获取指定时长内的第一反射红外线强度值，通过所述第二接近光传感器获取所述指定时长内的第二反射红外线强度值；获取所述第一反射红外线强度值对应的第一红外线变化量和所述第二反射红外线强度值对应的第二红外线变化量；
所述确定单元301具体用于若所述第一红外变化量大于接近阈值，确定所述主麦克风被遮挡；若所述第二红外变化量大于所述接近阈值，确定所述副麦克风被遮挡。
在一个可能的示例中，所述电子设备还包括三轴加速度传感器，所述确定单元301还用于通过所述三轴加速度传感器确定所述电子设备的握持姿态；确定所述电子设备的前台应用；根据所述握持姿态和所述前台应用确定所述接近阈值。
在一个可能的示例中，所述确定单元301还用于根据所述握持姿态和所述第一红外变化量确定所述主麦克风的第一工作参数；根据所述握持姿态和所述第二红外变化量确定所述副麦克风的第二工作参数；
所述获取单元302具体用于获取所述主麦克风按照所述第一工作参数采集的所述第一音频信号和所述副麦克风按照所述第二工作参数采集的所述第二音频信号。
在一个可能的示例中，所述获取单元302还用于确定所述第一音频信号和所述第二音频信号对应的音调变化曲线；获取所述第一音频信号对应的第一文本和第一音频信号对应的第二文本；
所述处理单元303具体用于按照时间顺序对所述第一文本和所述第二文本进行去重复操作得到目标文本；按照所述音调变化曲线对所述目标文本进行合成得到所述目标语音。
与图1A和图2的实施例一致，请参照图4，图4是本申请实施例提供的一种电子设备的结构示意图。如图4所示，该电子设备400包括处理器410、存储器420、通信接口430以及一个或多个程序440，其中，通信接口430包括主麦克风、副麦克风、第一接近光传感器和第二接近光传感器，上述一个或多个程序440被存储在上述存储器420中，并且被配置由上述处理器410执行，上述程序440包括用于执行以下步骤的指令：
在语音拾取模式下，通过所述第一接近光传感器确定所述主麦克风是否被遮挡，通过所述第二接近光传感器确定所述副麦克风是否被遮挡；
若所述主麦克风或所述副麦克风被遮挡，获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号；
对所述第一音频信号和所述第二音频信号进行处理得到目标语音。
可以理解，在电子设备400处于语音拾取模式下，通过第一接近光传感器确定主麦克风是否被遮挡，通过第二接近光传感器确定副麦克风是否被遮挡，若所述主麦克风或所述副麦克风被遮挡，所述电子设备获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号，对所述第一音频信号和所述第二音频信号进行处理得到目标语音，如此，在主麦克风或副麦克风被遮挡时，通过主麦克风和副麦克风同时采集音频信号，提高语音提取质量，便于提高用户体验。
在一个可能的示例中，在所述通过所述第一接近光传感器确定所述主麦克风是否被遮挡，通过所述第二接近光传感器确定所述副麦克风是否被遮挡方面，所述程序440中的指令具体用于执行以下操作：
通过所述第一接近光传感器获取指定时长内的第一反射红外线强度值，通过所述第二接近光传感器获取所述指定时长内的第二反射红外线强度值；
获取所述第一反射红外线强度值对应的第一红外线变化量和所述第二反射红外线强度值对应的第二红外线变化量；
若所述第一红外变化量大于接近阈值，确定所述主麦克风被遮挡；
若所述第二红外变化量大于所述接近阈值，确定所述副麦克风被遮挡。
在一个可能的示例中，所述通信接口430还包括三轴加速度传感器，所述程序440中的指令还用于执行以下操作：
通过所述三轴加速度传感器确定所述电子设备400的握持姿态；
确定所述电子设备的前台应用；
根据所述握持姿态和所述前台应用确定所述接近阈值。
在一个可能的示例中，在所述获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号方面，所述程序440中的指令具体用于执行以下操作：
根据所述握持姿态和所述第一红外变化量确定所述主麦克风的第一工作参数；
根据所述握持姿态和所述第二红外变化量确定所述副麦克风的第二工作参数；
获取所述主麦克风按照所述第一工作参数采集的所述第一音频信号和所述副麦克风按照所述第二工作参数采集的所述第二音频信号。
在一个可能的示例中，在所述对所述第一音频信号和所述第二音频信号进行处理得到目标语音方面，所述程序440中的指令还用于执行以下操作：
获取所述第一音频信号和所述第二音频信号对应的音调变化曲线；
获取所述第一音频信号对应的第一文本和第一音频信号对应的第二文本；
按照时间顺序对所述第一文本和所述第二文本进行去重复操作得到目标文本；
按照所述音调变化曲线对所述目标文本进行合成得到所述目标语音。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于存储计算机程序，该计算机程序使得计算机执行如方法实施例中记载的任一方法的部分或全部步骤，计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，计算机程序可操作来使计算机执行如方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模式并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模式的形式实现。
集成的单元如果以软件程序模式的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(read-only memory，ROM)、随机存取存储器(randomaccess memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、ROM、RAM、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种语音拾取方法，其特征在于，应用于电子设备，所述电子设备包括主麦克风、副麦克风、与所述主麦克风接近的第一接近光传感器和与所述副麦克风接近的第二接近光传感器，所述方法包括：
在语音拾取模式下，通过所述第一接近光传感器确定所述主麦克风是否被遮挡，通过所述第二接近光传感器确定所述副麦克风是否被遮挡；其中，所述第一接近光传感器和所述第二接近光传感器采用无孔光感的结构，分别获取指定时长内的第一反射红外线强度值和第二反射红外线强度值，以分别确定所述主麦克风和所述副麦克风是否被遮挡；
若所述主麦克风或所述副麦克风被遮挡，获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号；
对所述第一音频信号和所述第二音频信号进行处理，得到目标语音，包括：获取所述第一音频信号和所述第二音频信号对应的音调变化曲线；获取所述第一音频信号对应的第一文本和第二音频信号对应的第二文本；按照时间顺序对所述第一文本和所述第二文本进行去重复操作，得到目标文本；按照所述音调变化曲线对所述目标文本进行合成，得到所述目标语音。
2.根据权利要求1所述的方法，其特征在于，所述通过所述第一接近光传感器确定所述主麦克风是否被遮挡，通过所述第二接近光传感器确定所述副麦克风是否被遮挡，包括：
获取所述第一反射红外线强度值对应的第一红外线变化量和所述第二反射红外线强度值对应的第二红外线变化量；
若所述第一红外变化量大于接近阈值，确定所述主麦克风被遮挡；
若所述第二红外变化量大于所述接近阈值，确定所述副麦克风被遮挡。
3.根据权利要求2所述的方法，其特征在于，所述电子设备还包括三轴加速度传感器，所述方法还包括：
通过所述三轴加速度传感器确定所述电子设备的握持姿态；
确定所述电子设备的前台应用；
根据所述握持姿态和所述前台应用确定所述接近阈值。
4.根据权利要求3所述的方法，其特征在于，所述获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号，包括：
根据所述握持姿态和所述第一红外变化量确定所述主麦克风的第一工作参数；
根据所述握持姿态和所述第二红外变化量确定所述副麦克风的第二工作参数；
获取所述主麦克风按照所述第一工作参数采集的所述第一音频信号和所述副麦克风按照所述第二工作参数采集的所述第二音频信号。
5.一种语音拾取装置，其特征在于，应用于电子设备，所述电子设备包括主麦克风、副麦克风、与所述主麦克风接近的第一接近光传感器和与所述副麦克风接近的第二接近光传感器，所述装置包括：
确定单元，用于在语音拾取模式下，通过所述第一接近光传感器确定所述主麦克风是否被遮挡，通过所述第二接近光传感器确定所述副麦克风是否被遮挡；其中，所述第一接近光传感器和所述第二接近光传感器采用无孔光感的结构；
获取单元，用于分别获取指定时长内的第一反射红外线强度值和第二反射红外线强度值，以分别确定所述主麦克风和所述副麦克风是否被遮挡；若所述主麦克风或所述副麦克风被遮挡，获取所述主麦克风输入的第一音频信号和所述副麦克风输入的第二音频信号；
处理单元，用于对所述第一音频信号和所述第二音频信号进行处理，得到目标语音；
所述获取单元，还用于确定所述第一音频信号和所述第二音频信号对应的音调变化曲线；获取所述第一音频信号对应的第一文本和第二音频信号对应的第二文本；
所述处理单元，具体用于按照时间顺序对所述第一文本和所述第二文本进行去重复操作，得到目标文本；按照所述音调变化曲线对所述目标文本进行合成，得到所述目标语音。
6.根据权利要求5所述的装置，其特征在于，所述获取单元，还用于获取所述第一反射红外线强度值对应的第一红外线变化量和所述第二反射红外线强度值对应的第二红外线变化量；
所述确定单元，具体用于若所述第一红外变化量大于接近阈值，确定所述主麦克风被遮挡；若所述第二红外变化量大于所述接近阈值，确定所述副麦克风被遮挡。
7.根据权利要求6所述的装置，其特征在于，所述电子设备还包括三轴加速度传感器，所述确定单元，还用于通过所述三轴加速度传感器确定所述电子设备的握持姿态；确定所述电子设备的前台应用；根据所述握持姿态和所述前台应用确定所述接近阈值。
8.根据权利要求7所述的装置，其特征在于，所述确定单元，还用于根据所述握持姿态和所述第一红外变化量确定所述主麦克风的第一工作参数；根据所述握持姿态和所述第二红外变化量确定所述副麦克风的第二工作参数；
所述获取单元，具体用于获取所述主麦克风按照所述第一工作参数采集的所述第一音频信号和所述副麦克风按照所述第二工作参数采集的所述第二音频信号。
9.一种电子设备，其特征在于，包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述一个或多个 程序包括用于执行权利要求1-4任一项方法中的步骤的指令。
10.一种计算机可读存储介质，其特征在于，其用于存储计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-4任一项所述的方法。
CN201810817135.5A 2018-07-24 2018-07-24 语音拾取方法及相关产品 Active CN108965600B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810817135.5A CN108965600B (zh) 2018-07-24 2018-07-24 语音拾取方法及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810817135.5A CN108965600B (zh) 2018-07-24 2018-07-24 语音拾取方法及相关产品

Publications (2)

Publication Number Publication Date
CN108965600A CN108965600A (zh) 2018-12-07
CN108965600B true CN108965600B (zh) 2021-05-04

Family

ID=64463486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810817135.5A Active CN108965600B (zh) 2018-07-24 2018-07-24 语音拾取方法及相关产品

Country Status (1)

Country Link
CN (1) CN108965600B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112104783B (zh) * 2020-09-15 2022-06-03 努比亚技术有限公司 一种麦克风控制方法、设备及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1906958A (zh) * 2003-12-23 2007-01-31 基鲁萨有限公司 用于话音与无线文本短消息业务相结合的技术
CN104272854A (zh) * 2012-03-16 2015-01-07 高通股份有限公司 用于提供通知的系统和方法
CN105049591A (zh) * 2015-05-26 2015-11-11 腾讯科技（深圳）有限公司 处理来电的方法和装置
CN105210355A (zh) * 2013-05-02 2015-12-30 萨罗尼科斯贸易与服务一人有限公司 用于在电话呼叫的接收者判断不适合说话时应答电话呼叫的设备和相关方法
CN105427855A (zh) * 2015-11-09 2016-03-23 上海语知义信息技术有限公司 一种智能软件的语音播报系统及语音播报方法
CN106550146A (zh) * 2016-10-28 2017-03-29 努比亚技术有限公司 一种聊天信息发送装置和方法
CN107800860A (zh) * 2016-09-07 2018-03-13 中兴通讯股份有限公司 语音处理方法、装置及终端设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102265252B (zh) * 2011-06-24 2013-04-24 华为终端有限公司 一种调整红外接近传感器的感知阈值的方法和装置
US9691115B2 (en) * 2012-06-21 2017-06-27 Cellepathy Inc. Context determination using access points in transportation and other scenarios
WO2014101156A1 (en) * 2012-12-31 2014-07-03 Spreadtrum Communications (Shanghai) Co., Ltd. Adaptive audio capturing
CN103197357A (zh) * 2013-02-26 2013-07-10 深圳市中兴移动通信有限公司 红外接近传感器自校准的方法及装置
US20170243582A1 (en) * 2016-02-19 2017-08-24 Microsoft Technology Licensing, Llc Hearing assistance with automated speech transcription
CN106210290B (zh) * 2016-06-30 2019-05-17 Oppo广东移动通信有限公司 一种语音通信方法及移动终端
CN107547704A (zh) * 2017-09-28 2018-01-05 奇酷互联网络科技（深圳）有限公司 通话mic的切换方法、装置和移动终端
CN107864295A (zh) * 2017-12-19 2018-03-30 广东欧珀移动通信有限公司 通话控制方法、移动终端及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1906958A (zh) * 2003-12-23 2007-01-31 基鲁萨有限公司 用于话音与无线文本短消息业务相结合的技术
CN104272854A (zh) * 2012-03-16 2015-01-07 高通股份有限公司 用于提供通知的系统和方法
CN105210355A (zh) * 2013-05-02 2015-12-30 萨罗尼科斯贸易与服务一人有限公司 用于在电话呼叫的接收者判断不适合说话时应答电话呼叫的设备和相关方法
CN105049591A (zh) * 2015-05-26 2015-11-11 腾讯科技（深圳）有限公司 处理来电的方法和装置
CN105427855A (zh) * 2015-11-09 2016-03-23 上海语知义信息技术有限公司 一种智能软件的语音播报系统及语音播报方法
CN107800860A (zh) * 2016-09-07 2018-03-13 中兴通讯股份有限公司 语音处理方法、装置及终端设备
CN106550146A (zh) * 2016-10-28 2017-03-29 努比亚技术有限公司 一种聊天信息发送装置和方法

Also Published As

Publication number Publication date
CN108965600A (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
CN109905754B (zh) 虚拟礼物收取方法、装置及存储设备
EP3654335A1 (en) Method and apparatus for displaying pitch information in live broadcast room, and storage medium
CN110650379B (zh) 视频摘要生成方法、装置、电子设备及存储介质
CN109167893B (zh) 拍摄图像的处理方法、装置、存储介质及移动终端
CN110572716B (zh) 多媒体数据播放方法、装置及存储介质
CN108307106B (zh) 一种图像处理方法、装置及移动终端
CN108012026B (zh) 一种保护视力方法及移动终端
EP2806618A1 (en) Apparatus for recording conversation and method thereof
CN113038165B (zh) 确定编码参数组的方法、设备及存储介质
CN112581358A (zh) 图像处理模型的训练方法、图像处理方法及装置
CN111416996B (zh) 多媒体文件检测方法、播放方法、装置、设备及存储介质
CN110765182B (zh) 数据统计方法、装置、电子设备及存储介质
CN107330867B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
CN112233689A (zh) 音频降噪方法、装置、设备及介质
EP2888716B1 (en) Target object angle determination using multiple cameras
CN115497082A (zh) 判断视频中字幕的方法、设备和存储介质
CN111586279B (zh) 确定拍摄状态的方法、装置、设备及存储介质
CN108965600B (zh) 语音拾取方法及相关产品
CN109302563B (zh) 防抖处理方法、装置、存储介质及移动终端
CN109005272B (zh) 语音拾取方法及相关产品
CN110837557B (zh) 摘要生成方法、装置、设备及介质
CN112133319A (zh) 音频生成的方法、装置、设备及存储介质
CN108259756B (zh) 一种图像拍摄方法及移动终端
CN110941592A (zh) 数据管理方法及移动终端
CN113301444B (zh) 视频处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant