CN108449498B - 语音通话数据处理方法、装置、存储介质及移动终端 - Google Patents

语音通话数据处理方法、装置、存储介质及移动终端 Download PDF

Info

Publication number
CN108449498B
CN108449498B CN201810201119.3A CN201810201119A CN108449498B CN 108449498 B CN108449498 B CN 108449498B CN 201810201119 A CN201810201119 A CN 201810201119A CN 108449498 B CN108449498 B CN 108449498B
Authority
CN
China
Prior art keywords
voice
preset
data
mobile terminal
voice call
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810201119.3A
Other languages
English (en)
Other versions
CN108449498A (zh
Inventor
李智豪
郑志勇
柳明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810201119.3A priority Critical patent/CN108449498B/zh
Publication of CN108449498A publication Critical patent/CN108449498A/zh
Application granted granted Critical
Publication of CN108449498B publication Critical patent/CN108449498B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272Voice signal separating
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72484User interfaces specially adapted for cordless or mobile telephones wherein functions are triggered by incoming communication events
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L2021/02087Noise filtering the noise being separate speech, e.g. cocktail party

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • Telephone Function (AREA)

Abstract

本申请实施例公开了语音通话数据处理方法、装置、存储介质及移动终端。该方法包括:预设应用程序中的语音通话组建立成功后,检测到防啸叫处理事件被触发;获取移动终端中的预设时间长度的下行语音通话数据;对所述下行语音通话数据进行通话语音和背景音分离操作;当确定所述通话语音中包含人声时,对所述下行语音通话数据进行防啸叫处理。本申请通过采用上述技术方案,可以在移动终端应用程序中的语音通话功能开启后,及时准确地对下行语音通话数据进行防啸叫处理,减少啸叫音给用户使用带来的不便。

Description

语音通话数据处理方法、装置、存储介质及移动终端
技术领域
本申请实施例涉及语音通话技术领域,尤其涉及语音通话数据处理方法、 装置、存储介质及移动终端。
背景技术
目前,随着移动终端的快速普及,手机及平板电脑等移动终端已经成为人 们必备的通信工具之一。移动终端用户之间的通信方式越来越丰富,早已不局 限于移动通信运营商提供的传统的电话及短信息等服务,在许多场景下,用户 更倾向于使用基于互联网的通信方式,如各种社交软件中的语音聊天及视频聊 天功能等。
此外,移动终端中的应用程序(Application,APP)功能日益完善,许多应 用程序中都设置了语音通话功能,方便使用同款应用程序的用户之间的沟通和 交流。以游戏应用为例,一些需要玩家之间进行互动的游戏已经添加了内置的 语音通话功能,用户可以在使用移动终端玩游戏的过程中,与其他玩家进行语 音交流。然而,在语音通话过程中,语音通话数据中包含的声音种类较多,如 包含各玩家说话的声音、应用程序本身的声音(如游戏的背景音或特效音等) 以及移动终端所处环境中的其他声音等,由于声音比较复杂,很容易发生啸叫 现象,严重影响用户的使用。
发明内容
本申请实施例提供一种语音通话数据处理方法、装置、存储介质及移动终 端,可以在移动终端网络游戏应用程序中的语音通话功能开启后,选择合适的 时机进行防啸叫处理。
第一方面,本申请实施例提供了一种语音通话数据处理方法,包括:
预设应用程序中的语音通话组建立成功后,检测到防啸叫处理事件被触发;
获取移动终端中的预设时间长度的下行语音通话数据;
对所述下行语音通话数据进行通话语音和背景音分离操作;
当确定所述通话语音中包含人声时,对所述下行语音通话数据进行防啸叫 处理。
第二方面,本申请实施例提供了一种语音通话数据处理装置,包括:
触发检测模块,用于预设应用程序中的语音通话组建立成功后,检测到防 啸叫处理事件被触发;
下行语音数据获取模块,用于获取移动终端中的预设时间长度的下行语音 通话数据;
语音数据分离模块,用于对所述下行语音通话数据进行通话语音和背景音 分离操作;
防啸叫处理模块,用于当确定所述通话语音中包含人声时,对所述下行语 音通话数据进行防啸叫处理。
第三方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计 算机程序,该程序被处理器执行时实现如本申请实施例所述的语音通话数据处 理方法。
第四方面,本申请实施例提供了一种移动终端,包括存储器,处理器及存 储在存储器上并可在处理器运行的计算机程序,所述处理器执行所述计算机程 序时实现如本申请实施例所述的语音通话数据处理方法。
本申请实施例中提供的语音通话数据处理方案,在移动终端的预设应用程 序中的语音通话组建立成功后,检测到防啸叫处理事件被触发时,获取移动终 端中的预设时间长度的下行语音通话数据,并对下行语音通话数据进行通话语 音和背景音分离操作,当确定通话语音中包含人声时,对下行语音通话数据进 行防啸叫处理。通过采用上述技术方案,可以在移动终端中的预设应用程序的 语音通话组建立成功后,检测到下行语音通话数据中的通话语音部分包含人声 时,及时准确地对下行语音通话数据进行防啸叫处理,减少啸叫音给用户使用 带来的不便。
附图说明
图1为本申请实施例提供的一种语音通话数据处理方法的流程示意图;
图2为本申请实施例提供的另一种语音通话数据处理方法的流程示意图;
图3为本申请实施例提供的一种语音通话数据处理装置的结构框图;
图4为本申请实施例提供的一种移动终端的结构示意图;
图5为本申请实施例提供的又一种移动终端的结构示意图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本申请的技术方案。可以 理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限 定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部 分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被 描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理, 但是其中的许多步骤可以被并行地、并发地或者同时实施。此外,各步骤的顺 序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未 包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、 子程序等等。
图1为本申请实施例提供的一种语音通话数据检测方法的流程示意图,该 方法可以由语音通话数据检测装置执行,其中该装置可由软件和/或硬件实现, 一般可集成在移动终端中。如图1所示,该方法包括:
步骤101、预设应用程序中的语音通话组建立成功后,检测到防啸叫处理事 件被触发。
示例性的,本申请实施例中的移动终端可包括手机及平板电脑等移动设备。 预设应用程序可以是内置语音群组通话功能的应用程序,如网络游戏应用、在 线课堂应用、视频会议应用或者需要多人协作的其他应用程序等等。
示例性的,语音通话组中可以包含2个成员,但多数情况下,一般包含3 个或3个以上的成员,即可实现3个或3个以上的移动终端之间的语音通话。 语音通话组可以由在移动终端上使用预设应用程序的用户发起而建立,在语音 通话组建立成功后,语音通话组中包含的所有移动终端之间可进行通信。一般 的,当移动终端未处于静音模式,也未处于耳机模式时,可理解为移动终端处 于外放模式,语音通话组中每个用户的声音会被自己正在使用的移动终端的麦 克风采集,并经过网络传输及处理后通过其他用户的移动终端的扬声器进行播 放。以游戏应用为例,如需要组队协战,可开启组队语音功能,假设队内有5 个玩家,那么语音通话组建立成功后,这5个人相互之间可以进行通话,任意 一个玩家可以同时听到另外4个玩家说的话,仿佛另外4个玩家在自己身边讲 话一样,方便边交流边游戏。
一般的,当移动终端处于外放模式时,移动终端麦克风采集到的声音中不 仅包含用户自身说话的声音,还可能包含扬声器播放的预设应用程序本身发出 的声音,如背景音乐等,还可能包含周围环境的声音,还可能包含扬声器播放 的语音通话组内其他人说话的声音,这样,当多个移动终端将各自采集的包含 各种声音的数据经过网络发送至同一个移动终端时(例如语音通话组内包含5 个移动终端,那么其中4个移动终端就会把各自采集的声音发送至服务器,服 务器将4个移动终端的声音数据发送给第5个移动终端),这些声音由会在该移 动终端中混合起来播放,可能会产生啸叫现象。
本申请实施例中,为了在合适的时机进行防啸叫处理,可以预先设置防啸 叫处理事件被触发的条件。可选的,为了及时有效地进行防啸叫处理操作,可 在预设网络游戏应用程序中的语音通话组建立成功后,立即触发防啸叫处理事 件;可选的,为了更有针对性的进行防啸叫,同时节省防啸叫处理操作所带来 的额外功耗,可对容易发生啸叫的场景进行理论分析或调研等,设置合理的预 设场景,在检测到移动终端处于预设场景时,触发防啸叫处理事件。
步骤102、获取移动终端中的预设时间长度的下行语音通话数据。
示例性的,下行语音通话数据可以是预设应用程序对应的服务器在接收到 语音通话组内其他移动终端的声音数据后,经过混音等处理发送给移动终端的 数据,或者直接转发给移动终端的数据,本申请对服务器处理语音通话数据的 处理方式不做限定。在相关现有技术中,移动终端从服务器接收到下行语音通 话数据后,通过扬声器进行播放,而不会进行啸叫检测,当然也不会对下行语 音通话数据进行防啸叫处理。本申请中,在检测到防啸叫处理事件被触发后, 不会直接播放下行语音通话数据,而是对下行语音通话数据进行分析,以判断 是否需要对下行语音数据进行防啸叫处理。
本申请实施例中,预设时间长度可根据移动终端的具体配置、数据处理能 力以及语音通话对时效性的需求等因素来确定,本申请实施例不做限定。例如, 可以为1至2秒之间的任意时长。
步骤103、对所述下行语音通话数据进行通话语音和背景音分离操作。
在本申请实施例中,下行语音通话数据中包括通话语音和背景音,其中, 通话语音可以理解为当前移动终端接收的语音通话组内其他移动终端发送的声 音数据。通话语音不仅可以包括语音通话组内其他移动终端所处位置的环境音, 还可以包括其他移动终端对应用户说话的声音。背景音可以理解为预设应用程 序运行过程中发出的声音,以网络游戏应用为例,背景音可包括用户在进行网 络游戏时,网络游戏应用程序本身播放的与游戏内容相匹配的背景音乐。背景 音可以提高用户进行网络游戏时的体验感,同时,背景音也可以反映用户进行 网络游戏时作战的激烈程度。通常,背景音的强度值(音量大小)会随着网络 游戏对战的激烈程度强度值而做适应性改变,游戏对战越激烈,背景音的强度 值越大。
在多人语音的应用场景下,发明人发现,当语音通话组内其他移动终端对 应的用户处于说话状态,及下行语音通话数据中的通话语音中包含用户说话的 声音,也即人声时,背景音不仅容易使下行语音通话数据产生啸叫音,而且会 对当前移动终端对应的用户清楚听到下行语音通话数据中其他移动终端对应的 用户说话的声音,产生较大的影响。因此,本申请实施例中,需要进一步对下 行语音通话数据中的通话语音和背景音进行分离操作,以进一步判断通话语音 中是否包含人声,从而确定是否需要对下行语音通话数据进行防啸叫处理。
可选的,所述对所述下行语音通话数据进行通话语音和背景音分离操作, 包括:获取所述下行语音通话数据对应的采样特征,其中,所述采样特征包括 采样率、声道数及声音通道中的至少一个;根据所述采样特征对所述下行语音 通话数据进行通话语音和背景音分离操作。这样设置的好处在于,可以快速对 下行语音通话数据中的通话语音和背景音进行分离。其中,采样率表示每秒从 连续信号中提取并组成离散信号的采样个数。一般人耳能感觉到的最高频率为 20kHz,因此要满足人耳的听觉要求,则需要至少每秒进行40k次采样,用40kHz 表达,40kHz表示采样率,而背景音的采样率一般都比较高。声道数是声音录制 时的音源数量或者回放时相应的扬声器数量,而通话语音和背景音的声道数也 不同。另外,播放背景音和通话语音的声音通道也不同。因此,可以根据采样 率、声道数及声音通道中的至少一个对下行语音通话数据中的通话语音和背景 音进行分离操作。
步骤104、当确定所述通话语音中包含人声时,对所述下行语音通话数据进 行防啸叫处理。
可以理解的是,当语音通话组中其他移动终端对应的用户未处于说话状态 时,通话语音中仅包含一些语音通话组中其他移动终端所述环境的环境音,通 常环境音较小,对应的下行语音通话数据中的通话语音的幅值较小。而当语音 通话组中其他移动终端对应的用户处于说话状态时,由于通常用户与移动终端 的位置是固定的,且用户与移动终端间的距离也较近,对应的下行语音通话数 据中的通话语音的幅值较大。因此,可以对通话语音的幅值进行分析,当通话 语音的幅值较高时,可以确定通话语音中包含人声。或者,当通话语音的幅值 对应的特征值满足预设条件时,可以确定通话语音中包含人声。
需要说明的是,本申请实施例对通话语音中是否包含人声的判断方法不做 具体限定。
在本申请实施例中,当确定通话语音通话中包含人声,即语音通话组中其 他移动终端对应的用户处于说话状态时,对下行语音通话数据进行防啸叫处理。 对于防啸叫处理的具体方式本申请实施例不做限定,下文中将给出具体的实现 方式作为示意性说明。
本申请实施例中提供的语音通话数据处理方法,在移动终端的预设应用程 序中的语音通话组建立成功后,检测到防啸叫处理事件被触发时,获取移动终 端中的预设时间长度的下行语音通话数据,并对下行语音通话数据进行通话语 音和背景音分离操作,当确定通话语音中包含人声时,对下行语音通话数据进 行防啸叫处理。通过采用上述技术方案,可以在移动终端中的预设应用程序的 语音通话组建立成功后,检测到下行语音通话数据中的通话语音部分包含人声 时,及时准确地对下行语音通话数据进行防啸叫处理,减少啸叫音给用户使用 带来的不便。
在一些实施例中,通过以下方式确定所述通话语音中是否包含人声:获取 所述通话语音的幅值的特征值;将所述特征值与预设特征阈值进行比较,根据 比较结果判断所述通话语音中是否包含人声,其中,所述特征值包括滑动平均 值或滑动均方根值。这样设置的好处在于,可以快速、准确地确定出下行语音 通话数据中的通话语音中是否包含人声,也即准确判断出语音通话组中其他移 动终端对应的用户是否处于说话状态。
在本申请实施例中,可以通过通话语音的幅值的滑动平均值或滑动均方根 值来衡量通话语音幅值的大小。示例性的,下行语音通话数据中包含的通话语 音对应的时间长度为1s,按照预设单位长度对通话语音进行分块处理,其中预 设单位时间长度例如可以是40毫秒,那么,通话语音可以分为25个数据块。 对于25个数据块,依次求得每个数据块对应的幅值均值。从通话语音序列中, 也即从25个数据块中,依次获取连续10个数据块(数据段)对应的幅值均值, 并计算10个数据块对应的幅值均值的平均值。可以理解的是,第一个连续10 个数据块组成的第一数据段由原来25个数据块中的第1个数据块值至10个数 据块组成;第二个连续10个数据块组成的第2数据段由原来25个数据块中的 第2个数据块值至11个数据块组成;第三个连续10个数据块组成的第3数据 段由原来25个数据块中的第3个数据块值至12个数据块组成,依次类推,最 后一个连续10个数据块组成的第16个数据段由原来25个数据块中的第16个 数据块值至25个数据块组成。对于这16个数据段,依次计算每个数据段中包 含的各个数据块对应幅值均值的平均值,得到对应的数据段平均值。其中,通 话语音数据的幅值的滑动平均值可以理解为16个数据段平均值的均值,而通话 语音数据的幅值的滑动均方根值可以理解为16个数据段平均值的均方根。
判断通话语音的幅值的特征值(滑动平均值或滑动均方根值)是否大于预 设特征阈值(如30分贝),若是,则可以确定通话语音中包含人声,否则,确 定通话语音中未包含人声。
在一些实施例中,所述预设特征阈值包括第一预设特征阈值和第二预设特 征阈值,其中,所述第一预设特征阈值小于所述第二预设特征阈值;所述将所 述特征值与预设特征阈值进行比较,根据比较结果判断所述通话语音中是否包 含人声,包括:当所述特征值小于所述第一预设特征阈值时,确定所述通话语 音中不包含人声;当所述特征值大于所述第二预设特征阈值时,确定所述通话 语音中包含人声;当所述特征值大于或等于所述第一预设特征阈值,且小于或 等于所述第二预设特征阈值时,比较结果与上一次比较结果相同。这样设置的 好处在于,通过设置一个过渡区域,有效避免当通话语音的幅值在预设特征阈 值附近时,对通话语音中是否包含人声的判断结果的频繁切换。
示例性的,以通话语音的幅值的特征值为滑动平均值为例进行距离说明。 假设第一预设特征阈值为25分贝,第二预设特征阈值为40分贝。当通话语音 的幅值的滑动平均值小于第一预设特征阈值(25分贝)时,确定通话语音中不 包含人声,也即语音通话组中其他移动终端对应的用户未处于说话状态。当通 话语音的幅值的滑动平均值大于第二预设特征阈值(40分贝)时,确定通话语 音中包含人声,也即语音通话组中存在其他移动终端对应的用户处于说话状态。 当通话语音的幅值的滑动平均值大于或等于第一预设特征阈值(25分贝),且小 于或等于第二预设特征阈值(40分贝)时,对通话语音中是否包含人声的判断结果与上一次的判断结果相同。也即对语音通话组中是否存在其他移动终端对 应的用户处于说话状态的判断结果相同。可以理解的是,当通话语音的幅值的 滑动平均值大于或等于第一预设特征阈值(25分贝),且小于或等于第二预设特 征阈值(40分贝)时,若预设时间长度的上一时段的下行语音通话数据中的通 话语音中包含人声,说明当前下行语音通话数据中的通话语音中也包含人声; 若预设时间长度的上一时段的下行语音通话数据中的通话语音中不包含人声, 说明当前下行语音通话数据中的通话语音中也不包含人声。
在一些实施例中,所述当确定所述通话语音中包含人声时,对所述下行语 音通话数据进行防啸叫处理,包括:当确定所述通话语音中包含人声时,对从 所述下行语音通话数据中分离出的背景音进行削弱处理。这样不仅可以有效避 免下行语音通话数据中啸叫音的产生,而且还可以使当前移动终端对应的用户 能够清晰地听到语音通话组中其他用户说话的声音。这里的削弱处理可以包括 降低背景音的能量,或者将背景音滤除,或者对背景音进行静音处理。
在一些实施例中,在所述确定所述通话语音中包含人声之后,还包括:根 据所述特征值对所述通话语音的强度等级进行评估,特征值越高,强度等级越 高;对从所述下行语音通话数据中分离出的背景音进行削弱处理,包括:根据 强度等级评估结果选择相应的抑制策略对从所述下行语音通话数据中分离出的 背景音进行削弱处理,强度等级越高,对应的抑制策略的削弱力度越高。发明 人发现,背景音强度越大,网络游戏对战越激烈,用户情绪越激动,在通过语 音通话组进行沟通交流的过程中,用户的通话语音的强度就会越大,越容易发 生啸叫,而且通常发生啸叫的情况越严重。同时背景音的强度越大,当前移动终端对应的用户越不容易听清楚通话语音中的人声,即语音通话组中其他移动 终端对应的用户说话的声音。所以本申请实施例中可根据通话语音的强度等级, 来选择对应抑制策略,以对下行语音通话数据中的背景音进行不同程度的削弱 处理,可以做到更有针对性的防啸叫处理,提升防啸叫效果。
示例性的,根据通话语音的幅值的特征值确定通话语音的强度等级,特征 值越大,通话语音的强度等级越高,也即语音通话组中其他移动终端对应的用 户说话的声音越大。另外,可以预先为通话语音不同的强度等级设定不同的抑 制策略,例如以抑制策略列表的形式存在,抑制策略中可包括抑制方式以及抑 制强度等信息,在得到通话语音的强度等级评估结果后,根据评估结果中的强 度等级查询预设抑制策略列表,找到当前通话语音的强度等级对应的抑制策略, 再根据所找到的抑制策略对下行语音通话数据中分离出的背景音进行削弱抑制 处理。可以理解的是,抑制策略越复杂,抑制强度越高,通常处理器及相关器 件的工作负担越重,产生的功耗越高,因此,本申请实施例根据通话语音的强 度等级来选择不同的抑制策略,能够使得背景音的削弱处理更加有针对性,同 时使的下行语音通话数据中的防啸叫处理更加有针对性,在节省功耗的同时, 使用户以良好的体验感受听取其他移动终端对应的用户说话的声音,并达到良 好的防啸叫处理效果,保证用户语音通话过程不受啸叫音的影响。其中,对背 景音进行削弱处理时,可以随着时间的推移,逐渐对背景音进行削弱,如逐级 降低背景音的强度大小。
示例性的,在对下行语音通话数据进行防啸叫处理时,可先对下行语音通 话数据进行啸叫检测,在判断出存在啸叫音时,针对啸叫点进行衰减处理,从 而达到防啸叫效果。
在一些实施例中,可采用如下方式判断下行语音通话数据中是否存在啸叫 音:
第一种,对所述下行语音通话数据进行分块处理;对于每个数据块,采用 预设分析方式确定当前数据块中存在的疑似啸叫点;当存在呈现周期性特征的 多个疑似啸叫点群,且疑似啸叫点对应的能量值依照所属数据块的顺序呈上升 趋势时,确定所述下行语音通话数据中存在啸叫音;其中,所述疑似啸叫点群 为连续相邻数据块中的频率差异处于预设范围内的疑似啸叫点,所述连续相邻 数据块的数量达到预设连续阈值。
第二种,对所述下行语音通话数据进行分块处理,得到M个数据块;采用 预设分析方式依次分析当前数据块中是否存在疑似啸叫点,将首次出现疑似啸 叫点的数据块确定为起始数据块;从所述起始数据块开始,依次以n个数据块 为待分析的数据段,采用所述预设分析方式分析出当前数据段中包含的疑似啸 叫点,当N个数据段中包含的疑似啸叫点之间的频率差异处于预设范围内时, 确定所述下行语音通话数据中存在啸叫音;其中,n=2,3,…,N;N小于或等 于M,大于或等于2;每个数据段的起始点均与所述起始数据块的起始点相同, 所述起始数据块为第一个数据段。
当然,本申请实施例中还可采用其他方式来判断下行语音通话数据中是否 存在啸叫音,本申请不做限定。下面以上述两种方式为例进行详细的说明。
对于第一种方式,对下行语音通话数据进行分块处理可以是按照预设单位 长度进行分块处理,预设单位长度例如可以是40毫秒。假设预设时间长度为1.2 秒,预设单位长度为40毫秒,那么可以分为30个数据块。
本申请实施例对预设分析方式不作具体限定。例如,所述预设分析方式可 包括:在频域上获取高频区域中能量值高于预设能量阈值的待判定频点,计算 所述待判定频点周围预设数量的频点的能量差异值,当所述能量差异值大于预 设差异阈值时,确定所述待判定频点为疑似啸叫点;所述高频区域为频率高于 预设频率阈值的频率范围。
具体的,对于当前数据块,可先将其从时域变换到频域,便于进行频谱分 析。变换方式本申请实施例不做限定,可以采用傅里叶变换方式,如离散傅氏 变换的快速算法(Fast Fourier Transformation,FFT)。以40ms为例,40ms的音 频数据(16bit,16k采样率)大小为40*16*16/2=1280字节,适合于使用1024做FFT 变换进行频谱分析,经过FFT处理后的频率分析中的频率范围为0~16K/2,步长 为(16K/2)/1024,步长约为8Hz。
本申请实施例中,可以预设频率阈值作为分界值来划分高频区域和其他区 域。预设频率阈值可根据实际情况进行设置,如可根据人声频率和容易出现啸 叫声的频率特点进行设置,例如可以是1KHz,1.5KHz,或2KHz等等。例如预 设频率阈值为2KHz,即大于2KHz的部分为高频区域。一般啸叫声的频率会出 现在高频区域,且声音较大(即能量值较高),本申请实施例能够根据能量值分 布特点快速确定一个数据块中的疑似啸叫点。
示例性的,获取数据块中每个频率点(简称频点)对应的能量值,然后从 高频区域中找到能量值高于预设能量阈值的待判定频点,计算待判定频点周围 预设数量的频点的能量差异值。预设能量阈值和预设数量可根据实际需求设置, 例如预设能量阈值可以是-10dB,预设数量可以是8个(待判定频点前面4个和 后面4个)。以上文步长约为8Hz为例,假设待判定频点的频率值为3362Hz, 那么其周围预设数量的频点的频率值约为3330Hz、3338Hz、3346Hz、3354Hz、 3370Hz、3378Hz、3386Hz和3394Hz。能量差异值用于衡量待判定频点与周围 预设数量的频点之间相差程度,具体可以是最大能量值和最小能量值的差值,还可以是能量方差值或能量均方差值等等,本申请不做限定。预设差异阈值与 能量差异值相对应,例如,能量差异值为能量方差值时,预设差异阈值为预设 方差阈值。当能量差异值大于预设差异阈值时,说明待判定频点比较突出,非 常有可能是啸叫点,因此,确定待判定频点为疑似啸叫点。这样设置能够快速 准确地识别出疑似啸叫点,为提高啸叫检测效率打下基础。
示例性的,一个数据块中可能存在多个待判定频点,本申请可从对应能量 最高的待判定频点开始进行疑似啸叫点的判定。
此外,所述预设分析方式还可包括:在频域上获取高频区域中能量值最大 的第一频点和低频区域中能量值最大的第二频点,当所述第一频点满足预设疑 似啸叫条件时,确定所述第一频点为当前数据块中的疑似啸叫点,所述预设疑 似啸叫条件包括所述第一频点的能量值大于预设能量阈值,且所述第一频点与 所述第二频点的能量差值大于预设差值阈值。
具体的,对于当前数据块,可先将其从时域变换到频域,便于进行频谱分 析。同样也可以预设划分频率作为分界值来划分高频区域和低频区域。预设划 分频率可根据实际情况进行设置,如可根据人声频率和容易出现啸叫声的频率 特点进行设置,例如可以是1KHz,1.5KHz,或2KHz等等。例如预设划分频率 为2KHz,即大于2KHz的部分为高频区域,小于或等于2KHz的部分为低频区 域。
示例性的,获取数据块中每个频率点对应的能量值,然后从高频区域中找 到能量值最大的第一频点,从低频区域找到能量值最大的第二频点,若第一频 点的能量值大于预设能量阈值(如-30dB),且第一频点的能量值与第二频点的 能量值的差值大于预设差值阈值(如60)时,可认为第一频点为当前数据块中 的疑似啸叫点。这样设置能够快速准确地识别出疑似啸叫点,为提高啸叫检测 效率打下基础。
示例性的,对于每个数据块,分别采用如上预设分析方式判断是否存在疑 似啸叫点,若存在,则记录下疑似啸叫点,并进一步判断当前的下行语音通话 数据中是否包含啸叫音。
可以理解的是,若某个数据块中存在疑似啸叫音,并不能认为整段下行语 音通话音频中包含啸叫音,还可能是由于某些特殊声音被误识别为啸叫音,例 如物体摩擦时产生的刺耳的声音,一般频率较高且声音较大,很可能被识别为 疑似啸叫音,但这种声音一般比较短促,持续时间较短,不属于啸叫音,因此, 需要增加进一步的判定。
本申请实施例中,对各数据块中存在的疑似啸叫音的分布特点进行分析。 当连续多个相邻数据块中存在频率差异较小的疑似啸叫点时,可将这几个疑似 啸叫点成为疑似啸叫点群。即,疑似啸叫点群为连续相邻数据块中的频率差异 处于预设范围内的疑似啸叫点,所述连续相邻数据块的数量达到预设连续阈值。 其中,预设连续阈值可根据实际情况确定,例如3个;频率差异对应的预设范 围也可根据实际情况确定,例如40Hz。发明人发现,啸叫声一般在短时间内表 现出持续性特征,并周期性出现,另外声音逐渐变大。因此,本申请实施例中, 将多个(可理解为大于或等于2个)疑似啸叫点群呈现周期性特征,以及疑似啸叫点对应的能量值依照所属数据块的顺序呈上升趋势作为判定条件,来识别 当前的下行语音通话数据中是否存在啸叫音,若满足上述条件,则确定存在啸 叫音,这样能够快速准确地识别出啸叫音。
示例性的,假设下行语音通话数据被分为30个数据块。例如,若第1、2、 3、7、8、9、13、14、15、19、20、21、25、26和27这15个数据块中都检测 到了频率在(A-40,A+40)区间内的疑似啸叫点,每3个数据块对应的疑似啸 叫点成为一个疑似啸叫点群,5个疑似啸叫点群呈周期性特征,且疑似啸叫点对 应的能量值依次增大,因此,确定下行语音通话数据中包含啸叫音。又如,若 仅第1、2和3这3个数据块中检测到了频率在(B-40,B+40)区间内的疑似啸叫点,这3个数据块对应的疑似啸叫点成为一个疑似啸叫点群,但仅存在这一 个,并未呈现周期性特征,因此,可确定下行语音通话数据中不包含啸叫音。
对于第二种方式,分块处理方式以及预设分析方式可参考第一种方式中的 相关内容,本申请实施例不再赘述。
具体的,采用上述预设分析方式分析第一个数据块中是否存在疑似啸叫点, 若存在,则疑似啸叫点首次出现,将第一个数据块确定为起始数据块;若不存 在,则将当前数据块的下一个数据块作为新的当前数据块,并采用上述预设分 析方式分析新的当前数据块中是否存在疑似啸叫点。依次类推,直到首次出现 疑似啸叫点的数据块确定为起始数据块,若M个数据块中均不存在疑似啸叫点, 则可认为当前的下行语音通话数据中不包含啸叫音。
以上述分块方式为例,M=30,2≤N≤30。在进行频谱分析时,待分析的数据 长度对分析结果会产生影响,因为数据点较少时,精度可能不是太准确,所以, 使用长度大一些的数据再次进行分析,相当于有一个修正的处理,能够更加准 确地确定是否为啸叫。本申请对N的具体取值不做限定,假设N=4,一个数据 块的长度为40ms,那么起始数据块的时间范围可记为0至40ms,由于起始数据 块已经分析完毕,并作为第一数据段,所以从n=2开始,为第二个数据段,第 二个数据段的时间范围可记为0至80ms,依次类推,第三个数据段的时间范围 可记为0至120ms,第三个数据段的时间范围可记为0至160ms。
示例性的,预设范围可以根据实际情况设置,例如可以是40Hz(如上述举 例,可认为相当于5个步长)。假设4个数据段分析出来的疑似啸叫点的频率分 别为A、B、C和D,而A、B、C和D相互之间的差异均在40Hz以内,那么 可确定下行语音通话数据中存在啸叫音。
可选的,若当前数据段中包含的疑似啸叫点与前面的数据段中包含的疑似 啸叫点之间的频率差异未处于所述预设范围内,则从当前数据段的下一个数据 块开始获取所述预设时间长度的下行语音通话数据,并重复执行对下行语音通 话数据进行分块处理的相关操作。这样设置的好处在于,当任意两个数据段中 包含的疑似啸叫点的频率差距较大时,可说明前面的疑似啸叫点可能不是真正 的啸叫点,需要继续检测,而不需要对后面的数据段进行疑似啸叫点检测,节 省功耗,提高啸叫音检测效率及准确度。例如,当C与A或与B之间的差异超 出40Hz时,则从120ms开始,重新获取移动终端中的预设时间长度的下行语音 通话数据,并对所述下行语音通话数据进行分块处理,得到M个数据块,再确 定新的起始数据块,并继续采用上述方式确定下行语音通话数据中是否存在啸 叫音。
在确定所述下行语音通话数据中存在啸叫音之后,还包括:将所述疑似啸 叫点确定为啸叫点;根据所述啸叫点对所述下行语音通话数据进行啸叫抑制处 理。在确定下行语音通话数据中存在啸叫音后,说明之前识别出来的满足啸叫 音判定条件的疑似啸叫点确实为啸叫点,那么需要根据啸叫点对下行语音进行 啸叫抑制处理,防止啸叫音从扬声器或听筒播放出去,影响用户的使用。进一 步的,在进行啸叫抑制处理后,通过扬声器或听筒播放经过啸叫抑制处理后的 下行语音通话数据。
在一些实施例中,所述根据所述啸叫点对所述下行语音通话数据进行啸叫 抑制处理,包括:选取预设数量的对应能量值较高的啸叫点的频率,作为目标 频率,对所述下行语音通话数据中与所述目标频率对应的音频信号进行衰减处 理。预设数量可自由设置,如1个,3个,甚至更多,还可以根据啸叫点的数量 来动态确定。可将啸叫点按照能量值从高到低的顺序进行排序,选取排在前面 预设数量的啸叫点,将选取出来的啸叫点的频率确定为目标频率。能量值越高, 啸叫声的声音越大,对用户的影响程度越高,这样设置的好处在于,能够更有 针对性地对能量值较高的频率进行啸叫抑制,提高啸叫抑制效率,保证语音通 话的时效性。
在一些实施例中,所述根据所述啸叫点对所述下行语音通话数据进行啸叫 抑制处理,也可包括:对所述下行语音通话数据中与所有啸叫点的频率对应的 音频信号进行衰减处理。这样设置的好处在于,能够全面地对所有啸叫点进行 啸叫抑制,阻止啸叫音的播放。
示例性的,可采用陷波滤波器来对需要进行抑制的啸叫点的频率(即目标 频率)所对应的音频信号进行衰减处理。陷波滤波器能够在某一个频率点迅速 衰减输入信号,以达到阻碍该频率信号通过的滤波效果。本申请对陷波滤波器 的类型以及具体参数值不做限定。一般的,将目标频率作为陷波滤波器的中心 频率,陷波滤波器的处理带宽及增益等参数可根据实际需求进行设置。
在一些实施例中,所述检测到防啸叫处理事件被触发,包括:判断所述语 音通话组中是否存在与所述移动终端之间的距离小于预设距离值的目标移动终 端,若存在,则确定检测到防啸叫处理事件被触发。在多人语音的应用场景下, 发明人发现,当存在两个移动终端之间的距离比较近时,极易发生啸叫。假设 语音通话组中的移动终端甲和移动终端乙距离较近,移动终端甲的扬声器会放 大并播放接收到的移动终端乙的麦克风采集的声音,而由于两个移动终端比较 近,这个声音就会被移动终端乙的麦克风再次采集并发送到移动终端甲,该声 音被继续放大并播放,极易形成声音的正反馈放大,从而产生啸叫音。因此, 本申请实施例中,可先判断语音通话中是否存在一个其他移动终端与当前的移 动终端的距离比较近,若存在,则触发防啸叫处理事件,进而检测到防啸叫处 理事件被触发。其中,预设距离值例如可以是20米或10米等,可根据实际需 求进行设置。
本申请实施例中,判断所述语音通话组中是否存在与所述移动终端之间的 距离小于预设距离值的目标移动终端的具体判断方式可以有很多种,并不做限 定,以下给出几种方式作为示意性说明。
1、采用预设方式播放预设声音片段,并接收所述语音通话组中其他移动终 端的反馈信息,所述反馈信息包含所述其他移动终端尝试采集与所述预设声音 片段对应的声音信号的结果;根据所述反馈信息判断所述语音通话组中是否存 在与所述移动终端之间的距离小于预设距离值的目标移动终端。
这样设置的好处在于,能够快速准确地判断出是否存在目标移动终端,进 而快速确定是否需要触发防啸叫处理事件。示例性的,可通过扬声器以预设音 量播放预先录制或预先获取的声音片段;或,通过超声波发射器播放预设频率 及预设强度的超声波片段。可根据预设距离值对上述的预设音量,或预设频率 及预设强度进行设置。反馈信息中包含的结果可以指其他移动终端是否能够采 集到所述声音信号。当其他移动终端能够采集到预设声音片段对应的声音信号 时,说明两个移动终端的距离小于预设距离值。反馈信息可由预设网络游戏应 用程序对应的服务器进行转发。此外,反馈信息中还可包括采集到的声音信号 的属性信息,如声音强度等,由于移动终端播放的声音的强度是已知的,随着 声音的传播会有所衰减,传播距离越远,衰减程度越高,可根据反馈信息中的 声音信号的强度信息等来确定其他移动终端与当前移动终端的距离,并判断该 距离是否小于预设距离值。
2、获取所述移动终端的第一定位信息以及所述语音通话组中其他移动终端 的第二定位信息;根据所述第一定位信息和所述第二定位信息,判断所述语音 通话组中是否存在与所述移动终端之间的距离小于所述预设距离值的目标移动 终端。
这样设置的好处在于,移动终端普遍具备定位功能,能够利用定位信息快 速准确地判断出是否存在目标移动终端,进而快速确定是否需要触发防啸叫处 理事件。示例性的,移动终端可通过全球定位系统(Global Positioning System, GPS)或北斗等定位方式获取定位信息,也可通过基站定位或网络定位等方式获 取定位信息。定位信息可包括经纬度坐标等。语音通话组中的其他移动终端的 第二定位信息可通过预设网络游戏应用程序对应的服务器转发至当前移动终 端。当前移动终端将自身的第一定位信息与服务器转发来的至少一个第二定位 信息逐一进行比对,判断是否存在一个第二定位信息与第一定位信息之间的距 离小于预设距离值。
3、获取所述移动终端连接的第一WiFi信息以及所述语音通话组中其他移 动终端连接的第二WiFi信息;根据所述第一WiFi信息和所述第二WiFi信息, 判断所述语音通话组中是否存在与所述移动终端之间的距离小于所述预设距离 值的目标移动终端。
这样设置的好处在于,用户为了节约流量费用,一般采用连接WiFi热点的 方式进行语音通话,可以利用这一特点快速准确地判断出是否存在目标移动终 端,进而快速确定是否需要触发防啸叫处理事件。示例性的,WiFi信息中可包 括WiFi热点的属性信息,属性信息例如可以是WiFi热点名称或WiFi热点的媒 介访问控制(Media Access Control,MAC)地址等,还可包括WiFi信号强度等。 一般的,WiFi热点的信号有效范围有限,一般在50米左右,若预设距离值大于 WiFi热点的信号有效范围,可根据是否存在一个第二WiFi信息的WiFi热点属 性信息与第一WiFi信息的WiFi热点属性信息相同来确定所述语音通话组中是否存在与移动终端之间的距离小于预设距离值的目标移动终端,若存在任意一 个第二WiFi信息的WiFi热点属性信息与第一WiFi信息的WiFi热点属性信息 相同,则确定语音通话组中存在目标移动终端,也就是说,当语音通话组中有 一个其他移动终端与当前移动终端连接同一个WiFi热点时,可认为该其他移动 终端为目标移动终端。此外,若预设距离值小于WiFi热点的信号有效范围,如 10米,那么可进一步根据WiFi信号强度估算连接同一个WiFi热点的移动终端 分别与WiFi热点的距离,进而确定两个移动终端之间的距离,判断该距离是否 小于预设距离值。
4、获取麦克风采集的第一声音数据,以及获取移动终端中的下行语音通话 数据;其中,所述第一声音数据中不包含所述移动终端的扬声器播放的声音; 根据所述第一声音数据和所述下行语音通话数据中是否包含同一个人的声音, 判断所述语音通话组中是否存在与所述移动终端之间的距离小于所述预设距离 值的目标移动终端。
这样设置的好处在于,可以不借助其他信息(如上述的定位信息或WiFi信 息)快速准确地判断出是否存在目标移动终端,进而快速确定是否需要触发防 啸叫处理事件。示例性的,第一声音数据中不包含所述移动终端的扬声器播放 的声音,可通过以下方式实现:在获取第一声音数据和下行语音通话数据的过 程中移动终端的扬声器处于关闭状态;或者,在获取第一声音数据和下行语音 通话数据的过程中移动终端的扬声器处于开启状态,第一声音数据为在麦克风 采集的所有声音数据中,滤除扬声器播放的声音数据后得到的声音数据。当两 个用户手持移动终端且距离较近时,假设用户甲使用移动终端甲,用户乙使用 移动终端乙,用户甲说话的声音被移动终端甲的麦克风采集并发送至移动终端乙,移动终端乙的下行语音通话数据中会包含用户甲说话的声音,而由于用户 甲和用户乙距离较近,用户甲说话的声音也会被移动终端乙的麦克风采集,因 此,对于移动终端乙来说,其麦克风采集的第一声音数据和获取的下行语音通 话数据中包含同一个人(用户甲)的声音,从而确定语音通话组中存在移动终 端甲与移动终端乙之间的距离小于预设距离值,即对于移动终端乙来说,移动 终端甲为目标移动终端。
可以理解的是,可根据实际情况选取上述的任意一种或多种方式的组合来 判断是否存在目标移动终端,本申请实施例不做限定。此外,判断是否存在目 标移动终端的相关步骤也可由预设网络游戏应用程序对应的服务器完成,当服 务器判断出存在目标移动终端时,将判断结果发送至移动终端,所述判断结果 用于指示移动终端触发防啸叫处理事件。相应的,本申请实施例的方法还包括, 接收所述预设网络游戏应用程序对应的服务器发送的判断结果,当所述判断结 果中包含如下内容时,触发防啸叫处理事件:所述语音通话组中存在与所述移 动终端之间的距离小于预设距离值的目标移动终端。服务器的具体判断过程可 参照上述提供的几种判断方式,本申请实施例不做赘述。
图2为本申请实施例提供的另一种语音通话数据处理方法的流程示意图, 以预设应用程序为网络游戏应用程序为例,该方法包括如下步骤:
步骤201、检测到预设游戏应用中的语音通话组建立成功。
示例性的,以团队对战游戏为例,如王者荣耀,每队有5个玩家,红蓝两 队进行对战,每个队伍的5个玩家之间需要进行沟通交流商量对战策略,因此, 许多玩家会选择开启队内语音通话功能,如一个玩家申请开启队内语音通话功 能后,语音通话组建立成功。此后,同一战队的5个玩家中的任意一个,可听 到其余4个玩家说话的声音。一般的,玩家会将移动终端设置为外放模式,方 便游戏。
步骤202、判断语音通话组中是否存在与移动终端之间的距离小于预设距离 值的目标移动终端,若是,则执行步骤203;否则,重复执行步骤202。
若5个玩家中,有两个玩家的移动终端距离较近,如两个好朋友在家中一 起玩,又同时将移动终端设置为外放模式,这样就非常容易引起啸叫。因此, 本申请实施例中,可先判断语音通话组中是否存在与当前的移动终端距离较近 的其他移动终端,若存在,则需要进行防啸叫处理。
可选的,本申请实施例中可以采用上文的任意一种或多种方式的组合来判 断是否存在目标移动终端,本申请实施例不做限定。
步骤203、获取移动终端中的预设时间长度的下行语音通话数据。
示例性的,下行语音通话数据中包含其他4位队友的移动终端的麦克风采 集到的声音,声音中一般不仅包含4位队友说话的声音,还包括4为队友的移 动终端的扬声器播放的声音以及其他环境声音等。一般由游戏服务器收集其他4 个移动终端上传的上行语音通话数据,并将4个移动终端的上行语音通话数据 发送至当前的移动终端。
步骤204、获取下行语音通话数据对应的采样特征。
其中,采样特征包括采样率、声道数及声音通道中的至少一个。
步骤205、根据采样特征对下行语音通话数据进行通话语音和背景音分离操 作。
步骤206、获取通话语音的幅值的特征值T。
其中,特征值T可以包括滑动平均值和滑动均方根值。
步骤207、判断T与X及Y的大小关系;T<X时,执行步骤208;X≤T≤Y 时,执行步骤209;T>Y时,执行步骤210。
步骤208、确定通话语音中不包含人声,不对从下行语音通话数据中分离出 的背景音进行削弱处理。
步骤209、比较结果与上一次比较结果相同,保持对下行语音通话数据中分 离出的背景音的处理方式不变。
可以理解的是,X≤T≤Y时,若对预设时间长度的上一时段的下行语音通话 数据中的背景音进行削弱处理,则对当前下行语音通话数据中的背景音也做相 应的削弱处理;若不对预设时间长度的上一时段的下行语音通话数据中的背景 音进行削弱处理,则也不对当前下行语音通话数据中的背景音做削弱处理。
步骤210、确定通话语音中包含人声,并根据特征值对通话语音的强度等级 进行评估,特征值越高,强度等级越高。
步骤211、根据强度等级评估结果选择相应的抑制策略对从下行语音通话数 据中分离出的背景音进行削弱处理,强度等级越高,对应的抑制策略的削弱力 度越高。
本申请实施例中在游戏应用中的语音通话组建立成功后,根据下行语音通 话数据对应的采样特征对通话语音与背景音的分离,若根据通话语音的幅值的 特征值检测到下行语音通话数据中的通话语音中包含人声,则根据通话语音的 强度等级对下行语音数据中的背景音进行针对性的削弱抑制处理,能够有效防 止下行语音通话数据中啸叫音的产生,避免啸叫音对游戏过程造成干扰,减少 游戏玩家痛点,并且使用户能够更清楚地听取语音通话组中其他移动终端对应 的用户说话的声音,使移动终端的功能更加完善。
图3为本申请实施例提供的一种语音通话数据处理装置的结构框图,该装 置可由软件和/或硬件实现,一般集成在移动终端中,可通过执行语音通话数据 处理方法来对语音通话数据进行防啸叫处理。如图3所示,该装置包括:
触发检测模块301,用于预设应用程序中的语音通话组建立成功后,检测到 防啸叫处理事件被触发;
下行语音数据获取模块302,用于获取移动终端中的预设时间长度的下行语 音通话数据;
语音数据分离模块303,用于对所述下行语音通话数据进行通话语音和背景 音分离操作;
防啸叫处理模块304,用于当确定所述通话语音中包含人声时,对所述下行 语音通话数据进行防啸叫处理。
本申请实施例中提供的语音通话数据处理装置,可以在移动终端中的预设 网络游戏应用程序的语音通话组建立成功后,检测到防啸叫处理事件被触发时, 对下行语音通话数据进行通话语音和背景音分离操作,当确定通话语音中包含 人声时,及时准确地对下行语音通话数据进行防啸叫处理,减少啸叫音给用户 使用带来的不便。
可选的,通过以下方式确定所述通话语音中是否包含人声:
获取所述通话语音的幅值的特征值;
将所述特征值与预设特征阈值进行比较,根据比较结果判断所述通话语音 中是否包含人声,其中,所述特征值包括滑动平均值或滑动均方根值。
可选的,所述预设特征阈值包括第一预设特征阈值和第二预设特征阈值, 其中,所述第一预设特征阈值小于所述第二预设特征阈值;
所述将所述特征值与预设特征阈值进行比较,根据比较结果判断所述通话 语音中是否包含人声,包括:
当所述特征值小于所述第一预设特征阈值时,确定所述通话语音中不包含 人声;
当所述特征值大于所述第二预设特征阈值时,确定所述通话语音中包含人 声;
当所述特征值大于或等于所述第一预设特征阈值,且小于或等于所述第二 预设特征阈值时,比较结果与上一次比较结果相同。
可选的,防啸叫处理模块,用于:
当确定所述通话语音中包含人声时,对从所述下行语音通话数据中分离出 的背景音进行削弱处理。
可选的,该装置还包括:
强度等级评估模块,用于在所述确定所述通话语音中包含人声之后,根据 所述特征值对所述通话语音的强度等级进行评估,特征值越高,强度等级越高;
对从所述下行语音通话数据中分离出的背景音进行削弱处理,包括:
根据强度等级评估结果选择相应的抑制策略对从所述下行语音通话数据中 分离出的背景音进行削弱处理,强度等级越高,对应的抑制策略的削弱力度越 高。
可选的,所述语音数据分离模块,用于:
获取所述下行语音通话数据对应的采样特征,其中,所述采样特征包括采 样率、声道数及声音通道中的至少一个;
根据所述采样特征对所述下行语音通话数据进行通话语音和背景音分离操 作。
可选的,所述检测到防啸叫处理事件被触发,包括:
判断所述语音通话组中是否存在与所述移动终端之间的距离小于预设距离 值的目标移动终端,若存在,则确定检测到啸叫检测事件被触发。
可选的,所述预设应用程序为网络游戏应用程序。
本申请实施例还提供一种包含计算机可执行指令的存储介质,所述计算机 可执行指令在由计算机处理器执行时用于执行语音通话数据处理方法,该方法 包括:
预设应用程序中的语音通话组建立成功后,检测到防啸叫处理事件被触发;
获取移动终端中的预设时间长度的下行语音通话数据;
对所述下行语音通话数据进行通话语音和背景音分离操作;
当确定所述通话语音中包含人声时,对所述下行语音通话数据进行防啸叫 处理。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质” 旨在包括:安装介质,例如CD-ROM、软盘或磁带装置;计算机系统存储器或 随机存取存储器,诸如DRAM、DDRRAM、SRAM、EDORAM,兰巴斯 (Rambus)RAM等;非易失性存储器,诸如闪存、磁介质(例如硬盘或光存储); 寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储 器或其组合。另外,存储介质可以位于程序在其中被执行的第一计算机系统中, 或者可以位于不同的第二计算机系统中,第二计算机系统通过网络(诸如因特网) 连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于 执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的 不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个 处理器执行的程序指令(例如具体实现为计算机程序)。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其 计算机可执行指令不限于如上所述的语音通话数据处理操作,还可以执行本申 请任意实施例所提供的语音通话数据处理方法中的相关操作。
本申请实施例提供了一种移动终端,该移动终端中可集成本申请实施例提 供的语音通话数据处理装置。图4为本申请实施例提供的一种移动终端的结构 示意图。移动终端400可以包括:存储器401,处理器402及存储在存储器401 上并可在处理器402运行的计算机程序,所述处理器402执行所述计算机程序 时实现如本申请实施例所述的语音通话数据处理方法。
本申请实施例提供的移动终端,可以在移动终端中的预设网络游戏应用程 序的语音通话组建立成功后,检测到下行语音通话数据中的通话语音部分包含 人声时,及时对当前的移动终端的语音通话数据进行防啸叫处理,减少啸叫音 给用户使用带来的不便。
图5为本申请实施例提供的另一种移动终端的结构示意图,该移动终端可 以包括:壳体(图中未示出)、存储器501、中央处理器(central processing unit, CPU)502(又称处理器,以下简称CPU)、电路板(图中未示出)和电源电路 (图中未示出)。所述电路板安置在所述壳体围成的空间内部;所述CPU502和 所述存储器501设置在所述电路板上;所述电源电路,用于为所述移动终端的 各个电路或器件供电;所述存储器501,用于存储可执行程序代码;所述CPU502 通过读取所述存储器501中存储的可执行程序代码来运行与所述可执行程序代 码对应的计算机程序,以实现以下步骤:
预设应用程序中的语音通话组建立成功后,检测到防啸叫处理事件被触发;
获取移动终端中的预设时间长度的下行语音通话数据;
对所述下行语音通话数据进行通话语音和背景音分离操作;
当确定所述通话语音中包含人声时,对所述下行语音通话数据进行防啸叫 处理。
所述移动终端还包括:外设接口503、RF(Radio Frequency,射频)电路 505、音频电路506、扬声器511、电源管理芯片508、输入/输出(I/O)子系统509、其他输入/控制设备510、触摸屏512、其他输入/控制设备510以及外部端 口504,这些部件通过一个或多个通信总线或信号线507来通信。
应该理解的是,图示移动终端500仅仅是移动终端的一个范例,并且移动 终端500可以具有比图中所示出的更多的或者更少的部件,可以组合两个或更 多的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括 一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组 合中实现。
下面就本实施例提供的用于语音通话数据处理的移动终端进行详细的描 述,该移动终端以手机为例。
存储器501,所述存储器501可以被CPU502、外设接口503等访问,所述 存储器501可以包括高速随机存取存储器,还可以包括非易失性存储器,例如 一个或多个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
外设接口503,所述外设接口503可以将设备的输入和输出外设连接到 CPU502和存储器501。
I/O子系统509,所述I/O子系统509可以将设备上的输入输出外设,例如 触摸屏512和其他输入/控制设备510,连接到外设接口503。I/O子系统509可 以包括显示控制器5091和用于控制其他输入/控制设备510的一个或多个输入控 制器5092。其中,一个或多个输入控制器5092从其他输入/控制设备510接收 电信号或者向其他输入/控制设备510发送电信号,其他输入/控制设备510可以 包括物理按钮(按压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击滚 轮。值得说明的是,输入控制器5092可以与以下任一个连接:键盘、红外端口、 USB接口以及诸如鼠标的指示设备。
触摸屏512,所述触摸屏512是用户移动终端与用户之间的输入接口和输出 接口,将可视输出显示给用户,可视输出可以包括图形、文本、图标、视频等。
I/O子系统509中的显示控制器5091从触摸屏512接收电信号或者向触摸 屏512发送电信号。触摸屏512检测触摸屏上的接触,显示控制器5091将检测 到的接触转换为与显示在触摸屏512上的用户界面对象的交互,即实现人机交 互,显示在触摸屏512上的用户界面对象可以是运行游戏的图标、联网到相应 网络的图标等。值得说明的是,设备还可以包括光鼠,光鼠是不显示可视输出 的触摸敏感表面,或者是由触摸屏形成的触摸敏感表面的延伸。
RF电路505,主要用于建立手机与无线网络(即网络侧)的通信,实现手 机与无线网络的数据接收和发送。例如收发短信息、电子邮件等。具体地,RF 电路505接收并发送RF信号,RF信号也称为电磁信号,RF电路505将电信号 转换为电磁信号或将电磁信号转换为电信号,并且通过该电磁信号与通信网络 以及其他设备进行通信。RF电路505可以包括用于执行这些功能的已知电路, 其包括但不限于天线系统、RF收发机、一个或多个放大器、调谐器、一个或多 个振荡器、数字信号处理器、CODEC(COder-DECoder,编译码器)芯片组、 用户标识模块(Subscriber Identity Module,SIM)等等。
音频电路506,主要用于从外设接口503接收音频数据,将该音频数据转换 为电信号,并且将该电信号发送给扬声器511。
扬声器511,用于将手机通过RF电路505从无线网络接收的语音信号,还 原为声音并向用户播放该声音。
电源管理芯片508,用于为CPU502、I/O子系统及外设接口所连接的硬件 进行供电及电源管理。
上述实施例中提供的语音通话数据处理装置、存储介质及移动终端可执行 本申请任意实施例所提供的语音通话数据处理方法,具备执行该方法相应的功 能模块和有益效果。未在上述实施例中详尽描述的技术细节,可参见本申请任 意实施例所提供的语音通话数据处理方法。
注意,上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员 会理解,本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进 行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽 然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以 上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例, 而本申请的范围由所附的权利要求范围决定。

Claims (10)

1.一种语音通话数据处理方法,其特征在于,包括:
预设应用程序中的语音通话组建立成功后,判断所述语音通话组中是否存在与移动终端之间的距离小于预设距离值的目标移动终端,若存在,则确定检测到啸叫检测事件被触发;
获取移动终端中的预设时间长度的下行语音通话数据;
对所述下行语音通话数据进行通话语音和背景音分离操作;
当确定所述通话语音中包含人声时,对所述通话语音进行分块处理;
对于每个数据块,采用预设分析方式确定当前数据块中存在的疑似啸叫点;
当存在呈现周期性特征的多个疑似啸叫点群,且所述疑似啸叫点对应的能量值依照所属数据块的顺序呈上升趋势时,确定所述通话语音中存在啸叫音,并对所述疑似啸叫点进行衰减处理;其中,所述疑似啸叫点群为连续相邻数据块中的频率差异处于预设范围内的疑似啸叫点,所述连续相邻数据块的数量达到预设连续阈值。
2.根据权利要求1所述的方法,其特征在于,通过以下方式确定所述通话语音中是否包含人声:
获取所述通话语音的幅值的特征值;
将所述特征值与预设特征阈值进行比较,根据比较结果判断所述通话语音中是否包含人声,其中,所述特征值包括滑动平均值或滑动均方根值。
3.根据权利要求2所述的方法,其特征在于,所述预设特征阈值包括第一预设特征阈值和第二预设特征阈值,其中,所述第一预设特征阈值小于所述第二预设特征阈值;
所述将所述特征值与预设特征阈值进行比较,根据比较结果判断所述通话语音中是否包含人声,包括:
当所述特征值小于所述第一预设特征阈值时,确定所述通话语音中不包含人声;
当所述特征值大于所述第二预设特征阈值时,确定所述通话语音中包含人声;
当所述特征值大于或等于所述第一预设特征阈值,且小于或等于所述第二预设特征阈值时,比较结果与上一次比较结果相同。
4.根据权利要求3所述的方法,其特征在于,在对所述啸叫点进行衰减处理后,还包括:
当确定所述通话语音中包含人声时,对从所述下行语音通话数据中分离出的背景音进行削弱处理。
5.根据权利要求4所述的方法,其特征在于,在所述确定所述通话语音中包含人声之后,还包括:
根据所述特征值对所述通话语音的强度等级进行评估,特征值越高,强度等级越高;
对从所述下行语音通话数据中分离出的背景音进行削弱处理,包括:
根据强度等级评估结果选择相应的抑制策略对从所述下行语音通话数据中分离出的背景音进行削弱处理,强度等级越高,对应的抑制策略的削弱力度越高。
6.根据权利要求1所述的方法,其特征在于,所述对所述下行语音通话数据进行通话语音和背景音分离操作,包括:
获取所述下行语音通话数据对应的采样特征,其中,所述采样特征包括采样率、声道数及声音通道中的至少一个;
根据所述采样特征对所述下行语音通话数据进行通话语音和背景音分离操作。
7.根据权利要求1所述的方法,其特征在于,所述预设应用程序为网络游戏应用程序。
8.一种语音通话数据处理装置,其特征在于,包括:
触发检测模块,用于预设应用程序中的语音通话组建立成功后,判断所述语音通话组中是否存在与移动终端之间的距离小于预设距离值的目标移动终端,若存在,则确定检测到啸叫检测事件被触发;
下行语音数据获取模块,用于获取移动终端中的预设时间长度的下行语音通话数据;
语音数据分离模块,用于对所述下行语音通话数据进行通话语音和背景音分离操作;
防啸叫处理模块,用于当确定所述通话语音中包含人声时,对所述通话语音进行分块处理;对于每个数据块,采用预设分析方式确定当前数据块中存在的疑似啸叫点;当存在呈现周期性特征的多个疑似啸叫点群,且所述疑似啸叫点对应的能量值依照所属数据块的顺序呈上升趋势时,确定所述通话语音中存在啸叫音,并对所述疑似啸叫点进行衰减处理;其中,所述疑似啸叫点群为连续相邻数据块中的频率差异处于预设范围内的疑似啸叫点,所述连续相邻数据块的数量达到预设连续阈值。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的语音通话数据处理方法。
10.一种移动终端,其特征在于,包括存储器,处理器及存储在存储器上并可在处理器运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-7任一所述的语音通话数据处理方法。
CN201810201119.3A 2018-03-12 2018-03-12 语音通话数据处理方法、装置、存储介质及移动终端 Expired - Fee Related CN108449498B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810201119.3A CN108449498B (zh) 2018-03-12 2018-03-12 语音通话数据处理方法、装置、存储介质及移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810201119.3A CN108449498B (zh) 2018-03-12 2018-03-12 语音通话数据处理方法、装置、存储介质及移动终端

Publications (2)

Publication Number Publication Date
CN108449498A CN108449498A (zh) 2018-08-24
CN108449498B true CN108449498B (zh) 2020-04-17

Family

ID=63194084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810201119.3A Expired - Fee Related CN108449498B (zh) 2018-03-12 2018-03-12 语音通话数据处理方法、装置、存储介质及移动终端

Country Status (1)

Country Link
CN (1) CN108449498B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110708330B (zh) * 2019-10-16 2021-12-24 北京字节跳动网络技术有限公司 一种啸叫预防方法、装置、设备及存储介质
CN118248133B (zh) * 2024-05-27 2024-09-20 暗物智能科技(广州)有限公司 二阶段语音识别方法、装置、计算机设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106100676A (zh) * 2016-06-07 2016-11-09 海能达通信股份有限公司 控制音频输出的方法、用户终端和对讲机终端
CN106453762A (zh) * 2016-11-02 2017-02-22 上海数果科技有限公司 音频系统中语音啸叫的处理方法及系统
CN106878533A (zh) * 2015-12-10 2017-06-20 北京奇虎科技有限公司 一种移动终端的通信方法和装置
CN107566658A (zh) * 2017-10-13 2018-01-09 广东欧珀移动通信有限公司 通话方法、装置、存储介质及移动终端

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105895115A (zh) * 2016-04-01 2016-08-24 北京小米移动软件有限公司 啸叫的判定方法及装置
CN106357871A (zh) * 2016-09-29 2017-01-25 维沃移动通信有限公司 一种扩音方法及移动终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106878533A (zh) * 2015-12-10 2017-06-20 北京奇虎科技有限公司 一种移动终端的通信方法和装置
CN106100676A (zh) * 2016-06-07 2016-11-09 海能达通信股份有限公司 控制音频输出的方法、用户终端和对讲机终端
CN106453762A (zh) * 2016-11-02 2017-02-22 上海数果科技有限公司 音频系统中语音啸叫的处理方法及系统
CN107566658A (zh) * 2017-10-13 2018-01-09 广东欧珀移动通信有限公司 通话方法、装置、存储介质及移动终端

Also Published As

Publication number Publication date
CN108449498A (zh) 2018-08-24

Similar Documents

Publication Publication Date Title
CN108449493B (zh) 语音通话数据处理方法、装置、存储介质及移动终端
CN108449503B (zh) 语音通话数据处理方法、装置、存储介质及移动终端
CN108449496B (zh) 语音通话数据检测方法、装置、存储介质及移动终端
CN108494954B (zh) 语音通话数据检测方法、装置、存储介质及移动终端
CN108449502B (zh) 语音通话数据处理方法、装置、存储介质及移动终端
CN108172237B (zh) 语音通话数据处理方法、装置、存储介质及移动终端
CN108418968B (zh) 语音通话数据处理方法、装置、存储介质及移动终端
CN108449507B (zh) 语音通话数据处理方法、装置、存储介质及移动终端
CN108449506B (zh) 语音通话数据处理方法、装置、存储介质及移动终端
CN104954555B (zh) 一种音量调节方法及系统
CN108449499B (zh) 语音通话数据处理方法、装置、存储介质及移动终端
CN108449497B (zh) 语音通话数据处理方法、装置、存储介质及移动终端
CN107566658A (zh) 通话方法、装置、存储介质及移动终端
CN103650533A (zh) 在电子装置上产生掩蔽信号
CN107483731A (zh) 音频播放音量的控制方法、装置及存储介质和移动终端
CN108449504B (zh) 语音通话数据检测方法、装置、存储介质及移动终端
CN108449492B (zh) 语音通话数据处理方法、装置、存储介质及移动终端
CN108418982B (zh) 语音通话数据处理方法、装置、存储介质及移动终端
CN108449498B (zh) 语音通话数据处理方法、装置、存储介质及移动终端
CN108449495A (zh) 语音通话数据处理方法、装置、存储介质及移动终端
CN108429858B (zh) 语音通话数据处理方法、装置、存储介质及移动终端
CN108449508A (zh) 语音通话处理方法、装置、存储介质及移动终端
CN108449505B (zh) 语音通话数据检测方法、装置、存储介质及移动终端
CN110754097B (zh) 通话控制方法、装置、终端设备及存储介质
CN108449501B (zh) 语音通话数据处理方法、装置、存储介质及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200417

CF01 Termination of patent right due to non-payment of annual fee