CN104735588A - 处理声音信号的方法和终端设备 - Google Patents

处理声音信号的方法和终端设备 Download PDF

Info

Publication number
CN104735588A
CN104735588A CN201510030723.0A CN201510030723A CN104735588A CN 104735588 A CN104735588 A CN 104735588A CN 201510030723 A CN201510030723 A CN 201510030723A CN 104735588 A CN104735588 A CN 104735588A
Authority
CN
China
Prior art keywords
signal
channel
processing signals
signals
passage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510030723.0A
Other languages
English (en)
Other versions
CN104735588B (zh
Inventor
张琦
齐娜
王提政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201510030723.0A priority Critical patent/CN104735588B/zh
Publication of CN104735588A publication Critical patent/CN104735588A/zh
Priority to PCT/CN2015/086933 priority patent/WO2016115880A1/zh
Priority to EP15878550.1A priority patent/EP3249948B1/en
Priority to US15/656,465 priority patent/US10356544B2/en
Application granted granted Critical
Publication of CN104735588B publication Critical patent/CN104735588B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/027Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/033Headphones for stereophonic communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15Aspects of sound capture and related signal processing for recording or reproduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07Synergistic effects of band splitting and sub-band processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Stereophonic System (AREA)

Abstract

本发明实施例提供一种处理声音信号的方法和终端设备。该方法包括:由位于终端设备不同位置的通道接收同一声源发出的至少三个信号,其中,至少三个信号和上述通道一一对应;根据至少三个信号中的三个信号,确定三个信号两两之间信号时延差,该信号时延差能够判断声源相对于终端设备的位置;根据信号时延差,判断声源相对于终端设备的位置;声源位于终端设备的前方时,对至少三个信号中的目标信号进行方位增强处理,根据方位增强处理的结果,得到终端设备的第一输出信号和第二输出信号,其中,方位增强处理用于增大目标信号的前方特征频带与后方特征频带的区分度。本发明实施例能够增强输出信号的声像方位感,降低将前方声像误判为后方声像的概率。

Description

处理声音信号的方法和终端设备
技术领域
本发明涉及终端设备领域,并且更具体地,涉及处理声音信号的方法和终端设备。
背景技术
随着音频技术的蓬勃发展,人们在追求3D视觉体验的同时也对声音的空间属性有着越来越高的要求。在终端设备中将视频与音频结合,可以产生更加真实的进入式体验效果。在目前应用中,最常见的终端重放设备为头戴式终端设备,在头戴式终端设备的双耳处放置微缩传声器进行双耳声音信号的采集,采集的双耳声音信号在经过放大、传输、记录等过程后,再利用头戴式终端设备的耳机进行声音重放,从而在倾听者双耳处产生与原声场一致的主要空间信息,实现声音空间信息的重放。采用基于双耳声音信号的虚拟听觉重放系统产生的空间听觉效果更为真实、自然。
然而,在采用头戴终端设备的耳机重放双耳声音信号的时候,由于耳机放音方式与原始声场的不同,会丢失了用于判断前后方位的认知信息,出现一定的前后声像混淆问题。出现声像混淆的情况是因为:在各种声源方向定位因素中,双耳时间差(英文:Interaural Time Difference,简称:ITD)和双耳幅度差(英文:Interaural Level Difference,简称:ILD)只能决定声源所处的混乱锥,而并不能决定声源的方向。由于前后声像混淆问题,听众可能会将来自前方声像判断成来自后方的声像,或者将来自后方的声像判断成来自前方的声像,并且将前方声像误判为后方声像的概率要远大于将后方声像误判为前方声像的概率。因此,如何改善终端设备声音重放时将前方声像误判为后方声像的问题,是一个迫切需要解决的问题。
发明内容
本发明实施例提供一种处理声音信号的方法和终端设备,能够改善终端设备声音重放时将前方声像混淆为后方声像的问题。
第一方面,提供了一种处理声音信号的方法,包括:由位于终端设备不同位置的通道接收同一声源发出的至少三个信号,其中,所述至少三个信号和所述通道一一对应;根据所述至少三个信号中的三个信号,确定所述三个信号两两之间信号时延差,所述信号时延差能够判断所述声源相对于所述终端设备的位置;根据所述信号时延差,判断所述声源相对于所述终端设备的位置;所述声源位于所述终端设备的前方时,对所述至少三个信号中的目标信号进行方位增强处理,根据所述方位增强处理的结果,得到所述终端设备的第一输出信号和第二输出信号,其中,所述方位增强处理用于增大所述目标信号的前方特征频带与后方特征频带的区分度。
结合第一方面,在第一方面的第一种可能的实现方式中,所述至少三个信号包括第一通道接收的第一信号、第二通道接收的第二信号和第三通道接收的第三信号,所述第一通道比所述第二通道和所述第三通道更靠近前方,所述第一通道位于所述第二通道和所述第三通道之间;其中,若所述对所述至少三个信号中的目标信号进行方位增强处理具体为:所述第一信号为所述目标信号时,对所述第一信号进行所述方位增强处理,得到第一处理信号;则所述根据所述方位增强处理的结果,得到所述终端设备的第一输出信号和第二输出信号具体为:根据所述第一处理信号和所述第二信号得到所述第一输出信号;根据所述第一处理信号和所述第三信号得到所述第二输出信号。
结合第一方面,在第一方面的第二种可能的实现方式中,所述至少三个信号包括第一通道接收的第一信号、第二通道接收的第二信号和第三通道接收的第三信号,所述第一通道比所述第二通道和所述第三通道更靠近前方,所述第一通道位于所述第二通道和所述第三通道之间;其中,若所述对所述至少三个信号中的目标信号进行方位增强处理具体为:所述第一信号、所述第二信号与所述第三信号均为所述目标信号时,对所述第一信号进行所述方位增强处理得到第一处理信号,对所述第二信号进行所述方位增强处理得到第二处理信号,对所述第三信号进行所述方位增强处理得到第三处理信号;则所述根据所述方位增强处理的结果,得到所述终端设备的第一输出信号和第二输出信号具体为:根据所述第一处理信号和所述第二处理信号得到所述第一输出信号;根据所述第一处理信号和所述第三处理信号得到所述第二输出信号。
结合第一方面,在第一方面的第三种可能的实现方式中,所述至少三个信号包括第一通道接收的第一信号、第二通道接收的第二信号和第三通道接收的第三信号,所述第一通道比所述第二通道和所述第三通道更靠近前方,所述第一通道位于所述第二通道和所述第三通道之间;其中,若所述对所述至少三个信号中的目标信号进行方位增强处理具体为:所述第一信号、所述第二信号与所述第三信号均为所述目标信号时,对所述第一信号进行所述方位增强处理得到第一处理信号,对所述第二信号进行所述方位增强处理得到第二处理信号,对所述第三信号进行所述方位增强处理得到第三处理信号;则所述根据所述方位增强处理的结果,得到所述终端设备的第一输出信号和第二输出信号具体为:根据所述第一处理信号、所述第二处理信号和所述第二信号得到所述第一输出信号;根据所述第一处理信号、所述第三处理信号和所述第三信号得到所述第二输出信号。
结合第一方面的第一种至第三种可能的实现方式,在第一方面的第四种可能的实现方式中,根据所述第二信号每个特征频带内的信号幅度与所述第三信号每个特征频带内的信号幅度,对所述第一处理信号对应的每个特征频带进行幅度调整,以得到所述第一输出信号和所述第二输出信号,其中,所述第一处理信号、所述第二信号与所述第三信号的所述每个特征频带划分方式相同。
结合第一方面,在第一方面的第五种可能的实现方式中,所述至少三个信号包括第一类型通道接收的第一类型信号、第二通道接收的第二信号和第三通道接收的第三信号,所述第一类型通道包括至少两个通道,所述至少两个通道分别用于接收至少两个信号,所述第一类型通道中任意一个通道比所述第二通道和所述第三通道更靠近前方,所述第一类型通道中任意一个通道位于所述第二通道和所述第三通道之间;其中,若所述对所述至少三个信号中的目标信号进行方位增强处理具体为:所述第一类型信号中的至少一个信号为所述目标信号时,对所述第一类型中的至少一个信号进行所述方位增强处理,得到第一类型处理信号;则所述根据所述方位增强处理的结果,得到所述终端设备的第一输出信号和第二输出信号具体为:根据所述第一类型处理信号和所述第二信号得到所述第一输出信号;根据所述第一类型处理信号和所述第三信号得到所述第二输出信号。
结合第一方面,在第一方面的第六种可能的实现方式中,所述至少三个信号包括第一类型通道接收的第一类型信号、第二通道接收的第二信号和第三通道接收的第三信号,所述第一类型通道包括至少两个通道,所述至少两个通道分别用于接收至少两个信号,所述第一类型通道中任意一个通道比所述第二通道和所述第三通道更靠近前方,所述第一类型通道中任意一个通道位于所述第二通道和所述第三通道之间;其中,若所述对所述至少三个信号中的目标信号进行方位增强处理具体为:所述第一类型信号中的至少一个信号、所述第二信号和所述第三信号为所述目标信号时,对所述第一类型中的至少一个信号进行所述方位增强处理得到第一类型处理信号;对所述第二信号进行所述方位增强处理得到第二处理信号;对所述第三信号进行所述方位增强处理得到第三处理信号;则所述根据所述方位增强处理的结果,得到所述终端设备的第一输出信号和第二输出信号具体为:根据所述第一类型处理信号和所述第二处理信号得到所述第一输出信号;根据所述第一类型处理信号和所述第三处理信号得到所述第二输出信号。
结合第一方面,在第一方面的第七种可能的实现方式中,所述至少三个信号包括第一类型通道接收的第一类型信号、第二通道接收的第二信号和第三通道接收的第三信号,所述第一类型通道包括至少两个通道,所述至少两个通道分别用于接收至少两个信号,所述第一类型通道中任意一个通道比所述第二通道和所述第三通道更靠近前方,所述第一类型通道中任意一个通道位于所述第二通道和所述第三通道之间,所述第一类型通道位于所述第二通道和所述第三通道之间;其中,若所述对所述至少三个信号中的目标信号进行方位增强处理具体为:所述第一类型信号中的至少一个信号、所述的第二信号和所述第三信号为所述目标信号时,对所述第一类型中的至少一个信号进行所述方位增强处理得到第一类型处理信号;对所述第二信号进行所述方位增强处理得到第二处理信号;对所述第三信号进行所述方位增强处理得到第三处理信号;则所述根据所述方位增强处理的结果,得到所述终端设备的第一输出信号和第二输出信号具体为:根据所述第一类型处理信号、所述第二处理信号和所述第二信号得到所述第一输出信号;根据所述第一类型处理信号、所述第三处理信号和所述第三信号得到所述第二输出信号。
结合第一方面,在第一方面的第八种可能的实现方式中,所述至少三个信号包括第一通道接收的第一信号、第二通道接收的第二信号、第三通道接收的第三信号、第四通道接收的第四信号和第五通道接收的第五信号,所述第一通道、所述第二通道或所述第三通道比所述第四通道和所述第五通道更靠近前方,所述第一通道、所述第二通道和所述第三通道位于所述第四通道和所述第五通道之间,所述终端设备的前方划分为相邻的第一区间、第二区间和第三区间;其中,若所述对所述至少三个信号中的目标信号进行方位增强处理具体为:当所述声源位于所述第一区间且所述第一信号为所述目标信号时,对所述第一信号进行所述方位增强处理,得到第一处理信号;当所述声源位于所述第二区间且所述第二信号为所述目标信号时,对所述第二信号进行所述方位增强处理,得到第二处理信号;当所述声源位于所述第三区间且所述第三信号为所述目标信号时,对所述第三信号进行所述方位增强处理,得到第三处理信号;则所述根据所述方位增强处理的结果,得到所述终端设备的第一输出信号和第二输出信号具体为:当所述声源位于所述第一区间时,根据所述第一处理信号和所述第四信号得到所述第一输出信号,根据所述第一处理信号和所述第五信号得到所述第二输出信号;当所述声源位于所述第二区间时,根据所述第二处理信号和所述第四信号得到所述第一输出信号,根据所述第二处理信号和所述第五信号得到所述第二输出信号;当所述声源位于所述第三区间时,根据所述第三处理信号和所述第四信号得到所述第一输出信号,根据所述第三处理信号和所述第五信号得到所述第二输出信号。
结合第一方面,在第一方面的第九种可能的实现方式中,所述至少三个信号包括第一通道接收的第一信号、第二通道接收的第二信号、第三通道接收的第三信号、第四通道接收的第四信号和第五通道接收的第五信号,所述第一通道、所述第二通道或所述第三通道比所述第四通道和所述第五通道更靠近前方,所述第一通道、所述第二通道和所述第三通道位于所述第四通道和所述第五通道之间,所述终端设备的前方划分为相邻的第一区间、第二区间和第三区间;其中,若所述对所述至少三个信号中的目标信号进行方位增强处理具体为:当所述声源位于所述第一区间且所述第一信号、所述第四信号、所述第五信号均为所述目标信号时,对所述第一信号进行所述方位增强处理得到第一处理信号,对所述第四信号处理得到第四处理信号,对所述第五信号进行所述方位增强处理得到第五处理信号;当所述声源位于所述第二区间且所述第二信号、所述第四信号、所述第五信号均为所述目标信号时,对所述第二信号进行所述方位增强处理得到第二处理信号,对所述第四信号进行所述方位增强处理得到第四处理信号,对所述第五信号进行所述方位增强处理得到第五处理信号;当所述声源位于所述第三区间且所述第三信号、所述第四信号、所述第五信号均为所述目标信号时,对所述第三信号进行所述方位增强处理得到第三处理信号,对所述第四信号进行所述方位增强处理得到第四处理信号,对所述第五信号进行所述方位增强处理得到第五处理信号;则所述根据所述方位增强处理的结果,得到所述终端设备的第一输出信号和第二输出信号具体为:当所述声源位于所述第一区间时,根据所述第四处理信号和所述第一处理信号得到所述第一输出信号,根据所述第五处理信号和所述第一处理信号得到所述第二输出信号;当所述声源位于所述第二区间时,根据所述第四处理信号和所述第二处理信号得到所述第一输出信号,根据所述第五处理信号和所述第二处理信号得到所述第二输出信号;当所述声源位于所述第三区间时,根据所述第四处理信号和所述第三处理信号得到所述第一输出信号;根据所述第五处理信号和所述第三处理信号得到所述第二输出信号。
结合第一方面的第八种或第九种可能的实现方式,在第一方面的第十种可能的实现方式中,当所述声源位于所述第一区间时,根据所述第四信号每个特征频带内的信号幅度与所述第五信号每个特征频带内的信号幅度,对所述第一处理信号对应的每个特征频带进行幅度调整,以得到所述第一输出信号和所述第二输出信号;当所述声源位于所述第二区间时,根据所述第四信号每个特征频带内的信号幅度与所述第五信号每个特征频带内的信号幅度,对所述第二处理信号对应的每个特征频带进行幅度调整,以得到所述第一输出信号和所述第二输出信号;当所述声源位于所述第三区间时,根据所述第四信号每个特征频带内的信号幅度与所述第五信号每个特征频带内的信号幅度,对所述第三处理信号对应的每个特征频带进行幅度调整,以得到所述第一输出信号和所述第二输出信号;其中,所述第一处理信号、所述第二处理信号、所述第三处理信号、所述第四信号和所述第五信号的所述每个特征频带划分方式相同。
第二方面,提供了一种终端设备,包括:接收模块,所述接收模块包括位于所述终端设备不同位置的至少三个接收通道,所述至少三个接收通道用于接收同一声源发出的至少三个信号,其中,所述至少三个信号与所述通道一一对应;确定模块,用于根据所述接收模块接收的所述至少三个信号中的三个信号,确定所述三个信号两两之间信号时延差,所述信号时延差能够判断所述声源相对于所述终端设备的位置;判断模块,用于根据所述确定模块得到的信号时延差,判断所述声源相对于所述终端设备的位置;处理模块,用于当所述判断模块判定所述声源位于所述终端设备的前方时,对所述至少三个信号中的目标信号进行方位增强处理,根据所述方位增强处理的结果,得到所述终端设备的第一输出信号和第二输出信号,其中,所述方位增强处理用于增大目标信号的前方特征频带和后方特征频带的区分度。
结合第二方面,在第二方面的第一种可能的实现方式中,所述接收模块包括第一通道、第二通道和第三通道,所述至少三个信号包括所述第一通道接收的第一信号、所述第二通道接收的第二信号和所述第三通道接收的第三信号,所述第一通道比所述第二通道和所述第三通道更靠近前方,所述第一通道位于所述第二通道和所述第三通道之间;其中,所述处理模块包括第一处理单元和第二处理单元,当所述判断模块判定所述声源位于所述终端设备的前方时,所述第一处理单元用于;对所述第一信号进行所述方位增强处理,得到第一处理信号,其中所述第一信号为所述目标信号;其中,所述第二处理单元用于:根据所述第二信号和所述第一处理单元得到的所述第一处理信号得到所述第一输出信号;根据所述第三信号和所述第一处理单元得到的所述第一处理信号得到所述第二输出信号。
结合第二方面,在第二方面的第二种可能的实现方式中,所述接收模块包括第一通道、第二通道和第三通道,所述至少三个信号包括所述第一通道接收的第一信号、所述第二通道接收的第二信号和所述第三通道接收的第三信号,所述第一通道比所述第二通道和所述第三通道更靠近前方,所述第一通道位于所述第二通道和所述第三通道之间;其中,所述处理模块包括第一处理单元和第二处理单元,当所述判断模块判定所述声源位于所述终端设备的前方时,所述第一处理单元用于:对所述第一信号进行所述方位增强处理得到第一处理信号,对所述第二信号进行所述方位增强处理得到第二处理信号,对所述第三信号进行所述方位增强处理得到第三处理信号,其中,所述第一信号、所述第二信号和所述第三信号均为所述目标信号;其中,所述第二处理单元用于:根据所述第一处理单元得到的所述第一处理信号和所述第二处理信号得到所述第一输出信号;根据所述第一处理单元得到的所述第一处理信号和所述第三处理信号得到所述第二输出信号。
结合第二方面,在第二方面的第三种可能的实现方式中,所述接收模块包括第一通道、第二通道和第三通道,所述至少三个信号包括所述第一通道接收的第一信号、所述第二通道接收的第二信号和所述第三通道接收的第三信号,所述第一通道比所述第二通道和所述第三通道更靠近前方,所述第一通道位于所述第二通道和所述第三通道之间;其中,所述处理模块包括第一处理单元和第二处理单元,当所述判断模块判定所述声源位于所述终端设备的前方时,所述第一处理单元用于:对所述第一信号进行所述方位增强处理得到第一处理信号,对所述第二信号进行所述方位增强处理得到第二处理信号,对所述第三信号进行所述方位增强处理得到第三处理信号,其中所述第一信号、所述第二信号和所述第三信号均为所述目标信号;其中,所述第二处理单元用于:根据所述第二信号和所述第一处理单元得到的所述第一处理信号、所述第一处理单元得到的所述第二处理信号得到所述第一输出信号;根据所述第三信号和所述第一处理单元得到的所述第一处理信号、所述第一处理单元得到的所述第三处理信号得到所述第二输出信号。结合第二方面的第一种至第三种可能的实现方式,在第二方面的第四种可能的实现方式中,所述处理模块还包括第三处理单元,所述第三处理单元用于:根据所述第二信号每个特征频带内的信号幅度与所述第三信号每个特征频带内的信号幅度,对所述第一处理单元得到的所述第一处理信号对应的每个特征频带进行幅度调整,以得到所述第一输出信号和所述第二输出信号,其中,所述第一处理信号、所述第二信号与所述第三信号的所述每个特征频带划分方式相同。
结合第二方面,在第二方面的第五种可能的实现方式中,所述接收模块包括第一类型通道、第二通道和第三通道,所述至少三个信号包括所述第一通道接收的第一类型信号、所述第二通道接收的第二信号和所述第三通道接收的第三信号,所述第一类型通道包括至少两个通道,所述至少两个通道分别用于接收至少两个信号,所述第一类型通道中任意一个通道比所述第二通道和所述第三通道更靠近前方,所述第一类型通道中任意一个通道位于所述第一通道和所述第二通道之间;其中,所述处理模块包括第一处理单元和第二处理单元,当所述判断模块判定所述声源位于所述终端设备的前方时,所述第一处理单元用于:对所述第一类型信号中的至少一个信号进行所述方位增强处理得到第一类型处理信号,对所述第二信号进行所述方位增强处理得到第二处理信号,对所述第三信号进行所述方位增强处理得到第三处理信号,其中所述第一类型信号中的至少一个信号为所述目标信号;其中,所述第二处理单元用于:根据所述第二信号和所述第一处理单元得到的所述第一类型处理信号得到所述第一输出信号;根据所述第三信号和所述第一处理单元得到的所述第一类型处理信号得到所述第二输出信号。
结合第二方面,在第二方面第六种可能的实现方式中,所述接收模块包括第一类型通道、第二通道和第三通道,所述至少三个信号包括所述第一通道接收的第一类型信号、所述第二通道接收的第二信号和所述第三通道接收的第三信号,所述第一类型通道包括至少两个通道,所述至少两个通道分别用于接收至少两个信号,所述第一类型通道中任意一个通道比所述第二通道和所述第三通道更靠近前方,所述第一类型通道位于所述第一通道和所述第二通道之间;其中,所述处理模块包括第一处理单元和第二处理单元,当所述判断模块判定所述声源位于所述终端设备的前方时,所述第一处理单元用于:对所述第一类型信号中的至少一个信号进行所述方位增强处理得到第一类型处理信号,对所述第二信号进行所述方位增强处理得到第二处理信号,对所述第三信号进行所述方位增强处理得到第三处理信号,其中所述第一类型信号中的至少一个信号、所述第二信号和所述第三信号为所述目标信号;其中,所述第二处理单元用于:根据所述第一处理单元得到的所述第一类型处理信号和所述第一处理单元得到的所述第二处理信号得到所述第一输出信号;根据所述第一处理单元得到的所述第一类型处理信号和所述第一处理单元得到的所述第三处理信号得到所述第二输出信号。
结合第二方面,在第二方面第七种可能的实现方式中,所述接收模块包括第一类型通道、第二通道和第三通道,所述至少三个信号包括所述第一通道接收的第一类型信号、所述第二通道接收的第二信号和所述第三通道接收的第三信号,所述第一类型通道包括至少两个通道,所述至少两个通道分别用于接收至少两个信号,所述第一类型通道中任意一个通道比所述第二通道和所述第三通道更靠近前方,所述第一类型通道位于所述第一通道和所述第二通道之间;其中,所述处理模块包括第一处理单元和第二处理单元,所述第一处理单元用于:当所述判断模块判定所述声源位于所述终端设备的前方时,对所述第一类型信号中的至少一个信号进行所述方位增强处理得到第一类型处理信号,对所述第二信号进行所述方位增强处理得到第二处理信号,对所述第三信号进行所述方位增强处理得到第三处理信号,其中所述第一类型信号中的至少一个信号、所述第二信号和所述第三信号为所述目标信号;其中,所述第二处理单元用于:根据所述第二信号和所述第一处理单元得到的所述第一类型处理信号、所述第一处理单元得到的所述第二处理信号得到所述第一输出信号;根据所述第三信号和所述第一处理单元得到的所述第一类型处理信号、所述第一处理单元得到的所述第三处理信号得到所述第二输出信号。
结合第二方面,在第二方面第八种可能的实现方式中,所述接收模块包括第一通道、第二通道、第三通道、第四通道和第五通道,所述至少三个信号包括所述第一通道接收的第一信号、所述第二通道接收的第二信号、所述第三通道接收的第三信号、所述第四通道接收的第四信号和所述第五通道接收的第五信号,所述第一通道、所述第二通道或所述第三通道比所述第四通道和所述第五通道更靠近前方,所述第一通道、所述第二通道和所述第三通道位于所述第四通道和所述第五通道之间,所述终端设备的前方划分为相邻的第一区间、第二区间和第三区间;其中,所述处理模块包括第一处理单元和第二处理单元,当所述判断模块判定所述声源位于所述第一区间且所述第一信号为所述目标信号时,所述第一处理单元用于:对所述第一信号进行所述方位增强处理,得到第一处理信号;当所述判断模块判定所述声源位于所述终端设备的第二区间且所述第二信号为所述目标信号时,所述第一处理单元用于对所述第二信号进行所述方位增强处理,得到第二处理信号;当所述判断模块判定所述声源位于所述终端设备的第三区间且所述第三信号为所述目标信号时,所述第一处理单元用于对所述第三信号进行所述方位增强处理,得到第三处理信号;其中,当所述判断模块判定所述声源位于所述第一区间时,所述第二处理单元用于:根据所述第四信号和所述第一处理单元得到的所述第一处理信号得到所述第一输出信号,根据所述第五信号和所述第一处理单元得到的所述第一处理信号得到所述第二输出信号;当所述判断模块判定所述声源位于所述第二区间时,所述第二处理单元用于:根据所述第四信号和所述第一处理单元得到的所述第二处理信号得到所述第一输出信号,根据所述第五信号和所述第一处理单元得到的所述第二处理信号得到所述第二输出信号;当所述判断模块判定所述声源位于所述第三区间时,所述第二处理单元具体用于:根据所述第四信号和所述第一处理单元得到的所述第三处理信号得到所述第一输出信号,根据所述第五信号和所述第一处理单元得到的所述第三处理信号得到所述第二输出信号。
结合第二方面,在第二方面第九种可能的实现方式中,所述接收模块包括第一通道、第二通道、第三通道、第四通道和第五通道,所述至少三个信号包括所述第一通道接收的第一信号、所述第二通道接收的第二信号、所述第三通道接收的第三信号、所述第四通道接收的第四信号和所述第五通道接收的第五信号,所述第一通道、所述第二通道或所述第三通道比所述第四通道和所述第五通道更靠近前方,所述第一通道、所述第二通道和所述第三通道位于所述第四通道和所述第五通道之间,所述终端设备的前方划分为相邻的第一区间、第二区间和第三区间;其中,所述处理模块包括第一处理单元和第二处理单元,当所述判断模块判定所述声源位于所述第一区间且所述第一信号为所述目标信号时,所述第一处理单元用于:对所述第一信号进行所述方位增强处理得到第一处理信号,对所述第四信号处理得到第四处理信号,对所述第五信号进行所述方位增强处理得到第五处理信号;当所述判断模块判定所述声源位于所述终端设备的第二区间且所述第二信号为所述目标信号时,所述第一处理单元用于:对所述第二信号进行所述方位增强处理得到第二处理信号,对所述第四信号处理得到第四处理信号,对所述第五信号进行所述方位增强处理得到第五处理信号;当所述判断模块判定所述声源位于所述终端设备的第三区间且所述第三信号为所述目标信号时,所述第一处理单元用于:对所述第三信号进行所述方位增强处理得到第三处理信号,对所述第四信号处理得到第四处理信号,对所述第五信号进行所述方位增强处理得到第五处理信号;其中,当所述判断模块判定所述声源位于所述第一区间时,所述第二处理单元用于:根据所述第一处理单元得到的所述第四处理信号和所述第一处理单元得到的所述第一处理信号得到所述第一输出信号;根据所述第一处理单元得到的所述第五信号和所述第一处理单元得到的所述第一处理信号得到所述第二输出信号;当所述判断模块判定所述声源位于所述第二区间时,所述第二处理单元用于:根据所述第一处理单元得到的所述第四处理信号和所述第一处理单元得到的所述第二处理信号得到所述第一输出信号;根据所述第一处理单元得到的所述第五处理信号和所述第一处理单元得到的所述第二处理信号得到所述第二输出信号;当所述判断模块判定所述声源位于所述第三区间时,所述第二处理单元用于:根据所述第一处理单元得到的所述第四处理信号和所述第三处理信号得到所述第一输出信号;根据所述第一处理单元得到的所述第五处理信号和所述第一处理单元得到的所述第三处理信号得到所述第二输出信号。结合第二方面的第八种或第九种可能的实现方式,在第二方面的第十种可能的实现方式中,所述处理单元还包括第三处理单元,所述第三处理单元具体用于:当所述判断模块判定所述声源位于所述第一区间时,根据所述第四信号每个特征频带内的信号幅度与所述第五信号每个特征频带内的信号幅度,对所述第一处理单元得到的所述第一处理信号对应的每个特征频带进行幅度调整,以得到所述第一输出信号和所述第二输出信号;当所述判断模块判定所述声源位于所述第二区间时,根据所述第四信号每个特征频带内的信号幅度与所述第五信号每个特征频带内的信号幅度,对所述第一处理单元得到的所述第二处理信号对应的每个特征频带进行幅度调整,以得到所述第一输出信号和所述第二输出信号;当所述判断模块判定所述声源位于所述第三区间时,根据所述第四信号每个特征频带内的信号幅度与所述第五信号每个特征频带内的信号幅度,对所述第一处理单元得到的所述第三处理信号对应的每个特征频带进行幅度调整,以得到所述第一输出信号和所述第二输出信号;其中,所述第一处理信号、所述第二处理信号、所述第三处理信号、所述第四信号和所述第五信号的所述每个特征频带划分方式相同。
本发明实施例通过确定声源相对于终端设备的位置,对声源发出的目标信号进行方位增强处理,并根据方位增强处理后的结果,得到终端设备的输出信号,使得该输出信号的前方特征频带与后方特征频带的区分度增大,由此能够增强输出信号的声像方位感,降低将前方声像误判为后方声像的概率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种处理声音信号的方法的示意性流程图;
图2是本发明一个实施例的终端设备的结构示意图;
图3是本发明另一实施例的终端设备的结构示意图;
图4是本发明又一实施例的终端设备的结构示意图;
图5是本发明另一实施例的终端设备的结构示意图;
图6是本发明又一实施例的终端设备的结构示意图;
图7是本发明另一实施例的一种处理声音信号的方法的示意性流程图;
图8是本发明实施例的一个终端设备的示意性框图;
图9是本发明实施例的一个终端设备的示意性框图;
图10是本发明实施例的一个终端设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都应属于本发明保护的范围。
图1是本发明实施例的一种处理声音信号的方法的示意性流程图,该方法100可以由终端设备执行。
步骤110,由位于终端设备不同位置的通道接收同一声源发出的至少三个信号,其中,至少三个信号和上述通道一一对应。
步骤120,根据至少三个信号中的三个信号,确定三个信号两两之间信号时延差,该信号时延差能够判断所述声源相对于所述终端设备的位置。
步骤130,根据所述信号时延差,判断声源相对于终端设备的位置。
步骤140,声源位于终端设备的前方时,对至少三个信号中的目标信号进行方位增强处理,根据方位增强处理的结果,得到终端设备的第一输出信号和第二输出信号,其中,所述方位增强处理用于增大所述目标信号的前方特征频带与后方特征频带的区分度。
本发明实施例通过确定声源相对于终端设备的位置,对声源发出的目标信号进行方位增强处理,根据方位增强处理后的结果,得到终端设备的输出信号,使得该输出信号的前方特征频带与后方特征频带的区分度增大,由此能够增强输出信号的声像方位感,降低将前方声像误判为后方声像的概率。
在步骤110中,多媒体终端的不同位置上存在至少三个通道,用于采集同一声源发出的至少三个信号,由于各个通道位置不同,从而接收到的同一声源发出的声音信号也不同,因此每个通道实际接收的信号与该通道位置存在一一对应的关系,以便于根据这至少三个信号可以确定声源处于该终端设备的前方或者后方,更具体的,可以判断声源位于前方的某一具体区间。
在步骤120中,根据至少三个信号中的三个信号,确定三个信号两两之间信号时延差,该信号时延差能够判断所述声源相对于所述终端设备的位置是指:可以根据声音信号中包括的任意三个能够判定声源位置的信号,确定这三个信号两两之间的信号时延差,从而判断声源相对于终端设备的位置。应理解,能够判定声源位置的任意三个信号是指分别接收该三个信号的通道的位置之间可以构成三角形关系,以判定声源位于终端设备的前方或者后方。可选地,作为本发明一个实施例,可以通过频域相关法测量任意两个信号之间的时延差。具体地,例如第m个信号的傅里叶系数为Hm(f),第n个信号的傅里叶系为Hn(f),那么第m个信号与第n个信号的与头相关传递函数(Head Related Transfer Function,HRTF)的互相关函数Φmn(τ)为:
Φ mn ( τ ) = ∫ - ∞ + ∞ H m ( f ) H n * ( f ) exp ( j 2 πfτ ) df { [ ∫ - ∞ + ∞ | H m ( f ) | 2 df ] [ ∫ - ∞ + ∞ | H n ( f ) | 2 df ] } 1 / 2 - - - ( 1 )
其中*表示共轭,0≤|Φmn(τ)|≤1,因为在声像方向感的确定过程中,低频起决定性作用的定位因素,因此计算出Φmn(τ)在f≤2.24kHz且|τ|≤1ms范围内的最大值,与此对应的τ=τmax即为第m个信号与第n个信号之间的时延差,同理可以求得任意两个信号之间的时延差。应理解,上述的具体数值仅仅是示例性的,还有其它的具体数值或者计算公式可以求得任意两个信号之间的时延差,本发明不限于此。
在步骤130中,可以根据信号时延差确定声源位于所述终端设备的前方或者后方,以便于在步骤140中对至少三个信号中的目标信号进行方位增强处理,目标信号可以包括至少三个信号中的一个或多个,具体需要根据声源相对于所述终端设备的位置确定,以便于对目标信号进行方位增强处理,应理解,目标信号可以指需要进行方位增强处理的一类信号的统称。
由于在实际情况中,将声源位于前方却误判为后方的概率远远大于将声源位于后方却误判为前方的概率,因此可选地,作为本发明一个实施例,在声源位于终端设备的前方时,步骤140中所述的方位增强处理包括:前方特征频带的强化处理;和/或后方特征频带的抑制处理,其中,特征频带是指根据信号前方频谱幅度与后方频谱幅度的大小关系,依据实际需要划分的能够体现信号特性的频带。具体地,前方特征频带是指在该特征频带内前方频谱幅度远大于后方频谱幅度的特征频带;后方特征频带是指该频带内后方频谱幅度远大于前方频谱幅度的特征频带。
可选地,作为本发明一个实施例,该终端设备接收的至少三个信号包括第一通道接收的第一信号、第二通道接收的第二信号和第三通道接收的第三信号,第一通道比第二通道和第三通道更靠近前方,第一通道位于第二通道和第三通道之间;其中,若对至少三个信号中的目标信号进行方位增强处理具体为:第一信号为所述目标信号时,对第一信号进行方位增强处理,得到第一处理信号;其中,则根据方位增强处理的结果,得到终端设备的第一输出信号和第二输出信号具体为:根据第一处理信号和第二信号得到第一输出信号;根据第一处理信号和第三信号得到第二输出信号。
应理解,声源位于终端设备的前方,是指用户正常佩戴或使用该终端设备时,声源位于使用者的前半平面。可选地,上述第一通道是指在用户角度上与第二通道和第三通道相比较,更靠近前方,而第一通道位于第一通道和第二通道之间意味着这三个通道之间构成的角度关系可以通过确定接收信号两两之间的时延差,确定声源相对与该终端设备的位置。
可选地,作为本发明一个实施例,该终端设备接收的至少三个信号包括第一通道接收的第一信号、第二通道接收的第二信号和第三通道接收的第三信号,第一通道比第二通道和第三通道更靠近前方,第一通道位于第二通道和第三通道之间;其中,若对至少三个信号中的目标信号进行方位增强处理具体为:第一信号、第二信号与第三信号均为所述目标信号时,对第一信号进行方位增强处理得到第一处理信号,对第二信号进行方位增强处理得到第二处理信号,对第三信号进行方位增强处理得到第三处理信号;其中,则根据方位增强处理的结果,得到终端设备的第一输出信号和第二输出信号具体为:根据第一处理信号和第二处理信号得到第一输出信号;根据第一处理信号和第三处理信号得到第二输出信号。
可选地,作为本发明一个实施例,该终端设备接收的至少三个信号包括第一通道接收的第一信号、第二通道接收的第二信号和第三通道接收的第三信号,第一通道比第二通道和第三通道更靠近前方,第一通道位于第二通道和第三通道之间;其中,若对至少三个信号中的目标信号进行方位增强处理具体为:第一信号、第二信号与第三信号均为所述目标信号时,对第一信号进行方位增强处理得到第一处理信号,对第二信号进行方位增强处理得到第二处理信号,对第三信号进行方位增强处理得到第三处理信号;其中,则根据方位增强处理的结果,得到终端设备的第一输出信号和第二输出信号具体为:根据第一处理信号、第二处理信号和第二信号得到第一输出信号;根据第一处理信号、第三处理信号和第三信号得到第二输出信号。
应理解,上述对第一信号、第二信号和第三信号进行方位增强处理,并分别得到第一处理信号、第二处理信号和第三处理信号,基于上述方位增强处理后的结果,根据两种不同的组合方式分别得到两种第一输出信号和第二输出信号,这样的处理方式与仅对第一信号进行方位增强处理得到的第一输出信号和第二输出信号的效果可能略有不同,但无论采用何种处理方式,都能够使得输出信号的前方特征频带与后方特征频带的区分度增大,由此能够增强输出信号的声像方位感,降低将前方声像信号混淆为后方声像信号的概率。应理解,对于一个或多个信号进行方位增强处理以得到第一输出信号和第二输出信号的组合方式有多种,只要是能够达到增强输出信号的声像方位感,降低将前方声像信号误判为后方声像信号的概率的组合形式都可以实行,例如,可以仅对第二信号和第三信号进行方位增强处理,根据第一信号和方位增强处理后的第二处理信号、第三处理信号得到第一输出信号和第二输出信号,本发明不限于此。
可选地,作为本发明一个实施例,该信号处理的方法还可以包括:根据第二信号每个特征频带内的信号幅度与第三信号每个特征频带内的信号幅度,对第一处理信号对应的每个特征频带进行幅度调整,以得到第一输出信号和第二输出信号,其中,第一处理信号、第二信号与第三信号的每个特征频带划分方式相同。例如,第一处理信号、第二信号和第三信号都以相同的划分方式划分为[3kHz,8kHz],[8kHz,10kHz],[10kHz,12kHz],[12kHz,17kHz]和[17kHz,20kHz]这五个特征频带,那么在某一特征频带例如在频带[3kHz,8kHz]内,要根据第二信号与第三信号的信号幅度,对第一信号进行幅度调整。
可选地,作为本发明的一个实施例,终端设备接收的至少三个信号包括第一类型通道接收的第一类型信号、第二通道接收的第二信号和第三通道接收的第三信号,第一类型通道包括至少两个通道,至少两个通道用于分别接收至少两个信号,第一类型通道中任意一个通道比第二通道和第三通道更靠近前方,第一类型通道位于第二通道和第三通道之间;其中,若对至少三个信号中的目标信号进行方位增强处理具体为:第一类型信号中的至少一个信号为目标信号时,对第一类型中的至少一个信号进行方位增强处理,得到第一类型处理信号;则根据方位增强处理的结果,得到终端设备的第一输出信号和第二输出信号具体为:根据第一类型处理信号和第二信号得到第一输出信号;根据第一类型处理信号和第三信号得到第二输出信号。
具体地,例如,上述第一类型通道包括两个通道分别为A通道和B通道,这两个通道接收的信号分别为A信号和B信号,那么可以仅选择A信号作为目标信号,也可以仅选择B信号作为目标信号,同时还可以选择A与B信号均为目标信号,根据对目标信号进行方位增强处理的结果,得到第一输出信号和第二输出信号。
可选地,作为本发明一个实施例,终端设备接收的至少三个信号包括第一类型通道接收的第一类型信号、第二通道接收的第二信号和第三通道接收的第三信号,第一类型通道包括至少两个通道,至少两个通道用于分别接收至少两个信号第一类型通道中任意一个通道比第二通道和第三通道更靠近前方,第一类型通道位于第二通道和第三通道之间;其中,若对至少三个信号中的目标信号进行方位增强处理具体为:第一类型信号中的至少一个信号、第二信号和第三信号为目标信号时,对第一类型中的至少一个信号进行方位增强处理得到第一类型处理信号;对第二信号进行方位增强处理得到第二处理信号;对第三信号进行方位增强处理得到第三处理信号;其中,则根据方位增强处理的结果,得到终端设备的第一输出信号和第二输出信号具体为:根据第一类型处理信号和第二处理信号得到第一输出信号;根据第一类型处理信号和第三处理信号得到第二输出信号。
可选地,作为本发明一个实施例,终端设备接收的至少三个信号包括第一类型通道接收的第一类型信号、第二通道接收的第二信号和第三通道接收的第三信号,第一类型通道包括至少两个通道,该至少两个通道用于分别接收至少两个信号,第一类型通道中任意一个通道比第二通道和第三通道更靠近前方;其中,若对至少三个信号中的目标信号进行方位增强处理具体为:第一类型信号中的至少一个信号、第二信号和第三信号为目标信号时,对第一类型中的至少一个信号进行方位增强处理得到第一类型处理信号;对第二信号进行方位增强处理得到第二处理信号;对第三信号进行方位增强处理得到第三处理信号;其中,则根据方位增强处理的结果,得到终端设备的第一输出信号和第二输出信号具体为:根据第一类型处理信号、第二处理信号和第二信号得到第一输出信号;根据第一类型处理信号、第三处理信号和第三信号得到第二输出信号。
应理解,上述对第一类型信号中的至少一个信号、第二信号和第三信号进行方位增强处理,并分别得到第一类型处理信号、第二处理信号和第三处理信号,基于上述方位增强处理后的结果,根据两种不同的组合方式分别得到两种第一输出信号和第二输出信号,这样的处理方式与仅对第一类型信号中的至少一个信号进行方位增强处理得到的第一输出信号和第二输出信号的效果可能略有不同,但无论采用何种处理方式,都能够使得输出信号的前方特征频带与后方特征频带的区分度增大,由此能够增强输出信号的声像方位感,降低将前方声像信号混淆为后方声像信号的概率。应理解,对于一个或多个信号进行方位增强处理以得到第一输出信号和第二输出信号的组合方式有多种,只要是能够达到增强输出信号的声像方位感,降低将前方声像信号误判为后方声像信号的概率的组合形式都可以实行,本发明不限于此。
可选地,作为本发明的一个实施例,终端设备接收的至少三个信号包括第一通道接收的第一信号、第二通道接收的第二信号、第三通道接收的第三信号、第四通道接收的第四信号和第五通道接收的第五信号,第一通道、第二通道或第三通道比第四通道和第五通道更靠近前方,第一通道、第二通道和第三通道位于第四通道和第五通道之间,终端设备的前方划分为相邻的第一区间、第二区间和第三区间;其中,若对至少三个信号中的目标信号进行方位增强处理具体为:当声源位于第一区间且第一信号为所目标信号时,对第一信号进行方位增强处理,得到第一处理信号;当声源位于终端设备的第二区间且第二信号为目标信号时,对第二信号进行方位增强处理,得到第二处理信号;当声源位于终端设备的第三区间且第三信号为目标信号时,对第三信号进行方位增强处理,得到第三处理信号;其中,则根据方位增强处理的结果,得到终端设备的第一输出信号和第二输出信号具体为:当声源位于第一区间时,根据第一处理信号和第四信号得到第一输出信号,根据第一处理信号和第五信号得到第二输出信号;当声源位于第二区间时,根据第二处理信号和第四信号得到第一输出信号,根据第二处理信号和第五信号得到第二输出信号;当声源位于所述第三区间时,根据第三处理信号和所述第四信号得到所述第一输出信号,根据所述第三处理信号和所述第五信号得到所述第二输出信号。
可选地,作为本发明一个实施例,所述终端设备接收的至少三个子信号包括第一通道接收的第一信号、第二通道接收的第二信号、第三通道接收的第三信号、第四道接收的第四信号和第五信道接收的第五信号,第一通道、第二通道或第三通道比第四通道和第五通道更靠近前方,第一通道、第二通道和第三通道位于第四通道和第五通道之间,终端设备的前方划分为相邻的第一区间、第二区间和第三区间;其中,若对至少三个信号中的目标信号进行方位增强处理具体为:当声源位于第一区间且第一信号、第四信号、第五信号均为目标信号时,对第一信号进行方位增强处理得到第一处理信号,对第四信号处理得到第四处理信号,对第五信号进行方位增强处理得到第五处理信号;当声源位于第二区间且第二信号、第四信号、第五信号均为目标信号时,对第二信号进行方位增强处理得到第二处理信号,对第四信号处理得到第四处理信号,对第五信号进行方位增强处理得到第五处理信号;当声源位于所述第三区间且第三信号、第四信号、第五信号均为所述目标信号时,对第三信号进行方位增强处理得到第三处理信号,对第四信号处理得到第四处理信号,对第五信号进行方位增强处理得到第五处理信号;其中,则根据方位增强处理的结果,得到终端设备的第一输出信号和第二输出信号具体为:当声源位于第一区间时,根据第四处理信号和第一处理信号得到第一输出信号,根据第五处理信号和第一处理信号得到第二输出信号;当声源位于第二区间时,根据第四处理信号和第二处理信号得到第一输出信号,根据第五处理信号和第二处理信号得到第二输出信号;当声源位于第三区间时,根据第四处理信号和第三处理信号得到第一输出信号;根据第五处理信号和第三处理信号得到第二输出信号。
应理解,上述对第一信号、第四信号和第五信号进行方位增强处理,并分别得到第一处理信号、第四处理信号和第五处理信号,基于上述方位增强处理后的结果,得到第一输出信号和第二输出信号,这样的处理方式与仅对第一信号进行方位增强处理得到的第一输出信号和第二输出信号可能效果略有不同,但无论采用何种处理方式,都能够使得输出信号的前方特征频带与后方特征频带的区分度增大,由此能够增强输出信号的声像方位感,降低将前方声像信号混淆为后方声像信号的概率。应理解,对于一个或多个信号进行方位增强处理以得到第一输出信号和第二输出信号的组合方式有多种,只要是能够达到增强输出信号的声像方位感,降低将前方声像信号误判为后方声像信号的概率的组合形式都可以实行,本发明不限于此。
可选地,作为本发明一个实施例,上述信号处理的方法还包括:当声源位于所述第一区间时,根据第四信号每个特征频带内的信号幅度与第五信号每个特征频带内的信号幅度,对第一处理信号对应的每个特征频带进行幅度调整,以得到第一输出信号和第二输出信号;当声源位于第二区间时,根据第四信号每个特征频带内的信号幅度与第五信号每个特征频带内的信号幅度,对第二处理信号对应的每个特征频带进行幅度调整,以得到第一输出信号和第二输出信号;当声源位于第三区间时,根据第四信号每个特征频带内的信号幅度与第五信号每个特征频带内的信号幅度,对第三处理信号对应的每个特征频带进行幅度调整,以得到第一输出信号和第二输出信号;其中,第一处理信号、第二处理信号、第三处理信号、第四信号和第五信号的每个特征频带划分方式相同。
具体地,例如,第一处理信号、第四信号和第五信号都划分为[3kHz,8kHz],[8kHz,10kHz],[10kHz,12kHz],[12kHz,17kHz]和[17kHz,20kHz]这五个特征频带,那么在某一特征频带例如在频带[3kHz,8kHz]内,要根据第四信号与第五信号的信号幅度,对第一处理信号进行幅度调整。应理解上述频带划分和数值的设定都是示例性的,本发明不局限于此。
可选地,声源位于第一区间时,第一通道接收到的第一信号为目标信号,该第一通道位于第一区间内,因此相较于用户来说比其它通道较靠近声源或者是较先接收到声源发出的信号,应理解,对第一信号进行方位增强处理,这意味着当声源位于终端设备的前方的某一具体位置时,对离该第一位置的声源较为接近的通道接收的信号进行方位增强处理,这样的处理方式能够效果较好的降低将前方声像混淆为后方声像的概率;同理可以类推声源位于第二区间和第三区间的情况,还应该理解,本发明不局限于将用户的前方划分为三个相邻的区间情况,可以灵活的将前方分为两个或两个以上相邻的区间,在该区间内选择相应通道接收的信号进行方位增强处理,能够降低前后方声像混淆概率的信号的组合方式都可以实行,本发明不限于此。
本发明实施例通过确定声源相对于终端设备的位置,对声源发出的目标信号进行方位增强处理,根据方位增强处理后的结果,得到终端设备的输出信号,使得该输出信号的前方特征频带与后方特征频带的区分度增大,由此能够增强输出信号的声像方位感,降低将前方声像误判为后方声像的概率。
图2是本发明一个实施例的终端设备的结构示意图。如图2中的左图所示,该终端设备为一个头戴式多媒体系统,利用左通道(L通道)、右通道(R通道)和中置通道(C通道)这三个位于终端不同位置的通道进行声音信号的采集。该终端设备的简化示意图如图2中右图所示,将R通道、L通道和C通道所在的位置简化为一个半径为a的圆,坐标原点为O,入射方向与y轴的夹角为θ,选用顺时针方向建立坐标系,那么正前方对应的角度θ=0°,正右方对应的角度θ=90°,正左方对应角度θ=270°。
第一步,接收L通道、R通道和C通道接收到信号。
第二步,测量L通道、R通道和C通道接收的信号两两之间的时延差,测量两两通道之间的时延差采用频域相关法,具体地,L通道接收到的信号的傅里叶系数为HL(f),R通道接收到的信号的傅里叶系数为HR(f),那么R和L通道的与头相关传递函数(Head Related Transfer Function,HRTF)的互相关函数ΦLR(τ)为:
Φ LR ( τ ) = ∫ - ∞ + ∞ H L ( f ) H R * ( f ) exp ( j 2 πfτ ) df { [ ∫ - ∞ + ∞ | H L ( f ) | 2 df ] [ ∫ - ∞ + ∞ | H R ( f ) | 2 df ] } 1 / 2 - - - ( 1 )
其中*表示共轭,0≤|ΦLR(τ)|≤1,因为在确定声像方位的过程中,低频起决定性作用的定位因素,因此计算出ΦLR(t)在f≤2.24kHz且|τ|≤1ms范围内的最大值,与此对应的τ=τmax即为L通道的信号与R通道的信号之间的时延差ITDLR。同理可以求得L通道接收的信号与C通道接收的信号之间的时延差ITDLC,R通道接收的信号与C通道接收的信号之间的时延差ITDRC,具体测量各个通道的信号之间时延差的方法还可以采用其它方式,本发明不限于此。
在不遮挡头部的情况下,可利用L、R和C通道接收的信号两两之间的时延差直接确定声源的入射方向:
同理可得:
实际情况中,由于头部的遮挡,当声源来自前后方45°左右范围内时利用公式(2)计算得到的声源方向较为准确,声源方位在两侧方向时利用公式(3)或(4)计算得到的结果与实际声源方位更接近。
第三步,判断声源的与终端设备的相对位置。首先,利用公式(2)至公式(4)分别计算θLR、θLC和θRC;其次,根据利用公式(1)所示的频域相关测量法确定L、R通道接收的信号之间的时延差ITDLR,L、C通道接收的信号之间的时延差ITDLC以及R与C通道接收的信号之间的时延差ITDRC,并根据上述结构时延差值估算声源方位角θe
具体地,令 c · ITD LR 2 a = m ;
当m大于0时,表明声源在右半平面,则:
时,声源的方位角为0°~45°或135°~180°,取θe=θLR
如果|ITDLC|>|ITDRC|,则声源在前方,如果|ITDLC|<|ITDRC|,则声源在后方;
时,对应声源方位角在45°~135°,取θe=θRC
如果|ITDLC|>|ITDRC|,则声源在前方,如果|ITDLC|<|ITDRC|,则声源在后方;
当m>1时,取θe=θRC
如果|ITDLC|>|ITDRC|,则声源在前方,如果|ITDLC|<|ITDRC|,则声源在后方。
当m小于0时,表明声源在左半平面,则:
时,对应的声源方位角为180°~225°,取θe=θLR
如果|ITDLC|>|ITDRC|,则声源在前方,如果|ITDLC|<|ITDRC|,则声源在后方;
时,对应声源方位角在225°~315°,取θe=θLC
如果|ITDLC|>|ITDRC|,则声源在前方,如果|ITDLC|<|ITDRC|,则声源在后方;
m<-1时,取θe=θLC
如果|ITDLC|>|ITDRC|,则声源在前方,如果|ITDLC|<|ITDRC|,则声源在后方。
第四步,当确定声源位于终端设备的前方时,C通道接收的信号为目标信号,对C通道接收的信号进行方位增强处理,得到处理后的目标信号,并基于方位增强处理后的C通道的信号得到该终端设备的左输出信号和右输出信号;当确定声源位于终端设备的其它位置时,则左通道接收的信号作为左耳输出信号输出,右通道接收的信号作为右耳输出信号输出。当确定声源位于终端设备的前方时,具体地处理过程可以如下:
L &prime; = L + &Sigma; i = 1 N GA i &times; H bandi &CircleTimes; C ,
R &prime; = R + &Sigma; i = 1 N GA i &times; H bandi &CircleTimes; C
其中,R通道接收的信号为R,L接收的信号为L,C通道接收的信号为C,右耳输出的信号为R',左耳输出信号为L';表示两个信号的卷积,以实现滤波器功能;Hlow表示一个截止频率为F1的低通滤波器;Hbandi表示一个带通滤波器,其带通频带为[Fi Fi+1];GAi表示对C通道接收的信号进行增益调整时的滤波器增益系数。
在本实施例中N=5,代表将信号划分为五个特征频带,具体的划分节点如下:F1=3kHz,F2=8kHz,F3=10kHz,F4=12kHz,F5=17kHz,F6=20kHz;其中,各个特在频带的增益因子如下:GA1=0.5,GA2=0,GA3=0.5,GA4=0,GA5=0.5,Gi=2表示在幅度谱有6dB的增益,Gi=0.5表示在幅度谱有3dB的衰减。通过GAi对中置通道信号的不同频带进行不同的增益调整,对Hband1,Hband3,Hband5这三个前后方频谱幅度具有显著差异且前方响应远高于后方的特征频带进行幅度增益调整后,以及对Hband2和Hband4这两个前后方频谱幅度具有显著差异并且后方响应远高于前方响应的特征频带进行幅度衰减(抑制)调整后,分别和左右通道相应频带信号相加,从而加强左右通道输出信号的前后方幅度谱差异。
应理解,对前后方位特征频带的划分以及各频带的增益因子的选择以增大前后方频谱差异为基础,同时又不得过分夸大这个差异以免引起音色上的明显失真,本发明不限于上述具体增益因子设定和频带的划分,还应理解对声源相对于终端设备方位的判断可以根据接收通道的相对位置不同有相应的计算方法,本发明不限于上述具体的计算公式。
可选地,作为本发明一个实施例,在第四步中,当确定声源位于终端设备的前方时,C通道接收的信号、L通道接收的信号和R通道接收的信号均为目标信号,对C通道接收的信号进行方位增强处理,同时对R通道和L通道接收的信号进行方位增强处理,并基于方位增强处理的C通道的信号和方位增强处理后的L通道接收的信号得到该终端设备的左输出信号,基于方位增强处理的C通道的信号和方位增强处理后的R通道接收的信号得到该终端设备的右输出信号;当确定声源位于终端设备的其它位置时,则左通道接收的信号作为左耳输出信号输出,右通道接收的信号作为右耳输出信号输出。当确定声源位于终端设备的前方时,具体地处理过程如下:
L &prime; = G 1 &times; H low &CircleTimes; L + &Sigma; i = 1 N G i + 1 &times; H bandi &CircleTimes; L + &Sigma; i = 1 N GA i &times; H bandi &CircleTimes; C ,
R &prime; = G 1 &times; H low &CircleTimes; R + &Sigma; i = 1 N G i + 1 &times; H bandi &CircleTimes; R + &Sigma; i = 1 N GA i &times; H bandi &CircleTimes; C
其中,R通道接收的信号为R,L接收的信号为L,C通道接收的信号为C,右耳输出的信号为R',左耳输出信号为L';表示两个信号的卷积,实现滤波器功能;Hlow表示一个截止频率为F1的低通滤波器;Hbandi表示一个带通滤波器,其带通频带为[Fi Fi+1];Gi表示对L、R通道接收的信号进行增益调整的滤波器增益系数,GAi表示对C通道接收的信号进行增益调整时的滤波器增益系数。
在本实施例中N=5,代表将信号划分为五个特征频带,具体的划分节点如下:F1=3kHz,F2=8kHz,F3=10kHz,F4=12kHz,F5=17kHz,F6=20kHz;其中,各个特在频带的增益因子如下:G1=1,G2=2,G3=0.5,G4=2,G5=0.5,G6=2,GA1=0.5,GA2=0,GA3=0.5,GA4=0,GA5=0.5,Gi=2表示在幅度谱有6dB的增益,Gi=0.5表示在幅度谱有3dB的衰减。通过Gi对R和L通道接收的信号的不同频带进行不同的增益调整,以及通过GAi对C通道接收的信号的不同频带进行不同的增益调整,对Hband1,Hband3,Hband5这三个前后方频谱幅度具有显著差异,且前方响应远高于后方的特征频带进行幅度增益调整后,以及对Hband2和Hband4这两个前后方频谱幅度具有显著差异并且后方响应远高于前方响应的特征频带进行幅度衰减(抑制)调整后,分别和R、L通道接收的相应频带调整后的信号相加,从而加强左右通道输出信号的前后方幅度谱差异。
应理解,对前后方位特征频带的划分以及各频带的增益因子的选择以增大前后方频谱差异为基础,同时又不得过分夸大这个差异以免引起音色上的明显失真,本发明不限于上述具体增益因子的设定和频带的划分。
可选地,作为本发明一个实施例,在第四步中,当确定声源位于终端设备的前方时,C通道接收的信号、L通道接收的信号和R通道接收的信号均为目标信号,对C通道接收的信号进行方位增强处理,同时对R通道和L通道接收的信号进行方位增强处理,并基于L通道接收的原始信号和方位增强处理的C通道的信号以及方位增强处理后的L通道接收的信号得到该终端设备的左输出信号,基于R通道接收的原始信号和方位增强处理的C通道的信号以及方位增强处理后的R通道接收的信号得到该终端设备的右输出信号;当确定声源位于终端设备的其它位置时,则左通道接收的信号作为左耳输出信号输出,右通道接收的信号作为右耳输出信号输出。当确定声源位于终端设备的前方时,具体地处理过程如下:
L &prime; = L + G 1 &times; H low &CircleTimes; L + &Sigma; i = 1 N G i + 1 &times; H bandi &CircleTimes; L + &Sigma; i = 1 N GA i &times; H bandi &CircleTimes; C ,
R &prime; = R + G 1 &times; H low &CircleTimes; R + &Sigma; i = 1 N G i + 1 &times; H bandi &CircleTimes; R + &Sigma; i = 1 N GA i &times; H bandi &CircleTimes; C
其中,R通道接收的信号为R,L接收的信号为L,C通道接收的信号为C,右耳输出的信号为R',左耳输出信号为L';表示两个信号的卷积,实现滤波器功能;Hlow表示一个截止频率为F1的低通滤波器;Hbandi表示一个带通滤波器,其带通频带为[Fi Fi+1];Gi表示对L、R通道接收的信号进行增益调整的滤波器增益系数,GAi表示对C通道接收的信号进行增益调整时的滤波器增益系数。
在本实施例中N=5,代表将信号划分为五个特征频带,具体的划分节点如下:F1=3kHz,F2=8kHz,F3=10kHz,F4=12kHz,F5=17kHz,F6=20kHz;其中,各个特在频带的增益因子如下:G1=1,G2=2,G3=0.5,G4=2,G5=0.5,G6=2,GA1=0.5,GA2=0,GA3=0.5,GA4=0,GA5=0.5,Gi=2表示在幅度谱有6dB的增益,Gi=0.5表示在幅度谱有3dB的衰减。通过Gi对R和L通道接收的信号的不同频带进行不同的增益调整,以及通过GAi对C通道接收的信号的不同频带进行不同的增益调整,对Hband1,Hband3,Hband5这三个前后方频谱幅度具有显著差异,且前方响应远高于后方的特征频带进行幅度增益调整后,以及对Hband2和Hband4这两个前后方频谱幅度具有显著差异并且后方响应远高于前方响应的特征频带进行幅度衰减(抑制)调整后,分别和R、L通道接收的相应频带调整后的信号相加,从而加强左右通道输出信号的前后方幅度谱差异。
应理解,对前后方位特征频带的划分以及各频带的增益因子的选择以增大前后方频谱差异为基础,同时又不得过分夸大这个差异以免引起音色上的明显失真,本发明不限于上述具体增益因子的设定和频带的划分。
通过上述四个步骤,本发明实施例通过确定声源相对于终端设备的位置,对声源发出的目标信号进行方位增强处理,并基于方位增强处理后的目标信号得到终端设备的输出信号,使得该输出信号的前方特征频带与后方特征频带的区分度增大,由此能够增强输出信号的声像方位感,降低将前方声像混淆为后方声像的概率。
图3是本发明另一实施例的终端设备的结构示意图。如图3中的左图所示,该终端设备为一个头戴式多媒体系统,采用左通道(L通道)、右通道(R通道)和左侧通道(CL通道)这三个位于终端不同位置的通道进行声音信号的采集,应理解本发明不局限于左侧通道,仅是以左侧通道为例进行说明,还可以是位于R通道和L通道前方且位于R通道和L通道之间的其它位置的通道。该终端设备的简化示意图如图2中右图所示,将R通道、L通道和CL通道所在的位置简化为一个半径为a的圆,坐标原点为O,入射方向与y轴的夹角为θ,CL通道与y轴的夹角为α,选用顺时针方向建立坐标系,那么正前方θ=0°,正右方对应θ=90°,正左方对应θ=270°。
第一步,采集L通道、R通道和CL通道接收到的信号。
第二步,测量L通道、R通道和CL通道接收的信号两两之间的时延差,测量两两信号之间的时延差采用频域相关法,利用上述公式(1)可以求得L通道接收的信号和CL通道接收的信号之间的时延差ITDLCL和R通道接收的信号和CL通道接收的信号之间的时延差ITDRCL以及L通道接收的信号和R通道接收的信号之间的时延差ITDLR。应理解,具体测量各个通道的信号之间时延差的方法还可以采用其它方式,本发明不限于此。
在不遮挡头部的情况下,可利用L、R、CL通道接收的信号的时延差确定声源入射方向:
&theta; LR = arcsin ( c &CenterDot; ITD LR 2 a ) - - - ( 5 )
同理有:
&theta; LCL = arcsin ( c &CenterDot; ITD LCL 2 a &times; r 1 ) - ( 45 + &alpha; 2 ) , r 1 = sin ( 90 - &alpha; 2 ) - - - ( 6 )
&theta; RCL = ( 45 + &alpha; 2 ) - arcsin ( c &CenterDot; ITD RCL 2 a &times; r 2 ) , r 2 = sin ( 90 - &alpha; 2 ) - - - ( 7 )
第三步,判断声源与终端设备的相对位置。首先,利用公式(5)至公式(7)计算θLR,θLCL和θRCL;其次,根据利用公式(1)所示的频域相关测量法确定ITDLCL、ITDRCL和ITDLR
具体地,令 c &CenterDot; ITD LR 2 a = m ;
当m大于0时,表明声源在右半平面内,则:
时,声源的方位角在0°~45°或135°~180°范围内,取θe=θLR
如果|ITDLCL|/r1>|ITDRCL|,则声源在前方;如果|ITDLCL|/r1<|ITDRCL|,则声源在后方;
时,对应声源方位角在45°~135°,取θe=θRCL
如果|ITDLCL|/r1>|ITDRCL|,则声源在前方;如果|ITDLCL|/r1<|ITDRCL|,则声源在后方;
当m>1时,取θe=θRCL
如果|ITDLCL|/r1>|ITDRCL|,则声源在前方;如果|ITDLCL|/r1<|ITDRCL|,则声源在后方;。
当m大于0时,表明声源在左半平面,则:
时,对应声源方位角在180°~225°和315°~360°,取θe=θLR
如果|ITDLCL|>|ITDRCL|/r2,则声源在后方;如果|ITDLCL|<|ITDRCL|/r2,则声源在前方;
时,对应声源方位角在225°~315°,取θe=θLCL
如果|ITDLCL|>|ITDRCL|/r2,则声源在后方;如果|ITDLCL|<|ITDRCL|/r2,则声源在前方;
m<-1时,取θe=θLCL
如果|ITDLCL|>|ITDRCL|/r2,则声源在后方;如果|ITDLCL|<|ITDRCL|/r2,则声源在前方。
第四步,当确定声源位于终端设备的前方时,CL通道接收的信号为目标信号,对CL通道接收的信号进行方位增强处理,并基于方位增强处理的CL通道的信号得到该终端设备的左输出信号和右输出信号;当确定声源位于终端设备的其它位置时,则可以直接将L道接收的信号作为左耳输出信号输出,将R道接收的信号作为右耳输出信号输出。当声源位于终端设备的前方时,具体地处理过程如下:
L &prime; = L + &Sigma; i = 1 N a i &times; GA i &times; H bandi &CircleTimes; CL ,
R &prime; = R + &Sigma; i = 1 N b i &times; GA i &times; H bandi &CircleTimes; CL
其中,R通道接收的信号为R,L接收的信号为L,CL通道接收的信号为CL,右耳输出信号为R',左耳输出信号为L';表示两个信号的卷积,能够实现滤波器功能;Hlow表示一个截止频率为F1的低通滤波器;Hbandi表示一个带通滤波器,其带通频带为[Fi Fi+1];GAi表示对C通道信号进行增益调整的滤波器增益系数;ai、bi表示在对侧方通道信号进行增益调整时幅度比例控制因子;
其中, a i 2 + b i 2 = 1 , a i b i = | H bandi &CircleTimes; L | | H bandi &CircleTimes; R | ;
引入上述幅度比例控制因子意味着对侧方通道信号的不同频带进行幅度调整时按照左右声道信号相应频带内信号的幅度关系进行调整,应理解,其中比例控制因子也可以由其它形式得出,
例如:ai+bi=1, a i b i = | H bandi &CircleTimes; L | 2 | H bandi &CircleTimes; R | 2 .
在本实施例中N=5,代表将各个通道接收的信号以相同的划分方式划分为五个特征频带,具体的划分节点如下:F1=3kHz,F2=8kHz,F3=10kHz,F4=12kHz,F5=17kHz,F6=20kHz;其中,各个特在频带的增益因子如下:GA1=1.2,GA2=-0.5,GA3=1.3,GA4=-0.5,GA5=1.2。通过GAi对中置通道信号的不同频带进行不同的增益调整,对Hband1,Hband3,Hband5这三个前后频谱幅度方具有显著差异,且前方响应远高于后方的特征频带进行幅度增益调整后,以及对Hband2和Hband4这两个前后方频谱幅度具有显著差异并且后方响应远高于前方响应的特征频带进行幅度衰减(抑制)调整后,分别和左右通道相应频带信号相加,从而加强左右通道输出信号的前后方幅度谱差异。
应理解,对前后方位特征频带的划分以及各频带的增益因子的选择以增大前后方频谱差异为基础,同时又不得过分夸大这个差异以免引起音色上的明显失真,本发明不限于上述具体增益因子数值和频带的划分,还应理解,对声源相对于终端设备方位的判断可以根据接收通道的相对位置不同有相应的计算方法,本发明不限于上述具体的计算公式。
还应理解,本发明实施例中左侧方通道CL仅仅是示例性的,位于左通道和右通道之间的其它位置的侧方通道同样可以根据图3实施例中示出的方法进行信号的收集和处理,本发明不限于此。
可选地,作为本发明一个实施例,在第四步中,当确定声源位于终端设备的前方时,CL通道接收的信号、L通道接收的信号和R通道接收的信号均为目标信号,对CL通道接收的信号进行方位增强处理,同时对R通道和L通道接收的信号进行方位增强处理,并基于方位增强处理的C通道的信号和方位增强处理的L通道的信号得到该终端设备的左输出信号,同时基于方位增强处理的C通道的信号和方位增强处理的R通道的信号得到该终端设备的右输出信号;当确定声源位于终端设备的其它位置时,则左通道接收的信号作为左耳输出信号输出,右通道接收的信号作为右耳输出信号输出。当声源位于终端设备的前方时,具体地处理过程如下:
L &prime; = G 1 &times; H low &CircleTimes; L + &Sigma; i = 1 N G i + 1 &times; H bandi &CircleTimes; L + &Sigma; i = 1 N a i &times; GA i &times; H bandi &CircleTimes; CL ,
R &prime; = G 1 &times; H low &CircleTimes; R + &Sigma; i = 1 N G i + 1 &times; H bandi &CircleTimes; R + &Sigma; i = 1 N b i &times; GA i &times; H bandi &CircleTimes; CL
其中,R通道接收的信号为R,L接收的信号为L,C通道接收的信号为C,右耳输出的信号为R',左耳输出信号为L';表示两个信号的卷积,能够实现滤波器功能;Hlow表示一个截止频率为F1的低通滤波器;Hbandi表示一个带通滤波器,其带通频带为[Fi Fi+1];Gi表示对L、R通道信号进行增益调整的滤波器增益系数,GAi表示对C通道信号进行增益调整时的滤波器增益系数,ai、bi表示在对侧方通道信号进行增益调整时幅度比例控制因子;
其中, a i 2 + b i 2 = 1 , a i b i = | H bandi &CircleTimes; L | | H bandi &CircleTimes; R | ;
引入上述幅度比例控制因子意味着对侧方通道信号的不同频带进行幅度调整时按照左右声道信号相应频带内信号的幅度关系进行调整,应理解,其中比例控制因子也可以由其它形式得出,
例如:ai+bi=1, a i b i = | H bandi &CircleTimes; L | 2 | H bandi &CircleTimes; R | 2 .
在本实施例中N=5,F1=3kHz,F2=8kHz,F3=10kHz,F4=12kHz,F5=17kHz,F6=20kHz,G1=1,G2=2,G3=0.5,G4=2,G5=0.5,G6=2,GA1=1.2,GA2=-0.5,GA3=1.3,GA4=-0.5,GA5=1.2。Gi=2表示在幅度谱有6dB的增益,Gi=0.5表示在幅度谱有3dB的衰减。通过Gi对R和L通道接收的信号的不同频带进行不同的增益调整,以及通过GAi对C通道接收的信号的不同频带进行不同的增益调整,对Hband1,Hband3,Hband5这三个前后方频谱幅度具有显著差异,且前方响应远高于后方的特征频带进行幅度增益调整后,以及对Hband2和Hband4这两个前后方频谱幅度具有显著差异并且后方响应远高于前方响应的特征频带进行幅度衰减(抑制)调整后,分别和R、L通道接收的相应频带调整后的信号相加,从而加强左右通道输出信号的前后方幅度谱差异。
应理解,对前后方位特征频带的划分以及各频带的增益因子的选择以增大前后方频谱差异为基础,同时又不得过分夸大这个差异以免引起音色上的明显失真,本发明不限于上述具体增益因子和频带的划分。
可选地,作为本发明一个实施例,在第四步中,当确定声源位于终端设备的前方时,CL通道接收的信号、L通道接收的信号和R通道接收的信号均为目标信号,对CL通道接收的信号进行方位增强处理,同时对R通道和L通道接收的信号进行方位增强处理,并基于方位增强处理的C通道的信号和方位增强处理的L通道的信号以及L通道接收的原始信号得到该终端设备的左输出信号,同时基于方位增强处理的C通道的信号和方位增强处理的R通道的信号以及R通道接收的原始信号得到该终端设备的右输出信号;当确定声源位于终端设备的其它位置时,则左通道接收的信号作为左耳输出信号输出,右通道接收的信号作为右耳输出信号输出。当声源位于终端设备的前方时,具体地处理过程如下:
L &prime; = L + G 1 &times; H low &CircleTimes; L + &Sigma; i = 1 N G i + 1 &times; H bandi &CircleTimes; L + &Sigma; i = 1 N a i &times; GA i &times; H bandi &CircleTimes; CL ,
R &prime; = R + G 1 &times; H low &CircleTimes; R + &Sigma; i = 1 N G i + 1 &times; H bandi &CircleTimes; R + &Sigma; i = 1 N b i &times; GA i &times; H bandi &CircleTimes; CL
其中,R通道接收的信号为R,L接收的信号为L,C通道接收的信号为C,右耳输出的信号为R',左耳输出信号为L';表示两个信号的卷积,能够实现滤波器功能;Hlow表示一个截止频率为F1的低通滤波器;Hbandi表示一个带通滤波器,其带通频带为[Fi Fi+1];Gi表示对L、R通道信号进行增益调整的滤波器增益系数,GAi表示对C通道信号进行增益调整时的滤波器增益系数,ai、bi表示在对侧方通道信号进行增益调整时幅度比例控制因子;
其中, a i 2 + b i 2 = 1 , a i b i = | H bandi &CircleTimes; L | | H bandi &CircleTimes; R | ;
引入上述幅度比例控制因子意味着对侧方通道信号的不同频带进行幅度调整时按照左右声道信号相应频带内信号的幅度关系进行调整,应理解,其中比例控制因子也可以由其它形式得出,
例如:ai+bi=1, a i b i = | H bandi &CircleTimes; L | 2 | H bandi &CircleTimes; R | 2 .
在本实施例中N=5,F1=3kHz,F2=8kHz,F3=10kHz,F4=12kHz,F5=17kHz,F6=20kHz,G1=1,G2=2,G3=0.5,G4=2,G5=0.5,G6=2,GA1=1.2,GA2=-0.5,GA3=1.3,GA4=-0.5,GA5=1.2。Gi=2表示在幅度谱有6dB的增益,Gi=0.5表示在幅度谱有3dB的衰减。通过Gi对R和L通道接收的信号的不同频带进行不同的增益调整,以及通过GAi对C通道接收的信号的不同频带进行不同的增益调整,对Hband1,Hband3,Hband5这三个前后方频谱幅度具有显著差异,且前方响应远高于后方的特征频带进行幅度增益调整后,以及对Hband2和Hband4这两个前后方频谱幅度具有显著差异并且后方响应远高于前方响应的特征频带进行幅度衰减(抑制)调整后,分别和R、L通道接收的相应频带调整后的信号相加,从而加强左右通道输出信号的前后方幅度谱差异。
应理解,对前后方位特征频带的划分以及各频带的增益因子的选择以增大前后方频谱差异为基础,同时又不得过分夸大这个差异以免引起音色上的明显失真,本发明不限于上述具体增益因子和频带的划分。
通过上述四个步骤,本发明实施例通过确定声源相对于终端设备的位置,对声源发出的目标信号进行方位增强处理,并基于方位增强处理后的目标信号得到终端设备的输出信号,使得该输出信号的前方特征频带与后方特征频带的区分度增大,由此能够增强输出信号的声像方位感,降低将前方声像混淆为后方声像的概率。
图4是本发明另一实施例的终端设备的结构示意图。如图4所示,该终端设备为一个头戴式多媒体系统,采用左通道(L通道)、右通道(R通道)、左侧通道(CL通道)和右侧通道(CR)这四个位于终端不同位置的通道进行声音信号的采集,其中,CL通道和CR通道属于第一类型通道,本发明实施例可以利用该第一类型通道中的一个或两个通道接收的信号作为目标信号进行方位增强处理,根据方位增强处理后的结果得到左耳输出信号和右耳输出信号。应理解,本发明不局限于增加CL通道和CR通道这种情况,可以在其它位置增加其它一个或多个通道,本发明实施例仅是以这四个通道为例进行说明。
该终端设备的简化示意图如图4中右图所示,将R通道、L通道和CL通道所在的位置简化为一个半径为a的圆,坐标原点为O,入射方向与y轴的夹角为θ,CL通道与y轴的夹角为α,选用顺时针方向建立坐标系,那么正前方θ=0°,正右方对应θ=90°,正左方对应θ=270°。
第一步,采集L通道、R通道和CL通道接收到的信号。
第二步,测量L通道、R通道和CL通道接收的信号两两之间的时延差,测量两两信号之间的时延差采用频域相关法,利用上述公式(1)可以求得L通道接收的信号和CL通道接收的信号之间的时延差ITDLCL和R通道接收的信号和CL通道接收的信号之间的时延差ITDRCL以及L通道接收的信号和R通道接收的信号之间的时延差ITDLR。应理解,还可以根据R通道、L通道和RL通道之间的位置关系得到这三个通到接收的信号的两两信号时延差,确定声源相对于终端设备的位置,具体测量各个通道的信号之间时延差的方法还可以采用其它方式,本发明不限于此。
在不遮挡头部的情况下,可利用L、R、CL通道接收的信号的时延差确定声源入射方向:
&theta; LR = arcsin ( c &CenterDot; ITD LR 2 a ) - - - ( 8 )
同理有:
&theta; LCL = arcsin ( c &CenterDot; ITD LCL 2 a &times; r 1 ) - ( 45 + &alpha; 2 ) , r 1 = sin ( 90 - &alpha; 2 ) - - - ( 9 )
&theta; RCL = ( 45 + &alpha; 2 ) - arcsin ( c &CenterDot; ITD RCL 2 a &times; r 2 ) , r 2 = cos ( 90 - &alpha; 2 ) - - - ( 10 )
第三步,确定声源与终端设备的相对位置。首先,利用公式(8)至公式(10)计算θLR,θLCL和θRCL;其次,根据利用公式(1)所示的频域相关测量法确定ITDLCL、ITDRCL和ITDLR
具体地,令 c &CenterDot; ITD LR 2 a = m ;
当m大于0时,表明声源在右半平面内,则:
时,声源的方位角在0°~45°或135°~180°范围内,取θe=θLR
如果|ITDLCL|/r1>|ITDRCL|,则声源在前方;如果|ITDLCL|/r1<|ITDRCL|,则声源在后方;
时,对应声源方位角在45°~135°,取θe=θRCL
如果|ITDLCL|/r1>|ITDRCL|,则声源在前方;如果|ITDLCL|/r1<|ITDRCL|,则声源在后方;
当m>1时,取θe=θRCL
如果|ITDLCL|/r1>|ITDRCL|,则声源在前方;如果|ITDLCL|/r1<|ITDRCL|,则声源在后方;。
当m大于0时,表明声源在左半平面,则:
时,对应声源方位角在180°~225°和315°~360°,取θe=θLR
如果|ITDLCL|>|ITDRCL|/r2,则声源在后方;如果|ITDLCL|<|ITDRCL|/r2,则声源在前方;
时,对应声源方位角在225°~315°,取θe=θLCL
如果|ITDLCL|>|ITDRCL|/r2,则声源在后方;如果|ITDLCL|<|ITDRCL|/r2,则声源在前方;
m<-1时,取θe=θLCL
如果|ITDLCL|>|ITDRCL|/r2,则声源在后方;如果|ITDLCL|<|ITDRCL|/r2,则声源在前方。
第四步,当确定声源位于终端设备的前方时,CL通道接收的信号为目标信号,对CL通道接收的信号进行方位增强处理,并基于方位增强处理的CL通道的信号得到该终端设备的左输出信号和右输出信号;也可以将L通道接收的信号、R通道接收的信号和CL通道接收的信号为目标信号,对上述信号进行方位增强处理,并基于方位增强处理的L通道接收的信号、R通道接收的信号和CL通道的信号得到该终端设备的左输出信号和右输出信号;当确定声源位于终端设备的其它位置时,则可以直接将L道接收的信号作为左耳输出信号输出,将R道接收的信号作为右耳输出信号输出。当声源位于终端设备的前方时,具体地处理过程可以按如下方式:
L &prime; = L + &Sigma; i = 1 N a i &times; GA i &times; H bandi &CircleTimes; CL , R &prime; = R + &Sigma; i = 1 N b i &times; GA i &times; H bandi &CircleTimes; CL ;
L &prime; = G 1 &times; H low &CircleTimes; L + &Sigma; i = 1 N G i + 1 &times; H bandi &CircleTimes; L + &Sigma; i = 1 N a i &times; GA i &times; H bandi &CircleTimes; CL , R &prime; = G 1 &times; H low &CircleTimes; R + &Sigma; i = 1 N G i + 1 &times; H bandi &CircleTimes; R + &Sigma; i = 1 N b i &times; GA i &times; H bandi &CircleTimes; CL ;
L &prime; = L + G 1 &times; H low &CircleTimes; L + &Sigma; i = 1 N G i + 1 &times; H bandi &CircleTimes; L + &Sigma; i = 1 N a i &times; GA i &times; H bandi &CircleTimes; CL , R &prime; = R + G 1 &times; H low &CircleTimes; R + &Sigma; i = 1 N G i + 1 &times; H bandi &CircleTimes; R + &Sigma; i = 1 N b i &times; GA i &times; H bandi &CircleTimes; CL ;
其中,R通道接收的信号为R,L接收的信号为L,CL通道接收的信号为CL,右耳输出信号为R',左耳输出信号为L';表示两个信号的卷积,能够实现滤波器功能;Hlow表示一个截止频率为F1的低通滤波器;Hbandi表示一个带通滤波器,其带通频带为[Fi Fi+1];GAi表示对C通道信号进行增益调整的滤波器增益系数;ai、bi表示在对侧方通道信号进行增益调整时幅度比例控制因子;
其中, a i 2 + b i 2 = 1 , a i b i = | H bandi &CircleTimes; L | | H bandi &CircleTimes; R | ;
引入上述幅度比例控制因子意味着对侧方通道信号的不同频带进行幅度调整时按照左右声道信号相应频带内信号的幅度关系进行调整,应理解,其中比例控制因子也可以由其它形式得出,
例如:ai+bi=1, a i b i = | H bandi &CircleTimes; L | 2 | H bandi &CircleTimes; R | 2 .
在本实施例中N=5,代表将各个通道接收的信号以相同的划分方式划分为五个特征频带,具体的划分节点如下:F1=3kHz,F2=8kHz,F3=10kHz,F4=12kHz,F5=17kHz,F6=20kHz;其中,各个特在频带的增益因子如下:GA1=1.2,GA2=-0.5,GA3=1.3,GA4=-0.5,GA5=1.2。通过GAi对中置通道信号的不同频带进行不同的增益调整,对Hband1,Hband3,Hband5这三个前后频谱幅度方具有显著差异,且前方响应远高于后方的特征频带进行幅度增益调整后,以及对Hband2和Hband4这两个前后方频谱幅度具有显著差异并且后方响应远高于前方响应的特征频带进行幅度衰减(抑制)调整后,分别和左右通道相应频带信号相加,从而加强左右通道输出信号的前后方幅度谱差异。
应理解,对前后方位特征频带的划分以及各频带的增益因子的选择以增大前后方频谱差异为基础,同时又不得过分夸大这个差异以免引起音色上的明显失真,本发明不限于上述具体增益因子数值和频带的划分,还应理解,对声源相对于终端设备方位的判断可以根据接收通道的相对位置不同有相应的计算方法,本发明不限于上述具体的计算公式。
可选地,作为一个实施例,在第四步中,当确定声源位于终端设备的前方时,CL通道接收的信号为目标信号,对CL通道接收的信号进行方位增强处理,并基于方位增强处理后的CL通道的信号得到该终端设备的左输出信号和右输出信号;也可以将L通道接收的信号、R通道接收的信号和CL通道接收的信号为目标信号,对上述信号进行方位增强处理,并基于方位增强处理的L通道接收的信号、R通道接收的信号和CL通道的信号得到该终端设备的左输出信号和右输出信号;当确定声源位于终端设备的其它位置时,则可以直接将L道接收的信号作为左耳输出信号输出,将R道接收的信号作为右耳输出信号输出。当声源位于终端设备的前方时,具体地处理过程如下:
L &prime; = L + &Sigma; i = 1 N a i &times; GA i &times; H bandi &CircleTimes; CR , R &prime; = R + &Sigma; i = 1 N b i &times; GA i &times; H bandi &CircleTimes; CR ;
L &prime; = G 1 &times; H low &CircleTimes; L + &Sigma; i = 1 N G i + 1 &times; H bandi &CircleTimes; L + &Sigma; i = 1 N a i &times; GA i &times; H bandi &CircleTimes; CR , R &prime; = G 1 &times; H low &CircleTimes; R + &Sigma; i = 1 N G i + 1 &times; H bandi &CircleTimes; R + &Sigma; i = 1 N b i &times; GA i &times; H bandi &CircleTimes; CR ;
L &prime; = L + G 1 &times; H low &CircleTimes; L + &Sigma; i = 1 N G i + 1 &times; H bandi &CircleTimes; L + &Sigma; i = 1 N a i &times; GA i &times; H bandi &CircleTimes; CR , R &prime; = R + G 1 &times; H low &CircleTimes; R + &Sigma; i = 1 N G i + 1 &times; H bandi &CircleTimes; R + &Sigma; i = 1 N b i &times; GA i &times; H bandi &CircleTimes; CR ;
其中,R通道接收的信号为R,L接收的信号为L,CR通道接收的信号为CR,右耳输出信号为R',左耳输出信号为L';表示两个信号的卷积,能够实现滤波器功能;Hlow表示一个截止频率为F1的低通滤波器;Hbandi表示一个带通滤波器,其带通频带为[Fi Fi+1];GAi表示对C通道信号进行增益调整的滤波器增益系数;ai、bi表示在对侧方通道信号进行增益调整时幅度比例控制因子;
其中, a i 2 + b i 2 = 1 , a i b i = | H bandi &CircleTimes; L | | H bandi &CircleTimes; R | ;
引入上述幅度比例控制因子意味着对侧方通道信号的不同频带进行幅度调整时按照左右声道信号相应频带内信号的幅度关系进行调整,应理解,其中比例控制因子也可以由其它形式得出,
例如:ai+bi=1, a i b i = | H bandi &CircleTimes; L | 2 | H bandi &CircleTimes; R | 2 .
在本实施例中N=5,代表将各个通道接收的信号以相同的划分方式划分为五个特征频带,具体的划分节点如下:F1=3kHz,F2=8kHz,F3=10kHz,F4=12kHz,F5=17kHz,F6=20kHz;其中,各个特在频带的增益因子如下:GA1=1.2,GA2=-0.5,GA3=1.3,GA4=-0.5,GA5=1.2。通过GAi对中置通道信号的不同频带进行不同的增益调整,对Hband1,Hband3,Hband5这三个前后频谱幅度方具有显著差异,且前方响应远高于后方的特征频带进行幅度增益调整后,以及对Hband2和Hband4这两个前后方频谱幅度具有显著差异并且后方响应远高于前方响应的特征频带进行幅度衰减(抑制)调整后,分别和左右通道相应频带信号相加,从而加强左右通道输出信号的前后方幅度谱差异。
应理解,对前后方位特征频带的划分以及各频带的增益因子的选择以增大前后方频谱差异为基础,同时又不得过分夸大这个差异以免引起音色上的明显失真,本发明不限于上述具体增益因子数值和频带的划分,还应理解,对声源相对于终端设备方位的判断可以根据接收通道的相对位置不同有相应的计算方法,本发明不限于上述具体的计算公式。
可选地,作为一个实施例,在第四步中,当确定声源位于终端设备的前方时,CL和CR通道接收的信号均为目标信号,对CR通道接收的信号进行方位增强处理,对CL通道接收的信号也进行方位增强处理,并基于方位增强处理后的CR通道的信号和方位增强处理后的CL通道的信号得到该终端设备的左输出信号和右输出信号;也可以将L通道接收的信号、R通道接收的信号、CR通道接收的信号和CL通道接收的信号为目标信号,对上述信号进行方位增强处理,并基于方位增强处理的L通道接收的信号、R通道接收的信号、CR通道接收的信号和CL通道的信号得到该终端设备的左输出信号和右输出信号;当声源位于终端设备的其它位置时,则可以直接将L道接收的信号作为左耳输出信号输出,将R道接收的信号作为右耳输出信号输出。当声源位于终端设备的前方时,具体地处理过程如下:
L &prime; = L + &Sigma; i = 1 N a i &times; GA i &times; H bandi &CircleTimes; CR + &Sigma; i = 1 N a i &times; GA i &times; H bandi &CircleTimes; CL , R &prime; = R + &Sigma; i = 1 N b i &times; GA i &times; H bandi &CircleTimes; CR + &Sigma; i = 1 N b i &times; GA i &times; H bandi &CircleTimes; CL ;
L &prime; = G 1 &times; H low &CircleTimes; L + &Sigma; i = 1 N G i + 1 &times; H bandi &CircleTimes; L + &Sigma; i = 1 N a i &times; GA i &times; H bandi &CircleTimes; CR + &Sigma; i = 1 N a i &times; GA i &times; H bandi &CircleTimes; CL , R &prime; = G 1 &times; H low &CircleTimes; R + &Sigma; i = 1 N G i + 1 &times; H bandi &CircleTimes; R + &Sigma; i = 1 N b i &times; GA i &times; H bandi &CircleTimes; CR + &Sigma; i = 1 N b i &times; CA i &times; H bandi &CircleTimes; CL ;
L &prime; = L &times; G 1 + H low &CircleTimes; L + &Sigma; i = 1 N G i + 1 &times; H bandi &CircleTimes; L + &Sigma; i = 1 N a i &times; GA i &times; H bandi &CircleTimes; CR + &Sigma; i = 1 N a i &times; GA i &times; H bandi &CircleTimes; CL , R &prime; = R + G 1 &times; H low &CircleTimes; R + &Sigma; i = 1 N G i + 1 &times; H bandi &CircleTimes; R + &Sigma; i = 1 N b i &times; GA i &times; H bandi &CircleTimes; CR + &Sigma; i = 1 N b i &times; GA i &times; H bandi &CircleTimes; CL ;
其中,R通道接收的信号为R,L接收的信号为L,CR通道接收的信号为CR,CL通道接收的信号为CL,右耳输出信号为R',左耳输出信号为L';表示两个信号的卷积,能够实现滤波器功能;Hlow表示一个截止频率为F1的低通滤波器;Hbandi表示一个带通滤波器,其带通频带为[Fi Fi+1];GAi表示对C通道信号进行增益调整的滤波器增益系数;ai、bi表示在对侧方通道信号进行增益调整时幅度比例控制因子;
其中, a i 2 + b i 2 = 1 , a i b i = | H bandi &CircleTimes; L | | H bandi &CircleTimes; R | ;
引入上述幅度比例控制因子意味着对侧方通道信号的不同频带进行幅度调整时按照左右声道信号相应频带内信号的幅度关系进行调整,应理解,其中比例控制因子也可以由其它形式得出,
例如:ai+bi=1, a i b i = | H bandi &CircleTimes; L | 2 | H bandi &CircleTimes; R | 2 .
在本实施例中N=5,代表将各个通道接收的信号以相同的划分方式划分为五个特征频带,具体的划分节点如下:F1=3kHz,F2=8kHz,F3=10kHz,F4=12kHz,F5=17kHz,F6=20kHz;其中,各个特在频带的增益因子如下:GA1=1.2,GA2=-0.5,GA3=1.3,GA4=-0.5,GA5=1.2。通过GAi对中置通道信号的不同频带进行不同的增益调整,对Hband1,Hband3,Hband5这三个前后频谱幅度方具有显著差异,且前方响应远高于后方的特征频带进行幅度增益调整后,以及对Hband2和Hband4这两个前后方频谱幅度具有显著差异并且后方响应远高于前方响应的特征频带进行幅度衰减(抑制)调整后,分别和左右通道相应频带信号相加,从而加强左右通道输出信号的前后方幅度谱差异。
应理解,对前后方位特征频带的划分以及各频带的增益因子的选择以增大前后方频谱差异为基础,同时又不得过分夸大这个差异以免引起音色上的明显失真,本发明不限于上述具体增益因子数值和频带的划分,还应理解,对声源相对于终端设备方位的判断可以根据接收通道的相对位置不同有相应的计算方法,本发明不限于上述具体的计算公式。
还应理解,上述目标信号的组合方式只是几种较为优选的方案,本发明实施例并没有穷尽各种可能的组合方式,图5是本发明另一实施例的终端设备的结构示意图。如图5所示,该终端设备为一个头戴式多媒体系统,采用左通道(L通道)、右通道(R通道)、左侧通道(CL通道)、右侧通道1(CR1通道)和右侧通道2(CR2通道)这五个位于终端不同位置的通道进行声音信号的采集,应理解本发明不局限于增加C通道、CL通道、CR1通道和CR2通道这种情况,可以在其它位置增加其它通道,本发明实施例仅是以这五个通道为例进行说明。
第一步,采集通道L通道、R通道、CL通道、CR1通道和CR2通道接收到的信号。
第二步,测量L通道、R通道和CL通道接收的信号的两两之间的时延差;或测量L通道、R通道和CR1通道接收的信号的两两之间的时延差;或测量L通道、R通道和CR2通道接收的信号的两两之间的时延差;采用频域相关法得到两两信号之间的时延差,具体测量方法与图2至图4实施例示出的方法类似,此处不再赘述。
第三步,判断声源与终端设备的相对位置,具体判断方法与图2至图4实施例示出的方法类似,此处不再赘述。
第四步,当确定声源位于终端设备的前方时,CR1通道、CR2通道和CL通道属于第一类型通道,选择CR1通道、CR2通道和CL通道接收的信号中的至少一个作为目标信号进行方位增强处理,该方位增强处理后的信号为第一类型处理信号,基于该第一类型处理信号和L通道、R通道接收的信号可以得到左耳输出信号和右耳输出信号,也可以基于该第一类型处理信号和进行方位增强处理后的L通道、R通道接收的信号得到左耳输出信号和右耳输出信号。应理解,CR1通道、CR2通道和CL仅仅是示例性的通道,它们属于同一类型的通道,该类型的通道位于R通道和L通道的前方且位于R通道和L通道之间,具体应用中可以选择该类型通道中的一个或多个通道接收的信号作为目标信号进行方位增强处理,根据方位增强处理后的结果得到左耳输出信号和右耳输出信号,本发明不限于此。
图6是本发明另一实施例的终端设备的结构示意图。如图6所示,该终端设备为一个头戴式多媒体系统,采用左通道(L通道)、右通道(R通道)、中置通道(C通道)、左侧通道(CL通道)和右侧通道(CR)这五个位于终端不同位置的通道进行声音信号的采集,应理解本发明不局限于增加C通道、CL通道和CR通道这种情况,可以在其它位置增加其它通道,本发明实施例仅是以这五个通道为例进行说明。
第一步,采集L通道、R通道、C通道、CL通道和CR通道分别接收到的各个信号。
第二步,测量L通道、R通道、C通道、CL通道和CR通道分别接收到的各个信号中三个信号两两之间的时延差,并利用公式(1)求得三个信号两两之间的时延差,这三个用于判断时延差的信号的接收通道的位置之间能够构成三角形关系。应理解,具体策略各个通道的信号两两之间时延差的方法还可以采用其它方式,本发明不限与此。
第三步,判断声源与终端设备的相对位置。该步骤与上述实施例中确定声源与终端设备的相对方位的方法类似,在这里不再赘述。
第四步,当确定声源位于终端设备的前方时,对CL通道、CR通道或C通道接收的信号进行方位增强处理,并基于方位增强处理的CL通道、CR通道或C通道接收的信号得到该终端设备的左输出信号和右输出信号;当确定声源位于终端设备的其它位置时,则可以直接将L道接收的信号作为左耳输出信号输出,将R道接收的信号作为右耳输出信号输出。当设备位于终端设备的前方时,具体地处理过程如下:
当0°<θe≤30°或330°<θe≤360°,其中声源方位角为θe,即声源近似位于终端设备的正前方位时,应理解,当0°<θe≤30°或330°<θe≤360°意味着当声源位于前方的某一区间时,可以将中置通道C通道接收的信号作为目标信号进行处理,具体地,可以按照下式得到左右耳的输出信号:
L &prime; = L + &Sigma; i = 1 N GA i &times; H bandi &CircleTimes; C ,
R &prime; = R + &Sigma; i = 1 N GA i &times; H bandi &CircleTimes; C
其中,R通道接收的信号为R,L接收的信号为L,C通道接收的信号为C,右耳输出信号为R',左耳输出信号为L';表示两个信号的卷积,实现滤波器功能;Hlow表示一个截止频率为F1的低通滤波器;Hbandi表示一个带通滤波器,其带通频带为[Fi Fi+1];GAi表示对C通道信号进行增益调整的滤波器增益系数。通过对C通道接收的信号进行方位增强处理,基于方位增强处理后的信号得到左右耳输出信号。应理解,也可以对R通道接收的信号为R、L接收的信号为L和C通道接收的信号C同时进行方位增强处理,基于方位增强处理后的上述信号得到左右耳输出信号。
在本实施例中N=5,F1=3kHz,F2=8kHz,F3=10kHz,F4=12kHz,F5=17kHz,F6=20kHz,GA1=1.2,GA2=-0.5,GA3=1.3,GA4=-0.5,GA5=1.2。通过GAi对中置通道信号的不同频带进行不同的增益调整,对Hband1,Hband3,Hband5这三个前后方频谱强度具有显著差异,且前方响应远高于后方的特征频带进行幅度调整后,以及对Hband2和Hband4这两个前后方频谱幅度具有显著差异并且后方响应远高于前方响应的特征频带进行幅度衰减(抑制)调整后,分别和左右通道相应频带信号相加,从而加强左右通道的前后方幅度谱差异。
应理解,对前后方位特征频带的划分以及各频带的增益因子的选择以增大前后方频谱差异为基础,同时又不得过分夸大这个差异以免引起音色上的明显失真,本发明不限于上述具体增益因子和频带的划分。
当30°<θe≤90°,其中声源方位角θe,应理解,当30°<θe≤90°意味着当声源位于前方的右侧方某一区间时,可以将中置通道CR通道接收的信号作为目标信号进行处理,具体地,可以按照下式得到左右耳输出信号:
L &prime; = L + &Sigma; i = 1 N a i &times; GA i &times; H bandi &CircleTimes; CR ,
R &prime; = R + &Sigma; i = 1 N b i &times; GA i &times; H bandi &CircleTimes; CR
其中,R通道接收的信号为R,L接收的信号为L,CR通道接收的信号为CR,右耳输出信号为R',左耳输出信号为L';表示两个信号的卷积,实现滤波器功能;Hlow表示一个截止频率为F1的低通滤波器;Hbandi表示一个带通滤波器,其带通频带为[Fi Fi+1];GAi表示对CR通道信号进行增益调整的滤波器增益系数;ai、bi表示在对侧方通道信号进行增益调整时幅度比例控制因子;
其中, a i 2 + b i 2 = 1 , a i b i = | H bandi &CircleTimes; L | | H bandi &CircleTimes; R | .
引入幅度比例控制因子即意味着对侧方通道信号的不同频带进行幅度调整时按照左右声道信号相应频带内信号的幅度比例进行调整,应理解,其中比例控制因子也可以采用其它形式得出,
例如:ai+bi=1,本发明不做限定。
通过对CR通道接收的信号进行方位增强处理,基于方位增强处理后的信号得到左右耳输出信号。应理解,也可以对R通道接收的信号R、L接收的信号L和CR通道接收的信号CR同时进行方位增强处理,基于方位增强处理后的上述信号得到左右耳输出信号。
在本实施例中N=5,F1=3kHz,F2=8kHz,F3=10kHz,F4=12kHz,F5=17kHz,F6=20kHz,GA1=1.2,GA2=-0.5,GA3=1.3,GA4=-0.5,GA5=1.2。通过GAi对中置通道信号的不同频带进行不同的增益调整,对Hband1,Hband3,Hband5这三个前后方频谱幅度具有显著差异,且前方响应远高于后方的特征频带进行幅度调整后,以及对Hband2和Hband4这两个前后方频谱幅度具有显著差异并且后方响应远高于前方响应的特征频带进行幅度衰减(抑制)调整后,分别和左右通道相应频带信号相加,从而加强左右通道输出信号的前后方幅度谱差异。
应理解,对前后方位特征频带的划分以及各频带的增益因子的选择以增大前后方频谱差异为基础,同时又不得过分夸大这个差异以免引起音色上的明显失真,本发明不限于上述具体增益因子和频带的划分。
当270°≤θe<330°,其中声源方位角θe,应理解,当270°≤θe<330°意味着当声源位于前方的左侧方某一区间时,可以将中置通道CR通道接收的信号作为目标信号进行处理,具体地,可以按照下式得到左右耳输出信号:
L &prime; = L + &Sigma; i = 1 N a i &times; GA i &times; H bandi &CircleTimes; CL ,
R &prime; = R + &Sigma; i = 1 N b i &times; GA i &times; H bandi &CircleTimes; CL
其中,R通道接收的信号为R,L接收的信号为L,CL通道接收的信号为CL,右耳输出信号为R',左耳输出信号为L';表示两个信号的卷积,实现滤波器功能;Hlow表示一个截止频率为F1的低通滤波器;Hbandi表示一个带通滤波器,其带通频带为[Fi Fi+1];GAi表示对CR通道信号进行增益调整的滤波器增益系数;ai、bi表示在对侧方通道信号进行增益调整时幅度比例控制因子;
其中, a i 2 + b i 2 = 1 , a i b i = | H bandi &CircleTimes; L | | H bandi &CircleTimes; R | .
引入幅度比例控制因子即意味着对侧方通道信号的不同频带进行幅度调整时按照左右声道信号相应频带内信号的幅度比例进行调整,应理解,其中比例控制因子也可以采用其它形式得出,
例如:ai+bi=1, a i b i = | H bandi &CircleTimes; L | 2 | H bandi &CircleTimes; R | 2 .
通过对CR通道接收的信号进行方位增强处理,基于方位增强处理后的信号得到左右耳输出信号。应理解,也可以对R通道接收的信号R、L接收的信号L和CR通道接收的信号CR同时进行方位增强处理,基于方位增强处理后的上述信号得到左右耳输出信号。
在本实施例中N=5,F1=3kHz,F2=8kHz,F3=10kHz,F4=12kHz,F5=17kHz,F6=20kHz,GA1=1.2,GA2=-0.5,GA3=1.3,GA4=-0.5,GA5=1.2。通过GAi对中置通道信号的不同频带进行不同的增益调整,对Hband1,Hband3,Hband5这三个前后方频谱强度具有显著差异,且前方响应远高于后方的特征频带进行幅度调整后分,以及对Hband2和Hband4这两个前后方频谱幅度具有显著差异并且后方响应远高于前方响应的特征频带进行幅度衰减(抑制)调整后,别和左右通道相应频带信号相加,从而加强左右通道输出信号的前后方幅度谱差异。
应理解,对前后方位特征频带的划分以及各频带的增益因子的选择以增大前后方频谱差异为基础,同时又不得过分夸大这个差异以免引起音色上的明显失真,本发明不限于上述具体增益因子和频带的划分。
还应理解,本发明实施例对前方划分为三个区间仅仅是示例性的,还可以根据终端设备的通道数目,实际声源的位置对前方区间进行其它方式的划分;同时也可以选择不同的通道接收的信号作为目标信号进行方位增强处理,只要是能够达到增强输出信号的声像方位感,降低将前方声像信号误判为后方声像信号的概率的组合形式都可以实行,本发明不限于此。
图7示出了本发明另一实施例的一种处理声音信号的方法的示意性流程图。
可选地,作为本发明一个实施例,以具有R通道、L通道和C通道的多媒体头戴设备为例,整个信号处理的过程如下:
步骤701,采集并读取左右通道及中置通道接收的信号;
步骤702,判断声源是否位于前方,该过程包括确定R通道、L通道和C通道的接收的信号两两之间的时延差,根据该三个信号之间两两时延差,确定声源相对与终端设备的方位。确定方位的方法如图2至图6所示出的方法,此处不再赘述。
当声源不在该终端设备的前方时,不对采集的声音信号进行处理,左耳输出的信号的为L通道接收的信号,右耳输出的信号为R通道接收的信号。
当声源位于该终端设备的前方时,对接收的声音信号的目标信号进行方位增强处理,在本发明实施例中,目标信号为C通道接收的信号。具体过程如步骤703和步骤704示出。在步骤703中,将R、L、C通道接收的声音信号划分为三个前方特征频带1、2和3,对这三个前方特征频带进行带通滤波,而对其它频带不进行任何处理。
步骤704,对各个特征频带中的C通道接收的信号进行信号增强处理,具体地,特征频带1的增益因子为GA1,对特征频带2的增益因子GA2,对特征频带3的增益因子为GA3;以及,对各个频带中的R和L通道接收的信号进行信号增强处理,其中,特征频带1的增益因子为G1,特征频带2的增益因子为G2,特征频带3的增益因子为G3。
基于方位增强处理的C通道接收的信号和方位增强处理的R通道接收的信号得到右耳输出信号;基于方位增强处理的C通道接收的信号和方位增强处理的L通道接收的信号得到左耳输出信号,完成整个信号处理的过程。
应理解,本发明实施例还以通过对声源信号中的目标信号的后方特征频带进行信号抑制处理,以增强信号的前方特征频带和后方特征频带的区分度,以达到降低前后声像混淆,增强声像方向感的效果。
图1至图7是从终端设备实现方法的角度对本发明具体实施过程进行描述,图8至图10从装置的角度对该终端设备进行描述。
图8是本发明实施例的一个终端设备的示意性框图。图8的终端设备包括接收模块810、确定模块820、判断模块830以及处理模块840。
接收模块810,接收模块包括位于终端设备不同位置的至少三个接收通道,至少三个接收通道用于接收同一声源发出的至少三个信号,其中,该至少三个信号与上述通道一一对应。
确定模块820,用于根据接收模块810接收的至少三个信号中的三个信号,确定三个信号两两之间信号时延差,信号时延差能够判断声源相对于终端设备的位置。
判断模块830,用于根据确定模块820得到的信号时延差,判断声源相对于终端设备的位置。
处理模块840,用于当判断模块830判定声源位于终端设备的前方时,对至少三个信号中的目标信号进行方位增强处理,根据方位增强处理的结果,得到终端设备的第一输出信号和第二输出信号,其中,方位增强处理用于增大目标信号的前方特征频带和后方特征频带的区分度。
本发明实施例通过确定声源相对于终端设备的位置,对声源发出的目标信号进行方位增强处理,根据方位增强处理后的结果,得到终端设备的输出信号,使得该输出信号的前方特征频带与后方特征频带的区分度增大,由此能够增强输出信号的声像方位感,降低将前方声像误判为后方声像的概率。
图9是本发明实施例的一个终端设备的示意性框图。
可选地,作为一个实施例,接收模块810包括第一通道、第二通道和第三通道,该至少三个信号包括第一通道接收的第一信号、第二通道接收的第二信号和第三通道接收的第三信号,第一通道比第二通道和第三通道更靠近前方,第一通道位于第二通道和第三通道之间;其中,处理模块840包括第一处理单元910和第二处理单元920,当判断模块830判定声源位于终端设备的前方时,第一处理单元910用于:对第一信号进行方位增强处理,得到第一处理信号,其中第一信号为目标信号;其中,所述第二处理单元920用于:根据第二信号和第一处理单元910得到的第一处理信号得到第一输出信号;根据第三信号和第一处理单元910得到的所述第一处理信号得到所述第二输出信号。
可选地,作为一个实施例,接收模块810包括第一通道、第二通道和第三通道,至少三个信号包括第一通道接收的第一信号、第二通道接收的第二信号和第三通道接收的第三信号,第一通道比第二通道和第三通道更靠近前方,第一通道位于第二通道和第三通道之间;其中,处理模块840包括第一处理单元910和第二处理单元920,当所述判断模块830判定所述声源位于所述终端设备的前方时,第一处理单元910用于:对第一信号进行方位增强处理得到第一处理信号,对第二信号进行方位增强处理得到第二处理信号,对第三信号进行方位增强处理得到第三处理信号,其中,第一信号、第二信号和第三信号均为目标信号;其中,第二处理单元920用于:根据第一处理单元910得到的第一处理信号和第二处理信号得到第一输出信号;根据第一处理单元920得到的第一处理信号和第三处理信号得到第二输出信号。
可选地,作为一个实施例,接收模块810包括第一通道、第二通道和第三通道,至少三个信号包括第一通道接收的第一信号、第二通道接收的第二信号和第三通道接收的第三信号,第一通道比第二通道和第三通道更靠近前方,第一通道位于第二通道和第三通道之间;其中,处理模块840包括第一处理单元910和第二处理单元920,当判断模块830判定所述声源位于所述终端设备的前方时,第一处理单元910用于:对第一信号进行方位增强处理得到第一处理信号,对第二信号进行方位增强处理得到第二处理信号,对第三信号进行方位增强处理得到第三处理信号,其中第一信号、第二信号和第三信号均为目标信号;其中,第二处理单元920用于:根据第二信号和第一处理单元910得到的第一处理信号、第一处理单元910得到的第二处理信号得到第一输出信号;根据第三信号和第一处理单元910得到的第一处理信号、第一处理单元910得到的第三处理信号得到第二输出信号。
可选地,作为一个实施例,处理模块840还包括第三处理单元930,第三处理单元930用于:根据第二信号每个特征频带内的信号幅度与第三信号每个特征频带内的信号幅度,对第一处理单元910得到的第一处理信号对应的每个特征频带进行幅度调整,以得到第一输出信号和第二输出信号,其中,第一处理信号、第二信号与第三信号的每个特征频带划分方式相同。
可选地,作为一个实施例,接收模块810包括第一类型通道、第二通道和第三通道,至少三个信号包括第一通道接收的第一类型信号、第二通道接收的第二信号和第三通道接收的第三信号,第一类型通道包括至少两个通道,至少两个通道分别用于接收至少两个信号,第一类型通道中任意一个通道比第二通道和第三通道更靠近前方,第一类型通道中任意一个通道位于第一通道和第二通道之间;其中,处理模块840包括第一处理单元910和第二处理单元920,当判断模块830判定声源位于终端设备的前方时,第一处理单元910用于:对第一类型信号中的至少一个信号进行方位增强处理得到第一类型处理信号,对第二信号进行方位增强处理得到第二处理信号,对第三信号进行方位增强处理得到第三处理信号,其中第一类型信号中的至少一个信号为目标信号;其中,第二处理单元920用于:根据第二信号和第一处理单元910得到的第一类型处理信号得到第一输出信号;根据第三信号和第一处理单元910得到的第一类型处理信号得到第二输出信号。
可选地,作为一个实施例,接收模块810包括第一类型通道、第二通道和第三通道,至少三个信号包括第一通道接收的第一类型信号、第二通道接收的第二信号和第三通道接收的第三信号,第一类型通道包括至少两个通道,至少两个通道分别用于接收至少两个信号,第一类型通道中任意一个通道比第二通道和第三通道更靠近前方,第一类型通道位于第一通道和第二通道之间;其中,处理模块840包括第一处理单元910和第二处理单元920,当判断模块830判定声源位于终端设备的前方时,第一处理单元910用于:对第一类型信号中的至少一个信号进行方位增强处理得到第一类型处理信号,对第二信号进行方位增强处理得到第二处理信号,对第三信号进行方位增强处理得到第三处理信号,其中第一类型信号中的至少一个信号、第二信号和第三信号为所述目标信号;其中,第二处理单元920用于:根据第一处理单元910得到的第一类型处理信号和第一处理单元910得到的第二处理信号得到第一输出信号;根据第一处理单元910得到的第一类型处理信号和第一处理单元910得到的第三处理信号得到第二输出信号。
可选地,作为一个实施例,接收模块810包括第一类型通道、第二通道和第三通道,至少三个信号包括第一通道接收的第一类型信号、第二通道接收的第二信号和第三通道接收的第三信号,第一类型通道包括至少两个通道,至少两个通道分别用于接收至少两个信号,第一类型通道中任意一个通道比第二通道和第三通道更靠近前方,第一类型通道位于第一通道和第二通道之间;其中,处理模块840包括第一处理单元910和第二处理单元920,当判断模块830判定声源位于终端设备的前方时,第一处理单元910用于:对第一类型信号中的至少一个信号进行方位增强处理得到第一类型处理信号,对第二信号进行方位增强处理得到第二处理信号,对第三信号进行方位增强处理得到第三处理信号,其中第一类型信号中的至少一个信号、第二信号和所述第三信号为所述目标信号;其中,第二处理单元920用于:根据第二信号和第一处理单元910得到的第一类型处理信号、第一处理单元910得到的第二处理信号得到第一输出信号;根据第三信号和第一处理单元910得到的第一类型处理信号、第一处理单元910得到的第三处理信号得到第二输出信号。
可选地,作为一个实施例,接收模块810包括第一通道、第二通道、第三通道、第四通道和第五通道,至少三个信号包括第一通道接收的第一信号、第二通道接收的第二信号、第三通道接收的第三信号、第四通道接收的第四信号和第五通道接收的第五信号,第一通道、第二通道或第三通道比第四通道和第五通道更靠近前方,第一通道、第二通道和第三通道位于第四通道和第五通道之间,终端设备的前方划分为相邻的第一区间、第二区间和第三区间;其中,处理模块840包括第一处理单元910和第二处理单元920,当判断模块830判定声源位于第一区间且第一信号为所述目标信号时,第一处理单元910用于:对第一信号进行方位增强处理,得到第一处理信号;当判断模块830判定声源位于终端设备的第二区间且第二信号为所述目标信号时,第一处理单元910用于对第二信号进行方位增强处理,得到第二处理信号;当判断模块830判定声源位于终端设备的第三区间且第三信号为目标信号时,第一处理单元910用于对第三信号进行方位增强处理,得到第三处理信号;其中,当判断模块830判定声源位于第一区间时,第二处理单元920用于:根据第四信号和第一处理单元910得到的第一处理信号得到第一输出信号,根据第五信号和第一处理单元910得到的第一处理信号得到第二输出信号;当判断模块830判定声源位于第二区间时,第二处理单元920用于:根据第四信号和第一处理单元910得到的第二处理信号得到第一输出信号,根据第五信号和第一处理单元910得到的第二处理信号得到第二输出信号;当判断模块830判定声源位于第三区间时,第二处理单元920具体用于:根据第四信号和第一处理单元910得到的第三处理信号得到第一输出信号,根据第五信号和第一处理单元910得到的第三处理信号得到第二输出信号。
可选地,作为一个实施例,接收模块810包括第一通道、第二通道、第三通道、第四通道和第五通道,至少三个信号包括第一通道接收的第一信号、第二通道接收的第二信号、第三通道接收的第三信号、第四通道接收的第四信号和第五通道接收的第五信号,第一通道、第二通道或第三通道比第四通道和第五通道更靠近前方,第一通道、第二通道和第三通道位于第四通道和第五通道之间,终端设备的前方划分为相邻的第一区间、第二区间和第三区间;其中,处理模块840包括第一处理单元910和第二处理单元920,当判断模块830判定声源位于第一区间且第一信号为目标信号时,第一处理单元910用于:对第一信号进行方位增强处理得到第一处理信号,对第四信号处理得到第四处理信号,对第五信号进行方位增强处理得到第五处理信号;当判断模块830判定声源位于终端设备的第二区间且第二信号为目标信号时,第一处理单元910用于:对第二信号进行方位增强处理得到第二处理信号,对第四信号处理得到第四处理信号,对第五信号进行方位增强处理得到第五处理信号;当判断模块830判定声源位于终端设备的第三区间且第三信号为目标信号时,第一处理单元910用于:对第三信号进行方位增强处理得到第三处理信号,对第四信号处理得到第四处理信号,对第五信号进行方位增强处理得到第五处理信号;其中,当判断模块830判定声源位于所述第一区间时,第二处理单元920用于:根据第一处理单元910得到的第四处理信号和第一处理单元910得到的第一处理信号得到第一输出信号;根据第一处理单元910得到的第五信号和第一处理单元910得到的第一处理信号得到第二输出信号;当判断模块830判定声源位于第二区间时,第二处理单元920用于:根据第一处理单元910得到的第四处理信号和第一处理单元910得到的第二处理信号得到第一输出信号;根据第一处理单元910得到的第五处理信号和第一处理单元910得到的第二处理信号得到第二输出信号;当判断模块830判定声源位于第三区间时,第二处理单元920用于:根据第一处理单元910得到的第四处理信号和第三处理信号得到第一输出信号;根据第一处理单元910得到的第五处理信号和第一处理单元910得到的第三处理信号得到第二输出信号。
可选地,作为本发明一个实施例,处理模块840还包括第三处理单元,第三处理单元930具体用于:当判断模块830判定声源位于第一区间时,根据第四信号每个特征频带内的信号幅度与第五信号每个特征频带内的信号幅度,对第一处理单元910得到的第一处理信号对应的每个特征频带进行幅度调整,以得到第一输出信号和所述第二输出信号;当判断模块830判定声源位于所述第二区间时,根据第四信号每个特征频带内的信号幅度与第五信号每个特征频带内的信号幅度,对第一处理单元910得到的第二处理信号对应的每个特征频带进行幅度调整,以得到第一输出信号和第二输出信号;当判断模块830判定声源位于第三区间时,根据第四信号每个特征频带内的信号幅度与第五信号每个特征频带内的信号幅度,对第一处理单元910得到的第三处理信号对应的每个特征频带进行幅度调整,以得到第一输出信号和第二输出信号;其中,第一处理信号、第二处理信号、第三处理信号、第四信号和第五信号的每个特征频带划分方式相同。
本发明实施例的终端设备800可以实现图1至图7的实施例中的有关终端设备的各个操作或功能,为避免重复,不再详细描述。
本发明实施例通过确定声源相对于终端设备的位置,对声源发出的目标信号进行方位增强处理,并根据方位增强处理后的结果,得到终端设备的输出信号,使得该输出信号的前方特征频带与后方特征频带的区分度增大,由此能够增强输出信号的声像方位感,降低将前后声像混淆的概率。
图10示出了本发明实施例的一个终端设备的示意性框图。如图7所示,该终端设备1000包括接收器1100、总线系统1200、处理器1300和发送器1400。其中接收器1100、发送器1400通过总线系统1200和处理器1300相连,该接收器1100包括位于终端设备不同位置的至少三个通道,该至少三个通道用于接收同一声源发出的至少三个信号,其中,该至少三个信号与上述通道一一对应;该处理器1300用于根据至少三个信号中的三个信号,确定三个信号两两之间信号时延差,该信号时延差能够判断所述声源相对于所述终端设备的位置;根据所述信号时延差,判断声源相对于终端设备的位置;声源位于终端设备的前方时,对至少三个信号中的目标信号进行方位增强处理,根据方位增强处理的结果,得到终端设备的第一输出信号和第二输出信号,其中,所述方位增强处理用于增大所述目标信号的前方特征频带与后方特征频带的区分度。发送器1400用于发送第一输出信号和第二输出信号。
本发明实施例通过确定声源相对于终端设备的位置,对声源发出的目标信号进行方位增强处理,并根据方位增强处理后的结果,得到终端设备的输出信号,使得该输出信号的前方特征频带与后方特征频带的区分度增大,由此能够增强输出信号的声像方位感,降低将前后声像混淆的概率。
应理解,在本发明实施例中,该处理器1300可以是中央处理单元(CentralProcessing Unit,简称为“CPU”),该处理器1300还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该总线系统1200除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都标为总线系统1200。
在实现过程中,上述方法的各步骤可以通过处理器1300中的硬件的集成逻辑电路或者软件形式的指令完成。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。为避免重复,这里不再详细描述。
可选地,作为一个实施例,处理器1300还用于:对目标信号的前方特征频带进行强化处理;和/或对目标信号的后方特征频带进行抑制处理。
可选地,作为一个实施例,该终端设备1000采集的声音信号包括第一通道接收的第一信号、第二通道接收的第二信号和第三通道接收的第三信号,第一通道比第二通道和第三通道更靠近前方,第一通道位于第二通道和第三通道之间;其中,声源位于终端设备的前方时,处理器1300具体用于:对第一信号进行方位增强处理,得到第一处理信号;处理器1300还用于:根据方位增强处理的结果,得到终端设备的第一输出信号和第二输出信号包括:根据第一处理信号和第二信号得到第一输出信号;根据第一处理信号和第三信号得到第二输出信号。
可选地,作为一个实施例,该接收器1100接收的声音信号包括第一通道接收的第一信号、第二通道接收的第二信号和第三通道接收的第三信号,第一通道比第二通道和第三通道更靠近前方,第一通道位于第二通道和第三通道之间;当判断声源位于前方时,处理器1300具体用于:对第一信号进行方位增强处理得到第一处理信号,对第二信号进行方位增强处理得到第二处理信号,对第三信号进行方位增强处理得到第三处理信号;处理器1300还用于:根据第一处理信号和第二处理信号得到第一输出信号;根据第一处理信号和第三处理信号得到第二输出信号。
可选地,作为一个实施例,该接收器1100接收的声音信号包括第一通道接收的第一信号、第二通道接收的第二信号和第三通道接收的第三信号,第一通道比第二通道和第三通道更靠近前方,第一通道位于第二通道和第三通道之间;当判断声源位于前方时,处理器1300具体用于:对第一信号进行方位增强处理得到第一处理信号,对第二信号进行方位增强处理得到第二处理信号,对第三信号进行方位增强处理得到第三处理信号;处理器1300还用于:根据第一处理信号、第二处理信号和第二信号得到第一输出信号;根据第一处理信号、第三处理信号和第三信号得到第二输出信号。
可选地,作为一个实施例,处理器1300还用于:根据第二信号每个特征频带内的信号幅度与第三信号每个特征频带内的信号幅度,对第一处理信号对应的每个特征频带进行幅度调整,以得到第一输出信号和第二输出信号,其中,第一处理信号、第二信号与第三信号的每个特征频带划分方式相同。
可选地,作为本发明的一个实施例,接收器1100接收的信号包括第一类型通道接收的第一类型信号、第二通道接收的第二信号和第三通道接收的第三信号,第一类型通道包括至少两个通道,至少两个通道用于分别接收至少两个信号,第一类型通道中任意一个通道比第二通道和第三通道更靠近前方,第一类型通道位于第二通道和第三通道之间;当判断声源位于前方时,处理器1300用于:对第一类型中的至少一个信号进行方位增强处理,得到第一类型处理信号;处理器1300还用于:根据第一类型处理信号和第二信号得到第一输出信号;根据第一类型处理信号和第三信号得到第二输出信号。
可选地,作为本发明一个实施例,接收器1100接收的信号包括第一类型通道接收的第一类型信号、第二通道接收的第二信号和第三通道接收的第三信号,第一类型通道包括至少两个通道,至少两个通道用于分别接收至少两个信号第一类型通道中任意一个通道比第二通道和第三通道更靠近前方,第一类型通道位于第二通道和第三通道之间;当判断声源位于前方时,处理器1300用于:对第一类型中的至少一个信号进行方位增强处理得到第一类型处理信号;对第二信号进行方位增强处理得到第二处理信号;对第三信号进行方位增强处理得到第三处理信号;处理器1300还用于:根据第一类型处理信号和第二处理信号得到第一输出信号;根据第一类型处理信号和第三处理信号得到第二输出信号。
可选地,作为本发明一个实施例,接收器1100接收的信号包括第一类型通道接收的第一类型信号、第二通道接收的第二信号和第三通道接收的第三信号,第一类型通道包括至少两个通道,该至少两个通道用于分别接收至少两个信号,第一类型通道中任意一个通道比第二通道和第三通道更靠近前方;当判断声源位于前方时,处理器1300用于:对第一类型中的至少一个信号进行方位增强处理得到第一类型处理信号;对第二信号进行方位增强处理得到第二处理信号;对第三信号进行方位增强处理得到第三处理信号;处理器930还用于:根据第一类型处理信号、第二处理信号和第二信号得到第一输出信号;根据第一类型处理信号、第三处理信号和第三信号得到第二输出信号。
可选地,作为本发明的一个实施例,接收器1100接收的信号包括第一通道接收的第一信号、第二通道接收的第二信号、第三通道接收的第三信号、第四通道接收的第四信号和第五通道接收的第五信号,第一通道、第二通道或第三通道比第四通道和第五通道更靠近前方,第一通道、第二通道和第三通道位于第四通道和第五通道之间,终端设备的前方划分为相邻的第一区间、第二区间和第三区间;当判断声源位于前方时,处理器1300用于:当声源位于第一区间且第一信号为所目标信号时,对第一信号进行方位增强处理,得到第一处理信号;当声源位于终端设备的第二区间且第二信号为目标信号时,对第二信号进行方位增强处理,得到第二处理信号;当声源位于终端设备的第三区间且第三信号为目标信号时,对第三信号进行方位增强处理,得到第三处理信号;当判断声源位于前方时,处理器1300还用于:当声源位于第一区间时,根据第一处理信号和第四信号得到第一输出信号,根据第一处理信号和第五信号得到第二输出信号;当声源位于第二区间时,根据第二处理信号和第四信号得到第一输出信号,根据第二处理信号和第五信号得到第二输出信号;当声源位于所述第三区间时,根据第三处理信号和所述第四信号得到所述第一输出信号,根据所述第三处理信号和所述第五信号得到所述第二输出信号。
可选地,作为本发明一个实施例,接收器1100接收的至少三个子信号包括第一通道接收的第一信号、第二通道接收的第二信号、第三通道接收的第三信号、第四道接收的第四信号和第五信道接收的第五信号,第一通道、第二通道或第三通道比第四通道和第五通道更靠近前方,第一通道、第二通道和第三通道位于第四通道和第五通道之间,终端设备的前方划分为相邻的第一区间、第二区间和第三区间;当判断声源位于前方时,处理器1300用于:当声源位于第一区间且第一信号、第四信号、第五信号均为目标信号时,对第一信号进行方位增强处理得到第一处理信号,对第四信号处理得到第四处理信号,对第五信号进行方位增强处理得到第五处理信号;当声源位于第二区间且第二信号、第四信号、第五信号均为目标信号时,对第二信号进行方位增强处理得到第二处理信号,对第四信号处理得到第四处理信号,对第五信号进行方位增强处理得到第五处理信号;当声源位于所述第三区间且第三信号、第四信号、第五信号均为所述目标信号时,对第三信号进行方位增强处理得到第三处理信号,对第四信号处理得到第四处理信号,对第五信号进行方位增强处理得到第五处理信号;处理器1300还用于:当声源位于第一区间时,根据第四处理信号和第一处理信号得到第一输出信号,根据第五处理信号和第一处理信号得到第二输出信号;当声源位于第二区间时,根据第四处理信号和第二处理信号得到第一输出信号,根据第五处理信号和第二处理信号得到第二输出信号;当声源位于第三区间时,根据第四处理信号和第三处理信号得到第一输出信号;根据第五处理信号和第三处理信号得到第二输出信号。
可选地,作为本发明一个实施例,上述处理器1300还用于:当声源位于所述第一区间时,根据第四信号每个特征频带内的信号幅度与第五信号每个特征频带内的信号幅度,对第一处理信号对应的每个特征频带进行幅度调整,以得到第一输出信号和第二输出信号;当声源位于第二区间时,根据第四信号每个特征频带内的信号幅度与第五信号每个特征频带内的信号幅度,对第二处理信号对应的每个特征频带进行幅度调整,以得到第一输出信号和第二输出信号;当声源位于第三区间时,根据第四信号每个特征频带内的信号幅度与第五信号每个特征频带内的信号幅度,对第三处理信号对应的每个特征频带进行幅度调整,以得到第一输出信号和第二输出信号;其中,第一处理信号、第二处理信号、第三处理信号、第四信号和第五信号的每个特征频带划分方式相同。
本发明实施例通过确定声源相对于终端设备的位置,对声源发出的目标信号进行方位增强处理,根据方位增强处理后的结果,得到终端设备的输出信号,使得该输出信号的前方特征频带与后方特征频带的区分度增大,由此能够增强输出信号的声像方位感,降低将前方声像误判为后方声像的概率。
本领域普通技术人员可以意识到,结合本文中所公开的实施例中描述的各方法步骤和单元,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或步骤可以用硬件、处理器执行的软件程序,或者二者的结合来实施。软件程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述,但本发明并不限于此。在不脱离本发明的精神和实质的前提下,本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换,而这些修改或替换都应在本发明的涵盖范围内。

Claims (22)

1.一种处理声音信号的方法,其特征在于,包括:
由位于终端设备不同位置的通道接收同一声源发出的至少三个信号,其中,所述至少三个信号和所述通道一一对应;
根据所述至少三个信号中的三个信号,确定所述三个信号两两之间信号时延差,所述信号时延差能够判断所述声源相对于所述终端设备的位置;
根据所述信号时延差,判断所述声源相对于所述终端设备的位置;
所述声源位于所述终端设备的前方时,对所述至少三个信号中的目标信号进行方位增强处理,根据所述方位增强处理的结果,得到所述终端设备的第一输出信号和第二输出信号,其中,所述方位增强处理用于增大所述目标信号的前方特征频带与后方特征频带的区分度。
2.根据权利要求1所述的方法,其特征在于,所述至少三个信号包括第一通道接收的第一信号、第二通道接收的第二信号和第三通道接收的第三信号,所述第一通道比所述第二通道和所述第三通道更靠近前方,所述第一通道位于所述第二通道和所述第三通道之间;
其中,若所述对所述至少三个信号中的目标信号进行方位增强处理具体为
所述第一信号为所述目标信号时,对所述第一信号进行所述方位增强处理,得到第一处理信号;
则所述根据所述方位增强处理的结果,得到所述终端设备的第一输出信号和第二输出信号具体为:
根据所述第一处理信号和所述第二信号得到所述第一输出信号;
根据所述第一处理信号和所述第三信号得到所述第二输出信号。
3.根据权利要求1所述的方法,其特征在于,所述至少三个信号包括第一通道接收的第一信号、第二通道接收的第二信号和第三通道接收的第三信号,所述第一通道比所述第二通道和所述第三通道更靠近前方,所述第一通道位于所述第二通道和所述第三通道之间;
其中,若所述对所述至少三个信号中的目标信号进行方位增强处理具体为:
所述第一信号、所述第二信号与所述第三信号均为所述目标信号时,对所述第一信号进行所述方位增强处理得到第一处理信号,对所述第二信号进行所述方位增强处理得到第二处理信号,对所述第三信号进行所述方位增强处理得到第三处理信号;
则所述根据所述方位增强处理的结果,得到所述终端设备的第一输出信号和第二输出信号具体为:
根据所述第一处理信号和所述第二处理信号得到所述第一输出信号;
根据所述第一处理信号和所述第三处理信号得到所述第二输出信号。
4.根据权利要求1所述的方法,其特征在于,所述至少三个信号包括第一通道接收的第一信号、第二通道接收的第二信号和第三通道接收的第三信号,所述第一通道比所述第二通道和所述第三通道更靠近前方,所述第一通道位于所述第二通道和所述第三通道之间;
其中,若所述对所述至少三个信号中的目标信号进行方位增强处理具体为:
所述第一信号、所述第二信号与所述第三信号均为所述目标信号时,对所述第一信号进行所述方位增强处理得到第一处理信号,对所述第二信号进行所述方位增强处理得到第二处理信号,对所述第三信号进行所述方位增强处理得到第三处理信号;
则所述根据所述方位增强处理的结果,得到所述终端设备的第一输出信号和第二输出信号具体为:
根据所述第一处理信号、所述第二处理信号和所述第二信号得到所述第一输出信号;
根据所述第一处理信号、所述第三处理信号和所述第三信号得到所述第二输出信号。
5.根据权利要求2至4中任一项所述的方法,其特征在于,所述方法还包括:
根据所述第二信号每个特征频带内的信号幅度与所述第三信号每个特征频带内的信号幅度,对所述第一处理信号对应的每个特征频带进行幅度调整,以得到所述第一输出信号和所述第二输出信号,其中,所述第一处理信号、所述第二信号与所述第三信号的所述每个特征频带划分方式相同。
6.根据权利要求1所述的方法,其特征在于,所述至少三个信号包括第一类型通道接收的第一类型信号、第二通道接收的第二信号和第三通道接收的第三信号,所述第一类型通道包括至少两个通道,所述至少两个通道分别用于接收至少两个信号,所述第一类型通道中任意一个通道比所述第二通道和所述第三通道更靠近前方,所述第一类型通道中任意一个通道位于所述第二通道和所述第三通道之间;
其中,若所述对所述至少三个信号中的目标信号进行方位增强处理具体为:
所述第一类型信号中的至少一个信号为所述目标信号时,对所述第一类型中的至少一个信号进行所述方位增强处理,得到第一类型处理信号;
则所述根据所述方位增强处理的结果,得到所述终端设备的第一输出信号和第二输出信号具体为:
根据所述第一类型处理信号和所述第二信号得到所述第一输出信号;
根据所述第一类型处理信号和所述第三信号得到所述第二输出信号。
7.根据权利要求1所述的方法,其特征在于,所述至少三个信号包括第一类型通道接收的第一类型信号、第二通道接收的第二信号和第三通道接收的第三信号,所述第一类型通道包括至少两个通道,所述至少两个通道分别用于接收至少两个信号,所述第一类型通道中任意一个通道比所述第二通道和所述第三通道更靠近前方,所述第一类型通道中任意一个通道位于所述第二通道和所述第三通道之间;
其中,若所述对所述至少三个信号中的目标信号进行方位增强处理具体为:
所述第一类型信号中的至少一个信号、所述第二信号和所述第三信号为所述目标信号时,对所述第一类型中的至少一个信号进行所述方位增强处理得到第一类型处理信号;对所述第二信号进行所述方位增强处理得到第二处理信号;对所述第三信号进行所述方位增强处理得到第三处理信号;
则所述根据所述方位增强处理的结果,得到所述终端设备的第一输出信号和第二输出信号具体为:
根据所述第一类型处理信号和所述第二处理信号得到所述第一输出信号;
根据所述第一类型处理信号和所述第三处理信号得到所述第二输出信号。
8.根据权利要求1所述的方法,其特征在于,所述至少三个信号包括第一类型通道接收的第一类型信号、第二通道接收的第二信号和第三通道接收的第三信号,所述第一类型通道包括至少两个通道,所述至少两个通道分别用于接收至少两个信号,所述第一类型通道中任意一个通道比所述第二通道和所述第三通道更靠近前方,所述第一类型通道中任意一个通道位于所述第二通道和所述第三通道之间,所述第一类型通道位于所述第二通道和所述第三通道之间;
其中,若所述对所述至少三个信号中的目标信号进行方位增强处理具体为:
所述第一类型信号中的至少一个信号、所述的第二信号和所述第三信号为所述目标信号时,对所述第一类型中的至少一个信号进行所述方位增强处理得到第一类型处理信号;对所述第二信号进行所述方位增强处理得到第二处理信号;对所述第三信号进行所述方位增强处理得到第三处理信号;
则所述根据所述方位增强处理的结果,得到所述终端设备的第一输出信号和第二输出信号具体为:
根据所述第一类型处理信号、所述第二处理信号和所述第二信号得到所述第一输出信号;
根据所述第一类型处理信号、所述第三处理信号和所述第三信号得到所述第二输出信号。
9.根据权利要求1所述的方法,其特征在于,所述至少三个信号包括第一通道接收的第一信号、第二通道接收的第二信号、第三通道接收的第三信号、第四通道接收的第四信号和第五通道接收的第五信号,所述第一通道、所述第二通道或所述第三通道比所述第四通道和所述第五通道更靠近前方,所述第一通道、所述第二通道和所述第三通道位于所述第四通道和所述第五通道之间,所述终端设备的前方划分为相邻的第一区间、第二区间和第三区间;
其中,若对所述至少三个信号中的目标信号进行方位增强处理具体为:
当所述声源位于所述第一区间且所述第一信号为所述目标信号时,对所述第一信号进行所述方位增强处理,得到第一处理信号;
当所述声源位于所述第二区间且所述第二信号为所述目标信号时,对所述第二信号进行所述方位增强处理,得到第二处理信号;
当所述声源位于所述第三区间且所述第三信号为所述目标信号时,对所述第三信号进行所述方位增强处理,得到第三处理信号;
则所述根据所述方位增强处理的结果,得到所述终端设备的第一输出信号和第二输出信号具体为:
当所述声源位于所述第一区间时,根据所述第一处理信号和所述第四信号得到所述第一输出信号,根据所述第一处理信号和所述第五信号得到所述第二输出信号;
当所述声源位于所述第二区间时,根据所述第二处理信号和所述第四信号得到所述第一输出信号,根据所述第二处理信号和所述第五信号得到所述第二输出信号;
当所述声源位于所述第三区间时,根据所述第三处理信号和所述第四信号得到所述第一输出信号,根据所述第三处理信号和所述第五信号得到所述第二输出信号。
10.根据权利要求1所述的方法,其特征在于,所述至少三个信号包括第一通道接收的第一信号、第二通道接收的第二信号、第三通道接收的第三信号、第四通道接收的第四信号和第五通道接收的第五信号,所述第一通道、所述第二通道或所述第三通道比所述第四通道和所述第五通道更靠近前方,所述第一通道、所述第二通道和所述第三通道位于所述第四通道和所述第五通道之间,所述终端设备的前方划分为相邻的第一区间、第二区间和第三区间;
其中,若所述对所述至少三个信号中的目标信号进行方位增强处理具体为:
当所述声源位于所述第一区间且所述第一信号、所述第四信号、所述第五信号均为所述目标信号时,对所述第一信号进行所述方位增强处理得到第一处理信号,对所述第四信号处理得到第四处理信号,对所述第五信号进行所述方位增强处理得到第五处理信号;
当所述声源位于所述第二区间且所述第二信号、所述第四信号、所述第五信号均为所述目标信号时,对所述第二信号进行所述方位增强处理得到第二处理信号,对所述第四信号进行所述方位增强处理得到第四处理信号,对所述第五信号进行所述方位增强处理得到第五处理信号;
当所述声源位于所述第三区间且所述第三信号、所述第四信号、所述第五信号均为所述目标信号时,对所述第三信号进行所述方位增强处理得到第三处理信号,对所述第四信号进行所述方位增强处理得到第四处理信号,对所述第五信号进行所述方位增强处理得到第五处理信号;
则所述根据所述方位增强处理的结果,得到所述终端设备的第一输出信号和第二输出信号具体为:
当所述声源位于所述第一区间时,根据所述第四处理信号和所述第一处理信号得到所述第一输出信号,根据所述第五处理信号和所述第一处理信号得到所述第二输出信号;
当所述声源位于所述第二区间时,根据所述第四处理信号和所述第二处理信号得到所述第一输出信号,根据所述第五处理信号和所述第二处理信号得到所述第二输出信号;
当所述声源位于所述第三区间时,根据所述第四处理信号和所述第三处理信号得到所述第一输出信号;根据所述第五处理信号和所述第三处理信号得到所述第二输出信号。
11.根据权利要求9或10所述的方法,其特征在于,所述方法还包括:
当所述声源位于所述第一区间时,根据所述第四信号每个特征频带内的信号幅度与所述第五信号每个特征频带内的信号幅度,对所述第一处理信号对应的每个特征频带进行幅度调整,以得到所述第一输出信号和所述第二输出信号;
当所述声源位于所述第二区间时,根据所述第四信号每个特征频带内的信号幅度与所述第五信号每个特征频带内的信号幅度,对所述第二处理信号对应的每个特征频带进行幅度调整,以得到所述第一输出信号和所述第二输出信号;
当所述声源位于所述第三区间时,根据所述第四信号每个特征频带内的信号幅度与所述第五信号每个特征频带内的信号幅度,对所述第三处理信号对应的每个特征频带进行幅度调整,以得到所述第一输出信号和所述第二输出信号;
其中,所述第一处理信号、所述第二处理信号、所述第三处理信号、所述第四信号和所述第五信号的所述每个特征频带划分方式相同。
12.一种终端设备,其特征在于,包括:
接收模块,所述接收模块包括位于所述终端设备不同位置的至少三个接收通道,所述至少三个接收通道用于接收同一声源发出的至少三个信号,其中,所述至少三个信号与所述通道一一对应;
确定模块,用于根据所述接收模块接收的所述至少三个信号中的三个信号,确定所述三个信号两两之间信号时延差,所述信号时延差能够判断所述声源相对于所述终端设备的位置;
判断模块,用于根据所述确定模块得到的信号时延差,判断所述声源相对于所述终端设备的位置;
处理模块,用于当所述判断模块判定所述声源位于所述终端设备的前方时,对所述至少三个信号中的目标信号进行方位增强处理,根据所述方位增强处理的结果,得到所述终端设备的第一输出信号和第二输出信号,其中,所述方位增强处理用于增大目标信号的前方特征频带和后方特征频带的区分度。
13.根据权利要求12所述的终端设备,其特征在于,所述接收模块包括第一通道、第二通道和第三通道,所述至少三个信号包括所述第一通道接收的第一信号、所述第二通道接收的第二信号和所述第三通道接收的第三信号,所述第一通道比所述第二通道和所述第三通道更靠近前方,所述第一通道位于所述第二通道和所述第三通道之间;
其中,所述处理模块包括第一处理单元和第二处理单元,所述第一处理单元用于当所述判断模块判定所述声源位于所述终端设备的前方时,对所述第一信号进行所述方位增强处理,得到第一处理信号,其中所述第一信号为所述目标信号;
其中,所述第二处理单元用于:根据所述第二信号和所述第一处理单元得到的所述第一处理信号得到所述第一输出信号;根据所述第三信号和所述第一处理单元得到的所述第一处理信号得到所述第二输出信号。
14.根据权利要求12所述的终端设备,其特征在于,所述接收模块包括第一通道、第二通道和第三通道,所述至少三个信号包括所述第一通道接收的第一信号、所述第二通道接收的第二信号和所述第三通道接收的第三信号,所述第一通道比所述第二通道和所述第三通道更靠近前方,所述第一通道位于所述第二通道和所述第三通道之间;
其中,所述处理模块包括第一处理单元和第二处理单元,当所述判断模块判定所述声源位于所述终端设备的前方时,所述第一处理单元用于:对所述第一信号进行所述方位增强处理得到第一处理信号,对所述第二信号进行所述方位增强处理得到第二处理信号,对所述第三信号进行所述方位增强处理得到第三处理信号,其中,所述第一信号、所述第二信号和所述第三信号均为所述目标信号;
其中,所述第二处理单元用于:根据所述第一处理单元得到的所述第一处理信号和所述第二处理信号得到所述第一输出信号;根据所述第一处理单元得到的所述第一处理信号和所述第三处理信号得到所述第二输出信号。
15.根据权利要求12所述的终端设备,其特征在于,所述接收模块包括第一通道、第二通道和第三通道,所述至少三个信号包括所述第一通道接收的第一信号、所述第二通道接收的第二信号和所述第三通道接收的第三信号,所述第一通道比所述第二通道和所述第三通道更靠近前方,所述第一通道位于所述第二通道和所述第三通道之间;
其中,所述处理模块包括第一处理单元和第二处理单元,当所述判断模块判定所述声源位于所述终端设备的前方时,所述第一处理单元用于:对所述第一信号进行所述方位增强处理得到第一处理信号,对所述第二信号进行所述方位增强处理得到第二处理信号,对所述第三信号进行所述方位增强处理得到第三处理信号,其中所述第一信号、所述第二信号和所述第三信号均为所述目标信号;
其中,所述第二处理单元用于:根据所述第二信号和所述第一处理单元得到的所述第一处理信号、所述第一处理单元得到的所述第二处理信号得到所述第一输出信号;根据所述第三信号和所述第一处理单元得到的所述第一处理信号、所述第一处理单元得到的所述第三处理信号得到所述第二输出信号。
16.根据权利要求13至15中任一项所述的终端设备,其特征在于,所述处理模块还包括第三处理单元,所述第三处理单元用于:根据所述第二信号每个特征频带内的信号幅度与所述第三信号每个特征频带内的信号幅度,对所述第一处理单元得到的所述第一处理信号对应的每个特征频带进行幅度调整,以得到所述第一输出信号和所述第二输出信号,其中,所述第一处理信号、所述第二信号与所述第三信号的所述每个特征频带划分方式相同。
17.根据权利要求12所述的终端设备,其特征在于,所述接收模块包括第一类型通道、第二通道和第三通道,所述至少三个信号包括所述第一通道接收的第一类型信号、所述第二通道接收的第二信号和所述第三通道接收的第三信号,所述第一类型通道包括至少两个通道,所述至少两个通道分别用于接收至少两个信号,所述第一类型通道中任意一个通道比所述第二通道和所述第三通道更靠近前方,所述第一类型通道中任意一个通道位于所述第一通道和所述第二通道之间;
其中,所述处理模块包括第一处理单元和第二处理单元,当所述判断模块判定所述声源位于所述终端设备的前方时,所述第一处理单元用于:对所述第一类型信号中的至少一个信号进行所述方位增强处理得到第一类型处理信号,对所述第二信号进行所述方位增强处理得到第二处理信号,对所述第三信号进行所述方位增强处理得到第三处理信号,其中所述第一类型信号中的至少一个信号为所述目标信号;
其中,所述第二处理单元用于:根据所述第二信号和所述第一处理单元得到的所述第一类型处理信号得到所述第一输出信号;根据所述第三信号和所述第一处理单元得到的所述第一类型处理信号得到所述第二输出信号。
18.根据权利要求12所述的终端设备,其特征在于,所述接收模块包括第一类型通道、第二通道和第三通道,所述至少三个信号包括所述第一通道接收的第一类型信号、所述第二通道接收的第二信号和所述第三通道接收的第三信号,所述第一类型通道包括至少两个通道,所述至少两个通道分别用于接收至少两个信号,所述第一类型通道中任意一个通道比所述第二通道和所述第三通道更靠近前方,所述第一类型通道位于所述第一通道和所述第二通道之间;
其中,所述处理模块包括第一处理单元和第二处理单元,当所述判断模块判定所述声源位于所述终端设备的前方时,所述第一处理单元用于:对所述第一类型信号中的至少一个信号进行所述方位增强处理得到第一类型处理信号,对所述第二信号进行所述方位增强处理得到第二处理信号,对所述第三信号进行所述方位增强处理得到第三处理信号,其中所述第一类型信号中的至少一个信号、所述第二信号和所述第三信号为所述目标信号;
其中,所述第二处理单元用于:根据所述第一处理单元得到的所述第一类型处理信号和所述第一处理单元得到的所述第二处理信号得到所述第一输出信号;根据所述第一处理单元得到的所述第一类型处理信号和所述第一处理单元得到的所述第三处理信号得到所述第二输出信号。
19.根据权利要求12所述的终端设备,其特征在于,所述接收模块包括第一类型通道、第二通道和第三通道,所述至少三个信号包括所述第一通道接收的第一类型信号、所述第二通道接收的第二信号和所述第三通道接收的第三信号,所述第一类型通道包括至少两个通道,所述至少两个通道分别用于接收至少两个信号,所述第一类型通道中任意一个通道比所述第二通道和所述第三通道更靠近前方,所述第一类型通道位于所述第一通道和所述第二通道之间;
其中,所述处理模块包括第一处理单元和第二处理单元,当所述判断模块判定所述声源位于所述终端设备的前方时,所述第一处理单元用于:对所述第一类型信号中的至少一个信号进行所述方位增强处理得到第一类型处理信号,对所述第二信号进行所述方位增强处理得到第二处理信号,对所述第三信号进行所述方位增强处理得到第三处理信号,其中所述第一类型信号中的至少一个信号、所述第二信号和所述第三信号为所述目标信号;
其中,所述第二处理单元用于:根据所述第二信号和所述第一处理单元得到的所述第一类型处理信号、所述第一处理单元得到的所述第二处理信号得到所述第一输出信号;根据所述第三信号和所述第一处理单元得到的所述第一类型处理信号、所述第一处理单元得到的所述第三处理信号得到所述第二输出信号。
20.根据权利要求12所述的终端设备,其特征在于,所述接收模块包括第一通道、第二通道、第三通道、第四通道和第五通道,所述至少三个信号包括所述第一通道接收的第一信号、所述第二通道接收的第二信号、所述第三通道接收的第三信号、所述第四通道接收的第四信号和所述第五通道接收的第五信号,所述第一通道、所述第二通道或所述第三通道比所述第四通道和所述第五通道更靠近前方,所述第一通道、所述第二通道和所述第三通道位于所述第四通道和所述第五通道之间,所述终端设备的前方划分为相邻的第一区间、第二区间和第三区间;
其中,所述处理模块包括第一处理单元和第二处理单元,当所述判断模块判定所述声源位于所述第一区间且所述第一信号为所述目标信号时,所述第一处理单元用于:对所述第一信号进行所述方位增强处理,得到第一处理信号;当所述判断模块判定所述声源位于所述终端设备的第二区间且所述第二信号为所述目标信号时,所述第一处理单元用于对所述第二信号进行所述方位增强处理,得到第二处理信号;当所述判断模块判定所述声源位于所述终端设备的第三区间且所述第三信号为所述目标信号时,所述第一处理单元用于对所述第三信号进行所述方位增强处理,得到第三处理信号;
其中,当所述判断模块判定所述声源位于所述第一区间时,所述第二处理单元用于:根据所述第四信号和所述第一处理单元得到的所述第一处理信号得到所述第一输出信号,根据所述第五信号和所述第一处理单元得到的所述第一处理信号得到所述第二输出信号;
当所述判断模块判定所述声源位于所述第二区间时,所述第二处理单元用于:根据所述第四信号和所述第一处理单元得到的所述第二处理信号得到所述第一输出信号,根据所述第五信号和所述第一处理单元得到的所述第二处理信号得到所述第二输出信号;
当所述判断模块判定所述声源位于所述第三区间时,所述第二处理单元具体用于:根据所述第四信号和所述第一处理单元得到的所述第三处理信号得到所述第一输出信号,根据所述第五信号和所述第一处理单元得到的所述第三处理信号得到所述第二输出信号。
21.根据权利要求12所述的终端设备,其特征在于,所述接收模块包括第一通道、第二通道、第三通道、第四通道和第五通道,所述至少三个信号包括所述第一通道接收的第一信号、所述第二通道接收的第二信号、所述第三通道接收的第三信号、所述第四通道接收的第四信号和所述第五通道接收的第五信号,所述第一通道、所述第二通道或所述第三通道比所述第四通道和所述第五通道更靠近前方,所述第一通道、所述第二通道和所述第三通道位于所述第四通道和所述第五通道之间,所述终端设备的前方划分为相邻的第一区间、第二区间和第三区间;
其中,所述处理模块包括第一处理单元和第二处理单元,当所述判断模块判定所述声源位于所述第一区间且所述第一信号为所述目标信号时,所述第一处理单元用于:对所述第一信号进行所述方位增强处理得到第一处理信号,对所述第四信号处理得到第四处理信号,对所述第五信号进行所述方位增强处理得到第五处理信号;
当所述判断模块判定所述声源位于所述终端设备的第二区间且所述第二信号为所述目标信号时,所述第一处理单元用于:对所述第二信号进行所述方位增强处理得到第二处理信号,对所述第四信号处理得到第四处理信号,对所述第五信号进行所述方位增强处理得到第五处理信号;
当所述判断模块判定所述声源位于所述终端设备的第三区间且所述第三信号为所述目标信号时,所述第一处理单元用于:对所述第三信号进行所述方位增强处理得到第三处理信号,对所述第四信号处理得到第四处理信号,对所述第五信号进行所述方位增强处理得到第五处理信号;
其中,当所述判断模块判定所述声源位于所述第一区间时,所述第二处理单元用于:根据所述第一处理单元得到的所述第四处理信号和所述第一处理单元得到的所述第一处理信号得到所述第一输出信号;根据所述第一处理单元得到的所述第五信号和所述第一处理单元得到的所述第一处理信号得到所述第二输出信号;
当所述判断模块判定所述声源位于所述第二区间时,所述第二处理单元用于:根据所述第一处理单元得到的所述第四处理信号和所述第一处理单元得到的所述第二处理信号得到所述第一输出信号;根据所述第一处理单元得到的所述第五处理信号和所述第一处理单元得到的所述第二处理信号得到所述第二输出信号;
当所述判断模块判定所述声源位于所述第三区间时,所述第二处理单元用于:根据所述第一处理单元得到的所述第四处理信号和所述第三处理信号得到所述第一输出信号;根据所述第一处理单元得到的所述第五处理信号和所述第一处理单元得到的所述第三处理信号得到所述第二输出信号。
22.根据权利要求20或21所述的终端设备,其特征在于,所述处理模块还包括第三处理单元,所述第三处理单元具体用于:
当所述判断模块判定所述声源位于所述第一区间时,根据所述第四信号每个特征频带内的信号幅度与所述第五信号每个特征频带内的信号幅度,对所述第一处理单元得到的所述第一处理信号对应的每个特征频带进行幅度调整,以得到所述第一输出信号和所述第二输出信号;
当所述判断模块判定所述声源位于所述第二区间时,根据所述第四信号每个特征频带内的信号幅度与所述第五信号每个特征频带内的信号幅度,对所述第一处理单元得到的所述第二处理信号对应的每个特征频带进行幅度调整,以得到所述第一输出信号和所述第二输出信号;
当所述判断模块判定所述声源位于所述第三区间时,根据所述第四信号每个特征频带内的信号幅度与所述第五信号每个特征频带内的信号幅度,对所述第一处理单元得到的所述第三处理信号对应的每个特征频带进行幅度调整,以得到所述第一输出信号和所述第二输出信号;
其中,所述第一处理信号、所述第二处理信号、所述第三处理信号、所述第四信号和所述第五信号的所述每个特征频带划分方式相同。
CN201510030723.0A 2015-01-21 2015-01-21 处理声音信号的方法和终端设备 Active CN104735588B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201510030723.0A CN104735588B (zh) 2015-01-21 2015-01-21 处理声音信号的方法和终端设备
PCT/CN2015/086933 WO2016115880A1 (zh) 2015-01-21 2015-08-14 处理声音信号的方法和终端设备
EP15878550.1A EP3249948B1 (en) 2015-01-21 2015-08-14 Method and terminal device for processing voice signal
US15/656,465 US10356544B2 (en) 2015-01-21 2017-07-21 Method for processing sound signal and terminal device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510030723.0A CN104735588B (zh) 2015-01-21 2015-01-21 处理声音信号的方法和终端设备

Publications (2)

Publication Number Publication Date
CN104735588A true CN104735588A (zh) 2015-06-24
CN104735588B CN104735588B (zh) 2018-10-30

Family

ID=53458941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510030723.0A Active CN104735588B (zh) 2015-01-21 2015-01-21 处理声音信号的方法和终端设备

Country Status (4)

Country Link
US (1) US10356544B2 (zh)
EP (1) EP3249948B1 (zh)
CN (1) CN104735588B (zh)
WO (1) WO2016115880A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016115880A1 (zh) * 2015-01-21 2016-07-28 华为技术有限公司 处理声音信号的方法和终端设备
CN110996238A (zh) * 2019-12-17 2020-04-10 杨伟锋 双耳同步信号处理助听系统及方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112770248B (zh) * 2021-01-06 2023-03-24 北京小米移动软件有限公司 音箱控制方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1875656A (zh) * 2003-10-27 2006-12-06 大不列颠投资有限公司 来自于前置扬声器的多声道音频环绕声
EP1862813A1 (en) * 2006-05-31 2007-12-05 Honda Research Institute Europe GmbH A method for estimating the position of a sound source for online calibration of auditory cue to location transformations
CN101263739A (zh) * 2005-09-13 2008-09-10 Srs实验室有限公司 用于音频处理的系统和方法
CN101884227A (zh) * 2006-04-03 2010-11-10 Srs实验室有限公司 音频信号处理
CN102804808A (zh) * 2009-06-30 2012-11-28 诺基亚公司 空间音频中的位置消歧

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4815661B2 (ja) * 2000-08-24 2011-11-16 ソニー株式会社 信号処理装置及び信号処理方法
AU2002329160A1 (en) * 2002-08-13 2004-02-25 Nanyang Technological University Method of increasing speech intelligibility and device therefor
US9456289B2 (en) * 2010-11-19 2016-09-27 Nokia Technologies Oy Converting multi-microphone captured signals to shifted signals useful for binaural signal processing and use thereof
CN104735588B (zh) * 2015-01-21 2018-10-30 华为技术有限公司 处理声音信号的方法和终端设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1875656A (zh) * 2003-10-27 2006-12-06 大不列颠投资有限公司 来自于前置扬声器的多声道音频环绕声
CN101263739A (zh) * 2005-09-13 2008-09-10 Srs实验室有限公司 用于音频处理的系统和方法
CN101884227A (zh) * 2006-04-03 2010-11-10 Srs实验室有限公司 音频信号处理
EP1862813A1 (en) * 2006-05-31 2007-12-05 Honda Research Institute Europe GmbH A method for estimating the position of a sound source for online calibration of auditory cue to location transformations
CN102804808A (zh) * 2009-06-30 2012-11-28 诺基亚公司 空间音频中的位置消歧

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016115880A1 (zh) * 2015-01-21 2016-07-28 华为技术有限公司 处理声音信号的方法和终端设备
US10356544B2 (en) 2015-01-21 2019-07-16 Huawei Technologies Co., Ltd. Method for processing sound signal and terminal device
CN110996238A (zh) * 2019-12-17 2020-04-10 杨伟锋 双耳同步信号处理助听系统及方法
CN110996238B (zh) * 2019-12-17 2022-02-01 杨伟锋 双耳同步信号处理助听系统及方法

Also Published As

Publication number Publication date
US10356544B2 (en) 2019-07-16
WO2016115880A1 (zh) 2016-07-28
EP3249948B1 (en) 2020-10-07
US20170325046A1 (en) 2017-11-09
EP3249948A1 (en) 2017-11-29
EP3249948A4 (en) 2018-01-03
CN104735588B (zh) 2018-10-30

Similar Documents

Publication Publication Date Title
US9674629B2 (en) Multichannel sound reproduction method and device
US7149315B2 (en) Microphone array for preserving soundfield perceptual cues
KR20180135973A (ko) 바이노럴 렌더링을 위한 오디오 신호 처리 방법 및 장치
JP4927848B2 (ja) オーディオ処理のためのシステムおよび方法
US9398391B2 (en) Stereo widening over arbitrarily-configured loudspeakers
KR102160254B1 (ko) 액티브다운 믹스 방식을 이용한 입체 음향 재생 방법 및 장치
US20050089181A1 (en) Multi-channel audio surround sound from front located loudspeakers
US10397730B2 (en) Methods and systems for providing virtual surround sound on headphones
KR101871234B1 (ko) 사운드 파노라마 생성 장치 및 방법
EP3225039B1 (en) System and method for producing head-externalized 3d audio through headphones
CN104853283A (zh) 一种音频信号处理的方法和装置
US9866983B2 (en) Sound image direction sense processing method and apparatus
CN104735588A (zh) 处理声音信号的方法和终端设备
US10440495B2 (en) Virtual localization of sound
CN102547550A (zh) 音频系统、音频信号处理设备和方法以及程序
US9794717B2 (en) Audio signal processing apparatus and audio signal processing method
Ward et al. A new robust system for 3D audio using loudspeakers
US9154898B2 (en) System and method for improving sound image localization through cross-placement
WO2022133128A1 (en) Binaural signal post-processing
US11470435B2 (en) Method and device for processing audio signals using 2-channel stereo speaker
EP4135349A1 (en) Immersive sound reproduction using multiple transducers
US12008998B2 (en) Audio system height channel up-mixing
EP2874412A1 (en) A signal processing circuit
KR101964702B1 (ko) 교차배치를 통한 음상정위 개선 시스템 및 방법
Winkler et al. Crosstalk cancellation in audiology

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant