JP2016052117A - 音声信号処理方法および装置 - Google Patents

音声信号処理方法および装置 Download PDF

Info

Publication number
JP2016052117A
JP2016052117A JP2015113909A JP2015113909A JP2016052117A JP 2016052117 A JP2016052117 A JP 2016052117A JP 2015113909 A JP2015113909 A JP 2015113909A JP 2015113909 A JP2015113909 A JP 2015113909A JP 2016052117 A JP2016052117 A JP 2016052117A
Authority
JP
Japan
Prior art keywords
signal
mobile terminal
audio signal
microphone
rear surround
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015113909A
Other languages
English (en)
Inventor
チェン・ジンドン
Jingdong Chen
リー・ハイティン
Haiting Li
ヂャン・ドーミン
Deming Zhang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2016052117A publication Critical patent/JP2016052117A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/405—Non-uniform arrays of transducers or a plurality of uniform arrays with different transducer spacing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
    • H04R2203/12—Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Telephone Function (AREA)

Abstract

【課題】音声信号処理方法および装置を提供する。
【解決手段】本発明の実施形態は、音声信号処理方法および装置を開示し、オーディオ信号処理分野に関し、端末を取囲む三次元音場において信号を収集および処理することができる。本発明における方法は、三次元音場から音声信号を移動端末によって取得するステップを含み、少なくとも３つのマイクロホンが移動端末に配設されており、１つのマイクロホンが少なくとも１つの方向の音声信号を受取るように構成され、当該方法はさらに、取得された音声信号に従って、移動端末に対する音源の方向を取得するステップと、移動端末に対する音源の方向および取得された音声信号に従って、空間オーディオ信号を得るステップとを含み、空間オーディオ信号は、三次元音場をシミュレートするために使用される。本発明は、端末を取囲む三次元音場において信号を収集および処理するプロセスに適用可能である。
【選択図】図１

Description

技術分野
本発明は、オーディオ信号処理分野に関し、特に音声信号処理方法および装置に関する。
背景
電子情報技術の発展に伴って、三次元音場の収集および処理が絶えず改良されている。移動端末は、三次元音場収集および処理システムにおける一般的な装置である。先行技術における、移動端末によって三次元音場の収集および処理を行うための具体的な手段について以下で説明する。
二次元音場の収集のためのビーム形成技術が移動端末に適用され、当該ビーム形成技術を使用して、０°方向および１８０°方向のハート型の指向性を有するビームが生成され、三次元音声信号の収集が実施される。当該技術が三次元音場の収集に適用され、当該ビーム形成技術を使用して異なる方向のビームが得られ、当該ビームは、音声チャネルおよび音場収集システム５．１において、中央音声チャネル、左前方音声チャネル、右前方音声チャネル、左後方サラウンド音声チャネルおよび右後方サラウンド音声チャネルをシミュレートするために使用される。
現在のところ、二次元音場の収集のためのビーム形成技術を使用して移動端末上でシミュレートされた三次元音場では、二次元音場の収集のためのビーム形成技術が使用され、０°方向および１８０°方向のハート型の指向性を有するビームが生成されるので、シミュレートされた三次元音場の実際の再生結果において左方向と右方向との間の差が前方方向と後方方向との間の差よりも明らかであるという現象が起こり、その結果、シミュレートされた三次元音場は依然として二次元音場の特徴を有し、シミュレートされた三次元音場の質が比較的低くなる。
概要
本発明の実施形態は、端末を取囲む三次元音場において信号を収集および処理することができる音声信号処理方法および装置を提供する。
上記の目的を達成するために、本発明の実施形態は以下の技術的解決策を使用する。
第１の局面によれば、本発明の実施形態は、音声信号処理方法であって、
三次元音場から音声信号を移動端末によって取得するステップを含み、少なくとも３つのマイクロホンが上記移動端末に配設されており、１つのマイクロホンが少なくとも１つの方向の音声信号を受取るように構成され、上記音声信号処理方法はさらに、
上記取得された音声信号に従って、上記移動端末に対する音源の方向を取得するステップと、
上記移動端末に対する上記音源の上記方向および上記取得された音声信号に従って、空間オーディオ信号を得るステップとを含み、上記空間オーディオ信号は、上記三次元音場をシミュレートするために使用される、音声信号処理方法を提供する。第１の局面を参照して、第１の局面の第１の可能な実施態様において、上記取得された音声信号に従って、上記移動端末に対する音源の方向を取得するステップは、
上記移動端末上の上記マイクロホンによって受取られる１つの方向の音声信号と別の方向の音声信号との間の到達時間差を取得するステップを含み、上記移動端末上の上記マイクロホンは、少なくとも４つの方向の音声信号を受取るように構成され、上記取得するステップはさらに、
上記取得された到達時間差および上記移動端末上の上記移動端末上の上記マイクロホンの位置に従って、上記移動端末に対する上記音源の上記方向を得るステップを含む。
Figure 2016052117
Figure 2016052117
第１の局面の第２の可能な実施態様を参照して、第１の局面の第４の可能な実施態様において、上記取得された到達時間差および上記移動端末上の上記移動端末上の上記マイクロホンの位置に従って、上記移動端末に対する上記音源の上記方向を得るステップは、
以下に従って、上記移動端末に対する上記音源の上記方向θを取得するステップを含み、
Figure 2016052117
上記第１のマイクロホンおよび第２のマイクロホンは、上記移動端末の１つの面の対称軸上に位置し、それぞれ上記１つの面上の２つの平行な端縁に位置し、第３のマイクロホンおよび第４のマイクロホンは、上記移動端末の別の面の対称軸上に位置し、それぞれ上記別の面上の２つの平行な端縁に位置し、ｃは音速を表わし、（ｘ１，ｙ１）は上記第１のマイクロホンに対応する座標を表わし、（ｘ２，ｙ２）は上記第２のマイクロホンに対応する座標を表わし、（ｘ３，ｙ３）は上記第３のマイクロホンに対応する座標を表わし、（ｘ４，ｙ４）は上記第４のマイクロホンに対応する座標を表わす。
第１の局面または第１の局面の第１から第４の可能な実施態様のうちのいずれか１つに係る音声信号処理方法を参照して、第１の局面の第５の可能な実施態様において、上記空間オーディオ信号は、左方向の信号と、右方向の信号と、中央方向の信号と、左後方サラウンド信号と、右後方サラウンド信号とを少なくとも含み、
上記移動端末に対する上記音源の上記方向および上記取得された音声信号に従って、空間オーディオ信号を得るステップは、
上記移動端末に対する上記音源の上記方向を使用してゲイン調整パラメータを生成するステップを含み、上記ゲイン調整パラメータは、上記左方向の信号、上記右方向の信号および上記中央方向の信号に対応する第１のタイプのゲイン調整パラメータαＦと、上記左後方サラウンド信号および上記右後方サラウンド信号に対応する第１のタイプのゲイン調整パラメータαＢと、上記左方向の信号および上記左後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＬと、上記右方向の信号および上記右後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＲとを含み、さらに、上記移動端末に対する上記音源の上記方向について、θ∈［0,90）∪（270,360］の場合、αＦ＞αＢであり、θ∈（90,270）の場合、αＦ＜αＢであり、θ∈（0,180）の場合、αＬ＞αＲであり、θ∈（180,360）の場合、αＬ＜αＲであり、上記得るステップはさらに、
上記音声信号に従って、上記空間オーディオ信号における全ての方向の上記信号の初期値を取得するステップと、
上記ゲイン調整パラメータおよび上記空間オーディオ信号における全ての方向の上記信号の上記初期値に従って、上記左方向の信号、上記右方向の信号、上記中央方向の信号、上記左後方サラウンド信号および上記右後方サラウンド信号を生成するステップとを含む。
第１の局面の第５の可能な実施態様を参照して、第１の局面の第６の可能な実施態様において、上記空間オーディオ信号は、２チャネル信号をさらに含み、
上記方法はさらに、
上記２チャネル信号を生成するために、上記左方向の信号、上記右方向の信号、上記中央方向の信号、上記左後方サラウンド信号および上記右後方サラウンド信号をダウンミックスするステップを含む。
第１の局面の第５の可能な実施態様を参照して、第１の局面の第７の可能な実施態様において、上記移動端末に対する上記音源の上記方向を使用してゲイン調整パラメータを生成するステップは、
以下に従って、上記左方向の信号、上記右方向の信号および上記中央方向の信号に対応する上記第１のタイプのゲイン調整パラメータαＦを生成するステップと、
Figure 2016052117
以下に従って、上記左後方サラウンド信号および上記右後方サラウンド信号に対応する上記第１のタイプのゲイン調整パラメータαＢを生成するステップとを含み、
Figure 2016052117
αＦ，ｍｉｎ、αＦ，ｍｅｄ１、αＦ，ｍａｘ１、αＦ，ｍｅｄ２、αＦ，ｍａｘ２、αＢ，ｍｉｎ１、αＢ，ｍｅｄ１、αＢ，ｍｉｎ２、αＢ，ｍｅｄ２およびαＢ，ｍａｘは、ゼロよりも大きな定数であり、αＦ，ｍｉｎ＜αＦ，ｍｅｄ１＜αＦ，ｍａｘ１、αＦ，ｍｉｎ＜αＦ，ｍｅｄ２＜αＦ，ｍａｘ２、αＢ，ｍｉｎ１＜αＢ，ｍｅｄ１＜αＢ，ｍａｘ、αＢ，ｍｉｎ２＜αＢ，ｍｅｄ２＜αＢ，ｍａｘ、αＢ，ｍｅｄ１＝αＦ，ｍｅｄ１およびαＢ，ｍｅｄ２＝αＦ，ｍｅｄ２であり、上記生成するステップはさらに、
以下に従って、上記左方向の信号および上記左後方サラウンド信号に対応する上記第２のタイプのゲイン調整パラメータαＬを生成するステップと、
Figure 2016052117
以下に従って、上記右方向の信号および上記右後方サラウンド信号に対応する上記第２のタイプのゲイン調整パラメータαＲを生成するステップとを含み、
Figure 2016052117
αＬ，ｍｅｄ１、αＬ，ｍａｘ、αＬ，ｍｅｄ２、αＬ，ｍｉｎ、αＲ，ｍｅｄ１、αＲ，ｍｉｎ、αＲ，ｍｅｄ２およびαＲ，ｍａｘは、ゼロよりも大きな定数であり、αＬ，ｍｉｎ＜αＬ，ｍｅｄ１＜αＬ，ｍａｘ、αＬ，ｍｉｎ＜αＬ，ｍｅｄ２＜αＬ，ｍａｘ、αＲ，ｍｉｎ＜αＲ，ｍｅｄ１＜αＲ，ｍａｘ、αＲ，ｍｉｎ＜αＲ，ｍｅｄ２＜αＲ，ｍａｘ、αＬ，ｍｅｄ１＝αＲ，ｍｅｄ１およびαＬ，ｍｅｄ２＝αＲ，ｍｅｄ２である。
第１の局面の第７の可能な実施態様を参照して、第１の局面の第８の可能な実施態様において、上記ゲイン調整パラメータおよび上記空間オーディオ信号における全ての方向の上記信号の上記初期値に従って、上記空間オーディオ信号における全ての方向の上記信号を生成するステップは、
以下に従って、上記左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）、上記中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）、上記右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）、上記左後方サラウンド方向信号ＳＬＳ，ｆｉｎａｌ（ｎ）および上記右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得するステップを含み、
Figure 2016052117
ＳＬ（ｎ）は上記左方向の信号の初期値を表わし、ＳＣ（ｎ）は上記中央方向の信号の初期値を表わし、ＳＲ（ｎ）は上記右方向の信号の初期値を表わし、ＳＬＳ（ｎ）は上記左後方サラウンド信号の初期値を表わし、ＳＲＳ（ｎ）は上記右後方サラウンド信号の初期値を表わし、ｎはサンプリング点数を表わす。
Figure 2016052117
第１の局面の第９の可能な実施態様を参照して、第１の局面の第１０の可能な実施態様において、ハート型の指向性を有するビームＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）を取得するステップは、
上記第１から上記第４のマイクロホンによって受取られる上記音声信号を使用して、ハート型の指向性を有するビームＢＦｉｊ（ｎ）を取得するステップを含み、ＢＦｉｊ（ｎ）の最大指向性の点は、ｉ番目のマイクロホンとｊ番目のマイクロホンとの接続線から上記ｉ番目のマイクロホンに向かう方向にあり、ＢＦｉｊ（ｎ）の指向性のゼロ点は、上記ｉ番目のマイクロホンと上記ｊ番目のマイクロホンとの上記接続線から上記ｊ番目のマイクロホンに向かう方向にあり、ｉおよびｊは１、２、３または４に等しく、上記取得するステップはさらに、
以下に従って、ハート型の指向性を有する上記ビームＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）を取得するステップを含む。
Figure 2016052117
第１の局面の第７の可能な実施態様を参照して、第１の局面の第１１の可能な実施態様において、上記ゲイン調整パラメータおよび上記空間オーディオ信号における全ての方向の上記信号の上記初期値に従って、上記空間オーディオ信号における全ての方向の上記信号を生成するステップは、
ＳＬ，ｆｉｎａｌ（ｎ）＝ＳＬ（ｎ）＊αＬに従って上記左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）を取得するステップと、
ＳＣ，ｆｉｎａｌ（ｎ）＝ＳＣ（ｎ）に従って上記中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）を取得するステップと、
ＳＲ，ｆｉｎａｌ（ｎ）＝ＳＲ（ｎ）＊αＲに従って上記右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）を取得するステップと、
ＳＬＳ，ｆｉｎａｌ（ｎ）＝ＳＬＳ（ｎ）＊αＬに従って上記左後方サラウンド信号ＳＬＳ，ｆｉｎａｌ（ｎ）を取得するステップと、
ＳＲＳ，ｆｉｎａｌ（ｎ）＝ＳＲＳ（ｎ）＊αＲに従って上記右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得するステップとを含み、
ＳＬ（ｎ）は上記左方向の信号の初期値を表わし、ＳＣ（ｎ）は上記中央方向の信号の初期値を表わし、ＳＲ（ｎ）は上記右方向の信号の初期値を表わし、ＳＬＳ（ｎ）は上記左後方サラウンド信号の初期値を表わし、ＳＲＳ（ｎ）は上記右後方サラウンド信号の初期値を表わし、ｎはサンプリング点数を表わす。
第２の局面によれば、本発明は、音声信号処理装置であって、
三次元音場から音声信号を取得するように構成された第１の取得モジュールを含み、少なくとも３つのマイクロホンが移動端末に配設されており、１つのマイクロホンが少なくとも１つの方向の音声信号を受取るように構成され、上記音声信号処理装置はさらに、
上記取得された音声信号に従って、上記移動端末に対する音源の方向を取得するように構成された第２の取得モジュールと、
上記移動端末に対する上記音源の上記方向および上記取得された音声信号に従って、空間オーディオ信号を得るように構成された第１の処理モジュールとを含み、上記空間オーディオ信号は、上記三次元音場をシミュレートするために使用される、音声信号処理装置を提供する。
第２の局面を参照して、第２の局面の第１の可能な実施態様において、上記第２の取得モジュールは、
上記移動端末上の上記マイクロホンによって受取られる１つの方向の音声信号と別の方向の音声信号との間の到達時間差を取得するように構成された第１の取得ユニットを含み、上記移動端末上の上記マイクロホンは、少なくとも４つの方向の音声信号を受取るように構成され、上記第２の取得モジュールはさらに、
上記取得された到達時間差および上記移動端末上の上記移動端末上の上記マイクロホンの位置に従って、上記移動端末に対する上記音源の上記方向を得るように構成された第２の取得ユニットを含む。
Figure 2016052117
第２の局面の第２の可能な実施態様を参照して、第２の局面の第４の可能な実施態様において、上記第２の取得ユニットは、
以下に従って、上記移動端末に対する上記音源の上記方向θを取得するように構成された第４の取得サブユニットを含み、
Figure 2016052117
上記第１のマイクロホンおよび第２のマイクロホンは、上記移動端末の１つの面の対称軸上に位置し、それぞれ上記１つの面上の２つの平行な端縁に位置し、第３のマイクロホンおよび第４のマイクロホンは、上記移動端末の別の面の対称軸上に位置し、それぞれ上記別の面上の２つの平行な端縁に位置し、ｃは音速を表わし、（ｘ１，ｙ１）は上記第１のマイクロホンに対応する座標を表わし、（ｘ２，ｙ２）は上記第２のマイクロホンに対応する座標を表わし、（ｘ３，ｙ３）は上記第３のマイクロホンに対応する座標を表わし、（ｘ４，ｙ４）は上記第４のマイクロホンに対応する座標を表わす。
第２の局面または第２の局面の第１から第４の可能な実施態様のうちのいずれか１つに係る音声信号処理装置を参照して、上記空間オーディオ信号は、左方向の信号と、右方向の信号と、中央方向の信号と、左後方サラウンド信号と、右後方サラウンド信号とを少なくとも含み、
上記第１の処理モジュールは、
上記移動端末に対する上記音源の上記方向を使用してゲイン調整パラメータを生成するように構成された第１の処理ユニットを含み、上記ゲイン調整パラメータは、上記左方向の信号、上記右方向の信号および上記中央方向の信号に対応する第１のタイプのゲイン調整パラメータαＦと、上記左後方サラウンド信号および上記右後方サラウンド信号に対応する第１のタイプのゲイン調整パラメータαＢと、上記左方向の信号および上記左後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＬと、上記右方向の信号および上記右後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＲとを含み、さらに、上記移動端末に対する上記音源の上記方向について、θ∈［0,90）∪（270,360］の場合、αＦ＞αＢであり、θ∈（90,270）の場合、αＦ＜αＢであり、θ∈（0,180）の場合、αＬ＞αＲであり、θ∈（180,360）の場合、αＬ＜αＲであり、上記第１の処理モジュールはさらに、
上記音声信号に従って、上記空間オーディオ信号における全ての方向の上記信号の初期値を取得するように構成された第２の処理ユニットと、
上記ゲイン調整パラメータおよび上記空間オーディオ信号における全ての方向の上記信号の上記初期値に従って、上記左方向の信号、上記右方向の信号、上記中央方向の信号、上記左後方サラウンド信号および上記右後方サラウンド信号を生成するように構成された第３の処理ユニットとを含む。
第２の局面の第４の可能な実施態様を参照して、第２の局面の第６の可能な実施態様において、上記空間オーディオ信号は、２チャネル信号をさらに含み、
上記装置はさらに、
上記２チャネル信号を生成するために、上記左方向の信号、上記右方向の信号、上記中央方向の信号、上記左後方サラウンド信号および上記右後方サラウンド信号をダウンミックスするように構成された第４の処理ユニットを含む。
本発明の実施形態において提供される音声信号処理方法および装置によれば、音声信号は、移動端末を取囲む三次元音場から取得されることができ、移動端末に対する全ての音源の方向が取得され、次いで、移動端末に対する音源の方向および音声信号を使用して、三次元音場をシミュレートするために使用される空間オーディオ信号が生成される。本発明において提供される解決策では、三次元音場をシミュレートするために使用される音声信号は、移動端末の要素を使用して収集および処理され得る。また、全ての方向の受取られた音源の移動端末に対する方向は、分析によって得られ、次いで、全ての方向の音源の移動端末に対する方向に従って、三次元音場の効果がシミュレートされる。先行技術における解決策では、０°および１８０°の２つの方向のビームのみを使用して三次元音場がシミュレートされる。しかし、本発明では、全ての方向の音源の移動端末に対する方向が取得され、音源は、０°および１８０°の２つの方向に限定されるものではない。したがって、シミュレートされた三次元音場において左方向と右方向との間の差が前方方向と後方方向との間の差よりも明らかであるという現象を軽減することができ、それによって、シミュレートされた三次元音場の質が向上する。
本発明の実施形態における技術的解決策をより明らかに説明するために、実施形態の説明に必要な添付の図面について以下で簡単に紹介する。明らかに、以下の説明では、添付の図面は本発明のいくつかの実施形態を示しているに過ぎず、依然として当業者は、創意工夫なしにこれらの添付の図面から他の図面を導き出すことができる。
本発明の実施形態に係る音声信号処理方法のフローチャートである。 本発明の実施形態に係る音声信号処理のアプリケーションシナリオの概略構造図である。 本発明の実施形態に係る音声信号処理のアプリケーションシナリオの概略構造図である。 本発明の実施形態に係る音声信号処理のアプリケーションシナリオの概略構造図である。 本発明の実施形態に係る音声信号処理のアプリケーションシナリオの概略構造図である。 本発明の実施形態に係る音声信号処理のアプリケーションシナリオの概略構造図である。 本発明の実施形態に係る別の音声信号処理方法のフローチャートである。 本発明の実施形態に係る音声信号処理方法の具体的な実施態様のフローチャートである。 本発明の実施形態に係る別の音声信号処理方法の具体的な実施態様のフローチャートである。 本発明の実施形態に係る音声信号処理のアプリケーションシナリオの概略構造図である。 本発明の実施形態に係る音声信号処理の別のアプリケーションシナリオの概略構造図である。 本発明の実施形態に係る音声信号処理のさらに別のアプリケーションシナリオの概略構造図である。 本発明の実施形態に係る音声信号処理方法のフローチャートである。 本発明の実施形態に係る別の音声信号処理方法のフローチャートである。 本発明の実施形態に係る音声信号処理装置の概略構造図である。 本発明の実施形態に係る音声信号処理装置の具体的な構造の概略図である。 本発明の実施形態に係る音声信号処理装置の具体的な構造の概略図である。 本発明の実施形態に係る音声信号処理装置の具体的な構造の概略図である。 本発明の実施形態に係る音声信号処理装置の具体的な構造の概略図である。 本発明の実施形態に係る音声信号処理装置の具体的な構造の概略図である。 本発明の実施形態に係る音声信号処理装置の具体的な構造の概略図である。 本発明の実施形態に係る音声信号処理装置の具体的な構造の概略図である。 本発明の実施形態に係る音声信号処理装置の具体的な構造の概略図である。 本発明の実施形態に係る音声信号処理装置の具体的な構造の概略図である。 本発明の実施形態に係る音声信号処理装置の具体的な構造の概略図である。 本発明の実施形態に係る音声信号処理エンティティの概略構造図である。
実施形態の説明
以下では、本発明の実施形態における添付の図面を参照して、本発明の実施形態における技術的解決策について明らかにかつ完全に説明する。明らかに、記載されている実施形態は、本発明の実施形態のうちのいくつかに過ぎず、本発明の全ての実施形態であるわけではない。創意工夫なしに本発明の実施形態に基づいて当業者によって得られる全ての他の実施形態は、本発明の保護範囲内である。
本発明の実施形態は音声信号処理方法を提供し、図１に示されるように、当該方法は以下を含む。
ステップ１０１：移動端末が三次元音場から音声信号を取得し、少なくとも３つのマイクロホンが移動端末に配設されている。
１つのマイクロホンは、少なくとも１つの方向の音声信号を受取るように構成されている。
本発明のこの実施形態は、移動端末に適用され得て、当該移動端末にはマイクロホンが配置され、当該マイクロホンは、三次元音場を測定し、当該三次元音場から音声信号を取得し、強調処理のために当該音声信号を移動端末におけるプロセッサに送信するように構成され、また、強調の前および後に、格納のために移動端末におけるストレージに音声信号を送信し得る。具体的には、移動端末に配置されるマイクロホンは、全指向性マイクロホンであってもよく、または特定の指向性を有するマイクロホンであってもよい。例えば、ＭＥＭＳ（微小電気機械システム）マイクロホンまたはＥＣＭ（エレクトレットコンデンサマイクロホン）マイクロホンが特に移動端末に配置されてもよい。
この実施形態では、移動端末にマイクロホンを配置するための態様が複数存在し得る。さまざまな配置態様において、移動端末上のマイクロホンの数量および位置は限定されるものではない。この実施形態では、説明のための例として、マイクロホンが４つの場合およびマイクロホンが３つの場合が使用される。例えば、移動端末には、図１ａに示されるように、４つのマイクロホンが移動端末の４つの角にそれぞれ配設されてもよい。また、任意に、図１ｂに示されるように、４つのマイクロホンが移動端末の４つの側面にそれぞれ配設されてもよい。また、任意に、図１ｃに示されるように、１つのマイクロホンが移動端末の底部側、前方イヤホン付近、後方カメラ付近および後方底部側付近に各々配設されてもよい。別の例では、単純に３つのマイクロホンが移動端末に配設されてもよい。図１ｄに示されるように、２つのマイクロホンが移動端末の底部側に配設され、１つのマイクロホンが前方イヤホン付近に配設される。任意に、図１ｅに示されるように、１つのマイクロホンが移動端末の底部側、前方イヤホン付近および後方カメラ付近に各々配設されてもよい。
ステップ１０２：取得された音声信号に従って、移動端末に対する音源の方向を取得する。
移動端末は、マイクロホンを使用して、放出される音の供給源を推定し、移動端末に対する音源の方向を得る。この実施形態では、例えば最大出力パワーベースの制御可能なビーム形成技術または到達時間差ベースの位置決め技術または高分解能スペクトル推定ベースの位置決め技術に基づいて音源を推定するための方法が複数存在し得る。
また、音源の位置を推定する際、移動端末は、受取られた音声信号に対して強調処理をさらに行ってもよい。例えば、移動端末は、ビーム形成、空間予測または聴覚シナリオ分析などの技術的手段を使用して、全ての方向の強調された音声信号を得ることができる。例えば、ビーム形成によって音声信号を強調するために移動端末によって使用される具体的な方法としては、遅延和ビーム形成もしくはフィルタリング和ビーム形成などの固定ビーム形成技術、または、最小分散無ひずみ応答原理に基づく適応ビーム形成アルゴリズム、線形拘束最小分散ビーム形成もしくはサイドローブキャンセルアルゴリズムなどのアダプティブビーム形成技術、または差分ビーム形成技術が挙げられ得る。空間予測によって音声信号を強調するために移動端末によって使用される具体的な方法は、収集されることが見込まれるいくつかの方向の空間音声信号を予め設定するステップと、次いで、出力された強調された音声信号のノイズが最小であり、かつ、予測誤差がゼロに近付くように、事前にトレーニングされた最適なフィルタ群および空間予測技術を使用して、移動端末上の音声受信機によって受取られた全ての方向の音声信号を、出力されることが見込まれるいくつかの方向の予め設定された信号に変換するステップとを含み得る。この実施形態では、可聴シナリオ分析技術は、具体的にはブラインド音源分離アルゴリズムであってもよい。
２つの方向のビーム指向性を少なくとも有する音声信号が強調によって得られる。例えば１つのマイクロホンによって受取られた音声信号に対する強調処理によって得られる１つの方向のビーム指向性を有する音声信号は、移動端末の前方、後方、左側および右側などの異なる方向に音源から送られる全ての方向の音声信号として分化され得る。例えば、移動端末が受取られた音声信号に対して強調処理を行った後、左前方、右前方、左後方および右後方のビーム指向性をそれぞれ有する４つの方向の強調された音声信号が生成され、または、前方、後方、左方向および右方向のビーム指向性をそれぞれ有する４つの方向の強調された音声信号が生成される。また、この実施形態では、複数の方向の異なる指向性を有する音声信号は、特定のニーズに従って１つの特定の方向の音声信号に統合され得て、強調処理によって得られるビーム指向性を有する音声信号のビーム形状は、ハート型の指向性であってもよく、またはスーパーハート型であってもよく、または別の形状であってもよい。
ステップ１０３：移動端末に対する音源の方向および取得された音声信号に従って、空間オーディオ信号を得る。
空間オーディオ信号は、三次元音場をシミュレートするために使用される。三次元音場は、移動端末を取囲む特定の範囲の音場として理解されることができる。音源は、三次元音場においていかなる方向からも音声信号を送ることができ、当該音声信号は、移動端末によって受取られる。
例えば、移動端末は、移動端末に対する音源の方向および全ての方向の受取られた音声信号を使用して、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号を生成する。移動端末は、全ての方向の強調された音声信号を、５．１音声チャネル再生システムのシミュレートされた音場を形成するために使用される空間オーディオ信号に必要な合計６つの方向の音声信号にマッピングし、さらに、移動端末に対する音源の方向を使用して、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な６つの方向の音声信号の分離度を向上させ得る。例えば、移動端末は、移動端末に対する音源の方向に従って、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な音声信号の、各方向ごとのゲイン調整パラメータを計算し、ゲイン調整パラメータを使用して、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な音声信号を調整し得る。空間オーディオ信号は、左方向の信号、右方向の信号、中央方向の信号、左後方サラウンド信号および右後方サラウンド信号を少なくとも含む。
移動端末によって受取られる全ての方向の音声信号と、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な６つの方向の音声信号との間には複数の関係が存在し得る。例えば、移動端末によって受取られた音声信号は強調され、４つの方向の音声信号が出力され、当該４つの方向はそれぞれ、左前方、左後方、右前方および右後方であり、左前方方向の音声信号は、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な左方向の音声信号にマッピングされ、右前方方向の音声信号は、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な右方向の音声信号にマッピングされ、左前方方向の音声信号と右前方方向の音声信号との間で平均信号が取られ、当該平均信号は、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な中央方向の音声信号にマッピングされ、左後方方向の音声信号は、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な左後方サラウンド音声信号にマッピングされ、右後方方向の音声信号は、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な右後方サラウンド音声信号にマッピングされ、左前方方向、左後方方向、右前方方向および右後方方向の音声信号の間で平均値が取られ、当該平均値に対して１５０Ｈｚローパスフィルタリング処理が行われて、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な超低音信号を得る。
別の例では、移動端末によって受取られた音声信号は強調され、４つの方向の音声信号、すなわちそれぞれ前方、後方、左方向および右方向の４つの方向の音声信号が出力され、左方向および前方方向の音声信号の平均信号が、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な左方向の音声信号にマッピングされ、右方向および前方方向の音声信号の平均信号が、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な右方向の音声信号にマッピングされ、前方方向の音声信号が、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な中央方向の音声信号にマッピングされ、左方向および後方方向の音声信号の平均信号が、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な左後方サラウンド音声信号にマッピングされ、右方向および後方方向の音声信号の平均信号が、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な右後方サラウンド音声信号にマッピングされ、前方方向、後方方向、左方向および右方向の音声信号の間で平均値が取られ、当該平均値に対して１５０Ｈｚローパスフィルタリング処理が行われて、５．１音声チャネル再生システムのシミュレートされた音場に使用される空間オーディオ信号に必要な超低音信号を得る。
本発明のこの実施形態において提供される音声信号処理方法によれば、音声信号は、移動端末の三次元音場から取得されることができ、移動端末に対する全ての音源の方向が取得され、次いで、移動端末に対する音源の方向および音声信号を使用して、三次元音場をシミュレートするために使用される空間オーディオ信号が得られる。本発明において提供される解決策では、三次元音場をシミュレートするために使用される音声信号は、移動端末の要素を使用して収集および処理され得る。また、全ての方向の受取られた音源の移動端末に対する方向は、分析によって得られ、次いで、全ての方向の音源の移動端末に対する方向に従って、三次元音場の効果が強調される。先行技術における解決策では、ビームのみを使用して三次元音場がシミュレートされる。しかし、本発明では、全ての方向の音源の移動端末に対する方向が取得され、さらに、当該方向についての情報を使用してビーム形成に対してゲイン調整が行われる。したがって、シミュレートされた三次元音場において左方向と右方向との間の差が前方方向と後方方向との間の差よりも明らかであるという現象を軽減することができ、それによって、シミュレートされた三次元音場の質が向上する。
この実施形態では、移動端末に対する音源の方向を取得するために移動端末によって使用される方法が複数存在し得る。例えば、位置決め技術を使用して、移動端末および音源の役割を果たす移動端末の空間座標が取得されてもよく、移動端末および音源の役割を果たす移動端末の空間座標に従って、移動端末に対する音源の方向が決定されてもよい。しかし、移動端末を位置決めするプロセスはネットワーク帯域幅を占有する必要があり、位置決めプロセスは特定の遅延を有する。この実施形態では、移動端末は、移動端末に対する複数の方向の音源の方向を取得する必要があり、移動端末に対する音源の方向は、到達時間差ベースの位置決め技術を使用して取得され得る。したがって、図２に示されるように、ステップ１０２の具体的な実施態様は以下を含み得る：
ステップ１０２１：移動端末上のマイクロホンによって受取られる１つの方向の音声信号と別の方向の音声信号との間の到達時間差を取得する。
移動端末上のマイクロホンは、少なくとも４つの方向の音声信号を受取るように構成されている。
Figure 2016052117
ステップ１０２２：取得された到達時間差および移動端末上の移動端末上のマイクロホンの位置に従って、移動端末に対する音源の方向を得る。
移動端末にマイクロホンを配置するための態様の違いによって、移動端末に対する音源の方向を取得するために移動端末によって使用される具体的な態様が複数存在し得る。
例えば、移動端末上で、第１のマイクロホンおよび第４のマイクロホンは同一の側に位置し、第１のマイクロホンおよび第２のマイクロホンは同一の側に位置し、ｃは音速を表わし、ｄは第１のマイクロホンの中心点と第４のマイクロホンの中心点との間の距離を表わし、ｄは第２のマイクロホンの中心点と第３のマイクロホンの中心点との間の距離に等しく、ｈは第１のマイクロホンの中心点と第２のマイクロホンの中心点との間の距離を表わし、ｈは第３のマイクロホンの中心点と第４のマイクロホンの中心点との間の距離に等しく、αは移動端末の対角線と第１のマイクロホンおよび第４のマイクロホンが位置する角度の側との間の夾角を表わす。
図２ａに示されるように、ステップ１０２２は、具体的にはステップ１０２２１〜１０２２２として実施され得る。
Figure 2016052117
別の例では、別の移動端末上で、第１のマイクロホンおよび第２のマイクロホンは、移動端末の１つの面の対称軸上に位置し、それぞれ当該１つの面上の２つの平行な端縁に位置し、第３のマイクロホンおよび第４のマイクロホンは、移動端末の別の面の対称軸上に位置し、それぞれ当該別の面上の２つの平行な端縁に位置し、ｃは音速を表わし、（ｘ１，ｙ１）は第１のマイクロホンに対応する座標を表わし、（ｘ２，ｙ２）は第２のマイクロホンに対応する座標を表わし、（ｘ３，ｙ３）は第３のマイクロホンに対応する座標を表わし、（ｘ４，ｙ４）は第４のマイクロホンに対応する座標を表わす。
図２ｂに示されるように、ステップ１０２２は、具体的にはステップ１０２２３として実施され得る。
ステップ１０２２３：以下に従って、移動端末に対する音源の方向θを取得する。
Figure 2016052117
例えば、この実施形態では、図２ｃに示されるように、移動端末にマイクロホンを設置するための態様は、移動端末の４つの角にマイクロホンをそれぞれ設置するというものであってもよく、移動端末上の４つのマイクロホンは、三次元音場の音声信号を取得する役割を担う。次いで、取得された音声信号を使用して音源の位置が推定され、取得された音声信号に対してゲイン処理が行われる。
Figure 2016052117
次いで、到達時間差、移動端末上のマイクロホンの設置位置およびマイクロホンの位置間の関係に従って、音源と移動端末との間の入射角、すなわち移動端末に対する音源の方向θが計算される。具体的な計算プロセスは以下の通りであり、
Figure 2016052117
ｃは、音速を表わし、一般に３４０ｍ／ｓであり、ｄは、マイクロホン１とマイクロホン４との間を距離を表わし、マイクロホン２とマイクロホン３との間の距離に等しく、ｈは、マイクロホン１とマイクロホン２との間の距離を表わし、マイクロホン３とマイクロホン４との間の距離に等しい。
別の例において、この実施形態では、図２ｄに示されるように、移動端末にマイクロホンを設置するための態様は、移動端末の底部側、前方イヤホン付近、後方カメラ付近および後方底部側付近にそれぞれ１つのマイクロホンを設置するというものであってもよく、各マイクロホンは、三次元音場の音声信号を取得する役割を担う。次いで、取得された音声信号を使用して音源の位置が推定され、取得された音声信号に対してゲイン処理が行われる。
Figure 2016052117
次いで、到達時間差、移動端末上のマイクロホンの設置位置およびマイクロホンの位置間の関係に従って、音源の入射角、すなわち移動端末に対する音源の方向θが計算される。図２ｅでは、マイクロホン１の座標は（ｘ１，ｙ１）であり、マイクロホン２の座標は（ｘ２，ｙ２）であり、マイクロホン３の座標は（ｘ３，ｙ３）であり、マイクロホン４の座標は（ｘ４，ｙ４）であるとされる。具体的には、移動端末に対する音源の方向θと到達時間差との関係は、以下の通りであり、
Figure 2016052117
ｃは、音速を表わし、一般に３４０ｍ／ｓである。
さらに、この実施形態では、移動端末に対する音源の方向が取得された後、取得された移動端末に対する音源の方向に従って、各音声チャネルにおける信号のゲイン調整パラメータをさらに計算する必要がある。したがって、図３に示されるように、ステップ１０３は、具体的にはステップ１０３１として実施され得る。
ステップ１０３１：移動端末に対する音源の方向を使用してゲイン調整パラメータを生成する。
ゲイン調整パラメータは、左方向の信号、右方向の信号および中央方向の信号に対応する第１のタイプのゲイン調整パラメータαＦと、左後方サラウンド信号および右後方サラウンド信号に対応する第１のタイプのゲイン調整パラメータαＢと、左方向の信号および左後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＬと、右方向の信号および右後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＲとを含み、さらに、移動端末に対する音源の方向について、θ∈［0,90）∪（270,360］の場合、αＦ＞αＢであり、θ∈（90,270）の場合、αＦ＜αＢであり、θ∈（0,180）の場合、αＬ＞αＲであり、θ∈（180,360）の場合、αＬ＜αＲである。
ステップ１０３１は、具体的にはステップ１０３１ａ、１０３１ｂ、１０３１ｃおよび１０３１ｄを含む。
ステップ１０３１ａ：以下に従って、左方向の信号、右方向の信号および中央方向の信号に対応する第１のタイプのゲイン調整パラメータαＦを生成する。
Figure 2016052117
ステップ１０３１ｂ：以下に従って、左後方サラウンド信号および右後方サラウンド信号に対応する第１のタイプのゲイン調整パラメータαＢを生成し、
Figure 2016052117
αＦ，ｍｉｎ、αＦ，ｍｅｄ１、αＦ，ｍａｘ１、αＦ，ｍｅｄ２、αＦ，ｍａｘ２、αＢ，ｍｉｎ１、αＢ，ｍｅｄ１、αＢ，ｍｉｎ２、αＢ，ｍｅｄ２およびαＢ，ｍａｘは、ゼロよりも大きな定数であり、αＦ，ｍｉｎ＜αＦ，ｍｅｄ１＜αＦ，ｍａｘ１、αＦ，ｍｉｎ＜αＦ，ｍｅｄ２＜αＦ，ｍａｘ２、αＢ，ｍｉｎ１＜αＢ，ｍｅｄ１＜αＢ，ｍａｘ、αＢ，ｍｉｎ２＜αＢ，ｍｅｄ２＜αＢ，ｍａｘ、αＢ，ｍｅｄ１＝αＦ，ｍｅｄ１およびαＢ，ｍｅｄ２＝αＦ，ｍｅｄ２である。
ステップ１０３１ｃ：以下に従って、左方向の信号および左後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＬを生成する。
Figure 2016052117
ステップ１０３１ｄ：以下に従って、右方向の信号および右後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＲを生成し、
Figure 2016052117
αＬ，ｍｅｄ１、αＬ，ｍａｘ、αＬ，ｍｅｄ２、αＬ，ｍｉｎ、αＲ，ｍｅｄ１、αＲ，ｍｉｎ、αＲ，ｍｅｄ２およびαＲ，ｍａｘは、ゼロよりも大きな定数であり、αＬ，ｍｉｎ＜αＬ，ｍｅｄ１＜αＬ，ｍａｘ、αＬ，ｍｉｎ＜αＬ，ｍｅｄ２＜αＬ，ｍａｘ、αＲ，ｍｉｎ＜αＲ，ｍｅｄ１＜αＲ，ｍａｘ、αＲ，ｍｉｎ＜αＲ，ｍｅｄ２＜αＲ，ｍａｘ、αＬ，ｍｅｄ１＝αＲ，ｍｅｄ１およびαＬ，ｍｅｄ２＝αＲ，ｍｅｄ２である。
本発明のこの実施形態では、音源の位置についての推定に従って、移動端末に対する音源の方向についての情報が得られ、各音声チャネルにおける信号のゲイン調整パラメータが計算され、次いで、対応するゲイン調整パラメータを各音声チャネルの信号に乗算することによって最終的な５．１チャネルサラウンド音声出力信号が得られる。一般に、５．１音声チャネル信号の左方向、中央方向、右方向、左後方サラウンド方向および右後方サラウンド方向のゲインに対しては調整を行う必要がある。もちろん、左方向、右方向、左後方サラウンド方向および右後方サラウンド方向のゲインに対してのみ調整が行われてもよい。
ステップ１０３２：音声信号に従って、空間オーディオ信号における全ての方向の信号の初期値を取得し、ＳＬ（ｎ）は左方向の信号の初期値を表わし、ＳＣ（ｎ）は中央方向の信号の初期値を表わし、ＳＲ（ｎ）は右方向の信号の初期値を表わし、ＳＬＳ（ｎ）は左後方サラウンド信号の初期値を表わし、ＳＲＳ（ｎ）は右後方サラウンド信号の初期値を表わす。
さらに、音声信号に従って空間オーディオ信号における全ての方向の信号の初期値を取得するステップは、ハート型の指向性を有するビームを取得することによって行われる計算を必要とする。ハート型の指向性を有するビームは、第１のマイクロホンから第４のマイクロホンによって受取られる音声信号に対するビーム形成アルゴリズムを使用して得られ得る。ステップ１０３２は、具体的には以下のように実施され得る。
ステップ１０３２ｂ１：第１から第４のマイクロホンによって受取られる音声信号を使用して、ハート型の指向性を有するビームＢＦｉｊ（ｎ）を取得し、ＢＦｉｊ（ｎ）の最大指向性の点は、ｉ番目のマイクロホンとｊ番目のマイクロホンとの接続線からｉ番目のマイクロホンに向かう方向にあり、ＢＦｉｊ（ｎ）の指向性のゼロ点は、ｉ番目のマイクロホンとｊ番目のマイクロホンとの接続線からｊ番目のマイクロホンに向かう方向にあり、ｉおよびｊは１、２、３または４に等しい。
ステップ１０３２ｂ２：以下に従って、ハート型の指向性を有するビームＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）を取得する。
Figure 2016052117
ハート型の指向性を有するビームＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）が取得され、ＢＦＬ（ｎ）の最大指向性は（０，９０°）の範囲内であり、ＢＦＬＳ（ｎ）の最大指向性は（９０°，１８０°）の範囲内であり、ＢＦＲＳ（ｎ）の最大指向性は（１８０°，２７０°）の範囲内であり、ＢＦＲ（ｎ）の最大指向性は（２７０°，３６０°）の範囲内である。
Figure 2016052117
例えば、図２ｃに示されるアプリケーションシナリオでは、音源の位置が推定されるのと同時に、移動端末に設置されたマイクロホンによって収集された複数の方向のオリジナル音声信号に対して強調処理をさらに行う必要がある。本明細書では差分ビーム形成方法が使用される。一次差分ビーム形成アルゴリズムによれば、対角線上にあるマイクロホン１およびマイクロホン３のオリジナル入力信号を使用して生成される２つの方向のハート型の指向性を有するビームは、ＢＦＲ（ｎ）およびＢＦＬＳ（ｎ）と示され、また、対角線上にあるマイクロホン２およびマイクロホン４のオリジナル入力信号を使用して生成される２つの方向のハート型の指向性を有するビームは、ＢＦＬ（ｎ）およびＢＦＲＳ（ｎ）と示され、ＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）は、強調処理後に得られる複数の方向の信号である。
別の例において、図２ｄおよび図２ｅに示されるアプリケーションシナリオでは、音源の位置が推定されるのと同時に、移動端末に設置されたマイクロホンによって収集されたマルチチャネルのオリジナル入力信号に対して強調処理をさらに行う必要がある。本明細書では差分ビーム形成方法が使用される。具体的には、一次差分ビーム形成アルゴリズムによれば、マイクロホン１およびマイクロホン４のオリジナル入力信号を使用して生成される２つの方向のハート型の指向性を有するビームは、ＢＦ１４（ｎ）およびＢＦ４１（ｎ）と示され、ＢＦ１４（ｎ）の最大指向性の点は、マイクロホン１に向かう方向にあり、ＢＦ１４（ｎ）の指向性のゼロ点は、マイクロホン４に向かう方向にあり、ＢＦ４１（ｎ）の最大指向性の点は、マイクロホン４に向かう方向にあり、ＢＦ４１（ｎ）の指向性のゼロ点は、マイクロホン１に向かう方向にある。マイクロホン２およびマイクロホン３のオリジナル入力信号を使用して生成される２つの方向のハート型の指向性を有するビームは、ＢＦ２３（ｎ）およびＢＦ３２（ｎ）と示され、ＢＦ２３（ｎ）の最大指向性の点は、マイクロホン２に向かう方向にあり、ＢＦ２３（ｎ）の指向性のゼロ点は、マイクロホン３に向かう方向にあり、ＢＦ３２（ｎ）の最大指向性の点は、マイクロホン３に向かう方向にあり、ＢＦ３２（ｎ）の指向性のゼロ点は、マイクロホン２に向かう方向にある。マイクロホン１およびマイクロホン２のオリジナル入力信号を使用して生成される２つの方向のハート型の指向性を有するビームは、ＢＦ１２（ｎ）およびＢＦ２１（ｎ）と示され、ＢＦ１２（ｎ）の最大指向性の点は、マイクロホン１に向かう方向にあり、ＢＦ１２（ｎ）の指向性のゼロ点は、マイクロホン２に向かう方向にあり、ＢＦ２１（ｎ）の最大指向性の点は、マイクロホン２に向かう方向にあり、ＢＦ２１（ｎ）の指向性のゼロ点は、マイクロホン１に向かう方向にある。マイクロホン３およびマイクロホン４のオリジナル入力信号を使用して生成される２つの方向のハート型の指向性を有するビームは、ＢＦ３４（ｎ）およびＢＦ４３（ｎ）と示され、ＢＦ３４（ｎ）の最大指向性の点は、マイクロホン３に向かう方向にあり、ＢＦ３４（ｎ）の指向性のゼロ点は、マイクロホン４に向かう方向にあり、ＢＦ４３（ｎ）の最大指向性の点は、マイクロホン４に向かう方向にあり、ＢＦ４３（ｎ）の指向性のゼロ点は、マイクロホン３に向かう方向にある。強調処理後に得られる複数のチャネルにおける信号がＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）と示されるとすると、ビーム間の関係は以下の通りである。
Figure 2016052117
この実施形態では、ハート型の指向性を有するビームは、差分ビーム形成方法を使用して得られ、当該ハート型の指向性を有するビームを使用して、空間オーディオ信号における全ての方向の信号の初期値を取得することができ、そのため、空間オーディオ信号における全ての方向の信号を後に計算することができる。したがって、ステップ１０３２の実施が完了した後に、以下がさらに含まれる。
ステップ１０３３：ゲイン調整パラメータおよび空間オーディオ信号における全ての方向の信号の初期値に従って、空間オーディオ信号における全ての方向の信号を生成する。
ステップ１０３３は、具体的にはステップ１０３３ａとして実施され得る。
ステップ１０３３ａ：以下に従って、左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）、中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）、右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）、左後方サラウンド方向信号ＳＬＳ，ｆｉｎａｌ（ｎ）および右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得し、
Figure 2016052117
ＳＬ（ｎ）は左方向の信号の初期値を表わし、ＳＣ（ｎ）は中央方向の信号の初期値を表わし、ＳＲ（ｎ）は右方向の信号の初期値を表わし、ＳＬＳ（ｎ）は左後方サラウンド信号の初期値を表わし、ＳＲＳ（ｎ）は右後方サラウンド信号の初期値を表わし、ｎはサンプリング点数を表わす。
例えば、図２ｃに示されるアプリケーションシナリオでは、音源の位置についての推定の結果、複数のチャネルにおける強調された信号および再生システムのタイプに従って、空間オーディオ信号に対して復元を行って最終的な空間オーディオ出力信号を得るための対応する方法が選択される。
再生システムが５．１チャネルサラウンド音声システムである場合には、４つの方向の強調された出力信号は、５．１チャネルサラウンド音声システムによる再生に必要な６つの方向の信号にマッピングされる必要があり、また、音源の位置についての推定の結果に従って、マッピング後に得られる６つの方向の信号に対して空間音場強調調整が行われ、その結果、最終的な出力信号が得られる。具体的には、５．１音声チャネル信号における左方向の信号としてＢＦＬ（ｎ）が直接使用され得て、５．１音声チャネル信号における右方向の信号としてＢＦＲ（ｎ）が直接使用され得て、中央方向の信号としてＢＦＬ（ｎ）およびＢＦＲ（ｎ）の平均が取られ得て、５．１音声チャネル信号における左後方サラウンド信号としてＢＦＬＳ（ｎ）が直接使用され得て、５．１音声チャネル信号における右後方サラウンド信号としてＢＦＲＳ（ｎ）が直接使用され得て、４つの方向の信号ＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）の平均値が取られ得て、次いで、当該平均値に対して１５０Ｈｚローパスフィルタリング処理が行われて、５．１音声チャネル信号における超低音信号を得る。
音源の位置についての推定によって得られる、移動端末に対する音源の方向θに従って、各方向の信号のゲイン調整パラメータが計算される。対応するゲイン調整パラメータを各音声チャネルの信号に乗算することによって、最終的な５．１チャネルサラウンド音声出力信号が得られる。最終的な５．１チャネルサラウンド音声出力信号において、左方向の信号はＳＬ，ｆｉｎａｌ（ｎ）と表わされ、中央方向の信号はＳＣ，ｆｉｎａｌ（ｎ）と表わされ、右方向の信号はＳＲ，ｆｉｎａｌ（ｎ）と表わされ、左後方サラウンド信号はＳＬＳ，ｆｉｎａｌ（ｎ）と表わされ、右後方サラウンド信号はＳＲＳ，ｆｉｎａｌ（ｎ）と表わされ、以下の通りである。
Figure 2016052117
再生システムがステレオスピーカである場合には、音源の位置についての推定によって得られる、移動端末に対する音源の方向θに従って、第２のタイプのゲイン調整パラメータが計算され得る。最終的な５．１チャネルサラウンド音声出力信号において、左方向の信号はＳＬ，ｆｉｎａｌ（ｎ）と表わされ、中央方向の信号はＳＣ，ｆｉｎａｌ（ｎ）と表わされ、右方向の信号はＳＲ，ｆｉｎａｌ（ｎ）と表わされ、左後方サラウンド信号はＳＬＳ，ｆｉｎａｌ（ｎ）と表わされ、右後方サラウンド信号はＳＲＳ，ｆｉｎａｌ（ｎ）と表わされ、以下の通りである。
Figure 2016052117
次いで、左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）、中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）、右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）、左後方サラウンド信号ＳＬＳ，ｆｉｎａｌ（ｎ）および右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）などの空間音場強調調整後に得られる出力信号は、ステップ１０３４を実行することによって、２チャネル信号にダウンミックスされて、出力され得る。
別の例において、図２ｄおよび図２ｅに示されるアプリケーションシナリオでは、音源の位置についての推定の結果、複数のチャネルにおける強調された信号および再生システムのタイプに従って、空間オーディオ信号に対して復元を行って最終的な空間オーディオ出力信号を得るための対応する方法が選択される。
再生システムが５．１チャネルサラウンド音声システムである場合には、４つの方向の強調された出力信号は、５．１チャネルサラウンド音声システムによる再生に必要な６つの方向の信号にマッピングされる必要があり、また、音源の位置についての推定の結果に従って、マッピング後に得られる６つの方向の信号に対して空間音場強調調整が行われ、その結果、最終的な出力信号が得られる。具体的には、５．１音声チャネル信号における左方向の信号としてＢＦＬ（ｎ）が直接使用され得て、５．１音声チャネル信号における右方向の信号としてＢＦＲ（ｎ）が直接使用され得て、中央方向の信号としてＢＦＬ（ｎ）およびＢＦＲ（ｎ）の平均が取られ得て、５．１音声チャネル信号における左後方サラウンド信号としてＢＦＬＳ（ｎ）が直接使用され得て、５．１音声チャネル信号における右後方サラウンド信号としてＢＦＲＳ（ｎ）が直接使用され得て、４つの方向の信号ＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）の平均値が取られ得て、次いで、当該平均値に対して１５０Ｈｚローパスフィルタリング処理が行われて、５．１音声チャネル信号における超低音信号を得る。
音源の位置についての推定によって得られる、移動端末に対する音源の方向θに従って、各音声チャネルにおける信号のゲイン調整パラメータが計算される。対応するゲイン調整パラメータを各音声チャネルの信号に乗算することによって、最終的な５．１チャネルサラウンド音声出力信号が得られる。最終的な５．１チャネルサラウンド音声出力信号において、左方向の信号はＳＬ，ｆｉｎａｌ（ｎ）と表わされ、中央方向の信号はＳＣ，ｆｉｎａｌ（ｎ）と表わされ、右方向の信号はＳＲ，ｆｉｎａｌ（ｎ）と表わされ、左後方サラウンド信号はＳＬＳ，ｆｉｎａｌ（ｎ）と表わされ、右後方サラウンド信号はＳＲＳ，ｆｉｎａｌ（ｎ）と表わされ、以下の通りである。
Figure 2016052117
再生システムがステレオスピーカである場合には、音源の位置についての推定によって得られる、移動端末に対する音源の方向θに従って、第２のタイプのゲイン調整パラメータが計算され得る。最終的な５．１チャネルサラウンド音声出力信号において、左方向の信号はＳＬ，ｆｉｎａｌ（ｎ）と表わされ、中央方向の信号はＳＣ，ｆｉｎａｌ（ｎ）と表わされ、右方向の信号はＳＲ，ｆｉｎａｌ（ｎ）と表わされ、左後方サラウンド信号はＳＬＳ，ｆｉｎａｌ（ｎ）と表わされ、右後方サラウンド信号はＳＲＳ，ｆｉｎａｌ（ｎ）と表わされ、以下の通りである。
Figure 2016052117
次いで、左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）、中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）、右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）、左後方サラウンド信号ＳＬＳ，ｆｉｎａｌ（ｎ）および右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）などの空間音場強調調整後に得られる出力信号は、ステップ１０３４を実行することによって、２チャネル信号にダウンミックスされて、出力され得る。
ハート型の指向性を有するビームＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）のアプリケーションシナリオでは、ハート型の指向性を有するビームＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）がステップ１０３２ｂ１〜１０３２ｂ２に従って得られた後、ステップ１０３３が以下のように実施され得る：
ステップ１０３３ｂ１：ＳＬ，ｆｉｎａｌ（ｎ）＝ＳＬ（ｎ）＊αＬに従って左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）を取得し、
ステップ１０３３ｂ２：ＳＣ，ｆｉｎａｌ（ｎ）＝ＳＣ（ｎ）に従って中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）を取得し、
ステップ１０３３ｂ３：ＳＲ，ｆｉｎａｌ（ｎ）＝ＳＲ（ｎ）＊αＲに従って右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）を取得し、
ステップ１０３３ｂ４：ＳＬＳ，ｆｉｎａｌ（ｎ）＝ＳＬＳ（ｎ）＊αＬに従って左後方サラウンド信号ＳＬＳ，ｆｉｎａｌ（ｎ）を取得し、
ステップ１０３３ｂ５：ＳＲＳ，ｆｉｎａｌ（ｎ）＝ＳＲＳ（ｎ）＊αＲに従って右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得し、
ＳＬ（ｎ）は左方向の信号の初期値を表わし、ＳＣ（ｎ）は中央方向の信号の初期値を表わし、ＳＲ（ｎ）は右方向の信号の初期値を表わし、ＳＬＳ（ｎ）は左後方サラウンド信号の初期値を表わし、ＳＲＳ（ｎ）は右後方サラウンド信号の初期値を表わし、ｎはサンプリング点数を表わす。
本発明のこの実施形態において提供される音声信号処理方法によれば、音声信号は、移動端末の三次元音場から取得されることができ、移動端末に対する全ての音源の方向が取得され、次いで、移動端末に対する音源の方向および音声信号を使用して、三次元音場をシミュレートするために使用される空間オーディオ信号が得られる。本発明において提供される解決策では、三次元音場をシミュレートするために使用される音声信号は、移動端末の要素を使用して収集および処理され得る。また、全ての方向の受取られた音源の移動端末に対する方向は、分析によって得られ、次いで、全ての方向の音源の移動端末に対する方向に従って、三次元音場の効果が強調される。先行技術における解決策では、ビームのみを使用して三次元音場がシミュレートされる。しかし、本発明では、全ての方向の音源の移動端末に対する方向が取得され、さらに、当該方向についての情報を使用してビーム形成に対してゲイン調整が行われる。したがって、シミュレートされた三次元音場において左方向と右方向との間の差が前方方向と後方方向との間の差よりも明らかであるという現象を軽減することができ、それによって、シミュレートされた三次元音場の質が向上する。
さらに、この実施形態では、空間オーディオ信号は、２チャネル信号をさらに含み、移動端末に対する音源の方向が取得された後、２チャネル信号を生成するために、左方向の信号、右方向の信号、中央方向の信号、左後方サラウンド信号および右後方サラウンド信号をさらにダウンミックスする必要がある。したがって、図３ａに示されるように、ステップ１０３は、具体的にはステップ１０３４として実施され得る。
ステップ１０３４：２チャネル信号を生成するために、左方向の信号、右方向の信号、中央方向の信号、左後方サラウンド信号および右後方サラウンド信号をダウンミックスする。
例えば、再生システムがイヤホンである場合には、Ｎ個の方向の強調された出力信号が、５．１チャネルサラウンド音声システムにおける再生のための左方向、中央方向、右方向、左後方サラウンド方向および右後方サラウンド方向の信号にマッピングされる必要があり、また、音源の位置についての推定の結果に従って、上記の方法に従ってマッピングが行われた後に得られる５つの方向の信号に対して空間音場強調調整が行われ、その結果、空間音場強調調整後の出力信号が得られる。イヤホン再生システムでは、空間音場強調調整後に得られる出力信号は、２チャネル信号にダウンミックスされる必要がある。１つの任意のダウンミックス方法は、国際電気通信連合規格の５．１チャネルサラウンド音声を２チャネル信号にダウンミックスするための方法である。別の方法は、左方向、右方向、左後方サラウンド方向および右後方サラウンド方向の信号に対してそれぞれ畳み込みを行う必要があり、ダウンミックスの前に対応する角度の頭部伝達関数が実行され、次いでダウンミックスが行われるというものであり、その結果、信号ダウンミックス後の前方方向、後方方向、左方向および右方向の空間分離度を向上させることができる。
本発明のこの実施形態において提供される音声信号処理方法によれば、音声信号は、移動端末の三次元音場から取得されることができ、移動端末に対する全ての音源の方向が取得され、次いで、移動端末に対する音源の方向および音声信号を使用して、三次元音場をシミュレートするために使用される空間オーディオ信号が得られる。本発明において提供される解決策では、三次元音場をシミュレートするために使用される音声信号は、移動端末の要素を使用して収集および処理され得る。また、全ての方向の受取られた音源の移動端末に対する方向は、分析によって得られ、次いで、全ての方向の音源の移動端末に対する方向に従って、三次元音場の効果が強調される。先行技術における解決策では、ビームのみを使用して三次元音場がシミュレートされる。しかし、本発明では、全ての方向の音源の移動端末に対する方向が取得され、さらに、当該方向についての情報を使用してビーム形成に対してゲイン調整が行われる。したがって、シミュレートされた三次元音場において左方向と右方向との間の差が前方方向と後方方向との間の差よりも明らかであるという現象を軽減することができ、それによって、シミュレートされた三次元音場の質が向上する。
本発明の実施形態は、音声信号処理装置４０の構造を提供し、図４に示されるように、装置４０は、
三次元音場から音声信号を取得するように構成された第１の取得モジュール４１を含み、少なくとも３つのマイクロホンが移動端末に配設されており、１つのマイクロホンが少なくとも１つの方向の音声信号を受取るように構成され、装置４０はさらに、
取得された音声信号に従って、移動端末に対する音源の方向を取得するように構成された第２の取得モジュール４２と、
移動端末に対する音源の方向および取得された音声信号に従って、空間オーディオ信号を得るように構成された第１の処理モジュール４３とを含み、空間オーディオ信号は、三次元音場をシミュレートするために使用される。
図４ａに示されるように、第２の取得モジュール４２は、
移動端末上のマイクロホンによって受取られる１つの方向の音声信号と別の方向の音声信号との間の到達時間差を取得するように構成された第１の取得ユニット４２１を含み、移動端末上のマイクロホンは、少なくとも４つの方向の音声信号を受取るように構成され、第２の取得モジュール４２はさらに、
取得された到達時間差および移動端末上の移動端末上のマイクロホンの位置に従って、移動端末に対する音源の方向を得るように構成された第２の取得ユニット４２２を含む。
Figure 2016052117
図４ｄに示されるように、移動端末に対する音源の方向が取得された後、第２の取得ユニット４２２はさらに、
以下に従って、移動端末に対する音源の方向θを取得するように構成された第４の取得サブユニット４２２３を含み、
Figure 2016052117
第１のマイクロホンおよび第２のマイクロホンは、移動端末の１つの面の対称軸上に位置し、それぞれ当該１つの面上の２つの平行な端縁に位置し、第３のマイクロホンおよび第４のマイクロホンは、移動端末の別の面の対称軸上に位置し、それぞれ当該別の面上の２つの平行な端縁に位置し、ｃは音速を表わし、（ｘ１，ｙ１）は第１のマイクロホンに対応する座標を表わし、（ｘ２，ｙ２）は第２のマイクロホンに対応する座標を表わし、（ｘ３，ｙ３）は第３のマイクロホンに対応する座標を表わし、（ｘ４，ｙ４）は第４のマイクロホンに対応する座標を表わす。
さらに、空間オーディオ信号は、左方向の信号と、右方向の信号と、中央方向の信号と、左後方サラウンド信号と、右後方サラウンド信号とを少なくとも含む。
図４ｅに示されるように、第１の処理モジュール４３は、
移動端末に対する音源の方向を使用してゲイン調整パラメータを生成するように構成された第１の処理ユニット４３１を含み、ゲイン調整パラメータは、左方向の信号、右方向の信号および中央方向の信号に対応する第１のタイプのゲイン調整パラメータαＦと、左後方サラウンド信号および右後方サラウンド信号に対応する第１のタイプのゲイン調整パラメータαＢと、左方向の信号および左後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＬと、右方向の信号および右後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＲとを含み、また、移動端末に対する音源の方向について、θ∈［0,90）∪（270,360］の場合、αＦ＞αＢであり、θ∈（90,270）の場合、αＦ＜αＢであり、θ∈（0,180）の場合、αＬ＞αＲであり、θ∈（180,360）の場合、αＬ＜αＲであり、第１の処理モジュール４３はさらに、
音声信号に従って、空間オーディオ信号における全ての方向の信号の初期値を取得するように構成された第２の処理ユニット４３２と、
ゲイン調整パラメータおよび空間オーディオ信号における全ての方向の信号の初期値に従って、左方向の信号、右方向の信号、中央方向の信号、左後方サラウンド信号および右後方サラウンド信号を生成するように構成された第３の処理ユニット４３３とを含む。
さらに、空間オーディオ信号は、２チャネル信号をさらに含み、図４ｆに示されるように、装置４０はさらに、
２チャネル信号を生成するために、左方向の信号、右方向の信号、中央方向の信号、左後方サラウンド信号および右後方サラウンド信号をダウンミックスするように構成された第４の処理ユニット４３４を含む。
任意に、上記の実施態様に基づいて、以下が第１の処理ユニット４３１にさらに含まれていてもよい。図４ｇに示されるように、第１の処理ユニット４３１は、
以下に従って、左方向の信号、右方向の信号および中央方向の信号に対応する第１のタイプのゲイン調整パラメータαＦを生成するように構成された第１の処理サブユニット４３１１と、
Figure 2016052117
以下に従って、左後方サラウンド信号および右後方サラウンド信号に対応する第１のタイプのゲイン調整パラメータαＢを生成するように構成された第２の処理サブユニット４３１２とを含み、
Figure 2016052117
αＦ，ｍｉｎ、αＦ，ｍｅｄ１、αＦ，ｍａｘ１、αＦ，ｍｅｄ２、αＦ，ｍａｘ２、αＢ，ｍｉｎ１、αＢ，ｍｅｄ１、αＢ，ｍｉｎ２、αＢ，ｍｅｄ２およびαＢ，ｍａｘは、ゼロよりも大きな定数であり、αＦ，ｍｉｎ＜αＦ，ｍｅｄ１＜αＦ，ｍａｘ１、αＦ，ｍｉｎ＜αＦ，ｍｅｄ２＜αＦ，ｍａｘ２、αＢ，ｍｉｎ１＜αＢ，ｍｅｄ１＜αＢ，ｍａｘ、αＢ，ｍｉｎ２＜αＢ，ｍｅｄ２＜αＢ，ｍａｘ、αＢ，ｍｅｄ１＝αＦ，ｍｅｄ１およびαＢ，ｍｅｄ２＝αＦ，ｍｅｄ２であり、第１の処理ユニット４３１はさらに、
以下に従って、左方向の信号および左後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＬを生成するように構成された第３の処理サブユニット４３１３と、
Figure 2016052117
以下に従って、右方向の信号および右後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＲを生成するように構成された第４の処理サブユニット４３１４とを含み、
Figure 2016052117
αＬ，ｍｅｄ１、αＬ，ｍａｘ、αＬ，ｍｅｄ２、αＬ，ｍｉｎ、αＲ，ｍｅｄ１、αＲ，ｍｉｎ、αＲ，ｍｅｄ２およびαＲ，ｍａｘは、ゼロよりも大きな定数であり、αＬ，ｍｉｎ＜αＬ，ｍｅｄ１＜αＬ，ｍａｘ、αＬ，ｍｉｎ＜αＬ，ｍｅｄ２＜αＬ，ｍａｘ、αＲ，ｍｉｎ＜αＲ，ｍｅｄ１＜αＲ，ｍａｘ、αＲ，ｍｉｎ＜αＲ，ｍｅｄ２＜αＲ，ｍａｘ、αＬ，ｍｅｄ１＝αＲ，ｍｅｄ１およびαＬ，ｍｅｄ２＝αＲ，ｍｅｄ２である。
空間オーディオ信号における全ての方向の信号は、第３の処理ユニット４３３に従って生成され、図４ｈに示されるように、第３の処理ユニット４３３は、
以下に従って、左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）、中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）、右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）、左後方サラウンド方向信号ＳＬＳ，ｆｉｎａｌ（ｎ）および右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得するように構成された第５の処理サブユニット４３３１を含み、
Figure 2016052117
ＳＬ（ｎ）は左方向の信号の初期値を表わし、ＳＣ（ｎ）は中央方向の信号の初期値を表わし、ＳＲ（ｎ）は右方向の信号の初期値を表わし、ＳＬＳ（ｎ）は左後方サラウンド信号の初期値を表わし、ＳＲＳ（ｎ）は右後方サラウンド信号の初期値を表わし、ｎはサンプリング点数を表わす。
Figure 2016052117
第６の処理サブユニット４３２１は、具体的には、第１から第４のマイクロホンによって受取られる音声信号を使用して、ハート型の指向性を有するビームＢＦｉｊ（ｎ）を取得するように構成され、ＢＦｉｊ（ｎ）の最大指向性の点は、ｉ番目のマイクロホンとｊ番目のマイクロホンとの接続線からｉ番目のマイクロホンに向かう方向にあり、ＢＦｉｊ（ｎ）の指向性のゼロ点は、ｉ番目のマイクロホンとｊ番目のマイクロホンとの接続線からｊ番目のマイクロホンに向かう方向にあり、ｉおよびｊは１、２、３または４に等しく、第６の処理サブユニット４３２１はさらに、
以下に従って、ハート型の指向性を有するビームＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）を取得するように構成される。
Figure 2016052117
図４ｊに示されるように、第３の処理ユニット４３３はさらに、
ＳＬ，ｆｉｎａｌ（ｎ）＝ＳＬ（ｎ）＊αＬに従って左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）を取得するように構成された第７の処理サブユニット４３３２と、
ＳＣ，ｆｉｎａｌ（ｎ）＝ＳＣ（ｎ）に従って中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）を取得するように構成された第８の処理サブユニット４３３３と、
ＳＲ，ｆｉｎａｌ（ｎ）＝ＳＲ（ｎ）＊αＲに従って右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）を取得するように構成された第９の処理サブユニット４３３４と、
ＳＬＳ，ｆｉｎａｌ（ｎ）＝ＳＬＳ（ｎ）＊αＬに従って左後方サラウンド信号ＳＬＳ，ｆｉｎａｌ（ｎ）を取得するように構成された第１０の処理サブユニット４３３５と、
ＳＲＳ，ｆｉｎａｌ（ｎ）＝ＳＲＳ（ｎ）＊αＲに従って右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得するように構成された第１１の処理サブユニット４３３６とを含み、
ＳＬ（ｎ）は左方向の信号の初期値を表わし、ＳＣ（ｎ）は中央方向の信号の初期値を表わし、ＳＲ（ｎ）は右方向の信号の初期値を表わし、ＳＬＳ（ｎ）は左後方サラウンド信号の初期値を表わし、ＳＲＳ（ｎ）は右後方サラウンド信号の初期値を表わし、ｎはサンプリング点数を表わす。
本発明のこの実施形態において提供される音声信号処理装置によれば、音声信号は、移動端末の三次元音場から取得されることができ、移動端末に対する全ての音源の方向が取得され、次いで、移動端末に対する音源の方向および音声信号を使用して、三次元音場をシミュレートするために使用される空間オーディオ信号が生成される。本発明において提供される解決策では、三次元音場をシミュレートするために使用される音声信号は、移動端末の要素を使用して収集および処理され得る。また、全ての方向の受取られた音源の移動端末に対する方向は、分析によって得られ、次いで、全ての方向の音源の移動端末に対する方向に従って、三次元音場の効果が強調される。先行技術における解決策では、ビームのみを使用して三次元音場がシミュレートされる。しかし、本発明では、全ての方向の音源の移動端末に対する方向が取得され、さらに、当該方向についての情報を使用してビーム形成に対してゲイン調整が行われる。したがって、シミュレートされた三次元音場において左方向と右方向との間の差が前方方向と後方方向との間の差よりも明らかであるという現象を軽減することができ、それによって、シミュレートされた三次元音場の質が向上する。
本発明の実施形態は、音声信号処理装置５０の構造をさらに提供する。図５に示されるように、音声信号処理装置５０は、ＣＰＵなどの少なくとも１つのプロセッサ５０１と、少なくとも１つのネットワークポート５０２または別のユーザポート５０３と、メモリ５０４と、少なくとも１つの通信バス５０５とを含んでいる。通信バス５０５は、構成要素間の接続および通信を実施するように構成されている。任意に、ユーザポート５０３がさらに含まれており、ユーザポート５０３は、ディスプレイ、キーボードまたは（マウス、トラックボール（trackball）もしくはタッチパネルもしくはタッチディスプレイスクリーンなどの）クリック装置を含む。メモリ５０４は、高速ＲＡＭメモリを含んでいてもよく、または不揮発性メモリ（non-volatile memory）、例えば少なくとも１つのディスクメモリをさらに含んでいてもよい。メモリ５０４は、任意に、上記のプロセッサ５０１から遠く離れて位置する少なくとも１つの記憶装置を含んでいてもよい。
いくつかの実施態様では、メモリ５０４は、以下の要素、実行可能なモジュールもしくはデータ構造、またはそのサブセット、またはその拡張セットを格納し、以下の要素とは、さまざまなシステムプログラムを含み、さまざまなベーシックサービスを実施し、ハードウェアベースのタスクを処理するように構成されたオペレーティングシステム５０４１と、さまざまなアプリケーションプログラムを含み、さまざまなアプリケーションサービスを実施するように構成されたアプリケーションプログラム５０４２とである。
プロセッサ５０１は、三次元音場から音声信号を取得するように構成され、少なくとも３つのマイクロホンが移動端末に配設されており、１つのマイクロホンが少なくとも１つの方向の音声信号を受取るように構成され、プロセッサ５０１はさらに、
取得された音声信号に従って、移動端末に対する音源の方向を取得するように構成され、
移動端末に対する音源の方向および取得された音声信号に従って、空間オーディオ信号を得るように構成され、空間オーディオ信号は、三次元音場をシミュレートするために使用される。
プロセッサ５０１はさらに、移動端末上のマイクロホンによって受取られる１つの方向の音声信号と別の方向の音声信号との間の到達時間差を取得するように構成され、移動端末上のマイクロホンは、少なくとも４つの方向の音声信号を受取るように構成され、プロセッサ５０１はさらに、
取得された到達時間差および移動端末上の移動端末上のマイクロホンの位置に従って、移動端末に対する音源の方向を得るように構成される。
Figure 2016052117
プロセッサ５０１は、具体的には、以下に従って、移動端末に対する音源の方向θを取得するように構成され、
Figure 2016052117
第１のマイクロホンおよび第２のマイクロホンは、移動端末の１つの面の対称軸上に位置し、それぞれ当該１つの面上の２つの平行な端縁に位置し、第３のマイクロホンおよび第４のマイクロホンは、移動端末の別の面の対称軸上に位置し、それぞれ当該別の面上の２つの平行な端縁に位置し、ｃは音速を表わし、（ｘ１，ｙ１）は第１のマイクロホンに対応する座標を表わし、（ｘ２，ｙ２）は第２のマイクロホンに対応する座標を表わし、（ｘ３，ｙ３）は第３のマイクロホンに対応する座標を表わし、（ｘ４，ｙ４）は第４のマイクロホンに対応する座標を表わす。
空間オーディオ信号は、左方向の信号と、右方向の信号と、中央方向の信号と、左後方サラウンド信号と、右後方サラウンド信号とを少なくとも含む。
プロセッサ５０１は、具体的には、移動端末に対する音源の方向および取得された音声信号に従って、空間オーディオ信号を得るように構成され、
移動端末に対する音源の方向を使用してゲイン調整パラメータを生成することを含み、ゲイン調整パラメータは、左方向の信号、右方向の信号および中央方向の信号に対応する第１のタイプのゲイン調整パラメータαＦと、左後方サラウンド信号および右後方サラウンド信号に対応する第１のタイプのゲイン調整パラメータαＢと、左方向の信号および左後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＬと、右方向の信号および右後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＲとを含み、また、移動端末に対する音源の方向について、θ∈［0,90）∪（270,360］の場合、αＦ＞αＢであり、θ∈（90,270）の場合、αＦ＜αＢであり、θ∈（0,180）の場合、αＬ＞αＲであり、θ∈（180,360）の場合、αＬ＜αＲであり、
音声信号に従って、空間オーディオ信号における全ての方向の信号の初期値を取得することと、
ゲイン調整パラメータおよび空間オーディオ信号における全ての方向の信号の初期値に従って、左方向の信号、右方向の信号、中央方向の信号、左後方サラウンド信号および右後方サラウンド信号を生成することとを含む。
装置５０において、空間オーディオ信号は、２チャネル信号をさらに含み、
プロセッサ５０１はさらに、
２チャネル信号を生成するために、左方向の信号、右方向の信号、中央方向の信号、左後方サラウンド信号および右後方サラウンド信号をダウンミックスするように構成される。
任意に、上記の実施態様に基づいて、プロセッサ５０１はさらに、
以下に従って、左方向の信号、右方向の信号および中央方向の信号に対応する第１のタイプのゲイン調整パラメータαＦを生成するように構成され得て、
Figure 2016052117
以下に従って、左後方サラウンド信号および右後方サラウンド信号に対応する第１のタイプのゲイン調整パラメータαＢを生成するように構成され得て、
Figure 2016052117
αＦ，ｍｉｎ、αＦ，ｍｅｄ１、αＦ，ｍａｘ１、αＦ，ｍｅｄ２、αＦ，ｍａｘ２、αＢ，ｍｉｎ１、αＢ，ｍｅｄ１、αＢ，ｍｉｎ２、αＢ，ｍｅｄ２およびαＢ，ｍａｘは、ゼロよりも大きな定数であり、αＦ，ｍｉｎ＜αＦ，ｍｅｄ１＜αＦ，ｍａｘ１、αＦ，ｍｉｎ＜αＦ，ｍｅｄ２＜αＦ，ｍａｘ２、αＢ，ｍｉｎ１＜αＢ，ｍｅｄ１＜αＢ，ｍａｘ、αＢ，ｍｉｎ２＜αＢ，ｍｅｄ２＜αＢ，ｍａｘ、αＢ，ｍｅｄ１＝αＦ，ｍｅｄ１およびαＢ，ｍｅｄ２＝αＦ，ｍｅｄ２であり、プロセッサ５０１はさらに、
以下に従って、左方向の信号および左後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＬを生成するように構成され得て、
Figure 2016052117
以下に従って、右方向の信号および右後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＲを生成するように構成され得て、
Figure 2016052117
αＬ，ｍｅｄ１、αＬ，ｍａｘ、αＬ，ｍｅｄ２、αＬ，ｍｉｎ、αＲ，ｍｅｄ１、αＲ，ｍｉｎ、αＲ，ｍｅｄ２およびαＲ，ｍａｘは、ゼロよりも大きな定数であり、αＬ，ｍｉｎ＜αＬ，ｍｅｄ１＜αＬ，ｍａｘ、αＬ，ｍｉｎ＜αＬ，ｍｅｄ２＜αＬ，ｍａｘ、αＲ，ｍｉｎ＜αＲ，ｍｅｄ１＜αＲ，ｍａｘ、αＲ，ｍｉｎ＜αＲ，ｍｅｄ２＜αＲ，ｍａｘ、αＬ，ｍｅｄ１＝αＲ，ｍｅｄ１およびαＬ，ｍｅｄ２＝αＲ，ｍｅｄ２である。
プロセッサ５０１はさらに、以下に従って、左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）、中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）、右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）、左後方サラウンド方向信号ＳＬＳ，ｆｉｎａｌ（ｎ）および右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得するように構成され、
Figure 2016052117
ＳＬ（ｎ）は左方向の信号の初期値を表わし、ＳＣ（ｎ）は中央方向の信号の初期値を表わし、ＳＲ（ｎ）は右方向の信号の初期値を表わし、ＳＬＳ（ｎ）は左後方サラウンド信号の初期値を表わし、ＳＲＳ（ｎ）は右後方サラウンド信号の初期値を表わし、ｎはサンプリング点数を表わす。
Figure 2016052117
さらに、ハート型の指向性を有するビームＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）を取得することは、
第１から第４のマイクロホンによって受取られる音声信号を使用して、ハート型の指向性を有するビームＢＦｉｊ（ｎ）を取得することを含み、ＢＦｉｊ（ｎ）の最大指向性の点は、ｉ番目のマイクロホンとｊ番目のマイクロホンとの接続線からｉ番目のマイクロホンに向かう方向にあり、ＢＦｉｊ（ｎ）の指向性のゼロ点は、ｉ番目のマイクロホンとｊ番目のマイクロホンとの接続線からｊ番目のマイクロホンに向かう方向にあり、ｉおよびｊは１、２、３または４に等しく、上記取得することはさらに、
以下に従って、ハート型の指向性を有するビームＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）を取得することを含む。
Figure 2016052117
プロセッサ５０１はさらに、具体的には、
ＳＬ，ｆｉｎａｌ（ｎ）＝ＳＬ（ｎ）＊αＬに従って左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）を取得するように構成され、
ＳＣ，ｆｉｎａｌ（ｎ）＝ＳＣ（ｎ）に従って中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）を取得するように構成され、
ＳＲ，ｆｉｎａｌ（ｎ）＝ＳＲ（ｎ）＊αＲに従って右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）を取得するように構成され、
ＳＬＳ，ｆｉｎａｌ（ｎ）＝ＳＬＳ（ｎ）＊αＬに従って左後方サラウンド信号ＳＬＳ，ｆｉｎａｌ（ｎ）を取得するように構成され、
ＳＲＳ，ｆｉｎａｌ（ｎ）＝ＳＲＳ（ｎ）＊αＲに従って右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得するように構成され、
ＳＬ（ｎ）は左方向の信号の初期値を表わし、ＳＣ（ｎ）は中央方向の信号の初期値を表わし、ＳＲ（ｎ）は右方向の信号の初期値を表わし、ＳＬＳ（ｎ）は左後方サラウンド信号の初期値を表わし、ＳＲＳ（ｎ）は右後方サラウンド信号の初期値を表わし、ｎはサンプリング点数を表わす。
本発明のこの実施形態において提供される音声信号処理装置によれば、音声信号は、移動端末の三次元音場から取得されることができ、移動端末に対する全ての音源の方向が取得され、次いで、移動端末に対する音源の方向および音声信号を使用して、三次元音場をシミュレートするために使用される空間オーディオ信号が生成される。本発明において提供される解決策では、三次元音場をシミュレートするために使用される音声信号は、移動端末の要素を使用して収集および処理され得る。また、全ての方向の受取られた音源の移動端末に対する方向は、分析によって得られ、次いで、全ての方向の音源の移動端末に対する方向に従って、三次元音場の効果が強調される。先行技術における解決策では、ビームのみを使用して三次元音場がシミュレートされる。しかし、本発明では、全ての方向の音源の移動端末に対する方向が取得され、さらに、当該方向についての情報を使用してビーム形成に対してゲイン調整が行われる。したがって、シミュレートされた三次元音場において左方向と右方向との間の差が前方方向と後方方向との間の差よりも明らかであるという現象を軽減することができ、それによって、シミュレートされた三次元音場の質が向上する。
本明細書における実施形態は全て漸進的な態様で記載されており、実施形態の中の同一または同様の部分についてはこれらの実施形態を参照することができ、各実施形態は他の実施形態との相違点に焦点を当てている。特に、装置実施形態は、基本的には方法実施形態と同様であり、そのため簡単に記載されており、関連する部分については、方法実施形態における一部の説明を参照することができる。
実施形態における方法のプロセスのうちの全てまたはいくつかが、関連のハードウェアに指示するコンピュータプログラムによって実行され得るということを当業者は理解することができる。当該プログラムは、コンピュータ読取可能記憶媒体に格納され得る。プログラムが実行されると、実施形態における方法のプロセスが実行される。上記の記憶媒体としては、磁気ディスク、光ディスク、リードオンリメモリ（Read-Only Memory：ＲＯＭ）、ランダムアクセスメモリ（Random Access Memory：ＲＡＭ）などが挙げられ得る。
上記の説明は、単に本発明の具体的な実施形態に過ぎず、本発明の保護範囲を限定するよう意図したものではない。本発明に開示されている技術範囲内で当業者によって容易に理解されるいかなる変形例または置換例も、本発明の保護範囲に含まれるものとする。したがって、本発明の保護範囲は、特許請求の範囲の保護範囲に準拠するものとする。
上記の目的を達成するために、本発明の実施形態は以下の技術的解決策を使用する。
第１の局面によれば、本発明の実施形態は、音声信号処理方法であって、
三次元音場から音声信号を移動端末によって取得するステップを含み、少なくとも３つのマイクロホンが上記移動端末に配設されており、１つのマイクロホンが少なくとも１つの方向の音声信号を受取るように構成され、上記音声信号処理方法はさらに、
上記取得された音声信号に従って、上記移動端末に対する音源の方向を取得するステップと、
上記移動端末に対する上記音源の上記方向および上記取得された音声信号に従って、空間オーディオ信号を得るステップとを含み、上記空間オーディオ信号は、上記三次元音場をシミュレートするために使用される、音声信号処理方法を提供する。第１の局面を参照して、第１の局面の第１の可能な実施態様において、上記取得された音声信号に従って、上記移動端末に対する音源の方向を取得するステップは、
上記移動端末上の上記マイクロホンによって受取られる１つの方向の音声信号と別の方向の音声信号との間の到達時間差を取得するステップを含み、上記移動端末上の上記マイクロホンは、少なくとも４つの方向の音声信号を受取るように構成され、上記取得するステップはさらに、
上記取得された到達時間差および上記移動端末上の上記マイクロホンの位置に従って、上記移動端末に対する上記音源の上記方向を得るステップを含む。
Figure 2016052117
第１の局面の第２の可能な実施態様を参照して、第１の局面の第４の可能な実施態様において、上記取得された到達時間差および上記移動端末上の上記マイクロホンの位置に従って、上記移動端末に対する上記音源の上記方向を得るステップは、
以下に従って、上記移動端末に対する上記音源の上記方向θを取得するステップを含み、
第１の局面の第７の可能な実施態様を参照して、第１の局面の第８の可能な実施態様において、上記ゲイン調整パラメータおよび上記空間オーディオ信号における全ての方向の上記信号の上記初期値に従って、上記空間オーディオ信号における全ての方向の上記信号を生成するステップは、
以下に従って、上記左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）、上記中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）、上記右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）、上記左後方サラウンド信号ＳＬＳ，ｆｉｎａｌ（ｎ）および上記右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得するステップを含み、
第２の局面を参照して、第２の局面の第１の可能な実施態様において、上記第２の取得モジュールは、
上記移動端末上の上記マイクロホンによって受取られる１つの方向の音声信号と別の方向の音声信号との間の到達時間差を取得するように構成された第１の取得ユニットを含み、上記移動端末上の上記マイクロホンは、少なくとも４つの方向の音声信号を受取るように構成され、上記第２の取得モジュールはさらに、
上記取得された到達時間差および上記移動端末上の上記マイクロホンの位置に従って、上記移動端末に対する上記音源の上記方向を得るように構成された第２の取得ユニットを含む。
ステップ１０２２：取得された到達時間差および移動端末上のマイクロホンの位置に従って、移動端末に対する音源の方向を得る。
ステップ１０３３は、具体的にはステップ１０３３ａとして実施され得る。
ステップ１０３３ａ：以下に従って、左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）、中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）、右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）、左後方サラウンド信号ＳＬＳ，ｆｉｎａｌ（ｎ）および右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得し、
図４ａに示されるように、第２の取得モジュール４２は、
移動端末上のマイクロホンによって受取られる１つの方向の音声信号と別の方向の音声信号との間の到達時間差を取得するように構成された第１の取得ユニット４２１を含み、移動端末上のマイクロホンは、少なくとも４つの方向の音声信号を受取るように構成され、第２の取得モジュール４２はさらに、
取得された到達時間差および移動端末上のマイクロホンの位置に従って、移動端末に対する音源の方向を得るように構成された第２の取得ユニット４２２を含む。
空間オーディオ信号における全ての方向の信号は、第３の処理ユニット４３３に従って生成され、図４ｈに示されるように、第３の処理ユニット４３３は、
以下に従って、左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）、中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）、右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）、左後方サラウンド信号ＳＬＳ，ｆｉｎａｌ（ｎ）および右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得するように構成された第５の処理サブユニット４３３１を含み、
プロセッサ５０１はさらに、移動端末上のマイクロホンによって受取られる１つの方向の音声信号と別の方向の音声信号との間の到達時間差を取得するように構成され、移動端末上のマイクロホンは、少なくとも４つの方向の音声信号を受取るように構成され、プロセッサ５０１はさらに、
取得された到達時間差および移動端末上のマイクロホンの位置に従って、移動端末に対する音源の方向を得るように構成される。
Figure 2016052117
プロセッサ５０１はさらに、以下に従って、左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）、中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）、右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）、左後方サラウンド信号ＳＬＳ，ｆｉｎａｌ（ｎ）および右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得するように構成され、
ステップ１０３３は、具体的にはステップ１０３３ａとして実施され得る。以下を含む。
ステップ１０３３ａ：以下に従って、左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）、中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）、右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）、左後方サラウンド信号ＳＬＳ，ｆｉｎａｌ（ｎ）および右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得し、
例えば、再生システムがイヤホンである場合には、Ｎ個の方向の強調された出力信号が、５．１チャネルサラウンド音声システムにおける再生のための左方向、中央方向、右方向、左後方サラウンド方向および右後方サラウンド方向の信号にマッピングされる必要があり、また、音源の位置についての推定の結果に従って、上記の方法に従ってマッピングが行われた後に得られる５つの方向の信号に対して空間音場強調調整が行われ、その結果、空間音場強調調整後の出力信号が得られる。イヤホン再生システムでは、空間音場強調調整後に得られる出力信号は、２チャネル信号にダウンミックスされる必要がある。１つの任意のダウンミックス方法は、国際電気通信連合規格の５．１チャネルサラウンド音声を２チャネル信号にダウンミックスするための方法である。別の方法は、左方向、右方向、左後方サラウンド方向および右後方サラウンド方向の信号に対して、ダウンミックスの前に対応する角度の頭部伝達関数とそれぞれに畳み込みを行う必要があり、次いでダウンミックスが行われるというものであり、その結果、信号ダウンミックス後の前方方向、後方方向、左方向および右方向の空間分離度を向上させることができる。

Claims (15)

  1. 音声信号処理方法であって、
    三次元音場から音声信号を移動端末によって取得するステップを備え、少なくとも３つのマイクロホンが前記移動端末に配設されており、１つのマイクロホンが少なくとも１つの方向の音声信号を受取るように構成され、前記音声信号処理方法はさらに、
    前記取得された音声信号に従って、前記移動端末に対する音源の方向を取得するステップと、
    前記移動端末に対する前記音源の前記方向および前記取得された音声信号に従って、空間オーディオ信号を得るステップとを備え、前記空間オーディオ信号は、前記三次元音場をシミュレートするために使用される、音声信号処理方法。
  2. 前記取得された音声信号に従って、前記移動端末に対する音源の方向を取得するステップは、
    前記移動端末上の前記マイクロホンによって受取られる１つの方向の音声信号と別の方向の音声信号との間の到達時間差を取得するステップを備え、前記移動端末上の前記マイクロホンは、少なくとも４つの方向の音声信号を受取るように構成され、前記取得するステップはさらに、
    前記取得された到達時間差および前記移動端末上の前記移動端末上の前記マイクロホンの位置に従って、前記移動端末に対する前記音源の前記方向を得るステップを備える、請求項１に記載の音声信号処理方法。
  3. Figure 2016052117
  4. Figure 2016052117
  5. 前記取得された到達時間差および前記移動端末上の前記移動端末上の前記マイクロホンの位置に従って、前記移動端末に対する前記音源の前記方向を得るステップは、
    以下に従って、前記移動端末に対する前記音源の前記方向θを取得するステップを備え、
    Figure 2016052117
     前記第１のマイクロホンおよび第２のマイクロホンは、前記移動端末の１つの面の対称軸上に位置し、それぞれ前記１つの面上の２つの平行な端縁に位置し、第３のマイクロホンおよび第４のマイクロホンは、前記移動端末の別の面の対称軸上に位置し、それぞれ前記別の面上の２つの平行な端縁に位置し、ｃは音速を表わし、（ｘ１，ｙ１）は前記第１のマイクロホンに対応する座標を表わし、（ｘ２，ｙ２）は前記第２のマイクロホンに対応する座標を表わし、（ｘ３，ｙ３）は前記第３のマイクロホンに対応する座標を表わし、（ｘ４，ｙ４）は前記第４のマイクロホンに対応する座標を表わす、請求項３に記載の音声信号処理方法。
  6. 前記空間オーディオ信号は、左方向の信号と、右方向の信号と、中央方向の信号と、左後方サラウンド信号と、右後方サラウンド信号とを少なくとも備え、
    前記移動端末に対する前記音源の前記方向および前記取得された音声信号に従って、空間オーディオ信号を得るステップは、
    前記移動端末に対する前記音源の前記方向を使用してゲイン調整パラメータを生成するステップを備え、前記ゲイン調整パラメータは、前記左方向の信号、前記右方向の信号および前記中央方向の信号に対応する第１のタイプのゲイン調整パラメータαＦと、前記左後方サラウンド信号および前記右後方サラウンド信号に対応する第１のタイプのゲイン調整パラメータαＢと、前記左方向の信号および前記左後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＬと、前記右方向の信号および前記右後方サラウンド信号に対応する第２のタイプのゲイン調整パラメータαＲとを備え、さらに、前記移動端末に対する前記音源の前記方向について、θ∈［0,90）∪（270,360］の場合、αＦ＞αＢであり、θ∈（90,270）の場合、αＦ＜αＢであり、θ∈（0,180）の場合、αＬ＞αＲであり、θ∈（180,360）の場合、αＬ＜αＲであり、前記得るステップはさらに、
    前記音声信号に従って、前記空間オーディオ信号における全ての方向の前記信号の初期値を取得するステップと、
    前記ゲイン調整パラメータおよび前記空間オーディオ信号における全ての方向の前記信号の前記初期値に従って、前記左方向の信号、前記右方向の信号、前記中央方向の信号、前記左後方サラウンド信号および前記右後方サラウンド信号を生成するステップとを備える、請求項１から５のいずれか１項に記載の音声信号処理方法。
  7. 前記空間オーディオ信号は、２チャネル信号をさらに備え、
    前記方法はさらに、
    前記２チャネル信号を生成するために、前記左方向の信号、前記右方向の信号、前記中央方向の信号、前記左後方サラウンド信号および前記右後方サラウンド信号をダウンミックスするステップを備える、請求項６に記載の音声信号処理方法。
  8. 前記移動端末に対する前記音源の前記方向を使用してゲイン調整パラメータを生成するステップは、
    以下に従って、前記左方向の信号、前記右方向の信号および前記中央方向の信号に対応する前記第１のタイプのゲイン調整パラメータαＦを生成するステップと、
    Figure 2016052117
     以下に従って、前記左後方サラウンド信号および前記右後方サラウンド信号に対応する前記第１のタイプのゲイン調整パラメータαＢを生成するステップとを備え、
    Figure 2016052117
     αＦ，ｍｉｎ、αＦ，ｍｅｄ１、αＦ，ｍａｘ１、αＦ，ｍｅｄ２、αＦ，ｍａｘ２、αＢ，ｍｉｎ１、αＢ，ｍｅｄ１、αＢ，ｍｉｎ２、αＢ，ｍｅｄ２およびαＢ，ｍａｘは、ゼロよりも大きな定数であり、αＦ，ｍｉｎ＜αＦ，ｍｅｄ１＜αＦ，ｍａｘ１、αＦ，ｍｉｎ＜αＦ，ｍｅｄ２＜αＦ，ｍａｘ２、αＢ，ｍｉｎ１＜αＢ，ｍｅｄ１＜αＢ，ｍａｘ、αＢ，ｍｉｎ２＜αＢ，ｍｅｄ２＜αＢ，ｍａｘ、αＢ，ｍｅｄ１＝αＦ，ｍｅｄ１およびαＢ，ｍｅｄ２＝αＦ，ｍｅｄ２であり、前記生成するステップはさらに、
    以下に従って、前記左方向の信号および前記左後方サラウンド信号に対応する前記第２のタイプのゲイン調整パラメータαＬを生成するステップと、
    Figure 2016052117
     以下に従って、前記右方向の信号および前記右後方サラウンド信号に対応する前記第２のタイプのゲイン調整パラメータαＲを生成するステップとを備え、
    Figure 2016052117
     αＬ，ｍｅｄ１、αＬ，ｍａｘ、αＬ，ｍｅｄ２、αＬ，ｍｉｎ、αＲ，ｍｅｄ１、αＲ，ｍｉｎ、αＲ，ｍｅｄ２およびαＲ，ｍａｘは、ゼロよりも大きな定数であり、αＬ，ｍｉｎ＜αＬ，ｍｅｄ１＜αＬ，ｍａｘ、αＬ，ｍｉｎ＜αＬ，ｍｅｄ２＜αＬ，ｍａｘ、αＲ，ｍｉｎ＜αＲ，ｍｅｄ１＜αＲ，ｍａｘ、αＲ，ｍｉｎ＜αＲ，ｍｅｄ２＜αＲ，ｍａｘ、αＬ，ｍｅｄ１＝αＲ，ｍｅｄ１およびαＬ，ｍｅｄ２＝αＲ，ｍｅｄ２である、請求項６に記載の音声信号処理方法。
  9. 前記ゲイン調整パラメータおよび前記空間オーディオ信号における全ての方向の前記信号の前記初期値に従って、前記空間オーディオ信号における全ての方向の前記信号を生成するステップは、
    以下に従って、前記左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）、前記中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）、前記右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）、前記左後方サラウンド方向信号ＳＬＳ，ｆｉｎａｌ（ｎ）および前記右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得するステップを備え、
    Figure 2016052117
     ＳＬ（ｎ）は前記左方向の信号の初期値を表わし、ＳＣ（ｎ）は前記中央方向の信号の初期値を表わし、ＳＲ（ｎ）は前記右方向の信号の初期値を表わし、ＳＬＳ（ｎ）は前記左後方サラウンド信号の初期値を表わし、ＳＲＳ（ｎ）は前記右後方サラウンド信号の初期値を表わし、ｎはサンプリング点数を表わす、請求項８に記載の音声信号処理方法。
  10. Figure 2016052117
  11. ハート型の指向性を有するビームＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）を取得するステップは、
    前記第１から前記第４のマイクロホンによって受取られる前記音声信号を使用して、ハート型の指向性を有するビームＢＦｉｊ（ｎ）を取得するステップを備え、ＢＦｉｊ（ｎ）の最大指向性の点は、ｉ番目のマイクロホンとｊ番目のマイクロホンとの接続線から前記ｉ番目のマイクロホンに向かう方向にあり、ＢＦｉｊ（ｎ）の指向性のゼロ点は、前記ｉ番目のマイクロホンと前記ｊ番目のマイクロホンとの前記接続線から前記ｊ番目のマイクロホンに向かう方向にあり、ｉおよびｊは１、２、３または４に等しく、前記取得するステップはさらに、
    以下に従って、ハート型の指向性を有する前記ビームＢＦＬ（ｎ）、ＢＦＲ（ｎ）、ＢＦＬＳ（ｎ）およびＢＦＲＳ（ｎ）を取得するステップを備える、
    Figure 2016052117
     請求項１０に記載の音声信号処理方法。
  12. 前記ゲイン調整パラメータおよび前記空間オーディオ信号における全ての方向の前記信号の前記初期値に従って、前記空間オーディオ信号における全ての方向の前記信号を生成するステップは、
    ＳＬ，ｆｉｎａｌ（ｎ）＝ＳＬ（ｎ）＊αＬに従って前記左方向の信号ＳＬ，ｆｉｎａｌ（ｎ）を取得するステップと、
    ＳＣ，ｆｉｎａｌ（ｎ）＝ＳＣ（ｎ）に従って前記中央方向の信号ＳＣ，ｆｉｎａｌ（ｎ）を取得するステップと、
    ＳＲ，ｆｉｎａｌ（ｎ）＝ＳＲ（ｎ）＊αＲに従って前記右方向の信号ＳＲ，ｆｉｎａｌ（ｎ）を取得するステップと、
    ＳＬＳ，ｆｉｎａｌ（ｎ）＝ＳＬＳ（ｎ）＊αＬに従って前記左後方サラウンド信号ＳＬＳ，ｆｉｎａｌ（ｎ）を取得するステップと、
    ＳＲＳ，ｆｉｎａｌ（ｎ）＝ＳＲＳ（ｎ）＊αＲに従って前記右後方サラウンド信号ＳＲＳ，ｆｉｎａｌ（ｎ）を取得するステップとを備え、
    ＳＬ（ｎ）は前記左方向の信号の初期値を表わし、ＳＣ（ｎ）は前記中央方向の信号の初期値を表わし、ＳＲ（ｎ）は前記右方向の信号の初期値を表わし、ＳＬＳ（ｎ）は前記左後方サラウンド信号の初期値を表わし、ＳＲＳ（ｎ）は前記右後方サラウンド信号の初期値を表わし、ｎはサンプリング点数を表わす、請求項８に記載の音声信号処理方法。
  13. 音声信号処理装置であって、
    三次元音場から音声信号を取得するように構成された第１の取得モジュールを備え、少なくとも３つのマイクロホンが移動端末に配設されており、１つのマイクロホンが少なくとも１つの方向の音声信号を受取るように構成され、前記音声信号処理装置はさらに、
    前記取得された音声信号に従って、前記移動端末に対する音源の方向を取得するように構成された第２の取得モジュールと、
    前記移動端末に対する前記音源の前記方向および前記取得された音声信号に従って、空間オーディオ信号を得るように構成された第１の処理モジュールとを備え、前記空間オーディオ信号は、前記三次元音場をシミュレートするために使用される、音声信号処理装置。
  14. 前記第２の取得モジュールは、
    前記移動端末上の前記マイクロホンによって受取られる１つの方向の音声信号と別の方向の音声信号との間の到達時間差を取得するように構成された第１の取得ユニットを備え、前記移動端末上の前記マイクロホンは、少なくとも４つの方向の音声信号を受取るように構成され、前記第２の取得モジュールはさらに、
    前記取得された到達時間差および前記移動端末上の前記移動端末上の前記マイクロホンの位置に従って、前記移動端末に対する前記音源の前記方向を得るように構成された第２の取得ユニットを備える、請求項１３に記載の音声信号処理装置。
  15. Figure 2016052117
JP2015113909A 2014-08-29 2015-06-04 音声信号処理方法および装置 Pending JP2016052117A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410439142.8A CN105451151B (zh) 2014-08-29 2014-08-29 一种处理声音信号的方法及装置
CN201410439142.8 2014-08-29

Publications (1)

Publication Number Publication Date
JP2016052117A true JP2016052117A (ja) 2016-04-11

Family

ID=53434189

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015113909A Pending JP2016052117A (ja) 2014-08-29 2015-06-04 音声信号処理方法および装置

Country Status (5)

Country Link
US (1) US9439019B2 (ja)
EP (1) EP2991382B1 (ja)
JP (1) JP2016052117A (ja)
KR (1) KR101724514B1 (ja)
CN (1) CN105451151B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106448693A (zh) * 2016-09-05 2017-02-22 华为技术有限公司 一种语音信号处理方法及装置

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170236547A1 (en) * 2015-03-04 2017-08-17 Sowhat Studio Di Michele Baggio Portable recorder
US9583113B2 (en) * 2015-03-31 2017-02-28 Lenovo (Singapore) Pte. Ltd. Audio compression using vector field normalization
BR112017002758B1 (pt) * 2015-06-17 2022-12-20 Sony Corporation Dispositivo e método de transmissão, e, dispositivo e método de recepção
TWI577194B (zh) * 2015-10-22 2017-04-01 山衛科技股份有限公司 環境音源辨識系統及其環境音源辨識之方法
CN105407443B (zh) * 2015-10-29 2018-02-13 小米科技有限责任公司 录音方法及装置
US11722821B2 (en) * 2016-02-19 2023-08-08 Dolby Laboratories Licensing Corporation Sound capture for mobile devices
CN105548955A (zh) * 2016-03-04 2016-05-04 上海易景信息科技有限公司 一种快速室内声源定向装置及方法
US10356514B2 (en) 2016-06-15 2019-07-16 Mh Acoustics, Llc Spatial encoding directional microphone array
US10477304B2 (en) 2016-06-15 2019-11-12 Mh Acoustics, Llc Spatial encoding directional microphone array
US10451719B2 (en) * 2016-06-22 2019-10-22 Loose Cannon Systems, Inc. System and method to indicate relative location of nodes in a group
CN109417668A (zh) * 2016-07-05 2019-03-01 索尼公司 声场形成装置和方法、以及程序
US10034083B2 (en) * 2016-09-21 2018-07-24 International Business Machines Corporation Crowdsourcing sound captures to determine sound origins and to predict events
WO2018096582A1 (ja) * 2016-11-22 2018-05-31 三菱電機株式会社 劣化個所推定装置、劣化個所推定システム及び劣化個所推定方法
CN106782584B (zh) * 2016-12-28 2023-11-07 北京地平线信息技术有限公司 音频信号处理设备、方法和电子设备
US10334360B2 (en) * 2017-06-12 2019-06-25 Revolabs, Inc Method for accurately calculating the direction of arrival of sound at a microphone array
CN109218920B (zh) * 2017-06-30 2020-09-18 华为技术有限公司 一种信号处理方法、装置及终端
US10310082B2 (en) * 2017-07-27 2019-06-04 Quantenna Communications, Inc. Acoustic spatial diagnostics for smart home management
US9866308B1 (en) * 2017-07-27 2018-01-09 Quantenna Communications, Inc. Composite WiFi and acoustic spatial diagnostics for smart home management
US10656268B2 (en) * 2017-07-27 2020-05-19 On Semiconductor Connectivity Solutions, Inc. Acoustic spatial diagnostics for smart home management
CN108269582B (zh) * 2018-01-24 2021-06-01 厦门美图之家科技有限公司 一种基于双麦克风阵列的定向拾音方法及计算设备
GB2572368A (en) 2018-03-27 2019-10-02 Nokia Technologies Oy Spatial audio capture
CN108769874B (zh) * 2018-06-13 2020-10-20 广州国音科技有限公司 一种实时分离音频的方法和装置
CN111383655B (zh) * 2018-12-29 2023-08-04 嘉楠明芯(北京)科技有限公司 一种波束形成方法、装置及计算机可读存储介质
CN109769181B (zh) * 2019-01-28 2020-08-25 努比亚技术有限公司 一种扬声器出音孔、终端及扬声器出音孔控制方法
CN110103867A (zh) * 2019-05-09 2019-08-09 贵安新区新特电动汽车工业有限公司 声音强度调整方法及装置
CN110225445A (zh) * 2019-05-22 2019-09-10 上海德衡数据科技有限公司 一种处理声音信号实现三维声场听觉效果的方法及装置
CN118235431A (zh) * 2022-10-19 2024-06-21 北京小米移动软件有限公司 空间音频采集方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007235334A (ja) * 2006-02-28 2007-09-13 Victor Co Of Japan Ltd オーディオ装置及び指向音生成方法
JP2009055137A (ja) * 2007-08-23 2009-03-12 Casio Hitachi Mobile Communications Co Ltd 携帯端末装置
JP2014501064A (ja) * 2010-10-25 2014-01-16 クゥアルコム・インコーポレイテッド マルチマイクロフォンを用いた３次元サウンド獲得及び再生

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPO099696A0 (en) * 1996-07-12 1996-08-08 Lake Dsp Pty Limited Methods and apparatus for processing spatialised audio
TWM273904U (en) 2004-08-19 2005-08-21 Inventec Appliances Corp Mobile phone with stereo recording functions
US8488796B2 (en) * 2006-08-08 2013-07-16 Creative Technology Ltd 3D audio renderer
JP5397131B2 (ja) * 2009-09-29 2014-01-22 沖電気工業株式会社 音源方向推定装置及びプログラム
US9857451B2 (en) * 2012-04-13 2018-01-02 Qualcomm Incorporated Systems and methods for mapping a source location
US20130315402A1 (en) * 2012-05-24 2013-11-28 Qualcomm Incorporated Three-dimensional sound compression and over-the-air transmission during a call
US9445174B2 (en) * 2012-06-14 2016-09-13 Nokia Technologies Oy Audio capture apparatus
CN102707262A (zh) * 2012-06-20 2012-10-03 太仓博天网络科技有限公司 一种基于麦克风阵列的声源定位系统
CN202818484U (zh) 2012-08-21 2013-03-20 徐丙川 会议通信装置和系统
CN103634561A (zh) 2012-08-21 2014-03-12 徐丙川 会议通信装置和系统
WO2014090277A1 (en) * 2012-12-10 2014-06-19 Nokia Corporation Spatial audio apparatus
CN103064061B (zh) * 2013-01-05 2014-06-11 河北工业大学 三维空间声源定位方法
CN103778657B (zh) * 2014-02-28 2017-01-25 中山大学 一种基于空间剖分的声线束追踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007235334A (ja) * 2006-02-28 2007-09-13 Victor Co Of Japan Ltd オーディオ装置及び指向音生成方法
JP2009055137A (ja) * 2007-08-23 2009-03-12 Casio Hitachi Mobile Communications Co Ltd 携帯端末装置
JP2014501064A (ja) * 2010-10-25 2014-01-16 クゥアルコム・インコーポレイテッド マルチマイクロフォンを用いた３次元サウンド獲得及び再生

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JOSEPH H. DIBIASE ET AL.: "Robust Localization in Reverberant Rooms", MICROPHONE ARRAYS, JPN7017001842, 2001, pages 157 - 180, XP055204652, ISSN: 0003696028, DOI: 10.1007/978-3-662-04619-7_8 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106448693A (zh) * 2016-09-05 2017-02-22 华为技术有限公司 一种语音信号处理方法及装置
CN106448693B (zh) * 2016-09-05 2019-11-29 华为技术有限公司 一种语音信号处理方法及装置

Also Published As

Publication number Publication date
EP2991382B1 (en) 2017-04-19
US9439019B2 (en) 2016-09-06
CN105451151B (zh) 2018-09-21
KR20160026652A (ko) 2016-03-09
CN105451151A (zh) 2016-03-30
KR101724514B1 (ko) 2017-04-07
EP2991382A1 (en) 2016-03-02
US20160066117A1 (en) 2016-03-03

Similar Documents

Publication Publication Date Title
JP2016052117A (ja) 音声信号処理方法および装置
RU2663343C2 (ru) Система, устройство и способ для совместимого воспроизведения акустической сцены на основе адаптивных функций
US9877133B2 (en) Sound collection and reproduction system, sound collection and reproduction apparatus, sound collection and reproduction method, sound collection and reproduction program, sound collection system, and reproduction system
JP5878549B2 (ja) 幾何ベースの空間オーディオ符号化のための装置および方法
US9271081B2 (en) Method and device for enhanced sound field reproduction of spatially encoded audio input signals
KR102207035B1 (ko) 고차 앰비소닉 오디오 신호로부터 스테레오 라우드스피커 신호를 디코딩하기 위한 방법 및 장치
KR101555416B1 (ko) 음향 삼각 측량에 의한 공간 선택적 사운드 취득 장치 및 방법
RU2633134C2 (ru) Устройство и способ формирования множества параметрических звуковых потоков и устройство и способ формирования множества сигналов акустической системы
KR20090051614A (ko) 마이크로폰 어레이를 이용한 다채널 사운드 획득 방법 및장치
KR20130116271A (ko) 다중 마이크에 의한 3차원 사운드 포착 및 재생
Oreinos et al. Objective analysis of ambisonics for hearing aid applications: Effect of listener's head, room reverberation, and directional microphones
EP4005246A1 (en) Apparatus, method or computer program for processing a sound field representation in a spatial transform domain
CN111819862A (zh) 音频编码设备和方法
Fernandez et al. A spatial enhancement approach for binaural rendering of head-worn microphone arrays
Shabtai et al. Spherical array beamforming for binaural sound reproduction
Omoto et al. Hypotheses for constructing a precise, straightforward, robust and versatile sound field reproduction system
Choi Extension of perceived source width using sound field reproduction systems
JP2015119393A (ja) 音響信号受聴装置
Oreinos et al. Objective analysis of higher-order Ambisonics sound-field reproduction for hearing aid applications

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170728

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171205