JP2009260574A - Sound signal processing device, sound signal processing method and mobile terminal equipped with the sound signal processing device - Google Patents
Sound signal processing device, sound signal processing method and mobile terminal equipped with the sound signal processing device Download PDFInfo
- Publication number
- JP2009260574A JP2009260574A JP2008106125A JP2008106125A JP2009260574A JP 2009260574 A JP2009260574 A JP 2009260574A JP 2008106125 A JP2008106125 A JP 2008106125A JP 2008106125 A JP2008106125 A JP 2008106125A JP 2009260574 A JP2009260574 A JP 2009260574A
- Authority
- JP
- Japan
- Prior art keywords
- head
- transfer function
- audio signal
- unit
- related transfer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、例えば携帯電話端末などの音声信号を扱う比較的小型の電子機器に適用して好適な音声信号処理装置及び音声信号処理方法、並びにその音声信号処理装置を備えた携帯端末に関し、特に、立体音響を再生させる技術に関する。 The present invention relates to an audio signal processing device and an audio signal processing method suitable for application to a relatively small electronic device that handles an audio signal such as a mobile phone terminal, and a mobile terminal equipped with the audio signal processing device. The present invention relates to a technique for reproducing stereophonic sound.
従来、音声信号を扱うポータブル音声機器が各種実用化されている。例えば、音楽データをダウンロードして記憶し、その記憶した音楽データを、装着されたヘッドホンから再生させる携帯電話端末が普及している。また、携帯電話端末としての機能を備えてなく、音楽データの記憶と再生を行う、いわゆるポータブル型再生装置も各種実用化されている。 Conventionally, various portable audio devices that handle audio signals have been put into practical use. For example, mobile phone terminals that download and store music data and play back the stored music data from attached headphones have become widespread. Various so-called portable playback devices that do not have a function as a mobile phone terminal and store and play back music data have been put into practical use.
このような音楽データなどを再生する機能を備えた機器は、ヘッドホンを接続して、そのヘッドホンから再生させるのが一般的である。また、機器そのものが、小型のスピーカを内蔵して、その内蔵されたスピーカから出力させるようにしたものもある。 In general, a device having a function of reproducing music data or the like is connected to a headphone and played from the headphone. There is also a device in which a small speaker is built in and output from the built-in speaker.
通常、この種の機器で音楽再生を行う際には、入力した音声信号が2チャンネルの音声信号であることが一般的である。従って、ヘッドホンから再生させる場合には、その2チャンネルの音声信号をそのままヘッドホンの左右のチャンネルのユニットに供給して出力させるようにしている。ところが、一般的な2チャンネルの音声信号は、ある程度の間隔を離して設置したスピーカとリスナーが向き合ったときに正しい立体音響となる、いわゆるステレオフォニックの音声信号である。 Normally, when music is played back on this type of device, the input audio signal is generally a 2-channel audio signal. Therefore, when reproducing from the headphones, the audio signals of the two channels are supplied as they are to the left and right channel units of the headphones and output. However, a general two-channel audio signal is a so-called stereophonic audio signal that provides correct stereophonic sound when a speaker and a listener placed at a certain interval face each other.
これに対して、ヘッドホンから再生される音声信号として、リスナーの頭部にヘッドホンを装着した際に、正しい立体音響で再生されるバイノーラル方式の音声信号が知られている。
2チャンネルのバイノーラル音声信号を生成させる処理は、近年の集積回路化されたDSPを使用することで可能となっており、高機能化された音声処理装置などで実用化されている。例えば、ビデオ再生装置と組み合わせて使用されるヘッドホン装置として、映画などのビデオプログラムを視聴する際に、立体音響が再生される処理を行うものが実用化されている。
On the other hand, a binaural audio signal that is reproduced with correct stereophonic sound when a headphone is worn on the listener's head is known as an audio signal reproduced from the headphones.
The process of generating a 2-channel binaural audio signal is possible by using a DSP integrated in recent years, and has been put to practical use in a highly functional audio processing apparatus. For example, as a headphone device that is used in combination with a video playback device, a device that performs a process of reproducing stereophonic sound when a video program such as a movie is viewed has been put into practical use.
特許文献1には、2チャンネルのバイノーラル方式で集音された音声信号の処理についての開示がある。
先に述べたように、ポータブル型の音声再生装置の1つとして、携帯電話端末が普及している。この携帯電話端末に、上述した2チャンネルのバイノーラル音声信号を生成させる処理回路を内蔵させれば、携帯電話端末にヘッドホンを接続して、音楽などを再生させる際に、正しい立体音響で再生させることができ、好ましい。 As described above, mobile phone terminals are widely used as one of portable sound reproducing apparatuses. If the processing circuit for generating the above-described 2-channel binaural audio signal is built in this mobile phone terminal, headphones can be connected to the mobile phone terminal to reproduce music and the like with correct stereophonic sound. This is preferable.
ところが、従来のバイノーラル音声信号を生成させる処理構成は、DSPと称される非常に大規模な回路構成の集積回路を使用した非常に大規模な演算処理が必要であった。このため、例えば携帯電話端末の如き、ポータブル型の電子機器に内蔵させるのには、演算処理能力、コストなどのいずれの面からも無理があった。演算処理量が多いということは、バッテリの持続時間も短くしてしまい、好ましくない。 However, the processing configuration for generating a conventional binaural audio signal requires a very large arithmetic processing using an integrated circuit having a very large circuit configuration called a DSP. For this reason, for example, it has been impossible to incorporate it in a portable electronic device such as a mobile phone terminal in terms of arithmetic processing capability and cost. A large amount of calculation processing is not preferable because the battery duration is shortened.
また、別の問題として、従来のバイノーラル音声信号を生成させる処理構成は、実際に収音した音を解析したデータに基いて行うために生じる問題がある。即ち、解析用のデータは、人間の頭部を模した形状のダミーヘッドを使用して、実際の音源からの音が、そのダミーヘッドの耳介の部分に装着したマイクロフォンで収音したものである。このため、ダミーヘッドのサイズとほぼ一致した頭部のサイズを有するリスナーが聴取する場合には、適正な立体音響が再現されるが、頭部のサイズが異なるリスナーが聴取する場合には、適正でない可能性がある。 As another problem, the conventional processing configuration for generating a binaural audio signal has a problem that occurs because it is based on data obtained by analyzing the actually collected sound. In other words, the data for analysis was obtained by using a dummy head shaped like a human head and picking up the sound from the actual sound source with a microphone attached to the pinna of the dummy head. is there. For this reason, when a listener having a head size that substantially matches the size of the dummy head listens, the appropriate stereophonic sound is reproduced, but when a listener with a different head size listens, It may not be.
本発明はかかる点に鑑みてなされたものであり、立体音響の再生処理を行う場合に、演算処理に必要な構成や演算処理量を削減すると共に、良好な再生ができるようにすることを目的とする。 The present invention has been made in view of such a point, and an object of the present invention is to reduce the configuration and the amount of calculation processing necessary for calculation processing and perform good reproduction when performing three-dimensional sound reproduction processing. And
本発明は、ダミーヘッドを使用して測定された頭部伝達関数を、制限されたサンプル数に間引いて頭部伝達関数データベースとして記憶する。そして、記憶された頭部伝達関数データベース内の、制限されたサンプル数の頭部伝達関数から、指示された音源位置の伝達関数を抽出する。その抽出した伝達関数を、入力した音声信号に畳み込んで、バイノーラル立体音響を生成させるための2チャンネルの音声信号を得る。 In the present invention, the head-related transfer function measured using the dummy head is thinned out to a limited number of samples and stored as a head-related transfer function database. Then, the transfer function of the instructed sound source position is extracted from the limited number of sample head transfer functions in the stored head transfer function database. The extracted transfer function is convoluted with the input audio signal to obtain a 2-channel audio signal for generating binaural stereophonic sound.
本発明によると、制限されたサンプル数に間引いた頭部伝達関数のデータベースを用意することで、音声信号処理を行う機器が必要な記憶手段の記憶容量をそれだけ削減することが出来る。また、そのサンプル数が間引かれた頭部伝達関数を利用して演算処理を行うことで、バイノーラル立体音響を生成するための演算処理量を削減することが出来る。 According to the present invention, by preparing a database of head related transfer functions thinned to a limited number of samples, it is possible to reduce the storage capacity of the storage means required by the device that performs audio signal processing. Further, by performing the calculation process using the head-related transfer function from which the number of samples is thinned, the calculation processing amount for generating binaural stereophonic sound can be reduced.
本発明によると、音声信号処理を行う機器が必要な記憶手段の記憶容量をそれだけ削減することが出来ると共に、バイノーラル立体音響を生成するための演算処理量を削減することが出来る。従って、本発明によると機器構成の簡易化につながり、例えば携帯電話端末の如きポータブル型の電子機器に内蔵させるのに適した構成に出来る。 According to the present invention, it is possible to reduce the storage capacity of the storage means required by the device that performs the audio signal processing, and it is possible to reduce the amount of calculation processing for generating binaural stereophonic sound. Therefore, according to the present invention, the device configuration can be simplified, and a configuration suitable for incorporation in a portable electronic device such as a mobile phone terminal can be achieved.
以下、本発明の実施の形態を、添付図面を参照して説明する。
本実施の形態においては、携帯用として小型に構成された無線通信端末である、携帯電話端末に適用した例としてある。その携帯電話端末が内蔵した音声信号処理機能部において、以下に説明する処理を実行するようにしたものである。
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
In this embodiment, the present invention is applied to a mobile phone terminal, which is a wireless communication terminal configured to be small for portable use. In the audio signal processing function unit built in the mobile phone terminal, the processing described below is executed.
まず、図2を参照して、本実施の形態の携帯電話端末の全体の構成例を説明する。
図2に示すように、制御部11を備えて、この制御部11が、携帯電話端末内の各部の処理動作を制御する。制御部11は、制御ライン28を介して、端末内の各部とデータのやり取りをおこなう。
First, an overall configuration example of the mobile phone terminal according to the present embodiment will be described with reference to FIG.
As shown in FIG. 2, the control part 11 is provided and this control part 11 controls the processing operation of each part in a mobile telephone terminal. The control unit 11 exchanges data with each unit in the terminal via the control line 28.
また本実施の形態の携帯電話端末は、通信端末として必要な無線通信処理を行う通信部12を備え、通信部12にアンテナ13が接続してある。この通信部12が、無線電話用の基地局と無線通信を行って、基地局との間で、双方向のデータ伝送を行う。通信部12は、データライン29を介して、基地局側から受信したデータを端末内の各部に送出する。また、端末内の各部17からデータライン29を介して伝送されたデータを、基地局側に送信させる。
In addition, the mobile phone terminal according to the present embodiment includes a
データライン29には、通信部13の他に、メモリ14と表示部15と音声処理部17と立体音響処理部21とが接続してある。メモリ14は、本実施の形態の端末を動作させるために必要なプログラムや、ユーザが記憶させた各種データなどを記憶する。ダウンロードなどで得た音楽データなどの音声信号の記憶についても、メモリ14が行う。後述するデータベースについても、このメモリ14を記憶手段として使用しても良い。
表示部15は、液晶表示ディスプレイや有機ELディスプレイなどが表示手段として使用され、制御部11の制御で、各種情報の表示を行う。後述する設定操作時には、この表示部15での表示に従ってユーザは操作部16での設定操作を行う。
操作部16は、携帯電話端末として必要な数字や記号などのダイヤルキー、各種機能キーなどで構成される。これらの操作部16を構成する各キーの操作情報は、制御部11に供給される。
In addition to the
As the display unit 15, a liquid crystal display, an organic EL display, or the like is used as a display unit, and various information is displayed under the control of the control unit 11. At the time of a setting operation to be described later, the user performs a setting operation on the operation unit 16 according to the display on the display unit 15.
The operation unit 16 includes dial keys such as numbers and symbols necessary for a mobile phone terminal, various function keys, and the like. The operation information of each key constituting these operation units 16 is supplied to the control unit 11.
音声処理部17は、音声信号の処理を行う処理部であり、スピーカ18及びマイクロフォン19が接続してある。このスピーカ18及びマイクロフォン19は、通話時に受話器として使用されるものである。即ち、通信部12から音声処理部17に供給される音声データを、音声処理部17で復調してアナログ音声信号とし、増幅などのアナログ処理を行ってスピーカ18から放音させる。また、マイクロフォン19が集音した音声信号を、音声処理部17でデジタル音声データに変調し、その変調された音声データを通信部12に供給して、無線送信などを行う。
また、音声処理部17に供給される音声データの内で、立体音響として出力させる音声については、次に説明する立体音響処理部21に供給して処理させる。
The
Of the audio data supplied to the
そして本実施の形態の携帯電話端末は、立体音響処理部21を備える。立体音響処理部21は、バイノーラル立体音響としての2チャンネルの音声信号を生成する処理部である。この立体音響処理部21で処理する音声信号は、音声処理部17から供給される場合の他に、メモリ14などから読み出してデータライン29を介して供給される場合や、通信部12で受信した音声データがデータライン29を介して供給される場合など、いずれの音声信号であってもよい。立体音響処理部21でバイノーラル立体音響としての2チャンネルの音声信号を生成させる具体的な処理については、図1などを参照して後述する。
The mobile phone terminal according to the present embodiment includes a stereophonic
立体音響処理部21で生成された音声信号は、携帯電話端末本体に内蔵された左右のチャンネル用の2つのスピーカ22L,22Rから出力させる場合と、出力端子23に接続されたヘッドホン(図示せず)から出力させる場合とがある。スピーカ22L,22Rは、携帯電話端末本体に内蔵されるスピーカであるので、比較的小型なスピーカユニットを使用したスピーカであるが、端末本体の周囲にいるリスナーに対して再生音を聞かせることが出来程度に増幅して出力させるスピーカである。
なお、ヘッドホンから出力させる場合には、出力端子23にヘッドホンを直接接続していわゆる有線接続する場合の他に、例えばBluetooth(商標)方式などでヘッドホンと無線通信する近距離無線通信部を内蔵させて、その近距離無線通信部を介してヘッドホンに音声信号を供給する構成としてもよい。
The audio signal generated by the stereophonic
In addition, when outputting from the headphones, in addition to the case where the headphones are directly connected to the
次に、図2に示した立体音響処理部21の構成例を、図1を参照して説明する。
図1は、本実施の形態による立体音響処理部21の全体構成例を示した図である。
図1の左側から信号の流れに沿って順に説明すると、まず音源方向設定部31を有する。この音源方向設定部31は、出力させる音声信号により生成される立体音響中に音源を定位させる位置を設定するものである。この音源方向は、例えば、図2に示した制御部11の制御に基づいて、処理する音声信号ごとに予め決められた位置とする。或いは、処理する音声信号の付加情報などに、音源位置についての指示がある場合には、その位置とする。或いはまた、図1に示した操作部16のユーザ操作などで、音源位置を自由に設定できるようにしてもよい。
Next, a configuration example of the stereophonic
FIG. 1 is a diagram showing an example of the overall configuration of the stereophonic
If it demonstrates in order along the flow of a signal from the left side of FIG. 1, it has the sound source
音源方向設定部31が出力する音源位置のデータは、HRTF処理部33に供給する。HRTF処理部33は、頭部伝達関数(HRTF:Head-Related Transfer Function)を処理する処理部であり、HRTF(頭部伝達関数)データベース32に格納された頭部伝達関数の中から、適切な頭部伝達関数を抽出する。HRTFデータベース32には、リスナーの位置を中心とした水平方向の周囲360°のそれぞれの音源位置での左右のチャンネルの頭部伝達関数を記憶してある。このデータベース32は、例えば図2に示したメモリ14を使用する。或いは、立体音響処理部21内に専用の記憶部を用意しても良い。本実施の形態においては、このHRTFデータベース32に格納させる頭部伝達関数として、ダミーヘッドを使用して測定された本来の頭部伝達関数のサンプリング値を間引いたサンプリング値として、データ量を大幅に削減したデータとしてある。また、データベースで示される音源位置についても、例えば10°刻みで周囲360°の音源位置のデータとして、比較的粗い位置間隔としてある。
The sound source position data output from the sound source
HRTF処理部33で抽出された頭部伝達関数は、パーソナライズ部34に供給する。パーソナライズ部34は、HRTFモデル算出部36が算出した、頭部伝達関数のモデルのデータを使用して、HRTF処理部33から供給される頭部伝達関数を修正する。HRTFモデル算出部36で算出する頭部伝達関数のモデルのデータは、サイズ設定部35で設定されたリスナーの頭部のサイズのデータに基いて算出が行われる。従って、パーソナライズ部34では、サイズ設定部35で設定されたリスナーの頭部のサイズに基いた修正が行われることになる。サイズ設定部35でのリスナーの頭部のサイズの設定は、例えば、図2に示した操作部16の操作で、立体音響の設定画面を表示部15に表示させた上で、リスナーの頭部のサイズと耳介のサイズをユーザ操作で選択することで実行される。設定されたリスナーの頭部及び耳介のサイズの設定値は、メモリ14などに記憶されて読み出される。
The head-related transfer function extracted by the
パーソナライズ部34で修正された頭部伝達関数は、立体音響算出部37に供給される。立体音響算出部37では、音声信号入力部38に入力した音声信号について、供給される頭部伝達関数を使用した演算処理で、立体音響化されたバイノーラル信号としての2チャンネルの音声信号を得る。
The head-related transfer function corrected by the
立体音響算出部37で得られた2チャンネルの音声信号は、出力端子23に接続されたヘッドホン24に供給して出力させる。或いは、立体音響算出部37で得られた2チャンネルの音声信号を、クロストークキャンセル部39に供給して、2つのチャンネルのクロストーク成分を除去した上で、携帯電話端末本体に内蔵されたスピーカ22L,22Rから出力させる。既に説明したように携帯電話端末本体からヘッドホン24への伝送については、無線伝送するようにしてもよい。
The two-channel audio signal obtained by the stereophonic
次に、立体音響処理部21内の各部の具体的な例を、図3以降を参照して説明する。
図3は、HRTFデータベース32に格納させる頭部伝達関数(HRTF)の生成処理例を示した構成である。この図3に示した処理構成は、データベースに格納させるデータを生成させる際の処理であるので、携帯電話端末を製造するメーカー側で、端末に格納させるソフトウェアを製作する際に用意するものである。
Next, specific examples of each part in the stereophonic
FIG. 3 shows a configuration example of generation processing of a head related transfer function (HRTF) stored in the
図3に示したように、まず測定された頭部伝達関数を記憶したHRTFデータベース51を用意する。このデータベース51に記憶された頭部伝達関数は、ダミーヘッドの両耳の箇所に装着したマイクロフォンで、それぞれの音源位置での発する音のインパルス応答を収音する測定を行って、その測定値に基いた頭部伝達関数である。この測定に使用するダミーヘッドは、標準的なサイズのものとしてある。それぞれの音源位置から拾った音は、図示しない収音処理構成で、インパルス応答を所定のサンプリング周期による512サンプル点で測定した信号とする。その512サンプル点の信号で構成される頭部伝達関数を、1つの音源位置の頭部伝達関数として記憶する。また、音源位置は、ダミーヘッドの周囲水平方向の360°について、例えば5°刻みの位置に設定してある。それぞれの音源位置の頭部伝達関数には、両耳時間差情報(ITD:Inter-aural Time Differences)と、振幅情報(MPS:Minimum Phase Systems)とがある。
このデータベース51に記憶された頭部伝達関数は、一般的な頭部伝達関数として既知のものであり、既存の頭部伝達関数が使用可能であれば、そのまま使用してよい。
As shown in FIG. 3, the
The head-related transfer functions stored in the
そして、データベース51に記憶された頭部伝達関数の内の、両耳時間差抽出部52で両耳時間差情報ITDを、それぞれの音源位置のデータごとに抽出する。また、データベース51に記憶された頭部伝達関数の内の、振幅情報MPSを、最小位相系変換部53で抽出して必要なデータ形式に変換する。変換された振幅情報MPSは、サンプル数変換部54に供給して、サンプル数を削減させる処理を行う。ここでは、512サンプルの信号を、32サンプルに間引く処理を行う。32サンプル以外のサンプル数に間引くようにしてもよい。
Then, the binaural time
両耳時間差抽出部52で抽出された両耳時間差情報ITDと、サンプル数変換部54でサンプル数が変換された振幅情報MPSは、空間的リサンプリング部55に供給して、1音源位置ごとに32サンプルのインパルス応答値で構成された頭部伝達関数とする。このとき、空間的リサンプリング部55では、5°刻みの音源位置のデータを、10°刻みの音源位置のデータとして、音源位置についても間引くようにしてある。
このようにして空間的リサンプリング部55で得られた、10°刻みの音源位置のそれぞれで32サンプルの信号による頭部伝達関数を、図1に示した携帯電話端末内の処理済HRTFデータベース32に記憶させる。
The binaural time difference information ITD extracted by the binaural time
The head-related transfer function obtained by the spatial
次に、図4を参照して、図1に示したHRTF処理部33での処理構成例を説明する。
図4に示すように、音源方向設定部31からの音源指示データを、HRTF処理部33内の候補抽出部61に供給する。候補抽出部61では、HRTFデータベース32に記憶された頭部伝達関数の内で、指示された音源位置に近い音源位置の複数の頭部伝達関数を抽出する。例えば、音源位置が正面から右側に13°の位置と指示されたとき、処理済HRTFデータベース32に記憶された10°の頭部伝達関数と20°の頭部伝達関数を抽出する。
抽出された頭部伝達関数の内の両耳時間差情報は、ITD処理部62に供給し、振幅情報はMPS処理部63に供給する。
Next, a processing configuration example in the
As shown in FIG. 4, the sound source instruction data from the sound source
The binaural time difference information in the extracted head-related transfer function is supplied to the
そして、それぞれの情報を内挿処理部64に供給する。この内挿処理部64では、ITD処理部62とMPS処理部63から供給される複数の頭部伝達関数を使用して、音源方向設定部31から指定された音源位置の頭部伝達関数を内挿で生成させる。例えば、音源位置が正面から右側に13°であるとき、10°の頭部伝達関数と20°の頭部伝達関数を、それぞれの位置に応じた比率で乗算させる処理を行って、13°の位置の頭部伝達関数を生成させる。指示された音源位置とHRTFデータベース32に格納された音源位置とがほぼ一致する場合には補間は行わない。なお、内挿処理部64での補間は行わない構成として、指示された音源位置を、処理済HRTFデータベース32に格納された音源位置に近似させる構成としてもよい。
Then, each information is supplied to the
図5は、図1に示したパーソナライズ部34での処理構成例を示した図である。
このパーソナライズ部34での処理は、図1に示したサイズ設定部35で既に設定されたリスナーの頭部及び耳介のサイズのデータに基づいて実行される。
ここで、サイズの設定処理状態の例について説明する。例えば携帯電話端末の操作部16を操作して、頭部のサイズ設定モードとし、そのサイズ設定用の画面を、表示部15に表示させる。
図8はその場合の設定画面の例を示した図である。この例では、頭のサイズを、「大」「標準」「小」の3種類の中からユーザ操作で選択できる例としてある。また、耳介のサイズを、「大」「標準」「小」の3種類の中からユーザ操作で選択できる例としてある。図8の例では、頭部のサイズを「標準」として選択してあり、耳介のサイズを、「小」として選択してある。
なお、図8に示した例よりもより細かく選択ができるようにしてもよい。例えば、それぞれのサイズ選択が3段階ではなく、4段階以上選択できるようにしてもよい。また、頭部のサイズとして、水平方向の頭部のサイズと垂直方向の頭部のサイズを個別に選択できるようにしてもよい。或いは、頭部のおおよその形状として、丸形形状、細長形状などから選択させ、その上で、「大」「標準」「小」などのサイズを選択させてもよい。
FIG. 5 is a diagram showing a processing configuration example in the
The processing in the
Here, an example of the size setting processing state will be described. For example, the operation unit 16 of the mobile phone terminal is operated to set the head size setting mode, and a screen for setting the size is displayed on the display unit 15.
FIG. 8 shows an example of a setting screen in that case. In this example, the size of the head can be selected by user operation from three types of “large”, “standard”, and “small”. In addition, as an example, the size of the auricle can be selected by a user operation from three types of “large”, “standard”, and “small”. In the example of FIG. 8, the head size is selected as “standard”, and the pinna size is selected as “small”.
Note that the selection may be made more finely than the example shown in FIG. For example, each size may be selected not in three stages but in four or more stages. Further, as the size of the head, the size of the head in the horizontal direction and the size of the head in the vertical direction may be individually selectable. Alternatively, the approximate shape of the head may be selected from a round shape, an elongated shape, and the like, and then a size such as “large”, “standard”, and “small” may be selected.
サイズに応じた補正処理を行うパーソナライズ部34には、図4に示した内挿処理部64から、内挿された(又は内挿されていない)頭部伝達関数としての、両耳時間差情報ITDと振幅情報MPSとが供給される。さらに、図1に示したサイズ設定部35で既に設定されたリスナーの頭部及び耳介のサイズのデータについても供給される。
また、HRTFモデル測定データ36aを用意し、頭部伝達関数の各サイズでの変化のデータを記憶させておく。HRTFモデル測定データ36aに記憶された頭部伝達関数の各サイズでの変化のデータの内の、そのときに設定されたサイズに応じたデータを抽出部36bで抽出する。
The
In addition, HRTF
そして、パーソナライズ部34で、抽出部36bで抽出されたデータを使用して、内挿処理部64から供給された両耳時間差情報ITDと振幅情報MPSとを、現在設定されたサイズに応じて補正された両耳時間差情報ITD′及び振幅情報MPS′とする。サイズ補正処理の詳細はここでは説明しないが、頭部のサイズの大小によって、主として中音域から低音域の周波数帯域の頭部伝達関数に影響がある。また、耳介のサイズの大小によって、主として高音域の周波数帯域の頭部伝達関数に影響がある。
Then, the
パーソナライズ部34で補正された頭部伝達関数である両耳時間差情報ITD′及び振幅情報MPS′は、図1に示した立体音響算出部37に供給して、音声入力部38に入力した音声信号に対して頭部伝達関数を畳み込んで2チャンネルの音声信号として、バイノーラル方式で立体音響が再現される音声信号とする。
The binaural time difference information ITD ′ and amplitude information MPS ′, which are head-related transfer functions corrected by the
図6は、立体音響算出部37の構成例を示した図である。
パーソナライズ部34で補正された両耳時間差情報ITD′は、フェーズ情報処理部71に供給して、音声入力部38から入力した音声信号に対して、その両耳時間差情報ITD′で示された左右の時差を付与した2チャンネルの音声信号とする。そして、そのフェーズ情報処理部71で得られた左右のチャンネルの音声信号L及びRを、それぞれのチャンネルのFIRフィルタ72L,72Rに供給する。各FIRフィルタ72L,72Rでは、供給される振幅情報MPS′に基づいて振幅を調整して、バイノーラル方式で立体音響が再現される音声信号とする。
FIG. 6 is a diagram illustrating a configuration example of the stereophonic
The binaural time difference information ITD ′ corrected by the
図7は、このようして生成されたバイノーラル方式用の2チャンネルの音声信号を出力させる出力部の構成例である。
この例では、2チャンネルの音声信号L,Rを、それぞれ切換スイッチ81L,81Rを介して出力端子23に供給し、出力端子23に接続されたヘッドホン24の左右のドライバユニットから放音させる。このようにすることで、そのヘッドホン24を装着したリスナーには、音源の位置が音源方向設定部31(図1)で設定した方向の音として聞き取れる。
FIG. 7 is a configuration example of an output unit that outputs the binaural audio signal generated in this way for two channels.
In this example, two-channel audio signals L and R are supplied to the
また、2チャンネルの音声信号L,Rを、それぞれ切換スイッチ81L,81Rを介してクロストークキャンセル部39に供給する構成としてある。クロストークキャンセル部39は、係数乗算器82L,82Rと加算器83L,83Rと増幅器84L,84Rとで構成されて、2つチャンネルの信号のクロストーク成分をキャンセルして、通常の2チャンネルの音声信号とする。クロストークキャンセル部39でクロストーク成分がキャンセルされた左右のチャンネルの音声信号は、それぞれのチャンネル用に携帯電話端末本体に内蔵されたスピーカ22L,22Rから出力させる。このスピーカ22L,22Rから出力される音声によっても、そのスピーカ22L,22Rと向き合ったリスナーには、音源の位置が音源方向設定部31(図1)で設定した方向の音として聞き取れる。
In addition, the two-channel audio signals L and R are supplied to the
このように本実施の形態によると、携帯電話端末にバイノーラル方式の音声信号を生成させる立体音響算出部37を内蔵させたので、指定された音源位置の立体音響として、ヘッドホンを装着したリスナーに聴取させることが可能となる。この場合、本実施の形態の場合には、用意する頭部伝達関数のデータベース32として、図3に示したように、本来の頭部伝達関数からサンプル数や音源位置を大幅に削減したデータを保持するようにしたので、データベース32が記憶する情報量を大幅に少なくすることができる。また、データベース32から頭部伝達関数を読み出して演算処理する処理構成についても、少ない情報量の頭部伝達関数を使用した演算であるので、携帯電話端末内の回路の負担が少なくなる。従って、図2に示した携帯電話端末の如き電子機器に、それほど回路などの負担を増やすことなく、立体音響処理回路を内蔵させることが可能になる。
As described above, according to the present embodiment, since the stereophonic
頭部伝達関数のサンプル数を減らすことは、再生される立体音響の再現精度が劣化することにつながる。しかしながら本例においては、リスナーの頭部のサイズを設定して、それぞれの設定に基づいて補正を行い、その点から精度を上げるようにしたので、頭部伝達関数のサンプル数の減少に伴った、立体音響の再現精度の劣化を補うように機能する。頭部のサイズだけでなく、耳介のサイズも設定するようにしたことで、さらに変換精度を向上させることができる。 Reducing the number of samples of the head-related transfer function leads to deterioration in the reproduction accuracy of the reproduced stereophonic sound. However, in this example, the size of the listener's head is set, correction is performed based on each setting, and the accuracy is increased from that point, which is accompanied by a decrease in the number of head transfer function samples. It functions to compensate for the deterioration in the reproduction accuracy of stereophonic sound. By setting not only the size of the head but also the size of the auricle, the conversion accuracy can be further improved.
また、本実施の形態の場合には、図7に示すように、クロストークキャンセル部39を備える構成として、ヘッドホンから再生させる場合と同様の立体音響が、端末本体内のスピーカからも出力可能としたことで、ヘッドホンを使用しない場合にも対処可能である。
Further, in the case of the present embodiment, as shown in FIG. 7, as the configuration including the
なお、ここまで説明した実施の形態では、携帯電話端末に立体音響処理回路を内蔵させた場合の例について説明したが、その他の音声信号(オーディオ信号)を再生処理する各種電子機器に、上述した実施の形態で説明した立体音響処理部を内蔵させてもよい。例えば、音楽データを記憶して再生するポータブル型の音楽再生装置に、上述した実施の形態で説明した立体音響処理部を内蔵させてもよい。 In the embodiment described so far, an example in which a stereophonic sound processing circuit is built in a mobile phone terminal has been described. However, the above-described various electronic devices that reproduce and process audio signals (audio signals) are described above. The stereophonic sound processing unit described in the embodiment may be incorporated. For example, the stereophonic sound processing unit described in the above-described embodiment may be incorporated in a portable music player that stores and reproduces music data.
11…制御部、12…通信部、13…アンテナ、14…メモリ、15…表示部、16…操作部、17…音声処理部、18…スピーカ、19…マイクロフォン、21…立体音響処理部、22L,22R…スピーカ、23…出力端子、24…ヘッドホン、28…制御ライン、29…データライン、31…音源方向設定部、32…処理済HRTFデータベース、33…HRTF処理部、34…パーソナライズ部、35…サイズ設定部、36…HRTFモデル算出部、37…立体音響算出部、38…音声入力部、39…クロストークキャンセル部、51…HRTFデータベース、52…両耳時間差抽出部、53…最小位相系変換部、54…サンプル数変換部、55…空間的リサンプリング部、61…候補抽出部、62…ITD処理部、63…MPS処理部、64…内挿処理部、71…フェーズ情報処理部、72L,72R…FIRフィルタ、81L,81R…切換スイッチ DESCRIPTION OF SYMBOLS 11 ... Control part, 12 ... Communication part, 13 ... Antenna, 14 ... Memory, 15 ... Display part, 16 ... Operation part, 17 ... Sound processing part, 18 ... Speaker, 19 ... Microphone, 21 ... Stereophonic sound processing part, 22L , 22R ... speaker, 23 ... output terminal, 24 ... headphone, 28 ... control line, 29 ... data line, 31 ... sound source direction setting unit, 32 ... processed HRTF database, 33 ... HRTF processing unit, 34 ... personalization unit, 35 ... Size setting section, 36 ... HRTF model calculation section, 37 ... Stereophonic sound calculation section, 38 ... Audio input section, 39 ... Crosstalk cancellation section, 51 ... HRTF database, 52 ... Binaural time difference extraction section, 53 ... Minimum phase system Conversion unit, 54 ... Sample number conversion unit, 55 ... Spatial resampling unit, 61 ... Candidate extraction unit, 62 ... ITD processing unit, 63 ... MPS process Parts, 64 ... interpolation processing section, 71 ... phase information processing unit, 72L, 72R ... FIR filter, 81L, 81R ... changeover switch
Claims (7)
前記頭部伝達関数データベースが記憶する制限されたサンプル数の頭部伝達関数から、指示された音源位置の伝達関数を抽出する伝達関数抽出部と、
前記伝達関数抽出部が抽出した伝達関数を、入力した音声信号に畳み込んで、バイノーラル立体音響を生成させるための2チャンネルの音声信号を得る立体音響処理部と、
前記立体音響処理部で得た2チャンネルの音声信号を出力させる出力部とを備える
音声信号処理装置。 A head-related transfer function database that stores a head-related transfer function measured using a dummy head by thinning out a limited number of samples;
A transfer function extracting unit that extracts a transfer function of the designated sound source position from a limited number of sample head transfer functions stored in the head transfer function database;
A stereophonic sound processing unit that convolves the transfer function extracted by the transfer function extraction unit with the input audio signal to obtain a two-channel audio signal for generating binaural stereophonic sound; and
An audio signal processing apparatus comprising: an output unit configured to output a 2-channel audio signal obtained by the stereophonic sound processing unit.
請求項1記載の音声信号処理装置。 A correction unit that corrects the head-related transfer function extracted by the transfer function extraction unit according to a designated head size, and supplies the corrected head-related transfer function to the stereophonic sound processing unit. Item 2. The audio signal processing device according to Item 1.
請求項2記載の音声信号処理装置。 The audio signal processing device according to claim 2, wherein the correction unit also corrects the head-related transfer function by designating a pinna size.
請求項1又は2記載の音声信号処理装置。 The audio signal processing apparatus according to claim 1, wherein the output unit is a terminal or a transmission processing unit that outputs audio signals to headphones.
請求項1又は2記載の音声信号処理装置。 2. The output unit includes a cancel processing unit that cancels crosstalk of a two-channel audio signal, and two speakers that output a two-channel audio signal from which crosstalk has been canceled by the cancel processing unit. Or the audio | voice signal processing apparatus of 2.
前記記憶された頭部伝達関数データベース内の、制限されたサンプル数の頭部伝達関数から、指示された音源位置の伝達関数を抽出し、
前記抽出した伝達関数を、入力した音声信号に畳み込んで、バイノーラル立体音響を生成させるための2チャンネルの音声信号を得る
音声信号処理方法。 The head-related transfer function measured using a dummy head is thinned out to a limited number of samples and stored as a head-related transfer function database.
From the head related transfer functions of the limited number of samples in the stored head related transfer function database, extract the transfer function of the indicated sound source position,
An audio signal processing method for obtaining a 2-channel audio signal for generating binaural stereophonic sound by convolving the extracted transfer function with an input audio signal.
前記頭部伝達関数データベースが記憶する制限されたサンプル数の頭部伝達関数から、指示された音源位置の伝達関数を抽出する伝達関数抽出部と、
前記伝達関数抽出部が抽出した伝達関数を、入力した音声信号に畳み込んで、バイノーラル立体音響を生成させるための2チャンネルの音声信号を得る立体音響処理部と、
前記立体音響処理部で得た2チャンネルの音声信号を出力させる出力部とを備える
音声信号処理装置を備えた携帯端末。 A head-related transfer function database that stores a head-related transfer function measured using a dummy head by thinning out a limited number of samples;
A transfer function extracting unit that extracts a transfer function of the designated sound source position from a limited number of sample head transfer functions stored in the head transfer function database;
A stereophonic sound processing unit that convolves the transfer function extracted by the transfer function extraction unit with the input audio signal to obtain a two-channel audio signal for generating binaural stereophonic sound; and
The portable terminal provided with the audio | voice signal processing apparatus provided with the output part which outputs the audio | voice signal of 2 channels obtained by the said stereophonic sound processing part.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008106125A JP2009260574A (en) | 2008-04-15 | 2008-04-15 | Sound signal processing device, sound signal processing method and mobile terminal equipped with the sound signal processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008106125A JP2009260574A (en) | 2008-04-15 | 2008-04-15 | Sound signal processing device, sound signal processing method and mobile terminal equipped with the sound signal processing device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009260574A true JP2009260574A (en) | 2009-11-05 |
Family
ID=41387447
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008106125A Pending JP2009260574A (en) | 2008-04-15 | 2008-04-15 | Sound signal processing device, sound signal processing method and mobile terminal equipped with the sound signal processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009260574A (en) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012054627A (en) * | 2010-08-31 | 2012-03-15 | Korg Inc | Acoustic apparatus |
WO2013077226A1 (en) * | 2011-11-24 | 2013-05-30 | ソニー株式会社 | Audio signal processing device, audio signal processing method, program, and recording medium |
JP2015211235A (en) * | 2014-04-23 | 2015-11-24 | 国立研究開発法人情報通信研究機構 | Three-dimensional sound reproduction device and program |
ES2588394A1 (en) * | 2015-04-30 | 2016-11-02 | Universidad Politécnica de Madrid | Virtual acoustic mannequin for binaural sound recording (Machine-translation by Google Translate, not legally binding) |
JP2017026967A (en) * | 2015-07-28 | 2017-02-02 | 日本電信電話株式会社 | Sound generation device, sound generation method, and program |
JPWO2017061218A1 (en) * | 2015-10-09 | 2018-07-26 | ソニー株式会社 | SOUND OUTPUT DEVICE, SOUND GENERATION METHOD, AND PROGRAM |
WO2020195084A1 (en) * | 2019-03-22 | 2020-10-01 | ソニー株式会社 | Acoustic signal processing device, acoustic signal processing system, acoustic signal processing method, and program |
JP2020170938A (en) * | 2019-04-03 | 2020-10-15 | アルパイン株式会社 | Head transfer function learning device and head transfer function inference device |
DE112021003592T5 (en) | 2020-07-02 | 2023-04-13 | Sony Group Corporation | Information processing apparatus, output control method and program |
KR20230095930A (en) | 2020-10-23 | 2023-06-29 | 소니그룹주식회사 | Information processing device, information processing method and program |
US11743671B2 (en) | 2018-08-17 | 2023-08-29 | Sony Corporation | Signal processing device and signal processing method |
DE112022000838T5 (en) | 2021-01-29 | 2023-11-09 | Sony Group Corporation | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD AND PROGRAM |
-
2008
- 2008-04-15 JP JP2008106125A patent/JP2009260574A/en active Pending
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012054627A (en) * | 2010-08-31 | 2012-03-15 | Korg Inc | Acoustic apparatus |
WO2013077226A1 (en) * | 2011-11-24 | 2013-05-30 | ソニー株式会社 | Audio signal processing device, audio signal processing method, program, and recording medium |
CN103947226A (en) * | 2011-11-24 | 2014-07-23 | 索尼公司 | Audio signal processing device, audio signal processing method, program, and recording medium |
US9253573B2 (en) | 2011-11-24 | 2016-02-02 | Sony Corporation | Acoustic signal processing apparatus, acoustic signal processing method, program, and recording medium |
JP2015211235A (en) * | 2014-04-23 | 2015-11-24 | 国立研究開発法人情報通信研究機構 | Three-dimensional sound reproduction device and program |
ES2588394A1 (en) * | 2015-04-30 | 2016-11-02 | Universidad Politécnica de Madrid | Virtual acoustic mannequin for binaural sound recording (Machine-translation by Google Translate, not legally binding) |
JP2017026967A (en) * | 2015-07-28 | 2017-02-02 | 日本電信電話株式会社 | Sound generation device, sound generation method, and program |
JPWO2017061218A1 (en) * | 2015-10-09 | 2018-07-26 | ソニー株式会社 | SOUND OUTPUT DEVICE, SOUND GENERATION METHOD, AND PROGRAM |
US11743671B2 (en) | 2018-08-17 | 2023-08-29 | Sony Corporation | Signal processing device and signal processing method |
WO2020195084A1 (en) * | 2019-03-22 | 2020-10-01 | ソニー株式会社 | Acoustic signal processing device, acoustic signal processing system, acoustic signal processing method, and program |
CN113574912A (en) * | 2019-03-22 | 2021-10-29 | 索尼集团公司 | Acoustic signal processing device, acoustic signal processing system, acoustic signal processing method, and program |
JP7206027B2 (en) | 2019-04-03 | 2023-01-17 | アルパイン株式会社 | Head-related transfer function learning device and head-related transfer function reasoning device |
JP2020170938A (en) * | 2019-04-03 | 2020-10-15 | アルパイン株式会社 | Head transfer function learning device and head transfer function inference device |
DE112021003592T5 (en) | 2020-07-02 | 2023-04-13 | Sony Group Corporation | Information processing apparatus, output control method and program |
KR20230095930A (en) | 2020-10-23 | 2023-06-29 | 소니그룹주식회사 | Information processing device, information processing method and program |
DE112022000838T5 (en) | 2021-01-29 | 2023-11-09 | Sony Group Corporation | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD AND PROGRAM |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009260574A (en) | Sound signal processing device, sound signal processing method and mobile terminal equipped with the sound signal processing device | |
JP3435156B2 (en) | Sound image localization device | |
US7715568B2 (en) | Binaural sound reproduction apparatus and method, and recording medium | |
CN108156561B (en) | Audio signal processing method and device and terminal | |
KR100331192B1 (en) | Headphone unit with means for detecting user's head rotation | |
CN107852563A (en) | Binaural audio reproduces | |
JP3435141B2 (en) | SOUND IMAGE LOCALIZATION DEVICE, CONFERENCE DEVICE USING SOUND IMAGE LOCALIZATION DEVICE, MOBILE PHONE, AUDIO REPRODUCTION DEVICE, AUDIO RECORDING DEVICE, INFORMATION TERMINAL DEVICE, GAME MACHINE, COMMUNICATION AND BROADCASTING SYSTEM | |
US6970569B1 (en) | Audio processing apparatus and audio reproducing method | |
CN104918177A (en) | Signal processing apparatus, signal processing method, and program | |
EP3413590A1 (en) | Audio output device, audio output method, program, and audio system | |
US7826630B2 (en) | Sound image localization apparatus | |
US9769585B1 (en) | Positioning surround sound for virtual acoustic presence | |
JPWO2017056781A1 (en) | Signal processing apparatus, signal processing method, and program | |
JP2018050222A (en) | Filter generation device, filter generation method, and program | |
JP2008193382A (en) | Portable telephone set and sound adjustment method | |
US8958585B2 (en) | Sound image localization apparatus | |
JP7384162B2 (en) | Signal processing device, signal processing method, and program | |
JP2671329B2 (en) | Audio player | |
JP2004128854A (en) | Acoustic reproduction system | |
JP2005157278A (en) | Apparatus, method, and program for creating all-around acoustic field | |
JP2019168481A (en) | Processor, processing method and program | |
JP2010011083A (en) | Binaural sound collection and reproduction system | |
JP2009065452A (en) | Sound image localization controller, sound image localization control method, program, and integrated circuit | |
CN101656525B (en) | Method for acquiring filter and filter | |
JP5809805B2 (en) | Binaural audio playback system and binaural audio playback method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20090925 |