JP2006157558A - 携帯端末装置 - Google Patents

Abstract

【課題】 音が四方に拡散されず、ユーザの耳の近傍においてのみ音を発生させることができる携帯端末装置を提供する。
【解決手段】 ユーザが携帯テレビ電話機を顔から一定距離離して設置し、カメラ１４を自分の顔に向ける。ユーザの顔が表示部４の液晶表示器に表示されると、ＣＰＵ１が表示された顔の大きさに基づいて、携帯テレビ電話機から顔（または耳）までの距離を計測する。次に、ＣＰＵ１はＲＯＭ３から、計測された距離に対応するフィルタ係数を読み出し、立体音響処理部１６のフィルタ１７、１８に設定する。これにより、スピーカ１９Ｒ、１９Ｌからの音波に基づく音像が、ユーザの顔の位置に定位される。この結果、スピーカ１９Ｒ、１９Ｌからの音声が周囲に拡散することなく、ユーザの顔の位置に収束される。
【選択図】 図１

Description

本発明は、音像定位技術を用いて発生音の拡散を防止した携帯端末装置に関する。

近年、携帯テレビ電話機が開発され、実用化されている。この携帯テレビ電話機は、電話機を体から離し、例えば電話機を持った腕を伸ばして使用する。しかし、従来の携帯テレビ電話機はモノラル音であり、また、音が四方へ拡散されるため、周囲に迷惑をかける問題があった。

なお、テレビ電話、テレビ会議等に関する文献として特許文献１が知られている。この特許文献１に記載されるものは、音像定位技術を使用して別の場所にいる相手の音声を、あたかも同じ室内の特定位置にいるように発音させるものである。しかし、この特許文献１の技術は、相手の位置を検出して音像定位を行うもので、自分（ユーザ）の位置を検出して音像定位を行う本願とは音像定位位置の求め方が全く異なっている。
特開平7-264700号公報

本発明は上記事情を考慮してなされたもので、その目的は、音が四方に拡散されず、ユーザの耳の近傍においてのみ音を発生させることができる携帯端末装置を提供することにある。

この発明は上記の課題を解決するためになされたもので、請求項１に記載の発明は、画像を撮像する撮像部と、音声または楽音を仮想音源として空間の任意の位置に定位させる立体音響生成部と、前記撮像部が撮像した対象物との距離を求める距離測定手段と、前記距離測定手段が求めた対象物との距離に応じて仮想音源を定位させるように前記立体音響生成部を制御する制御手段とを具備することを特徴とする携帯端末装置である。

請求項２に記載の発明は、請求項１に記載の携帯端末装置において、前記撮像部が撮像している画像が人の顔である場合、前記画像を人の顔として認識する認識部と、前記距離測定手段は、前記認識手段が前記画像を人の顔として認識した場合、その顔との距離を求め、前記制御手段は、前記顔の周りに仮想音源を頭外定位させることを特徴とする。

請求項３に記載の発明は、請求項１または２に記載の携帯端末装置において、テレビ電話機能を有し、前記音声は通信している他の端末装置から送信された音声であり、前記画像は通信している前記他の端末装置へ送信する画像であることを特徴とする。

この発明によれば、音が四方に拡散されず、ユーザの耳の近傍においてのみ音を発生させることができる。これにより、周囲の人に迷惑をかけずに、かつ、ヘッドフォン等を用いることなく携帯端末装置から発生する音声や楽音を聴取することができる。

以下、図面を参照し、この発明の実施の形態について説明する。図１はこの発明の一実施の形態による携帯テレビ電話機の構成を示すブロック図である。この図において、符号１は各部を制御するＣＰＵ（中央処理装置）、２はＣＰＵ１の処理においてデータが一時記憶されるＲＡＭ（ランダムアクセスメモリ）、３はＣＰＵ１のプログラムや定数データ等が記憶されたＲＯＭ（リードオンリメモリ）である。４は液晶表示器による表示部、５はテンキーおよびファンクションキーからなる入力部である。６は通信部であり、アンテナ７を介して受信した高周波信号を復調し、復調によって得られた音声データについては音声処理部８へ出力し、文字データ、記号データ等についてはバスラインＢを介してＣＰＵ１へ出力する。また、この通信部６は、ＣＰＵ１から供給される文字データ等および音声処理部８から出力される音声データによって高周波の搬送波を変調しアンテナ７から発信する。

音声処理部８は、左音声用マイク（マイクロフォン）９Ｌおよび右音声用マイク９Ｒから各々出力される音声信号をディジタル音声データに変換し、さらに圧縮して通信部６へ出力する。また、通信部６から出力される圧縮されたディジタル音声データを伸長し、アナログ信号に変換してイヤスピーカ１０へ出力する。１３は撮像部であり、ＣＣＤカメラ１４によって撮影した画像をディジタル画像データに変換し、バスラインＢを介してＣＰＵ１へ出力する。テレビ電話モードにおいては、この撮像部１３から出力されるディジタル画像データが相手方へ送られる。

１６は立体音響処理部であり、スピーカ１９Ｒ、１９Ｌにおいて発生する音声の音像定位を行う。すなわち、この立体音響処理部１６は内部にＦＩＲフィルタ１７、１８を具備し、入力される左右チャンネルのディジタル音声データＶＤはフィルタ１７、１８を通した後、Ｄ／Ａ（ディジタル／アナログ）変換回路（図示略）によってアナログ信号に変換され、右スピーカ１９Ｌ、左スピーカ１９Ｌへ加えられる。各フィルタ１７、１８に設定すべきフィルタ係数ＨＲＴＦは予めＲＯＭ３内に、距離と対応して記憶されており、このフィルタ係数ＨＲＴＦがＣＰＵ１によって読み出され、フィルタ１７、１８に設定される。この立体音響処理部１６は、上述したフィルタ係数によって決まる距離の位置に仮想スピーカの音像を定位する。ここで、フィルタ係数ＨＲＴＦは音源（スピーカ１９Ｒ、１９Ｌ）から聴取者の鼓膜までの音の伝達特性を表した伝達関数（頭部伝達関数）であり、人が音像を判断するための、両耳に届く時間誤差や周波数特性などの情報を包括している係数である。

次に、上述した実施形態の動作を図２に示すフローチャートを参照して説明する。
図１の電話機をテレビ電話として使用する時は、まず、ユーザがテレビ電話モードに設定する。この状態において、通信部６が電話信号を受信すると、ユーザが携帯テレビ電話機を顔から一定距離離して設置し（あるいは手で持ち）、そして、カメラ１４を自分の顔に向ける。この間、ＣＰＵ１は撮像部１３から出力される画像データをチェックし、その画像の色、形などから周知の顔認識技術によって人の顔が表示部４の液晶表示器に表示された否かを確認する（ステップＳ１）。そして、人の顔が液晶表示器に表示されたと認識した時は、表示された顔の大きさに基づいて、携帯テレビ電話機から顔（または耳）までの距離を計測する（ステップＳ２）。なお、この画像はＴＶ電話の画像として通信部６を介して相手側端末へ送信される。図３は距離計測の方法を示す図であり、ユーザとの間の距離が近い時は液晶表示器に顔が大きく表示され、距離が遠い時は顔が小さく表示される。したがって、予め基準の距離（例えば１ｍおよび９０ｃｍ）におけるユーザの顔の大きさ（横または縦の長さ）をＲＡＭ２内に記憶させておけば、ＣＰＵ１は、液晶表示器に表示された顔の大きさと、ＲＡＭ２内の基準の距離における顔の大きさとからユーザの顔までの距離を演算によって求めることができる。

次に、ＣＰＵ１はＲＯＭ３から、計測された距離に対応するフィルタ係数ＨＲＴＦを読み出し、立体音響処理部１６のフィルタ１７、１８に設定する。これにより、スピーカ１９Ｒ、１９Ｌからの音波に基づく音像が、ユーザの顔の位置に定位される（ステップＳ３）。

一方、テレビ電話モードにおいては、音声処理部８が通信部６から出力されたディジタル音声データを伸長した後、イヤスピーカ１０ではなく、バスラインＢへ出力する。ＣＰＵ１はそのディジタル音声データを立体音響処理部１６へディジタル音声データＶＤとして出力する。このディジタル音声データＶＤに基づく音声は、立体音響処理部１６によってユーザの顔の位置に定位される。これにより、ユーザはその音声データによる音声を明確に聞き取ることができ、しかも、ユーザの周囲には音が発散しない。

次に、ＣＰＵ１は通話終了か否かを判断し（ステップＳ４）、通話終了でない時は携帯テレビ電話機とユーザの顔との距離が変化したか否かを液晶表示器の画像に基づいて判断する（ステップＳ５）。そして、距離が変化していた場合はステップＳ３へ戻り、再び音像定位処理を行う。そして、通話終了するとテレビ電話モードも終了する。

このように、上記実施形態においては、ユーザの顔（または耳）の位置に音像定位が行われる。音像定位を行わない場合は、図４（ａ）に示すようにスピーカ１９Ｒ、１９Ｌからの音声が拡散してしまうのに対し、音像定位を行うことにより、図４（ｂ）に示すように、スピーカ１９Ｒ、１９Ｌからの音声をユーザの顔の位置に収束させることができる。

以上、テレビ電話モードにおける相手からの音声の聴取について説明したが、ユーザが発する音声はマイク９Ｌ、９Ｒによって音声信号に変換され、通信部６から相手方に送信される。また、テレビ電話モードでない通常モードの場合は、音声処理部１０によって復調された相手からのディジタル音声データがアナログ信号に変換され、イヤスピーカ１０へ出力される。

なお、上記実施形態は、ユーザの顔を自動認識するようになっているが、ユーザが顔を液晶表示器に表示させた後、操作ボタンを押すことで距離測定が行われるようにしてもよい。また、携帯テレビ電話機とユーザの顔との距離は、例えば、赤外線距離測定等によって求めてもよい。また、この発明はテレビ電話に限らず、音楽や音声コンテンツの聴取時に聴取者（ユーザ）との距離を測定して発生音をユーザの顔の位置に定位させてもよい。

この発明は、携帯テレビ電話機や携帯ゲーム機等に用いられる。

この発明の一実施形態による携帯テレビ電話機の構成を示すブロック図である。 同実施形態の動作を説明するためのフローチャートである。 同実施形態において、ユーザの顔までの距離を測定する方法を説明するための図である。 同実施形態の効果を説明するための図である。

符号の説明

１…ＣＰＵ、２…ＲＡＭ、３…ＲＯＭ、４…表示部、１３…撮像部、１４…カメラ、１６…立体音響処理部、１７、１８…フィルタ、１９Ｌ、１９Ｒ…スピーカ。

Claims (3)

1. 画像を撮像する撮像部と、
   音声または楽音を仮想音源として空間の任意の位置に定位させる立体音響生成部と、
   前記撮像部が撮像した対象物との距離を求める距離測定手段と、
   前記距離測定手段が求めた対象物との距離に応じて仮想音源を定位させるように前記立体音響生成部を制御する制御手段と、
   を具備することを特徴とする携帯端末装置。
2. 前記撮像部が撮像している画像が人の顔である場合、前記画像を人の顔として認識する認識部と、
   前記距離測定手段は、前記認識手段が前記画像を人の顔として認識した場合、その顔との距離を求め、
   前記制御手段は、前記顔の周りに仮想音源を頭外定位させることを特徴とする請求項１に記載の携帯端末装置。
3. テレビ電話機能を有し、前記音声は通信している他の端末装置から送信された音声であり、前記画像は通信している前記他の端末装置へ送信する画像であることを特徴とする請求項１または２に記載の携帯端末装置。

Images