JP2008278433A - 情報処理装置、プログラム - Google Patents

Abstract

【課題】分離対象の目的音を発生する目的音源の位置が目的音の到来する方向を特定する領域から外れた場合でも、目的音を分離抽出する。
【解決手段】検出部１１３が撮像画像上の目的音範囲に目的音源がないことを検出すると、音源定位分離部１１１は、複数のマイク６が収集した音の内で音声レベルが最も大きい音の到来する角度を求める。目的音範囲自動変更部１１６は、求めた角度から到来する音の音声レベルが所定レベル以上である場合、その角度に位置する音源を含むよう目的音範囲を変更する。制御部１１は、表示部１６を介し、撮像部１５の撮像画像と目的音範囲自動変更部１１６が変更した目的音範囲とが重ねられた画像を、表示パネル４に表示する。音源定位分離部１１１は、表示部パネル４に表示された目的音範囲に対応する方向から到来する音のみを分離抽出する。
【選択図】図２

Description

本発明は、音声及び画像を処理する情報処理装置とコンピュータを情報処理装置として機能させるプログラムに関する。

複数のマイクロホンを使用して取得した音から、目的とする音（以下、「目的音」という）のみを分離抽出できる音源分離技術が存在する。音源分離技術は、目的音が到来する方向を含む特定領域を予め設定し、この特定領域から到来する目的音のみを分離抽出して、特定領域以外の領域から到来する音を除去する、等の手法を用いている。

例えば、特開２００１−８４７１３号公報は、ピントの合っている位置に存在するものが発生した音を周囲雑音から分離抽出するビデオカメラ一体型音源分離収音マイクロホンシステム、を開示する。

また、目的音を発生している音源の位置（方向）を特定できる音源定位技術が存在する。例えば、非特許文献１は、複数のマイクロホンを使用して音を発生している音源の位置を判別した上で、その位置に存在する人物の顔を判別し、その人物が発生する目的音を分離抽出できるロボットを開示する。
特開２００１−８４７１３号公報 戸上真人, 天野明雄, 新庄広, 鴨志田亮太，"人間共生ロボットEMIEWの聴覚機能"，人工知能学会，pp.59-64, 2005/10/14

特許文献１に開示されているビデオカメラ一体型音源分離収音マイクロホンシステムは、目的音を発生している音源がビデオカメラのピント位置から外れた場合に、目的音を分離抽出できない。

また、非特許文献１に開示されているロボットは、目的音を発生している人物が、複数のマイクロホン素子を使用して判別した位置から外れた場合に、目的音を分離抽出できない。
即ち、従来の技術では、一旦特定した位置から音源が移動してしまうと、以後、その音源からの音を抽出することができなくなってしまう。

本発明は、上記問題点に鑑みてなされたものであり、抽出対象の音の到来方向を特定する領域から、音源が外れた場合でも、その音源からの音を分離抽出可能とすることを目的とする。
また、本発明は、上記問題点に鑑みてなされたものであり、音源が移動した場合でも、その音源からの音を分離抽出可能とすることを目的とする。

上記課題を解決するため、本発明の情報処理装置は、
音を入力する音声入力手段と、画像を撮像する撮像手段と、データを表示する表示手段と、前記撮像手段が撮像した画像と、分離抽出対象とする音の到来する方向を特定するための特定領域と、を重ねて前記表示手段に表示させる表示制御手段と、音源の方向を特定する音源定位手段と、前記音源定位手段が特定した音源の方向が、前記表示手段が表示した特定領域に対応するか否かを検出する音源有無検出手段と、前記音源有無検出手段が音源の方向が前記特定領域に対応しないことを検出した場合に、該音源の方向に一致するように前記特定領域の位置を変更する領域位置変更手段と、前記撮像手段が撮像した画像と、前期領域位置変更手段が変更した位置にある特定領域と、を重ねて前記表示手段に表示させる領域表示制御手段と、前記領域表示制御手段が前記表示手段に表示させた特定領域が特定する方向から到来する音を、前記音声入力手段が入力した音から分離抽出する音源分離手段と、を備えることを特徴とする。

更に、コンピュータに対して本発明の主要機能を実行させるためのプログラムを提供する。

本発明の情報処理装置によれば、現在設定されている特定領域に目的音を発生している音源がないことを検出した場合に、特定領域の位置を変更して、変更後の特定領域内に位置する音源からの音を分離抽出する。これにより、例えば、音源が現在の特定領域から外れても、その音源を含むように特定領域の位置を変更して、その音源からの音を分離抽出することが可能となる。

以下、図１乃至１９を参照して、本発明の実施形態に係る情報処理装置を説明する。以下では、情報処理装置を、通信機能を備える携帯端末１に適用する例について説明する。

携帯端末１は、テレビ（ＴＶ）電話機能を備える携帯電話装置であり、例えば、図１に示すような折り畳み型のものであり、キーボード２、カメラ３、表示パネル４、複数のマイク６、通知用ＬＥＤ８、等を備えている。
キーボード２は、ユーザに操作され、様々なデータや指示、例えば、テレビ電話の起動及び終了、抽出対象とする音声を特定するための目的音範囲の大きさや位置の変更、等を指示するために使用される。

カメラ３は、ＣＣＤ（Charge Coupled Devices）カメラ、ＣＭＯＳカメラ等から構成され、画像（静止画又は動画）、例えば、テレビ電話用の画像を撮影する。また、カメラ３は、ズームイン・ズームアウト機能を有しており、撮像範囲を変更可能である。
表示パネル４は、ＬＣＤ（液晶表示）パネルとドライバ回路等から構成され、任意の画像、例えば、カメラ３が撮像したテレビ電話の話者の画像や目的音範囲の画像等を表示する。

通話用マイク５は、通話音声を入力する。通話用マイク５は、マイク６と同様に音源の位置する方向を特定するために使用しても良い。
マイク６は、複数個配置され、それぞれ、集音した音の音声レベルに応じた音声信号をそれぞれ出力する。マイク６の数と位置はマイク６が入力した音の位相差から音源の方向を特定できる数と位置なら、どの数でもどの位置でも良い。
スピーカ７は、受話音声等を出力する。
通知用ＬＥＤ８は、点灯・点滅等により種々の情報をユーザに通知する。

携帯端末１は、図２に示すように、制御部１１、無線通信部１２、記憶部１３、操作部１４、撮像部１５、表示部１６、音声入力部１７、音声出力部１８、通知部１９、バス２０、等の回路構成を有する。

制御部１１は、ＣＰＵ（Central Processing Unit）等から構成され、記憶部１３が記憶する動作プログラムに従って、携帯端末１全体を制御する。また、制御部１１は、音源定位分離部１１１と、画像処理部１１２と、検出部１１３と、通知制御部１１４と、目的音範囲手動変更部１１５と、目的音範囲自動変更部１１６と、を備える。

音源定位分離部１１１は、音声入力部１７が備える複数のマイク６が入力した音の位相差から音源の位置する方向を特定する。また、音源定位分離部１１１は、予め設定されている目的音範囲から到来した音のみを分離抽出する。更に、音源定位分離部１１１は、音声入力部１７が入力する音（デジタル音声信号）の各音源を特定し、音源別に音声レベルを判別し、最も大きな音声レベルの音を特定する。

画像処理部１１２は、撮像画像に、任意の位置及び大きさで目的音範囲を重ねる処理を施す。また、画像処理部１１２は、撮像画像に含まれる人物を特定し、特定した人物が撮像画像上で占める領域を特定する。更に、画像処理部１１２は、音源定位分離部１１１が特定した音源とその音源から到来する音の音声レベルとを対応付けた画像を生成する。

検出部１１３は、目的音範囲内から到来する音の音声レベルを音源定位分離部１１１から取得し、その音声レベルが所定レベル以上なら目的音源が目的範囲内にあると判別し、小さければ、ないと判別する。また、検出部１１３は、画像処理部１１２によって判別された特徴点を取得して、目的音範囲内の目的音源の有無を検出する。通知制御部１１４は、通知部１９又は音声出力部１８を制御して、目的音範囲に目的音源がないことをユーザに通知させる。

目的音範囲手動変更部１１５は、後述する目的音範囲変更モード情報１３１が「手動」に設定されている場合、ユーザ操作に応答した操作部１４からの指示に従って目的音範囲の位置とサイズとを変更する。

目的音範囲自動変更部１１６は、後述する目的音範囲変更モード情報１３１が「自動」に設定されている場合、検出部１１３が目的音範囲に目的音源が無いことを検出したことに応答して、目的音源を含むよう目的音範囲を変更する。このとき、撮像画像に目的音源が含まれていなければ、目的音源を含むよう撮像部１５の撮像範囲（例えば、画角）を変更させる。

無線通信部１２は、通話音声や撮像画像等を、基地局を介して通話先に送信する。また、無線通信部１２は、基地局を介し音声信号や画像データを通信相手から受信する。

記憶部１３は、制御部１１のプログラム、音声データ、映像データ、等を記憶する。例えば、記憶部１３は、図８、図９及び図１１〜１６を参照して後述する処理を制御部１１に実行させるための制御プログラム、テレビ電話のアプリケーションプログラム、等を記憶する。なお、記憶部１３は、内蔵メモリ又は外部メモリのいずれから構成してもよい。

また、記憶部１３は、目的音範囲変更モード情報１３１と、目的音源有無情報１３２と、通知情報１３３と、目的音範囲情報１３４と、目的音角度情報１３５と、を記憶する。

目的音範囲変更モード情報１３１は、図３に示すように、目的音範囲を手動又は自動のいずれにより変更するかを示す。
目的音源有無情報１３２は、図４に示すように、テレビ電話等の実行中に目的音源が目的音範囲に存在するか否かを示す。

通知情報１３３は、図５に示すように、通知モード、通知方法、通知動作、の項目を含む。
「通知モード」は、目的音源が目的音範囲に存在しないことをユーザに通知するか否かを示す項目である。「通知方法」は、ユーザに通知するときに使用する通知方法（ライトアップ、バイブレーション、音声出力のいずれか１つ）を示す項目である。「通知動作」は、ユーザ通知を実行しているか否か（実行中又は停止中）を示す項目である。

目的音範囲情報１３４は、図６に示すように、撮像画像上に設定される矩形の目的音範囲を定義する情報であり、４つの頂点の座標（ｘ，ｙ）から構成される。図１７（ａ）の例では、目的音範囲は、撮像画像ＰＴ１上のｘ１≦ｘ≦ｘ２、ｙ１≦ｙ≦ｙ２の領域ＯＳ１であり、目的音範囲情報１３４は、図６に示すように、その４つの頂点の座標（ｘ１，ｙ２）、（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ２，ｙ１）となる。

目的音角度情報１３５は、携帯端末１から目的音源をみたときの角度（方向）を示す情報であり、例えば、図７に示すように、目的音範囲の右端・左端位置の、所定の基準（０度）方向に対する角度を示す。

図２に示す操作部１４は、キーボード２等を備え、データや指示を入力し、制御部１１に与える。

撮像部１５は、カメラ３を備え、画像（静止画又は動画）を撮像し、制御部１１に送信する。

表示部１６は、表示パネル４とドライバ回路等から構成され、制御部１１の制御下に画像を表示パネル４に表示する。

音声入力部１７は、マイク５，６を備え、各マイク５，６が入力した音声信号を制御部１１に供給する。
音声出力部１８は、制御部１１の制御下に、スピーカ７から音声を出力する。

通知部１９は、通知用ＬＥＤ、振動発生機構、等から構成され、制御部１１の制御下に、通知用ＬＥＤ８の点灯動作、振動発生機構のバイブレーション動作により種々の情報をユーザに通知する。
バス２０は、各部間で相互にデータを伝送する。

次に、図８、図９及び図１１〜１６を参照して、上記構成を有する携帯端末１のテレビ電話の動作について説明する。なお、この携帯端末の通信動作自体は通常の携帯電話と同一であり、以下、本実施形態で特徴的なテレビ電話の動作について説明する。

ユーザが操作部１４を操作してテレビ電話の開始を指示すると、指示に応答して、制御部１１は、図８に示すテレビ電話アプリケーションの処理を開始する。制御部１１は、まず、撮像部１５を起動して、カメラ３の撮像画像を取得し、これを表示部１６に供給して表示パネル４に表示させ処理を開始させる（ステップＳ１）。
続いて、制御部１１は、目的音範囲決定処理（ステップＳ２）を実行する。

携帯端末１のテレビ電話機能は、携帯端末１の前に複数の人物（話者となる可能性がある者）が存在する場合に、特定の話者（音源）の音声（目的音）を分離・抽出して通話先に送信する機能を備える。目的音範囲決定処理（ステップＳ２）は、分離対象とする目的音（話者、音源）を特定するための画像領域である目的音範囲を表示パネル４上に設定する処理である。

図９に示すように、目的音範囲決定処理では、検出部１１３は、撮像画像内に人物（話者となる可能性がある者）がいるか否か、いる場合には、人物の数が複数か否かの判別を画像処理部１１２に要求する（ステップＳ２１）。画像処理部１１２は、撮像画像を解析し、例えば、パターンマッチングにより、人間の顔と類似する画像の有無・数を判別することにより、撮像画像内に人物がいるか否か、いる場合には、人物の数が複数か否かの判別を行い、検出部１１３に判別結果を通知する。
検出部１１３は、画像処理部１１２からの通知に基づいて、撮像画像内の人物の数が複数（２人以上）か否かを判別する（ステップＳ２２）。

複数であれば（ステップＳ２２；Ｙｅｓ）、画像処理部１１２は、その内から顔画像が最も大きな人物を特定する。テレビ電話の場合、主な話者がカメラ３の正面に位置し、この話者の顔画像が最も大きくなる傾向がある。そこで、この人物からの音声を目的音とするため、この人物が撮像画像中に占める領域を特定し、その領域に目的音範囲を重ねる。
制御部１１は、撮像画像と目的音範囲とを重ねた画像を表示部１６を介して表示パネル４に表示させる（ステップＳ２４）。

具体例で説明すると、撮影画像が図１０（ａ）に示す撮像画像ＰＴ１とした場合、撮像画像ＰＴ１中に、複数の人物の画像Ｐ１，Ｐ２，Ｐ３が存在すると判別され、顔画像の最も大きな人物Ｐ１が特定され、人物Ｐ１の顔画像の占める位置が特定され、図１０（ｂ）に示すように、人物Ｐ１の顔画像に目的音範囲ＯＳ１が重ねて表示される。

この段階で、ユーザは、キーボード２上のキーを操作して、目的音範囲ＯＳ１の大きさと位置を変更（編集）可能である。
例えば、ユーザは、人物Ｐ１上の目的音範囲ＯＳ１を、図１０（ｃ）に示すように広くすることを指示できる。画像処理部１１２は、指示に従って、目的音範囲ＯＳ１のサイズを変更し、表示部１６を介して表示パネル４に表示する。また、例えば、人物Ｐ２の声を目的音に設定して、通話先に選択的に送信したい場合、ユーザは操作部１４を操作して目的音範囲ＯＳ１を人物Ｐ２の領域に移動する。

なお、ユーザが目的音範囲を決定するとき、図１０（ｂ）に示すように、撮像画像ＰＴ１上の音源（人物Ｐ１〜Ｐ３等）の位置（方向）と、その位置に対応する方向から到来する音の音声レベルと、を対応付けた音声レベル表示画像ＶＤ１を表示部１６に表示してもよい。

この場合、音の到来する方向と音の音声レベルとは、音源定位分離部１１１により特定される。画像処理部１１２は、音源定位分離部１１１が特定した方向を基に撮像画像ＰＴ１上の位置を定め、その位置と音声レベルとを対応付けて音声レベル表示画像ＶＤ１を生成する。ステップＳ２４を終了すると、処理はステップＳ２５に進む。

一方、人数が複数でなければ（１人以下）（ステップＳ２２；Ｎｏ）、画像処理部１１２は、テレビ電話の話者は最大でも１人であり、この話者の音声と他の人物の音声とを分別するよう目的音範囲を設定する必要が無い。そのため、この話者が目的音範囲から外れにくくするよう目的音範囲を撮像画像の全領域に定め、制御部１１は、撮像画像と目的音範囲とを重ねた画像を表示部１６を介して表示パネル４に表示させる（ステップＳ２３）。

例えば、撮像画像が、図１０（ｄ）に示す撮像画像ＰＴ２の場合、撮像画像ＰＴ２内の人物は１人であり、画像処理部１１２は、撮像画像ＰＴ２の全領域を目的音範囲ＯＳ２の大きさに設定し、図１０（ｅ）に示すように、表示部１６を介して表示パネル４に表示させる。ステップＳ１３でも、音声レベル表示画像ＶＤ１と実質的に同一の音声レベル表示画像ＶＤ２を生成して、表示部１６を介して表示パネル４に表示してもよい。ステップＳ２３を終了すると、処理はステップＳ２５に進む。

操作部１４がユーザに操作され目的音範囲の決定を指示すると、制御部１１は、その時点で設定されている目的音範囲を示す目的音範囲情報１３４を生成し、図６に示すように、記憶部１３に記憶する（ステップＳ２５）。これが目的音範囲の初期値となる。
続いて、制御部１１は、設定した目的音範囲に基づいて目的音角度を求め、この目的音角度を示す目的音角度情報１３５を図７に示すように記憶部１３に記憶する。なお、目的音範囲に基づいて目的音角度を求める方法については後述する。以上で目的音範囲決定処理（図８，ステップＳ２）が終了して、処理は図８のステップＳ３に進む。

続いて、制御部１１は、目的音源検出動作、通知動作、の初期設定を行う（ステップＳ３）。具体的には、制御部１１は、図４に示す目的音源有無情報１３２の初期値を「あり」、図５に示す通知情報１３３の通知方法の初期値を「ライトアップ」、に設定する。

また、制御部１１は、ユーザ操作に応じて操作部１４が選択した動作モード（「手動」又は「自動」）を図３に示す目的音範囲変更モード情報１３１に設定する。なお、動作モードの設定内容に関わらず、通知制御部１１４は、図５に示す通知情報１３３の通知モードの初期値をオンに設定する。以上で、初期設定（ステップＳ３）が終了し、処理はステップＳ４に進む。

ステップＳ４において、音源定位分離部１１１は、マイク６が収集した音声のうち、目的音角度情報１３５が示す目的音角度から到来する音だけを、テレビ電話の話者の音声である目的音として分離抽出する。制御部１１は、抽出した目的音のデータ、即ち、テレビ電話の話者の音声をカメラ３の撮像画像と共に無線通信部１２を介して、テレビ電話の相手に送信する。

また、制御部１１は、無線通信部１２を介してテレビ電話の相手からの音声データと画像データを受信し、音声データを音声出力部１８に提供してスピーカ７から放音させ、画像データを表示部１６を介して表示パネル４に表示させる。

制御部１１は、テレビ電話の終了指示の有無を判別する（ステップＳ５）。終了が指示されたと判別すると（ステップＳ５；Ｙｅｓ）、制御部１１は、撮像部１５を介してカメラ３に撮像動作を終了させ、表示部１６を介して表示パネル４に表示動作を終了させ（ステップＳ７）、テレビ電話を終了する。なお、ムービー撮影の終了の場合は、開始した時点からの撮像部１５から撮像された画像データと音源定位分離部１１１から分離抽出された音声データを記憶部１３に記憶する。
終了指示がないと判別すると（ステップＳ５；Ｎｏ）、制御部１１は、現在の動作モード（「手動」又は「自動」）に対応した目的音範囲の変更処理（ステップＳ６）を実行する。ステップＳ６の処理は、テレビ電話の実行中に定期的に実行される。

図１１に示すように、目的音範囲の変更処理では、先ず、テレビ電話の話者が設定されている目的音範囲から移動したか否かを判別するために、検出処理が実行される（ステップＳ６１）。検出処理において、検出部１１３は、図１２に示すように、現在設定されている目的音範囲で特定される音源から到来する音の音声レベルの判別を音源定位分離部１１１に要求する。音源定位分離部１１１は、複数のマイク６が入力する音声信号の相関と位相差から、音が到来する方向とその音の音声レベルを判別し、検出部１１３に通知する。

検出部１１３は、通知に基づいて目的音範囲に対応する方向からの音、即ち、分離対象である目的音が到来しているか否かを判別する（ステップＳ６１１）。検出部１１３は、目的音範囲に対応する方向からの音の音声レベルが所定レベルより大きければ目的音が到来していると判別し、小さければ到来していないと判別する。目的音が到来していると判別すると（ステップＳ６１１；Ｙｅｓ）、検出部１１３は目的音源有無情報１３２を「あり」に設定し（ステップＳ６１５）、処理は図１１にリターンし、ステップＳ６２に進む。

検出部１１３は、目的音が到来していないと判別すると（ステップＳ６１１；Ｎｏ）、話者、即ち、目的音源が目的音範囲に存在しない（移動した）のか、又は、目的音源は目的音範囲に存在するが音を発生していないのか、を撮像画像上の目的音範囲に目的音源の画像があるか否かに基づいて判別する。そのため、処理はステップＳ６１２に進む。

本実施形態では、音源は、人物であり、目的音範囲に人物の顔の画像があるか否かで、音源が存在するか否かを判別する。
まず、検出部１１３は、目的音範囲内の顔の有無を判別するよう、画像処理部１１２に要求する（ステップＳ６１２）。このとき、検出部１１３は、画像処理部１１２に判別する特徴点（顔（目の動き））を指示し、画像処理部１１２からの特徴点判別結果（目的音範囲に顔（目の動き）があるか否か）の通知を待つ。

ここで、目の動きの有無を判別するのは、撮像画像に人物写真が含まれている場合、画像処理部１１２が、目的音源の人物ではなく人物写真を検出するおそれがあるからである。画像処理部１１２は、特徴点として検出された目の候補に動きがあるか否かを検出し、動きがあることを検出した場合に目を検出したものと判別する。
なお、画像処理部１１２は、例えば、二値化した撮像画像上で黒の画素群をラベリングして、右目及び左目を構成する候補となる黒の画素領域を特定し、特定した画素領域の重心の移動する態様から人間の目の動きがあると判別する。

人物の顔（目の動き）があれば（ステップＳ６１２；Ｙｅｓ）、検出部１１３は、目的音源有無情報１３２を「あり」に設定し（ステップＳ６１５）、処理は図１１にリターンし、ステップＳ６２に進む。顔（目の動き）がなければ（ステップＳ６１２；Ｎｏ）、検出部１１３は、画像処理部１１２に目的音範囲内の体（体の動き）の有無の判別を要求する（ステップＳ６１３）。

ここで、体の動きを判別するのは、例えば、撮像部１５が撮影している場面が、図１０（ｅ）に示す、人物Ｐ１の背景にボードＢＤが配置された場面で、人物Ｐ１がこのボードＢＤに向かって議事録を書いている状態のように、人物の顔（目）が撮像部１５を向いておらず、目を検出できない場合などもあり得るためである。判別の要求後、検出部１１３は、要求に応答して画像処理部１１２から判別結果が通知されるまで待機する。
画像処理部１１２は、例えば、ソーベルフィルタ処理を施した撮像画像から人物の体の輪郭の候補となるエッジラインを抽出し、そのエッジラインの重心位置を求め、求めた重心位置の移動する態様から人物の体の動きがあると判別する。

画像処理部１１２にて体（体の動き）があると通知すると（ステップ６１３；Ｙｅｓ）、検出部１１３は、目的音源有無情報１３２を「あり」に設定し（ステップＳ６１５）、ないと通知すると（ステップＳ６１３；Ｎｏ）、「なし」に設定する（ステップＳ６１４）。以上で検出処理（図１１，ステップＳ６１）が終了して、処理はステップＳ６２に進む。

通知制御部１１４は、目的音源有無情報１３２を参照して、検出部１１３が現在設定されている目的音範囲に目的音源があることを検出したか否かを判別する（ステップＳ６２）。目的音源が目的音範囲になければ（ステップＳ６２；Ｎｏ）、通知制御部１１４は、その旨をユーザに通知するか否かを判別するため、図５に示す通知情報１３３に含まれる通知モードの設定が「オン」であるか否かを判別する（ステップＳ６３）。オンでなければ（ステップＳ６３；Ｎｏ）、処理はステップＳ６５に進む。オンならば（ステップＳ６３；Ｙｅｓ）、通知制御部１１４は、図５に示す通知情報１３３に設定されている通知方法に従ってユーザ通知を行うために、通知処理を実行する（ステップＳ６４）。

図１３に示すように、通知処理では、通知制御部１１４は、図５に示す通知情報１３３の通知動作の設定が「通知中」であるか否かを判別する（ステップＳ６４１）。通知中なら（ステップＳ６４１；Ｙｅｓ）、改めてユーザ通知をする必要が無いため、制御部１１は通知処理を終了し、処理は図１１にリターンし、ステップＳ６５に進む。

通知中でなければ（ステップＳ６４１；Ｎｏ）、通知制御部１１４は、通知動作を「通知中」に設定して（ステップＳ６４２）、図５に示す通知情報１３３の通知方法が「ライトアップ」であるか否かを判別する（ステップＳ６４３）。ライトアップなら（ステップＳ６４３；Ｙｅｓ）、通知制御部１１４は、通知部１９にＬＥＤを点灯させ（ステップＳ６４４）、なければ（ステップＳ６４３；Ｎｏ）、通知方法が「バイブレーション」であるか否かを判別する（ステップＳ６４５）。

バイブレーションなら（ステップＳ６４５；Ｙｅｓ）、通知制御部１１４は、通知部１９にバイブレーション動作を実行させ（ステップＳ６４６）、なければ（ステップＳ６４５；Ｎｏ）、通知方法が「音声出力」であるか否かを判別する（ステップＳ６４７）。音声出力ならば（ステップＳ６４７；Ｙｅｓ）、通知制御部１１４は、音声出力部１８にメロディ音を出力させる（ステップＳ６４８）。以上で通知処理（図１１，ステップＳ６４）が終了して、処理は図１１のステップＳ６５に進む。

制御部１１は、目的音範囲変更モード情報１３１を参照して、動作モードが「手動」に設定されているか否かを判別する（ステップＳ６５）。動作モードが「手動」であれば（ステップＳ６５；Ｙｅｓ）、目的音範囲内に目的音源が存在しないことをユーザに通知して、ユーザにより指示された目的音範囲を目的音範囲として新たに設定するために、目的音範囲手動変更部１１５は目的音範囲手動変更処理を実行する（ステップＳ６６）。

図１４に示すように、目的音範囲手動変更処理では、目的音範囲手動変更部１１５は、ユーザが操作部１４を操作して、現在設定されている目的音範囲を変更するよう指示したか否かを判別する（ステップＳ６６１）。目的音範囲手動変更部１１５は、変更を指示していないと判別すると（ステップＳ６６１；Ｎｏ）、処理は図８にリターンし、ステップＳ４に戻る。

ユーザが、操作部１４を操作して現在設定されている目的音範囲の位置及びサイズの変更を指示すると（ステップＳ６６１；Ｙｅｓ）、目的音範囲手動変更部１１５は、その指示に従って、変更された目的音範囲を目的音範囲情報１３４に設定する（ステップＳ６６２）。

続いて、目的音範囲手動変更部１１５は、後述する数式１乃至４に基づいて、その目的音範囲から目的音角度を求め（ステップＳ６６３）、求めた目的音角度を示す目的音角度情報１３５を生成し、記憶部１３に記憶させる。

なお、ステップＳ６６３において、目的音範囲から目的音角度を求める方法について説明する。具体例として、目的音範囲から目的音角度を求めるときの撮像画像を、図１７（ａ）に示す撮像画像ＰＴ１、即ち、図１７（ｂ）に示す撮像部１５の画角θ３の中心を所定の基準（０度）の９０度方向に向けて撮像した画像、を例にとり説明する。

水平方向の幅ｘ１，ｘ２及び撮像画像ＰＴ１の横幅ｘ３は、各幅の一方の端を撮像画像ＰＴ１上のｘ座標の原点（０）に対応させたときに他端が対応するｘ座標値から求まる。また、撮像部１５の画角θ３は、撮像画像ＰＴ１の横幅ｘ３に対応する角度であり、撮像部１５のズーム機能により予め定められた値である。これらを以下の数式１、２に代入し、図１７（ｂ）に示すθ１、θ２を求められる。
（数１） θ１＝（ｘ１／ｘ３）×θ３
（数２） θ２＝（ｘ２／ｘ３）×θ３

また、図１７（ｂ）に示す目的音角度ｍ度、ｎ度はそれぞれ以下の数式３、４で表すことができる。ここで、数式１から求めたθ１と画角θ３とを数式３に代入して、目的音範囲の左端に対応する目的音角度ｍ度が求まる。また、数式２から求めたθ２と画角θ３とを数式４に代入して、目的音範囲の右端に対応する目的音角度ｎ度が求まる。
（数３） ｍ＝９０＋（θ３／２）−θ１
（数４） ｎ＝９０＋（θ３／２）−θ２

なお、数式１乃至４は、目的音範囲自動変更処理（図１１，ステップＳ６７）において目的音角度を求める場合でも同様に適用可能である。以上で目的音範囲手動変更処理（図１１，ステップＳ６６）が終了して、処理は図８にリターンし、ステップＳ４に戻る。

一方、ステップＳ６５で判別した現在の動作モードが「手動」でなければ（図１１，ステップＳ６５；Ｎｏ）、目的音範囲自動変更部１１６は、検出部１１３が目的音範囲内に目的音源が存在しないことを検出したことに応答し、目的音源を含むよう目的音範囲を自動的に変更するために、目的音範囲自動変更処理を実行する（ステップＳ６７）。

テレビ電話では、携帯端末１の周囲からマイク６に到来する音の内、主な話者の声が最も大きくなる傾向がある。そのため、図１５に示すように、目的音範囲自動変更処理では、先ず、目的音範囲自動変更部１１６は、複数のマイク６が収集した音の内で音声レベルが最も大きな音の到来する方向を探索する（ステップＳ６７１）。

このとき、目的音範囲自動変更部１１６は、その方向の判別及びその方向から到来する音の音声レベルの判別を、音源定位分離部１１１に要求する。音源定位分離部１１１は、要求に応じて、判別した方向と音声レベルとを目的音範囲自動変更部１１６に通知する。
具体例で説明すると、図１８（ａ）において、人物Ｐ１がマイク６にて収集した音の内で音声レベルが最も大きな音を発生している場合、音源定位分離部１１１は、判別結果として、図１８（ｂ）に示す角度ｐ度を示す情報と人物Ｐ１の発生する音の音声レベルとを、目的音範囲自動変更部１１６に通知する。

目的音範囲自動変更部１１６は、音源定位分離部１１１から通知された音声レベルが所定レベル以上か否かに基づいて、目的音源の有無を判別する（ステップＳ６７２）。この所定レベルは、マイク６が収集した音声レベルが最も大きな音がテレビ電話の話者の声か否かを判別するための基準であり、例えば、人間が会話するときの平均的な音声レベルに設定したものである。

所定レベルよりも小さければ、目的音範囲自動変更部１１６は、目的音源がないと判別し（ステップＳ６７２；Ｎｏ）、所定レベル以上ならあると判別する（ステップＳ６７２；Ｙｅｓ）。目的音源がないと判別すると、処理は図８にリターンし、ステップＳ４に進む。あると判別すると、目的音範囲自動変更部１１６は、音源定位分離部１１１から取得した音声レベルが最も大きな音の到来する角度（方向）に基づいて、目的音角度を新たに決定する（ステップＳ６７３）。

具体例で説明すると、目的音範囲自動変更部１１６は、音源定位分離部１１１が通知した方向（図１８（ｂ）及び図１９（ｂ）に示すｐ度）から円周方向にそれぞれ所定角度Ａｐ度ずらした（ｐ＋Ａｐ）度と（ｐ−Ａｐ）度とを新たな目的音角度に定め（図１９（ｂ））、その目的音角度を示す目的音角度情報１３５を生成し、記憶部１３に記憶させる。

次に、目的音範囲自動変更部１１６は、画像処理部１１２に新たに定めた目的音角度に対応するよう撮像画像上の目的音範囲の位置を変更させ（ステップＳ６７４）、更に、撮像画像と画像処理部１１２が位置を変更した目的音範囲とを重ねた画像を表示部１６に表示させる。

ここで、新たに定めた目的音角度に対応する撮像画像上の目的音範囲の位置を求める方法について説明する。具体例で説明すると、目的音範囲自動変更部１１６は、以下に示す数式５に従って、図１９（ｂ）に示す新たに定めた目的音角度（ｐ＋Ａｐ）度から、図１９（ａ）に示す撮像画像ＰＴ１の幅ｘ４に対応する図１９（ｂ）に示す角度θ４を定める。続いて、目的音範囲自動変更部１１６は、撮像部１５の画角がθ４度となるよう撮像部１５に変更させる。
（数５） θ４＝（ｐ＋Ａｐ−９０）×２

また、目的音範囲の横幅ｘ２に対応する角度θ２は、以下の数式６に新たに定めた目的音角度（ｐ＋Ａｐ）度と（ｐ−Ａｐ）度とを代入して、求められる。目的音範囲ＯＳ１の水平位置ｘ２は、数式５から求まるθ４と数式６から求まるθ２と撮像画像ＰＴ１の横幅ｘ４とを、以下の数式７に代入して求められる。これにより、変更後の目的音角度に対応する目的音範囲を表示部１６に表示することができる。
（数６） θ２＝（ｐ＋Ａｐ）−（ｐ−Ａｐ）＝２Ａｐ
（数７） ｘ２＝（θ２／θ４）×ｘ４

なお、数式７は、画像処理部１１２が音声レベル表示画像を生成する際、撮像画像上の音源の位置（方向）を特定するためにも使用される。具体例で説明すると、画像処理部１１２が図１０（ｂ）に示す音声レベル表示画像ＶＤ１を生成する場合、撮像部１５のズーム機能から特定した撮像部１５の画角θ４と、図１０（ａ）に示す撮像画像ＰＴ１の横幅ｘ４と、数式６から求めるθ２と、を数式７に代入して、撮像画像において音源の方向に対応するｘ座標値ｘ２を求めればよい。以上で目的音範囲自動変更処理（図１１，ステップＳ６７）が終了して、処理は図８にリターンし、ステップＳ４に戻る。

一方、目的音範囲に目的音源があると判別すると（図１１，ステップＳ６２；Ｙｅｓ）、通知制御部１１４は、通知モードがオンか否かを判別する（ステップＳ６８）。オンでなければ（ステップＳ６８；Ｎｏ）、処理は図８のステップＳ４に戻る。オンならば（ステップＳ６２；Ｎｏ）、通知制御部１１４は、ユーザ通知が既に実行されているか否かを判別するため、通知情報１３３の通知動作が「通知中」を示しているか否かを判別する（ステップＳ６９）。通知中でなければ（ステップＳ６９；Ｎｏ）、処理は図８のステップＳ４に戻る。

通知中なら（ステップＳ６９；Ｙｅｓ）、通知制御部１１４は、通知解除処理（ステップＳ６１０）を実行する。図１６に示すように、通知解除処理では、通知制御部１１４は、通知情報１３３の通知動作を「停止中」に設定して（ステップＳ６１０１）、通知方法が「ライトアップ」であるか否かを判別する（ステップＳ６１０２）。通知制御部１１４は、ライトアップなら（ステップＳ６１０２；Ｙｅｓ）、通知部１９に通知用ＬＥＤを消灯させ（ステップＳ６１０３）、なければ（ステップＳ６１０２；Ｎｏ）、通知方法がバイブレーションか否かを判別する（ステップＳ６１０４）。

バイブレーションなら（ステップＳ６１０４；Ｙｅｓ）、通知制御部１１４は、通知部１９にバイブレーション動作を解除させ（ステップＳ６１０５）、なければ（ステップＳ６１０４；Ｎｏ）、通知方法が音声出力か否かを判別する（ステップＳ６１０６）。音声出力なら（ステップＳ６１０６；Ｙｅｓ）、通知制御部１１４は、音声出力部１８にメロディ音の出力を解除させる（ステップＳ６１０７）。以上で通知解除処理（図１１，ステップＳ６１０）が終了する。

以上により目的音範囲の変更処理（ステップＳ６）が終了し、処理は図８にリターンしてステップＳ４に進み、音源定位分離部１１１は現在設定されている目的音範囲から到来する音を分離抽出する。制御部１１は、抽出した目的音のデータをカメラ３の撮像画像と共に無線通信部１２を介して、テレビ電話の相手に送信する。
以後、テレビ電話アプリケーションが終了されるまで、携帯端末１はステップＳ４〜Ｓ６の処理を繰り返し実行する。

以上説明したように、本実施形態によれば、音源定位分離部１１１により特定した目的音の到来方向が、分離抽出対象とする音の到来方向を特定する目的音範囲から外れた場合に、目的音の到来方向に対応するよう目的音範囲の位置を変更し、音源定位分離部１１１は、位置を変更した後の目的音範囲から到来する音を分離抽出する。
これにより、現在設定されている目的音範囲から目的音の到来方向から外れた場合でも、目的音範囲の位置を変更し、変更後の目的音範囲から目的音を分離抽出することができる。

本実施形態によれば、目的音範囲を変更するときの動作モードの設定が「自動」である場合、目的音範囲自動変更部１１６は、ユーザによる目的音範囲の変更操作を伴うことなく、音源定位分離部１１１が特定した目的音の到来方向に対応するよう目的音範囲の位置を変更する。音源定位分離部１１１は、変更後の目的音範囲から到来する音のみを分離抽出する。
これにより、目的音範囲に目的音源がない場合でも目的音の到来方向に対応するよう目的音範囲を自動的に変更して、変更した目的音範囲から目的音のみを分離抽出することができる。

また、本実施形態によれば、動作モードの設定が「自動」である場合、目的音範囲自動変更部１１６は、撮像画像に目的音源の画像が存在しなければ、音源定位分離部１１１が定位する目的音の到来方向（目的音を発生している音源の方向）が含まれるよう撮像部１５にカメラ３の画角を変更させる。
これにより、現在の目的音源の位置する方向が現在カメラ３の撮像している範囲内に対応しない場合でも、カメラ３の画角を変更し、目的音の到来方向に位置する目的音源が撮像画像に含まれるようにできる。

更に、本実施形態によれば、動作モードの設定が「自動」である場合、目的音範囲自動変更部１１６は、目的音範囲に目的音源が存在しないときでも、マイク６が収集する音の音声レベルの内で最も大きなものが所定レベル以上であれば、その音声レベルを示す音が到来する方向を含むよう目的音範囲を変更し、音源定位分離部１１１は、変更した目的音範囲から到来する音のみを分離抽出する。
これにより、目的音範囲に目的音源がない場合でも、マイク６が収集する音の内で音声レベルが最も大きく所定レベル以上である音を目的音とみなして、その音が到来する方向に対応して目的音範囲を変更し、その音を分離抽出する。この場合、目的音の音声レベルがマイク６にて収集する他の音の音声レベルと比べて最大であれば、ユーザにとっての利便性が向上する。

本実施形態によれば、通知モードが「オン」に設定されている場合、通知制御部１１４は、検出部１１３が目的音範囲に目的音源がないことを検出したときに、その旨をユーザに通知する。
これにより、ユーザは、目的音範囲から目的音源が外れたことを把握できる。

また、この通知をするときの通知方法はユーザにより変更可能であり、本実施形態では、ＬＥＤ点滅，バイブレーション，音声出力、の内から選択可能である。
これにより、ユーザは、現在の状況に応じて、任意の通知方法を選択することができる。例えば、テレビ電話を使用した会議中であれば周囲へのマナーを考慮して、音声出力以外の通知方法を選択できる。

本実施形態によれば、目的音範囲を変更するときの動作モードが「手動」に設定されている場合、目的音範囲手動変更部１１５は、ユーザが操作部１４を操作して位置やサイズを変更した目的音範囲を示す目的音範囲情報１３４を生成し、記憶部１３に記憶させる。
これにより、ユーザは、例えば、目的音範囲から目的音源が外れた場合に、目的音源を含むよう目的音範囲の位置や大きさを変更し、変更後の目的音範囲から目的音が分離抽出されるように調節できる。

本実施形態によれば、ユーザは操作部１４を操作して目的音範囲の位置や大きさを任意に変更（編集）可能であり、画像処理部１１２はユーザの変更した位置と大きさに応じた目的音範囲の画像を生成し、音源定位分離部１１１は、その目的音範囲に対応する方向から到来する音を分離抽出する。
これにより、ユーザは、目的音範囲を変更して、変更後の目的音範囲から分離抽出される目的音を自己の好みに応じて調節できる。

また、このとき、制御部１１は、表示部１６を介して、撮像画像に目的音範囲を重ねた画像を表示パネル４に表示させる。
これにより、ユーザは、目的音範囲内の目的音源を視覚的に確認できる。例えば、ユーザは、目的音範囲が誤った目的音源を特定していることを一見して把握でき、操作性が向上される。

また、本実施形態によれば、ユーザが目的音範囲の大きさや位置を変更（編集）するときに、画像処理部１１２は、音源定位分離部１１１が特定した複数のマイク６が入力した音の到来方向が撮像画像ＰＴ１上で対応する位置を定め、その位置と音声レベルとを対応付けて音声レベル表示画像ＶＤ１を生成し、制御部１１は表示部１６を介して表示パネル４に表示させる。
これにより、ユーザは、撮像画像上で目的音の音声レベルが極大である方向を一見して把握した上で、目的音範囲を変更することができる。

本実施形態によれば、目的音範囲の初期値を設定するときに、カメラ３の撮像画像に複数の人物が含まれていれば、画像処理部１１２は、その内から顔画像が最も大きな人物を特定し、その人物が撮像画像中に占める領域を特定して、その領域に目的音範囲を重ねる。
これにより、例えば、テレビ電話中に主な話者がカメラ３の正面に位置する場合、その話者の声を目的音とするよう目的音範囲が表示されるため、ユーザが目的音範囲を設定する際の利便性が高まる。

また、本実施形態によれば、目的音範囲の初期値を設定するときに、カメラ３の撮像画像に含まれる人物が１人以下であれば、画像処理部１１２は、撮像画像の全領域に目的音範囲を重ねる。
これにより、撮像画像に含まれる人物の音声と他の人物の音声との分別が不要なときに、その人物が目的音範囲から外れにくくすることができる。

本実施形態によれば、検出部１１３は、初期値に設定された目的音範囲から到来する音の音声レベルを音源定位分離部１１１から取得して所定レベル以上か否かを判別し、所定レベル以上であれば目的音範囲に目的音を発生する音源があると判別する。
これにより、初期値に設定された目的音範囲に存在するものが目的音を発生する目的音源である可能性が高まる。

また、本実施形態によれば、検出部１１３は、初期値に設定された目的音範囲から到来する音の音声レベルが所定レベルよりも小さければ、目的音範囲内の撮像画像上に人物の顔の画像が有るか否かを判別し、有れば、目的音源があると判別する。これにより、目的音源である話者であるときに、その話者が目的音範囲外に移動したのか、目的音範囲内には存在するが発声していないのか、を判別できる。

本実施形態によれば、目的音範囲内の撮像画像上に人物の顔画像があるか否かを判別するとき、画像処理部１１２は、目的音範囲内の撮像画像上に目の動きが有るか否かに基づいて、その判別を行う。
これにより、撮像画像中に話者と人物写真が含まれている場合でも、話者の目の動きがあることを検出して、話者と人物写真とを分別することができる。

更に、検出部１１３は、目的音範囲内に顔が存在しないと判別すると、人物の体の有無を判別し、有れば、目的音範囲内に目的音源があると判別する。これにより、人物の顔がカメラ３に向いていない場合でも、目的範囲内に話者の目的音源である話者が目的範囲内に存在することを検出できる。

以下、本発明の変形例及び応用例について説明する。
目的音範囲の形は矩形に限らず、例えば、撮像画像上の人物の画像の輪郭に合わせた形であってもよい。この場合、画像処理部１１２が、撮像画像を解析し、例えば、パターンマッチングにより、人物の顔体の全体像に類似する領域を判別して、目的音範囲に定めるようにすればよい。

目的音源の位置を目的音範囲から外れにくくするには、目的音源を他の音源から特定できる限度内で目的音範囲をなるべく大きくすればよい。そのため、目的音範囲をなるべく大きく設定するようユーザに促すメッセージを表示部１６に表示してもよい。

検出処理（図１１，ステップＳ６１）は、顔（目の動き）の検出後に体（体の動き）を検出するに限られない。例えば、複数の人物が撮像画像に含まれる場合に、体を検出しても目的音源の人物を特定するのが困難であれば、体（体の動き）を検出するステップを省略してもよい。また、例えば、目的音源の人物の顔が撮像部１５を向いていない場合、顔（目の動き）の検出により目的音源が目的範囲内にあると判別せずに、体（体の動き）の検出を続けて行うようにすればよい。
これらの組合せは、画像処理部１１２の性能とユーザの利用状況とに応じて任意に定めればよい。

目的音範囲内に目的音源がないことをユーザに通知するときの通知方法は、ＬＥＤ点灯、バイブレーション動作、音声出力、に限らず、例えば、目的音源がないことを示すメッセージを表示パネル４に表示するようにしてもよい。

その他、本発明の概念は、専用のコンピュータシステムに限らず、例えば、撮像部及び複数の音声入力部を備える、携帯電話機、ＰＤＡ、電子カメラ、等の任意の携帯型電子装置に適用可能である。即ち、コンピュータを携帯端末１として機能・動作させるためのコンピュータプログラムを作成し、配布し、貸与し、これをコンピュータにインストールして、携帯端末１として、これを使用、譲渡、貸与などしてもよい。

携帯端末を開いた状態で正面から見たときの外観図である。 携帯端末の構成を示すブロック図である。 目的音範囲変更モード情報の例を示す図である。 目的音源有無情報の例を示す図である。 通知情報の例を示す図である。 目的音範囲情報の例を示す図である。 目的音角度情報の例を示す図である。 テレビ電話機能の起動から終了までの間の、携帯端末が目的音を分離抽出する処理を示すフローチャートである。 目的音範囲決定処理を示すフローチャートである。 （ａ）は、複数の人物が含まれる撮像画像を示す図である。（ｂ）は、撮像画像上で目的音範囲が顔画像の最も大きな人物の顔に重ねられた画像及び音声レベル表示画像を示す図である。（ｃ）は、撮像画像上で目的音範囲が顔画像の最も大きな人物の体全体に重ねられた画像を示す図である。（ｄ）は、人物が１人のみ含まれる撮像画像を示す図である。（ｅ）は、撮像画像上で目的音範囲が撮像画像の全領域を指し示した画像及び音声レベル表示画像を示す図である。 動作モードに対応した目的音範囲の変更処理を示すフローチャートである。 検出処理を示すフローチャートである。 通知処理を示すフローチャートである。 目的音範囲手動変更処理を示すフローチャートである。 目的音範囲自動変更処理を示すフローチャートである。 通知解除処理を示すフローチャートである。 （ａ）は、撮像画像と目的音範囲とが重ねられた画像を示す図である。（ｂ）は、撮像部の画角及び目的音範囲に対応する角度を示す図である。 （ａ）は、目的音範囲変更前の撮像画像と目的音源の位置とを示す図である。（ｂ）は、目的音範囲変更前の撮像部の画角を示す図である。 （ａ）は、目的音範囲変更後の撮像画像と目的音源の位置とを示す図である。（ｂ）は、目的音範囲変更後の撮像部の画角を示す図である。

符号の説明

１…携帯端末、１１…制御部、１２…無線通信部、１３…記憶部、１４…操作部、１５…撮像部、１６…表示部、１７…音声入力部、１８…音声出力部、１９…通知部、２０…バス、１１１…音源定位分離部、１１２…画像処理部、１１３…検出部、１１４…通知制御部、１１５…目的音範囲手動変更部、１１６…目的音範囲自動変更部、１３１…目的音範囲変更モード情報、１３２…目的音源有無情報、１３３…通知情報、１３４…目的音範囲情報、１３５…目的音角度情報、ＰＴ１…撮像画像、ＰＴ２…撮像画像、ＯＳ１…目的音範囲、ＯＳ２…目的音範囲、Ｐ１，Ｐ２，Ｐ３，Ｐ４…人物、ＶＤ１，ＶＤ２…音声レベル表示画像、ＢＤ…ボード、ｘ１，ｘ２…撮像画像上の水平方向の幅、ｘ３…撮像画像の横幅、ｘ４…撮像画像の横幅、ｙ１，ｙ２…撮像画像上の垂直方向の高さ，ｙ３…撮像画像の高さ、ｍ…目的音範囲の左端に対応する目的音角度、ｎ…目的音範囲の右端に対応する目的音角度、ｐ…音源の角度、Ａ１…撮像画像の左端の角度、Ａ２…撮像画像の右端の角度、Ａｐ…所定角度、θ１，θ２…角度、θ３，θ４…撮像部の画角

Claims (13)

1. 音を入力する音声入力手段と、
   画像を撮像する撮像手段と、
   データを表示する表示手段と、
   前記撮像手段が撮像した画像と、分離抽出対象とする音の到来する方向を特定するための特定領域と、を重ねて前記表示手段に表示させる表示制御手段と、
   音源の方向を特定する音源定位手段と、
   前記音源定位手段が特定した音源の方向が、前記表示手段が表示した特定領域に対応するか否かを検出する音源有無検出手段と、
   前記音源有無検出手段が音源の方向が前記特定領域に対応しないことを検出した場合に、該音源の方向に一致するように前記特定領域の位置を変更する領域位置変更手段と、
   前記撮像手段が撮像した画像と、前期領域位置変更手段が変更した位置にある特定領域と、を重ねて前記表示手段に表示させる領域表示制御手段と、
   前記領域表示制御手段が前記表示手段に表示させた特定領域が特定する方向から到来する音を、前記音声入力手段が入力した音から分離抽出する音源分離手段と、
   を備えることを特徴とする情報処理装置。
2. 前記領域位置変更手段は、
   前記音源有無検出手段が音源の方向が前記特定領域に対応しないことを検出した場合に、前記音源定位手段により、音が到来する方向を探索する方向探索手段と、
   前記撮像手段が撮像した画像上で、前記方向探索手段が探索した方向に対応する位置を特定する画像位置特定手段と、
   前記画像位置特定手段が特定した位置に、前記特定領域の位置を変更する変更手段と、
   から構成されることを特徴とする請求項１に記載の情報処理装置。
3. 前記領域表示制御手段は、
   前記方向探索手段の探索した方向に位置する音源が、前記撮像手段が撮像した画像上に存在するか否かを判別する音源画像有無判別手段と、
   前記音源画像有無判別手段で音源が撮像画像上に存在しないと判別した場合に、前記撮像手段に、撮像した画像に該音源の画像が含まれるよう画角を変更させ、前記画角を変更した撮像手段が撮像した画像と前記特定領域とを重ねて前記表示手段に表示させる手段と、を備える、ことを特徴とする請求項２に記載の情報処理装置。
4. 前記領域表示制御手段は、
   前記音源画像有無判別手段で音源が撮像画像上に存在すると判別した場合に、前記撮像手段が撮像した画像において前記方向探索手段が探索した方向に位置する音源の画像のサイズを特定する音源画像サイズ特定手段と、
   前記特定領域のサイズを前記音源画像サイズ特定手段が特定したサイズに変更し、前記撮像手段が撮像した画像と前記サイズが変更された特定領域とを重ねて前記表示手段に表示させる特定領域サイズ変更手段と、を備えることを特徴とする請求項３に記載の情報処理装置。
5. 前記方向探索手段は、
   前記音源有無検出手段が音源の方向が前記特定領域に対応しないことを検出した場合に、前記音声入力手段が入力した音の内でレベルが最も大きい音の到来する方向を探索するレベル最大方向探索手段、を備え、
   前記音源画像サイズ特定手段は、前記レベル最大方向探索手段が探索した方向から到来する音のレベルが所定レベル以上であるか否かを判別し、所定レベル以上であると判別した場合に音源の画像のサイズを特定する、ことを特徴とする請求項４に記載の情報処理装置。
6. 前記音源有無検出手段は、
   前記特定領域が特定する方向から到来する音のレベルが所定レベル以上か否かを判別する到来音レベル判別手段と、
   前記到来音レベル判別手段が、所定レベル以上でないと判別した場合に、前記撮像手段の撮像画像のうち前記特定領域内の画像に人物の特徴点が存在するか否かを判別する特徴点有無判別手段と、
   前記特徴点有無判別手段が人物の特徴点が前記特定領域内の画像にあると判別した場合に、該特定領域に対応する方向に分離抽出対象とする音を発生する音源があると判別する手段と、
   を備えることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記領域位置変更手段は、
   前記音源有無検出手段が音源の方向が前記特定領域に対応しないことを検出した場合に、その旨を通知する通知手段と、
   ユーザの操作に応答して、前記特定領域の位置とサイズとの少なくとも一方を変更する変更手段と、
   を備えることを特徴とする請求項１に記載の情報処理装置。
8. 前記表示制御手段は、
   前記撮像画像の撮像画像内に人物が含まれるか否かを判別する画像内人物有無判別手段と、
   前記画像内人物有無判別手段が前記撮像画像内に人物が含まれると判別した場合に、該撮像画像に含まれる人物の数が複数か否かを判別する人数単複判別手段と、
   前記人数単複判別手段が複数でないと判別した場合に、前記撮像手段の撮像画像の全領域の位置とサイズとを前記特定領域の位置とサイズとして設定する初期領域設定手段と、
   前記撮像手段が撮像した画像と、前記初期領域設定手段が設定した特定領域と、を重ねて前記表示手段に表示させる手段と、
   を備えることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記表示制御手段は、
   前記撮像画像の撮像画像内に人物が含まれるか否かを判別する画像内人物有無判別手段と、
   前記画像内人物有無判別手段が前記撮影画像内に人物が含まれると判別した場合に、該撮像画像に含まれる人物の数が複数か否かを判別する人数単複判別手段と、
   前記人数単複判別手段が人物の数が複数であると判別した場合に、前記撮像手段の撮像画像において、顔の画像が最も大きい人物を特定する顔最大人物特定手段と、
   前記撮像手段の撮像画像における、前記顔最大人物特定手段が特定した人物の画像領域を特定する人物領域特定手段と、
   前記人物領域特定手段が特定した人物の画像領域の少なくとも一部を含むように前記特定領域を予め設定する第２の初期領域設定手段と、
   前記撮像手段が撮像した画像と、前記第２の初期領域設定手段が設定した特定領域と、を重ねて前記表示手段に表示させる手段と、
   を備えることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記撮像手段が撮像した画像において、前記音声入力手段が入力した音が到来する方向を特定する到来方向画像内特定手段と、
    前記到来方向画像内特定手段が特定した方向と、該方向から到来する音のレベルと、を対応付けた方向レベル対応付画像を生成する画像生成手段と、
    前記撮像手段が撮像した画像と前記特定領域とを重ねて、前記画像生成手段が生成した方向レベル対応付画像を該表示手段に表示させる対応付画像表示制御手段と、
    前記対応付画像表示制御手段が方向レベル対応付画像を前記表示手段に表示させている間に、ユーザの操作に応答して、前記表示手段が表示する特定領域の位置とサイズとの少なくとも一方を変更するレベル可視領域変更手段と、
    を更に備えることを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 他装置と通信する通信手段と、
    前記通信手段を使用するアプリケーションを実行するアプリケーション実行手段と、を更に備え、
    前記通信手段は、前記アプリケーション実行手段がアプリケーションを実行している間、前記音源分離手段が分離抽出した音のデータと前記撮像手段が撮像した画像のデータの少なくとも１つを該他装置に送信する、ことを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. データを記憶する記憶手段と、
    前記音源分離手段が分離抽出した音と前記撮像手段が撮像した画像との少なくとも１つを前記記憶手段に記憶させる手段と、を更に備える、
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. コンピュータに、
    撮像した画像と、分離対象とする音の到来する方向を特定するための特定領域と、を重ねて表示部に表示させ、
    音の到来方向を特定し、特定した方向が前記特定領域に対応する方向に一致するか否かを判別し、
    音の到来方向が前記特定領域に対応する方向に一致しないと判別した場合に、音の到来方向と特定領域に対応する方向とが一致するように前記特定領域の位置を変更し、
    前記撮像した画像と、前記変更した位置にある特定領域とを重ねて、前記表示部に表示し、
    変更後の特定領域に対応する方向に一致する方向から到来する音を、入力音から分離抽出して出力する、
    ための処理を実行させるためのプログラム。

Images