JP2013240000A - 電子機器、録音制御プログラムおよび録音制御方法 - Google Patents

Abstract

【構成】携帯電話機１０は、指向方向を持つアレイマイク２８などを備える。また、携帯電話機１０は、動画像を撮影する撮影機能およびユーザの視線を検出する視線検出機能を有する。たとえば、動画像の撮影を始めると、アレイマイク２８によって集音された音声データに基づいて、ユーザの周囲の音源に対する音源方向が推定される。推定された音源方向を示す音源アイコン（Ｍ）が、音源方向に対応する位置に表示される。このとき、ユーザが任意の音源アイコンを注視すると、アレイマイク２８の指向方向が、音源アイコンと対応する音源方向に向けられる。
【効果】ユーザは、録音中に音源方向を特定することで、意図した通りに音声を録音することができる。
【選択図】図１

Description

この発明は、電子機器、録音制御プログラムおよび録音制御方法に関し、特に音声を録音する、電子機器、録音制御プログラムおよび録音制御方法に関する。

音声を録音する電子機器の一例が特許文献１に開示されている。特許文献１の携帯電話機では、動画撮影が行われると、マイクによって音声も同時に録音され、動画像と共に保存される。

また、特許文献２に開示されているビデオカメラでは、撮影者の視線方向を検出し、その視線方向の対象物に自動的にレンズ合焦が合わせられる。また、レンズ合焦が対象物に合わせられると、マイクの指向性が対象物に対して合わされる。
特開２００３−３４８１９１号公報［H04M 1/00, G10L 19/00］ 特開平５−１９１６５９号公報［H04N 5/225, H04N 5/232］

ところが、特許文献１の携帯電話機などで音声と共に画像を録音して録画映像を確認すると、対象物の音声が思った通りの音量で録音されていないことがある。これは、撮影者の感覚と実際の録音された音声とにずれが生じているからである。具体的に説明すると、撮影中の撮影者は無意識のうちに対象物の音に集中し、他の対象物以外の音をフィルタしている。一方、録画映像では、携帯電話機に届いた音声がそのまま録音される。したがって、上述したように、撮影者の感覚と実際の録音された音声とにズレが生じる。

また、特許文献２のデジタルカメラを利用する撮影者は、動画撮影中であっても、撮影条件の変更のためにデジタルカメラを操作したり、電池残量やメモリ残量などを確認したりすることがある。このとき、撮影者の視線方向は対象物から離れるため、マイクの指向性が一緒に変化する。つまり、特許文献２のデジタルカメラでは、この場合、撮影者の視線方向が対象物から離れたり戻ったりするため、対象物の音声の音量は安定して録音されない。

それゆえに、この発明の主たる目的は、新規な、電子機器、表示制御プログラムおよび表示制御方法を提供することである。

この発明の他の目的は、ユーザが意図した通りに音声が録音される、電子機器、録音制御プログラムおよび録音制御方法を提供することである。

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。

第１の発明は、表示部、ユーザの入力操作を受け付ける入力部および指向方向を持つアレイマイクを有し、アレイマイクによって収音された音声を録音する、電子機器であって、アレイマイクによって収音された音声に基づいて音源方向を推定する推定部、推定された音源方向に基づき、その音源方向を示す画像を表示部に表示する表示処理部、画像に対する入力操作を入力部が受け付けたとき、音源方向を特定する特定部、および特定部によって特定された音源方向に基づいて、アレイマイクの指向方向を設定する設定部を備える、電子機器である。

第１の発明では、電子機器（１０：実施例において対応する部分を例示する参照符号。以下、同じ。）は、表示面を持ち表示装置とも呼ばれる表示部（１４）を有する。入力部（１６，２０，２４ａ，２４ｂ）は、キー入力、音声入力、タッチ入力および視線入力など、ユーザによって行われる入力操作を受け付ける。アレイマイク（２８ａ−２８ｃ）は、複数のマイクを含み、指向方向を持つ。また、アレイマイクによって収音された音声は録音される。推定部（３０，Ｓ１）は、取り込まれた各音声データの時間的なズレに基づいて、音源方向を推定する。表示処理部（３０，Ｓ９、Ｓ１１）は、推定された音源方向に基づいて、その音源方向を示す画像（Ｍ，Ｎ）を表示する。特定部（３０，Ｓ１９）は、表示された画像を選択する入力操作がされると、音源方向を特定する。設定部（３０，Ｓ２１）は、特定された音源方向に指向方向が向くように、アレイマイクの指向方向が設定される。

第１の発明によれば、ユーザは、録音中に音源方向を特定することで、意図した通りに音声を録音することができる。

第２の発明は、第１の発明に従属し、推定部は、推定された音源方向に対して推定値を算出し、表示処理部は、算出された推定値に基づいて画像を表示する。

第２の発明では、推定された音源方向には、その方向が正しいかどうかを表す数値として推定値が算出される。そして、表示処理部によって表示される画像は、算出された推定値に基づいて、表示態様が決められる。

第２の発明によれば、推定値によって画像の表示態様が変化するため、ユーザが音源方向を特定しやすくなる。

第３の発明は、第２の発明に従属し、表示処理部は、推定部によって算出された推定値が閾値以下であるとき、画像を表示しない。

第３の発明では、音源方向の推定値が閾値以下であれば、その音源方向を示す画像は表示されない。

第３の発明によれば、推定値が閾値以下の音源方向については画像が表示されないため、音源方向を特定するユーザの利便性が向上する。

第４の発明は、第１の発明ないし第３の発明に従属し、設定部によってアレイマイクの指向方向が設定されたとき、録音に関する情報を表示する録音情報表示処理部をさらに備える。

第４の発明では、録音情報表示処理部（３０，Ｓ２３）は、アレイマイクの指向方向が設定されると、音量などの録音に関する情報（ＶＩ）を表示する。

第４の発明によれば、ユーザは録音に関する情報を知ることができる。

第５の発明は、第１の発明ないし第４の発明のいずれかに従属し、音源種類を判別する判別部、および判別部によって判別された音源種類が所定の音源種類であるとき、音源が発する音声を適切に収音できるようフィルタ処理を施すフィルタ処理部をさらに備える。

第５の発明では、判別部（３０，Ｓ５）は、音源の音源種類を判別する。フィルタ処理部（３０，Ｓ３１）は、所定の音源種類が判別されていれば、音源が発する音声を適切に収音できるようフィルタ処理を施す。

第５の発明によれば、録音される音声の音質をより高めることができる。

第６の発明は、第５の発明に従属し、判別部は、アレイマイクによって収音された音声の周波数帯域に基づいて音源種類を判別する。

第６の発明によれば、音声の周波数帯域を利用して、音源種類を判別することが出来る。

第７の発明は、第１の発明ないし第６の発明のいずれかに従属し、画像は、アイコンを含み、表示処理部は、推定された音源方向と対応するアイコンを表示部に表示する。

第７の発明では、音源方向が推定されると、その音源方向を示すアイコン（Ｍ１，Ｍ２，Ｎ１，Ｎ２）が表示部に表示される。

第７の発明によれば、アイコンによって音源方向が示されるため、ユーザは音源方向を直感的に理解できる。

第８の発明は、第７の発明に従属し、表示処理部は、判別手段によって判別された音源種類が所定の音源種類であるとき、所定の音源種類を示すアイコンを表示する所定アイコン表示処理部を含む。

第８の発明では、所定アイコン表示処理部（３０，Ｓ９）は、所定の音源種類が判別されていれば、所定の音源種類を示すアイコンを表示する。

第８の発明によれば、ユーザは、アイコンを見るだけで音源種類を容易に把握できる。

第９の発明は、第１の発明ないし第８の発明のいずれかに従属し、電子機器の動きを検出する検出部、および電子機器の動きが検出されたとき、その動きに応じてアレイマイクの指向方向を補正する第１補正部をさらに備える。

第９の発明では、検出部（５０）は、電子機器の動きを検出する。第１補正部（３０，Ｓ４３）は、電子機器の動きが検出されると、その動きに応じてアレイマイクの指向方向の向きを補正する。

第９の発明によれば、電子機器の動きに応じてアレイマイクの指向方向が補正されるため、撮影中に電子機器が動いたとしても、適切に音声が録音される。

第１０の発明は、第１の発明ないし第９の発明のいずれかに従属し、撮影画像を出力するカメラモジュールをさらに備え、カメラモジュールが出力する撮影画像を記録する録画機能を有する。

第１０の発明では、カメラモジュール（２６）は、撮影画像を出力する。そして、電子機器は、カメラモジュールが出力する撮影画像を記録する録画機能を有する。

第１１の発明は、第１０の発明に従属し、カメラモジュールが出力する撮影画像に基づいて、音源方向の先にある音源を画像認識する認識部をさらに備える。

第１１の発明では、認識部（３０，Ｓ３３）は、音源方向の先にある音源（子ども）を画像認識する。

第１２の発明は、第１１の発明に従属し、判別部は、認識部の認識結果に基づいて音源種類を判別する。

第１０の発明、第１１の発明および第１２の発明によれば、撮影された画像を利用して、音源種類を判別することが出来る。

第１３の発明は、第１１の発明または第１２の発明に従属し、認識部の認識結果に基づいて、音源方向の先にある音源の移動による音源方向の変化量を算出する算出部、および算出部によって算出された変化量に基づいて、アレイマイクの指向方向を補正する第２補正部をさらに備える。

第１３の発明では、算出部（３０，Ｓ３７）は、撮影されている音源（被写体）が移動すると、画像認識の結果に基づいて、音源方向の変化量を算出する。第２補正部（３０，Ｓ３９）は、算出部によって算出された変化量に基づいて、アレイマイクの指向方向の向きを補正する。

第１３の発明によれば、撮影中に音源が移動したとしても、音声が適切に録音される。

第１４の発明は、第１の発明ないし第１３の発明に従属し、入力部は、ユーザの視線入力を受け付ける視線入力部を含み、特定部は、画像が注視されたとき、音源方向を特定する。

第１４の発明では、視線入力部（２４ａ，２４ｂ）は、ユーザの視線入力操作を受け付ける。そして、特定部は、画像が注視されたとき、音源方向を特定する。

第１４の発明によれば、画像の選択を視線入力によって行うことで、撮影中の画像がブレなくなる。

第１５の発明は、第１の発明ないし第１４の発明のいずれかに従属し、入力部は、表示部の表示面に設けられるタッチパネルを含み、特定部は、画像に対してタッチされたとき、音源方向を特定する。

第１５の発明では、タッチパネル（１６）は、ポインティングデバイスの一種であり、ユーザのタッチ入力操作を受け付ける。そして、特定部は、画像に対してタッチされたとき、音源方向を特定する。

第１５の発明によれば、ユーザは直感的に音源方向を決めることが出来る。

第１６の発明は、表示部（１４）、ユーザの入力を受け付ける入力部（１６，２０，２４ａ，２４ｂ）および指向方向を持つアレイマイク（２８ａ−２８ｃ）を有し、アレイマイクによって収音された音声を録音する、電子機器（１０）のプロセッサ（３０）を、アレイマイクによって収音された音声に基づいて音源方向を推定する推定部（Ｓ１）、推定された音源方向に基づき、その音源方向を示す画像を表示部に表示する表示処理部（Ｓ９、Ｓ１１）、画像に対する入力操作を入力部が受け付けたとき、音源方向を特定する特定部（Ｓ１９）、および特定部によって特定された音源方向に基づいて、アレイマイクの指向方向を設定する設定部（Ｓ２１）として機能させる、録音制御プログラムである。

第１６の発明でも、第１の発明と同様、ユーザは、録音中に音源方向を特定することで、意図した通りに音声を録音することができる。

第１７の発明は、表示部（１４）、ユーザの入力を受け付ける入力部（１６，２０，２４ａ，２４ｂ）および指向方向を持つアレイマイク（２８ａ−２８ｃ）を有し、アレイマイクによって収音された音声を録音する、電子機器（１０）の録音制御方法であって、アレイマイクによって収音された音声に基づいて音源方向を推定し（Ｓ１）、推定された音源方向に基づき、その音源方向を示す画像を表示部に表示し（Ｓ９、Ｓ１１）、画像に対する入力操作を入力部が受け付けたとき、音源方向を特定し（Ｓ１９）、そして特定された音源方向に基づいて、アレイマイクの指向方向を設定する（Ｓ２１）、録音制御方法である。

第１７の発明でも、第１の発明と同様、ユーザは、録音中に音源方向を特定することで、意図した通りに音声を録音することができる。

この発明によれば、ユーザが意図した音を録音できる。

この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１はこの発明の一実施例の携帯電話機を示す外観図である。 図２は図１に示す携帯電話機の電気的な構成の一例を示す図解図である。 図３は図１に示す赤外線カメラおよび赤外線ＬＥＤを利用してユーザの視線が検出されている様子の一例を示す図解図であり、図３（Ａ）はユーザの顔に照射された赤外光を赤外線カメラで撮影している様子の一例を示し、図３（Ｂ）はユーザの注視点を示す。 図４は図１に示すディスプレイに、撮影中の画像が表示されている状態の一例を示す図解図である。 図５は図１に示すディスプレイの表示を利用して音源方向を特定する手順の一例を示す図解図であり、図５（Ａ）は推定された音源方向に対応する位置に音源アイコンが表示されている状態の一例を示し、図５（Ｂ）は任意の音源アイコンが注視されている状態の一例を示し、図５（Ｃ）は音量調節アイコンが表示されている状態の一例を示し、図５（Ｄ）は特定された音源方向が通知されている状態の一例を示す。 図６は図１に示すＲＡＭに記憶されている音源テーブルの構成の一例を示す図解図である。 図７は図１に示す音源方向の基準の一例を示す図解図である。 図８は図１に示すアレイマイクの指向方向が補正される流れの一例を示す図解図である。 図９は図１に示すアレイマイクの指向方向が補正される流れの他の一例を示す図解図である。 図１０は図５に示す音源方向において録音の音量を調整する操作の一例を示す図解図であり、図１０（Ａ）は音源方向が注視されている状態を示し、図１０（Ｂ）は音量調整アイコンが表示されている状態の他の一例を示し、図１０（Ｃ）は音量が最低値に設定されている状態を示す。 図１１は図２に示すＲＡＭのメモリマップの一例を示す図解図である。 図１２は図２に示すプロセッサの指向方向制御処理の一部の一例を示すフロー図である。 図１３は図２に示すプロセッサの指向方向制御処理の他の一部を示すフロー図であって、図１２に後続するフロー図である。 図１４は図２に示すプロセッサの視線検出処理の一例を示すフロー図である。 図１５は図２に示すプロセッサの音量調整処理の一例を示すフロー図である。

図１（Ａ），（Ｂ）には、本発明の一実施例の携帯電話機１０として、縦長の扁平矩形のハウジング１２を有するスマートフォンを示す。この発明は、フィーチャーフォン、タブレット端末およびＰＤＡなど任意の電子機器に適用可能であることを予め指摘しておく。

図１に示す携帯電話機１０のハウジング１２の主面（表面）には、表示部として機能する、たとえば液晶や有機ＥＬなどのディスプレイ１４が設けられる。ディスプレイ１４の上には、タッチパネル１６が設けられる。

ハウジング１２の縦方向一端の表面側に通話用スピーカ１８が内蔵され、縦方向他端の表面側に通話用マイク２０が内蔵される。タッチパネル１６と共に、入力操作手段を構成するハードキーとして、本実施例では、通話キー２２ａ、終話キー２２ｂおよびメニューキー２２ｃが設けられる。

通話用スピーカ１８の左側に赤外線カメラ２４ａが設けられるとともに、通話用マイク２０の左側に赤外線ＬＥＤ２４ｂが設けられる。ただし、赤外線カメラ２４ａの撮影面と赤外線ＬＥＤ２４ｂの発光面とはハウジング１２から露出するように設けられ、赤外線カメラ２４ａと赤外線ＬＥＤ２４ｂのその他の部分はハウジング１２に内蔵される。

ハウジング１２の他面（裏面）において、縦方向一端の左側にはカメラモジュール２６が設けられる。このカメラモジュール２６は、赤外線カメラ２４ａと同様、撮像面がハウジング１２から露出するように設けられ、カメラモジュール２６のその他の部分はハウジング１２に内蔵される。

また、ハウジング１２の他面には、指向方向を任意に設定できるアレイマイク２８が設けられる。このアレイマイク２８は、３つのマイク２８ａ−２８ｃから構成されている。そして、ハウジング１２の他面の四隅において、左上に第１マイク２８ａが設けられ、右上に第２マイク２８ｂが設けられ、右下に第３マイク２８ｃが設けられる。

たとえば、ユーザは、ディスプレイ１４に表示されたダイヤルキー（図示せず）に対して、タッチパネル１６によってタッチ操作を行うことで電話番号を入力でき、通話キー２２ａを操作して音声通話を開始することが出来る。終話キー２２ｂを操作すれば、音声通話を終了することが出来る。なお、ユーザは、この終話キー２２ｂを長押しすることによって、携帯電話機１０の電源をオン／オフすることが出来る。

また、メニューキー２２ｃがユーザによって操作されれば、ディスプレイ１４にメニュー画面が表示される。その状態でディスプレイ１４に表示されているソフトキーや機能メニューに関するアイコン（ともに図示せず）などに対してタッチ操作が行われると、機能メニューが選択され、その選択が確定される。

さらに、撮影機能が実行されると、カメラモジュール２６が起動し、ディスプレイ１４に被写界と対応するプレビュー画像（スルー画像）が表示される。そして、ユーザは、カメラモジュール２６が設けられている他面を被写体に向けて撮影操作を行うことで、被写体を撮影することが出来る。

また、撮影機能では、静止画像および動画像を撮影することが出来る。そして、動画像を撮影する際には、アレイマイク２８によって収音された音声が録音され、撮影動画像と録音データとが共に保存される。

なお、携帯電話機１０は音声認識機能を有している。そのため、ユーザは通話用マイク２０に音声を入力することで、携帯電話機１０を任意に操作することができる。

図２を参照して、図１に示す実施例の携帯電話機１０は、コンピュータまたはＣＰＵと呼ばれるプロセッサ３０を含む。プロセッサ３０には、赤外線カメラ２４ａ、カメラモジュール２６、無線通信回路３２、Ａ／Ｄ変換器３６ａ−３６ｂ、Ｄ／Ａ変換器３８、入力装置４０、表示ドライバ４２、フラッシュメモリ４４、ＲＡＭ４６、タッチパネル制御回路４８、方位センサ５０、ＬＥＤドライバ５２および撮影画像処理回路５４などが接続される。

プロセッサ３０は、携帯電話機１０の全体制御を司る。また、プロセッサ３０には、アレイマイク２８によって取り込まれた各音声信号を処理するためのＤＳＰ３０ａが含まれる。ＲＡＭ４６には、フラッシュメモリ４４に予め設定されているプログラムの全部または一部が使用に際して展開（ロード）され、プロセッサ３０はこのＲＡＭ４６上のプログラムに従って動作する。このとき、ＲＡＭ４６は、プロセッサ３０のワーキング領域ないしバッファ領域として用いられる。

入力装置４０は、図１に示すハードキー２２（ａ−ｃ）を含み、タッチパネル１６およびタッチパネル制御回路５８とともに操作部として機能する。ユーザが操作したハードキーの情報（キーデータ）はプロセッサ３０に入力される。以下、ハードキーによる操作を「キー操作」ということにする。

第１Ａ／Ｄ変換器３６ａ−第２Ａ／Ｄ変換器３６ｃには第１マイク２８ａ−第２マイク２８ｃ（アレイマイク２８）が接続される。第１マイク２８ａ、第２マイク２８ｂおよび第３マイク２８ｃを通して取り込まれた音声信号は、第１Ａ／Ｄ変換機３６ａ、第２Ａ／Ｄ変換機３６ｂおよび第３Ａ／Ｄ変換機３６ｃによって音声データに変換された後、プロセッサ３０に与えられる。

プロセッサ３０は、音源方向の推定およびアレイマイク２８の指向方向を任意の音源方向に設定する。プロセッサ３０に与えられた各音声データは、ＤＳＰ３０ａに入力される。ＤＳＰ３０ａでは、各音声データの時間的なズレに基づいて、周波数帯毎にどの方向から音声が発せられているかが推定される。つまり、音源方向が推定された状態となる。

音源方向を特定する指示があると、特定された音源方向から発せられる音の周波数帯を残す。そして、残った周波数帯の音に基づいて音声を再現すると、特定された音源方向から発せられる音声が収音されている状態となる。つまり、アレイマイク２８の指向方向が、特定された音源方向を向くように設定されている状態となる。

なお、本実施例では、図１（Ｂ）に示すように、アレイマイク２８を構成するマイク２８ａ−２８ｃが左右および上下に設けられているため、水平方向および垂直方向において音源方向を推定することができる。

また、「音源方向」とは、音の出力源が存在する方向のことであり、本実施例では、アレイマイク２８を利用して推定される。

第４Ａ／Ｄ変換器３６ｄには図１に示す通話用マイク２０が接続され、通話用マイク２０からの音声信号はこの第４Ａ／Ｄ変換器３６ｄでデジタルの音声データに変換され、プロセッサ３０に入力される。一方、Ｄ／Ａ変換器３８には通話用スピーカ１８が接続される。Ｄ／Ａ変換器３８は、デジタルの音声データを音声信号に変換して、アンプを介して通話用スピーカ１８に与える。したがって、音声データの音声が通話用スピーカ１８から出力される。

なお、プロセッサ３０は、たとえばユーザによるボリュームの操作に応答して、Ｄ／Ａ変換器３８に接続されるアンプの増幅率を制御することによって、通話用スピーカ１８から出力される音声の音量を調整することが出来る。

無線通信回路３２は、アンテナ３４を通して、音声通話やメールなどのための電波を送受信するための回路である。実施例では、無線通信回路３２は、ＣＤＭＡ方式での無線通信を行うための回路である。たとえば、ユーザが入力装置４０などを操作して電話発信（発呼）を指示すると、無線通信回路３２は、プロセッサ３０の指示の下、電話発信処理を実行し、アンテナ３４を介して電話発信信号を出力する。電話発信信号は、基地局および通信網を経て相手の電話機に送信される。そして、相手の電話機において着信処理が行われると、通信可能状態が確立され、プロセッサ３０は通話処理を実行する。

通常の通話処理について具体的に説明すると、相手の電話機から送られてきた変調音声信号はアンテナ３４によって受信される。受信された変調音声信号には、無線通信回路３２によって復調処理および復号処理が施される。そして、これらの処理によって得られた受話音声信号は、Ｄ／Ａ変換器３８によって音声信号に変換された後、通話用スピーカ１８から出力される。一方、通話用マイク２０を通して取り込まれた送話音声信号は、第４Ａ／Ｄ変換器３６ｄによって音声データに変換された後、プロセッサ３０に与えられる。音声データには、プロセッサ３０の指示の下、無線通信回路３２によって符号化処理および変調処理が施され、アンテナ３４を介して出力される。したがって、変調音声信号は、相手の電話機に送信される。

また、相手の電話機からの電話発信信号がアンテナ３４によって受信されると、無線通信回路３２は、電話着信（着呼）をプロセッサ３０に通知する。これに応じて、プロセッサ３０は、表示ドライバ４２を制御して、着信通知に記述された発信元情報（電話番号など）をディスプレイ１４に表示する。また、上記処理に伴い、プロセッサ３０は、通話用スピーカ１８から着信音（着信メロディ、着信音声と言うこともある。）を出力させる。

そして、ユーザが入力装置４０に含まれる通話キー２２ａを用いて応答操作を行うと、無線通信回路３２は、プロセッサ３０の指示の下、電話着信処理を実行する。さらに、通信可能状態が確立され、プロセッサ３０は上述した通話処理を実行する。

また、通話可能状態に移行した後に入力装置４０に含まれる終話キー２２ｂによって通話終了操作が行われると、プロセッサ３０は、無線通信回路３２を制御して、通話相手に通話終了信号を送信する。そして、通話終了信号の送信後、プロセッサ３０は通話処理を終了する。また、先に通話相手から通話終了信号を受信した場合も、プロセッサ３０は通話処理を終了する。さらに、通話相手によらず、移動通信網から通話終了信号を受信した場合も、プロセッサ３０は通話処理を終了する。

表示ドライバ４２はディスプレイ１４およびプロセッサ３０と接続され、プロセッサ３０から出力される画像データは、表示ドライバ４２のＶＲＡＭに記憶される。そして、表示ドライバ４２は、ＶＲＡＭのデータに対応する画像を、ディスプレイ１４に表示する。つまり、表示ドライバ４２は、プロセッサ３０の指示の下、当該表示ドライバ４２に接続されたディスプレイ１４の表示を制御する。また、ディスプレイ１４には、たとえばＬＥＤなどを光源とするバックライトが設けられており、表示ドライバ４２はプロセッサ３０の指示に従って、そのバックライトの明るさや、点灯／消灯を制御する。

タッチパネル制御回路４８には、図１に示すタッチパネル１６が接続される。タッチパネル制御回路４８は、タッチパネル１６の動作のオン／オフ、タッチパネル１６に対するユーザによるタッチの開始を示すタッチ開始信号、ユーザによるタッチの終了を示す終了信号、およびユーザがタッチしたタッチ位置を示す座標データ（タッチ座標データ）をプロセッサ３０に入力する。プロセッサ３０は、タッチパネル制御回路４８より入力されたタッチ座標データに基づいて、ユーザがどのアイコンやキーにタッチしたかを判断することができる。以下、タッチパネル１６に対する操作を「タッチ操作」ということにする。

実施例では、タッチパネル１６は、指などの物体が表面に接近して生じた電極間の静電容量の変化を検出する静電容量方式で、たとえば１本または複数本の指がタッチパネル１６に触れたことを検出する。具体的には、タッチパネル制御回路４８は、タッチパネル１６のタッチ有効範囲内でのタッチ操作を検出して、そのタッチ操作の位置を示すタッチ座標データをプロセッサ３０に出力する。

なお、タッチパネル１６は、ディスプレイ１４の上に設けられ、その画面内で任意の位置を指示することができるため、「ポインティングデバイス」と呼ばれることもある。また、タッチパネル１６は、表面型の静電容量方式が採用されてもよいし、抵抗膜方式、超音波方式、赤外線方式および電磁誘導方式などが採用されてもよい。さらに、タッチ操作はユーザの指に限らず、スタイラスペンなどの所定の入力機器によって行われてもよい。

カメラモジュール２６は制御回路、レンズおよびイメージセンサなどを含む。プロセッサ３０は、撮影機能を実行する操作がされると、制御回路およびイメージセンサを起動する。そして、イメージセンサから出力された信号に基づく画像データがプロセッサ３０に入力されると、被写体に対応するプレビュー画像がディスプレイ１４に表示される。

方位センサ５０は、電子コンパスまたは方向出力部とも呼ばれ、３つの地磁気センサおよび制御回路を含む。制御回路は、３つの地磁気センサによって検出された磁気データから地磁気データを抽出して、プロセッサ３０に出力する。プロセッサ３０は、制御回路から出力された地磁気データに基づいて、方位角（方位または方向）を算出し、端末方向としてＲＡＭ４６のバッファに記憶させる。算出された方位角は、カメラモジュール２６おける、イメージセンサおよびレンズが並ぶ光軸と対応する。なお、各地磁気センサは、ホール素子が用いられているが、ＭＲ(Magnet-Resistive)素子やＭＩ(Magnet-Impedance)素子が用いられてもよい。また、方位センサ５０は、携帯電話機１０の動きを検出することが可能であるため、検出部と呼ばれることもある。

ＬＥＤドライバ５２には、図１に示す赤外線ＬＥＤ２４ｂが接続される。ＬＥＤドライバ５２は、プロセッサ３０からの制御信号に基づいて、赤外線ＬＥＤ２４ｂのオン／オフ（点灯／消灯）を切り換える。

撮影画像処理回路５４には、図１に示す赤外線カメラ２４ａが接続される。撮影画像処理回路５４は、赤外線カメラ２４ａからの撮影画像データに画像処理を施し、モノクロの画像データをプロセッサ３０に入力する。赤外線カメラ２４ａは、プロセッサ３０の指示の下、撮影処理を実行し、撮影画像データを撮影画像処理回路５４に入力する。赤外線カメラ２４ａは、たとえば、ＣＣＤやＣＭＯＳのような撮影素子を用いたカラーカメラと、赤外線フィルタとによって構成される。したがって、赤外線フィルタを着脱可能な構成にすれば、赤外線フィルタを外すことにより、カラー画像を取得することも可能である。

なお、上で説明した無線通信回路３２、第１Ａ／Ｄ変換器３６ａ−第４Ａ／Ｄ変換器３６ｄおよびＤ／Ａ変換器３８はプロセッサ３０に含まれていてもよい。

このような構成の携帯電話機１０では、キー操作やタッチ操作に代えて、視線による入力ないし操作（以下、「視線操作」ということがある。）が可能である。以下、視線操作の例について説明する。視線操作に基づく注視領域の検出方法については後で詳細に説明するが、視線操作によって、視線とディスプレイ１４の表示面とが交差する点（注視点ＥＰ）によって指示される所定の領域（以下、「操作領域」）に対応づけて設定された所定の処理が実行される。

たとえば、所定の処理としては、所定の情報が入力されたり、所定の動作（操作）が実行されたり、所定のアプリケーションが起動されたりすることが該当する。また、操作領域は、視線操作によって指示ないしオンすることができるボタン画像、アイコンまたはサムネイルのような縮小画像の表示領域が該当する。また、このような画像が表示されていない領域に操作領域のみが設定される場合もある。さらに、本実施例では、注視点ＥＰを含む領域（後述する「分割領域」）が注視領域として決定され、この注視領域と重なるか、この注視領域に含まれる操作領域が視線操作によって指示されていると判断される。したがって、視線操作によって指示ないしオンされるボタン画像、アイコンまたはサムネイルのような縮小画像を表示する位置および大きさと、これらの画像とは関係なく設定される操作領域の位置および大きさは、分割領域を考慮して決定される。たとえば、同一の分割領域に、複数の縮小画像が表示されることや、複数の操作領域が設定されることがように定められている。

次に、図３（Ａ）を参照して、本実施例の視線による注視領域の検出方法について具体的に説明する。赤外線カメラ２４ａと赤外線ＬＥＤ２４ｂとは、携帯電話機１０の縦方向において或る程度の距離を隔てて配置される。たとえば、赤外線カメラ２４ａの撮影面の中心と、赤外線ＬＥＤの発光面の中心とが直線上に並ぶように配置される。また、赤外線カメラ２４ａをディスプレイ１４の上側に配置し、赤外線ＬＥＤ２４ｂをディスプレイ１４の下側に配置してある。このように配置することで、ユーザの瞼の中央よりも下部に赤外光が照射され、ユーザが瞼を少し閉じている場合であっても、赤外光の反射光を確実に撮影することができる。

なお、赤外線カメラ２４ａと赤外線ＬＥＤ２４ｂとの距離は、ユーザが携帯電話機１０を使用する際における、ユーザの顔と携帯電話機１０（筐体の表面ないしディスプレイ１４の表示面）の距離や携帯電話機１０の大きさなどによって決定される。

注視領域を検出する場合には、赤外線カメラ２４ａで撮影された撮影画像から瞳孔および赤外光の反射光がプロセッサ３０によって検出される。撮影画像から瞳孔や赤外光の反射光を検出する方法は既に周知であり、本実施例の本質的な内容ではないため、その説明は省略することにする。

図３（Ｂ）を参照して、プロセッサ３０は、撮影画像から瞳孔および反射光を検出すると、視線の方向（視線ベクトル）を検出する。具体的には、赤外線カメラ２４ａで撮影された２次元の撮影画像における反射光の位置から瞳孔の位置に向けたベクトルが検出される。具体的には、反射光の中心から瞳孔の中心に向けたベクトルが視線ベクトルである。そして、本実施例では、この視線ベクトルに基づいて注視点ＥＰが求められ、注視領域が決められる。

なお、赤外線カメラ２４ａおよび赤外線ＬＥＤ２４ｂは、視線を検出するために利用されるため、視線入力部と呼ばれる。また、本実施例では、タッチ入力操作に利用されるタッチパネル１６、音声入力操作に利用される通話用マイク２０および視線入力操作に利用される赤外線カメラ２４ａと赤外線ＬＥＤ２４ｂとは、まとめて入力部と呼ばれることがある。

図４は、撮影機能によって動画像が撮影されているときのディスプレイ１４の表示の一例である。図４を参照して、ディスプレイ１４には、状態表示領域７０および機能表示領域７２が含まれる。状態表示領域７０には、アンテナ３４による電波受信状態を示すアイコン（ピクト）、二次電池の残電池容量を示すアイコンおよび日時が表示される。機能表示領域７２には、撮影中の動画像および撮影情報が表示される。たとえば、撮影情報には、撮影時間、操作キー７４および状態アイコン７６が含まれる。

たとえば、図４に示す状態では、状態アイコン７６によって「撮影中」であることが示され、撮影時間が「１０分（１０ｍ００ｓ）」であり、撮影キー７４によって撮影を「停止」することができる。

ここで、本実施例では、音声が録音されている場合、音源方向を推定し、ディスプレイ１４に表示する。そして、音源方向が特定されると、特定された音源方向から発せされる音声を適切に収音するために、アレイマイク２８の指向方向が設定される。これにより、ユーザが意図した通りに音声が録音される。以下、音源方向の特定などについて具体的に説明する。

動画像の撮影が可能な状態では、アレイマイク２８によって収音された音声に基づいて音源方向が推定される。音源方向は、ディスプレイ１４の表示座標、つまり推定された音源方向に対応する位置に変換される。そして、変換された位置に、音源方向を示す音源アイコンＭが表示される。

このとき、音源種類（たとえば、子どもなど）の判別された場合、音源種類を示す所定音源アイコンＮによって音源方向が示される。また、音源種類は、音声の周波数が所定の周波数帯域に含まれているときに、判別される。ただし、所定の周波数帯域に含まれていない場合は、音源種類の判別結果は「不明」とされる。このように、本実施例では、音声の周波数帯域を利用して、音源種類を判別することが出来る。

また、推定された音源方向には、それぞれ推定値が算出される。この推定値は、その音源方向が正しいかどうかを表す数値である。そして、本実施例では、推定値が最も高い音源方向を示す音源アイコンＭ（所定音源アイコンＮ）は、他のアイコンよりも大きく表示される。

図５（Ａ）を参照して、テレビ、車、男の子および女の子が音源であり、男の子および女の子については音源種類が「子ども」と判別されている。そのため、テレビおよび車の音源方向は、音源アイコンＭ１および音源アイコンＭ２によって示され、男の子および女の子の音源方向は、所定音源アイコンＮ１および所定音源方向Ｎ２によって示される。そして、女の子の音源方向は、推定値が他の音源方向の推定値よりも大きいため、女の子の音源方向を示す所定音源アイコンＮ２が、他の音源アイコンＭ（Ｎ）よりも大きく表示される。なお、推定値が閾値以下である場合、その音源方向を示す音源アイコンは表示されない。

このように、推定値によって音源アイコンＭ（Ｎ）の表示態様が変化するため、ユーザが音源方向を特定しやすくなる。特に、推定値が閾値以下の音源方向については音源アイコンＭ（Ｎ）が表示されないため、音源方向を特定するユーザの利便性が向上する。また、音源アイコンＭ（Ｎ）によって音源方向が示されるため、ユーザは音源方向を直感的に理解できる。そして、所定音源アイコンＮが表示されている場合、ユーザは所定音源アイコンＮを見るだけで音源種類を容易に把握できる。

図６を参照して、推定された音源方向の情報は、音源テーブルに記録される。音源テーブルは、「番号」、「音源方向」、「表示座標」、「音源種類」および「信頼値」の列を含む。「番号」の列には、推定された音源方向を識別するための識別番号が記録される。「音源方向」の列には、音源方向を示す角度が記録される。「表示座標」の列には、ディスプレイ１４の表示座標が記録される。そして、この列に記録される表示座標は音源方向と対応する。「音源種類」の列には、音源方向の先にある音源の種類を示す文字列が記録される。ただし、音源種類が判別できなかった場合は「不明」の文字列が記録される。「信頼値」の列には、推定された音源方向の信頼値が記録される。

また、音源方向に記録される角度は、図７に示すように、カメラモジュール２６の光軸を基準（０[ｄｅｇ]）として、時計方向に変化するにつれて大きくなり、反時計方向に変化するにつれて小さくなる。

たとえば、音源アイコンＭ１に対応する「００１」の音源方向では、音源方向が「Ｄ_１」であり、表示座標が（ｘ_１，ｙ_１）であり、音源種類が判別できておらず、信頼値が「８５％」と算出されている。

図５（Ｂ）を参照して、音源アイコンＭ（Ｎ）がディスプレイ１４に表示されると、ユーザの注視点ＥＰの検出処理が開始される。このとき、音源アイコンＭ（Ｎ）を注視する時間が所定時間（たとえば、７００ミリ秒）を超えると、その音源アイコンＭ（Ｎ）がユーザによって選択されたと判断される。

たとえば、所定音源アイコンＮ２の表示位置で注視点ＥＰが検出され、注視時間が所定時間を超えた場合、所定音源アイコンＮ２がユーザによって選択されたと判断される。そして、ユーザによって任意の所定音源アイコンＮ２が選択されると、アレイマイク２８の指向方向が、所定音源アイコンＮ２が示す音源方向を向くように設定される。なお、選択された音源アイコンＭ（Ｎ）以外の音源アイコンＭ（Ｎ）の表示は消去される。

このように、音源アイコンＭ（Ｎ）の選択を視線入力によって行うことで、撮影中の動画像がブレなくなる。

図５（Ｃ）を参照して、アレイマイク２８の指向方向が設定されると、音量調節アイコンＶＩが表示される。つまり、音量調節アイコンＶＩには、録音の音量を調節するためのカーソルＣが含まれる。つまり、カーソルＣは録音の音量を示すため、ユーザは音量調節アイコンＶＩにおけるカーソルＣの位置によって録音の音量を知ることができる。

録音の音量は、音量調節アイコンＶＩに対するカーソルＣの位置によって変化し、カーソルＣＵの位置は検出された注視点ＥＰに追従して動く。そして、音量調節アイコンＶＩが表示されてから所定時間が経過すると、カーソルＣＵの位置に基づいて、録音の音量が設定される。つまり、ユーザは、音量調節アイコンＶＩが表示されてから所定時間内に、カーソルＣＵを視線入力によって動かすことで、録音の音量を任意に設定することができる。

図５（Ｄ）を参照して、音量が設定されると、音量調節アイコンＶＩが消去され、特定された音源方向を示す所定音源アイコンＮ２と撮影中の動画像および録画情報とが機能表示領域７２に表示される。この状態で表示される音源アイコンＭ（Ｎ）は、アレイマイク２８の指向方向の向きを示す。そして、アレイマイク２８の指向方向が女の子に向けられた状態で、動画像が撮影される。なお、アレイマイク２８の指向方向が特定されると、音源は画像認識される。

このように、ユーザは、録音中に音源方向を選択することで、意図した通りに音声を録音することができる。

なお、ディスプレイ１４に表示される音源アイコンＭ（Ｎ）の数は、１つであってもよいし、２つ以上であってもよい。また、音源が存在しない場合や、音源方向の推定値が閾値かである場合は、音源アイコンＭ（Ｎ）が表示されない場合もある。

また、他の実施例では、音量調整アイコンＶＩは、特定の機能が割り当てられていない領域が注視されたときに表示されてもよいし、所定のハードキー２２に入力操作がされたときに表示されてもよい。さらに、音量調節アイコンＶＩの表示は、所定時間が経過しても何ら入力がなければ消去される。

続いて、音量が設定され特定方向の録音が開始されたときに、音源種類が判別されていれば、その音源種類が適切に録音されるよう、フィルタ処理が施される。たとえば、音源種類が「子ども」と判別されていれば、子どもの声の周波数帯以外の周波数帯の音が減衰されるように、フィルタ処理が施される。

このように、そして、音源種類が判別されていれば、録音される音声の音質がより高くなる。

続いて、携帯電話機１０が動いたり、音源が移動したりしたときのアレイマイク２８の指向方向の補正について説明する。

まず、携帯電話機１０が移動した場合について説明する。たとえば、携帯電話機１０がユーザを中心として水平方向に動くと、方位センサ５０の出力も変化する。そこで、本実施例では、方位センサ５０の変化から携帯電話機１０の変化量を求める。そして、携帯電話機１０の変化量に基づいて、アレイマイク２８の指向方向が補正される。図８を参照して、たとえば携帯電話機１０の撮影方向が左方向に移動して、音源である女の子がフレームアウトしたとしても、方位センサ５０の出力の変化から携帯電話機１０の変化量が求められる。そして、その変化量に基づいて、アレイマイク２８の指向方向が、女の子が居る方向に補正される。このように、携帯電話機１０の動きに応じてアレイマイク２８の指向方向が補正されるため、撮影中に携帯電話機１０が動いたとしても、適切に音声が録音される。

次に、音源が移動した場合について説明する。上述した通り、音源は画像認識されている。そこで、本実施例では、動画像におけるフレーム差分によって、音源の移動量が算出される。そして、音源の移動量に基づいて、アレイマイク２８の指向方向が補正される。図９を参照して、たとえば特定された音源が女の子であり、その女の子が撮影中に移動すると、その移動量が算出される。そして、算出された移動量に基づいて、アレイマイク２８の指向方向が、女の子が移動した方向に補正される。このように、音源の動きに応じてアレイマイク２８の指向方向が補正されるため、撮影中に音源（被写体）が移動したとしても、音声が適切に録音される。

続いて、ユーザは、録音中に不要な音が録音されないようにすることができる。図１０（Ａ）−（Ｃ）を参照して、たとえば、音源アイコンＭ１が選択されると、つまりテレビを音源とする音源方向が特定されると、音量調節アイコンＶＩがディスプレイ１４に表示される。このとき、録音の音量が最低値に設定されると、音源アイコンＭ１には、対応する音源の音量が最低値に設定されていることを示す消音アイコンＭＵが重ねて表示される。そして、このように録音の音量が調整されると、特定された音源方向以外の音を録音できる。

なお、他の実施例では、アレイマイク２８の指向方向が、特定された音源方向以外の音を収音するように補正されてもよい。

以上で実施例の特徴を概説したが、以下には、図１１に示す携帯電話機１０のＲＡＭ４６のメモリマップ、図１２−図１５に示す携帯電話機１０のプロセッサ３０によるフロー図を用いて詳細に説明する。

図１１を参照して、図２に示すＲＡＭ４６には、プログラム記憶領域３０２とデータ記憶領域３０４とが形成される。プログラム記憶領域３０２は、先に説明したように、フラッシュメモリ４４（図２）に予め設定しているプログラムデータの一部または全部を読み出して記憶（展開）しておくための領域である。

プログラム記憶領域３０２には、撮影プログラム３１０、指向方向制御プログラム３１２、視線検出プログラム３１４および音量調節プログラム３１６などが記憶される。

撮影プログラム３１０は、動画像の撮影を行うためのプログラムである。指向方向制御プログラム３１２は、アレイマイク２８の指向方向を制御するためのプログラムである。視線検出プログラム３１４は、ユーザの視線（注視点ＥＰ）を検出するためのプログラムである。音量調節プログラム３１６は、録音される音声の音量を調節するためのプログラムである。

なお、プログラム記憶領域３０２には、視線を検出するためのプログラムなども含まれる。

ＲＡＭ４６のデータ記憶領域３０４には、タッチバッファ３３０、注視点バッファ３３２、方位角度バッファ３３４、マイクバッファ３３６、画像バッファ３３８および特定音源方向バッファ３４０などが設けられる。また、データ記憶領域３０４には、タッチ座標マップデータ３４２、視線座標マップデータ３４４、方向マップデータ３４２、ＧＵＩデータ３４８、ＧＵＩ座標データ３５０および音源テーブルデータ３５２などが記憶されると共に、表示カウンタ３５４などが設けられる。

タッチバッファ３３０には、タッチパネル制御回路４８が出力するタッチ座標のデータが記憶される。注視点バッファ３３２には、ユーザの視線が検出されている状態で一定周期（たとえば、１／６０秒）毎に、注視点ＥＰの座標が記憶される。方位角度バッファ３３４には、方位センサ５０の出力に基づいて算出された方位角度が一時的に記憶される。マイクバッファ３３６には、アレイマイク２８によって収音された音声データが一時的に記憶される。画像バッファ３３８には、カメラモジュール２６が出力する画像（動画像または静止画像）が一時的に記憶される。特定音源方向バッファ３４０には、特定された音源方向を示す音源アイコンＭ（Ｎ）の表示座標が一時的に記憶される。

タッチ座標マップデータ３４０は、タッチ操作におけるタッチ座標と、ディスプレイ１４の表示座標とを対応付けるためのデータである。また、視線座標マップデータ３４２は、視線操作における視線座標（注視点ＥＰ）とディスプレイ１４の表示座標とを対応付けるためのデータである。そして、タッチ座標マップデータ３４０または視線座標マップデータ３４２に基づいて、タッチ操作または視線操作の結果がディスプレイ１４の表示に反映される。また、方向マップデータは、音源方向とディスプレイ１４の表示座標とを対応付けるためのデータである。

ＧＵＩデータ３４８は、キーやアイコンなどを表示するための画像データや文字列データを含む。ＧＵＩ座標データ３５０は、表示されているＧＵＩの表示座標データを含む。したがって、タッチ操作がされると、タッチバッファ３３０に記録されているタッチ座標とＧＵＩ座標データ３５０とに基づいて、キーなどのＧＵＩに対してタッチ操作が行われたかが判断される。また、視線操作がされた場合は、視線軌跡バッファ３３２に記憶されている注視点ＥＰの座標とＧＵＩ座標データ３５０とに基づいて、キーなどのＧＵＩに対して視線操作が行われたかが判断される。

音源テーブルデータ３５２は、図６に示すような構成をしており、音源方向および表示座標などが記憶される。

表示カウンタ３５４は、音量調節アイコンＶＩが表示されている時間を計測するためのカウンタである。また、表示カウンタ３５４は、初期化されるとカウントを開始し、表示タイマと呼ばれることもある。

なお、データ記憶領域３０４には、待機状態で表示される画像データや、文字列のデータなどが記憶されると共に、携帯電話機１０の動作に必要なカウンタや、フラグも設けられる。

プロセッサ３０は、Ａｎｄｒｏｉｄ（登録商標）およびＲＥＸなどのＬｉｎｕｘ（登録商標）ベースのＯＳや、その他のＯＳの制御下で、図１２、図１３に示す指向方向制御処理、図１４に示す視線検出処理および図１５に示す音量調節処理などを含む、複数のタスクを並列的に処理する。

指向方向制御処理は、撮影処理が実行されると開始される。ステップＳ１でプロセッサ３０は、音源方向を推定する。つまり、第１マイク２８ａ−第３マイク２８ｃによって収音された音声に基づいて、プロセッサ３０は音源方向を推定する。このとき、推定された音源方向には、推定値が算出され、音源テーブルデータ３５２に記録される。なお、ステップＳ１を実行するプロセッサ３０は推定部として機能する。

続いて、ステップＳ３でプロセッサ３０は、音源方向を表示座標に変換する。つまり、音源テーブルデータ３５２に記憶されている音源方向が、方向マップデータ３４６に基づいて表示座標に変換される。続いて、ステップＳ５でプロセッサ３０は、音源種類判別処理を実行する。たとえば、マイクバッファ３３６から音声データを読み出し、その音声データの周波数帯に基づいて音源種類が判別される。ただし、音源種類が判別できない場合もある。そして、音源種類の判別結果は、音源テーブルデータ３５２に記録される。なお、ステップＳ５の処理を実行するプロセッサ３０は判別部として機能する。

続いて、ステップＳ７でプロセッサ３０は、音源種類が判別されているか否かを判断する。つまり、音源テーブルデータ３５２の音源種類の列において、音源種類が記録されているかが判断される。ステップＳ７で“ＹＥＳ”であれば、たとえば音源種類が「子ども」と判別されていれば、ステップＳ９でプロセッサ３０は、所定音源アイコンＮを表示する。たとえば、図５（Ａ）のように、「子ども」の音源種類を示す所定音源アイコンＮが、その音源方向に対応する位置（表示座標）に表示される。そして、ステップＳ９の処理が終われば、プロセッサ３０はステップＳ１３に進む。

また、ステップＳ７で“ＮＯ”であれば、たとえば「音源種類」の欄に「不明」が記録されていれば、ステップＳ１１でプロセッサ３０は、音源アイコンＭを表示する。たとえば、図５（Ａ）に示すようにＴＶや車などの音源方向に対応する位置に、音源アイコンＭが表示される。

なお、ステップＳ９またはステップＳ１１の処理を実行するプロセッサ３０は、表示処理部として機能する。また、ステップＳ９の処理を実行するプロセッサ３０は、所定アイコン表示処理部として機能する。

続いて、ステップＳ１３でプロセッサ３０は、信頼値に基づいて音源アイコンＭ（Ｎ）の状態を変更する。たとえば、プロセッサ３０は、音源テーブルで最も高い信頼値に対応する音源方向の音源アイコンＭ（Ｎ）を、他の音源アイコンＭ（Ｎ）よりも大きく表示する。また、信頼値が閾値（たとえば、８０％）以下であれば、対応する音源方向の音源アイコンＭ（Ｎ）が消去される。

続いて、ステップＳ１５でプロセッサ３０は、視線検出処理を実行する。詳細な説明は後述するが、ユーザの視線が検出され、注視点ＥＰを示す座標が注視点バッファ３３２に記憶される。続いて、ステップＳ１７でプロセッサ３０は、音源アイコンＭ（Ｎ）が選択されたか否かを判断する。たとえば、図５（Ｂ）に示すように、音源アイコンＭ（Ｎ）の表示範囲に注視点ＥＰが含まれるかが判断される。ステップＳ１７で“ＮＯ”であれば、つまり音源アイコンＥＰが注視されていなければ、プロセッサ３０はステップＳ１５に戻る。

また、ステップＳ１７で“ＹＥＳ”であれば、たとえば音源アイコンＭ（Ｎ）が注視されると、ステップＳ１９でプロセッサ３０は、音源方向を特定する。つまり、注視された音源アイコンＭ（Ｎ）に対応する表示座標が、特定音源方向バッファ３４０に記録される。続いて、ステップＳ２１でプロセッサ３０は、特定された音源方向に向けてアレイマイク２８の指向方向を設定する。なお、ステップＳ１９の処理を実行するプロセッサ３０は特定部として機能する。また、ステップＳ２１の処理を実行するプロセッサ３０は設定部として機能する。

図１３を参照して、ステップＳ２３でプロセッサ３０は、音量調整アイコンＶＩを表示する。たとえば、図５（Ｃ）に示すように、音量調整アイコンＶＩが表示される。また、ステップＳ２３の処理が終了すれば、他の音源アイコンＭ（Ｎ）は消去される。なお、ステップＳ２３の処理を実行するプロセッサ３０は録音情報表示処理部として機能する。

続いて、ステップＳ２５でプロセッサ３０は、音量調整処理を実行する。なお、音量調整処理については、図１５に示すフロー図を用いて後述するため、ここでの詳細な説明は省略する。

続いて、ステップＳ２７でプロセッサ３０は、特定された音源方向を通知する。たとえば、図５（Ｄ）に示すように、特定された音源方向に対応する位置に、音源アイコンＭ（Ｎ）を表示する。

続いて、ステップＳ２９でプロセッサ３０は、ステップＳ７と同様、音源種類が判別されているか否かを判断する。ステップＳ２９で“ＹＥＳ”であれば、つまり音源種類が判別されていれば、ステップＳ３１でプロセッサ３０は、音源種類に対応して、フィルタ処理を施す。たとえば、判別された音源種類が「子ども」であれば、子どもの声の周波数帯域の音声が録音されるように、フィルタ処理が施される。また、ステップＳ２９で“ＮＯ”であれば、たとえば音源種類が「不明」であれば、プロセッサ３０はステップＳ３３に進む。なお、ステップＳ３１の処理を実行するプロセッサ３０はフィルタ処理部として機能する。

続いて、ステップＳ３３でプロセッサ３０は、特定された音源方向にある音源を画像認識する。たとえば、図５（Ｄ）であれば、特定された音源方向に居る、対象音源である女の子が画像認識される。そして、対象音源である女の子が画像認識されると、女の子と背景との境界線（女の子の輪郭線）を示す座標がＲＡＭ４６のバッファに記憶される。なお、ステップＳ３３の処理を実行するプロセッサ３０は認識部として機能する。

続いて、ステップＳ３５でプロセッサ３０は、携帯電話機１０の向きが変化したか否かを判断する。たとえば、方位角度バッファ３３４から前回の方位角を読み出し、方位センサ５０の出力に基づいて算出された方位角度と異なっているかが判断される。ステップＳ３５で“ＹＥＳ”であれば、たとえば図８に示すように、携帯電話機１０の撮影方向が左側に移動していれば、ステップＳ３７でプロセッサ３０は、方位角の変化量に基づいてアレイマイク２８の指向方向を補正する。たとえば、方位角度が左側に２０度変化していれば、アレイマイク２８の指向方向も左側に２０度補正される。そして、ステップＳ３７の処理が終了すれば、プロセッサ３０はステップＳ４５に進む。なお、ステップＳ４１で“ＮＯ”であっても、つまり携帯電話機１０の向きが変化していなくても、プロセッサ３０はステップＳ４５に進む。また、ステップＳ４３の処理を実行するプロセッサ３０は第１補正部として機能する。

また、ステップＳ３５で“ＮＯ”であれば、つまり携帯電話機１０の向きが変化していなければ、ステップＳ３９でプロセッサ３０は、音源が移動したか否かを判断する。たとえば、プロセッサ３０は、フレーム差分によって、画像認識された女の子が移動したかを判断する。

ステップＳ３９で“ＹＥＳ”であれば、たとえば図９に示すように、女の子が移動していれば、ステップＳ４１でプロセッサ３０は、画像認識の結果に基づいて音源方向の変化量を算出する。たとえば、前回フレームにおける女の子の表示位置と現在フレームにおける女の子の表示位置とのそれぞれを方向マップデータ３４６に基づいて音源方向に変換し、２つの音源方向の差(変化量)が算出される。続いて、ステップＳ４３でプロセッサ３０は、音源方向の変化量に基づいてアレイマイク２８の指向方向を補正する。たとえば、変化量が左側に１５度と算出されている場合、アレイマイク２８の指向方向が、左側に１５度補正される。そして、ステップＳ４３の処理が終了すれば、ステップＳ４５に進む。

なお、ステップＳ３９で“ＮＯ”であれば、つまり音源が移動していなければ、プロセッサ３０は、ステップＳ４５に進む。また、ステップＳ３７の処理を実行するプロセッサ３０は算出部として機能し、ステップＳ３９の処理を実行するプロセッサ３０は第２補正部として機能する。

続いて、ステップＳ４５でプロセッサ３０は、終了操作か否かを判断する。つまり、プロセッサ３０は、撮影処理を終了する操作がされたかを判断する。ステップＳ４５で“ＮＯ”であれば、つまり撮影処理の終了操作がされていなければ、プロセッサ３０はステップＳ３３に戻る。一方、ステップＳ４５で“ＹＥＳ”であれば、つまり撮影処理の終了操作がされると、プロセッサ３０は指向方向制御処理を終了する。

図１４は視線検出処理のフロー図である。たとえば、指向方向制御処理でステップＳ１５が実行されるか、後述する音量調整処理でステップＳ９３が実行されると、視線検出処理は開始される。ステップＳ６１でプロセッサ３０は、撮影処理を行う。つまり、赤外線カメラ２４ａによって画像が撮影される。なお、このとき赤外線ＬＥＤ２４ｂは発光している。

続いて、ステップＳ６３でプロセッサ３０は、撮影画像から瞳孔を検出する。つまり、ユーザの目の瞳孔が画像認識される。続いて、ステップＳ６５でプロセッサ３０は、瞳孔の中心位置を決定する。つまり、認識された瞳孔の中心点が算出される。

続いて、ステップＳ６７でプロセッサ３０は、撮影画像から赤外線の反射光を検出する。つまり、赤外線ＬＥＤ２４ａによってユーザの目に赤外線が照射されると、赤外線がユーザの目の網膜に反射する。そして、網膜に反射した赤外線が画像認識される。続いて、ステップＳ６９でプロセッサ３０は、反射光の中心位置を決定する。つまり、画像認識された反射光の中心点が算出される。

続いて、ステップＳ７１でプロセッサ３０は、視線方向を算出する。つまり、瞳孔および反射光の中心位置に基づいて、ユーザの視線方向が算出される。そして、ステップＳ７３でプロセッサ３０は、視線方向とディスプレイ１４の表示座標が交差する位置を求める。つまり、交差する位置が注視点ＥＰとして検出される。

続いて、ステップＳ７５でプロセッサ３０は、注視点ＥＰを表示座標に変換する。つまり、視線座標マップデータ３４４に基づいて、注視点ＥＰを示す視線座標が表示座標に変換される。なお、ステップＳ７５の処理が終了すれば、プロセッサ３０は、視線検出処理を終了して、上位ルーチンに戻る。

図１５は音量調整処理のフロー図である。たとえば、指向方向制御処理でステップＳ２５が実行されると、音量調整処理が開始される。ステップＳ９１でプロセッサ３０は、表示タイマを初期化する。つまり、音量調整アイコンＶＩが表示されてからの時間の計測が開始される。続いて、ステップＳ９３でプロセッサ３０は、上述した視線検出処理を実行する。

続いて、ステップＳ９５でプロセッサ３０は、カーソルＣが注視されているか否かを判断する。ステップＳ９５で“ＮＯ”であれば、つまりユーザがカーソルＣＵを注視ていなければ、プロセッサ３０はステップＳ９９に進む。またステップＳ９５で“ＹＥＳ”であれば、つまりユーザがカーソルＣを注視していれば、ステップＳ９７でプロセッサ３０は、注視点ＥＰの移動に合わせてカーソルＣを移動させる。たとえば、注視点ＥＰが下方向に移動すれば、プロセッサ３０は、カーソルＣを下方向に移動させる。ステップＳ９９でプロセッサ３０は、カーソルＣの位置に応じて音量を調整する。たとえば、カーソルＣの位置が下げられた場合は、録音中の音声の音量が下げられる。

続いて、ステップＳ１０１でプロセッサ３０は、表示タイマが満了したか否かを判断する。つまり、音量調整アイコンＶＩが表示されてから所定時間が経過したかが判断される。ステップＳ１０１で“ＮＯ”であれば、つまり表示タイマが満了していなければ、プロセッサ３０はステップＳ９５に戻る。

また、ステップＳ１０１で“ＹＥＳ”であれば、つまり表示タイマが満了すれば、ステップＳ１０３でプロセッサ３０は、録音の音量を設定する。つまり、ステップＳ９９で設定された音量で、音声が録音されるようになる。なお、ステップＳ１０３の処理が終了すれば、プロセッサ３０は音量調整処理を終了する。

なお、音源方向に居る音源は画像認識されているため、認識結果を利用して音源種類が判別されてもよい。つまり、撮影された画像を利用して、音源種類が判別されることもある。

また、他の実施例では、音源種類は、ユーザによって判別されてもよい。具体的には、ステップＳ５の音源種類判別処理で音源種類を選択するＧＵＩを表示する。そして、ユーザが選択した音源種類が判別結果とされる。

また、その他の実施例では、音源アイコンＭ（Ｎ）の選択は、タッチ操作によって行われてもよい。この場合、ユーザは直感的に音源方向を決めることが出来る。また、さらにその他の実施例では、音声入力によって音源アイコンＭ（Ｎ）が選択されてもよい。

また、その他の実施例では、方向センサに代えて、加速度センサやジャイロセンサによって、撮影中の携帯電話機１０の移動が検出されてもよい。この場合、水平方向の変化に加えて、上下方向の変化にも対応できるようになる。

また、さらにその他の実施例では、推定された音源方向は音源アイコンＭ（Ｎ）を利用せずに、ユーザに示されてもよい。たとえば、音源方向の先に居る音源がカラーで表示され、他の背景などがモノクロで表示されてもよい。

また、その他の実施例では、音源方向が特定されている状態で、所定操作がされると、音源アイコンＭ（Ｎ）が再特定できる状態にされてもよい。

また、アレイマイク２８に含まれるマイクは、３つだけに限らず、４つ以上であってもよい。

また、本実施例で用いられたプログラムは、データ配信用のサーバのＨＤＤに記憶され、ネットワークを介して携帯電話機１０に配信されてもよい。また、ＣＤ，ＤＶＤ，ＢＤ（Blue-Ray Disk）などの光学ディスク、ＵＳＢメモリおよびメモリカードなどの記憶媒体に複数のプログラムを記憶させた状態で、その記憶媒体が販売または配布されてもよい。そして、上記したサーバや記憶媒体などを通じてダウンロードされた、プログラムが本実施例と同等の構成の電子機器にインストールされた場合、本実施例と同等の効果が得られる。

また、アレイマイク２８（およびＡ／Ｄ変換器３６ａ−３６ｂ）は、これを備えていない携帯電話機１０に対して外部機器として取り付けられる構成であってもよい。この場合、当該発明に係るプログラムは、予め携帯電話機（電子機器）１０のフラッシュメモリ４４（記憶媒体）に記憶されていてもよいし、外部機器の記憶媒体に予め記憶させておき、外部機器が携帯電話機１０に接続されたときにインストールされるようにしてもよい。

そして、本明細書中で挙げた、具体的な数値は、いずれも単なる一例であり、製品の仕様変更などに応じて適宜変更可能である。

１０ … 携帯電話機
１４ … ディスプレイ
１６ … タッチパネル
１８ … 通話用スピーカ
２０ … 通話用マイク
２４ａ … 赤外線カメラ
２４ｂ … 赤外線ＬＥＤ
２６ … カメラモジュール
２６ａ−２６ｃ … 第１マイク‐第３マイク
３０ … プロセッサ
３０ａ … ＤＳＰ
４０ … 入力装置
４４ … フラッシュメモリ
４６ … ＲＡＭ
４８ … タッチパネル制御回路
５０ … 方位センサ
５２ … ＬＥＤドライバ
５４ … 画像処理回路

Claims (17)

1. 表示部、ユーザの入力操作を受け付ける入力部および指向方向を持つアレイマイクを有し、前記アレイマイクによって収音された音声を録音する、電子機器であって、
   前記アレイマイクによって収音された音声に基づいて音源方向を推定する推定部、
   推定された音源方向に基づき、その音源方向を示す画像を前記表示部に表示する表示処理部、
   前記画像に対する入力操作を前記入力部が受け付けたとき、音源方向を特定する特定部、および
   前記特定部によって特定された音源方向に基づいて、前記アレイマイクの指向方向を設定する設定部を備える、電子機器。
2. 前記推定部は、推定された音源方向に対して推定値を算出し、
   前記表示処理部は、算出された推定値に基づいて前記画像を表示する、請求項１記載の電子機器。
3. 前記表示処理部は、前記推定部によって算出された推定値が閾値以下であるとき、前記画像を表示しない、請求項２記載の電子機器。
4. 前記設定部によって前記アレイマイクの指向方向が設定されたとき、録音に関する情報を表示する録音情報表示処理部をさらに備える、請求項１ないし３のいずれかに記載の電子機器。
5. 音源種類を判別する判別部、および
   前記判別部によって判別された音源種類が所定の音源種類であるとき、音源が発する音声を適切に収音できるようフィルタ処理を施すフィルタ処理部をさらに備える、請求項１ないし４のいずれかに記載の電子機器。
6. 前記判別部は、前記アレイマイクによって収音された音声の周波数帯域に基づいて音源種類を判別する、請求項５記載の電子機器。
7. 前記画像は、アイコンを含み、
   前記表示処理部は、推定された音源方向と対応するアイコンを前記表示部に表示する、請求項１ないし６のいずれかに記載の電子機器。
8. 前記表示処理部は、前記判別手段によって判別された音源種類が所定の音源種類であるとき、所定の音源種類を示すアイコンを表示する所定アイコン表示処理部を含む、請求項７記載の電子機器。
9. 前記電子機器の動きを検出する検出部、および
   前記電子機器の動きが検出されたとき、その動きに応じて前記アレイマイクの指向方向を補正する第１補正部をさらに備える、請求項１ないし８のいずれかに記載の電子機器。
10. 撮影画像を出力するカメラモジュールをさらに備え、
    前記カメラモジュールが出力する撮影画像を記録する録画機能を有する、請求項１ないし９のいずれかに記載の電子機器。
11. 前記カメラモジュールが出力する撮影画像に基づいて、音源方向の先にある音源を画像認識する認識部をさらに備える、請求項１０記載の電子機器。
12. 前記判別部は、前記認識部の認識結果に基づいて音源種類を判別する、請求項１１記載の電子機器。
13. 前記認識部の認識結果に基づいて、前記音源方向の先にある音源の移動による音源方向の変化量を算出する算出部、および
    前記算出部によって算出された変化量に基づいて、前記アレイマイクの指向方向を補正する第２補正部をさらに備える、請求項１１または１２記載の電子機器。
14. 前記入力部は、ユーザの視線入力を受け付ける視線入力部を含み、
    前記特定部は、前記画像が注視されたとき、音源方向を特定する、請求項１ないし１３のいずれかに記載の電子機器。
15. 前記入力部は、前記表示部の表示面に設けられるタッチパネルを含み、
    前記特定部は、前記画像に対してタッチされたとき、音源方向を特定する、請求項１ないし１４のいずれかに記載の電子機器。
16. 表示部、ユーザの入力を受け付ける入力部および指向方向を持つアレイマイクを有し、前記アレイマイクによって収音された音声を録音する、電子機器のプロセッサを、
    前記アレイマイクによって収音された音声に基づいて音源方向を推定する推定部、
    推定された音源方向に基づき、その音源方向を示す画像を前記表示部に表示する表示処理部、
    前記画像に対する入力操作を前記入力部が受け付けたとき、音源方向を特定する特定部、および
    前記特定部によって特定された音源方向に基づいて、前記アレイマイクの指向方向を設定する設定部として機能させる、録音制御プログラム。
17. 表示部、ユーザの入力を受け付ける入力部および指向方向を持つアレイマイクを有し、前記アレイマイクによって収音された音声を録音する、電子機器の録音制御方法であって、
    前記アレイマイクによって収音された音声に基づいて音源方向を推定し、
    推定された音源方向に基づき、その音源方向を示す画像を前記表示部に表示し、
    前記画像に対する入力操作を前記入力部が受け付けたとき、音源方向を特定し、そして
    特定された音源方向に基づいて、前記アレイマイクの指向方向を設定する、録音制御方法。

Images