JP2008288639A - 画像撮像装置 - Google Patents

Abstract

【課題】撮像された画像データでの顔面の位置やサイズが不適切となることを防止できる構造の画像撮像装置を提供する。
【解決手段】カメラデバイス１１０により撮像された画像データから、顔面認識部１２０により人物の顔面が認識される。その認識された顔面の画像データでの位置が位置検出部１３０により検出され、その検出された画像データでの顔面位置が画像補正部１４０により所定の適正位置とされる。このため、撮像された画像データでの顔面の位置が適正となる。
【選択図】図１

Description

本発明は、カメラデバイスの撮像により画像データを生成する画像撮像装置に関し、特に、利用者の顔面の撮像に利用される画像撮像装置に関する。

現在、携帯電話端末や固定電話端末やパーソナルコンピュータなどに、いわゆるテレビ電話装置として機能する製品がある。このようなテレビ電話装置は、カメラデバイスとディスプレイデバイスとを有し、利用者の顔面を撮像して画像データを生成する。

その画像データは外部送信されて相手のテレビ電話装置で外部受信され、そのテレビ電話装置のディスプレイデバイスで表示出力される。このため、テレビ電話装置の利用者は、双方とも相手の顔面を視認しながら通話することができる。

現在、上述のような装置として各種の提案がある(例えば、特許文献１〜３参照)。
特開２００５−２６０８７０号公報 特開２００６−２０３７６８号公報 特開平０１−３１１６８５号公報

しかし、上述のようなテレビ電話装置では、利用者は相手の顔面を視認しながら通話するため、自身の撮像状況は確認できない。このため、カメラデバイスに対して顔面が不適切な位置であることに気付かないことが多々ある。このような場合、相手が視認する画像データでは、顔面が不適切な位置やサイズで表示出力されることになる。

なお、特許文献１，２には、テレビ電話機能を搭載した携帯電話端末が開示されている。携帯電話端末は全体の方向を自由に変更できるため、相手に送信される画像データの方向が不適切となることがある。そこで、特許文献１の携帯電話端末では、画像データから顔面の方向を検出し、その顔面の方向が適正となるように画像データを回転させる。

また、特許文献３には、テレビ電話機能を搭載した固定電話端末が開示されている。この固定電話端末は、カメラデバイスとディスプレイデバイスとが一体に回動自在に支持されている。

そして、ハンドセットに装着された発光素子を追従してカメラデバイスとディスプレイデバイスとが回動することにより、カメラデバイスとディスプレイデバイスとが利用者の顔面を追従する。

しかし、特許文献１，２の装置では、前述のように相手が視認する画像データに顔面が不適切な位置やサイズで表示出力されることを防止できない。特許文献３の装置は、ハンドセットがカメラデバイスなどと別体に形成されている必要がある。このため、ハンドセットにカメラデバイスなどが組み込まれた構造の携帯電話端末などに適用することができない。

本発明は上述のような課題に鑑みてなされたものであり、撮像された画像データでの顔面の位置やサイズが不適切となることを防止できる構造の画像撮像装置を提供するものである。

本発明の第一の画像撮像装置は、撮像により画像データを生成するカメラデバイスと、撮像された画像データから人物の顔面を認識する顔面認識部と、認識された顔面の画像データでの位置を検出する位置検出部と、検出された画像データでの顔面位置を所定の適正位置とする画像補正部と、を有する。

従って、本発明の画像撮像装置では、カメラデバイスにより撮像された画像データから、顔面認識部により人物の顔面が認識される。その認識された顔面の画像データでの位置が位置検出部により検出され、その検出された画像データでの顔面位置が画像補正部により所定の適正位置とされる。このため、撮像された画像データでの顔面の位置が適正となる。

本発明の第二の画像撮像装置は、撮像により画像データを生成するカメラデバイスと、撮像された画像データから人物の顔面を認識する顔面認識部と、認識された顔面の画像データでのサイズを検出するサイズ検出部と、検出された画像データでの顔面サイズを所定の適正サイズとする画像補正部と、を有する。

従って、本発明の画像撮像装置では、カメラデバイスにより撮像された画像データから、顔面認識部により人物の顔面が認識される。その認識された顔面の画像データでのサイズがサイズ検出部により検出され、その検出された画像データでの顔面サイズが画像補正部により所定の適正サイズとされる。このため、撮像された画像データでの顔面のサイズが適正となる。

なお、本発明の各種の構成要素は、その機能を実現するように形成されていればよく、例えば、所定の機能を発揮する専用のハードウェア、所定の機能がコンピュータプログラムにより付与された画像撮像装置、コンピュータプログラムにより画像撮像装置に実現された所定の機能、これらの任意の組み合わせ、等として実現することができる。

また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。

本発明の画像撮像装置では、撮像された画像データから人物の顔面が認識され、その顔面の画像データでの位置やサイズが適正位置や適正サイズとされる。このため、撮像された画像データでの顔面の位置やサイズが自動的に適正となり、例えば、テレビ電話装置などにおいて、顔面の位置やサイズが不適な状態のまま画像データが外部出力されるようなことを防止できる。

本発明の実施の一形態を図面を参照して以下に説明する。本実施の形態の画像撮像装置である携帯電話端末１００は、図１に示すように、撮像により画像データを生成するカメラデバイス１１０と、撮像された画像データから人物の顔面を認識する顔面認識部１２０と、認識された顔面の画像データでの位置を検出する位置検出部１３０と、検出された画像データでの顔面位置を所定の適正位置とする画像補正部１４０と、を有する。

より詳細には、本実施の形態の携帯電話端末１００は、通話音声を音声入力して音声データを生成するマイクデバイス１５０と、カメラデバイス１１０で撮像された画像データとともにマイクデバイス１５０で生成された音声データを外部送信するデータ送信部１６０と、画像データとともに音声データを外部受信するデータ受信部１７０と、外部受信された画像データを表示出力するディスプレイデバイス１８０と、外部受信された音声データを音声出力するスピーカデバイス１９０と、カメラデバイス１１０の撮像方向を変更する撮像可動機構２００とを、さらに有し、画像補正部１４０は、撮像可動機構２００を動作制御する。

本実施の形態の携帯電話端末１００は、図２に示すように、前後方向に扁平で縦長の直方体状の本体ハウジング１０１を有する。この本体ハウジング１０１の利用者に相対する前面には、カメラデバイス１１０とスピーカデバイス１９０とディスプレイデバイス１８０とマイクデバイス１５０とが、上方から順番に配置されている。

ただし、このカメラデバイス１１０は、撮像可動機構２００により上下方向に回動自在に軸支されている。この撮像可動機構２００は、例えば、ステッピングモータやロータリエンコーダからなり(図示せず)、動作制御によりカメラデバイス１１０を上下方向に回動させて保持する。

なお、顔面認識部１２０と位置検出部１３０と画像補正部１４０とは、例えば、適正なコンピュータプログラムがファームウェアなどで実装されているマイクロコンピュータ(図示せず)のデータ処理機能などとして実現されている。

このようなコンピュータプログラムは、例えば、カメラデバイス１１０で撮像された画像データから人物の顔面を認識する顔面認識処理、認識された顔面の画像データでの位置を検出する位置検出処理、撮像可動機構２００を動作制御して画像データでの顔面位置を適正位置とする画像補正処理、等の処理動作をマイクロコンピュータに実行させるように記述されている。

なお、本実施の形態の携帯電話端末１００は、上述のような顔面認識部１２０と位置検出部１３０と画像補正部１４０との機能を有効とする顔面検出モードと、無効とする顔未検出モードとを、切換設定するモード切換部(図示せず)も有する。

本実施の形態の携帯電話端末１００は、いわゆるテレビ電話機能を有し、同様にテレビ電話機能を有する相手の携帯電話端末(図示せず)と、テレビ電話通話を実行することができる。

その場合、図４に示すように、利用者は携帯電話端末１００を自身の顔面の前方に配置して通話する。すると、利用者の顔面がカメラデバイス１１０で撮像されて画像データが生成されるとともに、利用者の通話音声がマイクデバイス１５０で音声データに変換され、これらが相手の携帯電話端末に無線送信される。

同様に、相手の携帯電話端末から無線受信された音声データがスピーカデバイス１９０から音声出力されるとともに、画像データがディスプレイデバイス１８０で表示出力される。このため、携帯電話端末１００の利用者は、双方とも相手の顔面を視認しながら音声通話することができる。

ただし、携帯電話端末１００は利用者が手指で把持するので、図５(ａ)および図６(ａ)に示すように、その本体ハウジング１０１の方向などが不適切な場合がある。その場合、図５(ｂ)および図６(ｂ)に示すように、画像データでの顔面の位置が不適となる。

しかし、本実施の形態の携帯電話端末１００では、図３に示すように、顔面検出モードが切換設定されていると(ステップＳ１)、カメラデバイス１１０により撮像された画像データから人物の顔面が認識される(ステップＳ３)。

その認識された画像データでの顔面位置が適正位置となるように、撮像可動機構２００によりカメラデバイス１１０の撮像方向が上下方向に回動される(ステップＳ４〜Ｓ７)。

このため、本実施の形態の携帯電話端末１００では、図７(ａ)および図８(ａ)に示すように、その本体ハウジング１０１の方向などが不適切な場合でも、カメラデバイス１１０の方向が適正となる。

このため、図７(ｂ)および図８(ｂ)に示すように、撮像された画像データでの顔面の位置が適正となる。従って、顔面の位置が不適な状態のまま画像データが相手に送信されることがないので、相手は利用者の顔面を良好に視認することができる。

さらに、本実施の形態の携帯電話端末１００では、顔未検出モードが切換設定されていると(ステップＳ２)、カメラデバイス１１０は本体ハウジング１０１にホームポジションで固定される。このため、例えば、所望の物品を撮像してテレビ電話の相手に送信するようなことも、問題なく実行することができる。

なお、本発明は本実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で各種の変形を許容する。例えば、上記形態では検出された顔面位置が適正位置となるように撮像可動機構２００によりカメラデバイス１１０の撮像方向を変更することを例示した。

しかし、同様にディスプレイデバイス１８０の表示方向を表示可動機構(図示せず)により変更してもよい。この場合、携帯電話端末１００の利用者の顔面の方向にディスプレイデバイス１８０の方向も追従するので、その視認性を自動的に良好に維持することができる。

さらに、上記形態では撮像可動機構２００がカメラデバイス１１０を上下方向に回動させることを例示した。しかし、撮像可動機構がカメラデバイスを左右方向に回動させてもよく、上下左右に偏向させてもよい(ともに図示せず)。

また、上記形態では画像撮像装置としてテレビ電話機能を有する携帯電話端末１００を例示した。しかし、テレビ電話機能を有する固定電話端末やパーソナルコンピュータでもよく、通信機能を有しないスタンドアロンのデジタルカメラなどでもよい。

このようなデジタルカメラの場合、例えば、カメラデバイスで撮像された画像データをディスプレイデバイスに表示出力してもよく、このようなディスプレイデバイスの表示方向をカメラデバイスの撮像方向とともに利用者の顔面に追従させてもよい(図示せず)。

この場合、利用者が自身の顔面を撮像するとき、そのカメラデバイスの方向を自動補正させて画像データを適正に撮像することができるとともに、そのディスプレイデバイスの方向を自動補正させて撮像する画像データの確認を容易とすることができる。

さらに、カメラデバイスとともにマイクデバイスやスピーカデバイスの方向も、同様に利用者の顔面に追従させてもよい(図示せず)。この場合、利用者の通話音声をマイクデバイスで良好に取得することができ、スピーカデバイスの出力音声を利用者に良好に聴取させることができる。

なお、上述のようにカメラデバイスとともにディスプレイデバイスやマイクデバイスやスピーカデバイスの方向を補正する場合、その可動機構の一部ないし全部を一体に形成してもよい(図示せず)。

また、上記形態では撮像可動機構２００がカメラデバイス１１０の全体を偏向させることを例示した。しかし、カメラデバイス１１０が反射光学系や屈折光学系などを有し、その光学系を撮像可動機構が偏向させてもよい(図示せず)。

さらに、上記形態では画像データでの顔面位置を適正位置とするため、撮像可動機構２００でカメラデバイス１１０の撮像方向を変更することを例示した。しかし、画像トリミング部(図示せず)により画像データをトリミング処理することで、画像データでの顔面位置を適正位置としてもよい。

この場合、最終的な画像データの解像度は低下するが、画像撮像装置が可動機構を有する必要がない。従って、現行の携帯電話端末のソフトウェアを更新することでも実現できる。

なお、上述のような画像トリミング部を携帯電話端末などに実装する場合、外部受信された画像データからも人物の顔面を認識し、その画面位置が適正位置となるように外部受信された画像データをトリミング処理してもよい。

この場合、相手が携帯電話端末などで撮像して送信した画像データでの顔面の撮像位置が不適でも、これを受信側の携帯電話端末などで自動補正することができる。当然ながら、このような補正機能もオンオフ切換できることがよい。

さらに、上記形態ではカメラデバイス１１０で撮像された画像データでの顔面位置を検出して適正位置とすることを例示した。しかし、撮像された画像データでの顔面サイズを検出して適正サイズとしてもよい。

なお、このように撮像された画像データでの顔面サイズを適正サイズとする画像撮像装置は、例えば、カメラデバイス１１０のズームレンズをズーム可変機構で駆動することや(図示せず)、前述のように、画像トリミング部により画像データをトリミング処理することで、実現できる。

この場合、画像撮像装置である携帯電話端末などと利用者との距離が適正でなくとも、その画像データでの顔面サイズが自動的に適正となる。さらに、デジタルカメラなどの画像撮像装置にパスポート写真モードなどを搭載しておき、パスポートに適正な画像データを自動生成してもよい。

さらに、本実施の形態では携帯電話端末１００の顔面認識部１２０と位置検出部１３０と画像補正部１４０とがコンピュータプログラムにより各種機能として論理的に実現されることを例示した。しかし、このような各部の一部ないし全部を固有のハードウェアとして形成することもでき、ソフトウェアとハードウェアとの組み合わせとして実現することもできる。

なお、当然ながら、上述した実施の形態および複数の変形例は、その内容が相反しない範囲で組み合わせることができる。また、上述した実施の形態および変形例では、各部の構造などを具体的に説明したが、その構造などは本願発明の機能を満足する範囲で各種に変更することができる。

本発明の実施の形態の画像撮像装置である携帯電話端末の論理構造を示す模式的なブロック図である。 携帯電話端末の外観を示す二面図である。 携帯電話端末の処理動作を示すフローチャートである。 携帯電話端末で顔面が撮像される状態を示す模式図である。 携帯電話端末で顔面が撮像される状態を示す模式図である。 携帯電話端末で顔面が撮像される状態を示す模式図である。 携帯電話端末で顔面が撮像される状態を示す模式図である。 携帯電話端末で顔面が撮像される状態を示す模式図である。

符号の説明

１００ 携帯電話端末
１０１ 本体ハウジング
１１０ カメラデバイス
１２０ 顔面認識部
１３０ 位置検出部
１４０ 画像補正部
１５０ マイクデバイス
１６０ データ送信部
１７０ データ受信部
１８０ ディスプレイデバイス
１９０ スピーカデバイス
２００ 撮像可動機構

Claims (10)

1. 撮像により画像データを生成するカメラデバイスと、
   撮像された画像データから人物の顔面を認識する顔面認識部と、
   認識された前記顔面の前記画像データでの位置を検出する位置検出部と、
   検出された前記画像データでの顔面位置を所定の適正位置とする画像補正部と、
   を有する画像撮像装置。
2. 前記カメラデバイスの撮像方向を変更する撮像可動機構を、さらに有し、
   前記画像補正部は、前記撮像可動機構を動作制御する請求項１に記載の画像撮像装置。
3. 前記カメラデバイスで撮像された前記画像データを外部送信するデータ送信部と、
   画像データを外部受信するデータ受信部と、
   外部受信された前記画像データを表示出力するディスプレイデバイスと、
   前記ディスプレイデバイスの表示方向を変更する表示可動機構とを、さらに有し、
   前記画像補正部は、前記表示可動機構も動作制御する請求項２に記載の画像撮像装置。
4. 前記カメラデバイスで撮像された前記画像データを表示出力するディスプレイデバイスと、
   前記ディスプレイデバイスの表示方向を変更する表示可動機構とを、さらに有し、
   前記画像補正部は、前記表示可動機構も動作制御する請求項２に記載の画像撮像装置。
5. 前記撮像可動機構と前記表示可動機構とが一体に形成されている請求項３または４に記載の画像撮像装置。
6. 認識された前記顔面の前記画像データでのサイズを検出するサイズ検出部を、さらに有し、
   前記画像補正部は、検出された前記画像データでの顔面サイズも所定の適正サイズとする請求項１ないし５の何れか一項に記載の画像撮像装置。
7. 撮像により画像データを生成するカメラデバイスと、
   撮像された画像データから人物の顔面を認識する顔面認識部と、
   認識された前記顔面の前記画像データでのサイズを検出するサイズ検出部と、
   検出された前記画像データでの顔面サイズを所定の適正サイズとする画像補正部と、
   を有する画像撮像装置。
8. 前記カメラデバイスが光学系としてズームレンズを有し、
   前記カメラデバイスのズームレンズを駆動するズーム可変機構を、さらに有し、
   前記画像補正部は、前記ズーム可変機構を動作制御する請求項６または７に記載の画像撮像装置。
9. 前記画像データをトリミング処理する画像トリミング部を、さらに有し、
   前記画像補正部は、前記画像トリミング部を動作制御する請求項１，６，７の何れか一項に記載の画像撮像装置。
10. 前記カメラデバイスで撮像された前記画像データを外部送信するデータ送信部と、
    画像データを外部受信するデータ受信部と、
    外部受信された前記画像データを表示出力するディスプレイデバイスとを、さらに有し、
    前記顔面認識部は、外部受信された前記画像データからも人物の顔面を認識し、
    前記画像トリミング部は、外部受信された前記画像データもトリミング処理する請求項９に記載の画像撮像装置。

Images