JP2013162352A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】複数の人物が表示画面を閲覧する際に、最も適した方向に表示画面を表示できるようにする。
【解決手段】再生モードにおいてカメラ部を起動させて表示画面を閲覧している人物を撮像し、その撮像画像に含まれている人物の顔の傾きを求め、顔の傾きによって４つのグループに振り分ける。そして、画像記録部から表示画像を読み出し、４つのグループの中から最も顔の数が多いグループの角度に表示画像を回転させて液晶モニタに表示する。また、より電力の消費を抑えるため、撮像画像に含まれるすべての顔がグループに振り分けられた段階でカメラ部の電源をＯＦＦにしてもよい。
【選択図】図６

Description

本発明は画像処理装置、画像処理方法及びプログラムに関し、特に、複数の人物が表示画面を見る場合に用いて好適な技術に関する。

従来、デジタルカメラや携帯電話などの撮像装置において、機器の姿勢に応じて表示画像を回転させる技術が知られている。例えば、特許文献１には、撮影時に画像に画像の向き情報と、機器の姿勢情報とを関連付けておき、表示時に使用者が見やすいように画像を回転させる技術が開示されている。また、特許文献２には、撮像装置で使用者を撮像し、その撮像画像から人間の顔領域を検出して当該顔の傾きに基づいて、使用者が見やすいように表示画像を回転させて表示する技術が開示されている。

特開２０００−３１２３２９号公報 特表２０１０−５２５４２５号公報

しかしながら、特許文献２に記載の技術は、撮像画像に複数の人間の顔が存在する場合については全く考慮されていない。例えば、図６に示すように複数の人物６００〜６０２が、撮像装置の表示画面６１０を覗き込むような使い方をする場合が考えられる。この場合、図７に示すように、撮像画像に複数の人物の顔が写り込んでしまい、表示画像をどの方向に回転させて表示すればよいのか判別できないという問題がある。

本発明は前述の問題点に鑑み、複数の人物が表示画面を閲覧する際に、最も適した方向に表示画面を表示できるようにすることを目的としている。

本発明の画像処理装置は、表示画像を取得する取得手段と、被写体を撮像して検出用画像データを生成する撮像手段と、前記撮像手段によって生成された検出用画像データの中から前記被写体の顔を検出する顔検出手段と、前記顔検出手段によって検出された顔の傾きを検出する傾き検出手段と、前記顔検出手段によって検出された顔を、前記傾き検出手段によって検出された傾きにしたがってグループに分類する分類手段と、前記グループに含まれる顔の数に基づいて、前記取得手段によって取得された表示画像を回転させる方向を選択する選択手段と、前記選択手段によって選択された方向へ前記表示画像を回転させる回転処理手段と、前記回転処理手段によって回転された表示画像を表示装置に表示する表示制御手段とを有することを特徴とする。

本発明によれば、表示画像の閲覧者が複数いる場合に、最も適した方向に表示画面を表示することができる。

本発明の実施形態に係る撮像装置の構成例を示すブロック図である。 本発明の第１の実施形態における表示画像を表示する処理手順の一例を示すフローチャートである。 顔のカウントテーブルの一例を示す図である。 顔の傾きが異なる４つのグループの一例を示す図である。 本発明の第２の実施形態における表示画像を表示する処理手順の一例を示すフローチャートである。 複数の人物が撮像装置の表示画面を覗き込む様子を説明する図である。 撮像画像に複数の人物の顔が写り込んでいる様子を説明する図である。

以下、本発明の実施形態について、図面を参照しながら説明する。
（第１の実施形態）
図１は、本実施形態に係る画像処理装置の一例として撮像装置１０００の構成例を示すブロック図である。
図１において、カメラ部１００１は、撮影レンズ１０１、撮像素子１０２、信号処理部１０３、顔検出部１０４、顔傾き検出部１０５及び主顔検出部１１２により構成されている。

撮影レンズ１０１を透過した光は、撮像素子１０２において撮像されて電気信号が生成され、その電気信号が信号処理部１０３に入力される。信号処理部１０３は、入力された電気信号を画像データに変換し、メモリ１０９に一時保存する。顔検出部１０４は、メモリ１０９に保存されている前記画像データを読み出し、画像中に被写体の顔情報が存在するかどうかを判定する。

次に、顔傾き検出部１０５は、顔検出部１０４が検出した顔情報に基づき、該顔の傾きを検出する。主顔検出部１１２は、顔検出部１０４が検出した顔情報の中から主顔を１つ選択する。制御部１０６は、撮像装置１０００全体を制御するとともに、顔傾き検出部１０５で検出された顔の傾きに応じて顔をグループ分けし、グループ毎に顔が何個あるかをカウントする。なお、この処理の詳細については後述する。また、制御部１０６は、メモリ１０９に保存された表示画像を液晶モニタ１０８に表示する表示制御も行う。スイッチ１１１は、撮像装置１０００の入力装置であり、スイッチ１１１からの入力信号に基づいて制御部１０６は撮像装置１０００を制御する。

画像処理部１０７は、制御部１０６がカウントした顔の数に応じて、表示画像に回転処理を施し、その画像データをメモリ１０９に保存する。ここで画像処理部１０７は、液晶モニタ１０８のサイズに合わせて表示画像を拡大・縮小する機能等、各種調整機能を有していてもよい。メモリ１０９は、表示画像に係る画像データや制御部１０６がカウントした値の情報を一時的に保持する機能を有する。

画像記録部１１０は、表示画像に係る画像データを記録する機能を有する。ここで、画像記録部１１０は撮像装置１０００に内蔵されているＲＯＭでもよいし、ＳＤカード等の外部記録装置でも構わない。また、不図示の通信Ｉ／Ｆを介して外部装置から表示画像を受信して取得する構成を設けてもよい。液晶モニタ１０８は、画像処理部１０７によってメモリ１０９上に保存された画像データに係る表示画像を表示する。電源制御部１１３は、カメラ部１００１の電源のＯＮ／ＯＦＦを行う。

次に、図２のフローチャートを参照しながら、本実施形態における、使用者が複数いる場合でも、多くの人にとって見やすい表示画面を提供する手順について説明する。ここで、撮像装置１０００には、撮像装置１０００が持つ各種機能を表示するメニューモードと、画像記録部１１０に保存されている画像データを再生する再生モードとが存在するものとして説明する。メニューモードから実行される機能の１つとして、再生モードへ切り替える機能が存在するが、撮像装置１０００に存在する機能は、前述のものに限るものではない。

まず、ユーザの操作によりメニューモードから、再生モードへ切り替える指示がなされると、処理を開始し、ステップＳ２０１において、制御部１０６は、撮像装置１０００を再生モードに切り替える。再生モードに入ると、ステップＳ２０２において、電源制御部１１３はカメラ部１００１の電源をＯＮにし、カメラ部１００１を起動させる。カメラ部１００１が起動すると、撮影レンズ１０１を透過した光は、撮像素子１０２で撮像され、その電気信号が信号処理部１０３に入力される。そして、信号処理部１０３は電気信号を画像データに変換し、メモリ１０９に一時保存する。なお、この画像データは顔検出用画像データであり、液晶モニタ１０８に表示するためのものではない。

次に、ステップＳ２０３において、制御部１０６は、顔の傾き毎に顔を数えるカウント変数を初期化する。ここで、カウント変数とは、図３のカウントテーブルに示すkao＿0、kao＿90、kao＿180、kao＿270のことであり、０を代入して初期化する。各カウント変数の詳細については後で説明する。

次に、ステップＳ２０４において、顔検出部１０４は、ステップＳ２０２でメモリ１０９に一時保存された画像データを読み出し、顔検出処理を実行する。そして、ステップＳ２０５において、読み出した画像データに顔が存在するかどうかを判定する。この判定の結果、顔が存在しない場合はステップＳ２１６に進み、表示する画像データを画像記録部１１０からメモリ１０９に読み出す。そして、ステップＳ２１３において、制御部１０６により液晶モニタ１０８にその画像を表示する。この場合は、撮像画像に顔が検出されていないため、通常の再生モードと同様に、画像記録部１１０に記録されている画像データを再生してそのまま表示画像を表示することとなる。

一方、ステップＳ２０５の判定の結果、画像データに顔が存在する場合は、ステップＳ２０６へ進み、顔傾き検出部１０５はステップＳ２０４で検出された顔の傾きを検出する。そして、ステップＳ２０７において、制御部１０６は検出された傾き角に応じて、顔をグループに分類する処理を行う。この処理では、図４に示す４つの種類に顔をグループ分けする。すなわち、撮像装置１０００に対して人物が正対している顔である「０度の顔」、右に傾いている顔である「９０度の顔」、逆さまになっている顔である「１８０度の顔」、左に傾いている顔である「２７０度の顔」に顔をグループ分けする。そして、制御部１０６は、検出した顔の傾きと、グループ分けした顔のグループとを比較し、最も近いと判断されるグループを選択する。具体的には、顔の傾きをθとすると、−４５度≦θ＜４５度の場合は「０度の顔」、４５度≦θ＜１３５度の場合は「９０度の顔」、１３５度≦θ＜２２５度の場合は「１８０度の顔」、２２５度≦θ＜３１５度の場合は「２７０度の顔」に相当する。したがって、例えば、図６に示す人物６００〜６０２の顔の傾き角が、それぞれ２７０度、９０度、１２０度と検出された場合、人物６００の顔は「０度の顔」、人物６０１の顔は「９０度の顔」、人物６０２の顔は「９０度の顔」とグループ分けされる。

次に、ステップＳ２０８において、選択されたグループのカウント変数を＋１とする。具体的には、顔のグループ毎のカウント変数は、図３に示した顔のカウントテーブルでメモリ１０９に管理されており、顔のグループ、カウント変数、及び顔の個数が記録される。図３に示すように、「０度の顔」を数えるカウント変数は変数kao＿0であり、「９０度の顔」を数えるカウント変数は変数kao＿90である。また、「１８０度の顔」を数えるカウント変数は変数kao＿180であり、「２７０度の顔」を数えるカウント変数は変数kao＿270である。

次に、ステップＳ２０９において、顔検出が行われた画像データに存在する顔を全てカウントしたか否かを判定する。この判定の結果、カウントしていない顔が存在する場合は、ステップＳ２０６に戻り、全ての顔をカウントするまで同様のカウント処理を繰り返す。一方、顔検出が行われた画像データの中の全ての顔をカウントした場合は、次のステップＳ２１０へ進む。

次に、ステップＳ２１０において、制御部１０６は、すでに画像記録部１１０に記録されている画像データをメモリ１０９に読み出す。そして、ステップＳ２１１において、図３に示した顔のカウントテーブルを参照し、最大のカウント変数のグループを選択する。

次に、ステップＳ２１２に、画像処理部１０７は、ステップＳ２１０でメモリ１０９に読み出された画像データの表示態様を決定する。具体的には、必要に応じて表示画像の回転処理を画像処理部１０７で行う。ここで、表示画像を何度回転させるかを、ステップＳ２１１で選択された顔のグループによって決定する。すなわち、変数kao＿90が最大の場合は、表示画像を９０度回転する処理を施し、変数kao＿180が最大の場合は、表示画像を１８０度回転する処理を施す。また、変数kao＿270が最大の場合は、表示画像を２７０度回転する処理を施し、変数kao＿0が最大の場合は、回転処理は施さないようにする。

また、最大のカウント変数が複数ある場合は、主顔検出部１１２が検出された顔の中から主顔を検出し、主顔が属するグループを最大のカウント変数のグループとして取り扱う。ここで、顔のカウント方法や最大のカウント変数が複数ある場合の処理方法は、前述の形式に限定されるものではない。例えば、個人認識技術を用いて、撮像装置１０００の持ち主が画像データの中に含まれている場合は、持ち主の顔の向きに応じて、表示画像を回転させてもよい。例えば、持ち主やその他の特定の人物の顔データを予め制御部１０６が保持しており、制御部１０６は、顔検出部１０４で検出された顔のうち、保持している顔データに対応する顔が存在するか否かを判定する。そして、対応する顔が存在する場合には、その人物の顔の向きに応じて表示画像を回転させてもよい。

次に、ステップＳ２１３へ進み、制御部１０６は、表示画像を液晶モニタ１０８に表示する。そして、ステップＳ２１４において、制御部１０６は、再生モードを終了する指示を受けたか否かを判定する。例えば、スイッチ１１１が押下されると、再生モードを終了する指示が制御部１０６に送られる。そして、制御部１０６によってメニューモードに戻る処理が行われる。ステップＳ２１４の判定の結果、再生モードを終了する指示を受けた場合は、再生モードを終了するためステップＳ２１５へ進む。

一方、次の画像を表示する指示や前の画像に戻る指示などがなされた場合は、再生モードを継続することとなる。このため、このような場合は、ステップＳ２０３へ戻り、一連の処理を繰り返す。これにより、次の画像データの読み出しがなされるまで、表示画像の表示方向が維持されるので、使用者が移動して撮像画像中の人数が変化する度に表示画像の表示方向が変わることを防ぐことができ、使用者の視認性を向上させることができる。

最後に、ステップＳ２１５において、電源制御部１１３は、カメラ部１００１の電源をＯＦＦにする。

以上、本発明の好ましい実施形態について説明したが、例えば、静止画だけでなく動画の再生においても同様の処理が可能である。また、インターネット上のホームページを見ている時も、ホームページの切り替え時に顔の数をカウントして表示方向を変更してもよい。

以上のように本実施形態によれば、再生モードにおいてカメラ部を起動させ、撮像画像における顔の傾きの割合によって表示画像の向きを決定するようにした。これにより、表示画像の閲覧者が複数いる場合に、最も適した方向に表示画面を表示することができる。

（第２の実施形態）
本実施形態では、さらに電力の消費を抑えて多くの人数に見やすい表示画面を提供する例について説明する。なお、本実施形態に係る撮像装置の構成は図１と同様であるため、説明は省略する。以下、第１の実施形態と異なる点を中心に説明する。

図５は、本実施形態における表示画像を表示する処理手順の一例を示すフローチャートである。
図５において、ステップＳ５０１〜ステップＳ５０５までの処理は、図２のステップＳ２０１〜ステップＳ２０５までの処理と同様であるため、説明は省略する。そして、ステップＳ５０５の判定の結果、画像データに顔が存在しない場合は、ステップＳ５１７に進み、電源制御部１１３は、カメラ部１００１の電源をＯＦＦにする。そして、ステップＳ５１６において、表示する画像データを画像記録部１１０からメモリ１０９に読み出す。そして、ステップＳ５１３において、液晶モニタ１０８にその画像を表示する。

一方、ステップＳ５０５の判定の結果、画像データに顔が存在する場合は、ステップＳ５０６へ進む。なお、ステップＳ５０６〜ステップＳ５０９までの処理は、図２のステップＳ２０６〜ステップＳ２０９までの処理と同様であるため説明は省略する。

ステップＳ５０９の判定の結果、画像データの中のすべての顔をカウントした場合は、ステップＳ５１５において、電源制御部１１３は、カメラ部１００１の電源をＯＦＦにする。そして、次のステップＳ５１０〜ステップＳ５１４までの処理は図２のステップＳ２１０〜ステップＳ２１４までの処理と同様であるため説明は省略する。

なお、本実施形態においては、ステップＳ５１４の判定の結果、再生モードを継続する場合は、ステップＳ５１０へ戻り、一連の処理を繰り返す。ステップＳ５１０へ戻ることにより、２枚目以降の表示画像を表示するときは、カメラ部１００１が起動されない。ここで、図３に示すような顔のカウントテーブルは保存されているため、２枚目以降の表示画像に対しては、１枚目の表示画像と同じ表示方向に回転処理が施されることになる。

以上のように本実施形態によれば、画像データに存在する顔をカウントしている間だけカメラ部の電源をＯＮにしているため、第１の実施形態と比べてより電力の消費を抑えることができる。

（その他の実施形態）
以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (6)

1. 表示画像を取得する取得手段と、
   被写体を撮像して検出用画像データを生成する撮像手段と、
   前記撮像手段によって生成された検出用画像データの中から前記被写体の顔を検出する顔検出手段と、
   前記顔検出手段によって検出された顔の傾きを検出する傾き検出手段と、
   前記顔検出手段によって検出された顔を、前記傾き検出手段によって検出された傾きにしたがってグループに分類する分類手段と、
   前記グループに含まれる顔の数に基づいて、前記取得手段によって取得された表示画像を回転させる方向を選択する選択手段と、
   前記選択手段によって選択された方向へ前記表示画像を回転させる回転処理手段と、
   前記回転処理手段によって回転された表示画像を表示装置に表示する表示制御手段とを有することを特徴とする画像処理装置。
2. 前記顔検出手段によって検出された顔の中から主顔を検出する主顔検出手段をさらに有し、
   前記選択手段は、前記主顔検出手段により主顔が検出された場合に、前記主顔の傾きに基づいて、回転させる方向を選択することを特徴とする請求項１に記載の画像処理装置。
3. 特定の顔に関する顔データを保持する保持手段をさらに有し、
   前記顔検出手段により、前記保持手段に保持された顔データと対応する顔が前記検出用画像データから検出された場合に、前記選択手段は、前記保持手段に保持された顔データと対応する顔の傾きに基づいて、回転させる方向を選択することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記取得手段は、前記表示画像を外部装置から受信することによって取得することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 表示画像を取得する取得工程と、
   被写体を撮像して検出用画像データを生成する撮像工程と、
   前記撮像工程において生成された検出用画像データの中から前記被写体の顔を検出する顔検出工程と、
   前記顔検出工程において検出された顔の傾きを検出する傾き検出工程と、
   前記顔検出工程において検出された顔を、前記傾き検出工程において検出された傾きにしたがってグループに分類する分類工程と、
   前記グループに含まれる顔の数に基づいて、前記取得工程において取得された表示画像を回転させる方向を選択する選択工程と、
   前記選択工程において選択された方向へ前記表示画像を回転させる回転処理工程と、
   前記回転処理工程において回転された表示画像を表示装置に表示する表示制御工程とを有することを特徴とする画像処理方法。
6. 表示画像を取得する取得工程と、
   被写体を撮像して検出用画像データを生成する撮像工程と、
   前記撮像工程において生成された検出用画像データの中から前記被写体の顔を検出する顔検出工程と、
   前記顔検出工程において検出された顔の傾きを検出する傾き検出工程と、
   前記顔検出工程において検出された顔を、前記傾き検出工程において検出された傾きにしたがってグループに分類する分類工程と、
   前記グループに含まれる顔の数に基づいて、前記取得工程において取得された表示画像を回転させる方向を選択する選択工程と、
   前記選択工程において選択された方向へ前記表示画像を回転させる回転処理工程と、
   前記回転処理工程において回転された表示画像を表示装置に表示する表示制御工程とをコンピュータに実行させることを特徴とするプログラム。

Images