JP2009267733A - 撮像装置および撮像制御方法 - Google Patents

Abstract

【課題】被撮影者が姿勢や表情を大きく変えずに合図を送ることができる撮像装置を提供する。
【解決手段】撮像手段（１１）と、前記撮像手段によって得られた画像において人物の目の位置情報を取得する目の位置情報取得手段（１２）と、前記目の位置情報取得手段によって得られた目の位置情報に基づいて目の開閉状態を認識する目の開閉状態認識手段（１３）と、前記目の開閉状態認識手段が認識した目の開閉状態が所定の開閉パターンを生じたかどうかを判定する開閉パターン認識手段（１４）と、前記開閉パターン認識手段において予め決められた開閉パターンが認識された場合、所定の処理を行う制御手段（１５）とを備える。
【選択図】図１

Description

本発明は、撮像装置に関する。本発明は、さらに、撮像制御方法にも関する。

今日、被写界を撮像素子によって撮像し、撮像された動画像や静止画像を処理して、磁気ディスクや不揮発性メモリなどの情報記録媒体に記録するムービーカメラやスチルカメラが知られている。

例えば、撮影者と被撮影者が同一の場合、シャッターボタンを押下してから実際にシャッタが切れて撮影が行われるまでの時間を設定することができるセルフタイマを用いて撮影することができる。しかしながら、セルフタイマを用いる場合、設定時間が短いと準備ができず、撮影時間が長いと待ち時間が長くなってしまうという課題があった。

被撮影者の意図するタイミングで撮影を行うためには、ケーブルレリーズ、エアレリーズ、電磁レリーズなどのレリーズ装置が用いられる。しかしながら、これらのレリーズ装置は、カメラとは別に持ち運ぶ必要があることや、撮影するまでのセッティングに時間がかかることなどから、利便性に課題があった。

そこで、特別なレリーズ装置等を使わずに、被撮影者が意図するタイミングで撮影できるようにすることが望まれている。

特許文献１および２では、被写体の動作や姿勢、表情などによって撮像装置を制御する方法が記載されている。

特開２００１−１１１８８１号公報 特開２００５−５７４１６号公報

しかしながら、特許文献１および２に記載の方法では、撮像装置を制御するためにユーザが姿勢を大きく変えたり、表情が制限されるといった課題があった。また、これらの方法を実現するために、撮像装置の構成を大きく変える必要があるという課題もあった。構成を大きく変えずにソフトウェアだけで実現しようとすれば、処理時間が長くなってしまうという課題もあった。

本発明は、このような実情に鑑みてなされたものであり、被撮影者が姿勢や表情を大きく変えずに合図を送ることができる撮像装置を提供する。

本発明の撮像装置は、撮像手段と、前記撮像手段によって得られた画像において人物の目の位置情報を取得する目の位置情報取得手段と、前記目の位置情報取得手段によって得られた目の位置情報に基づいて目の開閉状態を認識する目の開閉状態認識手段と、前記目の開閉状態認識手段が認識した目の開閉状態が所定の開閉パターンを生じたかどうかを判定する開閉パターン認識手段と、前記開閉パターン認識手段において予め決められた開閉パターンが認識された場合、所定の処理を行う制御手段とを備えることを特徴とする。

前記所定の処理は撮影であってもよい。

前記所定の処理は認証であってもよい。

前記認証は、顔認証を行って認証された人物において行われてもよい。

前記目の開閉状態認識手段は、目を中心とした一定の領域において空間周波数を抽出してコントラストを判別し、コントラストの強弱によって目の開閉状態を認識してもよい。

本発明の撮像装置によれば、被撮影者が姿勢や表情を大きく変える必要がなく合図を送ることができる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

図１は、本発明の撮像装置の構成の一例を示すブロック図である。撮像装置１は、例えば、デジタルスチルカメラまたはデジタルビデオカメラである。撮像装置１は、レンズによって結像される光を電気信号に変換して画像データを得るＣＣＤ（Charge-Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Silicon）等の撮像素子を備える撮像部１１と、撮像部１１が得た画像データにおいて人物の目の位置情報を取得する目の位置情報取得部１２と、目の位置情報取得部１２が取得した目の位置情報に基づいて目の開閉状態を認識する目の開閉状態認識部１３と、目の開閉状態認識部１３が認識した目の開閉状態のパターンを認識する開閉パターン認識部１４と、開閉パターン認識部１４が認識した開閉パターンが予め決められたパターンであるかどうかを判定し、予め決められたパターンである場合、撮像装置１のシャッタ等を制御して撮影用の画像データを生成する制御部１５と、撮影された画像データを不揮発性メモリ等に記憶する記憶部１６とを備える。

目の位置情報は、例えば、従来の撮像装置に搭載されている顔認識機能を利用して取得することができる。顔認識機能は、被写体人物の顔を自動的に認識し、認識された顔に露出やフォーカスを合わせる機能である。顔認識機能は、肌の色、輪郭、各パーツの位置関係などの情報から顔の位置を推定する。これまで、用途によって様々な顔認識アルゴリズムが提案されているが、現在主流となっているそのほとんどは目の位置関係を重要な情報として検出している。したがって、顔認識機能を搭載している従来の撮像装置の構成を大きく変更することなく、目の位置情報を取得することが可能である。このような従来の顔認識機能において目の位置情報を検出する方法としては、例えば、山本浩也他「顔を用いたバイオメトリクス認証」（http://www.mil.se.ritsumei.ac.jp/public/2006-03-09-yamamoto.pdf）に記載のものがある。この方法では、入力として与えられたRGB 成分から輝度成分に変換した画像に、人間の共通かつ安定した顔の特徴を利用して眉間候補領域を算出する６分割矩形フィルター（Six Segment Rectangle Filter : SSRを使用し、得られた眉間候補領域からラベルリング処理により重心を算出し、その座標を眉間候補点とする。次に、眉間候補点から真の眉間を算出するため、平均顔テンプレート（モデル顔）とのマッチングを行い、真の眉間を検出する。そして、眉間候補点周辺から瞳を検出する。

図２は、顔認識機能において抽出される顔領域における目の領域を示す図である。目を閉じている場合は、図３のようになる。

本発明の撮像装置は、被写体となる人物の目の開閉を認識し、予め決められた目の開閉パターンを検出した場合、撮影を行う。すなわち、被写体となる人物が合図を送ると撮影が行われる。合図として送られる目の開閉パターンは、撮像装置において予め決められておいてもよく、ユーザが設定可能であってもよい。このような開閉パターンは、例えば、素早く（所定の時間以内に）所定の回数（例えば３回）まばたきをする、所定の時間（例えば１秒）以上目を閉じる、所定の時間（例えば１秒）以上目を閉じた後所定の回数（例えば２回）まばたきをする、一方の目を開いたまま他方の目でまばたきをする、左右の目を交互に閉じる等であってもよい。

現在、多くの撮像装置にオートフォーカス機能が備わっている。撮像データにおいて空間周波数を抽出し、この空間周波数の高低によってコントラストの強弱を判別する手法が知られている。コントラスト検出式のオートフォーカス機能は、撮像データのコントラストの強弱を判別し、撮像画像の特定領域をフォーカス制御用の信号取得領域（空間周波数抽出領域）として設定し、その領域内のコントラストの強弱を評価してオートフォーカスを行う。例えば、特開平１０−２１３７３７号公報には、ビデオカメラの画像信号を入力する入力手段と、該画像信号の特定領域の高周波成分を抽出して評価値を生成する評価値算出手段と、該評価値に応じて上記ビデオカメラのフォーカスレンズ駆動部に与える指令値を算出する信号処理手段と、該指令値を該フォーカスレンズの駆動部に送出する出力手段とを備えたビデオカメラのオートフォーカス装置において、評価値ピークを探索する際に、上記評価値が連続的に低下したか否かを判定する逆走判定手段を設け、該逆走判定手段により逆走と判定されたとき探索方向を反転させることを特徴とする、ビデオカメラのオートフォーカス装置が開示されている。

このようなオートフォーカス機能によるコントラスト評価を、目の開閉状態の認識に利用することができる。被写体の目が閉じている状態では、図４（ａ）に示すように、目の領域内に存在するのは、大部分は肌と閉じたときのまつ毛である。したがってこの状態では、肌とまつ毛の境界でのコントラストが全体の大部分を占める。

図４（ｂ）のように目を開いている状態においても肌とまつ毛の境界は存在するが、さらに白目、黒目も存在し、コントラストはより複雑になる。白目と黒目の境界でのコントラスト値は肌とまつ毛の境界でのコントラスト値より大きくなることが推測されるため、全体のコントラスト値は目を閉じている状態よりも目を開いている状態のほうが大きくなる。したがって、コントラスト値の変化によって目の開閉状態を認識することができる。

まばたきを１回するときの時間に対するコントラストの変化の一例を図５のグラフに示す。図中５１が目を開いている状態であり、上述したように他の状態よりコントラスト値が大きい。その後の５３が目を閉じている状態であり、目を開いている状態５１よりもコントラスト値が小さくなる。

目を開いている状態５１から目を閉じている状態５３にかけての目を閉じようとしている状態５２では、まぶたが高速で動くことにより目の周辺でブレが生じるため、コントラスト値は最も小さくなる。フレームレートが高い場合のまばたきを１回するときの時間に対するコントラストの変化の一例を図６のグラフに示す。この場合、目を閉じようとしている瞬間も止まって捉えるため、ブレは生じず、図６のようになるが、少なくとも目を閉じている状態５３のコントラスト値が目を開いている状態５１のコントラスト値より大きくなることはない。

その後、目を閉じている状態５３から目を開こうとしている状態５４を経て目を開いた状態５５を認識する。このような一連のパターンを認識することによって、まばたきが生じたことを認識することができる。

図７は、本発明の撮像装置における合図による撮影の処理を説明するフローチャートである。ステップＳ１０１において、目の位置情報取得部１２は、撮像部１１が取得した画像データにおいて被写体の目の位置情報を取得し、目の開閉状態認識部１３に通知する。ステップＳ１０２において、目の開閉状態認識部１３は、被写体の目の開閉状態を認識し、開閉パターン認識部１４に通知する。開閉パターン認識部１４は、定められた合図、すなわち、被写体の目において所定の開閉パターンがあったかどうかを判定し、あった場合は制御部１５に通知してステップＳ１０４に進み、なかった場合はステップＳ１０２に戻って新たな目の開閉状態を認識する。ステップＳ１０４において、制御部１５は、撮像部１１が取得した画像データを記憶部１６に記憶し、処理を終了する。

本発明の撮像装置における目の開閉パターンの認識を、撮影の合図として用いるだけでなく、他の目的、例えば、認証にも用いることができる。人物の顔を認識し、認証に用いる技術が現在知られている。しかしながら、このような顔認証では、写真による成り済ましが問題となっている。目の開閉パターンによる認証を顔認証と組み合わせれば、認証の精度を上げることができる。

図８は、本発明の撮像装置における認証処理の一例を説明するフローチャートである。予め、認証されるべき人物の顔と合図となる眼の開閉パターンとを関連付けて撮像装置に登録しておく。ステップＳ２０１において、撮像部が撮像した画像データにおいて従来の技術により顔認識を行う。ステップＳ２０２において、認識された顔の中に認証すべき該当の人物がいるかどうかを判定し、いる場合はステップＳ２０３に進み、いない場合はステップＳ２０６に進む。ステップＳ２０３において、図５のフローチャートのステップＳ１０１、ステップＳ１０２と同様に、目の位置情報取得部が認識された人物の目の位置情報を取得し、取得した目の位置情報に基づいて目の開閉状態認識部が目の開閉状態を認識する。ステップＳ２０４において、開閉パターン認識部は、所定の時間内に予め登録された目の開閉パターンがあったかどうかを判定し、あった場合はステップＳ２０５において認証を行い処理を終了し、なかった場合はステップＳ２０６において認証エラーとして処理し、ステップＳ２０１に戻り、新たな認証処理を繰り返す。

以上説明したように、本発明によれば、画像において人物の目の位置を検出し、目の開閉状態を認識し、所定の目の開閉パターンの認識に応じて撮影を行うため、特別なレリーズ装置等を使わずに、被撮影者が姿勢や表情を大きく変える必要なく、被撮影者が意図するタイミングで撮影することができる。

また、目の開閉パターンによる合図を認証にも利用することができ、特に、顔認証と組み合わせることで、認証の精度を高めることができる。例えば、この認証によって特定の人物のみを撮影するようにすることができる。また、他の目的の認証に使用することもできる。

また、人物の目の位置の検出には従来の顔認識技術を、目の開閉状態の認識には従来のオートフォーカス技術を適用することができるため、従来の撮像装置の構成を大幅に変更することなく、本発明の撮像装置を実現することができる。

本発明の撮像装置を携帯電話として実施することもできる。図９は、携帯電話として実施した本発明の撮像装置の外観を示す図である。本例の携帯電話は、第１の筐体２１と第２の筐体２２をヒンジ部２３で連結した一般的なクラムシェル型のものであり、第１の筐体２１と第２の筐体２２を閉じた状態で内側になる面に操作部２４と表示部２５が配置され、表示部２５と反対側の面にレンズ２６が配置される。操作部２４は、さらに第１の筐体２１、第２の筐体２２の側面にも配置されていてもよい。携帯電話には、図１を参照して説明した各部が内蔵されているものとする。

撮影を行う際、ユーザは、操作部２４における撮影機能の起動ボタンを押下し、第１の筐体２１と第２の筐体２２を開いた状態で、レンズ２６を被写体の方に向け、表示部２５に表示される画面を見て構図などを確認しながら、操作部２４におけるシャッタボタンを押下することによって撮影を行う。

このように携帯電話として実施した場合でも、目の開閉パターンによる合図によって、撮影、又は認証を行うことが可能である。

また、本例では本発明の撮像装置をクラムシェル型の携帯電話として実施した場合について説明したが、例えばストレートバー型等の他の形状の携帯電話として実施することももちろん可能である。

本発明は、撮像装置に利用可能である。

本発明の撮像装置の構成の一例を示すブロック図である。 顔認識機能において抽出される顔領域における目の領域を示す図である。 顔認識機能において抽出される顔領域における目の領域を示す図である。 （ａ）は目を閉じた状態を示す図であり、（ｂ）は目を開いた状態を示す図である。 まばたきを１回するときの時間に対するコントラストの変化の一例を示すグラフである。 まばたきを１回するときの時間に対するコントラストの変化の一例を示すグラフである。 本発明の撮像装置における合図による撮影の処理を説明するフローチャートである。 本発明の撮像装置における認証処理の一例を説明するフローチャートである。 携帯電話として実施した本発明の撮像装置の外観を示す図である。

符号の説明

１ 撮像装置
１１ 撮像部
１２ 目の位置情報取得部
１３ 目の開閉状態認識部
１４ 開閉パターン認識部
１５ 制御部
１６ 記憶部
２１ 第１の筐体
２２ 第２の筐体
２３ ヒンジ部
２４ 操作部
２５ 表示部
２６ レンズ

Claims (5)

1. 撮像手段と、
   前記撮像手段によって得られた画像において人物の目の位置情報を取得する目の位置情報取得手段と、
   前記目の位置情報取得手段によって得られた目の位置情報に基づいて目の開閉状態を認識する目の開閉状態認識手段と、
   前記目の開閉状態認識手段が認識した目の開閉状態が所定の開閉パターンを生じたかどうかを判定する開閉パターン認識手段と、
   前記開閉パターン認識手段において予め決められた開閉パターンが認識された場合、所定の処理を行う制御手段とを備えることを特徴とする撮像装置。
2. 前記所定の処理は撮影であることを特徴とする請求項１に記載の撮像装置。
3. 前記所定の処理は認証であることを特徴とする請求項１に記載の撮像装置。
4. 前記認証は、顔認証を行って認証された人物において行われることを特徴とする請求項３に記載の撮像装置。
5. 前記目の開閉状態認識手段は、目を中心とした一定の領域において空間周波数を抽出してコントラストを判別し、コントラストの強弱によって目の開閉状態を認識することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。

Images