JP2011019013A - 撮像装置、領域検知方法、及びプログラム - Google Patents

Abstract

【課題】動物の正面顔写真を容易に撮影可能な撮像装置、領域検知方法、及びプログラムを提供することを課題とする。
【解決手段】本発明に係る撮像装置は、被写体の顔画像を撮像する撮像装置であって、
被写体を含む画像データを取得する取得手段と取得された画像データに、平均差分フィルタを実行するフィルタ手段と、平均差分フィルタが実行された画像データから、被写体の顔領域を検出する顔領域検出手段と、検出された被写体の顔領域に対して少なくとも焦点を合わせる制御を行なって、被写体像を撮像する撮像手段とを有し、顔領域検出手段は、平均差分フィルタが実行された同被写体種の顔画像データから予め作成される特徴量を用いて、被写体の顔領域を検出する。
【選択図】図６

Description

本発明は、入力画像から主要被写体である動物の顔位置を検出し、動物の顔位置に対して焦点及び露出を合わせる技術の分野に関する。

近年、犬や猫といった動物（ペット）を飼う家庭が増加傾向にあることは周知の事実であるが、併せてデジタルカメラ等の普及に伴い、当然ながらペットをデジタルカメラで撮影し画像（写真）として記録しておきたいという要請がある。しかし実際、ペットをうまく撮影することは必ずしも容易でない。色々なショットの中でも、ペットの顔の正面写真を撮影することは特に難易度が高い。人の場合と違い、ペットはカメラに向かって顔（正面）を思うように向いてくれないからである。

ところで従来から、デジタルカメラ等の撮像装置で、人物の顔を検知することで人物の顔に合わせて、焦点、露出、ホワイトバランス等を決定する技術が知られている。例えば、特許文献１には、人の顔に合わせたきれいな写真を撮る目的で、画面内にある人物の顔の位置を検出し、人物の顔に焦点を合わせ、人物の顔に最適な露出で撮影する撮影装置が開示されている。デジタルカメラ等の撮影装置で人物を撮影する場合、主被写体である人物の顔に最適な露出で撮影するためには、主被写体である人物の顔に焦点を合わせること（つまり的確に人物の顔の位置の検出すること）が求められるところ、特許文献１に記載される発明は、顔領域検出の対象となるフレームの画像に対してＡＦ／ＡＥ／ＷＢ評価値検出とを行うことができるため、人物の顔への焦点調節と露出制御を従来よりも精度よく行い、人物の動きや手振れに強い撮影装置を提供することができる。

ここで、例えば上述のようなデジタルカメラにより、ペットの顔の正面写真を撮影する場合、ＬＣＤモニタ内でペットの顔位置が検出されたときにシャッターを押下すれば、ペットの顔の正面写真をうまく撮影できるように思われる。しかしながら、従来の顔検知を用いたデジタルカメラは、あくまで人物の顔の検知することが想定されているので、ペットの顔を正確に検知することは難しく、ゆえに、ペットの顔に焦点を合わせ、そのペットの顔に最適な露出等で上手に撮影することは、困難であった。つまり、画像内から人の顔を認識することで顔を検知しているので、ペットの顔を認識できない。これは、ペットの顔は、人のそれと異なる上、また特に、白、黒、茶、斑模様、縞模様等、その顔の色が非常に多様であるからである。またペットは顔のみならず、体部分にも同様の色や模様を持っている場合も少なくない。従って、従来の顔検知技術を用いたデジタルカメラでは、色や模様に引きずられてしまい、画像内からペットの顔を適切に認識することができなかった。

また、ペットの顔付近をＬＣＤモニタ内で狙ってあて続け、仮にペットの顔が検知されたとしても、ペットはカメラに向かって顔を正面方向に留めてくれないので、シャッターを押下したときには既に横を向いてしまっていたりと、素早く動くペットをまして正面からうまく撮影することは非常に困難であった。

本発明では上記のような問題に鑑みて、動物の正面顔写真を容易に撮影可能な撮像装置、領域検知方法、及びプログラムを提供することを目的とする。より詳細には、従来型のデジタルカメラを改良し、動物の顔画像（正面顔画像）を検知して、ユーザが上手にペットの正面顔写真を撮れるようなデジタルカメラを提供する。

上記課題を解決するため、本発明に係る撮影装置は、被写体の顔画像を撮像する撮像装置であって、被写体を含む画像データを取得する取得手段と取得された画像データに、平均差分フィルタを実行するフィルタ手段と、平均差分フィルタが実行された画像データから、被写体の顔領域を検出する顔領域検出手段と、検出された被写体の顔領域に対して少なくとも焦点を合わせる制御を行なって、被写体像を撮像する撮像手段とを有し、前記顔領域検出手段は、平均差分フィルタが実行された同被写体種の顔画像データから予め作成される特徴量を用いて、被写体の顔領域を検出することを特徴とする。

また上記課題を解決するため、前記撮影装置において、前記フィルタ手段は、前記取得手段により取得された画像データに対し、平均輝度値を取得する対象の領域を、縦長又は横長の矩形ブロックに設定して平均差分フィルタを実行し、前記顔領域検出手段は、平均差分フィルタが実行された前記矩形ブロックから、被写体の顔領域を検出することを特徴とする。

また上記課題を解決するため、前記撮影装置において、前記顔画像データは、顔正面の画像であって、前記顔領域検出手段により顔正面からの被写体の顔領域が検出され、前記撮像手段により顔正面からの被写体像が複数撮像されたとき、前記顔正面からの被写体の顔領域の対称性に基づいて、撮像された複数の被写体像の順序付けを行う順序付手段と を有することを特徴とする。

なお、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、などに適用したものも本発明の態様として有効である。

本発明によれば、動物の正面顔写真を容易に撮影可能な撮像装置、領域検知方法、及びプログラムを提供することができる。

本発明を実施するにあたっての全体構成例を示す。 本発明の実施形態に係るデジタルカメラ２の外観を示す図である。 本発明の実施形態に係るデジタルカメラ２のハードウェアブロック図である。 本発明の実施形態に係る情報処理装置１及びデジタルカメラ２の主要機能構成を示す機能ブロック図である。 学習データの一例を示す図である。 平均差分フィルタ処理画像の一例を示す図である。 情報処理装置１及びデジタルカメラ２の動作を説明するフローチャートである。 画像データを複数種類の矩形サイズで平均差分フィルタを実行する様子を示す図である。 三角領域の左右対称性を説明する図である。

以下、本発明を実施するための形態を各実施形態において図面を用いて説明する。なお本発明の撮像装置をデジタルカメラに適用した例を以下に示す。また被写体としての動物を、犬や猫といったペットに適用した例を示す。

（構成）
はじめに、具体的な発明の内容を説明する前に、本発明を実施するにあたっての構成について説明する。図１は、本発明を実施するにあたっての全体構成例を示す。図には、ハードウェア構成として、情報処理装置１及びデジタルカメラ２が示されている。

学習データは、複数のペットの顔画像（正面顔画像）のサンプル画像であり、情報処理装置２は、ＰＣ（Personal Computer）やサーバ装置等でよく、学習データからペットの顔を学習する装置である。学習は予め行っておき、その学習結果（特徴データ）は、例えばデジタルカメラ２の工場出荷時等に、デジタルカメラ２内に保存される。その後デジタルカメラ２は、実際にペット撮影の際、学習結果を利用して、ペットの正面顔写真の認識（検出）を行い、正面顔写真を撮影する。

（デジタルカメラ）
図２は、本発明の実施形態に係るデジタルカメラ２の外観を示す図であり、図３は本発明の実施形態に係るデジタルカメラ２のハードウェアブロック図である。本発明に係るデジタルカメラは、後述するようにその機能（画像処理）の点で特徴的であるため、本発明の実施形態に係るデジタルカメラの外観や内部のハードウェア等については、従来型のデジタルカメラを利用することができる。以下、概略的に説明する。

図２に示されるように、デジタルカメラ２は、写真撮影時に使用される撮影レンズ、光学ファインダ、フラッシュ、ＬＣＤモニタを備える。また撮影者が撮像に関する動作指示を行うための、電源キー、撮影を指示するレリーズキー、撮影／再生切り替えダイアル、光学ズーム及び電子ズーム倍率を設定するズームボタン、露光モード選択や記録サイズ選択やその他の各種設定を外部から行うための入力手段を備えている。ＬＣＤモニタには電子ファインダ機能であるモニタリング映像（例えばペットのモニタリング映像）が表示される。

次に図３に示されるデジタルカメラのブロック図の各部についての説明をする。レンズユニット内にあるレンズ（ズーム及びフォーカスレンズ）は、モータドライバ１５によって駆動される。モータドライバ１５は、信号処理ＩＣの内部に含まれるＣＰＵ（Central Processing Unit）１３５によって制御される。

撮像部は、ＣＣＤ１１、ＣＣＤ１１を駆動するＴＧ（タイミング信号発生器）１２４、ＣＣＤからの出力データから画像信号をサンプリングするＣＤＳ１２１、ＡＧＣ（アナログゲインコントローラ）１２２、ＣＣＤ１１からの出力電気信号（アナログ画像データ）をデジタル信号に変換するＡ／Ｄ変換器１２３から構成されている。ここで、ＣＤＳ１２１、ＡＧＣ１２２、Ａ／Ｄ変換器１２３及びＴＧ１２４をＡＦＥ（アナログフロントエンド）１２という。

撮像部からのデジタル信号は、信号処理ＩＣ１３に印加されて、信号処理される。信号処理ＩＣ１３は、メモリコントローラ１３１、ＣＣＤＩ／Ｆ部１３２、画像前処理部１３３、リサイズ・フィルタ部１３４、システム制御を行うＣＰＵ１３５、表示Ｉ／Ｆ部１３６、JPEGコーデック部１３７、カードコントローラ部１３８、通信Ｉ／Ｆ部１３９から構成されている。

ＣＣＤＩ／Ｆ部１３２は、画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）の出力を行い、その同期信号に合わせてＡ／Ｄ変換器１２３から入力されるデジタルＲＧＢ信号を取り込む。

モニタリング動作時は、ＲＧＢデータを画像前処理部１３３に送り、画像前処理部１３３では、ＲＧＢデータをＹＵＶデータに変換し、さらに、リサイズ・フィルタ部１３４で表示に適したサイズに変換した画像データがＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１７のＹＵＶデータ領域１７３に出力される。

ＳＤＲＡＭ１７は、ＹＵＶデータ領域１７３以外に、ＲＡＷ−ＲＧＢデータ領域１７２及びＪＰＥＧデータ領域１７４を有している。ＹＵＶデータ領域１７３には、ＹＵＶ形式の画像データが記憶され、ＲＡＷ−ＲＧＢデータ領域１７２には、撮像部からの生のＲＧＢ形式の画像データが記憶され、ＪＰＥＧデータ領域１７４には、ＪＰＥＧ形式のデータが記憶される。

モニタリング動作に続く、静止画撮影時は、ＣＣＤ１１の全画素を複数回に分けて転送が行われるため、各フィールドデータはメモリコントローラ１３１経由でＳＤＲＡＭ１７のＲＡＷ−ＲＧＢデータ領域１７２に記憶される。

画像前処理部１３３は、システム制御を行うＣＰＵ１３５から設定された画像処理パラメータに基づき、ＣＣＤＩ／Ｆ１３２から送られてきたＲＧＢデータ、又は、ＳＤＲＡＭ１７に一時保管されたＲＧＢデータをＹＵＶデータに変換処理して出力する。

リサイズ・フィルタ部１３４は、ＹＵＶデータとＲＧＢデータを入力とし、記録するために必要なサイズへのサイズ変換、サムネイル画像へのサイズ変換、表示に適したサイズへのサイズ変換などを行う。また、リサイズ・フィルタ部１３４は、リサイズ倍率を１倍に設定することで、リサイズを行わず、フィルタ機能だけ動作させることができる。フィルタの設定としては、空間周波数が高い成分（画像のエッジ成分）だけを取り出すハイパスフィルタや、空間周波数が低い成分だけを取り出して平滑化をするローパスフィルタが設定可能である。

JPEGコーデック部１３７は、記録時はＳＤＲＡＭ１７のＹＵＶデータ領域１７３に書き込まれたＹＵＶ形式の画像データを圧縮して、JPEG符号化されたデータを出力し、再生時は、メモリカード２０より読み出したJPEG符号化データを、ＹＵＶ形式の画像データに伸張して出力する。

カードコントローラ部１３８は、ＣＰＵ１３５の指示により、メモリカード２０内データのＳＤＲＡＭへの読み出しと、ＳＤＲＡＭ１７上のデータのメモリカードへ２０の書き込みを行う。

全体制御部であるＣＰＵ１３５は、起動時に書き換え可能なＲＯＭ１８に格納されたプログラム及び制御データ（本発明に係る画像処理プログラム、学習結果を含む）をＳＤＲＡＭ１７にロードし、そのプログラムコードに基づいて全体を制御する。ＣＰＵ１３５は、操作部１４のボタン等による指示、又は図示しないリモコン等の外部動作指示、又はパーソナルコンピュータ等の外部端末からの通信による通信動作指示に従い、撮像動作制御、画像処理装置における画像処理パラメータの設定、メモリコントロール、表示制御を行う。

通信Ｉ/Ｆ部１４０は、ＵＳＢ（Universal Serial Bus）回線２１を介して、ＰＣ（Personal Computer）やプリンタなどとの通信によって、画像ファイルの送受信を行う。また、ＵＳＢ回線２１を介して、ＣＰＵ１３５の制御プログラムのバージョンアップも、ＰＣからプログラムを受信することで実現している。なお、通信Ｉ/Ｆ部１４０は、ＵＳＢ回線以外の回線と接続するようにしてもよい。

操作部１４は、図２に示される各種ボタンやスイッチに相当し、撮影者が撮像装置の動作指示を行うための入力手段を備える。

（機能）
図４は、本発明の実施形態に係る情報処理装置１及びデジタルカメラ２の主要機能構成を示す機能ブロック図である。情報処理装置１は、画像前処理部２０１及び学習部２０２を含む構成である。またデジタルカメラ２は、画像取得部３０１、画像前処理部３０２、顔領域検出部３０３、写真撮影部３０４、撮影写真順序付部３０５、及び撮影写真提示部３０６を含む構成である。詳細は処理動作において説明するので、以下は簡単に各機能部の説明を行う。

情報処理装置１の画像前処理部２０１は、学習部２０２による特徴量の学習（算出）の前処理として、入力された学習データに対して平均差分フィルタを実行する。上述したように、入力された学習データは複数のペットの顔画像のサンプル画像であるが、ペットの顔画像は、正面顔画像が望ましく、具体的にペットの両目、鼻（又は口）を含む矩形領域を切り出したものを使用する（例えば図５参照）。両目、鼻（又は口）の特徴量に基づいてペットの顔を検出するためである。そして画像前処理部２０１は、学習部２０２による特徴量の学習（算出）の前処理として、入力された学習データに対して平均差分フィルタを実行することにより、ペットの色が黒かったとしても、周辺（近傍）画素の平均輝度値との差分をとることで、両目、鼻（又は口）が強調され黒く出力されるようにする（例えば図６参照）。詳細は再度後述する。

学習部２０２は、画像前処理部２０１により差分フィルタが実行された学習データから特徴量（特徴データ）を学習（作成）する。特徴量は特徴データとしてデジタルカメラ２の顔検出処理時に使用される。この学習部２０２は、いわば顔検出に必要なデータを得るための学習フェーズの機能を担い、後述の顔領域検出部３０３は実際に検出作業を行う検出フェーズの機能を担うといえる。具体的な特徴量の学習方法としては、「Paul Viola and Michael J. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE CVPR, 2001.」に記載される方法がよく知られており、このＨａａｒ（Ｈａａｒ−Ｌｉｋｅ）特徴量が本実施形態においてもこれを適用可能である。Ｈａａｒ型の特徴量は、矩形方フィルタを用いて隣接する画像中の矩形領域間の明度差を求めそれを特徴量として用いるものである。

続いてデジタルカメラ２の画像取得部３０１は、被写体を含む画像データを取得する。具体的に、画像データは、撮像部からのデジタル信号に基づくデジタルＲＧＢデータであり、またもしくはＬＣＤモニタへのモニタリングされる画像データでもよい。この場合、画像前処理部１３３により、ＲＧＢデータをＹＵＶデータに変換し、さらに、リサイズ・フィルタ部１３４で表示に適したサイズに変換され、ＳＤＲＡＭ１７のＹＵＶデータ領域１７３に出力された画像データである。

画像前処理部３０２は、取得された画像データに平均差分フィルタを実行する（フィルタ手段）。平均差分フィルタを実行することにより、画像データ内にペットが写っておりそのペットの色が黒かったとしても、周辺画素の平均輝度値との差分をとることで、両目、鼻（又は口）が強調され黒く出力される。即ち、顔領域検出部３０３による顔領域を検出し易くするためである。なお取得された画像データは複数種類の矩形サイズに分割してから、それぞれの矩形ブロックに対して平均差分フィルタを実行する。この点再度後述する。

顔領域検出部３０３は、差分フィルタが実行された画像データから被写体（例えばペット）の顔領域を検出する。顔検出方法は、上述したように、情報処理装置１の学習部２０２により学習された特徴量を使用して、パターンマッチングの手法を用いて行う。検出処理では、検出窓といわれる任意のサイズ（上述の矩形サイズに対応）ごとに画像を分割し、検出窓に対して順に特徴パターンを当てはめて特徴量を計算する。また顔領域のサイズは不明なので、サイズの異なる顔領域も検出できるよう、複数のサイズで特徴量の計算を行う。具体的な顔領域検出方法としては、上述の「Paul Viola and Michael J. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE CVPR, 2001.」に記載される方法を使用する。

写真撮影部３０４は、顔領域検出部３０３により被写体（例えばペット）の顔領域が検出された場合、顔領域に対して焦点、露出、ホワイトバランスなどを合わせる自動（オート）制御を行なって被写体像を撮影（撮像）する。なお、本実施形態のデジタルカメラ２は、連写モードを搭載し、１枚のみならず連続的に複数の写真を撮影することができる。

撮影写真順序付部３０５は、連写モードで複数枚の写真が撮影された場合、撮影写真の提示すべき順序付けを行う。具体的には、被写体が最もよく正面から撮れている写真から順に順序付けを行う。連写モードで複数枚の写真が撮影されていない場合、撮影された写真は１枚であるので、当該機能部は使用されない。

撮影写真提示部３０６は、連写モードで複数枚の写真が撮影された場合、撮影写真順序付部３０５により順序付けされた順に複数の撮影写真を提示する。なお、連写モードで複数枚の写真が撮影されていない場合、撮影された写真は１枚であるので、撮影写真提示部３０６は、その撮影写真を提示する。

以上、本発明を実施するための情報処理装置１及びデジタルカメラ２の一実施形態の構成について説明を行った。続いて以下、情報処理装置１及びデジタルカメラ２の動作について説明していく。デジタルカメラ２の上記機能部は、実際にはＣＰＵ１３５がＲＯＭ１８に格納されたプログラム(図３)を実行することにより実現される。

(処理動作)
図７は、情報処理装置１及びデジタルカメラ２の動作を説明するフローチャートである。適宜図面を参照しながら、フローチャートに沿って、上述の各機能部と対応させながら処理動作について説明していく。

はじめに情報処理装置１は、上述したように予め学習データ（サンプル画像）から、顔検出処理時に使用される特徴データを作成する動作を行う。情報処理装置１は、ペットの顔画像（例えば、両目、鼻（又は口）を含む矩形領域）を学習データとして入力する（Ｓ７０１）。

画像前処理部２０１は、特徴量の学習（算出）の前処理として、入力された学習データに対して平均差分フィルタを実行する(Ｓ７０２)。入力された学習データに対して平均差分フィルタを実行することにより、ペットの色が黒かったとしても、周辺（近傍）画素の平均輝度値との差分をとることで、両目、鼻（又は口）が強調され黒く出力されるようにするためである。ここで再び図６を参照する。（ａ）には白猫の例が示され、（ｂ）には茶系色の猫の例が示されている。平均差分フィルタ処理前はそれぞれ毛色が異なる猫であるが、平均差分フィルタ処理後はいずれも、特に（ｂ）茶系色の猫の両目、鼻（又は口）が強調された画像となっている。このように同じ猫でも毛色は様々であるので、顔領域検出において両目、鼻（又は口）が非常に特定しにくいところ、平均差分フィルタ処理によって、これらの特定を容易にすることが可能となる。

平均差分フィルタ処理は、画像データ内の画素について、
｜平均輝度値 - 注目画素の輝度値|
つまり、平均輝度値と注目画素の輝度値との差の絶対値を算出することにより行うことができる。平均輝度値は、注目画素（ある１画素）の近傍の画素の輝度の平均値をとったものである。近傍の画素は、例えば直接隣接する画素３×３ブロックでとればよいし、処理負担を軽減させる場合５×５としてもよい。なお、平均輝度値を算出し易いよう、予め積分画像（インテグラルイメージ）を作成しておくとよい。積分画像は、各画素ブロックの輝度値の和を累積的に算出して作成されるものであるので、例えばある画素３×３ブロックの平均輝度値を算出する場合、画素３×３内の右下の画素ブロックの輝度値（累積和）から左上の画素ブロックの輝度値（累積和）を差し引いて９で除算すれば、高速にその画素３×３ブロックにおける平均輝度値を算出できる。

学習部２０２は、差分フィルタが実行された学習データから特徴量を学習する（Ｓ７０２）。特徴量は特徴データとして作成され、デジタルカメラ２の顔検出処理時に使用される。よって特徴データはデジタルカメラ２に保存される（Ｓ７０３）。

次に、ユーザがデジタルカメラ２を用いて実際に被写体であるペットを撮影する際のフローを説明する。ユーザがペットにレンズを向けると、モニタリング動作が開始されＬＣＤモニタにペットのモニタリング映像が表示される。このとき画像取得部３０１は、レンズから画像データを取得する（Ｓ７１０）。なおここで、少なくともペットの全体又は一部分は、ＬＣＤモニタ内に収まって表示されているものとする。またここで、これから被写体としてペットを撮影する意思表示として、ユーザは所定の操作（例えばペット顔撮影モード開始の操作）を行うことができる。

画像前処理部３０２は、取得された画像データに対して、上述の平均差分フィルタを実行する（Ｓ７１１）。平均差分フィルタ処理については、画像前処理部２０１と同様の上述の処理でよいので説明は省略する。なお取得された画像データに対して、平均輝度値を取得する対象の領域（対象平均領域）を複数種類の矩形サイズで設定し、平均差分フィルタを実行する。矩形サイズは、例えば上述の画素３×３ブロック、５×５ブロック、又はもう少し大きく取って１０×１０ブロックや２０×２０ブロック等である。このようにするのは、画像内でペットの顔領域のサイズは大きく写っている場合もあれば小さく写っている場合もあるので、異なるサイズの顔領域を検出する必要があるからである。またこの矩形の形状は必ずしも正方形に限られない。例えば、縦長の矩形、又は横長の矩形とすることもできる。ペットの縞（しま）模様に対応させるためで、縦長の矩形とすれば縦縞模様のペットの顔領域検出精度を、横長の矩形とすれば横縞模様のペットの顔領域検出精度を高めることができる。この場合の矩形サイズは、例えば１０×２０ブロック（横長の矩形）や２０×１０ブロック（縦長の矩形）等である。図８は、画像データを複数種類の矩形サイズで平均差分フィルタを実行する様子を示す図である。図中、複数種類の矩形サイズを同時に示しているが、各矩形サイズごとに対象平均領域を設定し、平均差分フィルタを実行する。この図においては、縦長の矩形（ａ）によって平均差分フィルタを実行した画像から、顔領域が検出される可能性が最も高いと予想される。

そして顔領域検出部３０３は、差分フィルタが実行された画像データから特徴データに基づいてペットの顔領域の検出を試みる。画像内にペットの顔（正面）があるか否かを検索するのである。顔検出方法は、上述したように、学習された特徴量を使用して、順に、矩形（検出窓）とのパターンマッチングの手法を用いて行う。

ペットの顔領域が検出されなかった場合、ペットが正面を向いている画像を取得できなかったということになるので、その画像データを破棄し、再びレンズから新たな画像データの取得を行う（Ｓ７１０）。このように何度かペットの顔領域の検出の試みが繰り返される（Ｓ７１０〜Ｓ７１３）。所定時間経過後もなおペットの顔領域の検出されない場合はその旨ユーザに通知する。

またあるタイミングで、ペットが正面（レンズ方向）を向いたことにより、ペットの顔領域が検出されると、写真撮影部３０４は、撮影前に連写モードに設定されているか否かの判定を行う（Ｓ７１４）。連写モードに設定されていない場合、写真撮影部３０４は、検出されたペットの顔領域に対して焦点、露出、ホワイトバランスなどを合わせる自動（オート）制御を行なって被写体像を１枚撮影（撮像）する。そして撮影写真提示部３０６は、例えばＬＣＤモニタを介して撮影された撮影写真をユーザに提示する（Ｓ７１６）。

一方、連写モードに設定されている場合、写真撮影部３０４は、検出されたペットの顔領域に対して焦点等を合わせる自動制御を行なって被写体像を複数枚撮影する（Ｓ７１７）。

そして撮影写真順序付部３０５は、連写モードにより撮影された複数枚の撮影写真について、ユーザに提示すべき順序付けを行う。まず各撮影写真につき、検出された顔領域内から顔の三角領域のエッジ方向を抽出し(Ｓ７１８)、エッジ方向により左右対称性を判断（計算）する(Ｓ７１９)。ここで顔の三角領域とは、左目、右目、鼻（又は口）の三点を結んで形成される領域をいうものとする。最も対称度が高い撮影写真は、ペットが正面を向いている可能性が最も高いといえるので、撮影写真順序付部３０５は、連写モードにより複数撮影された撮影写真の中から対称性（対称度）が高い順に撮影写真の順序付けを行う。図９は、三角領域の左右対称性を説明する図である。（ａ）は、エッジ方向から高い左右対称性を有すると判断され、一方（Ｂ）は、エッジ方向から低い左右対称性を有すると判断される。

そして撮影写真提示部３０６は、順序付けに従って左右対称性の高い順に、例えばＬＣＤモニタを介して撮影された撮影写真をユーザに提示する（Ｓ７２０）。これにより、撮影結果が良好な順に撮影写真を並び替え、これをユーザに提示することができる。

（総括）
以上のように、本発明の実施形態に係る撮像装置（例えばデジタルカメラ）は、画像内から顔領域を検出する際、対象画像に平均差分フィルタを施してから顔領域の検出を行う。例えば犬や猫といった動物は、多様な色の顔を持っているので、人物の顔領域を検出可能な従来型の撮像装置で動物の顔領域を検出する場合、顔領域認識において色や模様に引きずられてしまい、動物の顔領域を画像内から適切に認識することが困難であった。本発明の実施形態に係る撮像装置によれば、多様な色の顔の顔領域を検出する場合、平均差分フィルタにより顔領域認識において色や模様に引きずられることなく、動物の顔領域を画像内から適切に認識することができる。

また、動物の顔は、色が多様であるのみならず、縞模様を有する特殊な場合も想定される。縞模様は顔領域検出の精度低下を引き起こす可能性があるところ、本発明の実施形態に係る撮像装置は、対象画像を縦長の矩形又は横長の矩形に分割してから、学習された特徴量を使用して、矩形（検出窓）とのパターンマッチングの手法を用いて行うので、動物の顔領域検出精度を高めることができる。また、連写モードにより複数の撮影写真が撮影した場合、動物が正面を向いている可能性が高いものからユーザに提示できるので、撮影結果が良好な順に撮影写真を確認することができる。

以上本発明によれば、ペットの正面顔写真を容易に撮影可能な撮像装置、領域検知方法、及びプログラムを提供することが可能となる。

なお、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、本発明による主要被写体は、犬や猫といったペットに限られず、多様な色の顔を持っている動物全般に対して本発明の適用が可能である。

１ 情報処理装置
２ デジタルカメラ
２０１ 画像前処理部
２０２ 学習部
３０１ 画像取得部
３０２ 画像前処理部
３０３ 顔領域検出部
３０４ 写真撮影部
３０５ 撮影写真順序付部
３０６ 撮影写真提示部

特許第４１５４４０号

Claims (7)

1. 被写体の顔画像を撮像する撮像装置であって、
   被写体を含む画像データを取得する取得手段と
   取得された画像データに、平均差分フィルタを実行するフィルタ手段と、
   平均差分フィルタが実行された画像データから、被写体の顔領域を検出する顔領域検出手段と、
   検出された被写体の顔領域に対して少なくとも焦点を合わせる制御を行なって、被写体像を撮像する撮像手段とを有し、
   前記顔領域検出手段は、平均差分フィルタが実行された同被写体種の顔画像データから予め作成される特徴量を用いて、被写体の顔領域を検出すること、
   を特徴とする撮像装置。
2. 前記フィルタ手段は、前記取得手段により取得された画像データに対し、平均輝度値を取得する対象の領域を、縦長又は横長の矩形ブロックに設定して平均差分フィルタを実行し、
   前記顔領域検出手段は、平均差分フィルタが実行された前記矩形ブロックから、被写体の顔領域を検出すること、
   を特徴とする請求項１に記載の撮像装置。
3. 前記顔画像データは、顔正面の画像であって、
   前記顔領域検出手段により顔正面からの被写体の顔領域が検出され、前記撮像手段により顔正面からの被写体像が複数撮像されたとき、前記顔正面からの被写体の顔領域の対称性に基づいて、撮像された複数の被写体像の順序付けを行う順序付手段と、
   を有することを特徴とする請求項１又は２に記載の撮像装置。
4. 被写体の顔画像を撮像する撮像装置における領域検出方法であって、
   前記撮像装置が、
   被写体を含む画像データを取得する取得手順と
   取得された画像データに、平均差分フィルタを実行するフィルタ手順と、
   平均差分フィルタが実行された画像データから、被写体の顔領域を検出する顔領域検出手順と、
   検出された被写体の顔領域に対して少なくとも焦点を合わせる制御を行なって、被写体像を撮像する撮像手順とを有し、
   前記顔領域検出手順は、平均差分フィルタが実行された同被写体種の顔画像データから予め作成される特徴量を用いて、被写体の顔領域を検出すること、
   を特徴とする領域検出方法。
5. 前記フィルタ手順は、前記取得手順により取得された画像データに対し、平均輝度値を取得する対象の領域を、縦長又は横長の矩形ブロックに設定して平均差分フィルタを実行し、
   前記顔領域検出手順は、平均差分フィルタが実行された前記矩形ブロックから、被写体の顔領域を検出すること、
   を特徴とする請求項４に記載の領域検出方法。
6. 前記顔画像データは、顔正面の画像であって、
   前記顔領域検出手順により顔正面からの被写体の顔領域が検出され、前記撮像手順により顔正面からの被写体像が複数撮像されたとき、前記顔正面からの被写体の顔領域の対称性に基づいて、撮像された複数の被写体像の順序付けを行う順序付手順と、
   を有することを特徴とする請求項４又は５に記載の領域検出方法。
7. 請求項４ないし６何れか一項に記載の領域検出方法を、コンピュータに実行させるためのプログラム。

Images