JP2005197914A - 顔画像認識装置及びそれを備えたデジタルカメラ - Google Patents

Abstract

【課題】 高速で信頼性の高い顔画像認識を行うことができる顔画像認識装置及びそれを備えたデジタルカメラを提供する。
【解決手段】 顔画像認識装置２は、撮像手段３と顔位置特定手段４と顔パターン検出手段５とを備える。撮像手段３は、被写体を撮影して赤外線画像データＰｉ及び可視光画像データＰｖを生成する。顔位置特定手段４は、赤外線画像データＰｉに基づき、画面内における人物の顔画像に相当するデータ領域を特定する。顔パターン検出手段５は、このデータ領域に対応して可視光画像データＰｖ中に顔画像領域を割り当てるとともに、この顔画像領域の画像データが人物の顔パターンに相当するか否かを検出する。また、デジタルカメラに顔画像認識装置２を組み込み、顔画像領域の画像データが人物の顔パターンに相当する場合に、人物の顔画像の撮影に適した所定の撮影準備処理を行うようにする。
【選択図】 図１

Description

本発明は、撮影された画像の中から人物の顔画像を認識する顔画像認識装置及びそれを備えたデジタルカメラに関するものである。

人の入出管理、現金の自動支払い、自動券売などを行う機器や、パソコン等のＯＡ機器において、入力されたパスワードの照合による個人照合が行われている。しかし、このパスワードを各個人が覚えることは個人にとって負担が大きく、また、このパスワードは他人に不正使用されてしまうこともある。このため、近年、より信頼性が高く個人に負担をかけることのない個人照合の技術が求められており、あまり特殊な装置を使用しないものとして画像認識による技術が注目されている（例えば、特許文献１参照）。

これは、例えば、被験対象の個人の顔を可視光カメラで撮影し、得られた画像データから顔の位置を抽出して顔画像に相当する領域を切り出し、切り出された画像データから人物の顔パターンを検出（すなわち、顔画像を認識）することにより行われるものである。

また、この他、赤外線カメラを用いた人物検出の技術が知られている（例えば、特許文献２参照）。この技術を上記の個人認証に用いると、人の顔の位置特定にかかる処理をより高速に行うことができる。人の顔などの人体の露出部分は温度が高いので、赤外線カメラで撮影された人物の赤外線画像データ内において輝度が周辺に比べて高くなっている領域（温度凸部という）を検出することで、人物の位置する領域として容易に正確に特定できるからである。

特開２０００−９９７２２号公報 特開２００１−１０８７５８号公報

しかしながら、この赤外線撮影による方法では、得られる画像データは温度に応じた輝度データで表わされているため、個人の顔パターンを検出（顔画像認識）するには十分な情報量がなく、信頼性が低くなり問題である。一方、上記の可視光撮影による方法は、顔画像認識に関しては信頼性が高いが、画像データから顔画像に相当する領域を特定する処理を行うのは容易ではなく長い時間が要されるといった問題がある。

ところで、近年、デジタルカメラが普及しており、殆どのデジタルカメラには、自動露出調整（ＡＥ）機能や自動焦点調整（ＡＦ）機能などの各種撮影準備機能が搭載されている。ＡＥ機能やＡＦ機能は、撮影画面中央部や画面全体といった予め設定された領域についておいて行われるのが一般的であり、被写体の位置やその種類（例えば、被写体が人物であるか否か）に応じた調節を自動で行うことはできない。そこで、上記のような顔画像認識技術をデジタルカメラに適用することは、人物を被写体にした撮影において有用であると考えられる。

本発明は、高速で信頼性の高い顔画像認識を行うことができる顔画像認識装置及びそれを備えたデジタルカメラを提供することを目的とする。

本発明の顔画像認識装置は、被写体の赤外線画像を光電変換した第１画像データと、被写体の可視光画像を光電変換した第２画像データとをそれぞれ生成する撮像手段と、前記第１画像データに基づき、画面内における人物の顔画像に相当するデータ領域を特定する顔位置特定手段と、この顔位置特定手段で特定された前記データ領域に対応して前記第２画像データ中に顔画像領域を割り当てるとともに、この顔画像領域の画像データが人物の顔パターンに相当するか否かを検出する顔パターン検出手段とを備えたことを特徴とするものである。

なお、前記撮像手段は、可視光を受光する可視光用画素と赤外線を受光する赤外線用画素とが混在して配列されてなる固体撮像素子を備えていることが好ましい。

また、前記撮像手段は、被写体光を可視光と赤外線とに分光する分光器と、分光された可視光を受光する可視光用固体撮像素子と、分光された赤外線を受光する赤外線用固体撮像素子とを備えていることが好ましい。

本発明のデジタルカメラは、上記の顔画像認識装置を備え、前記顔画像領域の画像データが人物の顔パターンに相当する場合に、人物の顔画像の撮影に適した所定の撮影準備処理を行うことを特徴とするものである。

本発明の顔画像認識装置は、被写体の赤外線画像を光電変換した第１画像データと、被写体の可視光画像を光電変換した第２画像データとをそれぞれ生成する撮像手段と、第１画像データに基づき、画面内における人物の顔画像に相当するデータ領域を特定する顔位置特定手段と、この顔位置特定手段で特定されたデータ領域に対応して第２画像データ中に顔画像領域を割り当てるとともに、この顔画像領域の画像データが人物の顔パターンに相当するか否かを検出する顔パターン検出手段とを備えたので、顔画像に相当するデータ領域は赤外線画像の輝度に基づいて早く正確に特定され、また、顔パターンの検出を行う領域が顔画像領域に限定されるので、この検出にかかる時間を短縮することができる。この結果、高速で信頼性の高い顔画像認識を行うことができる。

また、本発明のデジタルカメラは、上記の顔画像認識装置を備え、顔画像領域の画像データが人物の顔パターンに相当する場合に、人物の顔画像の撮影に適した所定の撮影準備処理を行うので、人物を撮影する際に初心者でも容易に最適な条件で撮影を行うことができる。

図１において、顔画像認識装置２は、人物を被写体として撮影して赤外線画像データ（第１画像データ）Ｐｉと可視光画像データ（第２画像データ）Ｐｖとを生成する撮像手段３と、赤外線画像データＰｉに基づき、画面内における人物の顔画像に相当するデータ領域を特定する顔位置特定手段４と、このデータ領域に対応して可視光画像データＰｖ中に割り当てられた顔画像領域から顔パターンを検出する顔パターン検出手段５とを備える。

撮像手段３は、図２に示すような固体撮像素子１０を備えている。この固体撮像素子１０には、例えば、ＣＣＤ（Charge Coupled Device ）型の撮像素子が用いられるが、これに限られず、ＭＯＳ（Metal Oxide Silicon ）型の撮像素子を用いてもよい。固体撮像素子１０には光を受光するための受光部１１が形成されており、受光部１１には複数の画素が２次元マトリクス状に配列されている。

これらの画素は、可視光を受光する可視光用画素１２と、可視光より波長の長い（例えば、波長４μｍ以上）赤外線（Ｉｒ）を受光する赤外線用画素１３とに分けられる。さらに、可視光用画素１２は、赤色（Ｒ）の波長の光を受光する画素１２ａと、緑色（Ｇ）の波長の光を受光する画素１２ｂと、青色（Ｂ）の波長の光を受光する画素１２ｃとに分けられる。同図に示すように、画素１２ａは、その上下に画素１３が配置され、その左右に画素１２ｂが配置されている。画素１２ｂは、その上下に画素１２ｃが配置され、その左右に画素１２ａが配置されている。このようなパターンで各画素は配列されているが、これに限られず、このパターンは適宜変更してもよい。なお、これらの画素１２ａ〜１２ｃ及び画素１３は、それぞれ対応する波長の光を選択的に透過させるフィルタで、半導体で形成された受光素子を覆ったものである。

可視光用画素１２が受光した可視光はＲＧＢ信号に光電変換され、通常のカラー写真用の画像信号として出力される。また、赤外線用画素１３が受光した赤外線は、その量に対応した輝度信号に光電変換されて出力される。赤外線の量は温度の高低に対応付けられるので、この輝度信号は、被写体の表面から発する温度に対応した温度信号である。これらの信号は、撮像手段３の内部の処理回路で適宜処理され、可視光画像を光電変換した可視光画像データＰｖと、赤外線画像を光電変換した赤外線画像データＰｉとがそれぞれ生成される。従って、撮像手段３は、色の分布を表わす可視光画像データＰｖと、温度の分布を表わす赤外線画像データＰｉとを一度の撮影によって同時に得ることができる。

顔位置特定手段４には、撮像手段３から赤外線画像データＰｉが送られる。赤外線画像データＰｉは温度の高低と輝度が対応付けられた画像データであり、顔位置特定手段４は、この画像データを人の肌の露出部の温度を閾値として２値化して、周囲より温度の高いデータ領域（以下、温度凸部という）を抽出し、さらにその温度凸部の形状及び大きさから人物の顔画像であるか否かを判定する。この温度凸部が人の顔画像に相当する場合は、その温度凸部を顔の位置として特定する。また、これと同時に、ほぼこの温度凸部のみを囲むように顔画像領域を決定する。

顔パターン検出手段５には、撮像手段３から可視光画像データＰｖが送られる。顔パターン検出手段５は、顔位置特定手段４で特定された温度凸部に対応して決定された顔画像領域を可視光画像データＰｖ中に割り当て、顔画像領域外の領域を排除する。さらに、顔パターン検出手段５は、この顔画像領域の画像データが人物の顔パターンに相当するか否かを検出する。

この顔パターンの検出は、周知のパターン認識技術に基づいて行われる。すなわち、顔画像領域の画像データをパターン化し、これを予めデータベース等に容易されている基準パターンを検索しマッチングを行うことで、顔パターンの有無を検出する。なお、基準パターンとは、顔の輪郭、目、鼻、口、耳などの各部をパターン化したものである。また、各個人に応じた基準パターンをデータベースに用意することで、この顔パターンに基づいて個人認証を行うことができる。

以上のように構成された顔画像認識装置２の作用を図３のフローチャートに沿って説明する。まず、被写体が撮像手段３で撮影され、可視光画像データＰｖと赤外線画像データＰｉとが一度の撮影で取得される。図４（Ａ）は可視光画像データＰｖの一例を簡略に示したものであり、図４（Ｂ）はそれに対応する赤外線画像データＰｉの一例を簡略に示したものである。続いて、図５（Ａ）に示すように、顔位置特定手段４によってこの赤外線画像データＰｉから温度の高い温度凸部２０が抽出されて顔画像に相当するデータ領域が特定される。すなわち、顔の位置が特定される。また、このとき、温度凸部２０に対応した顔画像領域２１が決定される。

この顔画像領域２１が可視光画像データＰｖに重ね合わされ、可視光画像データＰｖから顔画像領域２１の画像データのみが残され、他の領域の画像データは排除される。そして、顔パターン検出手段５によって顔画像領域２１の画像データから顔パターンの検索が行われる。この画像データに人物の顔パターンに相当する顔パターンがあれば正常終了し、なければ異常終了となる。

このように、顔位置特定手段４によって顔の位置が周囲との温度差から特定された後、顔パターン検出手段５によってこの特定された領域についてのみ顔パターンの検出が行われるので、パターン検出に要される時間は短い。

次に、図６は、顔画像認識装置２を組み込んだデジタルカメラ３０の構成を示す。撮像レンズ３１には、レンズモータ３２が接続されている。また、絞り３３には、アイリスモータ３４が接続されている。これらのモータ３２、３４はステッピングモータからなり、ＣＰＵ３５に接続されたモータドライバ３６、３７から送信される駆動パルスにより動作制御され、レリーズボタン３８を軽く押圧（半押し）した際に自動露光調整（ＡＥ）、自動焦点調整（ＡＦ）などの各種撮影準備処理を行う。

レンズモータ３２は、ズーム操作ボタン２０の操作に連動して、撮像レンズ３１のズームレンズをワイド側、あるいはテレ側に移動させる。また、被写体距離やズームレンズの変倍に応じて撮像レンズ３１のフォーカスレンズを移動させ、撮影条件が最適となるように焦点調整を行う。アイリスモータ３４は、絞り３３を動作させ、露出調整を行う。

撮像レンズ３１及び絞り３３を通過した被写体光を撮像する前述の固体撮像素子１０が設けられている。固体撮像素子１０には、ＣＰＵ３５によって制御されるタイミングジェネレータ（ＴＧ）３９が接続され、このＴＧ３９から入力されるタイミング信号（クロックパルス）により、電子シャッタのシャッタ速度が決定される。

固体撮像素子１０には、前述のように可視光用画素１２と赤外線用画素１３とが設けられており、固体撮像素子１０から出力された撮像信号は、相関二重サンプリング回路（ＣＤＳ）４０に入力され、固体撮像素子１０の各セルの蓄積電荷量に正確に対応したＲ、Ｇ、Ｂ、及びＩｒの画像データとして出力される。ＣＤＳ４０から出力された画像データは、増幅器（ＡＭＰ）４１で増幅され、Ａ／Ｄ変換器（Ａ／Ｄ）４２でデジタルの画像データ（赤外線画像データＰｉ及び可視光画像データＰｖ）に変換される。なお、前述の撮像手段２は、固体撮像素子１０、撮像レンズ３１、絞り３３、ＣＤＳ４０、ＡＭＰ４１、及びＡ／Ｄ４２によって構成される。

Ａ／Ｄ４２から出力された可視光画像データＰｖは、バス４３に接続された画像信号処理回路４４に入力される。画像信号処理回路４４は、可視光画像データＰｖに階調変換、γ補正処理などの各種画像処理を施し、この画像データをバス４３に接続されたＲＡＭ４５に格納する。また、Ａ／Ｄ４２から出力された赤外線画像データＰｉは、バス４３に接続された前述の顔位置特定手段４に入力される。顔位置特定手段４は、赤外線画像データＰｉから温度凸部２０を抽出して被写体（人物）の顔の位置を特定し、前述の顔画像領域２１が決定される（図５（Ａ）参照）。この顔画像領域２１を表わす情報は、バス４３に接続された顔パターン検出手段５に入力される。

顔パターン検出手段５は、ＲＡＭ４５に格納されている可視光画像データＰｖを読み出し、顔画像領域２１の画像データについて前述の顔パターンの検出を行う（図５（Ｂ）参照）。顔パターンが検出（顔画像が認識）されると、この結果がバス４３に接続されたＡＦ／ＡＥ検出部４６に入力される。ＡＦ／ＡＥ検出部４６は、顔画像領域２１において、露出量、すなわち電子シャッタのシャッタ速度、及び絞り３３の絞り値が人物の顔画像の撮影に適切か否かを検出するとともに、撮像レンズ３１の焦点が顔画像領域２１に合っているか否かを検出する。さらに、ホワイトバランスが顔画像領域２１に適した値となっているか否かを検出するＡＷＢ検出部（不図示）を設けてもよい。

ＡＦ／ＡＥ検出部４６は、ＣＰＵ３５に接続されたレリーズボタン３８が半押しされたときに、バス４３を介してＣＰＵ３５に検出結果を逐次送信する。ＣＰＵ３５は、ＡＦ／ＡＥ検出部４６から送信される検出結果に基づいて、撮像レンズ３１、絞り３３、及び固体撮像素子１０の動作を制御し、露出量や焦点を調整する。

なお、ＬＣＤドライバ４７は、ＲＡＭ４５に格納された可視光画像データＰｖをバス４３を介して読み出してＬＣＤ４８に逐次表示する。また、圧縮伸長処理回路４９は、レリーズボタン３８が全押しされると、ＣＰＵ３５に制御されて、ＲＡＭ４５に格納された可視光画像データＰｖをバス４３を介して読み出し、輝度信号Ｙと色差信号Ｃｒ、Ｃｂとに変換する。さらに、圧縮伸長処理回路４９は、この変換された画像データに対して、所定の圧縮形式（例えばＪＰＥＧ形式）で画像圧縮を施す。この圧縮された画像データは、メディアコントローラ５０を経由してメモリカード５１に適宜記録される。

以上のように構成されたデジタルカメラ３０の動作について説明する。まず、撮影モード下において、撮像レンズ３１、絞り３３を通って入射した被写体光は、固体撮像素子１０により光電変換され、ＣＤＳ４０でサンプリングされる。ＣＤＳ４０から出力された画像データは、ＡＭＰ４１で増幅され、Ａ／Ｄ４２でデジタルの画像データ（赤外線画像データＰｉ及び可視光画像データＰｖ）に変換される。

可視光画像データＰｖは、画像信号処理回路４４で各種画像処理が施された後、ＲＡＭ４５に順次格納され、ＬＣＤ４８にスルー画像として表示される。この状態でレリーズボタン３８が半押しされると、顔位置特定手段４で画面内における被写体の顔の位置が特定され、顔パターン検出手段５で顔パターンの検出が行われる。このとき、顔パターンが検出され、被写体の顔画像が認識されると、ＡＦ／ＡＥ検出部４６により露出量及び焦点が人物の顔画像に適した値となっているか否かが検出され、この検出結果に基づいて被写体の顔画像の撮影に適した撮影準備処理が施される。

撮影準備処理後、レリーズボタン３８の全押しにより撮影が実行されると、そのときＲＡＭ４５に格納されている画像データが圧縮伸長処理回路４９に読み出されて、輝度信号Ｙと色差信号Ｃｒ、Ｃｂとに変換された後、圧縮処理が施され、メディアコントローラ５０を経由してメモリカード５１に記録される。

このように、デジタルカメラ３０は、その内部に組み込まれた顔画像認識装置２によって、被写体の顔画像を高速に認識して、この顔画像の撮影に適した撮影準備処理を自動的に行うので、人物を撮影する際に初心者でも容易に最適な条件で撮影を行うことができる。

上記実施形態では、撮像手段３に、可視光用画素１２と赤外線用画素１３とが混在するように配置された固体撮像素子１０を使用したが（図２参照）、これに限られるものではなく、図７に示すように、被写体からの被写体光を分光器６０で可視光と赤外線とに分光し、分光された可視光を可視光用撮像素子６１で受光し、分光された赤外線を赤外線用撮像素子６２で受光するようにしてもよい。なお、可視光用撮像素子６１の光電変換によって可視光画像データＰｖが生成され、赤外線用撮像素子６２の光電変換によって赤外線画像データＰｉが生成される。また、分光器６０は、例えばプリズムによって構成されるものである。

顔画像認識装置の構成を示すブロック図である。 固体撮像素子の構成を示す図である。 顔画像認識装置の作用を説明するフローチャートである。 撮影によって得られる画像データを示す図であり、（Ａ）は可視光画像データを示し、（Ｂ）は赤外線画像データを示す。 （Ａ）は赤外線画像データから顔の位置が特定された様子を示し、（Ｂ）は可視光画像データから顔の位置に対応する顔画像領域が選択された様子を示す。 顔画像認識装置を備えたデジタルカメラの構成を示すブロック図である。 固体撮像素子の別の形態を示す図である。

符号の説明

２ 顔画像認識装置
３ 撮像手段
４ 顔位置特定手段
５ 顔パターン検出手段
１０ 固体撮像装置
１１ 受光部
１２ 可視光用画素
１２ａ〜１２ｃ 画素
１３ 赤外線用画素
２０ 温度凸部
２１ 顔画像領域
３０ デジタルカメラ
３１ 撮像レンズ
３３ 絞り
４６ ＡＦ／ＡＥ検出部
６０ 分光器
６１ 可視光用撮像素子
６２ 赤外線用撮像素子
Ｐｉ 赤外線画像データ（第１画像データ）
Ｐｖ 可視光画像データ（第２画像データ）

Claims (4)

1. 被写体の赤外線画像を光電変換した第１画像データと、被写体の可視光画像を光電変換した第２画像データとをそれぞれ生成する撮像手段と、
   前記第１画像データに基づき、画面内における人物の顔画像に相当するデータ領域を特定する顔位置特定手段と、
   この顔位置特定手段で特定された前記データ領域に対応して前記第２画像データ中に顔画像領域を割り当てるとともに、この顔画像領域の画像データが人物の顔パターンに相当するか否かを検出する顔パターン検出手段とを備えたことを特徴とする顔画像認識装置。
2. 前記撮像手段は、可視光を受光する可視光用画素と赤外線を受光する赤外線用画素とが混在して配列されてなる固体撮像素子を備えていることを特徴とする請求項１の顔画像認識装置。
3. 前記撮像手段は、被写体光を可視光と赤外線とに分光する分光器と、分光された可視光を受光する可視光用固体撮像素子と、分光された赤外線を受光する赤外線用固体撮像素子とを備えていることを特徴とする請求項１の顔画像認識装置。
4. 請求項１ないし３のいずれかに記載の顔画像認識装置を備え、前記顔画像領域の画像データが人物の顔パターンに相当する場合に、人物の顔画像の撮影に適した所定の撮影準備処理を行うことを特徴とするデジタルカメラ。

Images