JP2013135268A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】通常の静止画像撮影時と認証用顔情報登録時とで撮影条件を異ならせることで認証精度を向上させるようにする。
【解決手段】顔情報登録用撮影の際には、通常の静止画撮影用のストロボ発光テーブルとは異ならせたストロボ発光テーブルを利用して顔情報登録用撮影を行うようにすることにより、ストロボ撮影画像において、顔に影などができてしったり、ストロボを発光させない時との画像の違いが大きくなったりすることにより、スルー画像時の認識率などの認証精度が落ちてしまうのを防止できるようにする。
【選択図】図１

Description

本発明は画像処理装置及び画像処理方法に関し、特に、認証精度の高い画像登録を行うために用いて好適な技術に関する。

人物の顔が含まれる被写体の撮影をする場合、当該人物の顔とカメラの距離は異なるものとなる。例えば、結婚式における全体写真など、主被写体と副被写体である新郎新婦とそうではない人物が混在する場合、主副被写体に合焦されていない失敗写真を撮影してしまうことが多い。

このような人の顔を含む被写体の撮影に関連する技術として、特許文献１、２には、被写体の顔を検出し、合焦させる技術が開示されている。また、特許文献３には、被写体の人の顔を検出し、複数の人の顔が検出された場合に、どの顔に合焦させるかを選択することができる技術が開示されている。さらに、被写体に含まれる顔の特徴をあらかじめ記憶し、その対応情報に基づいて合焦処理を行う技術が知られている。

特開２００１−２１５４０３号公報 特開２００３−１０７３３５号公報 特開２００６−２１１１３９号公報

しかしながら、特許文献１〜３に開示された技術では、被写体に含まれる人物の顔の特徴の抽出が顔情報を登録する際の撮影条件と実際の撮影時の撮影条件が異なる場合、うまく認証できない問題点があった。特に、ストロボ発光して撮影された顔情報登録撮影画像は(図３−１)、顔に強い影などが発生して、(図３−２)に示すような顔情報登録画面になってしまう可能性がある。その結果、ストロボ撮影で撮影された顔情報登録撮影画像からは望ましい顔認証情報を得ることができずに、ストロボ発光なしのスルー画認証に失敗してしまうことが多くなってしまう(図３−３)。このように、スルー画に入力される画像を認証しようとする場合、実際の静止画撮影の撮影条件とは違うため認証の精度が落ちてしまうという問題があった。

また、安価なシステムで精度の高い顔認証を行おうとする場合、少ない顔登録情報で認証を行う必要があるが、ストロボを利用して撮影された顔登録情報は、スルー画像の認証には適さないことが多く、その情報の記憶は効率的ではなかった。
本発明は前述の問題点に鑑み、通常の静止画像撮影時と認証用顔情報登録時とで撮影条件を異ならせることで認証精度を向上させることを目的とする。

本発明の画像処理装置は、撮影光学系による被写体像を光電変換して画像信号を生成する撮像素子と、前記画像信号に基づいた顔情報登録画面の画像中から顔領域を検出し、該顔領域の部分から撮影人物の顔の特徴点を抽出する顔情報検出手段と、前記顔情報検出手段により検出された顔領域の部分から、撮影人物の顔の特徴点を抽出して顔認証データを生成する顔登録情報生成手段と、前記顔登録情報生成手段により生成された顔登録情報を記録媒体に登録する顔情報登録手段と、前記顔情報検出手段が抽出した特徴点および前記顔登録情報生成手段が生成した顔認証データに基づいて、前記撮影人物が前記記録媒体に登録された登録人物であるか否かを判定する顔認識手段とを備え、前記顔情報登録画面における顔情報登録用撮影については、通常の静止画撮影の際に用いるストロボ発光テーブルとは異なるストロボ発光テーブルを利用することを特徴とする。

本発明によれば、静止画像のみならずスルー画像でも高い認証精度を得ることが可能となる。

本実施形態に係る撮像装置の概略構成を示すブロック図である。 顔情報登録処理の全体的な処理手順を説明するフローチャートである。 本発明における背景技術を示し、認証できない状況を示す図である。 スルー画像で人物認証している画面を示す図である。 表示装置に警告を表示する際の画面の一例を示す図である。 顔情報登録画面で登録を実行するか否かを確認する画面を示す図である。 通常静止画撮影時の処理手順を説明するフローチャートである。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。本実施形態ではデジタルカメラ等の撮像装置を例にあげて説明を行う。しかし、撮影画像から顔認識を行う機能を有する画像処理装置であれば、撮影画像を受け取って顔認識を行うパーソナルコンピュータや監視カメラシステムでも本発明を適用することが可能である。

図１は、本発明の第１の実施形態の特徴を最もよく表す図面であり、レンズ制御機能を備えたビデオカメラ等の撮像装置のシステム構成を示すブロック図である。図１において、１０１は固定されている第１固定レンズ群である。１０２は変倍を行うレンズ群であるズームレンズである。１０３は絞りである。１０４は固定されている第２固定レンズ群である。１０５は焦点調節機能と変倍による焦点面の移動を補正する、いわゆるコンペ機能を兼ね備えたレンズ群であるフォーカスレンズである。

１１０はズームレンズ１０２を駆動するズームレンズ駆動源である。１１１はフォーカスレンズ１０５を駆動するフォーカスレンズ駆動源である。ズームレンズ駆動源１１０及びフォーカスレンズ駆動源１１１は、図示しないモータとドライバ部をそれぞれ有しており、後述するカメラマイコン１１２で算出される目標位置と駆動速度に基づいて各レンズ１０２、１０５を駆動させる。

１０６はＣＭＯＳセンサ、ＣＣＤセンサ等により構成される撮像素子である。撮像素子１０６は、第１固定レンズ群１０１、ズームレンズ１０２、第２固定レンズ群１０４、フォーカスレンズ１０５などの撮影光学系により結像された被写体像を光電変換して画像信号を生成する。１０７はカメラ信号処理回路であり、撮像素子１０６の出力信号を表示装置１０８や後述する記録装置１０９に対応した信号に変換する。

１０８は液晶ディスプレイやファインダー等により構成される表示装置である。１０９は静止画や動画のデータを記録する記録装置でありＳＤカードや半導体メモリが使われている。記録装置１０９は、ＳＤカードや半導体メモリのメモリ領域のアドレスが指定され、カメラ信号処理回路１０７の出力信号を記録していく。後述するカメラマイコン１１２はアドレスを指定しアクセスすることで、任意の撮影画像を表示装置１０８に表示する。

カメラマイコン１１２は、不図示のＲＯＭに格納されているプログラムに従ってカメラの各部、すなわち、装置全体の制御を行う。カメラマイコン１１２は、例えばカメラ信号処理回路１０７から出力される画像信号に基づいて公知のコントラストＡＦ方式によりフォーカスレンズ１０５を駆動させ焦点調節を行ったり、公知のＡＥ演算により露出制御を行ったりする。

さらに、カメラマイコン１１２は、顔領域の部分から、撮影人物の顔の特徴点を抽出して顔認証データを生成する顔登録情報生成手段として機能する。本実施形態のカメラマイコン１１２は、被写体（撮影人物）の特徴である人物の顔領域を検出する検出手段としての顔情報検出部１１５を備える。顔情報検出部１１５は、画像信号に基づいた顔情報登録画面（前述した図３−２）の画像中から顔の構成要素である目、鼻、口等の形状を満たす特徴点を抽出する。例えば、２つの目があり、その２つの目の中間を通過する延長線上に鼻と口が存在する領域が存在すれば、それらを包含する領域を顔領域として設定する。

また、顔情報検出部１１５により検出した被写体の顔領域と、後述する顔情報登録メモリ１１８に登録されている顔情報とを比較して顔認識を行う認識手段としての顔認識部１１６とを備える。ここで、顔情報とは、検出された顔の大きさや、目、鼻、口等の特徴点の詳細な形状や、これらの相対的な位置関係、撮影画像から抽出した顔領域を示す顔画像（インデックス画像）等のことを意味する。

顔情報検出部１１５は、カメラ信号処理回路１０７から出力される画像信号又は記録装置１０９に記録されている撮像画像から目や口等の特徴点を抽出し、被写体である人物の顔領域や顔の大きさ等を検出する。顔認識部１１６は、顔情報検出部１１５により検出された撮影画像内の人物の顔が顔情報登録メモリ１１８に登録されている登録人物の顔であるか否かを判定する顔認識処理を行う。

具体的には、顔認識部１１６は、顔情報検出部１１５により検出された顔の顔情報と、顔情報登録メモリ１１８に登録されている顔の顔情報の類似度を算出し、類似度が閾値以上であれば同一人物であると判定する。カメラマイコン１１２は、顔認識部１１６による顔認識結果に応じて焦点調節を行ったり、露出補正を行ったりする。本実施形態では、顔情報検出部１１５及び顔認識部１１６はカメラマイコン１１２内においてソフトウェアにより実現するように記載しているが、カメラマイコン１１２とは別にハードウェアにて顔検出及び顔認識機能を実現してもよい。

１１４は顔枠表示信号発生回路であり、顔情報検出部１１５及び顔認識部１１６の処理結果に応じて、顔枠等の表示枠の信号を発生させる。１１３は信号合成処理回路であり、顔枠表示信号発生回路１１４から出力される表示枠信号とカメラ信号処理回路１０７から出力される画像信号とを合成して表示装置１０８に出力する。例えば、顔情報登録メモリ１１８に登録されていない人物の顔枠は緑色で表示、登録されている人物の顔枠は赤色で表示するといったように枠の色を変えることで、ユーザは顔検出及び顔認識の状態を知ることができる。

図４にスルー画像において、登録された人物が認証された場合の表示装置１０８の表示例を示す。認証された人物の顔に枠を表示して主被写体の選択状態をユーザに分かりやすく伝える。また、顔検出中の顔枠は一重、顔認識中の顔枠は二重で表示するというように枠の形状や状態を変化させてもよい。

１１８は顔情報を登録しておくための記録媒体として設けられている顔情報登録メモリである。顔情報登録メモリ１１８には、顔情報登録部１１７により人物の顔情報が登録される。顔情報登録部１１７は、顔認識部１１６の認識結果を顔情報登録メモリ１１８に登録するための顔登録データを生成する。顔情報登録時の画像は表示装置１０８に表示され、ユーザは実際に登録される画像を確認し、ユーザは登録画像として選択することが判断することが可能である。

１２０は選択指示部であり、顔情報を登録するか否かを指示する。選択指示部１２０は、ボタンやスイッチ等の操作部材を用いてもよいし、表示装置１０８内に表示したボタン等のＧＵＩで実現してもよい。また、選択指示部１２０には、更新しないことを指示するキャンセルボタン等を含んでいてもよい。

図２は、第１の実施形態における顔情報登録処理の全体的な処理の流れを示すフローチャートである。以下に説明する処理は、カメラマイコン１１２が不図示のＲＯＭに格納されているプログラムを実行することにより実現される。
Ｓ２０１では、撮像装置のモードを顔情報登録用撮影モードにする。
Ｓ２０２では、カメラ信号処理回路１０７から出力されている撮影画像をカメラマイコン１１２に送り、顔情報検出部１１５において顔検出を行い、顔検出をしたか否かを判断する。

Ｓ２０３では、カメラ信号処理回路１０７から出力されている撮影画像をカメラマイコン１１２で解析し、暗中または逆光のためにストロボ発光が必要か否かを判断する。ストロボ発光が必要な場合はＳ２０４に進み、必要でない場合はＳ２０８に進む。

Ｓ２０４では、撮影シーンが逆光であるか否かを判断し、逆光ではないと判断した場合にはＳ２０７に進み、逆光であると判断した場合にはＳ２０５に進む。
Ｓ２０７では、ストロボ発光を中止しセンサ感度を上げることで撮影に対応する。

一方、Ｓ２０５では、逆光であることを表示装置１０８に警告を表示したのち、Ｓ２０６に進む。
Ｓ２０６では、ストロボ発光準備を行う。図５に、このとき表示装置１０８に警告を表示する際の表示例を示す。本実施形態においては、Ｓ２０３においてストロボ発光と判断されても、Ｓ２０４における逆光判断処理で逆光ではないと判断されると、ストロボを発光せずに登録用画像の撮影を行う。

Ｓ２０８では、登録用画像の撮影を行う。図６にその際の表示装置１０８の例を示す。表示装置１０８に表示された顔情報登録画面の中央付近に登録したい人物の顔が入るように撮影し、問題なく撮影できた場合、画面の登録の部分を顔情報登録部１１７を利用して確定させることで、その人物の顔情報を顔情報登録メモリ１１８に登録する。

Ｓ２０９では、顔認識部１１６を利用して顔認証データを作成する。
Ｓ２１０では、Ｓ２０９で作成した顔認証データを顔情報登録メモリ１１８に保存して処理を完了する。

なお、図２のフローチャートで説明した処理においては、被写体輝度が暗い場合であっても、逆光と判定された場合にはストロボ発光を行うようにした。しかし、登録データ用の撮影時であれば、被写体輝度に関係なく、ストロボ発光を禁止する制御であってもよい。そのために、例えば、センサ感度の向上や絞りの開口径の拡大で対応するように制御を行うようにする。

この場合には、メニューモードで、ユーザが登録データの撮影時にもストロボ発光を行うことを明確に指定した場合にのみ、被写体輝度が低い場合にはストロボ発光を行って登録データ用の静止画撮影を行うようにする。
また、逆光時に顔情報登録画面における顔情報登録用撮影を行った場合については、逆光撮影で顔認証データとして不適切であることを画面に表示するようにする。また、ストロボ発光を行って撮影した画像から、顔登録情報生成処理にて生成した顔登録情報を、顔認識部１１６が登録人物であると判断した場合には、顔情報登録部１１７に再登録を行うように顔情報登録部１１７に対して促すようにする。

次に、図７に通常の静止画撮影の場合の処理手順を説明するフローチャートを示す。基本的な処理の流れは図２のフローチャートと同じである。本実施形態の顔情報登録用撮影の処理との相違点のみを図２を参照して説明する。

Ｓ７０３では、暗中または逆光のためにストロボ発光が必要か否かを判断する。ストロボ発光が必要であると判断された場合はＳ７０６において、ストロボ発光準備を行い、Ｓ７０８に進む。

すなわち、ストロボ発光が必要と判断されるほど被写体輝度が低い場合に、通常の静止画撮影であればストロボ発光を行って撮影を行うが、顔情報登録用の静止画撮影である場合には、ストロボ発光を行わずに撮影を行う。

本実施形態においては、通常の静止画撮影の際に用いるストロボ発光テーブルとは異なる顔情報登録用の発光テーブルを備えている。そして、顔情報登録用撮影を行う場合には、顔情報登録用の発光テーブルを用いて、できるだけストロボ発光を行わせないようにしている。

前述したように、本実施形態においては、通常の静止画撮影であればストロボ発光を行うような、被写体輝度が低い場合においても、認識の登録データ用の静止画撮影においては、ストロボ発光を行わずに撮影を行うようにした。これにより、「顔に強い影などが発生してしまう」、不都合をなくすことができ、認証精度の高いデジタルカメラを提供することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０６ 撮像素子、１０７ カメラ信号処理回路、１０８ 表示装置、１０９ 記録装置、１１２ カメラマイコン、１１５ 顔情報検出部、１１６ 顔認識部、１１７ 画像選択部、１１８ 顔情報登録メモリ

Claims (9)

1. 撮影光学系による被写体像を光電変換して画像信号を生成する撮像素子と、
   前記画像信号に基づいた顔情報登録画面の画像中から顔領域を検出し、該顔領域の部分から撮影人物の顔の特徴点を抽出する顔情報検出手段と、
   前記顔情報検出手段により検出された顔領域の部分から、撮影人物の顔の特徴点を抽出して顔認証データを生成する顔登録情報生成手段と、
   前記顔登録情報生成手段により生成された顔登録情報を記録媒体に登録する顔情報登録手段と、
   前記顔情報検出手段が抽出した特徴点および前記顔登録情報生成手段が生成した顔認証データに基づいて、前記撮影人物が前記記録媒体に登録された登録人物であるか否かを判定する顔認識手段とを備え、
   前記顔情報登録画面における顔情報登録用撮影については、通常の静止画撮影の際に用いるストロボ発光テーブルとは異なるストロボ発光テーブルを利用することを特徴とする画像処理装置。
2. 前記顔情報登録画面における顔情報登録用撮影については、ストロボ発光を禁止することを特徴とする請求項１に記載の画像処理装置。
3. 逆光時の前記顔情報登録画面における顔情報登録用撮影については、逆光撮影で顔認証データとして不適切であることを画面に表示することを特徴とする請求項１に記載の画像処理装置。
4. 前記顔情報登録画面における顔情報登録用撮影については、ストロボ発光を行って撮影した画像から、前記顔登録情報生成手段により前記顔登録情報を生成した場合は、前記顔情報登録手段は、顔認証データとして前記記録媒体に登録しないことを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 前記顔情報登録画面における顔情報登録用撮影については、ストロボ発光を行って撮影した画像から、前記顔登録情報生成手段が前記顔登録情報を生成し、前記顔情報登録手段が前記記録媒体に登録した場合には、前記顔認識手段は撮影人物が前記登録人物であるか否かを判定するための顔認証データとして利用しないことを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 前記顔情報登録画面における顔情報登録用撮影については、ストロボ発光を行って撮影した画像から、前記顔登録情報生成手段が生成した顔登録情報を、前記顔認識手段が登録人物であると判断した場合には、前記顔情報登録手段に対して再登録を促すことを特徴する請求項４に記載の画像処理装置。
7. 撮影光学系による被写体像を撮像素子により光電変換して生成した画像信号に基づいた顔情報登録画面の画像中から顔領域を検出し、該顔領域の部分から撮影人物の顔の特徴点を抽出する顔情報検出工程と、
   前記顔情報検出工程において検出された顔領域の部分から、撮影人物の顔の特徴点を抽出して顔認証データを生成する顔登録情報生成工程と、
   前記顔登録情報生成工程において生成された顔登録情報を記録媒体に登録する顔情報登録工程と、
   前記顔情報検出工程で抽出した特徴点および前記顔登録情報生成工程で生成した顔認証データに基づいて、前記撮影人物が前記記録媒体に登録された登録人物であるか否かを判定する顔認識工程とを備え、
   前記顔情報登録画面における顔情報登録用撮影については、通常の静止画撮影の際に用いるストロボ発光テーブルとは異なるストロボ発光テーブルを利用することを特徴とする画像処理方法。
8. 撮影光学系による被写体像を撮像素子により光電変換して生成した画像信号に基づいた顔情報登録画面の画像中から顔領域を検出し、該顔領域の部分から撮影人物の顔の特徴点を抽出する顔情報検出工程と、
   前記顔情報検出工程において検出された顔領域の部分から、撮影人物の顔の特徴点を抽出して顔認証データを生成する顔登録情報生成工程と、
   前記顔登録情報生成工程において生成された顔登録情報を記録媒体に登録する顔情報登録工程と、
   前記顔情報検出工程で抽出した特徴点および前記顔登録情報生成工程で生成した顔認証データに基づいて、前記撮影人物が前記記録媒体に登録された登録人物であるか否かを判定する顔認識工程とをコンピュータに実行させるプログラムであって、
   前記顔情報登録画面における顔情報登録用撮影については、通常の静止画撮影の際に用いるストロボ発光テーブルとは異なるストロボ発光テーブルを利用することをコンピュータに実行させることを特徴とするプログラム。
9. 請求項８に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images