JP2008017169A - Electronic camera - Google Patents
Electronic camera Download PDFInfo
- Publication number
- JP2008017169A JP2008017169A JP2006186454A JP2006186454A JP2008017169A JP 2008017169 A JP2008017169 A JP 2008017169A JP 2006186454 A JP2006186454 A JP 2006186454A JP 2006186454 A JP2006186454 A JP 2006186454A JP 2008017169 A JP2008017169 A JP 2008017169A
- Authority
- JP
- Japan
- Prior art keywords
- face
- subject
- authentication
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、被写体認証機能を備えた電子カメラに関する。 The present invention relates to an electronic camera having a subject authentication function.
従来から、カメラに記録された辞書データなどに基づいて、撮影時に人物などの被写体を認証する電子カメラが公知である。例えば、特許文献1には、被写体を認証したときにズーミングを行なうことで、認証された被写体の顔を好ましいサイズで撮影する電子カメラが開示されている。
ところで、被写体認証機能を備えた一般的な電子カメラにおいて、例えば、被写体が遠くに位置するシーンなどでは、1回目の撮像動作で被写体の特徴部位の情報を取得できずに認証が失敗する場合もある。このような場合において、被写体の特徴部位を自動的に検出し易い状態にして、次回の認証成功率を高めることのできる電子カメラが要望されていた。 By the way, in a general electronic camera equipped with a subject authentication function, for example, in a scene where the subject is located far away, authentication may fail because information about the characteristic part of the subject cannot be acquired by the first imaging operation. is there. In such a case, there has been a demand for an electronic camera that can easily detect the characteristic part of the subject and can increase the next authentication success rate.
本発明の目的は、被写体認証の失敗時に次回の認証成功率を高める制御を行う電子カメラを提供することである。 An object of the present invention is to provide an electronic camera that performs control to increase the next authentication success rate when subject authentication fails.
第1の発明に係る電子カメラは、撮像部と、ズーム調整部と、記録部と、被写体認証部と、制御部とを備える。撮像部は、撮影光学系による被写体像を撮像する。ズーム調整部は、被写体像の倍率を調整する。記録部は、認証対象の特徴点を示す登録データを予め記録している。被写体認証部は、登録データに基づいて、撮像部が撮像した被写体が認証対象に一致するか否かを判定する。制御部は、被写体が認証対象に一致しないと被写体認証部が判定した場合に、被写体像の倍率を拡大するとともに、被写体認証部に判定を再実行させる。 An electronic camera according to a first aspect includes an imaging unit, a zoom adjustment unit, a recording unit, a subject authentication unit, and a control unit. The imaging unit captures a subject image by the imaging optical system. The zoom adjustment unit adjusts the magnification of the subject image. The recording unit records in advance registration data indicating feature points to be authenticated. The subject authentication unit determines whether the subject imaged by the imaging unit matches the authentication target based on the registration data. When the subject authentication unit determines that the subject does not match the authentication target, the control unit enlarges the magnification of the subject image and causes the subject authentication unit to re-execute the determination.
第2の発明では、第1の発明において、認証対象が人物の顔であることを特徴とする。
第3の発明では、第2の発明の電子カメラが顔検出部をさらに備える。顔検出部は、撮影画面内から人物の顔を検出するとともに、該検出した人物の顔の特徴点を抽出して判定用データを生成する。また、被写体認証部は、特定の2つの特徴点を結ぶ基準距離を取得するとともに、特徴点の相対距離と基準距離との比を求める正規化処理を登録データおよび判定用データに対して実行する。そして、被写体認証部は、該正規化処理後のデータに基づいて判定を実行する。
The second invention is characterized in that, in the first invention, the authentication target is a human face.
In the third invention, the electronic camera of the second invention further includes a face detection unit. The face detection unit detects a person's face from the shooting screen and extracts feature points of the detected person's face to generate determination data. In addition, the subject authentication unit acquires a reference distance connecting two specific feature points, and executes a normalization process for obtaining a ratio between the relative distance of the feature points and the reference distance for the registration data and the determination data. . The subject authentication unit performs determination based on the data after the normalization process.
第4の発明では、第2の発明の電子カメラが、顔検出部と、モニタと、操作部とをさらに備える。顔検出部は、撮影画面内から人物の顔を検出する。モニタは、顔検出部が検出した顔を提示する。操作部は、判定の対象となる顔の指定を行う指定操作をユーザーから受け付ける。そして、被写体認証部は、指定操作で指定された顔に対して判定を行う。
第5の発明では、第1の発明の電子カメラが第1報知部をさらに備える。第1報知部は、被写体が認証対象に一致しないと被写体認証部が判定した場合に、被写体に対して注意を喚起する。
In the fourth invention, the electronic camera of the second invention further includes a face detection unit, a monitor, and an operation unit. The face detection unit detects a person's face from the shooting screen. The monitor presents the face detected by the face detection unit. The operation unit receives a designation operation for designating a face to be determined from the user. Then, the subject authentication unit performs determination on the face specified by the specifying operation.
In the fifth invention, the electronic camera of the first invention further includes a first notification unit. The first notification unit alerts the subject when the subject authentication unit determines that the subject does not match the authentication target.
第6の発明では、第1の発明の電子カメラが第2報知部をさらに備える。第2報知部は、被写体像の倍率の拡大によって、判定の対象となった被写体が撮影画角から外れる場合に、ユーザーに対して注意を喚起する。
第7の発明では、第1の発明において、記録部には、認証対象を説明するプロファイルデータが、登録データと対応付けされて記録されている。また、制御部は、被写体が認証対象に一致すると被写体認証部が判定した場合に、認証対象が撮影された記録用画像を含む画像ファイルに対して、プロファイルデータに基づく付加データを付加する。
In the sixth invention, the electronic camera of the first invention further includes a second notification unit. The second notification unit alerts the user when the subject to be determined is out of the shooting angle of view due to the enlargement of the magnification of the subject image.
In a seventh aspect based on the first aspect, the recording unit records profile data that describes an authentication target in association with registration data. In addition, when the subject authentication unit determines that the subject matches the authentication target, the control unit adds additional data based on the profile data to the image file including the recording image in which the authentication target is captured.
本発明の電子カメラでは、被写体認証の失敗時に被写体像の倍率をズーミングで拡大して、次回の認証成功率を高めることができる。 In the electronic camera of the present invention, when the subject authentication fails, the magnification of the subject image can be enlarged by zooming to increase the next authentication success rate.
(第1実施形態の説明)
図1は第1実施形態の電子カメラの構成を示すブロック図である。
電子カメラは、ズームレンズ11と、第1レンズ駆動部12と、フォーカシングレンズ13と、第2レンズ駆動部14と、撮像素子15と、アナログ処理部16と、A/D変換部17と、タイミングジェネレータ(TG)18と、第1メモリ19と、画像処理部20と、記録I/F21と、表示I/F22と、モニタ23と、レリーズ釦24と、操作部25と、スピーカー26と、閃光発光部27と、CPU28と、第2メモリ29と、システムバス30とを有している。なお、第1メモリ19、画像処理部20、記録I/F21、表示I/F22およびCPU28はシステムバス30を介して接続されている。
(Description of the first embodiment)
FIG. 1 is a block diagram showing the configuration of the electronic camera of the first embodiment.
The electronic camera includes a
ズームレンズ11は、撮像素子15に結像する被写体像を拡大、縮小するためのレンズである。また、第1レンズ駆動部12は、ズームレンズ11の光軸方向位置を調整するためのモータと、モータを駆動させるドライバと、ズームレンズ11の位置を検出するエンコーダとを有している。なお、第1レンズ駆動部12の入出力はCPU28に接続されている。
The
フォーカシングレンズ13は被写体像の合焦状態を調整するためのレンズである。また、第2レンズ駆動部14は、フォーカシングレンズ13の光軸方向位置を調整するためのモータと、モータを駆動させるドライバと、フォーカシングレンズ13の位置を検出するエンコーダとを有している。なお、第2レンズ駆動部14の入出力はCPU28に接続されている。
The focusing
撮像素子15は、ズームレンズ11およびフォーカシングレンズ13を通過した光束を光電変換して被写体像のアナログ画像信号を生成する。被写体の撮影を行う撮影モードにおいて、撮像素子15は、レリーズ時に記録用画像(本画像)を撮影するとともに、撮影待機時にも所定間隔毎に間引き読み出しでスルー画像を出力する。上記のスルー画像のデータは、CPU28による各種の演算処理やモニタ23での表示などに使用される。
The
アナログ処理部16は、撮像素子15の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このアナログ処理部16はCDS回路やゲイン回路を内部に有している。アナログ処理部16のCDS回路は、相関二重サンプリングによって撮像素子15の出力のノイズ成分を低減する。アナログ処理部16のゲイン回路は、CPU28の指示に基づいて入力信号の利得を増幅する。上記のゲイン回路では、ISO感度に相当する撮像感度の調整を行うことができる。
The
A/D変換部17は、アナログ処理部16から出力されたアナログの画像信号にA/D変換を行う。このA/D変換部17の出力は第1メモリ19に接続されている。
TG18は、CPU28の指示に基づいて、撮像素子15、アナログ処理部16およびA/D変換部17に対してタイミングパルスを供給する。撮像素子15、アナログ処理部16およびA/D変換部17の駆動タイミングは、TG18のタイミングパルスによって制御される。
The A /
The TG 18 supplies timing pulses to the
第1メモリ19は、後述の画像処理の前工程や後工程などで画像のデータを一時的に記録するためのバッファメモリである。
画像処理部20は、上記の撮影モードにおいて本画像のデータに各種の画像処理を施す。さらに、画像処理部20は、上記の撮影モードにおいて、CPU28の指示によりスルー画像の画像信号から表示用画像(ビュー画像)を生成する。なお、画像処理部20は、本画像のデータをJPEG形式などで圧縮する処理や、圧縮された本画像のデータを再生時に伸長復元する処理をも実行する。
The
The
記録I/F21には記録媒体31を接続するためのコネクタが形成されている。そして、記録I/F21は、コネクタに接続された記録媒体31に対して本画像のデータの書き込み/読み込みを実行する。上記の記録媒体31は、ハードディスクや半導体メモリを内蔵したメモリカードなどで構成される。なお、図1では記録媒体31の一例としてメモリカードを図示する。
A connector for connecting the
表示I/F22はCPU28の指示に基づいてモニタ23の表示を制御する。モニタ23は、CPU28および表示I/F22の指示に応じて各種画像を表示する。本実施形態のモニタ23は液晶モニタで構成されている。このモニタ23には、撮影モードでの撮影待機時にビュー画像が動画表示される。また、モニタ23は、オンスクリーン機能によって、撮影に必要となる各種情報の表示(例えば、撮影可能なフレーム数、焦点検出エリアの位置、後述の顔検出処理で検出された顔領域の枠表示など)をビュー画像に重畳表示させることもできる。さらに、モニタ23には、本画像のデータに基づく再生画像や、GUI(Graphical User Interface)形式の入力が可能なメニュー画面なども表示できる(なお、モニタ23における再生画像およびメニュー画面の図示は省略する)。
The display I /
レリーズ釦24は露光動作開始の指示入力をユーザーから受け付ける。操作部25は、例えば十字キーや決定釦などの複数の入力釦を有している。この操作部25は各種の設定変更の入力をユーザーから受け付ける。
スピーカー26は、撮影時などに電子カメラの外部に音声を出力するために設けられている。このスピーカー26はCPU28と接続されている。
The
The
閃光発光部27は、例えば、キセノン発光管、発光のエネルギを蓄えるメインコンデンサ、閃光を被写体に効率良く照射するための反射傘やレンズ部材、発光制御回路などから構成されている。
CPU28は、不図示のROMに格納されたシーケンスプログラムに従って、電子カメラの各部動作を制御する。そして、CPU28は、オートフォーカス(AF)演算、自動露出(AE)演算、オートホワイトバランス(AWB)演算などの各種演算を実行する。また、第1実施形態のCPU28は、顔検出部28a、顔認証部28bとしても機能する。
The flash
The
顔検出部28aは、スルー画像または本画像のデータから特徴点を抽出して被写体の顔領域、顔の大きさ等を検出する。例えば、顔検出部28aは、特開2001−16573号公報などに記載された特徴点抽出処理によって顔領域を抽出する。また、上記の特徴点としては、例えば、眉、目、鼻、唇の各端点やその中間点などが挙げられる。図2(a)および図2(b)に、本実施形態での一例として特徴点の位置を黒点で示す。なお、本明細書では、個々の特徴点についての説明は省略する。
The
顔認証部28bは、顔検出部28aで検出した特徴点に基づいて顔認証データを生成する。例えば、顔認証部28bは、検出した顔の特徴点の位置、各特徴点の相対距離などから認証対象となる登録人物の顔認証データを生成する。また、顔認証部28bは、撮影画面内の人物の顔が顔認証データの人物の顔か否かを判定する顔認証処理を行う。なお、この顔認証処理の具体的内容については後述する。
The
第2メモリ29はCPU28と接続されている。第2メモリ29には、顔認証部28bで生成された顔認証データ(登録データ)が記録される。この第2メモリ29には、上記の登録人物ごとにグループフォルダが生成されている。そのため、グループフォルダによって、同一の登録人物に関する複数の顔認証データがグループ化される。
また、第2メモリ29の各グループフォルダには、登録人物のプロファイルデータがそれぞれ対応付けされて記録されている。このプロファイルデータには、例えば、登録人物の名称(例えば、氏名、ニックネームなど)や属性情報(性別、年齢、住所、電話番号、メールアドレス、所属する組織、その他のメモなど)がデータベース化されて記録されている。なお、登録人物の認証時に適用する電子カメラの各種設定(例えば、撮影時の露出補正や画像処理の設定など)を、プロファイルデータに含めるようにしてもよい。
The
Further, the profile data of the registered person is recorded in each group folder of the
次に、図3の流れ図を参照しつつ、第1実施形態の電子カメラでの撮影動作を説明する。なお、以下の説明では、メニュー画面などで顔認証機能がオンに設定されている状態を前提とする。
ステップ101:CPU28は、撮像素子15を駆動させてスルー画像の取得を開始する。撮像素子15は所定間隔毎に間引き読み出しでスルー画像の画像信号を取得する。画像処理部20はスルー画像のデータに基づいてビュー画像を逐次生成する。そして、撮影待機時のモニタ23にはビュー画像が動画表示される。したがって、ユーザーはモニタ23のビュー画像によって、撮影構図を決定するためのフレーミングを行うことができる。
Next, a photographing operation with the electronic camera of the first embodiment will be described with reference to the flowchart of FIG. In the following description, it is assumed that the face authentication function is turned on on the menu screen or the like.
Step 101: The
ステップ102:CPU28の顔検出部28aは、スルー画像のデータに顔検出処理を施して撮影画面内の顔領域を検出する。
ステップ103:CPU28は、S102での顔検出の結果をモニタ23に表示するとともに、顔認証処理を行う人物を選択する入力をユーザーから受け付ける。
例えば、撮影画面内で人物の顔を検出した場合、CPU28はビュー画像上の顔領域の位置に矩形の枠を重畳させてモニタ23に表示する(図4参照)。これにより、ユーザーはビュー画像で顔検出の結果を確認することができる。
Step 102: The
Step 103: The
For example, when a face of a person is detected on the shooting screen, the
また、ユーザーは、検出した顔のうちから顔認証処理を行いたい顔を操作部25の操作で選択することができる。そして、CPU28は、検出された顔のうちで顔認証処理の対象となる顔領域を、操作部25の入力に応じて指定する。なお、顔検出時にユーザーの指定入力の操作がない場合、CPU28は検出されたすべての顔領域を顔認証処理の対象に指定する。
Further, the user can select a face to be subjected to face authentication processing from the detected faces by operating the
ステップ104:CPU28はレリーズ釦24が半押しされたか否かを判定する。レリーズ釦24が半押しされた場合(YES側)にはS105に移行する。一方、レリーズ釦24が半押しされていない場合(NO側)には、CPU28はS102に戻って上記動作を繰り返す。
ステップ105:CPU28は、顔認証処理の対象となる顔領域が指定されているか否かを判定する。顔認証処理の対象が指定されている場合(YES側)にはS106に移行する。一方、顔認証処理の対象が指定されていない場合(NO側)にはS115に移行する。
Step 104: The
Step 105: The
ステップ106:CPU28は、顔認証処理の対象に指定された顔領域に対して顔認証処理を実行する。この顔認証処理では、必要に応じてズームレンズ11のズームアップを行って顔認証の成功率を増加させる。なお、S106での顔認証処理の詳細については後述する。
ステップ107:CPU28は、S106での顔認証処理の結果をモニタ23に表示する。一例として、図5に顔認証結果の表示例を示す。図5では、図4で示したビュー画像の矩形の枠の太さや色を変えるなどの手段によって、CPU28が登録人物と認証した顔領域をモニタ23上に示している。これにより、ユーザーはS106での顔認証処理の結果をビュー画像で確認できる。
Step 106: The
Step 107: The
ステップ108:CPU28は、上記のS105の顔認証処理でズームレンズ11を移動させている場合には、第1レンズ駆動部12を駆動させてズームレンズ11を半押し時の状態に戻す。勿論、顔認証処理においてズーミングが行われていない場合にはこの工程は省略される。
ステップ109:CPU28は、コントラスト検出方式などによるAFを実行するとともに、AE演算およびAWB演算を実行して撮影条件(絞り値、露光時間、撮像感度)を調整する。
Step 108: If the
Step 109: The
ここで、S106の顔認証処理で登録人物を検出している場合には、CPU28は登録人物の顔を基準としてAFを実行してもよい。また、S106の顔認証処理で登録人物を検出している場合には、CPU28は登録人物に対応するプロファイルデータを読み出して、登録人物に合わせて撮影条件を調整してもよい。
ステップ110:CPU28はレリーズ釦24が全押しされたか否かを判定する。レリーズ釦24が全押しされた場合(YES側)にはS105に移行する。一方、レリーズ釦24が全押しされていない場合(NO側)には、CPU28はレリーズ釦24の全押しを待機する。
Here, if a registered person is detected in the face authentication process of S106, the
Step 110: The
ステップ111:CPU28は撮像素子15を駆動させて本画像を撮影する。その後、画像処理部20は本画像の画像データを生成する。なお、CPU28は、画像データをExif(Exchangeable image file format for digital still cameras)規格に準拠したファイル形式で記録媒体31に記録する。
ステップ112:CPU28は、S106の顔認証処理で登録人物を認証したか否かを判定する。登録人物を認証した場合(YES側)にはS113に移行する。一方、登録人物を認証していない場合(NO側)にはS114に移行する。
Step 111: The
Step 112: The
ステップ113:CPU28は、認証した登録人物のプロファイルデータに基づいて、画像データのファイルに付加データを付加する処理を実行する。S113での付加データの付加処理は、例えば以下のいずれかの手法で行われる。
第1に、CPU28は、画像データのファイルにプロファイルデータの一部または全部を付加データとして付加する。この場合には、画像ファイルの付加データに基づいて、撮影された登録人物の各種情報(名称など)を画像ファイルの閲覧者が取得できる。
Step 113: The
First, the
ここで、プロファイルデータにおいてCPU28が付加データとする項目は、メニュー画面などで予めユーザーがCPU28に対して入力する。また、CPU28は、例えば、ExifのMakerNoteタグを利用して付加データを画像ファイルに付加してもよい。あるいは、CPU28は電子透かしなどの手段で画像データに付加データを埋め込むようにしてもよい。
Here, in the profile data, items to be added by the
第2に、CPU28は、画像データのファイル名をプロファイルデータに基づいて設定する。例えば、CPU28は、画像ファイルに対して、認証された登録人物の名称を一部に含んだファイル名を付与する。この場合には、ファイル名を参照することで本画像に撮影されている登録人物を容易に検索できる。
ステップ114:CPU28は、S106の顔認証処理で使用した撮影人物の特徴点から顔認証データ(登録データ)を生成する。そして、CPU28はこの登録データを第2メモリ29に記録する。なお、メニュー画面において、CPU28に対してユーザーが顔認証データの登録をオフに設定した場合には、この工程は省略される。
Second, the
Step 114: The
ここで、顔認証ができた既登録の人物の顔認証データについては、CPU28はその登録人物のグループフォルダに記録する。これにより、顔認証データのサンプル数が増えるため、次回からの顔認証の認証精度を向上することができる。
一方、未登録の人物の顔認証データについては、CPU28は新規のグループフォルダを生成し、そのグループフォルダに顔認証データを記録する。これにより、顔認証の対象とする人物を容易に登録することができる。なお、新規のグループフォルダについては、ユーザーはメニュー画面で後で改めてプロファイルデータを登録することができる。そして、CPU28は一連の撮影動作を終了する。
Here, the
On the other hand, for face authentication data of an unregistered person, the
ステップ115:この場合には、CPU28は、顔認証を行わない通常の撮影モードの場合と同様のアルゴリズムでAF演算およびAE演算を実行する。そして、CPU28はレリーズ釦24の全押しに応じて本画像を撮影する。その後、画像処理部20は本画像の画像データを生成する。そして、画像データは最終的に記録媒体31に記録される。なお、この場合にはプロファイルデータに基づく各種の処理や顔認証データの生成が行われることはない。以上で、図3の流れ図の説明を終了する。
Step 115: In this case, the
次に、顔認証処理についてさらに詳細に説明する。図6は、上記のS106の顔認証処理でCPU28が実行する制御を示す流れ図である。
ステップ201:CPU28は、顔認証処理の許容時間を計測するタイムカウントを開始する。
ステップ202:CPU28は、顔認証処理の対象となる顔領域について、顔認証処理を行う優先順位を設定する。
Next, the face authentication process will be described in more detail. FIG. 6 is a flowchart showing the control executed by the
Step 201: The
Step 202: The
例えば、CPU28は、S103でユーザーが顔領域を指定した順に顔認証処理の優先順位を設定する。あるいは、CPU28は、撮影画面内での顔の大きさおよび顔の位置に基づいて優先順位を設定する。具体例としては、CPU28は撮影画面の中央に位置する人物の顔を主要被写体と見なして優先順位を高くする。また、CPU28は、顔が大きく至近側にいる人物の優先順位を高く設定する。この場合には、優先順位の高い人物については、ズーミングをしなくとも顔認証ができる可能性が高くなるので、一連の顔認証を効率的に行うことができる。あるいは、CPU28は合焦状態にある顔領域の優先順位を非合焦状態にある顔領域より高めるようにしてもよい。
For example, the
ステップ203:CPU28は、S202の優先順位に基づいて、撮影画面において顔認証の判定を行う顔領域(判定対象の顔領域)を決定する。
ステップ204:CPU28は、第2メモリ29の各々の登録人物について登録データの正規化処理を実行する。なお、登録データが予め正規化された状態で登録されている場合にはこの工程は省略される。
Step 203: Based on the priority order of S202, the
Step 204: The
具体的には、S204での正規化処理は以下の手法で行われる。
第1に、CPU28は、第2メモリ29の登録データが示す各々の特徴点において、各特徴点間の相対距離を複数箇所で求める。この特徴点間の相対距離をとる位置は任意に決定できる。なお、ここでは一例として、図2(a)に示す特徴点のうちで、口の両端間の距離(第1距離)、両目の瞳の距離(第2距離)、鼻の下から唇までの距離(第3距離)、眉間から鼻の下までの距離(第4距離)などを求めるものとする。
Specifically, the normalization process in S204 is performed by the following method.
First, the
第2に、CPU28は、第1工程で求めた相対距離のうちから基準距離を決定する。この基準距離の位置は任意に決定できるが、比較時には基準距離の位置を同じに設定する必要がある。そのため、各々の登録人物の顔認証データを正規化する場合には、基準距離の位置を共通にすることが望ましい。なお、ここでは一例として、両目の瞳を結ぶ直線の長さ(第2距離)を基準距離として以下の説明を行う。
Second, the
第3に、CPU28は、第1工程で求めた各々の相対距離と、第2工程で求めた基準距離との比をそれぞれ演算する。そして、CPU28は演算された比の値を正規化された認証用データとして扱う。すなわち、上記の例であれば、第1距離を第2距離で除した値や、第3距離を第2距離で除した値などが、正規化された登録データを構成する。
本実施形態では後述するように顔認証時にズーミングを実行する。上記第3工程で求まる比の値は、同じ顔であればズーミングの前後でもほぼ等しくなる。そのため、上記の正規化処理によればズーミングされた顔についても認証が可能となる。
Thirdly, the
In this embodiment, as will be described later, zooming is performed during face authentication. The ratio value obtained in the third step is substantially the same before and after zooming for the same face. Therefore, according to the normalization process, authentication can be performed even for a zoomed face.
ここで、上記の特徴点間の距離は顔の向きに応じて変化することがある。例えば、カメラに対して顔が横向きの場合には、撮影画面において顔の水平方向の特徴点の相対距離(上記の第1距離および第2距離)が変化する。また、カメラに対して顔が上向きまたは下向きの場合には、撮影画面において顔の垂直方向の特徴点の相対距離(上記の第3距離および第4距離)が変化する。そのため、上記の正規化処理を行う場合には、顔の異なる方向に複数の基準距離を設定するとともに、各々の基準距離ごとに上記の比の値を求めて複数方向に対応する登録データを生成することが好ましい。この場合には、撮影人物の顔の向きに関わらず、顔認証を行える可能性が向上する。 Here, the distance between the above feature points may change depending on the orientation of the face. For example, when the face is sideways with respect to the camera, the relative distance (the first distance and the second distance described above) of the feature points in the horizontal direction of the face changes on the shooting screen. Further, when the face is facing upward or downward with respect to the camera, the relative distances (the above-described third distance and fourth distance) of the feature points in the vertical direction of the face change on the shooting screen. Therefore, when performing the above normalization processing, a plurality of reference distances are set in different directions of the face, and registration data corresponding to a plurality of directions is generated by obtaining the value of the above ratio for each reference distance. It is preferable to do. In this case, the possibility of performing face authentication is improved regardless of the face orientation of the photographed person.
ステップ205:CPU28は、撮像素子15のスルー画像によって、判定対象となっている顔領域の特徴点のデータ(判定用データ)を取得する。なお、顔領域の特徴点のデータについては、CPU28はS102の顔検出処理で取得したものをそのまま適用してもよい。
ステップ206:CPU28は、S205でスルー画像から取得した判定用データを正規化する。このS206での正規化処理の具体的手法はS204の場合と同様に行われるので重複説明を省略する。なお、この正規化処理において、特徴点間で相対距離をとる位置および基準距離をとる位置は、S204の場合とそれぞれ共通に設定される。
Step 205: The
Step 206: The
ここで、CPU28は、スルー画像から顔の特徴点が一部検出できない場合には、スルー画像から検出できた特徴点のみを用いて正規化処理を行うようにしてもよい。例えば、顔の半分が隠れている場合には、CPU28はその半分の顔データから取得した特徴点で正規化処理を実行する。なお、上記において基準距離の位置が検出できない場合には、CPU28は基準距離の位置を取り直して、登録データを再度正規化処理する必要がある。
Here, when some of the facial feature points cannot be detected from the through image, the
ステップ207:CPU28は、S204で正規化された登録データと、S206で正規化された判定用データとを比較する。そして、CPU28は、判定対象となっている顔領域の人物が登録人物に該当する確率を示す尤度を、各々の登録人物ごとに演算する。
ステップ208:CPU28は、判定対象の顔領域の人物がいずれかの登録人物に該当するか否かを判定する。具体的には、S207で演算した尤度が最も高く、かつ尤度が閾値以上となる人物がいる場合には、CPU28は判定対象の顔領域の人物がその登録人物に該当するものと判定する。登録人物に該当する場合(YES側)にはS209に移行する。一方、登録人物に該当しない場合(NO側)にはS211に移行する。
Step 207: The
Step 208: The
ステップ209:CPU28は、S103で指定された顔領域のうち、顔認証処理が未処理の顔領域が存在するか(すなわち、判定対象の顔領域よりも優先順位が低く設定された顔領域があるか)否かを判定する。上記要件を満たす場合(YES側)にはS210に移行する。一方、上記要件を満たさない場合(NO側)は、S103で指定された顔に対する顔認証処理がすべて終了した場合に相当する。この場合には、図6に示すサブルーチンの処理を終了してS107に復帰する。
Step 209: The
ステップ210:CPU28は判定対象の顔領域を、現在処理中の顔領域から次の優先順位の顔領域に変更する。その後、CPU28はS205に戻る。
ステップ211:CPU28は、顔認証処理の許容時間のカウント(S201)が閾値以内か否かを判定する。閾値以内の場合(YES側)にはS212に移行する。一方、閾値を超える場合(NO側)には、CPU28は図6に示すサブルーチンの処理をタイムアウトで終了してS107に復帰する。この場合には、現在の判定対象となっている顔領域と、顔認証処理が未処理の顔領域については、CPU28は認証できない顔領域として扱う。
Step 210: The
Step 211: The
ステップ212:CPU28は、ズームレンズ11を望遠側にズームできるか否かを判定する。望遠側にズームできる場合(YES側)にはS213に移行する。一方、望遠側にズームできない場合(NO側)は、CPU28は現在の判定対象の顔領域を認証できない顔領域として扱う。そして、CPU28はS209に移行する。
ステップ213:CPU28は、ズームレンズ11を所定のステップ幅の分だけ望遠側に移動させる制御を行う。そして、CPU28はS205に戻って次回の顔認証の判定を行う。以上で、図6の流れ図の説明を終了する。
Step 212: The
Step 213: The
以下、第1実施形態の効果を説明する。
第1実施形態では、顔認証ができない場合にCPU28はズームレンズ11を駆動させてズームアップを実行する(S208、S213)。そのため、次回の顔認証の判定では、前回の判定よりも顔認証の成功率を高めることができる。
また、本画像の撮影時には、ズームレンズ11を半押しの位置まで戻して撮影を実行する(S108)。そのため、集合写真や風景とともに人物を撮影するシーンでも、顔認証の高い精度を確保しつつ、ユーザーの意図に沿った本画像を取得できる。
Hereinafter, effects of the first embodiment will be described.
In the first embodiment, when face authentication cannot be performed, the
Further, at the time of photographing the main image, the
さらに、第1実施形態では、登録データおよび判定用データが、各々の顔で共通する特徴点間の基準距離に基づいて正規化されている(S204〜S206)。そのため、ズーミングで倍率が異なる顔を比較する場合でも高い精度で顔認証を行うことができる。
(第2実施形態の説明)
以下、第2実施形態の電子カメラを説明する。ここで、以下の実施形態は第1実施形態の変形例であって、第1実施形態と電子カメラの構成は共通する。また、撮影動作の流れも図3に示す部分は共通する一方で、図6で説明した顔認証処理の動作のみが一部相違する。そのため、以下の実施形態では第1実施形態との相違点のみを説明し、第1実施形態との重複説明は省略する。
Furthermore, in the first embodiment, the registration data and the determination data are normalized based on the reference distance between feature points common to each face (S204 to S206). Therefore, even when comparing faces with different magnifications by zooming, face authentication can be performed with high accuracy.
(Description of Second Embodiment)
Hereinafter, the electronic camera of the second embodiment will be described. The following embodiment is a modification of the first embodiment, and the configuration of the electronic camera is the same as that of the first embodiment. Also, the flow of the shooting operation is the same as that shown in FIG. 3, but only the operation of the face authentication process described in FIG. 6 is partially different. Therefore, in the following embodiments, only differences from the first embodiment will be described, and redundant descriptions with the first embodiment will be omitted.
図7は第2実施形態の電子カメラにおいて、上記のS106の顔認証処理でCPU28が実行する制御を示す流れ図である。なお、図7のS301〜S312は、第1実施形態における図6のS201〜S212にそれぞれ対応するので重複説明を省略する。
ステップ313:CPU28は、ズームレンズ11を所定のステップ幅の分だけ望遠側に移動させる制御を行う。
FIG. 7 is a flowchart showing the control executed by the
Step 313: The
ステップ314:CPU28は、現在の判定対象に対する処理時間が閾値以上となったか否かを判定する。閾値以上の場合(YES側)にはS315に移行する。一方、閾値未満の場合(NO側)には、CPU28はS305に戻って次回の顔認証の判定を行う。
ステップ315:CPU28は、被写体の注意をカメラに向けるために、閃光発光部27を発光させるとともに、スピーカー26から音声を出力する。その後、CPU28はS305に戻って次回の顔認証の判定を行う。なお、S315において、CPU28は閃光発光部27の発光またはスピーカー26からの音声出力の一方を省略してもよい。以上で、図7の流れ図の説明を終了する。
Step 314: The
Step 315: The
この第2実施形態によっても上記の第1実施形態とほぼ同様の効果を得ることができる。さらに第2実施形態では、音声などで被写体の顔をカメラに向けさせることで、顔認証の成功率を高めることが可能となる。
(第3実施形態の説明)
図8は第1実施形態の電子カメラにおいて、上記のS106の顔認証処理でCPU28が実行する制御を示す流れ図である。なお、図7のS401〜S412は、第1実施形態における図6のS201〜S212にそれぞれ対応するので重複説明を省略する。
According to the second embodiment, substantially the same effect as that of the first embodiment can be obtained. Furthermore, in the second embodiment, the face authentication success rate can be increased by directing the face of the subject to the camera by voice or the like.
(Description of the third embodiment)
FIG. 8 is a flowchart showing the control executed by the
ステップ413:CPU28は、ズームレンズ11をズームさせた場合に判定対象の顔領域が撮影画角から外れるか(フレームアウトするか)否かを判定する。例えば、判定対象の顔領域が撮影画面の外縁部にあるときに上記のズームを行おうとする場合、CPU28はフレームアウトするものと判定する。フレームアウトする場合(YES側)にはS414に移行する。一方、フレームアウトしない場合(NO側)はS416に移行する。
Step 413: The
ステップ414:CPU28は、判定対象の顔領域がズームによってフレームアウトする旨の警告表示をモニタ23のビュー画像上に重畳表示する。上記の警告表示は、アイコン化されたマークであってもよく、文字によるメッセージ表示であってもよい。
このS414の警告表示があった場合には、判定対象への顔認証を行うためにユーザーはカメラの向きや撮影位置を変えることもできる。この場合には、CPU28は操作部25から顔認証再開の操作を受け付けた場合に撮影動作を再開する。なお、CPU28は上記の警告を音声で行うようにしてもよい。
Step 414: The
If there is a warning display in S414, the user can also change the camera orientation or shooting position in order to perform face authentication on the determination target. In this case, the
ステップ415:CPU28は、ユーザーによる顔認証再開の操作を操作部25から受け付けたか否かを判定する。顔認証再開の操作があった場合(YES側)にはS416に移行する。一方、顔認証再開の操作がない場合(NO側)には、CPU28はS411に戻って上記動作を繰り返す。
ステップ416:CPU28は、ズームレンズ11を所定のステップ幅の分だけ望遠側に移動させる制御を行う。そして、CPU28はS405に戻って次回の顔認証の判定を行う。以上で、図8の流れ図の説明を終了する。なお、第3実施形態において、S414およびS415の間でユーザーがカメラの向きや撮影位置を変えた場合には、ユーザーはカメラの向きなどを半押し時と同じ状態に戻して本画像を撮影する。
Step 415: The
Step 416: The
この第3実施形態によっても上記の第1実施形態とほぼ同様の効果を得ることができる。さらに第3実施形態では、ズームアップで被写体の顔が撮影画角から外れる場合にはユーザーに注意を促して撮影画角を変更することで、顔認証の成功率を高めることができる。
(実施形態の補足事項)
(1)上記実施形態の電子カメラは人物の顔の認証を行う例を説明したが、本発明は例えば犬、猫、鳥などの動物の顔などの認証を含む一般的なパターン認証にも広く応用できる。また、上記実施形態において、CPU28は顔の全部の特徴点を用いて認証を行う必要はなく、人の顔の特定部位(例えば、目、鼻、口など)のみの特徴点で認証を行うようにしてもよい。
According to the third embodiment, substantially the same effect as that of the first embodiment can be obtained. Furthermore, in the third embodiment, when the subject's face deviates from the shooting angle of view by zooming up, the success rate of face authentication can be increased by alerting the user and changing the shooting angle of view.
(Supplementary items of the embodiment)
(1) The example in which the electronic camera of the above embodiment performs authentication of a person's face has been described. However, the present invention is widely applicable to general pattern authentication including authentication of animal faces such as dogs, cats, and birds. Can be applied. Further, in the above embodiment, the
(2)上記実施形態において、CPU28は判定対象の人数に上限を設けてもよい。また、CPU28は認証時の判定回数に制限を設けてもよい。さらに、CPU28は、ズームアップによるフレームアウトを防止するために、撮影画面の外縁にいる人物の顔は判定対象の選択から除外するようにしてもよい。
(3)また、上記実施形態で判定対象の顔領域が複数設定されてある場合には、CPU28は1回の顔認証処理で複数の顔領域の認証処理を同時に行うようにしてもよい。この場合には、ズームレンズ11の移動回数をより少なくすることができる。
(2) In the above embodiment, the
(3) Further, when a plurality of determination target face areas are set in the above embodiment, the
(4)上記実施形態のようにズームレンズ11を移動させる場合には、ズームアップによって判定対象の画像の情報量が増加するとともに、撮影画面内の輝度分布特性が変化するので顔認証の認証精度は向上する。しかし、ズームレンズ11のズーミングに伴なう輝度の低下によって認証精度に悪影響が生じるおそれもある。そのため、CPU28はアナログ処理部16や画像処理部20でのゲインをズームレンズ11のズームアップ量に応じて大きくして、認証精度への悪影響を除外するようにしてもよい。
(4) When the
(5)また、上記実施形態において、CPU28は顔認証の失敗時には、スルー画像の解像度を前回よりも高める設定を行うようにしてもよい。この場合には、判定対象の顔領域の情報量が前回の判定よりも増えるので、顔認証の精度が向上し易くなる。また、スルー画像の解像度を高める場合には、CPU28はズームレンズ11によるズーミングを省略してもよい。さらに、CPU28は上記実施形態において、必要に応じて電子ズームを行うようにしてもよい。
(5) In the above embodiment, when the face authentication fails, the
11…ズームレンズ、12…第1レンズ駆動部、15…撮像素子、22…表示I/F、23…モニタ、25…操作部、26…スピーカー、27…閃光発光部、28…CPU、28a…顔検出部、28b…顔認証部、29…第2メモリ
DESCRIPTION OF
Claims (7)
前記被写体像の倍率を調整するズーム調整部と、
認証対象の特徴点を示す登録データを予め記録した記録部と、
前記登録データに基づいて、前記撮像部が撮像した前記被写体が前記認証対象に一致するか否かを判定する被写体認証部と、
前記被写体が前記認証対象に一致しないと前記被写体認証部が判定した場合に、前記被写体像の倍率を拡大するとともに、前記被写体認証部に前記判定を再実行させる制御部と、
を備えることを特徴とする電子カメラ。 An imaging unit that captures a subject image by the imaging optical system;
A zoom adjustment unit for adjusting the magnification of the subject image;
A recording unit in which registration data indicating a feature point of an authentication target is recorded in advance;
A subject authentication unit that determines whether the subject imaged by the imaging unit matches the authentication target based on the registration data;
A control unit that enlarges the magnification of the subject image and causes the subject authentication unit to re-execute the determination when the subject authentication unit determines that the subject does not match the authentication target;
An electronic camera comprising:
前記認証対象が人物の顔であることを特徴とする電子カメラ。 The electronic camera according to claim 1,
An electronic camera, wherein the authentication target is a human face.
撮影画面内から人物の顔を検出するとともに、該検出した人物の顔の特徴点を抽出して判定用データを生成する顔検出部をさらに備え、
前記被写体認証部は、特定の2つの前記特徴点を結ぶ基準距離を取得するとともに、前記特徴点の相対距離と前記基準距離との比を求める正規化処理を前記登録データおよび前記判定用データに対して実行し、該正規化処理後のデータに基づいて前記判定を実行することを特徴とする電子カメラ。 The electronic camera according to claim 2,
A face detection unit that detects the face of the person from the shooting screen, and extracts feature points of the detected face of the person to generate determination data;
The subject authentication unit acquires a reference distance connecting two specific feature points, and performs a normalization process for obtaining a ratio between a relative distance between the feature points and the reference distance on the registration data and the determination data. An electronic camera that executes the determination on the basis of the data after the normalization processing.
撮影画面内から人物の顔を検出する顔検出部と、
前記顔検出部が検出した顔を提示するモニタと、
前記判定の対象となる顔の指定を行う指定操作をユーザーから受け付ける操作部とをさらに備え、
前記被写体認証部は、前記指定操作で指定された顔に対して前記判定を行うことを特徴とする電子カメラ。 The electronic camera according to claim 2,
A face detection unit for detecting a person's face from the shooting screen;
A monitor that presents the face detected by the face detection unit;
An operation unit for receiving a designation operation for designating a face to be determined from a user;
The subject authentication unit performs the determination on a face designated by the designation operation.
前記被写体が前記認証対象に一致しないと前記被写体認証部が判定した場合に、前記被写体に対して注意を喚起する第1報知部をさらに備えることを特徴とする電子カメラ。 The electronic camera according to claim 1,
The electronic camera further comprising: a first notification unit that calls attention to the subject when the subject authentication unit determines that the subject does not match the authentication target.
前記被写体像の倍率の拡大によって、前記判定の対象となった前記被写体が撮影画角から外れる場合に、ユーザーに対して注意を喚起する第2報知部をさらに備えることを特徴とする電子カメラ。 The electronic camera according to claim 1,
An electronic camera, further comprising: a second notification unit that alerts a user when the subject subject to the determination deviates from a shooting angle of view due to enlargement of the magnification of the subject image.
記録部には、前記認証対象を説明するプロファイルデータが、前記登録データと対応付けされて記録されており、
前記制御部は、前記被写体が前記認証対象に一致すると前記被写体認証部が判定した場合に、前記認証対象が撮影された記録用画像を含む画像ファイルに対して、前記プロファイルデータに基づく付加データを付加することを特徴とする電子カメラ。
The electronic camera according to claim 1,
In the recording unit, profile data describing the authentication target is recorded in association with the registration data,
When the subject authentication unit determines that the subject matches the authentication target, the control unit adds additional data based on the profile data to an image file including a recording image in which the authentication target is captured. An electronic camera characterized by being added.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006186454A JP2008017169A (en) | 2006-07-06 | 2006-07-06 | Electronic camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006186454A JP2008017169A (en) | 2006-07-06 | 2006-07-06 | Electronic camera |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008017169A true JP2008017169A (en) | 2008-01-24 |
Family
ID=39073782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006186454A Withdrawn JP2008017169A (en) | 2006-07-06 | 2006-07-06 | Electronic camera |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008017169A (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009211148A (en) * | 2008-02-29 | 2009-09-17 | Secom Co Ltd | Face image processor |
JP2010117487A (en) * | 2008-11-12 | 2010-05-27 | Fujinon Corp | Autofocus system |
JP2010258885A (en) * | 2009-04-27 | 2010-11-11 | Ricoh Co Ltd | Image capturing apparatus and image processing method |
KR20110014838A (en) * | 2009-08-06 | 2011-02-14 | 삼성전자주식회사 | Apparatus for processing digital image and method for controlling thereof |
JP2012022579A (en) * | 2010-07-15 | 2012-02-02 | Fujitsu Ltd | Face direction detector, face direction detection program and face direction detection method |
JP2015520470A (en) * | 2012-06-22 | 2015-07-16 | マイクロソフト コーポレーション | Face recognition self-learning using depth-based tracking for database creation and update |
JP2022008339A (en) * | 2017-09-19 | 2022-01-13 | 日本電気株式会社 | Collation system |
US11704932B2 (en) | 2017-09-19 | 2023-07-18 | Nec Corporation | Collation system |
-
2006
- 2006-07-06 JP JP2006186454A patent/JP2008017169A/en not_active Withdrawn
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009211148A (en) * | 2008-02-29 | 2009-09-17 | Secom Co Ltd | Face image processor |
JP2010117487A (en) * | 2008-11-12 | 2010-05-27 | Fujinon Corp | Autofocus system |
JP2010258885A (en) * | 2009-04-27 | 2010-11-11 | Ricoh Co Ltd | Image capturing apparatus and image processing method |
KR20110014838A (en) * | 2009-08-06 | 2011-02-14 | 삼성전자주식회사 | Apparatus for processing digital image and method for controlling thereof |
KR101599883B1 (en) * | 2009-08-06 | 2016-03-04 | 삼성전자주식회사 | Apparatus for processing digital image and method for controlling thereof |
JP2012022579A (en) * | 2010-07-15 | 2012-02-02 | Fujitsu Ltd | Face direction detector, face direction detection program and face direction detection method |
JP2015520470A (en) * | 2012-06-22 | 2015-07-16 | マイクロソフト コーポレーション | Face recognition self-learning using depth-based tracking for database creation and update |
JP2022008339A (en) * | 2017-09-19 | 2022-01-13 | 日本電気株式会社 | Collation system |
JP7298658B2 (en) | 2017-09-19 | 2023-06-27 | 日本電気株式会社 | Matching system |
US11704932B2 (en) | 2017-09-19 | 2023-07-18 | Nec Corporation | Collation system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4315148B2 (en) | Electronic camera | |
JP5056061B2 (en) | Imaging device | |
JP4858849B2 (en) | Imaging apparatus and program thereof | |
JP5087856B2 (en) | Electronic camera | |
WO2007060980A1 (en) | Electronic camera and image processing device | |
JP4432886B2 (en) | Electronic camera | |
JP4974812B2 (en) | Electronic camera | |
JP2008311817A (en) | Image photographing device and image photographing method, and computer program | |
JP4663700B2 (en) | Imaging apparatus and imaging method | |
JP2007286255A (en) | Camera | |
JP2006201282A (en) | Digital camera | |
JP2008205650A (en) | Image processor, image processing method, imaging apparatus, and computer program | |
JP2007279601A (en) | Camera | |
JP2008017169A (en) | Electronic camera | |
JP2006211139A (en) | Imaging apparatus | |
JP2010008983A (en) | Focus detector and its control method | |
JP2006087083A (en) | Imaging device, and control method of imaging device | |
JP2007148691A (en) | Image processor | |
US20030169363A1 (en) | Image pickup apparatus and method, and image-pickup control computer program | |
JP4853707B2 (en) | Imaging apparatus and program thereof | |
JP2008252711A (en) | Digital camera | |
JP4360369B2 (en) | Electronic camera | |
JP2007150604A (en) | Electronic camera | |
JP2007281647A (en) | Electronic camera and image processing apparatus | |
JP2009089220A (en) | Imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20091006 |