JP2008017169A - Electronic camera - Google Patents

Electronic camera Download PDF

Info

Publication number
JP2008017169A
JP2008017169A JP2006186454A JP2006186454A JP2008017169A JP 2008017169 A JP2008017169 A JP 2008017169A JP 2006186454 A JP2006186454 A JP 2006186454A JP 2006186454 A JP2006186454 A JP 2006186454A JP 2008017169 A JP2008017169 A JP 2008017169A
Authority
JP
Japan
Prior art keywords
face
subject
authentication
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006186454A
Other languages
Japanese (ja)
Inventor
Seibun Ri
世文 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2006186454A priority Critical patent/JP2008017169A/en
Publication of JP2008017169A publication Critical patent/JP2008017169A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an electronic camera which performs controlling to raise a next authentication success rate at the time of the failure of photographic subject authentication. <P>SOLUTION: The electron camera is provided with an image pick-up, a zoom adjustment, a recorder, a photographic subject authentication, and a control unit. The image pick-up picturizes a photographic subject image by a photography optical system. The zoom adjustment adjusts the magnification of a photographic subject image. The recorder has recorded beforehand registration data indicating the characteristic details for attestation. The photographic subject authentication judges whether a photographic subject picturized by the image pick-up is coincident with a candidate for attestation, based on the registration data. When the photographic subject authentication judges that the photographic subject is not coincident with the candidate for attestation, the control unit makes the photographic subject authentication execute again the judgment, while expanding the magnification of the photographic subject image. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、被写体認証機能を備えた電子カメラに関する。   The present invention relates to an electronic camera having a subject authentication function.

従来から、カメラに記録された辞書データなどに基づいて、撮影時に人物などの被写体を認証する電子カメラが公知である。例えば、特許文献1には、被写体を認証したときにズーミングを行なうことで、認証された被写体の顔を好ましいサイズで撮影する電子カメラが開示されている。
特開2004−320286号公報
2. Description of the Related Art Conventionally, an electronic camera that authenticates a subject such as a person at the time of shooting based on dictionary data recorded in the camera is known. For example, Patent Document 1 discloses an electronic camera that photographs a face of an authenticated subject with a preferred size by performing zooming when the subject is authenticated.
JP 2004-320286 A

ところで、被写体認証機能を備えた一般的な電子カメラにおいて、例えば、被写体が遠くに位置するシーンなどでは、1回目の撮像動作で被写体の特徴部位の情報を取得できずに認証が失敗する場合もある。このような場合において、被写体の特徴部位を自動的に検出し易い状態にして、次回の認証成功率を高めることのできる電子カメラが要望されていた。   By the way, in a general electronic camera equipped with a subject authentication function, for example, in a scene where the subject is located far away, authentication may fail because information about the characteristic part of the subject cannot be acquired by the first imaging operation. is there. In such a case, there has been a demand for an electronic camera that can easily detect the characteristic part of the subject and can increase the next authentication success rate.

本発明の目的は、被写体認証の失敗時に次回の認証成功率を高める制御を行う電子カメラを提供することである。   An object of the present invention is to provide an electronic camera that performs control to increase the next authentication success rate when subject authentication fails.

第1の発明に係る電子カメラは、撮像部と、ズーム調整部と、記録部と、被写体認証部と、制御部とを備える。撮像部は、撮影光学系による被写体像を撮像する。ズーム調整部は、被写体像の倍率を調整する。記録部は、認証対象の特徴点を示す登録データを予め記録している。被写体認証部は、登録データに基づいて、撮像部が撮像した被写体が認証対象に一致するか否かを判定する。制御部は、被写体が認証対象に一致しないと被写体認証部が判定した場合に、被写体像の倍率を拡大するとともに、被写体認証部に判定を再実行させる。   An electronic camera according to a first aspect includes an imaging unit, a zoom adjustment unit, a recording unit, a subject authentication unit, and a control unit. The imaging unit captures a subject image by the imaging optical system. The zoom adjustment unit adjusts the magnification of the subject image. The recording unit records in advance registration data indicating feature points to be authenticated. The subject authentication unit determines whether the subject imaged by the imaging unit matches the authentication target based on the registration data. When the subject authentication unit determines that the subject does not match the authentication target, the control unit enlarges the magnification of the subject image and causes the subject authentication unit to re-execute the determination.

第2の発明では、第1の発明において、認証対象が人物の顔であることを特徴とする。
第3の発明では、第2の発明の電子カメラが顔検出部をさらに備える。顔検出部は、撮影画面内から人物の顔を検出するとともに、該検出した人物の顔の特徴点を抽出して判定用データを生成する。また、被写体認証部は、特定の2つの特徴点を結ぶ基準距離を取得するとともに、特徴点の相対距離と基準距離との比を求める正規化処理を登録データおよび判定用データに対して実行する。そして、被写体認証部は、該正規化処理後のデータに基づいて判定を実行する。
The second invention is characterized in that, in the first invention, the authentication target is a human face.
In the third invention, the electronic camera of the second invention further includes a face detection unit. The face detection unit detects a person's face from the shooting screen and extracts feature points of the detected person's face to generate determination data. In addition, the subject authentication unit acquires a reference distance connecting two specific feature points, and executes a normalization process for obtaining a ratio between the relative distance of the feature points and the reference distance for the registration data and the determination data. . The subject authentication unit performs determination based on the data after the normalization process.

第4の発明では、第2の発明の電子カメラが、顔検出部と、モニタと、操作部とをさらに備える。顔検出部は、撮影画面内から人物の顔を検出する。モニタは、顔検出部が検出した顔を提示する。操作部は、判定の対象となる顔の指定を行う指定操作をユーザーから受け付ける。そして、被写体認証部は、指定操作で指定された顔に対して判定を行う。
第5の発明では、第1の発明の電子カメラが第1報知部をさらに備える。第1報知部は、被写体が認証対象に一致しないと被写体認証部が判定した場合に、被写体に対して注意を喚起する。
In the fourth invention, the electronic camera of the second invention further includes a face detection unit, a monitor, and an operation unit. The face detection unit detects a person's face from the shooting screen. The monitor presents the face detected by the face detection unit. The operation unit receives a designation operation for designating a face to be determined from the user. Then, the subject authentication unit performs determination on the face specified by the specifying operation.
In the fifth invention, the electronic camera of the first invention further includes a first notification unit. The first notification unit alerts the subject when the subject authentication unit determines that the subject does not match the authentication target.

第6の発明では、第1の発明の電子カメラが第2報知部をさらに備える。第2報知部は、被写体像の倍率の拡大によって、判定の対象となった被写体が撮影画角から外れる場合に、ユーザーに対して注意を喚起する。
第7の発明では、第1の発明において、記録部には、認証対象を説明するプロファイルデータが、登録データと対応付けされて記録されている。また、制御部は、被写体が認証対象に一致すると被写体認証部が判定した場合に、認証対象が撮影された記録用画像を含む画像ファイルに対して、プロファイルデータに基づく付加データを付加する。
In the sixth invention, the electronic camera of the first invention further includes a second notification unit. The second notification unit alerts the user when the subject to be determined is out of the shooting angle of view due to the enlargement of the magnification of the subject image.
In a seventh aspect based on the first aspect, the recording unit records profile data that describes an authentication target in association with registration data. In addition, when the subject authentication unit determines that the subject matches the authentication target, the control unit adds additional data based on the profile data to the image file including the recording image in which the authentication target is captured.

本発明の電子カメラでは、被写体認証の失敗時に被写体像の倍率をズーミングで拡大して、次回の認証成功率を高めることができる。   In the electronic camera of the present invention, when the subject authentication fails, the magnification of the subject image can be enlarged by zooming to increase the next authentication success rate.

(第1実施形態の説明)
図1は第1実施形態の電子カメラの構成を示すブロック図である。
電子カメラは、ズームレンズ11と、第1レンズ駆動部12と、フォーカシングレンズ13と、第2レンズ駆動部14と、撮像素子15と、アナログ処理部16と、A/D変換部17と、タイミングジェネレータ(TG)18と、第1メモリ19と、画像処理部20と、記録I/F21と、表示I/F22と、モニタ23と、レリーズ釦24と、操作部25と、スピーカー26と、閃光発光部27と、CPU28と、第2メモリ29と、システムバス30とを有している。なお、第1メモリ19、画像処理部20、記録I/F21、表示I/F22およびCPU28はシステムバス30を介して接続されている。
(Description of the first embodiment)
FIG. 1 is a block diagram showing the configuration of the electronic camera of the first embodiment.
The electronic camera includes a zoom lens 11, a first lens driving unit 12, a focusing lens 13, a second lens driving unit 14, an image sensor 15, an analog processing unit 16, an A / D conversion unit 17, and a timing. Generator (TG) 18, first memory 19, image processing unit 20, recording I / F 21, display I / F 22, monitor 23, release button 24, operation unit 25, speaker 26, flash The light emitting unit 27, the CPU 28, the second memory 29, and the system bus 30 are included. The first memory 19, the image processing unit 20, the recording I / F 21, the display I / F 22 and the CPU 28 are connected via a system bus 30.

ズームレンズ11は、撮像素子15に結像する被写体像を拡大、縮小するためのレンズである。また、第1レンズ駆動部12は、ズームレンズ11の光軸方向位置を調整するためのモータと、モータを駆動させるドライバと、ズームレンズ11の位置を検出するエンコーダとを有している。なお、第1レンズ駆動部12の入出力はCPU28に接続されている。   The zoom lens 11 is a lens for enlarging and reducing a subject image formed on the image sensor 15. The first lens driving unit 12 includes a motor for adjusting the position of the zoom lens 11 in the optical axis direction, a driver for driving the motor, and an encoder for detecting the position of the zoom lens 11. The input / output of the first lens driving unit 12 is connected to the CPU 28.

フォーカシングレンズ13は被写体像の合焦状態を調整するためのレンズである。また、第2レンズ駆動部14は、フォーカシングレンズ13の光軸方向位置を調整するためのモータと、モータを駆動させるドライバと、フォーカシングレンズ13の位置を検出するエンコーダとを有している。なお、第2レンズ駆動部14の入出力はCPU28に接続されている。   The focusing lens 13 is a lens for adjusting the focus state of the subject image. The second lens driving unit 14 includes a motor for adjusting the position of the focusing lens 13 in the optical axis direction, a driver for driving the motor, and an encoder for detecting the position of the focusing lens 13. The input / output of the second lens driving unit 14 is connected to the CPU 28.

撮像素子15は、ズームレンズ11およびフォーカシングレンズ13を通過した光束を光電変換して被写体像のアナログ画像信号を生成する。被写体の撮影を行う撮影モードにおいて、撮像素子15は、レリーズ時に記録用画像(本画像)を撮影するとともに、撮影待機時にも所定間隔毎に間引き読み出しでスルー画像を出力する。上記のスルー画像のデータは、CPU28による各種の演算処理やモニタ23での表示などに使用される。   The image sensor 15 photoelectrically converts the light beam that has passed through the zoom lens 11 and the focusing lens 13 to generate an analog image signal of the subject image. In the shooting mode for shooting a subject, the image sensor 15 captures a recording image (main image) at the time of release, and outputs a through image by thinning out at predetermined intervals even during standby for shooting. The through image data is used for various arithmetic processes by the CPU 28 and display on the monitor 23.

アナログ処理部16は、撮像素子15の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このアナログ処理部16はCDS回路やゲイン回路を内部に有している。アナログ処理部16のCDS回路は、相関二重サンプリングによって撮像素子15の出力のノイズ成分を低減する。アナログ処理部16のゲイン回路は、CPU28の指示に基づいて入力信号の利得を増幅する。上記のゲイン回路では、ISO感度に相当する撮像感度の調整を行うことができる。   The analog processing unit 16 is an analog front end circuit that performs analog signal processing on the output of the image sensor 15. The analog processing unit 16 has a CDS circuit and a gain circuit inside. The CDS circuit of the analog processing unit 16 reduces the noise component of the output of the image sensor 15 by correlated double sampling. The gain circuit of the analog processing unit 16 amplifies the gain of the input signal based on an instruction from the CPU 28. In the gain circuit described above, the imaging sensitivity corresponding to the ISO sensitivity can be adjusted.

A/D変換部17は、アナログ処理部16から出力されたアナログの画像信号にA/D変換を行う。このA/D変換部17の出力は第1メモリ19に接続されている。
TG18は、CPU28の指示に基づいて、撮像素子15、アナログ処理部16およびA/D変換部17に対してタイミングパルスを供給する。撮像素子15、アナログ処理部16およびA/D変換部17の駆動タイミングは、TG18のタイミングパルスによって制御される。
The A / D conversion unit 17 performs A / D conversion on the analog image signal output from the analog processing unit 16. The output of the A / D converter 17 is connected to the first memory 19.
The TG 18 supplies timing pulses to the image sensor 15, the analog processing unit 16, and the A / D conversion unit 17 based on instructions from the CPU 28. The drive timing of the image sensor 15, the analog processing unit 16, and the A / D conversion unit 17 is controlled by the timing pulse of the TG 18.

第1メモリ19は、後述の画像処理の前工程や後工程などで画像のデータを一時的に記録するためのバッファメモリである。
画像処理部20は、上記の撮影モードにおいて本画像のデータに各種の画像処理を施す。さらに、画像処理部20は、上記の撮影モードにおいて、CPU28の指示によりスルー画像の画像信号から表示用画像(ビュー画像)を生成する。なお、画像処理部20は、本画像のデータをJPEG形式などで圧縮する処理や、圧縮された本画像のデータを再生時に伸長復元する処理をも実行する。
The first memory 19 is a buffer memory for temporarily recording image data in the pre-process and post-process of image processing described later.
The image processing unit 20 performs various types of image processing on the main image data in the above-described shooting mode. Furthermore, the image processing unit 20 generates a display image (view image) from the image signal of the through image in accordance with an instruction from the CPU 28 in the shooting mode. The image processing unit 20 also executes processing for compressing the main image data in the JPEG format or the like, and processing for decompressing and restoring the compressed main image data during reproduction.

記録I/F21には記録媒体31を接続するためのコネクタが形成されている。そして、記録I/F21は、コネクタに接続された記録媒体31に対して本画像のデータの書き込み/読み込みを実行する。上記の記録媒体31は、ハードディスクや半導体メモリを内蔵したメモリカードなどで構成される。なお、図1では記録媒体31の一例としてメモリカードを図示する。   A connector for connecting the recording medium 31 is formed in the recording I / F 21. Then, the recording I / F 21 executes writing / reading of the data of the main image with respect to the recording medium 31 connected to the connector. The recording medium 31 is composed of a hard disk, a memory card incorporating a semiconductor memory, or the like. In FIG. 1, a memory card is illustrated as an example of the recording medium 31.

表示I/F22はCPU28の指示に基づいてモニタ23の表示を制御する。モニタ23は、CPU28および表示I/F22の指示に応じて各種画像を表示する。本実施形態のモニタ23は液晶モニタで構成されている。このモニタ23には、撮影モードでの撮影待機時にビュー画像が動画表示される。また、モニタ23は、オンスクリーン機能によって、撮影に必要となる各種情報の表示(例えば、撮影可能なフレーム数、焦点検出エリアの位置、後述の顔検出処理で検出された顔領域の枠表示など)をビュー画像に重畳表示させることもできる。さらに、モニタ23には、本画像のデータに基づく再生画像や、GUI(Graphical User Interface)形式の入力が可能なメニュー画面なども表示できる(なお、モニタ23における再生画像およびメニュー画面の図示は省略する)。   The display I / F 22 controls the display on the monitor 23 based on an instruction from the CPU 28. The monitor 23 displays various images in accordance with instructions from the CPU 28 and the display I / F 22. The monitor 23 of this embodiment is a liquid crystal monitor. The monitor 23 displays a moving image of the view image during shooting standby in the shooting mode. The monitor 23 displays various information necessary for shooting (for example, the number of frames that can be shot, the position of the focus detection area, the frame display of the face area detected by the face detection process described later, etc.) by the on-screen function. ) Can be superimposed on the view image. Further, the monitor 23 can display a reproduction image based on the data of the main image, a menu screen that can be input in a GUI (Graphical User Interface) format, etc. (the illustration of the reproduction image and the menu screen on the monitor 23 is omitted). To do).

レリーズ釦24は露光動作開始の指示入力をユーザーから受け付ける。操作部25は、例えば十字キーや決定釦などの複数の入力釦を有している。この操作部25は各種の設定変更の入力をユーザーから受け付ける。
スピーカー26は、撮影時などに電子カメラの外部に音声を出力するために設けられている。このスピーカー26はCPU28と接続されている。
The release button 24 receives an instruction input for starting an exposure operation from the user. The operation unit 25 has a plurality of input buttons such as a cross key and a determination button. The operation unit 25 receives various setting change inputs from the user.
The speaker 26 is provided for outputting sound to the outside of the electronic camera at the time of shooting. The speaker 26 is connected to the CPU 28.

閃光発光部27は、例えば、キセノン発光管、発光のエネルギを蓄えるメインコンデンサ、閃光を被写体に効率良く照射するための反射傘やレンズ部材、発光制御回路などから構成されている。
CPU28は、不図示のROMに格納されたシーケンスプログラムに従って、電子カメラの各部動作を制御する。そして、CPU28は、オートフォーカス(AF)演算、自動露出(AE)演算、オートホワイトバランス(AWB)演算などの各種演算を実行する。また、第1実施形態のCPU28は、顔検出部28a、顔認証部28bとしても機能する。
The flash light emitting unit 27 includes, for example, a xenon arc tube, a main capacitor that stores light emission energy, a reflector or lens member for efficiently irradiating the subject with flash light, a light emission control circuit, and the like.
The CPU 28 controls the operation of each part of the electronic camera according to a sequence program stored in a ROM (not shown). Then, the CPU 28 executes various calculations such as auto focus (AF) calculation, automatic exposure (AE) calculation, and auto white balance (AWB) calculation. The CPU 28 of the first embodiment also functions as a face detection unit 28a and a face authentication unit 28b.

顔検出部28aは、スルー画像または本画像のデータから特徴点を抽出して被写体の顔領域、顔の大きさ等を検出する。例えば、顔検出部28aは、特開2001−16573号公報などに記載された特徴点抽出処理によって顔領域を抽出する。また、上記の特徴点としては、例えば、眉、目、鼻、唇の各端点やその中間点などが挙げられる。図2(a)および図2(b)に、本実施形態での一例として特徴点の位置を黒点で示す。なお、本明細書では、個々の特徴点についての説明は省略する。   The face detection unit 28a extracts feature points from the data of the through image or the main image, and detects the face area of the subject, the size of the face, and the like. For example, the face detection unit 28a extracts a face region by a feature point extraction process described in Japanese Patent Laid-Open No. 2001-16573. Moreover, as said feature point, each end point of an eyebrow, eyes, nose, lips, the intermediate point, etc. are mentioned, for example. In FIG. 2A and FIG. 2B, the positions of feature points are indicated by black dots as an example in the present embodiment. In the present specification, description of individual feature points is omitted.

顔認証部28bは、顔検出部28aで検出した特徴点に基づいて顔認証データを生成する。例えば、顔認証部28bは、検出した顔の特徴点の位置、各特徴点の相対距離などから認証対象となる登録人物の顔認証データを生成する。また、顔認証部28bは、撮影画面内の人物の顔が顔認証データの人物の顔か否かを判定する顔認証処理を行う。なお、この顔認証処理の具体的内容については後述する。   The face authentication unit 28b generates face authentication data based on the feature points detected by the face detection unit 28a. For example, the face authentication unit 28b generates face authentication data of a registered person to be authenticated from the position of the detected feature point of the face, the relative distance of each feature point, and the like. Further, the face authentication unit 28b performs face authentication processing for determining whether or not the person's face in the shooting screen is the face of the person in the face authentication data. The specific content of this face authentication process will be described later.

第2メモリ29はCPU28と接続されている。第2メモリ29には、顔認証部28bで生成された顔認証データ(登録データ)が記録される。この第2メモリ29には、上記の登録人物ごとにグループフォルダが生成されている。そのため、グループフォルダによって、同一の登録人物に関する複数の顔認証データがグループ化される。
また、第2メモリ29の各グループフォルダには、登録人物のプロファイルデータがそれぞれ対応付けされて記録されている。このプロファイルデータには、例えば、登録人物の名称(例えば、氏名、ニックネームなど)や属性情報(性別、年齢、住所、電話番号、メールアドレス、所属する組織、その他のメモなど)がデータベース化されて記録されている。なお、登録人物の認証時に適用する電子カメラの各種設定(例えば、撮影時の露出補正や画像処理の設定など)を、プロファイルデータに含めるようにしてもよい。
The second memory 29 is connected to the CPU 28. In the second memory 29, face authentication data (registration data) generated by the face authentication unit 28b is recorded. In the second memory 29, a group folder is generated for each registered person. Therefore, a plurality of face authentication data related to the same registered person are grouped by the group folder.
Further, the profile data of the registered person is recorded in each group folder of the second memory 29 in association with each other. In this profile data, for example, the names of registered persons (for example, name, nickname, etc.) and attribute information (gender, age, address, telephone number, email address, organization to which they belong, other notes, etc.) It is recorded. It should be noted that various settings of the electronic camera (for example, exposure correction at the time of shooting, image processing settings, etc.) applied when authenticating the registered person may be included in the profile data.

次に、図3の流れ図を参照しつつ、第1実施形態の電子カメラでの撮影動作を説明する。なお、以下の説明では、メニュー画面などで顔認証機能がオンに設定されている状態を前提とする。
ステップ101:CPU28は、撮像素子15を駆動させてスルー画像の取得を開始する。撮像素子15は所定間隔毎に間引き読み出しでスルー画像の画像信号を取得する。画像処理部20はスルー画像のデータに基づいてビュー画像を逐次生成する。そして、撮影待機時のモニタ23にはビュー画像が動画表示される。したがって、ユーザーはモニタ23のビュー画像によって、撮影構図を決定するためのフレーミングを行うことができる。
Next, a photographing operation with the electronic camera of the first embodiment will be described with reference to the flowchart of FIG. In the following description, it is assumed that the face authentication function is turned on on the menu screen or the like.
Step 101: The CPU 28 drives the image sensor 15 to start obtaining a through image. The imaging element 15 acquires an image signal of a through image by thinning out reading at predetermined intervals. The image processing unit 20 sequentially generates view images based on through-image data. The view image is displayed as a moving image on the monitor 23 at the time of shooting standby. Therefore, the user can perform framing for determining the shooting composition based on the view image on the monitor 23.

ステップ102:CPU28の顔検出部28aは、スルー画像のデータに顔検出処理を施して撮影画面内の顔領域を検出する。
ステップ103:CPU28は、S102での顔検出の結果をモニタ23に表示するとともに、顔認証処理を行う人物を選択する入力をユーザーから受け付ける。
例えば、撮影画面内で人物の顔を検出した場合、CPU28はビュー画像上の顔領域の位置に矩形の枠を重畳させてモニタ23に表示する(図4参照)。これにより、ユーザーはビュー画像で顔検出の結果を確認することができる。
Step 102: The face detection unit 28a of the CPU 28 performs a face detection process on the through image data to detect a face area in the shooting screen.
Step 103: The CPU 28 displays the result of the face detection in S102 on the monitor 23 and accepts an input for selecting a person to perform face authentication processing from the user.
For example, when a face of a person is detected on the shooting screen, the CPU 28 superimposes a rectangular frame on the position of the face area on the view image and displays it on the monitor 23 (see FIG. 4). Thereby, the user can confirm the result of face detection with the view image.

また、ユーザーは、検出した顔のうちから顔認証処理を行いたい顔を操作部25の操作で選択することができる。そして、CPU28は、検出された顔のうちで顔認証処理の対象となる顔領域を、操作部25の入力に応じて指定する。なお、顔検出時にユーザーの指定入力の操作がない場合、CPU28は検出されたすべての顔領域を顔認証処理の対象に指定する。   Further, the user can select a face to be subjected to face authentication processing from the detected faces by operating the operation unit 25. Then, the CPU 28 designates a face area to be subjected to face authentication processing among the detected faces according to an input from the operation unit 25. If there is no user designation input operation at the time of face detection, the CPU 28 designates all detected face areas as targets for face authentication processing.

ステップ104:CPU28はレリーズ釦24が半押しされたか否かを判定する。レリーズ釦24が半押しされた場合(YES側)にはS105に移行する。一方、レリーズ釦24が半押しされていない場合(NO側)には、CPU28はS102に戻って上記動作を繰り返す。
ステップ105:CPU28は、顔認証処理の対象となる顔領域が指定されているか否かを判定する。顔認証処理の対象が指定されている場合(YES側)にはS106に移行する。一方、顔認証処理の対象が指定されていない場合(NO側)にはS115に移行する。
Step 104: The CPU 28 determines whether or not the release button 24 is half-pressed. When the release button 24 is half-pressed (YES side), the process proceeds to S105. On the other hand, when the release button 24 is not half-pressed (NO side), the CPU 28 returns to S102 and repeats the above operation.
Step 105: The CPU 28 determines whether or not a face area to be subjected to face authentication processing is designated. If the target for face authentication processing is designated (YES side), the process proceeds to S106. On the other hand, when the face authentication processing target is not designated (NO side), the process proceeds to S115.

ステップ106:CPU28は、顔認証処理の対象に指定された顔領域に対して顔認証処理を実行する。この顔認証処理では、必要に応じてズームレンズ11のズームアップを行って顔認証の成功率を増加させる。なお、S106での顔認証処理の詳細については後述する。
ステップ107:CPU28は、S106での顔認証処理の結果をモニタ23に表示する。一例として、図5に顔認証結果の表示例を示す。図5では、図4で示したビュー画像の矩形の枠の太さや色を変えるなどの手段によって、CPU28が登録人物と認証した顔領域をモニタ23上に示している。これにより、ユーザーはS106での顔認証処理の結果をビュー画像で確認できる。
Step 106: The CPU 28 executes face authentication processing on the face area designated as the target of face authentication processing. In this face authentication process, the zoom lens 11 is zoomed up as necessary to increase the success rate of face authentication. Details of the face authentication process in S106 will be described later.
Step 107: The CPU 28 displays the result of the face authentication process in S106 on the monitor 23. As an example, FIG. 5 shows a display example of the face authentication result. In FIG. 5, the face area that the CPU 28 has authenticated as a registered person is shown on the monitor 23 by means such as changing the thickness and color of the rectangular frame of the view image shown in FIG. Thereby, the user can confirm the result of the face authentication process in S106 with the view image.

ステップ108:CPU28は、上記のS105の顔認証処理でズームレンズ11を移動させている場合には、第1レンズ駆動部12を駆動させてズームレンズ11を半押し時の状態に戻す。勿論、顔認証処理においてズーミングが行われていない場合にはこの工程は省略される。
ステップ109:CPU28は、コントラスト検出方式などによるAFを実行するとともに、AE演算およびAWB演算を実行して撮影条件(絞り値、露光時間、撮像感度)を調整する。
Step 108: If the zoom lens 11 has been moved in the face authentication process of S105 described above, the CPU 28 drives the first lens drive unit 12 to return the zoom lens 11 to the half-pressed state. Of course, this step is omitted when zooming is not performed in the face authentication process.
Step 109: The CPU 28 executes AF by a contrast detection method or the like, and also executes AE calculation and AWB calculation to adjust shooting conditions (aperture value, exposure time, imaging sensitivity).

ここで、S106の顔認証処理で登録人物を検出している場合には、CPU28は登録人物の顔を基準としてAFを実行してもよい。また、S106の顔認証処理で登録人物を検出している場合には、CPU28は登録人物に対応するプロファイルデータを読み出して、登録人物に合わせて撮影条件を調整してもよい。
ステップ110:CPU28はレリーズ釦24が全押しされたか否かを判定する。レリーズ釦24が全押しされた場合(YES側)にはS105に移行する。一方、レリーズ釦24が全押しされていない場合(NO側)には、CPU28はレリーズ釦24の全押しを待機する。
Here, if a registered person is detected in the face authentication process of S106, the CPU 28 may execute AF based on the face of the registered person. When a registered person is detected in the face authentication process in S106, the CPU 28 may read profile data corresponding to the registered person and adjust the shooting conditions according to the registered person.
Step 110: The CPU 28 determines whether or not the release button 24 is fully pressed. When the release button 24 is fully pressed (YES side), the process proceeds to S105. On the other hand, when the release button 24 is not fully pressed (NO side), the CPU 28 waits for the release button 24 to be fully pressed.

ステップ111:CPU28は撮像素子15を駆動させて本画像を撮影する。その後、画像処理部20は本画像の画像データを生成する。なお、CPU28は、画像データをExif(Exchangeable image file format for digital still cameras)規格に準拠したファイル形式で記録媒体31に記録する。
ステップ112:CPU28は、S106の顔認証処理で登録人物を認証したか否かを判定する。登録人物を認証した場合(YES側)にはS113に移行する。一方、登録人物を認証していない場合(NO側)にはS114に移行する。
Step 111: The CPU 28 drives the image sensor 15 to capture the main image. Thereafter, the image processing unit 20 generates image data of the main image. The CPU 28 records the image data on the recording medium 31 in a file format that conforms to the Exif (Exchangeable image file format for digital still cameras) standard.
Step 112: The CPU 28 determines whether or not the registered person has been authenticated in the face authentication process of S106. When the registered person is authenticated (YES side), the process proceeds to S113. On the other hand, if the registered person is not authenticated (NO side), the process proceeds to S114.

ステップ113:CPU28は、認証した登録人物のプロファイルデータに基づいて、画像データのファイルに付加データを付加する処理を実行する。S113での付加データの付加処理は、例えば以下のいずれかの手法で行われる。
第1に、CPU28は、画像データのファイルにプロファイルデータの一部または全部を付加データとして付加する。この場合には、画像ファイルの付加データに基づいて、撮影された登録人物の各種情報(名称など)を画像ファイルの閲覧者が取得できる。
Step 113: The CPU 28 executes processing for adding additional data to the image data file based on the profile data of the authenticated registered person. The additional data adding process in S113 is performed by one of the following methods, for example.
First, the CPU 28 adds part or all of the profile data to the image data file as additional data. In this case, based on the additional data of the image file, the viewer of the image file can acquire various information (name etc.) of the registered person who has been photographed.

ここで、プロファイルデータにおいてCPU28が付加データとする項目は、メニュー画面などで予めユーザーがCPU28に対して入力する。また、CPU28は、例えば、ExifのMakerNoteタグを利用して付加データを画像ファイルに付加してもよい。あるいは、CPU28は電子透かしなどの手段で画像データに付加データを埋め込むようにしてもよい。   Here, in the profile data, items to be added by the CPU 28 are previously input to the CPU 28 by the user on a menu screen or the like. The CPU 28 may add the additional data to the image file by using, for example, an Exif MakerNote tag. Alternatively, the CPU 28 may embed the additional data in the image data by means such as a digital watermark.

第2に、CPU28は、画像データのファイル名をプロファイルデータに基づいて設定する。例えば、CPU28は、画像ファイルに対して、認証された登録人物の名称を一部に含んだファイル名を付与する。この場合には、ファイル名を参照することで本画像に撮影されている登録人物を容易に検索できる。
ステップ114:CPU28は、S106の顔認証処理で使用した撮影人物の特徴点から顔認証データ(登録データ)を生成する。そして、CPU28はこの登録データを第2メモリ29に記録する。なお、メニュー画面において、CPU28に対してユーザーが顔認証データの登録をオフに設定した場合には、この工程は省略される。
Second, the CPU 28 sets the file name of the image data based on the profile data. For example, the CPU 28 assigns a file name including a part of the name of the authenticated registered person to the image file. In this case, the registered person photographed in the main image can be easily searched by referring to the file name.
Step 114: The CPU 28 generates face authentication data (registered data) from the feature points of the photographed person used in the face authentication process of S106. Then, the CPU 28 records this registration data in the second memory 29. It should be noted that this step is omitted when the user turns off the registration of face authentication data to the CPU 28 on the menu screen.

ここで、顔認証ができた既登録の人物の顔認証データについては、CPU28はその登録人物のグループフォルダに記録する。これにより、顔認証データのサンプル数が増えるため、次回からの顔認証の認証精度を向上することができる。
一方、未登録の人物の顔認証データについては、CPU28は新規のグループフォルダを生成し、そのグループフォルダに顔認証データを記録する。これにより、顔認証の対象とする人物を容易に登録することができる。なお、新規のグループフォルダについては、ユーザーはメニュー画面で後で改めてプロファイルデータを登録することができる。そして、CPU28は一連の撮影動作を終了する。
Here, the CPU 28 records the face authentication data of the registered person who has been face-authenticated in the group folder of the registered person. Thereby, since the number of samples of face authentication data increases, the authentication precision of the face authentication from the next time can be improved.
On the other hand, for face authentication data of an unregistered person, the CPU 28 generates a new group folder and records the face authentication data in the group folder. This makes it possible to easily register a person who is a target for face authentication. For a new group folder, the user can register profile data again later on the menu screen. Then, the CPU 28 ends a series of shooting operations.

ステップ115:この場合には、CPU28は、顔認証を行わない通常の撮影モードの場合と同様のアルゴリズムでAF演算およびAE演算を実行する。そして、CPU28はレリーズ釦24の全押しに応じて本画像を撮影する。その後、画像処理部20は本画像の画像データを生成する。そして、画像データは最終的に記録媒体31に記録される。なお、この場合にはプロファイルデータに基づく各種の処理や顔認証データの生成が行われることはない。以上で、図3の流れ図の説明を終了する。   Step 115: In this case, the CPU 28 performs AF calculation and AE calculation with the same algorithm as in the normal shooting mode in which face authentication is not performed. Then, the CPU 28 captures the main image in response to the release button 24 being fully pressed. Thereafter, the image processing unit 20 generates image data of the main image. The image data is finally recorded on the recording medium 31. In this case, various processes based on profile data and generation of face authentication data are not performed. Above, description of the flowchart of FIG. 3 is complete | finished.

次に、顔認証処理についてさらに詳細に説明する。図6は、上記のS106の顔認証処理でCPU28が実行する制御を示す流れ図である。
ステップ201:CPU28は、顔認証処理の許容時間を計測するタイムカウントを開始する。
ステップ202:CPU28は、顔認証処理の対象となる顔領域について、顔認証処理を行う優先順位を設定する。
Next, the face authentication process will be described in more detail. FIG. 6 is a flowchart showing the control executed by the CPU 28 in the face authentication process of S106 described above.
Step 201: The CPU 28 starts a time count for measuring the allowable time for the face authentication process.
Step 202: The CPU 28 sets the priority for performing the face authentication process on the face area to be subjected to the face authentication process.

例えば、CPU28は、S103でユーザーが顔領域を指定した順に顔認証処理の優先順位を設定する。あるいは、CPU28は、撮影画面内での顔の大きさおよび顔の位置に基づいて優先順位を設定する。具体例としては、CPU28は撮影画面の中央に位置する人物の顔を主要被写体と見なして優先順位を高くする。また、CPU28は、顔が大きく至近側にいる人物の優先順位を高く設定する。この場合には、優先順位の高い人物については、ズーミングをしなくとも顔認証ができる可能性が高くなるので、一連の顔認証を効率的に行うことができる。あるいは、CPU28は合焦状態にある顔領域の優先順位を非合焦状態にある顔領域より高めるようにしてもよい。   For example, the CPU 28 sets the priority order of the face authentication processing in the order in which the user specified the face area in S103. Alternatively, the CPU 28 sets the priority order based on the face size and the face position in the shooting screen. As a specific example, the CPU 28 regards the face of a person located at the center of the shooting screen as the main subject and raises the priority. Further, the CPU 28 sets a higher priority for a person who has a large face and is on the near side. In this case, a person with high priority is more likely to be able to perform face authentication without zooming, so a series of face authentication can be performed efficiently. Alternatively, the CPU 28 may increase the priority of the face area in the focused state over the face area in the out-of-focus state.

ステップ203:CPU28は、S202の優先順位に基づいて、撮影画面において顔認証の判定を行う顔領域(判定対象の顔領域)を決定する。
ステップ204:CPU28は、第2メモリ29の各々の登録人物について登録データの正規化処理を実行する。なお、登録データが予め正規化された状態で登録されている場合にはこの工程は省略される。
Step 203: Based on the priority order of S202, the CPU 28 determines a face area (determination target face area) for which face authentication is determined on the shooting screen.
Step 204: The CPU 28 executes a registration data normalization process for each registered person in the second memory 29. Note that this step is omitted when the registration data is registered in a normalized state in advance.

具体的には、S204での正規化処理は以下の手法で行われる。
第1に、CPU28は、第2メモリ29の登録データが示す各々の特徴点において、各特徴点間の相対距離を複数箇所で求める。この特徴点間の相対距離をとる位置は任意に決定できる。なお、ここでは一例として、図2(a)に示す特徴点のうちで、口の両端間の距離(第1距離)、両目の瞳の距離(第2距離)、鼻の下から唇までの距離(第3距離)、眉間から鼻の下までの距離(第4距離)などを求めるものとする。
Specifically, the normalization process in S204 is performed by the following method.
First, the CPU 28 obtains the relative distance between each feature point at each of the feature points indicated by the registration data in the second memory 29 at a plurality of locations. The position that takes the relative distance between the feature points can be arbitrarily determined. Here, as an example, among the feature points shown in FIG. 2A, the distance between both ends of the mouth (first distance), the distance between the eyes of both eyes (second distance), the distance from the bottom of the nose to the lips The distance (third distance), the distance from the eyebrows to the bottom of the nose (fourth distance), and the like are obtained.

第2に、CPU28は、第1工程で求めた相対距離のうちから基準距離を決定する。この基準距離の位置は任意に決定できるが、比較時には基準距離の位置を同じに設定する必要がある。そのため、各々の登録人物の顔認証データを正規化する場合には、基準距離の位置を共通にすることが望ましい。なお、ここでは一例として、両目の瞳を結ぶ直線の長さ(第2距離)を基準距離として以下の説明を行う。   Second, the CPU 28 determines a reference distance from the relative distances obtained in the first step. Although the position of the reference distance can be arbitrarily determined, it is necessary to set the position of the reference distance to be the same for comparison. Therefore, when normalizing the face authentication data of each registered person, it is desirable to make the position of the reference distance common. Here, as an example, the following description will be given using the length of the straight line connecting the pupils of both eyes (second distance) as a reference distance.

第3に、CPU28は、第1工程で求めた各々の相対距離と、第2工程で求めた基準距離との比をそれぞれ演算する。そして、CPU28は演算された比の値を正規化された認証用データとして扱う。すなわち、上記の例であれば、第1距離を第2距離で除した値や、第3距離を第2距離で除した値などが、正規化された登録データを構成する。
本実施形態では後述するように顔認証時にズーミングを実行する。上記第3工程で求まる比の値は、同じ顔であればズーミングの前後でもほぼ等しくなる。そのため、上記の正規化処理によればズーミングされた顔についても認証が可能となる。
Thirdly, the CPU 28 calculates the ratio between each relative distance obtained in the first step and the reference distance obtained in the second step. Then, the CPU 28 treats the calculated ratio value as normalized authentication data. That is, in the above example, the value obtained by dividing the first distance by the second distance, the value obtained by dividing the third distance by the second distance, and the like constitute normalized registration data.
In this embodiment, as will be described later, zooming is performed during face authentication. The ratio value obtained in the third step is substantially the same before and after zooming for the same face. Therefore, according to the normalization process, authentication can be performed even for a zoomed face.

ここで、上記の特徴点間の距離は顔の向きに応じて変化することがある。例えば、カメラに対して顔が横向きの場合には、撮影画面において顔の水平方向の特徴点の相対距離(上記の第1距離および第2距離)が変化する。また、カメラに対して顔が上向きまたは下向きの場合には、撮影画面において顔の垂直方向の特徴点の相対距離(上記の第3距離および第4距離)が変化する。そのため、上記の正規化処理を行う場合には、顔の異なる方向に複数の基準距離を設定するとともに、各々の基準距離ごとに上記の比の値を求めて複数方向に対応する登録データを生成することが好ましい。この場合には、撮影人物の顔の向きに関わらず、顔認証を行える可能性が向上する。   Here, the distance between the above feature points may change depending on the orientation of the face. For example, when the face is sideways with respect to the camera, the relative distance (the first distance and the second distance described above) of the feature points in the horizontal direction of the face changes on the shooting screen. Further, when the face is facing upward or downward with respect to the camera, the relative distances (the above-described third distance and fourth distance) of the feature points in the vertical direction of the face change on the shooting screen. Therefore, when performing the above normalization processing, a plurality of reference distances are set in different directions of the face, and registration data corresponding to a plurality of directions is generated by obtaining the value of the above ratio for each reference distance. It is preferable to do. In this case, the possibility of performing face authentication is improved regardless of the face orientation of the photographed person.

ステップ205:CPU28は、撮像素子15のスルー画像によって、判定対象となっている顔領域の特徴点のデータ(判定用データ)を取得する。なお、顔領域の特徴点のデータについては、CPU28はS102の顔検出処理で取得したものをそのまま適用してもよい。
ステップ206:CPU28は、S205でスルー画像から取得した判定用データを正規化する。このS206での正規化処理の具体的手法はS204の場合と同様に行われるので重複説明を省略する。なお、この正規化処理において、特徴点間で相対距離をとる位置および基準距離をとる位置は、S204の場合とそれぞれ共通に設定される。
Step 205: The CPU 28 acquires feature point data (determination data) of the face area to be determined from the through image of the image sensor 15. Note that as for the feature point data of the face area, the CPU 28 may apply the data acquired in the face detection process of S102 as it is.
Step 206: The CPU 28 normalizes the determination data acquired from the through image in S205. Since the specific method of the normalization process in S206 is performed in the same manner as in S204, redundant description is omitted. In this normalization process, the position at which the relative distance is taken between the feature points and the position at which the reference distance is taken are set in common with the case of S204.

ここで、CPU28は、スルー画像から顔の特徴点が一部検出できない場合には、スルー画像から検出できた特徴点のみを用いて正規化処理を行うようにしてもよい。例えば、顔の半分が隠れている場合には、CPU28はその半分の顔データから取得した特徴点で正規化処理を実行する。なお、上記において基準距離の位置が検出できない場合には、CPU28は基準距離の位置を取り直して、登録データを再度正規化処理する必要がある。   Here, when some of the facial feature points cannot be detected from the through image, the CPU 28 may perform the normalization process using only the feature points detected from the through image. For example, when half of the face is hidden, the CPU 28 performs normalization processing with the feature points acquired from the half face data. In the above, when the position of the reference distance cannot be detected, the CPU 28 needs to re-acquire the position of the reference distance and normalize the registered data again.

ステップ207:CPU28は、S204で正規化された登録データと、S206で正規化された判定用データとを比較する。そして、CPU28は、判定対象となっている顔領域の人物が登録人物に該当する確率を示す尤度を、各々の登録人物ごとに演算する。
ステップ208:CPU28は、判定対象の顔領域の人物がいずれかの登録人物に該当するか否かを判定する。具体的には、S207で演算した尤度が最も高く、かつ尤度が閾値以上となる人物がいる場合には、CPU28は判定対象の顔領域の人物がその登録人物に該当するものと判定する。登録人物に該当する場合(YES側)にはS209に移行する。一方、登録人物に該当しない場合(NO側)にはS211に移行する。
Step 207: The CPU 28 compares the registration data normalized in S204 with the determination data normalized in S206. And CPU28 calculates the likelihood which shows the probability that the person of the face area | region used as determination object corresponds to a registered person for every registered person.
Step 208: The CPU 28 determines whether or not the person in the face area to be determined corresponds to any registered person. Specifically, if there is a person with the highest likelihood calculated in S207 and the likelihood is equal to or greater than the threshold, the CPU 28 determines that the person in the face area to be determined corresponds to the registered person. . When it corresponds to a registered person (YES side), the process proceeds to S209. On the other hand, if it is not a registered person (NO side), the process proceeds to S211.

ステップ209:CPU28は、S103で指定された顔領域のうち、顔認証処理が未処理の顔領域が存在するか(すなわち、判定対象の顔領域よりも優先順位が低く設定された顔領域があるか)否かを判定する。上記要件を満たす場合(YES側)にはS210に移行する。一方、上記要件を満たさない場合(NO側)は、S103で指定された顔に対する顔認証処理がすべて終了した場合に相当する。この場合には、図6に示すサブルーチンの処理を終了してS107に復帰する。   Step 209: The CPU 28 determines whether there is a face area that has not been subjected to face authentication processing among the face areas specified in S103 (that is, there is a face area set with a lower priority than the face area to be determined). Determine whether or not. If the above requirement is satisfied (YES side), the process proceeds to S210. On the other hand, the case where the above requirement is not satisfied (NO side) corresponds to the case where all the face authentication processing for the face designated in S103 is completed. In this case, the processing of the subroutine shown in FIG. 6 is terminated and the process returns to S107.

ステップ210:CPU28は判定対象の顔領域を、現在処理中の顔領域から次の優先順位の顔領域に変更する。その後、CPU28はS205に戻る。
ステップ211:CPU28は、顔認証処理の許容時間のカウント(S201)が閾値以内か否かを判定する。閾値以内の場合(YES側)にはS212に移行する。一方、閾値を超える場合(NO側)には、CPU28は図6に示すサブルーチンの処理をタイムアウトで終了してS107に復帰する。この場合には、現在の判定対象となっている顔領域と、顔認証処理が未処理の顔領域については、CPU28は認証できない顔領域として扱う。
Step 210: The CPU 28 changes the face area to be determined from the currently processed face area to the face area of the next priority. Thereafter, the CPU 28 returns to S205.
Step 211: The CPU 28 determines whether or not the count of allowable time for face authentication processing (S201) is within a threshold value. If it is within the threshold (YES side), the process proceeds to S212. On the other hand, if the threshold value is exceeded (NO side), the CPU 28 terminates the processing of the subroutine shown in FIG. 6 due to timeout and returns to S107. In this case, the CPU 28 treats the face area that is the current determination target and the face area that has not undergone the face authentication process as face areas that cannot be authenticated.

ステップ212:CPU28は、ズームレンズ11を望遠側にズームできるか否かを判定する。望遠側にズームできる場合(YES側)にはS213に移行する。一方、望遠側にズームできない場合(NO側)は、CPU28は現在の判定対象の顔領域を認証できない顔領域として扱う。そして、CPU28はS209に移行する。
ステップ213:CPU28は、ズームレンズ11を所定のステップ幅の分だけ望遠側に移動させる制御を行う。そして、CPU28はS205に戻って次回の顔認証の判定を行う。以上で、図6の流れ図の説明を終了する。
Step 212: The CPU 28 determines whether or not the zoom lens 11 can be zoomed to the telephoto side. If zooming to the telephoto side is possible (YES side), the process proceeds to S213. On the other hand, when zooming to the telephoto side cannot be performed (NO side), the CPU 28 treats the current determination target face area as a face area that cannot be authenticated. Then, the CPU 28 proceeds to S209.
Step 213: The CPU 28 performs control to move the zoom lens 11 to the telephoto side by a predetermined step width. Then, the CPU 28 returns to S205 and determines the next face authentication. Above, description of the flowchart of FIG. 6 is complete | finished.

以下、第1実施形態の効果を説明する。
第1実施形態では、顔認証ができない場合にCPU28はズームレンズ11を駆動させてズームアップを実行する(S208、S213)。そのため、次回の顔認証の判定では、前回の判定よりも顔認証の成功率を高めることができる。
また、本画像の撮影時には、ズームレンズ11を半押しの位置まで戻して撮影を実行する(S108)。そのため、集合写真や風景とともに人物を撮影するシーンでも、顔認証の高い精度を確保しつつ、ユーザーの意図に沿った本画像を取得できる。
Hereinafter, effects of the first embodiment will be described.
In the first embodiment, when face authentication cannot be performed, the CPU 28 drives the zoom lens 11 to execute zoom up (S208, S213). Therefore, in the next face authentication determination, the success rate of face authentication can be increased as compared to the previous determination.
Further, at the time of photographing the main image, the zoom lens 11 is returned to the half-pressed position and photographing is performed (S108). Therefore, even in a scene where a person is photographed together with a group photo or a landscape, it is possible to acquire a main image according to the user's intention while ensuring high accuracy of face authentication.

さらに、第1実施形態では、登録データおよび判定用データが、各々の顔で共通する特徴点間の基準距離に基づいて正規化されている(S204〜S206)。そのため、ズーミングで倍率が異なる顔を比較する場合でも高い精度で顔認証を行うことができる。
(第2実施形態の説明)
以下、第2実施形態の電子カメラを説明する。ここで、以下の実施形態は第1実施形態の変形例であって、第1実施形態と電子カメラの構成は共通する。また、撮影動作の流れも図3に示す部分は共通する一方で、図6で説明した顔認証処理の動作のみが一部相違する。そのため、以下の実施形態では第1実施形態との相違点のみを説明し、第1実施形態との重複説明は省略する。
Furthermore, in the first embodiment, the registration data and the determination data are normalized based on the reference distance between feature points common to each face (S204 to S206). Therefore, even when comparing faces with different magnifications by zooming, face authentication can be performed with high accuracy.
(Description of Second Embodiment)
Hereinafter, the electronic camera of the second embodiment will be described. The following embodiment is a modification of the first embodiment, and the configuration of the electronic camera is the same as that of the first embodiment. Also, the flow of the shooting operation is the same as that shown in FIG. 3, but only the operation of the face authentication process described in FIG. 6 is partially different. Therefore, in the following embodiments, only differences from the first embodiment will be described, and redundant descriptions with the first embodiment will be omitted.

図7は第2実施形態の電子カメラにおいて、上記のS106の顔認証処理でCPU28が実行する制御を示す流れ図である。なお、図7のS301〜S312は、第1実施形態における図6のS201〜S212にそれぞれ対応するので重複説明を省略する。
ステップ313:CPU28は、ズームレンズ11を所定のステップ幅の分だけ望遠側に移動させる制御を行う。
FIG. 7 is a flowchart showing the control executed by the CPU 28 in the face authentication process of S106 in the electronic camera of the second embodiment. Note that S301 to S312 in FIG. 7 correspond to S201 to S212 in FIG.
Step 313: The CPU 28 performs control to move the zoom lens 11 to the telephoto side by a predetermined step width.

ステップ314:CPU28は、現在の判定対象に対する処理時間が閾値以上となったか否かを判定する。閾値以上の場合(YES側)にはS315に移行する。一方、閾値未満の場合(NO側)には、CPU28はS305に戻って次回の顔認証の判定を行う。
ステップ315:CPU28は、被写体の注意をカメラに向けるために、閃光発光部27を発光させるとともに、スピーカー26から音声を出力する。その後、CPU28はS305に戻って次回の顔認証の判定を行う。なお、S315において、CPU28は閃光発光部27の発光またはスピーカー26からの音声出力の一方を省略してもよい。以上で、図7の流れ図の説明を終了する。
Step 314: The CPU 28 determines whether or not the processing time for the current determination target is equal to or greater than a threshold value. If it is equal to or greater than the threshold (YES side), the process proceeds to S315. On the other hand, if it is less than the threshold value (NO side), the CPU 28 returns to S305 and determines the next face authentication.
Step 315: The CPU 28 causes the flash light emitting unit 27 to emit light and outputs sound from the speaker 26 in order to direct the attention of the subject to the camera. Thereafter, the CPU 28 returns to S305 to determine the next face authentication. In S315, the CPU 28 may omit one of the light emission from the flash light emitting unit 27 and the sound output from the speaker 26. Above, description of the flowchart of FIG. 7 is complete | finished.

この第2実施形態によっても上記の第1実施形態とほぼ同様の効果を得ることができる。さらに第2実施形態では、音声などで被写体の顔をカメラに向けさせることで、顔認証の成功率を高めることが可能となる。
(第3実施形態の説明)
図8は第1実施形態の電子カメラにおいて、上記のS106の顔認証処理でCPU28が実行する制御を示す流れ図である。なお、図7のS401〜S412は、第1実施形態における図6のS201〜S212にそれぞれ対応するので重複説明を省略する。
According to the second embodiment, substantially the same effect as that of the first embodiment can be obtained. Furthermore, in the second embodiment, the face authentication success rate can be increased by directing the face of the subject to the camera by voice or the like.
(Description of the third embodiment)
FIG. 8 is a flowchart showing the control executed by the CPU 28 in the face authentication process of S106 in the electronic camera of the first embodiment. Note that S401 to S412 in FIG. 7 correspond to S201 to S212 in FIG.

ステップ413:CPU28は、ズームレンズ11をズームさせた場合に判定対象の顔領域が撮影画角から外れるか(フレームアウトするか)否かを判定する。例えば、判定対象の顔領域が撮影画面の外縁部にあるときに上記のズームを行おうとする場合、CPU28はフレームアウトするものと判定する。フレームアウトする場合(YES側)にはS414に移行する。一方、フレームアウトしない場合(NO側)はS416に移行する。   Step 413: The CPU 28 determines whether or not the face area to be determined is out of the shooting angle of view (out of frame) when the zoom lens 11 is zoomed. For example, if the zoom is to be performed when the face area to be determined is at the outer edge of the shooting screen, the CPU 28 determines that the frame is out. When the frame is out (YES side), the process proceeds to S414. On the other hand, when the frame is not out (NO side), the process proceeds to S416.

ステップ414:CPU28は、判定対象の顔領域がズームによってフレームアウトする旨の警告表示をモニタ23のビュー画像上に重畳表示する。上記の警告表示は、アイコン化されたマークであってもよく、文字によるメッセージ表示であってもよい。
このS414の警告表示があった場合には、判定対象への顔認証を行うためにユーザーはカメラの向きや撮影位置を変えることもできる。この場合には、CPU28は操作部25から顔認証再開の操作を受け付けた場合に撮影動作を再開する。なお、CPU28は上記の警告を音声で行うようにしてもよい。
Step 414: The CPU 28 superimposes and displays on the view image of the monitor 23 a warning display indicating that the face area to be determined is out of frame due to zooming. The warning display may be an iconized mark or a message display using characters.
If there is a warning display in S414, the user can also change the camera orientation or shooting position in order to perform face authentication on the determination target. In this case, the CPU 28 resumes the photographing operation when an operation for resuming face authentication is received from the operation unit 25. The CPU 28 may make the above warning by voice.

ステップ415:CPU28は、ユーザーによる顔認証再開の操作を操作部25から受け付けたか否かを判定する。顔認証再開の操作があった場合(YES側)にはS416に移行する。一方、顔認証再開の操作がない場合(NO側)には、CPU28はS411に戻って上記動作を繰り返す。
ステップ416:CPU28は、ズームレンズ11を所定のステップ幅の分だけ望遠側に移動させる制御を行う。そして、CPU28はS405に戻って次回の顔認証の判定を行う。以上で、図8の流れ図の説明を終了する。なお、第3実施形態において、S414およびS415の間でユーザーがカメラの向きや撮影位置を変えた場合には、ユーザーはカメラの向きなどを半押し時と同じ状態に戻して本画像を撮影する。
Step 415: The CPU 28 determines whether or not an operation for resuming face authentication by the user has been received from the operation unit 25. If there is an operation for resuming face authentication (YES side), the process proceeds to S416. On the other hand, when there is no operation for resuming face authentication (NO side), the CPU 28 returns to S411 and repeats the above operation.
Step 416: The CPU 28 performs control to move the zoom lens 11 to the telephoto side by a predetermined step width. Then, the CPU 28 returns to S405 and determines the next face authentication. Above, description of the flowchart of FIG. 8 is complete | finished. In the third embodiment, when the user changes the camera orientation or shooting position between S414 and S415, the user returns the camera orientation to the same state as when half-pressed and shoots the main image. .

この第3実施形態によっても上記の第1実施形態とほぼ同様の効果を得ることができる。さらに第3実施形態では、ズームアップで被写体の顔が撮影画角から外れる場合にはユーザーに注意を促して撮影画角を変更することで、顔認証の成功率を高めることができる。
(実施形態の補足事項)
(1)上記実施形態の電子カメラは人物の顔の認証を行う例を説明したが、本発明は例えば犬、猫、鳥などの動物の顔などの認証を含む一般的なパターン認証にも広く応用できる。また、上記実施形態において、CPU28は顔の全部の特徴点を用いて認証を行う必要はなく、人の顔の特定部位(例えば、目、鼻、口など)のみの特徴点で認証を行うようにしてもよい。
According to the third embodiment, substantially the same effect as that of the first embodiment can be obtained. Furthermore, in the third embodiment, when the subject's face deviates from the shooting angle of view by zooming up, the success rate of face authentication can be increased by alerting the user and changing the shooting angle of view.
(Supplementary items of the embodiment)
(1) The example in which the electronic camera of the above embodiment performs authentication of a person's face has been described. However, the present invention is widely applicable to general pattern authentication including authentication of animal faces such as dogs, cats, and birds. Can be applied. Further, in the above embodiment, the CPU 28 does not need to perform authentication using all the feature points of the face, but performs authentication using only the feature points of a specific part of the human face (for example, eyes, nose, mouth, etc.). It may be.

(2)上記実施形態において、CPU28は判定対象の人数に上限を設けてもよい。また、CPU28は認証時の判定回数に制限を設けてもよい。さらに、CPU28は、ズームアップによるフレームアウトを防止するために、撮影画面の外縁にいる人物の顔は判定対象の選択から除外するようにしてもよい。
(3)また、上記実施形態で判定対象の顔領域が複数設定されてある場合には、CPU28は1回の顔認証処理で複数の顔領域の認証処理を同時に行うようにしてもよい。この場合には、ズームレンズ11の移動回数をより少なくすることができる。
(2) In the above embodiment, the CPU 28 may set an upper limit on the number of persons to be determined. Further, the CPU 28 may set a limit on the number of determinations at the time of authentication. Further, the CPU 28 may exclude the face of the person at the outer edge of the shooting screen from the selection of the determination target in order to prevent the frame-out due to the zoom-up.
(3) Further, when a plurality of determination target face areas are set in the above embodiment, the CPU 28 may simultaneously perform the authentication process for a plurality of face areas in one face authentication process. In this case, the number of movements of the zoom lens 11 can be further reduced.

(4)上記実施形態のようにズームレンズ11を移動させる場合には、ズームアップによって判定対象の画像の情報量が増加するとともに、撮影画面内の輝度分布特性が変化するので顔認証の認証精度は向上する。しかし、ズームレンズ11のズーミングに伴なう輝度の低下によって認証精度に悪影響が生じるおそれもある。そのため、CPU28はアナログ処理部16や画像処理部20でのゲインをズームレンズ11のズームアップ量に応じて大きくして、認証精度への悪影響を除外するようにしてもよい。   (4) When the zoom lens 11 is moved as in the above embodiment, the amount of information of the image to be determined increases due to zooming in, and the luminance distribution characteristic in the shooting screen changes, so that the authentication accuracy of face authentication Will improve. However, there is a possibility that the authentication accuracy may be adversely affected by a decrease in luminance accompanying zooming of the zoom lens 11. For this reason, the CPU 28 may increase the gain in the analog processing unit 16 or the image processing unit 20 in accordance with the zoom-up amount of the zoom lens 11 to exclude an adverse effect on the authentication accuracy.

(5)また、上記実施形態において、CPU28は顔認証の失敗時には、スルー画像の解像度を前回よりも高める設定を行うようにしてもよい。この場合には、判定対象の顔領域の情報量が前回の判定よりも増えるので、顔認証の精度が向上し易くなる。また、スルー画像の解像度を高める場合には、CPU28はズームレンズ11によるズーミングを省略してもよい。さらに、CPU28は上記実施形態において、必要に応じて電子ズームを行うようにしてもよい。   (5) In the above embodiment, when the face authentication fails, the CPU 28 may set the resolution of the through image to be higher than the previous time. In this case, since the amount of information of the face area to be determined is larger than the previous determination, it is easy to improve the accuracy of face authentication. Further, when increasing the resolution of the through image, the CPU 28 may omit zooming by the zoom lens 11. Furthermore, the CPU 28 may perform electronic zoom as necessary in the above embodiment.

第1実施形態の電子カメラの構成を示すブロック図The block diagram which shows the structure of the electronic camera of 1st Embodiment. 第1実施形態における特徴点の配置例を示す図The figure which shows the example of arrangement | positioning of the feature point in 1st Embodiment. 第1実施形態の電子カメラでの撮影動作を説明する流れ図Flowchart explaining photographing operation with electronic camera of first embodiment 顔検出時におけるビュー画像の表示例を示す図The figure which shows the example of a display of the view image at the time of face detection ビュー画像での顔認証結果の表示例を示す図The figure which shows the example of a display of the face authentication result in a view image 第1実施形態における顔認証処理の内容を説明する流れ図Flow chart for explaining the contents of face authentication processing in the first embodiment 第2実施形態における顔認証処理の内容を説明する流れ図Flow chart for explaining the contents of face authentication processing in the second embodiment 第3実施形態における顔認証処理の内容を説明する流れ図Flow chart for explaining the contents of face authentication processing in the third embodiment

符号の説明Explanation of symbols

11…ズームレンズ、12…第1レンズ駆動部、15…撮像素子、22…表示I/F、23…モニタ、25…操作部、26…スピーカー、27…閃光発光部、28…CPU、28a…顔検出部、28b…顔認証部、29…第2メモリ DESCRIPTION OF SYMBOLS 11 ... Zoom lens, 12 ... 1st lens drive part, 15 ... Image sensor, 22 ... Display I / F, 23 ... Monitor, 25 ... Operation part, 26 ... Speaker, 27 ... Flash light emission part, 28 ... CPU, 28a ... Face detection unit, 28b ... face authentication unit, 29 ... second memory

Claims (7)

撮影光学系による被写体像を撮像する撮像部と、
前記被写体像の倍率を調整するズーム調整部と、
認証対象の特徴点を示す登録データを予め記録した記録部と、
前記登録データに基づいて、前記撮像部が撮像した前記被写体が前記認証対象に一致するか否かを判定する被写体認証部と、
前記被写体が前記認証対象に一致しないと前記被写体認証部が判定した場合に、前記被写体像の倍率を拡大するとともに、前記被写体認証部に前記判定を再実行させる制御部と、
を備えることを特徴とする電子カメラ。
An imaging unit that captures a subject image by the imaging optical system;
A zoom adjustment unit for adjusting the magnification of the subject image;
A recording unit in which registration data indicating a feature point of an authentication target is recorded in advance;
A subject authentication unit that determines whether the subject imaged by the imaging unit matches the authentication target based on the registration data;
A control unit that enlarges the magnification of the subject image and causes the subject authentication unit to re-execute the determination when the subject authentication unit determines that the subject does not match the authentication target;
An electronic camera comprising:
請求項1に記載の電子カメラにおいて、
前記認証対象が人物の顔であることを特徴とする電子カメラ。
The electronic camera according to claim 1,
An electronic camera, wherein the authentication target is a human face.
請求項2に記載の電子カメラにおいて、
撮影画面内から人物の顔を検出するとともに、該検出した人物の顔の特徴点を抽出して判定用データを生成する顔検出部をさらに備え、
前記被写体認証部は、特定の2つの前記特徴点を結ぶ基準距離を取得するとともに、前記特徴点の相対距離と前記基準距離との比を求める正規化処理を前記登録データおよび前記判定用データに対して実行し、該正規化処理後のデータに基づいて前記判定を実行することを特徴とする電子カメラ。
The electronic camera according to claim 2,
A face detection unit that detects the face of the person from the shooting screen, and extracts feature points of the detected face of the person to generate determination data;
The subject authentication unit acquires a reference distance connecting two specific feature points, and performs a normalization process for obtaining a ratio between a relative distance between the feature points and the reference distance on the registration data and the determination data. An electronic camera that executes the determination on the basis of the data after the normalization processing.
請求項2に記載の電子カメラにおいて、
撮影画面内から人物の顔を検出する顔検出部と、
前記顔検出部が検出した顔を提示するモニタと、
前記判定の対象となる顔の指定を行う指定操作をユーザーから受け付ける操作部とをさらに備え、
前記被写体認証部は、前記指定操作で指定された顔に対して前記判定を行うことを特徴とする電子カメラ。
The electronic camera according to claim 2,
A face detection unit for detecting a person's face from the shooting screen;
A monitor that presents the face detected by the face detection unit;
An operation unit for receiving a designation operation for designating a face to be determined from a user;
The subject authentication unit performs the determination on a face designated by the designation operation.
請求項1に記載の電子カメラにおいて、
前記被写体が前記認証対象に一致しないと前記被写体認証部が判定した場合に、前記被写体に対して注意を喚起する第1報知部をさらに備えることを特徴とする電子カメラ。
The electronic camera according to claim 1,
The electronic camera further comprising: a first notification unit that calls attention to the subject when the subject authentication unit determines that the subject does not match the authentication target.
請求項1に記載の電子カメラにおいて、
前記被写体像の倍率の拡大によって、前記判定の対象となった前記被写体が撮影画角から外れる場合に、ユーザーに対して注意を喚起する第2報知部をさらに備えることを特徴とする電子カメラ。
The electronic camera according to claim 1,
An electronic camera, further comprising: a second notification unit that alerts a user when the subject subject to the determination deviates from a shooting angle of view due to enlargement of the magnification of the subject image.
請求項1に記載の電子カメラにおいて、
記録部には、前記認証対象を説明するプロファイルデータが、前記登録データと対応付けされて記録されており、
前記制御部は、前記被写体が前記認証対象に一致すると前記被写体認証部が判定した場合に、前記認証対象が撮影された記録用画像を含む画像ファイルに対して、前記プロファイルデータに基づく付加データを付加することを特徴とする電子カメラ。
The electronic camera according to claim 1,
In the recording unit, profile data describing the authentication target is recorded in association with the registration data,
When the subject authentication unit determines that the subject matches the authentication target, the control unit adds additional data based on the profile data to an image file including a recording image in which the authentication target is captured. An electronic camera characterized by being added.
JP2006186454A 2006-07-06 2006-07-06 Electronic camera Withdrawn JP2008017169A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006186454A JP2008017169A (en) 2006-07-06 2006-07-06 Electronic camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006186454A JP2008017169A (en) 2006-07-06 2006-07-06 Electronic camera

Publications (1)

Publication Number Publication Date
JP2008017169A true JP2008017169A (en) 2008-01-24

Family

ID=39073782

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006186454A Withdrawn JP2008017169A (en) 2006-07-06 2006-07-06 Electronic camera

Country Status (1)

Country Link
JP (1) JP2008017169A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009211148A (en) * 2008-02-29 2009-09-17 Secom Co Ltd Face image processor
JP2010117487A (en) * 2008-11-12 2010-05-27 Fujinon Corp Autofocus system
JP2010258885A (en) * 2009-04-27 2010-11-11 Ricoh Co Ltd Image capturing apparatus and image processing method
KR20110014838A (en) * 2009-08-06 2011-02-14 삼성전자주식회사 Apparatus for processing digital image and method for controlling thereof
JP2012022579A (en) * 2010-07-15 2012-02-02 Fujitsu Ltd Face direction detector, face direction detection program and face direction detection method
JP2015520470A (en) * 2012-06-22 2015-07-16 マイクロソフト コーポレーション Face recognition self-learning using depth-based tracking for database creation and update
JP2022008339A (en) * 2017-09-19 2022-01-13 日本電気株式会社 Collation system
US11704932B2 (en) 2017-09-19 2023-07-18 Nec Corporation Collation system

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009211148A (en) * 2008-02-29 2009-09-17 Secom Co Ltd Face image processor
JP2010117487A (en) * 2008-11-12 2010-05-27 Fujinon Corp Autofocus system
JP2010258885A (en) * 2009-04-27 2010-11-11 Ricoh Co Ltd Image capturing apparatus and image processing method
KR20110014838A (en) * 2009-08-06 2011-02-14 삼성전자주식회사 Apparatus for processing digital image and method for controlling thereof
KR101599883B1 (en) * 2009-08-06 2016-03-04 삼성전자주식회사 Apparatus for processing digital image and method for controlling thereof
JP2012022579A (en) * 2010-07-15 2012-02-02 Fujitsu Ltd Face direction detector, face direction detection program and face direction detection method
JP2015520470A (en) * 2012-06-22 2015-07-16 マイクロソフト コーポレーション Face recognition self-learning using depth-based tracking for database creation and update
JP2022008339A (en) * 2017-09-19 2022-01-13 日本電気株式会社 Collation system
JP7298658B2 (en) 2017-09-19 2023-06-27 日本電気株式会社 Matching system
US11704932B2 (en) 2017-09-19 2023-07-18 Nec Corporation Collation system

Similar Documents

Publication Publication Date Title
JP4315148B2 (en) Electronic camera
JP5056061B2 (en) Imaging device
JP4858849B2 (en) Imaging apparatus and program thereof
JP5087856B2 (en) Electronic camera
JP4910462B2 (en) camera
WO2007060980A1 (en) Electronic camera and image processing device
JP4432886B2 (en) Electronic camera
JP4974812B2 (en) Electronic camera
JP2008311817A (en) Image photographing device and image photographing method, and computer program
JP2006201282A (en) Digital camera
JP2008205650A (en) Image processor, image processing method, imaging apparatus, and computer program
JP2007279601A (en) Camera
JP2008017169A (en) Electronic camera
JP2006211139A (en) Imaging apparatus
JP2010008983A (en) Focus detector and its control method
JP2006087083A (en) Imaging device, and control method of imaging device
US20090086050A1 (en) Image capture device and image capture method
JP2007148691A (en) Image processor
US20030169363A1 (en) Image pickup apparatus and method, and image-pickup control computer program
JP4853707B2 (en) Imaging apparatus and program thereof
JP2008252711A (en) Digital camera
JP4360369B2 (en) Electronic camera
JP2007150604A (en) Electronic camera
JP2007281647A (en) Electronic camera and image processing apparatus
JP2009089220A (en) Imaging apparatus

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20091006