JP2005117531A - Digital camera - Google Patents

Digital camera Download PDF

Info

Publication number
JP2005117531A
JP2005117531A JP2003351778A JP2003351778A JP2005117531A JP 2005117531 A JP2005117531 A JP 2005117531A JP 2003351778 A JP2003351778 A JP 2003351778A JP 2003351778 A JP2003351778 A JP 2003351778A JP 2005117531 A JP2005117531 A JP 2005117531A
Authority
JP
Japan
Prior art keywords
subject
operation mode
calculation
setting
extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003351778A
Other languages
Japanese (ja)
Other versions
JP4305119B2 (en
Inventor
Hirotake Nozaki
弘剛 野崎
Yasuyuki Motoki
康之 元木
Toshiaki Maeda
敏彰 前田
Masa Ota
雅 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Nikon Gijutsu Kobo KK
Original Assignee
Nikon Corp
Nikon Gijutsu Kobo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp, Nikon Gijutsu Kobo KK filed Critical Nikon Corp
Priority to JP2003351778A priority Critical patent/JP4305119B2/en
Priority to US10/954,613 priority patent/US8159561B2/en
Priority to EP04256236.3A priority patent/EP1522952B1/en
Priority to CNB2004100850500A priority patent/CN100499747C/en
Publication of JP2005117531A publication Critical patent/JP2005117531A/en
Application granted granted Critical
Publication of JP4305119B2 publication Critical patent/JP4305119B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Abstract

<P>PROBLEM TO BE SOLVED: To provide a digital camera provided with an object identification function which can be easily used and is close to that of the cameras of prior arts and which has not been accomplished by cameras of prior arts which are provided with such an object identification function. <P>SOLUTION: The digital camera includes: an imaging means for photographing an object image transmitted through a photographing lens; a setting means for setting an extraction operation mode wherein the feature parts of the object are extracted from image data outputted from the imaging means or setting the other operation modes; and a drive means for driving the photographing lens to a prescribed position when the setting means sets the operation mode to the extraction operation mode. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、人物の特徴点を識別し、その識別結果に応じて合焦や露出動作をするデジタルカメラに関する。   The present invention relates to a digital camera that identifies feature points of a person and performs focusing or exposure according to the identification result.

従来から、指紋あるいは虹彩の特徴点を予め登録しておいてこれと照合することで本人を認証するシステムを初めとして画像データから人物を識別する技術はこれまで多く知られている。特開平9−251534号公報には目、鼻、口等を抽出して特徴点として登録しこれと入力した画像から抽出した特徴点とを比較して当人として識別する方法が詳細に記述されており、特開平10−232934号公報にはこの様にして抽出した特徴点を登録する場合の辞書画像の精度を上げる方法が開示されている。これらの技術をカメラに応用した例を以下に挙げる。   2. Description of the Related Art Conventionally, many techniques for identifying a person from image data have been known, including a system that authenticates a person by registering a fingerprint or iris feature point in advance and collating it with the feature point. Japanese Patent Application Laid-Open No. 9-251534 describes in detail how to identify eyes as a person by extracting eyes, nose, mouth, etc., registering them as feature points, and comparing them with feature points extracted from the input image. Japanese Patent Laid-Open No. 10-232934 discloses a method for increasing the accuracy of a dictionary image when registering feature points extracted in this way. Examples of applying these technologies to cameras are given below.

特開2001−201779号公報には予めカメラの使用者を参照情報として登録しておき、カメラ使用者がカメラを自分の顔に向けて撮影することで入力した識別情報と一致した場合にのみカメラ動作を可能とするカメラが開示されている。特開2001−309225号公報には顔認識アルゴリズムにより認識された顔の座標、寸法、目の位置、頭のポーズ等のデータが画像メモリに画像データとともに記録されるカメラが開示されている。特開2001−326841号公報には予め正規の使用者を識別するための識別情報(顔、指紋、掌紋)を記憶しておく画像撮像装置(デジタルカメラ)が開示されている。特開2002−232761号公報には撮影した画像に予め読み込んでおいた被写体の識別情報を関連付けて記録する画像記録装置が開示されている。特開2002−333652号公報には予め記憶された容貌情報と撮影顔情報を比較し記録信号を発生する撮影装置が開示されている。この容貌情報は優先度とともに記録される。   Japanese Patent Application Laid-Open No. 2001-201779 registers a camera user as reference information in advance, and only when the camera user matches the identification information input by photographing the camera toward his / her face. A camera that enables operation is disclosed. Japanese Patent Application Laid-Open No. 2001-309225 discloses a camera in which data such as face coordinates, dimensions, eye positions, head poses, and the like recognized by a face recognition algorithm are recorded together with image data in an image memory. Japanese Patent Application Laid-Open No. 2001-326841 discloses an image pickup apparatus (digital camera) that stores identification information (face, fingerprint, palm print) for identifying a regular user in advance. Japanese Patent Laid-Open No. 2002-232761 discloses an image recording apparatus that records in association with identification information of a subject that has been read in advance on a captured image. Japanese Patent Application Laid-Open No. 2002-333651 discloses a photographing apparatus that generates a recording signal by comparing preliminarily stored appearance information and photographing face information. This appearance information is recorded together with the priority.

上述した被写体を識別するという技術をカメラに応用するという発明は、従来から大規模なコンピュータシステムで行われていた技術を単にカメラ単独でも行えるようにしたというものであって、実際にカメラで被写体の識別技術を使用して撮影を行おうとすると従来にないカメラとしての動作シーケンスが必要となってくる。   The invention of applying the above-described technology for identifying a subject to a camera is that the technology conventionally performed in a large-scale computer system can be performed simply by a camera alone. If an attempt is made to shoot using this identification technology, an unprecedented camera operation sequence is required.

本発明においては上述した新たな動作シーケンスを取り入れることによりこれまでの被写体識別機能を持ったカメラにおいては達成されていなかった、従来からのカメラの動作に近い使い勝手の良い被写体識別機能を備えたデジタルカメラを提供することを目的とする。  In the present invention, by incorporating the above-described new operation sequence, a digital camera having a subject identification function that is easy to use and is similar to the operation of a conventional camera, which has not been achieved in a conventional camera having a subject identification function. The purpose is to provide a camera.

上記問題点の解決のために、請求項1の発明は、撮影レンズを透過した被写体像を撮影する撮像手段と、前記撮像手段から出力された画像データから被写体の特徴部位を抽出するための抽出動作モードとそれ以外の動作モードのいずれかに設定する設定手段と、前記設定手段が動作モードを前記抽出動作モードに設定したときに前記撮影レンズを所定位置に駆動する駆動手段とを備えたことを特徴としている。すなわち、抽出動作モードに設定されたならば直ちに撮影レンズを所定の初期位置に駆動することにより容易に被写体識別をすることが可能となる。請求項2の発明は、前記所定位置とは前記撮影レンズの過焦点距離の位置であることを特徴としている。すなわち、無限遠が前記撮影レンズの被写界深度に入る一番近い撮影レンズ位置である過焦点距離の位置に撮影レンズをおくことによって、人物がどの場所にいてもピントの合う被写界深度内であるので人物の抽出が迅速且つ確実に行われる。請求項3の発明は前記所定位置とは撮影距離が0.5〜3m内の特定距離となる前記撮影レンズの位置であることを特徴としていて、撮影レンズの焦点距離、絞り値によらない固定位置に撮影レンズを駆動しているので全ての人物にほぼピントを合わせることができる。   In order to solve the above problems, the invention of claim 1 is directed to an imaging unit that captures an image of a subject that has passed through a photographic lens, and an extraction that extracts a feature portion of the subject from image data output from the imaging unit. A setting unit that sets the operation mode to any one of the other operation modes; and a driving unit that drives the photographing lens to a predetermined position when the setting unit sets the operation mode to the extraction operation mode. It is characterized by. That is, when the extraction operation mode is set, the subject can be easily identified by immediately driving the photographing lens to a predetermined initial position. The invention of claim 2 is characterized in that the predetermined position is a position of a hyperfocal distance of the photographing lens. In other words, by placing the photographic lens at the position of the hyperfocal distance that is the closest photographic lens position where infinity falls within the depth of field of the photographic lens, the depth of field that is in focus no matter where the person is Therefore, the person can be extracted quickly and reliably. According to a third aspect of the present invention, the predetermined position is a position of the photographing lens whose photographing distance is a specific distance within a range of 0.5 to 3 m, and is fixed regardless of a focal length and an aperture value of the photographing lens. Since the photographic lens is driven to the position, it is possible to focus almost on all persons.

請求項4の発明は、撮影レンズを透過した被写体像を撮影する撮像手段と、前記撮像手段に入射する光量を制御する絞り手段と、前記撮像手段から出力された画像データから被写体の特徴部位を抽出するための抽出動作モードとそれ以外の動作モードとのいずれかに設定する設定手段と、前記設定手段が動作モードを前記抽出動作モードに設定したときに前記絞り手段を所定の絞り位置に駆動する駆動手段とを備えたことを特徴としている。すなわち、抽出動作モードに設定されたならば直ちに絞りを所定の初期位置に駆動することにより容易に被写体識別をすることが可能となる。請求項5の発明は、前記所定の絞り位置とは前記絞り手段が設定可能な最小絞り位置であることを特徴としていて、請求項6の発明は、前記所定の絞り位置とは前記絞り手段が設定可能な最小絞り位置近傍であることを特徴としている。すなわち、抽出動作をしない通常の撮影開始時は絞りは開放に近く設定することで被写体コントラストをあげて合焦位置の検出を容易にしている。しかしながら人物を検出しようとした場合には焦点深度を深くして前後の人物もできるだけ多く認識する必要がある。それゆえ、絞りを最小絞りあるいは最小絞りに近い値に設定することで焦点深度を深くする。   According to a fourth aspect of the present invention, an imaging unit that captures a subject image that has passed through a photographing lens, a diaphragm unit that controls the amount of light incident on the imaging unit, and a feature portion of the subject from image data output from the imaging unit. A setting means for setting one of an extraction operation mode for extraction and another operation mode; and when the setting means sets the operation mode to the extraction operation mode, the diaphragm means is driven to a predetermined diaphragm position. And a driving means. That is, when the extraction operation mode is set, the subject can be easily identified by driving the aperture to a predetermined initial position immediately. The invention according to claim 5 is characterized in that the predetermined aperture position is a minimum aperture position that can be set by the aperture means, and the invention according to claim 6 is characterized in that the aperture means means the aperture means. It is characterized by being near the minimum aperture position that can be set. In other words, at the start of normal shooting without extraction operation, the aperture is set close to the full open to increase the object contrast and facilitate the detection of the in-focus position. However, when trying to detect a person, it is necessary to increase the depth of focus and recognize as many people as possible before and after. Therefore, the depth of focus is increased by setting the aperture to a minimum aperture or a value close to the minimum aperture.

請求項7の発明は、被写体像を撮影する撮像手段と、被写体を撮影する際の露出条件を演算する演算手段と、前記撮像手段から出力された画像データから被写体の特徴部位を抽出する抽出手段と、前記抽出手段を動作させるための抽出動作モードとそれ以外の動作モードのいずれかに設定する設定手段と、前記設定手段が動作モードを前記抽出動作モードに設定したときに、前記演算手段の演算結果に従って前記撮像手段が撮影し、出力した画像データに対して前記抽出手段に抽出動作するように指示する指示手段とを備えたことを特徴としている。すなわち、抽出開始時に被写体輝度を測定しそれに基づいた露出条件で撮影した画像データに対して抽出動作をすることで被写体が飛んでしまったりあるいはつぶれて被写体の抽出ができなくなってしまうことを防止することができる。  According to the seventh aspect of the present invention, there is provided an imaging means for photographing a subject image, a computing means for computing an exposure condition when photographing the subject, and an extraction means for extracting a characteristic part of the subject from the image data output from the imaging means. A setting means for setting the extraction operation mode for operating the extraction means and any other operation mode; and when the setting means sets the operation mode to the extraction operation mode, According to the present invention, there is provided an instruction means for instructing the extraction means to perform an extraction operation on the image data captured and output by the imaging means according to a calculation result. In other words, the subject brightness is measured at the start of extraction, and the extraction operation is performed on the image data photographed under the exposure condition based on the subject brightness, thereby preventing the subject from being skipped or crushed and being unable to extract the subject. be able to.

以下、図面を参照して本発明の実施の形態を説明する。図1は、本発明のデジタルカメラについてその主要な機能を説明したブロック図である。撮影レンズ101はその焦点距離を連続的に変えるためのズームレンズ、ピントを調整するフォーカスレンズから構成されている。これらのレンズはドライバ113により駆動される。ここでドライバ113はズームレンズのズーム駆動機構及びその駆動回路と、フォーカスレンズのフォーカス駆動機構及びその駆動回路とを備えていて、それぞれCPU112により制御される。撮影レンズ101は撮像素子103の撮像面上に被写体像を結像する。撮像素子103は撮像面上に結像された被写体像の光強度に応じた電気信号を出力する光電変換撮像素子であり、CCD型やMOS型の固体撮像素子が用いられる。撮像素子103は信号取り出しのタイミングをコントロールするドライバ115により駆動される。撮影レンズ101と撮像素子103との間には絞り102が設けられている。絞り102は、絞り機構とその駆動回路を備えたドライバ114により駆動される。固体撮像素子103からの撮像信号はアナログ信号処理回路104に入力され、アナログ信号処理回路104において相関二重サンプリング処理(CDS)等の処理が行われる。アナログ信号処理回路104で処理された撮像信号は、A/D変換器135によりアナログ信号からデジタル信号に変換される。   Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram illustrating the main functions of the digital camera of the present invention. The photographic lens 101 includes a zoom lens for continuously changing the focal length and a focus lens for adjusting the focus. These lenses are driven by a driver 113. Here, the driver 113 includes a zoom driving mechanism and its driving circuit for the zoom lens, and a focus driving mechanism and its driving circuit for the focus lens, which are controlled by the CPU 112, respectively. The photographing lens 101 forms a subject image on the imaging surface of the image sensor 103. The image sensor 103 is a photoelectric conversion image sensor that outputs an electrical signal corresponding to the light intensity of the subject image formed on the image pickup surface, and a CCD type or MOS type solid state image sensor is used. The image sensor 103 is driven by a driver 115 that controls the timing of signal extraction. A diaphragm 102 is provided between the photographing lens 101 and the image sensor 103. The diaphragm 102 is driven by a driver 114 equipped with a diaphragm mechanism and its drive circuit. The imaging signal from the solid-state imaging device 103 is input to the analog signal processing circuit 104, and processing such as correlated double sampling processing (CDS) is performed in the analog signal processing circuit 104. The imaging signal processed by the analog signal processing circuit 104 is converted from an analog signal to a digital signal by the A / D converter 135.

A/D変換された信号はデジタル信号処理回路106において輪郭強調、ガンマ補正、ホワイトバランス補正などの種々の画像処理が施される。バッファメモリ105は撮像素子103で撮像された複数フレーム分のデータを記憶することが出来るフレームメモリであり、A/D変換された信号は一旦このバッファメモリ105に記憶される。デジタル信号処理回路106ではバッファメモリ105に記憶されたデータを読み込んで上述した各処理を行い、処理後のデータは再びバッファメモリ105に記憶される。CPU112はデジタル信号処理回路106およびドライバ113〜115等と接続され、カメラが動作する際のシーケンス制御を行う。CPU112のAE演算部1121では撮像素子からの画像信号に基づいて露出演算を行い、AWB演算部1122ではホワイトバランス用パラメータを設定するための演算が行われる。特徴点抽出演算部1123では所定のアルゴリズムに則って画像データの中から被写体の形状、位置、サイズ等の特徴点を記憶部1127に記憶するとともに検出した顔や眼幅等の大きさとそのときの検出器121によって検出したズームレンズの焦点距離とから抽出したそれぞれの人物までのおよその距離も演算し抽出日時とともに記憶部1125に記憶する。ここで、図7を用いてこの距離演算方法を説明する。図7は抽出した眼幅を基に人物までの距離を演算する場合を示している。Aは一般成人の実際の眼幅の平均値、aは抽出された撮像素子上に結像した眼幅、Lは撮像レンズから人物までの距離、fはレンズの焦点距離である。この図から次の比例式が容易に導かれる。   The A / D converted signal is subjected to various image processing such as edge enhancement, gamma correction, and white balance correction in the digital signal processing circuit 106. The buffer memory 105 is a frame memory that can store data for a plurality of frames imaged by the image sensor 103, and the A / D converted signal is temporarily stored in the buffer memory 105. The digital signal processing circuit 106 reads the data stored in the buffer memory 105 and performs each process described above, and the processed data is stored in the buffer memory 105 again. The CPU 112 is connected to the digital signal processing circuit 106 and drivers 113 to 115 and performs sequence control when the camera operates. An AE calculation unit 1121 of the CPU 112 performs an exposure calculation based on an image signal from the image sensor, and an AWB calculation unit 1122 performs a calculation for setting a white balance parameter. The feature point extraction calculation unit 1123 stores the feature points such as the shape, position, and size of the subject from the image data in the storage unit 1127 according to a predetermined algorithm, and detects the detected size of the face, eye width, and the like at that time. The approximate distance to each person extracted from the focal length of the zoom lens detected by the detector 121 is also calculated and stored in the storage unit 1125 together with the extraction date and time. Here, the distance calculation method will be described with reference to FIG. FIG. 7 shows a case where the distance to the person is calculated based on the extracted eye width. A is the average value of the actual eye width of a general adult, a is the eye width imaged on the extracted image sensor, L is the distance from the imaging lens to the person, and f is the focal length of the lens. From this figure, the following proportional expression can be easily derived.

A/L=a/f
ここから、人物までの距離Lは、L=(A/a)・fとなる。記憶部1125にはこの様にして抽出された特徴点やそれに基づいて演算した特徴点迄の距離が一旦記憶される。それら記憶された特徴点の中からユーザは残しておきたい特徴点を選択して登録することができる。
A / L = a / f
From here, the distance L to the person is L = (A / a) · f. The storage unit 1125 temporarily stores the feature points extracted in this way and the distance to the feature point calculated based on the feature points. From the stored feature points, the user can select and register the feature points that the user wants to keep.

本実施例におけるデジタルカメラのAF方式はコントラスト法を採用している。このコントラスト方式AFについてここで説明する。この方式において、撮像素子103上の像のボケの程度とコントラストの間には相関があり、焦点があったときに像のコントラストが最大になることを利用して焦点あわせを行う。コントラストの大小は撮像信号の高周波成分の大小により評価することが出来る。すなわち、AF演算部1124は不図示のBPF(バンドパスフィルタ)により撮像信号の高周波成分を抽出し、この絶対値を積分した値を焦点評価値としてこの焦点評価値に基づいてAF演算を行う。CPU112はAF演算部1124の演算結果を用いて撮影レンズ101のフォーカスレンズ位置を調整し、合焦動作を行わせる。   The AF method of the digital camera in this embodiment employs a contrast method. This contrast AF will be described here. In this method, there is a correlation between the degree of blurring of the image on the image sensor 103 and the contrast, and focusing is performed using the fact that the contrast of the image is maximized when there is a focus. The magnitude of the contrast can be evaluated by the magnitude of the high-frequency component of the imaging signal. That is, the AF calculation unit 1124 extracts a high-frequency component of the imaging signal by a BPF (bandpass filter) (not shown), and performs AF calculation based on the focus evaluation value using a value obtained by integrating the absolute value as a focus evaluation value. The CPU 112 adjusts the focus lens position of the photographing lens 101 using the calculation result of the AF calculation unit 1124, and performs a focusing operation.

CPU112に接続された操作部材116には、カメラの電源をオンオフする電源スイッチ1161、レリーズ釦に連動してオンオフする半押しスイッチ1162及び全押しスイッチ1163、モニタ109に表示されるカメラを撮影する際の各種メニュー内容を選択するための設定釦1164、再生画像等を更新するアップダウン(U/D)釦1165等が設けられている。設定釦1164では抽出した特徴点に対して名称を付けるためにU/D釦1165を併用してアルファベットやひらがな、カタカナ、簡単な漢字等を選択して設定することもできる。U/D釦1165はそれ以外に、複数抽出された人物から所望の人物を選択したり、撮影時には手動でズームレンズをテレあるいはワイド側に駆動したりするためにも使用される。   The operation member 116 connected to the CPU 112 includes a power switch 1161 for turning on / off the camera, a half-press switch 1162 and a full-press switch 1163 that are turned on / off in conjunction with the release button, and a camera displayed on the monitor 109. A setting button 1164 for selecting various menu contents, an up / down (U / D) button 1165 for updating a reproduced image, and the like are provided. The setting button 1164 can select and set alphabets, hiragana, katakana, simple kanji, etc. in combination with the U / D button 1165 in order to name the extracted feature points. In addition, the U / D button 1165 is used to select a desired person from a plurality of extracted persons, or to manually drive the zoom lens to the telephoto or wide side during photographing.

被写体輝度が低い場合にはストロボ117を発光させる。このストロボにはストロボ使用時に撮影した人物の瞳が赤く撮影されるのを防止あるいは軽減する赤目防止のためや低輝度時に被写体輝度を予め測定するために撮影前に予め補助光を発光するプリ発光機能も備わっている。記憶部1125には前述した特徴点情報以外にAF演算の結果から検出される評価値のピーク値や対応するレンズ位置等も記憶される。デジタル信号処理回路106で各種処理が施された画像データは、一旦バッファメモリ105に記憶された後に、記録・再生信号処理回路110を介してメモリカード等の外部記憶媒体111に記録される。画像データを記憶媒体111に記録する際には、一般的に所定の圧縮形式、例えば、JPEG方式でデータ圧縮が行われる。記録・再生信号処理回路110では、画像データを外部記憶媒体111に記録する際のデータ圧縮及び外部記憶媒体111から再生した圧縮された画像データの伸長処理を行う。   When the subject brightness is low, the flash 117 is caused to emit light. This strobe is a pre-flash that emits auxiliary light in advance before shooting to prevent red-eye to prevent or reduce the redness of the person's eyes when using the strobe and to measure subject brightness in advance at low brightness It also has functions. In addition to the feature point information described above, the storage unit 1125 also stores the peak value of the evaluation value detected from the AF calculation result, the corresponding lens position, and the like. The image data that has been subjected to various processes by the digital signal processing circuit 106 is temporarily stored in the buffer memory 105 and then recorded on an external storage medium 111 such as a memory card via the recording / reproducing signal processing circuit 110. When recording image data in the storage medium 111, data compression is generally performed in a predetermined compression format, for example, the JPEG method. The recording / reproduction signal processing circuit 110 performs data compression when image data is recorded on the external storage medium 111 and decompression processing of the compressed image data reproduced from the external storage medium 111.

モニタ109は撮像された被写体画像を表示したり撮影や再生させる際の各種の設定メニューを表示したりするための液晶(LCD)表示装置である。ここでは記憶媒体111に記録されている画像データを再生表示する際にも用いられる。モニタ109に画像を表示する場合には、バッファメモリ105の一部であるVRAM107に記憶された画像データを読み出し、D/A変換器108によりデジタル画像データをアナログ映像信号に変換する。そして、そのアナログ映像信号を用いてモニタ109に画像を表示する。   The monitor 109 is a liquid crystal (LCD) display device for displaying a captured subject image and displaying various setting menus for shooting and reproduction. Here, it is also used when image data recorded in the storage medium 111 is reproduced and displayed. When displaying an image on the monitor 109, the image data stored in the VRAM 107 which is a part of the buffer memory 105 is read out, and the digital image data is converted into an analog video signal by the D / A converter 108. Then, an image is displayed on the monitor 109 using the analog video signal.

ここで、特徴点を抽出する際のバッファメモリ105とVRAM107との関係について説明する。モニタ109で表示用の画像データを再生する場合には撮像素子からは静止画用の画像データから表示用の画像データに間引いたデータが一定の周期(例えば30フレーム/秒)で連続して出力される。この画像データに所定の処理を施し、モニタ109の縦横画素数に対応した画素数となるように更にデータを間引いてVRAM107に連続して記録する。このVRAM107のデータはD/A変換器108を通してモニタ109に表示画像として再生される。このVRAM107の画像データは特徴点を抽出するためのデータとしても使用する。特徴点を抽出する場合には、まずVRAM107の画像データをバッファメモリ105に所定のタイミングで再度記録する。ここでバッファメモリ105にはVRAM107に記録されているデータのうち中心部の所定の範囲(たとえば縦、横ともに80%)のみ記録する。図6にこの画面内での範囲の一例を示す。図6において、表示画面内の3名の人物を含んだ一点鎖線で示されるエリアがバッファメモリ105に記録される範囲である。この範囲からはみ出た外周部の被写体は主要被写体でない可能性が高く特徴点を抽出しても無意味であり、抽出処理時間を短縮するためにも最初から外周部の被写体を除いた画像データに対してのみ特徴点抽出演算部1123で特徴点を抽出する。また、前述した設定釦1164を使用して特徴点を抽出動作させるための抽出モードにカメラを設定した場合にはこの様に抽出可能エリアを表示するようにするとユーザが抽出モードに設定されているということを確認できるので好ましい。   Here, the relationship between the buffer memory 105 and the VRAM 107 when extracting feature points will be described. When image data for display is reproduced on the monitor 109, data obtained by thinning the image data for still image from the image data for still image to the image data for display is continuously output from the image sensor at a constant cycle (for example, 30 frames / second). Is done. The image data is subjected to a predetermined process, and the data is further thinned out so as to have the number of pixels corresponding to the number of vertical and horizontal pixels of the monitor 109 and continuously recorded in the VRAM 107. The data in the VRAM 107 is reproduced as a display image on the monitor 109 through the D / A converter 108. The image data in the VRAM 107 is also used as data for extracting feature points. When extracting feature points, first, image data in the VRAM 107 is recorded again in the buffer memory 105 at a predetermined timing. Here, only a predetermined range (for example, 80% in both the vertical and horizontal directions) of the central portion of the data recorded in the VRAM 107 is recorded in the buffer memory 105. FIG. 6 shows an example of the range in this screen. In FIG. 6, an area indicated by an alternate long and short dash line including three persons on the display screen is a range recorded in the buffer memory 105. It is highly possible that the outer peripheral subject outside this range is not the main subject, and it is meaningless to extract the feature points, and in order to shorten the extraction processing time, the image data excluding the outer peripheral subject from the beginning is used. Only for that, the feature point extraction calculation unit 1123 extracts the feature points. Further, when the camera is set to the extraction mode for performing the feature point extraction operation using the setting button 1164 described above, the user is set to the extraction mode by displaying the extractable area in this way. This is preferable because it can be confirmed.

また、このようにVRAM107から再度バッファメモリ105に画像データを記録するのは次の理由による。CPU112の演算処理能力が十分高かったならば前述した30フレーム/秒のレートで特徴点を抽出することができるがデジタルカメラに採用されているCPU112の演算能力はそこまで高くないことが多い。それ故、CPU112の演算能力に応じて特徴点抽出演算にあったレートでVRAM107からバッファメモリ105に画像データを再度記録することで特徴点を抽出する事が可能となる。なお、その場合であってももちろんVRAM105からは通常のレートでモニタ109の表示用画像データが出力されているので表示更新のレートが遅くなることはない。なお、AE演算、AF演算するための画像データは上述した撮像素子103から出力されVRAM107に間引く前のデータを使用する。  The reason why the image data is recorded again from the VRAM 107 to the buffer memory 105 in this way is as follows. If the arithmetic processing capability of the CPU 112 is sufficiently high, feature points can be extracted at the rate of 30 frames / second as described above, but the arithmetic capability of the CPU 112 employed in the digital camera is often not so high. Therefore, the feature points can be extracted by re-recording the image data from the VRAM 107 to the buffer memory 105 at a rate suitable for the feature point extraction calculation according to the calculation capability of the CPU 112. In this case, of course, the display update image data is output from the VRAM 105 at a normal rate, so the display update rate does not slow down. Note that the image data for AE calculation and AF calculation is data output from the above-described image sensor 103 and before thinning out to the VRAM 107.

次に図8、図9を使用して特徴点抽出(図では特徴点として顔認識をする場合を示している)、AE、AF、AWBのタイミングについて説明する。図8はカメラ動作開始時から顔認識が可能な場合で、図9は顔認識不可能な場合のタイミングである。両図において横軸目盛りは撮像素子103から読み出される周期(たとえば30フレーム/秒)を基準とした時間軸であり、顔認識処理はここでは2サイクル内で完了するものとしている。AF演算とAE演算、AF演算とAWB演算とは一つのサイクル内でそれぞれシリーズに行われる。     Next, the timing of feature point extraction (in the figure, a case where face recognition is performed as a feature point), AE, AF, and AWB will be described with reference to FIGS. FIG. 8 shows the case where face recognition is possible from the start of camera operation, and FIG. 9 shows the timing when face recognition is impossible. In both figures, the horizontal axis scale is a time axis based on a cycle (for example, 30 frames / second) read from the image sensor 103, and the face recognition processing is completed within two cycles here. AF calculation and AE calculation, and AF calculation and AWB calculation are performed in series in one cycle.

図8においてカメラ動作が開始されるとまず絞りを最小の口径となるように絞り込むとともに、フォーカスレンズをその絞り値に対応した過焦点距離の位置に移動させる。過焦点距離の位置とは無限遠が撮影レンズ101の被写界深度に入る一番近い撮影距離のことである。この位置で撮影すると、過焦点距離の1/2の距離から無限遠までのすべてが被写界深度に入る。この初期設定の詳細な内容については図4で後述する。初期設定終了後に撮像素子103で露光したデータを使用して時刻t1から顔認識演算を行う。   In FIG. 8, when the camera operation is started, the aperture is first narrowed down to the minimum aperture, and the focus lens is moved to the position of the hyperfocal distance corresponding to the aperture value. The position of the hyperfocal distance is the closest shooting distance where infinity is within the depth of field of the shooting lens 101. When shooting at this position, everything from 1/2 the hyperfocal distance to infinity enters the depth of field. Details of the initial setting will be described later with reference to FIG. After the initial setting is completed, face recognition calculation is performed from time t1 using data exposed by the image sensor 103.

顔認識が可能であった場合には時刻t2で撮像素子103からの動画用に間引いた出力データを使用して認識した顔を含む所定エリアに対してAF演算及びAE演算を行う。このAF演算結果に基づいてフォーカスレンズを駆動するが、一旦合焦したならそれ以降フォーカスレンズの駆動範囲はその合焦位置の前後の所定の範囲に制限される。これにより仮に被写体が動いてAFエリアからはずれたとしても急に背景にピントがあったりするのを防ぐことができる。さらに、画面内に複数の被写体がいて、それらが移動している場合などでは抽出した各被写体の大きさや距離が変わることによりAF演算をするための主要被写体が次々に変わってフォーカスレンズが頻繁に動いて煩わしい場合もある。この様な状態を防ぐために顔認識可能である場合には定期的にAF演算をせずに顔認識が不可能になったときにAF演算するようにしてもよい。図8でAF演算の箇所がカッコでくくられているのはこのようにAF演算しない場合もあるということを示している。AF演算に引き続いてAE演算を行い、AE演算終了後の時刻t3における撮像素子103からの出力を使用して今度はAF演算とAWB演算を行う。AF演算は前のサイクルと同様必要に応じて行う。時刻t4からは顔認識演算を行いそれ以降はt1からのサイクルと同様の繰り返しとなる。  When face recognition is possible, AF calculation and AE calculation are performed on a predetermined area including a face recognized using output data thinned out for moving images from the image sensor 103 at time t2. The focus lens is driven based on the AF calculation result. Once focused, the focus lens drive range is limited to a predetermined range before and after the focus position. As a result, even if the subject moves and deviates from the AF area, it is possible to prevent the background from being suddenly in focus. In addition, when there are multiple subjects in the screen and they are moving, the main subject for AF calculation changes one after another as the size and distance of each extracted subject changes, and the focus lens frequently It can be troublesome to move. In order to prevent such a situation, when face recognition is possible, AF calculation may be performed when face recognition becomes impossible without regularly performing AF calculation. In FIG. 8, the AF calculation is shown in parentheses, which indicates that the AF calculation may not be performed in this way. Subsequent to the AF calculation, the AE calculation is performed, and the AF calculation and the AWB calculation are performed this time using the output from the image sensor 103 at time t3 after the end of the AE calculation. The AF calculation is performed as necessary as in the previous cycle. The face recognition calculation is performed from time t4, and thereafter, the same cycle as the cycle from t1 is repeated.

次に、顔認識不可能の場合を図9に基づいて説明する。初期設定から顔認識終了時刻t2までの内容は図8と同様である。顔認識が不可能であった場合には時刻t2から開始されるAF演算の結果に対してはフォーカスレンズの移動範囲の制限はない。AF演算に引き続いてAE演算を行う。時刻t3から時刻t5のサイクルは時刻t1から時刻t3までのサイクルと同一である。この様に同一動作を繰り返す理由は、時刻t2と時刻t3の間で行ったAF演算の結果に基づいてフォーカスレンズを移動させ、移動終了後の時刻t4から時刻t5の間で撮像素子103で露光した画像データを時刻t5からの顔認識処理に使用するためである。このようにしてフォーカスレンズを移動した後の画像データにおいてもなお顔認識が不可であった場合には時刻t6においてカメラで設定されている撮影モードを判別する。この撮影モードの詳細は後述する。   Next, the case where face recognition is impossible will be described with reference to FIG. The contents from the initial setting to the face recognition end time t2 are the same as those in FIG. When face recognition is impossible, there is no restriction on the movement range of the focus lens with respect to the result of AF calculation started from time t2. Subsequent to the AF calculation, AE calculation is performed. The cycle from time t3 to time t5 is the same as the cycle from time t1 to time t3. The reason why the same operation is repeated in this manner is that the focus lens is moved based on the result of the AF calculation performed between time t2 and time t3, and exposure is performed by the image sensor 103 between time t4 and time t5 after the movement is completed. This is because the processed image data is used for face recognition processing from time t5. If face recognition is still impossible even in the image data after moving the focus lens in this way, the shooting mode set by the camera is determined at time t6. Details of this shooting mode will be described later.

もし人物に重点を置いた撮影モードに設定されていた場合にはフォーカスレンズを前述した過焦点距離の位置に移動させる。一方、風景に重点を置いた撮影モードに設定されていた場合にはt2あるいはt4で行ったAF演算と同様にAF演算を行いその結果に基づいた合焦位置にフォーカスレンズを移動させる。AE演算が終了した時刻t7からのサイクルでは、人物に重点を置いた撮影モードの場合はフォーカスレンズ位置はそのままの所定位置に固定しておき、一方風景に重点を置いた撮影モードの場合には新たにAF演算を行う。その後AWB演算が終了したら時刻t8で顔認識演算を行いそれ以降は時刻t5からの処理を繰り返す。途中で被写体が移動するなどして顔認識が可能になった場合には図8の時刻t2以降の処理を繰り返す。逆に抽出の途中で被写体が移動するなどして顔認識が不可能になった場合には図9の時刻t2以降の処理を繰り返す。なお、ここまでの図9の説明でAWB演算については時刻t7からのサイクルで開始していたがこれはもちろん図8の場合と同様にAE演算が終了した後の時刻t3及び時刻t5からのサイクルにも行うようにしてもよい。  If the shooting mode is set with emphasis on the person, the focus lens is moved to the above-described position of the hyperfocal distance. On the other hand, when the shooting mode is set with an emphasis on landscape, AF calculation is performed in the same manner as the AF calculation performed at t2 or t4, and the focus lens is moved to the in-focus position based on the result. In the cycle from the time t7 when the AE calculation is completed, the focus lens position is fixed at a predetermined position as it is in the shooting mode with emphasis on the person, while in the shooting mode with emphasis on the landscape. A new AF operation is performed. After that, when the AWB calculation is completed, face recognition calculation is performed at time t8, and thereafter the processing from time t5 is repeated. When face recognition becomes possible due to the movement of the subject on the way, the processing after time t2 in FIG. 8 is repeated. Conversely, when face recognition becomes impossible due to the movement of the subject during extraction, the processing after time t2 in FIG. 9 is repeated. In the description of FIG. 9 so far, the AWB calculation started in the cycle from the time t7. Of course, this is the cycle from the time t3 and the time t5 after the end of the AE calculation as in the case of FIG. May also be performed.

図2〜図5は図8、図9で説明した一連の動作シーケンスをフローチャートにまとめたものである。図2においてまずステップS101で電源SW1161をオンすることによりデジタルカメラの電源が入れられたことを検出するとステップS102でデジタルカメラの動作モードが顔認識モードに設定されているかどうか判別する。顔認識モードは例えば設定釦S1164を使用して設定することができる。前述したように、顔認識モードに設定されている場合には図6に示すごとくLCDモニタ109に一点鎖線で示す認識可能エリアが表示される。もし顔認識モードに設定されていなかった場合にはステップS103に進んで通常の撮影動作をするため所定のシーケンスに従ってAF、AE、AWB動作を行う。ステップS102で顔認識モードに設定されていた場合にはステップS104に進んで顔認識処理をするに当たっての初期設定を行う。この初期設定の具体例は図4で後述する。   2 to 5 summarize the series of operation sequences described in FIGS. 8 and 9 in flowcharts. In FIG. 2, first, when it is detected in step S101 that the power of the digital camera is turned on by turning on the power SW 1161, it is determined whether or not the operation mode of the digital camera is set to the face recognition mode in step S102. The face recognition mode can be set using, for example, the setting button S1164. As described above, when the face recognition mode is set, the recognizable area indicated by the alternate long and short dash line is displayed on the LCD monitor 109 as shown in FIG. If the face recognition mode is not set, the process proceeds to step S103, and AF, AE, and AWB operations are performed according to a predetermined sequence in order to perform a normal photographing operation. If the face recognition mode has been set in step S102, the process proceeds to step S104 to perform initial setting for performing face recognition processing. A specific example of this initial setting will be described later with reference to FIG.

初期設定が終了したらステップS105で初期設定終了後に露光した画像データを使用して特徴点抽出演算部1123によって被写体の特徴点を抽出する。ステップS106ではCPU112は抽出した特徴点の中から人物の顔が認識できるかどうか判別する。もし顔認識が不可能であった場合にはステップS107に進み、顔認識が可能の場合にはステップS108に進む。ステップS108では撮影者が一旦設定した主要被写体に対して被写体ロックの設定をする。これはそれ以降も被写体を追従して撮影することが容易にできるようにするためである。この被写体ロック設定については図5で詳細に説明する。   When the initial setting is completed, the feature point extraction calculation unit 1123 extracts the feature point of the subject using the image data exposed after the initial setting is completed in step S105. In step S106, the CPU 112 determines whether or not a person's face can be recognized from the extracted feature points. If face recognition is impossible, the process proceeds to step S107. If face recognition is possible, the process proceeds to step S108. In step S108, subject lock is set for the main subject once set by the photographer. This is to make it easier to follow and shoot the subject after that. The subject lock setting will be described in detail with reference to FIG.

ステップS109ではロックした被写体に対してAFする必要があるかどうか判別する。顔認識しない通常の場合はAE演算やAWB演算の前にAF演算しているが、図8においても説明したように、顔認識されているということはフォーカスレンズが合焦位置あるいは合焦に近い位置にあるということであるのでAEやAWBの前に常にAF演算する必要はなく、2ないし3回のAE演算、AWB演算を行うサイクルに1回程度AF演算するようにすれば十分である。あるいはサイクル数とは関係なく前述した焦点評価値が所定値以下だったならば合焦からのずれが大きいとしてAF演算を行うようにしてもよい。このような理由によりもしAFの必要がなかったならばステップS111に進み、AFの必要があったならばステップS110に進んでフォーカスレンズの移動範囲を限定してAFを行う。これは主要被写体が仮に動いたとしても現在の位置から大きくは動いていないであろうという仮定に基づいている。このようにフォーカスレンズの移動範囲を限定することによりもしも主要被写体が移動してAFエリアからはずれた場合に、AF演算結果によって背景に合焦させようとしてフォーカスレンズが極端に大きく移動することを防ぐことができる。AF演算が終了したなら次に、ステップS111でAE演算を行い、続いてステップS112でオートホワイトバランス演算を行い、図3ステップS118へ進む。なお、図8においても説明したようにステップS112のAWB演算の前にAF演算するようにしてもよい
ステップS106で顔認識が不可能と判別された場合にはステップS107に進む。ここでは顔認識不可能と判別された後にフォーカスレンズを移動したかどうか判別する。すなわち、フォーカスレンズ移動後も引き続いてステップS106で顔認識不可能と判断されたのかどうか判別する。もしまだフォーカスレンズを移動する前であったならばステップS113に進んでAF演算を行い、その後ステップS114でAE演算し、図3ステップ118に進む。もしフォーカスレンズ移動後に再度顔認識不可と判断されたのであったならばステップS115に進んでここでデジタルカメラに設定されている撮影モードを判別する。ここでいう撮影モードとはポートレートモード、記念写真モード等の人物を重視した撮影モードかあるいは風景モード、夜景モード等の風景を重視した撮影モードのことをいい、これらのいずれの撮影モードに設定されているかを判別する。この設定はモニタ109に表示されるメニューを見ながら撮影者が設定ボタン1164を操作することで設定される。
In step S109, it is determined whether it is necessary to perform AF on the locked subject. In a normal case where face recognition is not performed, AF calculation is performed before AE calculation or AWB calculation. However, as described with reference to FIG. 8, the fact that face recognition is being performed means that the focus lens is close to the in-focus position or in-focus. Since it is in the position, it is not always necessary to perform AF calculation before AE or AWB, and it is sufficient to perform AF calculation about once every two to three AE calculation and AWB calculation cycles. Alternatively, if the above-described focus evaluation value is less than or equal to a predetermined value regardless of the number of cycles, AF calculation may be performed assuming that the deviation from the focus is large. For this reason, if AF is not necessary, the process proceeds to step S111. If AF is necessary, the process proceeds to step S110, and the focus lens moving range is limited and AF is performed. This is based on the assumption that even if the main subject moves, it will not move significantly from the current position. By limiting the movement range of the focus lens in this way, if the main subject moves and deviates from the AF area, the focus lens is prevented from moving excessively in an attempt to focus on the background according to the AF calculation result. be able to. When the AF calculation is completed, next, AE calculation is performed in step S111, then auto white balance calculation is performed in step S112, and the process proceeds to step S118 in FIG. As described with reference to FIG. 8, AF calculation may be performed before the AWB calculation in step S112. If it is determined in step S106 that face recognition is impossible, the process proceeds to step S107. Here, it is determined whether or not the focus lens has been moved after it is determined that face recognition is impossible. That is, it is determined whether or not it is determined in step S106 that face recognition is impossible after the focus lens is moved. If the focus lens has not yet been moved, the process proceeds to step S113 to perform AF calculation, and then performs AE calculation in step S114 and proceeds to step 118 in FIG. If it is determined that the face cannot be recognized again after the focus lens is moved, the process proceeds to step S115 to determine the shooting mode set in the digital camera. The shooting mode here refers to a shooting mode that emphasizes people such as portrait mode and commemorative photo mode, or a shooting mode that emphasizes scenery such as landscape mode and night view mode, and any of these shooting modes can be set. It is determined whether it is done. This setting is set by the photographer operating the setting button 1164 while looking at the menu displayed on the monitor 109.

もし人物を重視した撮影モードに設定されていた場合にはステップS116に進み、風景を重視した撮影モードに設定されていた場合にはステップS111に進む。人物を重視した撮影モードに設定されているにもかかわらずこの様に顔認識が不能となる原因としては、人物がたまたま横や下を向いていたと考えられるので、ステップS116ではフォーカスレンズの現在位置を判別して、もしフォーカスレンズが過焦点距離の位置にあったならそのままステップS111に進み、それ以外の位置にあったならばステップS116で過焦点距離の位置に移動させたのちにステップS111に進む。なお、過焦点距離の位置は絞り102の絞り値や撮影レンズ101の焦点距離によって変わってくるため、このステップS117では過焦点距離の位置の代わりに絞り値によらない固定の位置(例えば撮影距離2m程度)にフォーカスレンズを移動するようにしても良い。また、ステップS106で顔認識が不可能と判別された場合にここまでの説明では直ちにステップS107に進むようにしていたがこれのかわりにステップS105に戻るようにしても良い。すなわち、たまたま被写体が横を向いたりして1回だけの判定では不十分であることも考えられる。それゆえ、顔認識が不可能と判別されたらステップS105に戻り再度認識の可否の判定を行って、所定回連続して認識不可だったときに最終的に認識不可と判別するようにしても良い。これにより被写体認識の精度を向上させることができる。  If the shooting mode is set to emphasize the person, the process proceeds to step S116. If the shooting mode is set to focus on the landscape, the process proceeds to step S111. The reason why face recognition is not possible in this way despite the fact that the person-oriented shooting mode is set is considered to be that the person happens to be sideways or down, so in step S116 the current position of the focus lens If the focus lens is at the position of the hyperfocal distance, the process proceeds to step S111 as it is. move on. Since the position of the hyperfocal distance varies depending on the aperture value of the diaphragm 102 and the focal length of the photographing lens 101, in this step S117, instead of the position of the hyperfocal distance, a fixed position that does not depend on the diaphragm value (eg, the photographing distance). The focus lens may be moved about 2 m). Also, when it is determined in step S106 that face recognition is impossible, in the above description, the process immediately proceeds to step S107. Instead, the process may return to step S105. That is, it can be considered that it is not sufficient to make a single determination because the subject happens to turn sideways. Therefore, if it is determined that face recognition is impossible, the process returns to step S105 to determine again whether or not recognition is possible, and finally when it is impossible to recognize a predetermined number of times, it is finally determined that recognition is impossible. . Thereby, the accuracy of subject recognition can be improved.

ステップS115で風景撮影モードに設定されていると判別されたならばそのままのフォーカスレンズ位置でステップS111に進んでAE演算を行い、その後ステップS112でAWB演算し、その後図3ステップS1118に進む。ステップS118では全押しスイッチ1163が押されたかどうか判別する。もし押されていなかったならば図2ステップS105に戻り、押されたならばステップS119に進んで被写体を撮影する。その後はステップS120でカメラの電源がオフされたかどうか判別し、もしオフされていなかったならば、ステップS121に進んで顔認識モードが変更されていないかどうか判別する。もし顔認識モードに設定されたままであったならば図2ステップS105に戻り、顔認識モードが変更されていたならば図2ステップ103に戻る。ステップS120でカメラの電源がオフされていたら顔認識モードにおける一連の撮影動作を終了する。   If it is determined in step S115 that the landscape photographing mode is set, the process proceeds to step S111 with the focus lens position as it is, and AE calculation is performed. Thereafter, AWB calculation is performed in step S112, and then the process proceeds to step S1118 in FIG. In step S118, it is determined whether or not the full press switch 1163 has been pressed. If it has not been pressed, the process returns to step S105 in FIG. 2, and if it has been pressed, the process proceeds to step S119 to photograph the subject. Thereafter, in step S120, it is determined whether the camera is turned off. If not, the process proceeds to step S121, where it is determined whether the face recognition mode has been changed. If the face recognition mode remains set, the process returns to step S105 in FIG. 2, and if the face recognition mode has been changed, the process returns to step 103 in FIG. If the camera is turned off in step S120, the series of shooting operations in the face recognition mode is terminated.

次に図4に基づいて初期設定の具体的内容を説明する。この初期設定においてはフォーカスレンズ位置と絞り位置を設定する。まずステップS151において絞り102をあらかじめ設定されている絞り値に設定する。通常、カメラの動作開始時には絞り102は開放または開放に近い位置に設定されている。これは、被写界深度を浅くして特定の被写体に対して合焦動作しやすいようにするためである。それに対して顔認識モードの場合には逆に被写界深度を深くしてできるだけ広い範囲の被写体に対して認識できるようにしてやる必要がある。そのために最小絞り径あるいは最小絞り径近傍に絞り値を設定してやる。次にステップS152でフォーカスレンズを前述した過焦点距離の位置に移動させる。通常コントラスト法のAF動作においては電源投入時はフォーカスレンズを所定の範囲スキャンして評価値のピークを検出する。これに対して顔認識モードの場合にはAF動作より顔認識動作を優先する。それゆえ、何らかの原因で至近や無限位置にフォーカスレンズが停止してしまっていた場合には人物のピントが大きく外れてしまい顔認識できなくなってしまう恐れがあるからである。この様に過焦点距離の位置にフォーカスレンズを移動させることでカメラ動作の最初から被写体に合焦した画像データを得ることが可能となり顔認識を迅速に行うことが可能となる。この過焦点距離の位置はレンズの焦点距離あるいは絞り値に基づいて演算する必要があり、これが煩わしい場合にはレンズによらないあらかじめ決められた位置に撮影レンズを移動させるようにしても良い。具体的には、0.3〜3m内の固定の位置である。  Next, specific contents of the initial setting will be described with reference to FIG. In this initial setting, the focus lens position and the aperture position are set. First, in step S151, the aperture 102 is set to a preset aperture value. Normally, at the start of camera operation, the aperture 102 is set to the open position or close to the open position. This is to reduce the depth of field so that a specific subject can be easily focused. On the other hand, in the face recognition mode, it is necessary to increase the depth of field so that a wide range of subjects can be recognized. Therefore, the aperture value is set near the minimum aperture diameter or near the minimum aperture diameter. Next, in step S152, the focus lens is moved to the position of the hyperfocal distance described above. In the normal contrast AF operation, when the power is turned on, the focus lens is scanned within a predetermined range to detect the peak of the evaluation value. In contrast, in the face recognition mode, the face recognition operation has priority over the AF operation. For this reason, if the focus lens stops at a close or infinite position for some reason, the person's focus may be greatly out of focus and the face may not be recognized. In this way, by moving the focus lens to the position of the hyperfocal distance, it is possible to obtain image data focused on the subject from the beginning of the camera operation, and face recognition can be performed quickly. The position of the hyperfocal distance needs to be calculated based on the focal length or aperture value of the lens. If this is troublesome, the photographing lens may be moved to a predetermined position that does not depend on the lens. Specifically, it is a fixed position within 0.3 to 3 m.

これで初期設定は終了するがこれらの設定に加えて更にAE演算をするようにしても良い。これは、被写体輝度が明るすぎて撮影データが飛んでいたり、逆に暗すぎて撮影データがつぶれたりした場合には顔認識が不可能となってしまうからである。それゆえ、顔認識動作の前にまずAE演算部1121によって被写体輝度を測定して被写体をある程度の明るさになるように絞りあるいはシャッタスピードを調整する。もちろん、この初期設定においてはここに述べた3通りをすべて行う必要はなくこれらのうちから1通りあるいはいくつかの方法を適宜組み合わせて選択するようにしても良い。  This completes the initial setting, but in addition to these settings, an AE calculation may be further performed. This is because face recognition becomes impossible if the subject brightness is too bright and the shooting data is skipped, or conversely if the shooting data is crushed because it is too dark. Therefore, before the face recognition operation, the subject brightness is first measured by the AE calculation unit 1121, and the aperture or shutter speed is adjusted so that the subject has a certain level of brightness. Of course, in this initial setting, it is not necessary to perform all the three methods described here, and one of these methods or a combination of several methods may be selected as appropriate.

次に図5を用いて図2ステップS108の被写体ロックの詳細について説明する。ステップS201では認識した被写体を所定の表示方法で識別表示する。図6にこの表示形態の一例を示す。図6において顔内部の細い実線や波線の四角表示が認識された顔であることを示している。ここでは四角の表示のうち波線で示した顔が最大の顔であることを示している。これ以外にも前述した眼幅から被写体までの概略距離を求め、その結果から最短距離にある顔を識別表示するようにしても良い。このように最大の顔を識別表示するか、あるいは最も近い顔を識別表示するかという設定は設定釦1164によって行う。   Next, details of subject locking in step S108 in FIG. 2 will be described with reference to FIG. In step S201, the recognized subject is identified and displayed by a predetermined display method. FIG. 6 shows an example of this display form. FIG. 6 shows that the face is recognized as a thin solid line or a square display of wavy lines inside the face. Here, the face indicated by the wavy line in the square display indicates that it is the largest face. In addition to this, the approximate distance from the aforementioned eye width to the subject may be obtained, and the face at the shortest distance may be identified and displayed from the result. The setting button 1164 is used to set whether to identify and display the largest face or the nearest face.

ステップS202では撮影者が所望する被写体を選択したかどうか判別する。この選択についてはU/D釦1165を使用する。もし選択していなかったならばステップS201に戻り、選択したならばステップS203で選択した被写体の顔の細い実線表示が波線表示になる。ステップS204では選択した被写体がロックされたかどうか判別する。具体的には撮影者が被写体を選択後、設定釦1164を押すことで選択した被写体がロック状態に設定さる。これにより選択した被写体がAFエリアあるいはAEエリアとして常に設定され、仮にロックした被写体が移動して他の被写体がより近くあるいはより大きくなったとしてもロックした被写体以外の他の被写体にAFエリアあるいはAEエリアが移ってしまうことが防止される。  In step S202, it is determined whether the photographer has selected a desired subject. For this selection, the U / D button 1165 is used. If not selected, the process returns to step S201, and if selected, the thin solid line display of the face of the subject selected in step S203 becomes a wavy line display. In step S204, it is determined whether or not the selected subject is locked. Specifically, after the photographer selects a subject, the selected subject is set to a locked state by pressing a setting button 1164. As a result, the selected subject is always set as an AF area or AE area, and even if the locked subject moves and another subject becomes closer or larger, the subject other than the locked subject is moved to the AF area or AE. The area is prevented from moving.

もしロックされていなかった場合にはステップS202に戻って被写体選択を繰り返す。ロックが終了したならばステップS205でロックした被写体の四角の波線表示を太い実線表示にすることでロックされていることを識別表示する。ステップS206ではいったん設定されたロックが解除されたかどうか判別する。ロック解除は設定ボタン1164をもう一度押すことで解除される。これにより太い実線表示が波線表示に変わりロックが解除されたことを示す。もしロックが解除されたならばステップS202に戻り、解除されなかったならこの被写体ロックの処理を終了する。なお、ここでは被写体識別記号を四角い実線、波線、太い実線で表示するようにしたがこれを赤や青等の色を変えて表示したり、四角、三角、丸といったように形状を変えたりあるいはロック被写体を矢印で示すことで区別してもよい。  If not locked, the process returns to step S202 to repeat subject selection. When the locking is completed, the fact that the object is locked in step S205 is displayed in a bold solid line to identify that it is locked. In step S206, it is determined whether or not the set lock has been released. The lock release is released by pressing the setting button 1164 again. As a result, the thick solid line display is changed to a wavy line display to indicate that the lock is released. If the lock is released, the process returns to step S202. If the lock is not released, the subject locking process is terminated. In this example, the object identification symbol is displayed as a square solid line, a wavy line, or a thick solid line. However, this may be displayed in a different color such as red or blue, or the shape may be changed such as a square, triangle, or circle. You may distinguish a lock | rock subject by showing with an arrow.

本発明によるデジタルカメラの構成を示すブロック図である。It is a block diagram which shows the structure of the digital camera by this invention. 本発明によるデジタルカメラの動作シーケンスを説明するフローチャートである。5 is a flowchart illustrating an operation sequence of the digital camera according to the present invention. 本発明によるデジタルカメラの動作シーケンスを説明するフローチャートである。5 is a flowchart illustrating an operation sequence of the digital camera according to the present invention. 初期設定のシーケンスを説明するフローチャートである。It is a flowchart explaining the sequence of initial setting. 被写体ロックのシーケンスを説明するフローチャートである。It is a flowchart explaining a subject locking sequence. 撮影条件を設定する時のシーケンスを説明するフローチャートである。It is a flowchart explaining the sequence at the time of setting imaging conditions. レンズの焦点距離と眼幅から人物までの距離を求める説明図である。It is explanatory drawing which calculates | requires the distance from the focal distance of a lens, and an eye width to a person. 顔認識可能な場合のAF、AE、AWBの動作を説明する図である。It is a figure explaining operation of AF, AE, and AWB when face recognition is possible. 顔認識不可能な場合のAF、AE、AWBの動作を説明する図である。It is a figure explaining operation of AF, AE, and AWB when face recognition is impossible.

符号の説明Explanation of symbols

101 撮影レンズ
102 絞り
103 撮像素子
104 アナログ信号処理部
105 バッファメモリ
106 デジタル信号処理部
108 D/Aコンバータ
109 LCDモニタ
110 記録・再生信号処理部
111 外部記憶媒体
112 CPU
113 レンズ駆動部
114 絞り駆動部
115 撮像素子駆動部
116 操作部材
117 ストロボ
121 レンズ位置検出部
135 A/Dコンバータ
1121 AE演算部
1122 AWB演算部
1123 特徴点抽出演算部
1124 AF演算部
1125 記憶部
1161 電源スイッチ
1162 半押しスイッチ
1163 全押しスイッチ
1164 設定釦
1165 アップ/ダウン釦



DESCRIPTION OF SYMBOLS 101 Shooting lens 102 Diaphragm 103 Image pick-up element 104 Analog signal processing part 105 Buffer memory 106 Digital signal processing part 108 D / A converter 109 LCD monitor 110 Recording / reproduction | regeneration signal processing part 111 External storage medium 112 CPU
DESCRIPTION OF SYMBOLS 113 Lens drive part 114 Aperture drive part 115 Image pick-up element drive part 116 Operation member 117 Strobe 121 Lens position detection part 135 A / D converter 1121 AE calculating part 1122 AWB calculating part 1123 Feature point extraction calculating part 1124 AF calculating part 1125 Storage part 1161 Power switch 1162 Half-press switch 1163 Full-press switch 1164 Setting button 1165 Up / down button



Claims (7)

撮影レンズを透過した被写体像を撮影する撮像手段と、
前記撮像手段から出力された画像データから被写体の特徴部位を抽出するための抽出動作モードとそれ以外の動作モードのいずれかに設定する設定手段と、
前記設定手段が動作モードを前記抽出動作モードに設定したときに前記撮影レンズを所定位置に駆動する駆動手段とを備えたことを特徴とするデジタルカメラ。
Imaging means for photographing a subject image transmitted through the photographing lens;
A setting means for setting one of an extraction operation mode for extracting a characteristic part of a subject from image data output from the imaging means and another operation mode;
A digital camera comprising: drive means for driving the photographing lens to a predetermined position when the setting means sets an operation mode to the extraction operation mode.
前記所定位置とは前記撮影レンズの過焦点距離の位置であることを特徴とする請求項1に記載のデジタルカメラ。 The digital camera according to claim 1, wherein the predetermined position is a position of a hyperfocal distance of the photographing lens. 前記所定位置とは撮影距離が0.5〜3m内の特定距離となる前記撮影レンズの位置であることを特徴とする請求項1に記載のデジタルカメラ。 2. The digital camera according to claim 1, wherein the predetermined position is a position of the photographing lens at a photographing distance within a specific distance of 0.5 to 3 m. 撮影レンズを透過した被写体像を撮影する撮像手段と、
前記撮像手段に入射する光量を制御する絞り手段と、
前記撮像手段から出力された画像データから被写体の特徴部位を抽出するための抽出動作モードとそれ以外の動作モードとのいずれかに設定する設定手段と、
前記設定手段が動作モードを前記抽出動作モードに設定したときに前記絞り手段を所定の絞り位置に駆動する駆動手段とを備えたことを特徴とするデジタルカメラ。
Imaging means for photographing a subject image transmitted through the photographing lens;
Diaphragm means for controlling the amount of light incident on the imaging means;
A setting means for setting either an extraction operation mode for extracting a characteristic part of a subject from image data output from the imaging means or any other operation mode;
A digital camera comprising: drive means for driving the aperture means to a predetermined aperture position when the setting means sets the operation mode to the extraction operation mode.
前記所定の絞り位置とは前記絞り手段が設定可能な最小絞り位置であることを特徴とする請求項4に記載のデジタルカメラ。 5. The digital camera according to claim 4, wherein the predetermined aperture position is a minimum aperture position that can be set by the aperture means. 前記所定の絞り位置とは前記絞り手段が設定可能な最小絞り位置近傍であることを特徴とする請求項4に記載のデジタルカメラ。 5. The digital camera according to claim 4, wherein the predetermined aperture position is near a minimum aperture position that can be set by the aperture means. 被写体像を撮影する撮像手段と、
被写体を撮影する際の露出条件を演算する演算手段と、
前記撮像手段から出力された画像データから被写体の特徴部位を抽出する抽出手段と、
前記抽出手段を動作させるための抽出動作モードとそれ以外の動作モードのいずれかに設定する設定手段と、
前記設定手段が動作モードを前記抽出動作モードに設定したときに、前記演算手段の演算結果に従って前記撮像手段が撮影し、出力した画像データに対して前記抽出手段に抽出動作するように指示する指示手段とを備えたことを特徴とするデジタルカメラ。
Imaging means for capturing a subject image;
A calculation means for calculating an exposure condition when shooting the subject;
Extraction means for extracting a characteristic part of the subject from the image data output from the imaging means;
A setting means for setting the extraction operation mode for operating the extraction means and any other operation mode;
When the setting unit sets the operation mode to the extraction operation mode, an instruction to instruct the extraction unit to perform an extraction operation on the image data that the imaging unit has taken and output according to the calculation result of the calculation unit And a digital camera.
JP2003351778A 2003-10-10 2003-10-10 Digital camera Expired - Lifetime JP4305119B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2003351778A JP4305119B2 (en) 2003-10-10 2003-10-10 Digital camera
US10/954,613 US8159561B2 (en) 2003-10-10 2004-10-01 Digital camera with feature extraction device
EP04256236.3A EP1522952B1 (en) 2003-10-10 2004-10-08 Digital camera
CNB2004100850500A CN100499747C (en) 2003-10-10 2004-10-10 Digital camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003351778A JP4305119B2 (en) 2003-10-10 2003-10-10 Digital camera

Publications (2)

Publication Number Publication Date
JP2005117531A true JP2005117531A (en) 2005-04-28
JP4305119B2 JP4305119B2 (en) 2009-07-29

Family

ID=34542919

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003351778A Expired - Lifetime JP4305119B2 (en) 2003-10-10 2003-10-10 Digital camera

Country Status (1)

Country Link
JP (1) JP4305119B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007003656A (en) * 2005-06-22 2007-01-11 Fujifilm Holdings Corp Apparatus for determining focal position of imaging lens and method thereof
JP2007003655A (en) * 2005-06-22 2007-01-11 Fujifilm Holdings Corp Apparatus for determining focal position of imaging lens and method thereof
US7702231B2 (en) 2005-06-22 2010-04-20 Fujifilm Corporation Autofocus control apparatus and method of controlling the same
CN103986854A (en) * 2013-02-07 2014-08-13 佳能株式会社 Image processing apparatus, image capturing apparatus, and control method

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007003656A (en) * 2005-06-22 2007-01-11 Fujifilm Holdings Corp Apparatus for determining focal position of imaging lens and method thereof
JP2007003655A (en) * 2005-06-22 2007-01-11 Fujifilm Holdings Corp Apparatus for determining focal position of imaging lens and method thereof
US7702231B2 (en) 2005-06-22 2010-04-20 Fujifilm Corporation Autofocus control apparatus and method of controlling the same
JP4515972B2 (en) * 2005-06-22 2010-08-04 富士フイルム株式会社 In-focus position determining apparatus and method for imaging lens
JP4578334B2 (en) * 2005-06-22 2010-11-10 富士フイルム株式会社 In-focus position determining apparatus and method for imaging lens
CN103986854A (en) * 2013-02-07 2014-08-13 佳能株式会社 Image processing apparatus, image capturing apparatus, and control method
US10855903B2 (en) 2013-02-07 2020-12-01 Canon Kabushiki Kaisha Image processing apparatus, image capturing apparatus, control method and recording medium

Also Published As

Publication number Publication date
JP4305119B2 (en) 2009-07-29

Similar Documents

Publication Publication Date Title
EP1522952B1 (en) Digital camera
US7430369B2 (en) Image capture apparatus and control method therefor
US8111321B2 (en) Imaging device and method for its image processing, with face region and focus degree information
US8120664B2 (en) Digital camera
US8411159B2 (en) Method of detecting specific object region and digital camera
JP2007108412A (en) Autofocus device and its program
JP2006208558A (en) Imaging device
TW201102938A (en) Image capturing apparatus, face area detecting method and program recording medium
JP4127521B2 (en) Digital camera and control method thereof
JP5027580B2 (en) Imaging apparatus, method, and program
JP2005323015A (en) Digital camera
JP5073602B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP4998122B2 (en) Imaging apparatus and program thereof
JP4254467B2 (en) Digital camera
JP4306399B2 (en) Digital camera
JP2005223658A (en) Digital camera
JP4371219B2 (en) Digital camera
JP4305119B2 (en) Digital camera
JP2008054031A (en) Digital camera and display control method
JP2003289468A (en) Imaging apparatus
JP2009182880A (en) Imaging apparatus and its program
JP2010028605A (en) Image capturing apparatus and method of controlling the same
JP2008172732A (en) Imaging apparatus, control method thereof, and program
JP2009207100A (en) Image-taking device and its program
JP2007208355A (en) Photographing device, method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060929

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080528

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080529

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081104

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20081104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090407

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090420

R150 Certificate of patent or registration of utility model

Ref document number: 4305119

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150515

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150515

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150515

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term