New! View global litigation for patent families

JP2004334836A - Method of extracting image feature, image feature extracting program, imaging device, and image processing device - Google Patents

Method of extracting image feature, image feature extracting program, imaging device, and image processing device

Info

Publication number
JP2004334836A
JP2004334836A JP2004076073A JP2004076073A JP2004334836A JP 2004334836 A JP2004334836 A JP 2004334836A JP 2004076073 A JP2004076073 A JP 2004076073A JP 2004076073 A JP2004076073 A JP 2004076073A JP 2004334836 A JP2004334836 A JP 2004334836A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
image
feature
processed
extracting
lt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004076073A
Other languages
Japanese (ja)
Other versions
JP4338560B2 (en )
Inventor
Masahiko Sugimoto
雅彦 杉本
Original Assignee
Fuji Photo Film Co Ltd
富士写真フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To extract features, such as a human face in an image, at a high speed as well as at high precision. <P>SOLUTION: In an image feature extracting method wherein images of required size are segmented, one by one from an image to be processed, each segmented image is compared with collation data of a feature image, and whether there is the feature image in the image to be processed is detected, the range of the size of the feature image, in contrast to the size of the image to be processed, is limited based on the information of distance from an object, when the image to be processed is photographed (Step S6). Thus, comparison of too large or too small segmented images, as compared to the feature image for which the collation data can be skipped, and processing at higher speed as well as with higher precision can be attained. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、処理対象画像中に顔などの特徴部分画像が存在するか否かを高速に抽出することができる画像の特徴部分抽出方法及び特徴部分抽出プログラム並びに撮像装置と画像処理装置に関する。 The present invention relates to a feature portion extracting process and characteristic portion extracting program, and an imaging apparatus and an image processing apparatus of the image whether a characteristic part image exists can be extracted at high speed such as the face in the target image.

例えばデジタルカメラには、下記特許文献1に記載されている様に、被写体の顔部分を画面内から抽出し、抽出した顔の目にデジタルカメラの焦点を自動的に合わせる自動焦点装置が搭載されているものがある。 For example, a digital camera, as disclosed in Patent Document 1, to extract a face portion of the subject from the screen, the automatic focusing device is mounted to automatically focus the digital camera in the eyes of the extracted face there are things are. しかし、この特許文献1は、焦点合わせの技術について開示があるのみであり、被写体の顔部分をどの様にして抽出すれば高速に顔画像の抽出処理が可能かについての考察がない。 However, Patent Document 1 is only there is disclosed a focusing technique, there is no discussion of whether it is possible extraction of the high-speed in the face image be extracted by any way the face portion of the subject.

顔部分を画面内から抽出する場合、多くの場合、テンプレートマッチングが用いられる。 When extracting a face part from the screen, often the template matching is used. これは、被写体画像からサーチウインドウで順次切り出した各切出画像と顔のテンプレートとの類似度を順次判定し、顔のテンプレートに対して閾値以上の類似度で一致するサーチウインドウ位置に被写体の顔が在ると判定するものである。 This in turn determines the degree of similarity between the template of the cut image and the face were successively cut by the search window from the subject image, the subject search window position coincident with the threshold value or more similarity to the template of the face face it is intended to determine that is present.

このテンプレートマッチング処理を行う場合、従来は、被写体の顔が画面内でどの程度の大きさに映っているか分からないため、顔のテンプレートとして小さなテンプレートから画面一杯の大きさのテンプレートまで、大きさの異なるテンプレートを多数用意しておき、全てのテンプレートを用いてテンプレートマッチング処理を行い、顔画像を抽出している。 When performing this template matching process, conventionally, how much the face of the subject is in the screen because it does not know is reflected in the size of the screen fill the small template as a template of the face to the size of the template, the size of the are prepared a number of different templates, performs template matching processing using all of the template, and extracts the face image.

特開2001―215403公報 JP 2001-215403 Laid

被写体の顔等の特徴部分を撮影前などに抽出できれば、被写体の顔に自動焦点合わせをするまでの時間を短縮できたり、また、顔の肌色に合うようにホワイトバランスをとった撮影ができるなど、利点が多い。 If extracted, such as before taking a characteristic portion such as a face of the subject, or can reduce the time required for the automatic focusing on the face of the subject, also I like can shoot took the white balance to match the skin color of the face , advantage in many cases. しかし、従来の様に顔のテンプレートを小さなものから大きなものまで多数用意し、各テンプレートを用いたマッチング処理を行わなければならなかったので、顔の抽出処理に時間がかかってしまうという問題がある。 However, provides a number of conventional templates face as to large from small, so had to perform a matching process using each template, there is a problem that it takes time to extract process of the face . また、多数のテンプレート画像をメモリに用意すると、メモリ容量が大きくなってカメラのコスト増を招くという問題もある。 Further, there is the prepared a number of template images in the memory, a problem that the cost is increased for the camera memory capacity becomes larger.

上述した例は、カメラで人を撮影する場合であるが、例えば画像処理装置やプリンタにカメラから処理対象画像を読み込み、この処理対象画像中に人の顔があるか否かを検出し、肌色に合わせた画像補正や、例えばフラッシュ発光による赤目を修正する場合にも、高速に顔などの特徴部分画像が抽出できれば便利である。 The above-described example, is a case of photographing a person with a camera, for example, reads the processed image from the camera to the image processing apparatus or a printer, to detect whether there is a human face in the target image, skin color image correction and tailored to, for example, even in the case of correcting the red eye by flash, it is convenient if extracted feature partial image such as the face at a high speed.

本発明の目的は、処理対象画像中から顔等の特徴部分画像を高速かつ高精度に抽出することができる画像の特徴部分抽出方法及び特徴部分抽出プログラム並びに撮像装置と画像処理装置を提供することにある。 An object of the present invention is to provide a characteristic portion extracting method and characteristic portion extracting program, and an imaging apparatus and an image processing device of an image that can be extracted from the process target image characteristic partial image of a face, such as high speed and high precision It is in.

本発明の画像の特徴部分抽出方法は、処理対象画像から所要の大きさの画像を順次切り出し、各切出画像と特徴部分画像の照合データとを比較して前記処理対象画像中に前記特徴部分画像が存在するか否かを検出する画像の特徴部分抽出方法であって、前記処理対象画像の大きさに対する前記特徴部分画像の大きさの範囲を該処理対象画像が撮像されたときの被写体までの距離情報に基づいて限定し前記照合データと比較する前記切出画像の大きさを制限することを特徴とする。 Characteristic portion extracting method of an image of the present invention, the characteristic portion from the target image are sequentially cut the required size of the image of, in said target image by comparing the verification data of each clipped image and characteristic portion image an image characteristic portion extracting method of detecting whether an image is present, the size range of the characteristic part image to the size of the processed image to the object when the processing target image is captured and limits the size of the cut image to be compared with limiting to the verification data on the basis of the distance information.

この構成により、特徴部分画像の大きさに比べて大きすぎる部分画像や小さすぎる部分画像を処理対象画像から切り出して照合データと比較するという無駄な処理を省くことができ、処理時間の短縮を図ることが可能となる。 With this configuration, it is possible to omit useless processing of comparing the verification data cut out partial image and too small partial image is too large compared to the size of the characteristic portion image from the processed image, to shorten the processing time it becomes possible. また、使用する照合データや切出画像の大きさを距離情報に基づいて制限するため、見当違いの大きさのものでも特徴部分(例えば、顔)らしきものを特徴部分として誤検出してしまうことを防止できる。 Moreover, to limit based on the size of the matching data and clipped images to be used for the distance information, also feature portion intended size misplaced (eg, a face) it erroneously detected as the characteristic part of what appears It can be prevented.

本発明の特徴部分抽出方法の前記限定は、前記被写体までの距離情報の他に撮影レンズの焦点距離情報を用いて行うことを特徴とする。 The limiting feature portion extraction process of the present invention is characterized in that by using the focal length information in addition to the imaging lens of the distance information to the subject.

この構成により、特徴部分(例えば、顔)の入る範囲を更に高精度に制限することが可能となる。 With this configuration, a characteristic portion (e.g., the face) can be limited to more accurately the range to enter the.

本発明の特徴部分抽出方法の前記比較は、前記処理対象画像をリサイズしたリサイズ画像を用いて行うことを特徴とする。 The feature comparison portion extraction process of the present invention is characterized in that using the resized image by resizing the image to be processed.

この構成により、例えば個々人によって異なる顔画像を個々人の違いに関わらずに抽出することが容易となる。 This configuration, for example, different face images by individuals can be easily extracted regardless of the differences in the individual.

本発明の特徴部分抽出方法の前記比較は、決まった大きさの特徴部分画像に対応する前記照合データを用い、前記リサイズ画像の大きさを変化させて行い、あるいは、逆に、前記リサイズ画像の大きさを固定し前記特徴部分画像の大きさを変化させた前記照合データを用いて行うことを特徴とする。 The feature comparison portion extraction process of the present invention, using the verification data corresponding to the fixed size of the characteristic part image is performed by changing the size of the resized image, or conversely, the resized image It is performed using the verification data obtained by changing the size of the characteristic part image to fix the size and said.

この構成により、特徴部分画像の抽出を高速に行うことが可能となる。 With this configuration, it is possible to extract the characteristic portion image at high speed.

本発明の特徴部分抽出方法の前記照合データは、前記特徴部分画像のテンプレート画像データであることを特徴とする。 The verification data of the feature portion extracting process of the present invention is characterized by a template image data of said characteristic portion images.

テンプレート画像データを用いて特徴部分画像例えば顔画像を抽出する場合、複数種類のテンプレート画像データを用意するのが好ましい。 When extracting characteristic portion image example a face image by using the template image data, it is preferable to prepare plural kinds of template image data. 例えば、普通の人の顔のテンプレートの他に、眼鏡を掛けた人のテンプレート、年寄りの顔のテンプレート、乳児の顔のテンプレート等を用意しておくことで、精度良く顔画像の抽出ができる。 For example, in addition to the ordinary person in the face of the template, the human templates glasses, old face template, by preparing a template of the face of the infant, can be extracted accurately face image.

本発明の特徴部分抽出方法の前記照合データは、前記特徴部分画像の特徴量を数値化したデータであることを特徴とする。 The verification data of the feature portion extracting process of the present invention is characterized in that the a data obtained by digitizing a characteristic quantity of characteristic partial image.

数値化した照合データとは、例えば、特徴部分画像の画素位置毎の画素値(濃度値)を数値化したデータである。 The digitized collation data, for example, data obtained by digitizing pixel values ​​for each pixel position of the characteristic image segments (density value). あるいは、実際の画像に対して、ニューラルネットや遺伝的アルゴリズム等の機械学習アルゴリズムを使用してコンピュータに顔画像を学習させて得られる照合データである。 Alternatively, for the actual image, a verification data obtained by the learning face images to a computer using a machine learning algorithm such as neural networks and genetic algorithms. この場合にも、テンプレート画像と同様に、普通の人の顔の照合データの他に、眼鏡を掛けた人の照合データ、年寄りの顔の照合データ、乳児の顔の照合データ等、各種用意しておくのが好ましい。 In this case also, similarly to the template image, in addition to the verification data of an ordinary human face, human verification data glasses, verification data of the face of the old, verification data of the face of the infant, and various prepared to keep is preferable. 数値化したデータであるため、多種類用意してもメモリ容量は大きくならない。 Because it is digitized data, the memory capacity is not increased even if many kinds prepared.

本発明の特徴部分抽出方法の前記照合データは、前記特徴部分画像の特徴量を抽出するルールを記述したデータで構成されることを特徴とする。 The verification data of the feature portion extracting process of the present invention is characterized in that it is composed of data describing the rules for extracting a feature value of the feature partial image.

この構成によっても、数値化データと同様であり、特徴部分画像の処理対象画像中における探索範囲が限定されるため、高速に特徴部分画像を抽出することができる。 With this configuration, the same as the numerical data, since the search range is limited in the processing target image of the characteristic portion image, it is possible to extract a characteristic portion image at high speed.

本発明の特徴部分抽出プログラムは、前記処理対象画像の大きさに対する前記特徴部分画像の大きさの範囲を該処理対象画像が撮像されたときの被写体までの距離情報に基づいて限定し前記切出画像の大きさを制限するステップを備えることを特徴とする。 Characteristic portion extraction program of the present invention is to limit the size range of the characteristic part image to the size of the processing target image based on the distance information to the object when the processing target image is captured the cutting characterized in that it comprises the step of limiting the size of the image.

画像の特徴部分抽出方法をプログラム化しておくことで、コンピュータ搭載機器にこのプログラムを実行させることができ、様々な利用が可能となる。 By keeping programmed characteristic portions extraction method of the image, it is possible to execute the program in a computer equipped device, it is possible to various uses.

本発明の画像処理装置は、上記の特徴部分抽出プログラムを搭載し、該特徴部分抽出プログラムが前記ステップを実行するときに使用する前記距離情報は、前記処理対象画像にタグ情報として付加されている距離情報であることを特徴とする。 The image processing apparatus of the present invention is equipped with the above feature portion extraction program, the distance information which the characteristic portion extraction program uses when executing the steps are added as the tag information to the processing target image characterized in that the distance information.

この構成により、画像処理装置は、各種補正処理を行うことが可能となる。 With this configuration, the image processing apparatus, it is possible to perform various correction processes. 例えば、明るさ補正、色補正、輪郭補正、階調補正、欠陥補正等を行うことができる。 For example, brightness correction, color correction, contour correction, gradation correction, it is possible to perform defect correction. これらの補正処理は、画像全体に適用するものとは限らず、画像内の局所的な領域に対する補正処理も含む。 These correction process is not limited to those that apply to the entire image, including the correction processing for a local region within the image. また、処理対象画像に距離情報がタグ情報として付加されていれば、画像処理装置は容易に処理対象画像中の特徴部分画像の大きさがどの程度であるかを算出することができ、これによって探索範囲を狭めることができる。 Further, if the distance information to the processing target image is added as the tag information, the image processing apparatus is able to calculate whether a degree to which the magnitude of the characteristic portion image being easily processed image, thereby it is possible to narrow the search range.

本発明の撮像装置は、上記の特徴部分抽出プログラムと、該特徴部分抽出プログラムの前記ステップの実行時に必要となる前記距離情報を求める手段とを備えることを特徴とする。 Imaging apparatus of the present invention is characterized by comprising means for determining the above characteristic portion extraction program, the distance information necessary when executing the steps of the characterizing portion extraction program.

この構成により、撮像装置は、撮影時に特徴部分たとえば人の顔に合焦させたり、顔の肌色が奇麗になるように補正した画像データを出力することが可能となる。 With this configuration, an imaging apparatus, or is focused in the characterizing portion e.g. human face at the time of shooting, it is possible to output the image data corrected as skin color of the face is clean.

本発明の撮像装置の前記手段は、測距センサ、撮影レンズを被写体に合焦させるときのモータ駆動パルス数の計数手段、撮影レンズの焦点距離情報を求める手段、人物撮影モード,風景撮影モード,マクロ撮影モード等の撮影モードから被写体までの距離を推定する手段、撮影レンズの焦点距離から被写体までの距離を推定する手段のいずれかを含むことを特徴とすることを特徴とする。 Said means of the image pickup apparatus of the present invention, the distance measuring sensor, the motor driving pulse number counting unit when focusing the photographing lens to the object, means for obtaining focal length information of the photographing lens, the person shooting mode, landscape shooting mode, It means for estimating a distance from the photographing mode of the macro photographing mode, etc. to the subject, characterized by comprising any of the means for estimating the distance from the focal length of the taking lens to the subject.

撮像装置に通常搭載されている測距センサや撮影レンズの合焦用モータ等を利用して距離情報を取得できるため、撮像装置のコストアップを低減できる。 Since the distance information can be acquired by utilizing the ordinary focusing motor or the like of the distance measuring sensor and the taking lens mounted on the imaging apparatus can be reduced in cost of the imaging apparatus. またこれらの測距センサやパルス計数手段が搭載されていない場合でも、撮影モードや撮影レンズの焦点距離情報から被写体までのおおよその距離を推定できるため、撮影画像中に含まれる特徴部分(例えば、顔)の大きさをある程度推定でき、これによって抽出する特徴部分の大きさの範囲を限定することができる。 Even when the these distance measuring sensor and a pulse counting means is not mounted, it is possible to estimate the approximate distance to the object from the focal length information of the shooting mode and the photographing lens, characteristic portion included in the captured image (e.g., can the size somewhat estimation of the face), whereby it is possible to limit the size range of feature portions extracted.

本発明によれば、照合データとの比較処理で使用する切出画像の大きさを、特徴部分画像の大きさ範囲に制限するため、比較処理の回数が減り、処理の高速化と高精度化を図ることが可能となる。 According to the present invention, the size of the cut image to be used in the process of comparison and matching data, to limit the size range characteristic part image, it reduces the number of the comparison process, speed and accuracy of the process it is possible to achieve.

以下、本発明の一実施形態について、図面を参照して説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings. 尚、以下では撮像装置の一種であるデジタルカメラに搭載した特徴部分抽出プログラムが実行する画像の特徴部分抽出方法を例に説明するが、プリンタを含む画像処理装置や撮像装置一般にも同様の特徴部分抽出プログラムを搭載することで同様の効果を得ることができる。 Incidentally, one kind is but characteristic portion extraction program installed in the digital camera will be described a characteristic portion extraction process of the image to be executed as an example, the same characteristic portion in the image processing apparatus or the imaging device typically including a printer of the image pickup apparatus in the following it is possible to obtain the same effect by mounting the extraction program.

(第1の実施形態) (First Embodiment)
図1は、本発明の第1の実施形態に係るデジタルスチルカメラの構成図である。 Figure 1 is a block diagram of a digital still camera according to a first embodiment of the present invention. このデジタルスチルカメラは、CCDやCMOS等の固体撮像素子1と、固体撮像素子1の前段に置かれたレンズ2及び絞り3と、固体撮像素子1から出力される画像信号に対し相関二重サンプリング処理等を施すアナログ信号処理部4と、アナログ信号処理された画像信号をデジタル信号に変換するA/D変換部5と、デジタル信号に変換された画像信号に対してガンマ補正,同時化処理など施すデジタル信号処理部6と、このデジタル信号処理部6によって処理された画像信号を格納する画像メモリ7と、ユーザがシャッタボタンを押下したときに画像メモリ7に格納された画像信号(撮影データ)を外部メモリ等に記録する記録部8と、カメラ背面等に設けられ画像メモリ7の格納内容をスルー表示する表示部9とを備える。 The digital still camera includes a solid-state image pickup device 1 such as a CCD and a CMOS, a solid lens 2 and the aperture 3 placed in front of the imaging device 1, correlated double sampling on the image signal output from the solid-state imaging device 1 an analog signal processing unit 4 for performing processing and the like, an a / D converter 5 for converting the image signal analog signal processing to a digital signal, a gamma correction on the image signal converted into the digital signal, synchronization processing such as a digital signal processing unit 6 to perform an image memory 7 for storing the image signals processed by the digital signal processing unit 6, an image signal that the user has been stored in the image memory 7 when pressing the shutter button (shot data) the includes a recording unit 8 for recording in the external memory or the like, and a display unit 9 for through display contents stored in the image memory 7 is mounted on the back of the camera or the like.

このデジタルスチルカメラは更に、CPUやROM,RAMでなる制御回路10と、ユーザからの指示入力を受け付けると共に上記表示部9に対してオンデマンド表示処理を行う操作部11と、撮像素子1から出力されデジタル信号処理部6によって処理された画像信号を取り込み制御回路10からの指示に基づいて詳細は後述するように被写体の特徴部分この例では顔部分を抽出する顔抽出処理部12と、レンズ2の焦点合わせや倍率制御を制御回路10からの指示信号に基づいて行うレンズ駆動部13と、絞り3の絞り量を制御回路10からの指示信号に基づいて制御する絞り駆動部14と、固体撮像素子1を制御回路10からの指示信号に基づいて駆動制御する撮像素子制御部15と、制御回路10からの指示信号に基づいて被写体ま The digital still camera further, CPU and ROM, a control circuit 10 formed of a RAM, an operation unit 11 for performing an on-demand display process on the display unit 9 with accepting an instruction input from the user, the output from the image sensor 1 a face extraction processing unit 12 for details on the basis of an instruction from the control circuit 10 takes in the image signal processed by the digital signal processing unit 6 for extracting a characteristic portion face portion in this example of the subject as will be described later is, the lens 2 the lens driving unit 13 performed according to an instruction signal for focusing and magnification control from the control circuit 10, a diaphragm driver 14 is controlled on the basis of the aperture of the diaphragm 3 to the instruction signal from the control circuit 10, the solid-state imaging an image pickup device control unit 15 for controlling driving on the basis of the element 1 to the instruction signal from the control circuit 10, the subject or based on an instruction signal from the control circuit 10 の距離を計測する測距センサ16とを備える。 And a distance measuring sensor 16 to measure the distance.

図2は、顔抽出処理部12が顔抽出プログラムに従って行う顔抽出処理の処理手順を示すフローチャートである。 Figure 2 is a flowchart showing the processing steps of a face extraction processing face extraction processing unit 12 is performed according to the face extraction program. 顔抽出プログラムは、図1に示す制御回路10のROM内に格納されており、CPUが顔抽出プログラムをRAMに読み出し実行することで、顔抽出処理部12が機能する。 Face extraction program is stored in the ROM of the control circuit 10 shown in FIG. 1, CPU is by reading and executing the face extraction program RAM, the face extraction processing unit 12 to function.

デジタルスチルカメラの撮像素子1は、ユーザがシャッタボタンを押下する前であっても常時所定周期で画像信号を出力しており、デジタル信号処理部6は各画像信号をデジタル信号処理している。 Imaging device 1 of the digital still camera, the user has outputted an image signal at a constant predetermined period even before pressing the shutter button, the digital signal processor 6 has a respective image signals to digital signal processing. 顔抽出処理部12は、この画像信号を逐次取り込み、各入力画像に対して以下の処理を行う。 Face extraction processing unit 12 sequentially captures the image signal, performs the following processing for each input image.

先ず、入力画像(処理対象画像)のサイズを取得(ステップS1)する。 First, to get the size of the input image (processed image) (step S1). ユーザが例えば640×480画素数で撮影しようとしているのか、1280×960画素数で撮影しようとしているのかによって顔抽出処理に用いる入力画像のサイズが異なるカメラの場合には、このサイズ情報を取得する。 Whether the user is attempting to shooting, for example, 640 × 480 pixel count, the size of the input image used for the face extraction process depending on whether you are trying to taken at 1280 × 960 pixel number in the case of different camera acquires the size information . 入力画像のサイズが固定の場合にはこのステップS1は不要である。 Size of the input image is in the case of a fixed step S1 is not necessary. 次に、測距センサ16によって計測した被写体までの距離情報を制御回路10から取得する(ステップS2)。 Then, to acquire the distance information to the object measured by the distance measuring sensor 16 from the control circuit 10 (step S2).

測距センサ16が搭載されていないカメラであっても、焦点レンズを前後にモータ駆動して被写体に合焦させる機構を持ったカメラであれば、そのモータ駆動のパルス数を計数し、この計数値から距離情報を求めることができる。 Even camera distance measuring sensor 16 is not installed, if a camera having a mechanism for focusing on the subject by the motor driving the focus lens back and forth, and counts the number of pulses of the motor drive, the total You can determine the distance information from the numerical. この場合、パルス数計数値と距離との関係を関数で持っていても、あるいはテーブルデータとして持っていてもよい。 In this case, even if you have a relationship between the number of pulses counted value and distance functions, or it may have as table data.

次のステップS3では、ズームレンズを使用しているのか否かを判定し、ズームレンズを使用している場合にはズーム位置情報を制御回路10から取得し(ステップS4)、次にレンズの焦点距離情報を制御回路10から取得する(ステップS5)。 In the next step S3, it determines whether or not using the zoom lens, and obtains the zoom position information from the control circuit 10 when using the zoom lens (step S4), and then the focus of the lens acquires distance information from the control circuit 10 (step S5). ステップS3でズームレンズを使用していないと判定した場合にはステップS4を飛び越してステップS5に進む。 When it is determined that not using the zoom lens at the step S3 advances to step S5 skipping step S4.

以上の処理ステップによって取得した入力画像サイズ情報とレンズ焦点距離情報により、入力画像中における被写体である人の顔の大きさがどの程度の大きさになるかを決定できる。 By the above process the acquired input image size information and the lens focal length information by step, can be determined before it becomes the size of the extent to which the size of the human face is a subject in the input image. このため、次のステップS6では、顔の大きさに合わせたサーチウインドウの大きさの上限,下限の範囲を決定する。 Therefore, in the next step S6, it determines the size of the upper range of the lower limit of the search window to match the size of the face.

サーチウインドウとは、図3に示す様に、テンプレートマッチング処理を行う処理画像21に対する顔画像の大きさ、即ち図4に示すテンプレート22の大きさと同一の大きさのウインドウ23である。 The search window, as shown in FIG. 3, the size of the face image for processing image 21 for performing template matching process, that is, a window 23 size and same size of the template 22 shown in FIG. このサーチウインドウ23によって切り出した画像とテンプレート22との正規化相互相関係数等を以下の処理ステップで求め、マッチング度合いを計算し、マッチング度合い即ち類似度が閾値に達しない場合には、サーチウインドウ23を処理画像21上で一定画素分たとえば1画素分だけスキャニング方向24にずらして次のマッチング処理用の画像を切り出す。 Calculated normalized cross-correlation coefficient, etc. of the image and the template 22 cut out by the search window 23 in the following process steps, to calculate the degree of matching, if the degree of matching i.e. similarity does not reach the threshold value, the search window only certain pixels for example one pixel on the processing image 21 23 shifted in the scanning direction 24 cuts out an image for subsequent matching.

ここで、処理画像21とは、入力画像をリサイズした画像である。 Here, the processed image 21 is an image obtained by resizing an input image. 例えば1280×960画素数の高精細な入力画像を処理画像としてマッチング処理を行うよりも、この入力画像を例えば200×150画素数にリサイズした画像を処理画像とし、テンプレート(勿論、テンプレート側の顔画像も高精細な顔画像ではなく、画素数の少ない例えば20×20画素数の顔画像を用いる。)マッチングを行う方が、個々人の差違を無視した一般的な「顔」の検出が容易となる。 Than performing matching processing as the processing image high-resolution input image, for example, 1280 × 960 pixel number, and the input image for example 200 × 0.99 processing resized images to the number of pixels of the image, the template (of course, the template side face image is also not a high-resolution face image, using a small example 20 × 20 pixels number of face images in the number of pixels.) who performs matching, and facilitates the detection of common ignoring the individual's difference "face" Become.

次のステップS7では、サーチウインドウのサイズが範囲内であるか否か、即ち、処理画像21内における顔の大きさの上限,下限の範囲内であるか否かを判定する。 In the next step S7, it is determined whether or not the size of the search window is within the range, i.e., the size of the face in the processed image 21 limit, whether it is within the range of the lower limit. 次に、サーチウインドウ23の大きさに一致する大きさのテンプレート22が存在するか否かを判定する(ステップS8)。 Next, it is determined whether the template 22 sized to match the size of the search window 23 is present (step S8). 存在する場合には該当するテンプレートを選択し(ステップS9)、存在しない場合にはテンプレートをリサイズしてサーチウインドウ23の大きさに合わせたテンプレートを生成し(ステップS10)、次のステップ11に進む。 If present select the appropriate template (step S9), and resize the template in the absence generate templates tailored to the size of the search window 23 (step S10), and proceeds to the next step 11 .

ステップS11では、スキャニング方向24に沿ってサーチウインドウ23をスキャニングさせながらテンプレートマッチング処理を行い、類似度が閾値α以上となった画像部分が存在するか否かを判定する。 In step S11, it performs a template matching process while scanning the search window 23 along the scanning direction 24, determines whether the image portion the similarity is not less than the threshold value α is present.

類似度が閾値α以上となる画像部分が存在しない場合には、ステップS12に進み、サーチウインドウ23の大きさを図5に示す様に変化させ、次に、使用するサーチウインドウ23の大きさを決定してからステップS7に進む。 If the image portion similarity is equal to or larger than the threshold value α is not present, the process proceeds to step S12, the size of the search window 23 is changed as shown in FIG. 5, then the size of the search window 23 to be used proceeds determined from the step S7. 以下、ステップS7→ … →ステップS11→ステップS12→ステップS7を繰り返す。 Hereinafter, repeating steps S7 → ... → step S11 → step S12 → step S7.

このように、本実施形態では、図5に示す様にサーチウインドウ23の大きさを上限値から下限値まで(あるいは下限値から上限値まで)変化させながら、図6に示す様にテンプレートの大きさも変化させ、テンプレートマッチング処理を繰り返す。 Thus, in the present embodiment, the size of the search window 23 as shown in FIG. 5 from the upper limit value lower limit to (or from the lower limit value to the upper limit value) while varying the size of the template as shown in FIG. 6 or else varying repeats the template matching process.

ステップS11で、閾値α以上の類似度を示す画像部分が検出されたときは、ステップS13の顔検出判定処理に進み、顔位置を特定し、その位置情報を制御回路10に出力してこの顔検出処理を終了する。 In step S11, when the image portion indicating a degree of similarity greater than or equal to the threshold value α has been detected, the process proceeds to the face detection determination processing in step S13, identifies the face position, the face and outputs the positional information to the control circuit 10 to end the detection process.

ステップS7→ … →ステップS11→ステップS12→ステップS7と繰り返されることでサーチウインドウ23の大きさが上限,下限の範囲外に外れた場合には、ステップS7における判定結果が否定(N)となる。 Step S7 → ... → step S11 → step S12 → the size upper limit of the search window 23 by repeated with step S7, if it deviates outside the range of the lower limit, the determination result is negative (N) in step S7 . この場合にはステップS13の顔検出判定処理に進み、「顔なし」と判定される。 In this case, the process proceeds to the face detection determination processing in step S13, it is determined that "no face".

尚、この実施形態は、処理速度重視の処理系としているため、入力画像(処理対象画像)中に類似度がα以上となる部分がステップS11で検出された場合には、即ち、1人の顔画像が抽出された場合には、直ちにステップS13に進んで顔画像の探索処理を終了する構成となっている。 In this embodiment, since the processing speed-oriented processing system, when a portion where the similarity is equal to or higher than α in the input image (target image) are detected in step S11, i.e., one of when the face image has been extracted is configured to terminate the search process of the face image immediately proceeds to step S13.

しかし、例えば、顔画像の検出精度重視の処理系にする場合には、全ての切出画像と全てのテンプレートとをマッチング処理して夫々の類似度を求め、最後に、最高の類似度を示す画像部分を顔画像として検出したり、あるいは、所定値以上の類似度の画像部分を全て顔画像として検出したりする。 However, for example, when the detection accuracy oriented processing system of the face image, we obtain the similarity of each matching process and all the cut image and all templates, finally, shows the highest similarity or it detects an image portion as a face image, or and detect all image portions of a predetermined value or more similarity as a face image. これは、この第1の実施形態に限らず、後で述べる第2,第3,第4,第5の実施形態でも同様である。 This is not limited to this first embodiment, the second, third, which will be described later, and the fourth is the same also in the fifth embodiment.

また、第1の実施形態では、図4に示す一種類のテンプレートを用いて顔画像の探索処理を行ったが、テンプレートの種類として複数種類用意し、各種類のテンプレートを用いて顔画像を検出する構成とするのが良い。 Further, in the first embodiment has been searching process of the face image using a single type of template shown in FIG. 4, a plurality of types prepared as the type of template, detects a face image by using each type of template good for a configuration that is. 例えば、普通の人の顔のテンプレートの他に、眼鏡を掛けた顔のテンプレート、年寄りの顔のテンプレート、乳児の顔のテンプレート等を用意しておくことで、精度の高い顔画像の抽出処理が可能となる。 For example, in addition to the ordinary person in the face of the template, the template of the face with glasses, template face old, by preparing a template of the face of the infant, the extraction processing of high precision face images It can become.

この様に、本実施形態によれば、テンプレートマッチング処理で使用するテンプレートを複数種類用意し、各テンプレートを用いたマッチング処理を行うが、被写体までの距離情報に基づいて使用するテンプレートの上限,下限の大きさを限定するため、テンプレートマッチング処理回数を減らすことができ、顔の抽出処理を高精度,高速に行うことが可能となる。 Thus, according to this embodiment, the template used in the template matching processing a plurality of types prepared, performs the matching processing using each template, the upper limit of the template to be used based on the distance information to the object, the lower limit to limit the size, it is possible to reduce the template matching processing frequency, it is possible to perform the extraction process of the face precision, high speed.

(第2の実施形態) (Second Embodiment)
図7は、本発明の第2の実施形態に係る顔抽出プログラムの処理手順を示すフローチャートである。 Figure 7 is a flowchart showing the processing steps of a face extraction program according to the second embodiment of the present invention. この顔抽出処理プログラムを搭載するデジタルスチルカメラの構成は図1と同じである。 Configuration of a digital still camera equipped with this face extraction processing program is the same as FIG.

上述した第1の実施形態では、サーチウインドウ及びテンプレートの大きさを変化させながらテンプレートマッチング処理を行ったが、本実施形態では、サーチウインドウ及びテンプレートの大きさは固定し、処理画像21の大きさの方をリサイズしながらテンプレートマッチング処理を行う。 In the first embodiment described above, were subjected to template matching processing while changing the size of the search window and the template, in the present embodiment, the size of the search window and the template is fixed, the size of the processed image 21 performing a template matching process while resizing the person of.

ステップS1からステップS5までは第1の実施形態と同じである。 The steps S1 to Step S5 are the same as in the first embodiment. ステップS5の次に、本実施形態では、処理画像21の大きさの上限,下限の範囲を決定する(ステップS16)。 The next step S5, in the present embodiment, the upper limit of the size of the processed image 21, to determine the range between the lower limit (step S16). そして、次のステップS17では、処理画像21の大きさが顔の大きさの上限,下限の大きさに見合った範囲内であるか否かを判定する。 It is determined in the next step S17, the upper limit of the size of the size of the processed image 21 face, whether it is within the scope commensurate with the magnitude of the lower limit.

ステップS17の判定で、処理画像21の大きさが上限,下限の範囲内であると判定された場合には、次にステップS11に進み、テンプレートマッチング処理を行い、類似度が閾値α以上の画像部分が存在するか否かを判定する。 Is determined in step S17, the upper limit is the size of the processed image 21, if it is determined to be within the scope of the lower limits, then the process proceeds to step S11, performs a template matching process, the similarity is a threshold value α or more images It determines whether parts are present. 類似度が閾値α以上の画像部分が検出できなかった場合はステップS11からステップS18に戻って処理画像21のリサイズを行い、テンプレートマッチング処理を繰り返す。 If the similarity image portion than the threshold value α can not be detected returns from step S11 to step S18 performs a resizing process image 21 to repeat the template matching process. 閾値α以上の画像部分が検出された場合には、ステップS11からステップS13の顔検出判定処理に進んで顔位置を特定し、その位置情報を制御回路10に出力しこの顔検出処理を終了する。 When the threshold α or more image portions is detected, it identifies the face position proceeds from step S11 to the face detection determination processing in step S13, and outputs the position information to the control circuit 10 ends the face detection processing .

処理画像21のリサイズによって処理画像のサイズが上限値から下限値まで変化した後(あるいは下限値から上限値まで変化した後)は、ステップS17の判定結果が否定(N)となる。 The size of the processed image by resizing processing image 21 (after changed from or lower limit to an upper limit value) was changed to the lower limit value from the upper limit value, the decision result in the step S17 is negative (N). この場合にはステップS13に進み、「顔なし」と判定される。 The proceeds to the step S13 in the case, it is determined that "no face".

この様に、本実施形態では、入力画像に対する被写体の顔の大きさを被写体までの距離情報に基づいて限定するため、テンプレートマッチング処理回数を減らすことができ、高精度,高速に顔の抽出を行うことが可能となる。 Thus, in the present embodiment, in order to limit the basis the size of the face of the subject with respect to the input image to the distance information to the object, it is possible to reduce the template matching processing times, high precision, high-speed extraction of the face It can be carried out to become. しかも、予め用意するテンプレートが1つで済むため、テンプレートの記憶容量を削減することもできる。 Moreover, because the template prepared in advance requires only one, it is also possible to reduce the storage capacity of the template.

(第3の実施形態) (Third Embodiment)
図8は、本発明の第3の実施形態に係るデジタルスチルカメラの説明図である。 Figure 8 is an explanatory view of a digital still camera according to a third embodiment of the present invention. 第1,第2の実施形態では、測距センサ16によって被写体までの距離情報を取得したが、本実施形態では、測距センサを用いずに被写体までの距離情報を取得し、テンプレートマッチング処理により顔の抽出を行う。 In the first and second embodiments have been acquired distance information to the object by the distance measuring sensor 16, in this embodiment, obtains the distance information to the object without using the distance measuring sensor, the template matching process the extraction of the face.

例えば、スタジオ内に設置したデジタルスチルカメラによって被写体の記念撮影を行う場合や、監視カメラの様にカメラ設置位置とドア入口等の監視対象場所とが固定されている場合、被写体25とデジタルスチルカメラ26との間の距離は既知である。 For example, if or when the monitored location of the camera installation position and the door inlet such as the monitoring camera is fixed, the subject 25 and the digital still camera for commemorative photographing of a subject by a digital still camera installed in the studio the distance between the 26 are known. また、デジタルスチルカメラ26の設置台27がモータ及びレールなどの移動機構で移動する場合には、その移動量を移動機構のモータタイミングベルトやロータリーエンコーダ等から取得することで、図1の制御回路10は被写体25までの距離を知ることができる。 Also, if the mount base 27 of the digital still camera 26 is moved by the moving mechanism such as a motor and the rail, by obtaining the amount of movement from the motor timing belt or a rotary encoder or the like of the moving mechanism, the control circuit of FIG. 1 10 can know the distance to the object 25.

尚、本実施形態に係るデジタルスチルカメラは、図1の構成に対して測距センサが無い代わりに、移動機構から位置情報を取得する機構を備える。 Note that the digital still camera according to this embodiment, instead the distance measuring sensor is not the configuration of FIG. 1, a mechanism for acquiring location information from the moving mechanism. あるいは、ユーザが操作部11から入力した位置情報を用いる。 Alternatively, using the position information input by the user from the operation unit 11.

図9は、本実施形態に係る顔抽出プログラムの処理手順を示すフローチャートである。 Figure 9 is a flowchart showing the processing steps of a face extraction program according to this embodiment. 本実施形態の顔抽出プログラムでは、先ず、図8に示す基準点(カメラのディフォルト設置位置と被写体位置)間距離情報を取得し(ステップS20)、次に、第1実施形態のステップS1と同様に、入力画像のサイズを取得する。 The face extraction program of the present embodiment first obtains between distance information reference point shown in FIG. 8 (default installation position and the object position of the camera) (step S20), then, as in step S1 of the first embodiment to, to get the size of the input image.

次のステップS21では、被写体25に対して移動機構がどの程度移動したかの情報を制御回路10から取得し、ステップS3に進む。 In the next step S21, acquires one of information has moved extent moving mechanism relative to the object 25 from the control circuit 10 proceeds to step S3. 以下のステップS4〜ステップS13の処理は図2に示す第1の実施形態と同じであるため、その説明は省略する。 Because the processing of step S4~ step S13 follows is the same as the first embodiment shown in FIG. 2, a description thereof will be omitted.

この様に、本実施形態でも、入力画像に対する被写体の顔の大きさを被写体までの距離情報に基づいて限定するため、テンプレートマッチング処理回数を減らすことができ、高精度,高速に顔の抽出を行うことが可能となる。 Thus, also in this embodiment, to limit the basis the size of the face of the subject in the distance information to the object with respect to the input image, it is possible to reduce the template matching processing times, high precision, high-speed extraction of the face It can be carried out to become.

(第4の実施形態) (Fourth Embodiment)
図10は、本発明の第4の実施形態に係る顔抽出プログラムの処理手順を示すフローチャートである。 Figure 10 is a flowchart showing the processing steps of a face extraction program according to a fourth embodiment of the present invention. 本実施形態も、図8で説明した様に監視カメラ等に適用するプログラムであり、先ず、図8に示す基準点間距離情報を取得し(ステップS20)、次に第2実施形態のステップS1と同様に、入力画像のサイズを取得する。 This embodiment is also a program applied to a surveillance camera or the like as described in FIG. 8, first, obtains the distance information between the reference points shown in FIG. 8 (step S20), then step in the second embodiment S1 similar to, and acquires the size of the input image.

次のステップS21では、被写体25に対して移動機構がどの程度移動したかの情報を制御回路10から取得し、ステップS3に進む。 In the next step S21, acquires one of information has moved extent moving mechanism relative to the object 25 from the control circuit 10 proceeds to step S3. 以下のステップS4〜ステップS13の処理は図7に示す第2の実施形態と同じであるため、その説明は省略する。 Because the processing of step S4~ step S13 follows is the same as the second embodiment shown in FIG. 7, a description thereof will be omitted.

この様に、本実施形態でも、入力画像に対する被写体の顔の大きさを被写体までの距離情報に基づいて限定するため、テンプレートマッチング処理回数を減らすことができ、高精度,高速に顔の抽出を行うことが可能となる。 Thus, also in this embodiment, to limit the basis the size of the face of the subject in the distance information to the object with respect to the input image, it is possible to reduce the template matching processing times, high precision, high-speed extraction of the face It can be carried out to become. しかも、予め用意するテンプレートが1つで済むため、テンプレートの記憶容量を削減することもできる。 Moreover, because the template prepared in advance requires only one, it is also possible to reduce the storage capacity of the template.

(第5の実施形態) (Fifth Embodiment)
上述した実施形態では、特徴部分画像の照合データとして、テンプレートの画像データを用いたが、テンプレートの画像データを用いなくても、サーチウインドウによる切出画像と比較照合することができる。 In the above embodiment, as the collation data of the feature partial image, but using the image data of the template, without using the image data of the template may be compared against the cut image by the search window.

例えば、図4のテンプレート画像の各画素の濃度値を各画素位置座標に対応付けて数値化した照合データを用意し、この照合データを用いて比較照合を行うことができる。 For example, it is possible to the density value of each pixel of the template image in FIG prepared verification data obtained by digitizing in association with each pixel position coordinates, performs comparison and collation with the collation data. あるいは、濃度の高い画素位置(図4の例では両目の位置)の相関関係を照合データとして抽出し、この照合データを用いて比較照合を行うことも可能である。 Alternatively, it extracts the correlation between the high concentration of the pixel position (both eyes position in the example of FIG. 4) as the verification data, it is also possible to perform comparison and collation with the collation data.

本実施形態では、撮像装置で撮像した実際の画像に対して、例えばニューラルネットワークや遺伝的アルゴリズム等の機械学習アルゴリズムを使用して、事前に特徴部分画像、例えば顔画像の特徴をコンピュータに学習させ、この学習させた結果を照合データとして撮像装置のメモリに記憶させておく。 In the present embodiment, for the actual image captured by the imaging device, for example using a neural network or machine learning algorithm such as genetic algorithm, is learned in advance in the characterizing portion image, for example, the features of the face image to the computer and stored in the memory of the imaging device results obtained by the learning as the matching data.

図11は、事前学習の結果得られた照合データの構成例を示す図である。 Figure 11 is a diagram showing a configuration example of a verification data obtained as a result of prior learning. サーチウインドウ内の画素位置毎に、画素値v_iとスコアp_iとが学習により決定されている。 For each pixel position in the search window, and the pixel value v_i and scores p_i are determined by learning. 画素値とは、例えば画素濃度値等の数値データである。 The pixel value is a numerical data, such as, for example, the pixel density values. また、スコアとは、評価値である。 In addition, the score is an evaluation value.

テンプレート画像を用いた場合の評価値は「類似度」であり、テンプレート画像全体と比較した結果の評価値であったが、本実施形態の照合データの場合には、そのサーチウインドウの大きさに対して1画素1画素毎に評価値が定められている。 Evaluation value in the case of using the template image is a "similarity", was the evaluation value of the result of comparison with the entire template image, when the matching data of the present embodiment, the size of the search window evaluation value for each pixel 1 pixel for are defined.

例えば、ある画素位置の画素値が“45”の場合にはスコアが“9”であり、顔らしさが高いと設定されており、別の画素位置の画素値が“10”の場合にはスコアが“−4”であり、顔らしくないと設定されている。 For example, a certain score in the case of the pixel value of the pixel position is "45" is "9", is set to be high likeness face, when the pixel value of another pixel position is "10" score a There "-4" is set to not like face.

そして、比較照合の結果として各画素毎の評価値の累積値を求め、この累積値により、顔画像であるか否かを判定することで、顔画像の検出ができる。 Then, a cumulative value of the evaluation value for each pixel as a result of the comparison and collation, this cumulative value, by determining whether a face image can be detected in the face image. この数値データを用いた照合データでは、サーチウインドウの大きさ毎に照合データを用意しておき、各照合データによって顔画像を検出するのが好ましい。 The verification data using the numerical data, are prepared collation data for each size of the search window, it is preferable to detect a face image by the verification data.

あるサーチウインドウが選択され、そのサーチウインドウの大きさに対する照合データが用意されていない場合には、テンプレートの場合における図2のステップS10の処理に相当する処理を行って、そのサーチウインドウの大きさに対する照合データを作成することでもよい。 There search window is selected, in which case the verification data on the size of the search window is not prepared, by performing processing equivalent to the processing in step S10 in FIG. 2 in the case of the template, the size of the search window verification data for may be to create. 例えば、そのサーチウインドウの大きさと前後する大きさの複数の照合データを用い、画素値を補間演算して決定する。 For example, using the magnitude of a plurality of collation data before and after the size of the search window is determined by interpolation calculation pixel values.

テンプレートは特徴部分画像から特徴量を画像として抽出したデータであり、数値化した照合データは、特徴部分画像から特徴量を数値データとして抽出したデータである。 The template is data obtained by extracting feature amounts as the image from the feature partial image, the verification data obtained by digitizing a data obtained by extracting feature value as numerical data from the feature partial image. そこで、テンプレートや数値化データとして照合データを用意するのではなく、特徴部分画像から特徴量を抽出するルールを文言として記述した照合データを用意して、処理対象画像からサーチウインドウで切り出した画像との比較処理を行う構成とすることも可能である。 Therefore, instead of providing verification data as a template and quantified data, prepared collation data describing the rules for extracting a feature value from the feature partial image as a language, the image cut out in the search window from a processing target image it is also possible to adopt a configuration for performing comparison processing. この場合、制御回路の演算処理装置はルールを一々解釈しなければならないが、顔画像の大きさの範囲が距離情報によって制限されているため、高速な処理が可能である。 In this case, although the processing unit of the control circuit must be every time interpreting rules, since the size of the range of the face image is limited by the distance information, high-speed processing is possible.

尚、上述した各実施形態では、デジタルスチルカメラを例に説明したが、携帯電話機等に搭載したデジタルカメラや動画撮影を行うデジタルビデオカメラ等の他のデジタルカメラにも本発明を適用可能である。 In each embodiment described above, the digital still camera has been described as an example, the present invention is applicable to other digital cameras such as a digital video camera for digital cameras and video imaging was mounted in a mobile phone or the like . また、被写体までの距離情報は、測距センサの計測値や既知の値を用いる場合に限られず、その距離情報取得方法は如何なる方法でもよく、更に、抽出対象は顔に限らず、他の特徴部分でも本発明を適用可能である。 The distance information to the object is not limited to the case of using the measured values ​​and known values ​​of the distance measuring sensor, the distance information obtaining method may be any method, further, the extraction target is not limited to the face, the other features the present invention is applicable also in portions.

また、上述した各実施形態の特徴抽出プログラムは、デジタルカメラに搭載する場合に限られず、例えば写真のプリンタや画像処理装置に搭載することで、被写体の特徴部分を高精度且つ高速に抽出することが可能となる。 The feature extraction program of the above-described embodiments is not limited to the case of mounting in a digital camera, for example, by mounting the photo printer and an image processing apparatus, extracting a feature portion of the object with high precision and at high speed it is possible. この場合、テンプレートの大きさ或いは処理画像の大きさを特徴部分画像の上限,下限の範囲に限定するために距離情報やズーム情報が必要となるが、これらの情報は、入力画像を撮影したカメラが撮像画像データにタグ情報として付加したものを用いる。 Camera In this case, the upper limit of the size of the characteristic portion image size or processing images in the template, the distance information and zoom information to limit the scope of the lower limits but is required, the information is obtained by photographing the input image There is used a material obtained by adding a tag information to the captured image data.

尚、上述した実施形態では、測距センサによって求めた被写体までの距離情報や、撮影レンズを被写体に合焦させるときのモータ駆動パルス数等から画像中に含まれる特徴部分の大きさの範囲を限定したが、精度良く特徴部分の大きさの範囲が分からない場合でも、おおよその範囲が限定できれば本発明を適用可能である。 In the embodiment described above, and distance information to the object obtained by the distance measuring sensor, the range of the sizes of the characteristic portion included in the image from the motor driving pulse number etc. when focusing the photographing lens to the object limited was but, even if the size range of accurately characterizing portion not known, it is possible to apply the present invention if only an approximate range.

例えば、撮影レンズの焦点距離から、被写体までの距離を大まかに限定でき、また、人物撮影モード,風景撮影モード,マクロ撮影モード等の撮影モードのいずれで撮影が行われたかが分かれば、被写体までの距離を推定することができ、特徴部分の大きさを大まかに限定して特徴部分抽出処理の高速化を図ることができる。 For example, the focal length of the taking lens, can roughly limit the distance to the subject, also, person photographing mode, landscape shooting mode, if any on whether an image has been captured in the shooting mode such as macro mode is known, to the subject distance can be estimated, it is possible to increase the speed of feature portion extracting process to roughly limit the size of the characteristic portion.

更にまた、これらの情報を組み合わせ、例えば、撮影モードと撮影レンズの焦点距離とから被写体までのおおよその距離を推定したり、撮影モードとモータ駆動パルス数とを組み合わせて判断することでもよい。 Furthermore, combinations of these information, for example, to estimate the approximate distance from the focal length of the photographing mode and the photographing lens to the subject, it may also be determined by combining the photographing mode and the motor drive pulse number.

本発明は、顔などの特徴部分画像を入力画像中から高速に抽出できるため、例えば、明るさ補正、色補正、輪郭補正、階調補正、欠陥補正等を、画像全体の補正に限らず、画像内の局所的な領域に対する補正も高速に行うことができ、画像処理装置や撮像装置に搭載すると好適である。 The present invention is capable of extracting a characteristic portion image such as a face from the input image at high speed, for example, brightness correction, color correction, contour correction, tone correction, defect correction, and the like, not limited to the correction of the overall image, correction for local regions in the image can also be performed at high speed, it is preferable to mount the image processing apparatus or the imaging device.

本発明の第1の実施形態に係るデジタルスチルカメラの構成図である。 It is a block diagram of a digital still camera according to the first embodiment of the present invention. 図1に示すデジタルスチルカメラに搭載された顔抽出プログラムの処理手順を示すフローチャートである。 It is a flowchart illustrating a processing procedure of mounting the face extraction program to the digital still camera shown in FIG. サーチウインドウによるスキャニングの説明図である。 It is an explanatory diagram of the scanning by the search window. 顔のテンプレートの一例を示す図である。 Is a diagram illustrating an example of a face of the template. サーチウインドウの大きさを変化させる例の説明図である。 Examples of changing the size of the search window is an explanatory view of. テンプレートの大きさを変化させる例の説明図である。 Examples of changing the size of the template is an explanatory view of. 本発明の第2の実施形態に係る顔抽出プログラムの処理手順を示すフローチャートである。 Is a flowchart showing the processing steps of a face extraction program according to the second embodiment of the present invention. 本発明の第3の実施形態に係るデジタルスチルカメラの設置例を示す図である。 Is a diagram illustrating an installation example of a digital still camera according to a third embodiment of the present invention. 本発明の第3の実施形態に係る顔抽出プログラムの処理手順を示すフローチャートである。 Is a flowchart showing the processing steps of a face extraction program according to the third embodiment of the present invention. 本発明の第4の実施形態に係る顔抽出プログラムの処理手順を示すフローチャートである。 Is a flowchart showing the processing steps of a face extraction program according to a fourth embodiment of the present invention. 本発明の第5の実施形態に係る照合データの説明図である。 It is an explanatory diagram of verification data according to a fifth embodiment of the present invention.

符号の説明 DESCRIPTION OF SYMBOLS

1 撮像素子2 レンズ3 絞り6 デジタル信号処理部10 制御回路12 顔抽出処理部16 測距センサ21 処理画像22 顔のテンプレート23 サーチウインドウ24 スキャニング方向 First image sensor 2 lens 3 stop 6 digital signal processing unit 10 control circuit 12 face extraction processing unit 16 template 23 search window 24 scanning direction of the distance measuring sensor 21 processes the image 22 face

Claims (12)

  1. 処理対象画像から所要の大きさの画像を順次切り出し、各切出画像と特徴部分画像の照合データとを比較して前記処理対象画像中に前記特徴部分画像が存在するか否かを検出する画像の特徴部分抽出方法であって、前記処理対象画像の大きさに対する前記特徴部分画像の大きさの範囲を該処理対象画像が撮像されたときの被写体までの距離情報に基づいて限定し前記照合データと比較する前記切出画像の大きさを制限することを特徴とする画像の特徴部分抽出方法。 Processing sequentially cut the required size of the image from the target image, the image in which the characteristic portion image in the processing target image by comparing the verification data of each clipped image and characteristic portion image to detect whether there a feature portion extracting process, the verification data is limited based on the distance information to the object when the size range of the characteristic part image to the size of the processing target image is the processed image is captured characteristic portion extracting method of an image, characterized in that to limit the size of the cut image to be compared with.
  2. 前記限定は、前記被写体までの距離情報の他に撮影レンズの焦点距離情報を用いて行うことを特徴とする請求項1に記載の画像の特徴部分抽出方法。 The limitation is characteristic portion extracting method of an image according to claim 1, characterized in that by using the focal length information in addition to the imaging lens of the distance information to the subject.
  3. 前記比較は、前記処理対象画像をリサイズしたリサイズ画像を用いて行うことを特徴とする請求項1または請求項2に記載の画像の特徴部分抽出方法。 The comparison is characteristic portion extracting method of an image according to claim 1 or claim 2, characterized in that using the resized image by resizing the image to be processed.
  4. 前記比較は、決まった大きさの特徴部分画像に対応する前記照合データを用い、前記リサイズ画像の大きさを変化させて行うことを特徴とする請求項3に記載の画像の特徴部分抽出方法。 The comparison, the use of a verification data, characteristic portion extracting method of an image according to claim 3, characterized in that by changing the size of the resized image that corresponds to the fixed size of the characteristic portion images.
  5. 前記比較は、前記リサイズ画像の大きさを固定し前記特徴部分画像の大きさを変化させた前記照合データを用いて行うことを特徴とする請求項3に記載の画像の特徴部分抽出方法。 The comparison is characteristic portion extracting method of an image according to claim 3, characterized in that by using the verification data obtained by changing the size of the fixed above wherein the partial image the size of the resized image.
  6. 前記照合データは、前記特徴部分画像のテンプレート画像データであることを特徴とする請求項1乃至請求項5のいずれかに記載の画像の特徴部分抽出方法。 The verification data, characteristic portion extracting method of an image according to any one of claims 1 to 5, characterized in that a template image data of said characteristic portion images.
  7. 前記照合データは、前記特徴部分画像の特徴量を数値化したデータであることを特徴とする請求項1乃至請求項5のいずれかに記載の画像の特徴部分抽出方法。 The verification data, characteristic portion extracting method of an image according to any one of claims 1 to 5, characterized in that the data obtained by digitizing a characteristic quantity of the characteristic part image.
  8. 前記照合データは、前記特徴部分画像の特徴量を抽出するルールを記述したデータで構成されることを特徴とする請求項1乃至請求項5のいずれかに記載の画像の特徴部分抽出方法。 The verification data, characteristic portion extracting method of an image according to any one of claims 1 to 5, characterized in that it is composed of data describing the rules for extracting a feature value of the feature partial image.
  9. 請求項1乃至請求項8のいずれかに記載の画像の特徴部分抽出方法を実行する特徴部分抽出プログラムであって、前記処理対象画像の大きさに対する前記特徴部分画像の大きさの範囲を該処理対象画像が撮像されたときの被写体までの距離情報に基づいて限定し前記切出画像の大きさを制限するステップを備えることを特徴とする特徴部分抽出プログラム。 A preceding claims wherein portion extraction program for executing a characteristic portion extracting method of an image according to claim 8, wherein processing the size range of the characteristic part image to the size of the processing target image characteristic portion extracting program target image, characterized in that it comprises the step of limiting the magnitude of limited to the clipped images based on the distance information to the object when it is imaged.
  10. 請求項9に記載の特徴部分抽出プログラムを搭載し、該特徴部分抽出プログラムが前記ステップを実行するときに使用する前記距離情報は、前記処理対象画像にタグ情報として付加されている距離情報を用いることを特徴とする画像処理装置。 Equipped with a feature portion extraction program according to claim 9, wherein the distance information which the feature portion extracting program uses when performing the step uses the distance information added as the tag information to the processing target image the image processing apparatus characterized by.
  11. 請求項9に記載の特徴部分抽出プログラムと、該特徴部分抽出プログラムの前記ステップの実行時に必要となる前記距離情報を求める手段とを備えることを特徴とする撮像装置。 A characteristic portion extraction program according to claim 9, the imaging apparatus comprising: a means for determining the distance information required during execution of the steps of the characterizing portion extraction program.
  12. 前記手段は、測距センサ、撮影レンズを被写体に合焦させるときのモータ駆動パルス数の計数手段、撮影レンズの焦点距離情報を求める手段、人物撮影モード,風景撮影モード,マクロ撮影モード等の撮影モードから被写体までの距離を推定する手段、撮影レンズの焦点距離から被写体までの距離を推定する手段のいずれかを含むことを特徴とする請求項11に記載の撮像装置。 Said means, distance measuring sensor, the motor driving pulse number counting unit when focusing the photographing lens to the object, means for obtaining focal length information of the photographing lens, the person shooting mode, landscape shooting mode, shooting such as macro shooting mode means for estimating the distance from the mode to the object, an imaging apparatus according to claim 11, characterized in that it comprises either a means for estimating the distance from the focal length of the taking lens to the subject.
JP2004076073A 2003-04-14 2004-03-17 Characteristic portion of the image-extraction methods and feature portion extraction program, and an imaging device and the image processing apparatus Active JP4338560B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003109178 2003-04-14
JP2004076073A JP4338560B2 (en) 2003-04-14 2004-03-17 Characteristic portion of the image-extraction methods and feature portion extraction program, and an imaging device and the image processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004076073A JP4338560B2 (en) 2003-04-14 2004-03-17 Characteristic portion of the image-extraction methods and feature portion extraction program, and an imaging device and the image processing apparatus
US10822003 US20040228505A1 (en) 2003-04-14 2004-04-12 Image characteristic portion extraction method, computer readable medium, and data collection and processing device

Publications (2)

Publication Number Publication Date
JP2004334836A true true JP2004334836A (en) 2004-11-25
JP4338560B2 JP4338560B2 (en) 2009-10-07

Family

ID=33513131

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004076073A Active JP4338560B2 (en) 2003-04-14 2004-03-17 Characteristic portion of the image-extraction methods and feature portion extraction program, and an imaging device and the image processing apparatus

Country Status (1)

Country Link
JP (1) JP4338560B2 (en)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006157429A (en) * 2004-11-29 2006-06-15 Fuji Photo Film Co Ltd Moving image recorder and moving image printer
JP2007013774A (en) * 2005-07-01 2007-01-18 Toyota Central Res & Dev Lab Inc Apparatus for searching object
JP2007047975A (en) * 2005-08-09 2007-02-22 Fujifilm Corp Method and device for detecting multiple objects of digital image, and program
JP2007047965A (en) * 2005-08-09 2007-02-22 Fujifilm Corp Method and device for detecting object of digital image, and program
JP2007104235A (en) * 2005-10-04 2007-04-19 Sony Corp Imaging apparatus, control method thereof, and computer program
KR100737974B1 (en) 2005-07-15 2007-07-13 황후 Image extraction combination system and the method, And the image search method which uses it
JP2007265149A (en) * 2006-03-29 2007-10-11 Sony Corp Image processor, image processing method and imaging device
JP2007265390A (en) * 2006-02-28 2007-10-11 Sanyo Electric Co Ltd Apparatus for detecting object
JP2007265150A (en) * 2006-03-29 2007-10-11 Sony Corp Image processor, image processing method and imaging device
JP2008109315A (en) * 2006-10-24 2008-05-08 Canon Inc Imaging device, control method therefor, program, and storage medium
JP2008236276A (en) * 2007-03-20 2008-10-02 Hitachi Ltd Camera apparatus
JP2008306765A (en) * 2008-09-03 2008-12-18 Canon Inc Image pickup device
CN102004918A (en) * 2009-09-02 2011-04-06 索尼公司 Image processing apparatus, image processing method, program, and electronic device
US8005271B2 (en) 2007-06-18 2011-08-23 Fujifilm Corporation Face detection method and digital camera
US8019129B2 (en) 2007-05-18 2011-09-13 Casio Computer Co., Ltd. Image pickup device, face detection method, and computer-readable recording medium
US8077216B2 (en) 2007-05-18 2011-12-13 Casio Computer Co., Ltd. Image pickup apparatus with a human face detecting function, method and program product for detecting a human face
US8085997B2 (en) 2007-11-20 2011-12-27 Fujifilm Corporation Imaging apparatus and imaging method
US8213720B2 (en) 2007-09-28 2012-07-03 Fujifilm Corporation System and method for determining chin position in a digital image
EP2482248A2 (en) 2011-02-01 2012-08-01 Fujifilm Corporation Image processing device, three-dimensional image printing system, and image processing method and program
US8363909B2 (en) 2007-03-20 2013-01-29 Ricoh Company, Limited Image processing apparatus, image processing method, and computer program product
US8654195B2 (en) 2009-11-13 2014-02-18 Fujifilm Corporation Distance measuring apparatus, distance measuring method, distance measuring program, distance measuring system, and image pickup apparatus
JP2014134856A (en) * 2013-01-08 2014-07-24 Nec Corp Subject identification device, subject identification method, and subject identification program
JP2014142832A (en) * 2013-01-24 2014-08-07 Canon Inc Image processing apparatus, control method of image processing apparatus, and program

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7734141B2 (en) 2004-11-29 2010-06-08 Fujifilm Corporation Video recording apparatus and video printing apparatus
JP2006157429A (en) * 2004-11-29 2006-06-15 Fuji Photo Film Co Ltd Moving image recorder and moving image printer
JP2007013774A (en) * 2005-07-01 2007-01-18 Toyota Central Res & Dev Lab Inc Apparatus for searching object
JP4723934B2 (en) * 2005-07-01 2011-07-13 トヨタ自動車株式会社 Object search device
KR100737974B1 (en) 2005-07-15 2007-07-13 황후 Image extraction combination system and the method, And the image search method which uses it
JP2007047975A (en) * 2005-08-09 2007-02-22 Fujifilm Corp Method and device for detecting multiple objects of digital image, and program
JP2007047965A (en) * 2005-08-09 2007-02-22 Fujifilm Corp Method and device for detecting object of digital image, and program
JP4588575B2 (en) * 2005-08-09 2010-12-01 富士フイルム株式会社 Multiple object detecting method and apparatus and a program for digital image
JP4708909B2 (en) * 2005-08-09 2011-06-22 富士フイルム株式会社 Digital image object detecting method, apparatus, and program
JP4730044B2 (en) * 2005-10-04 2011-07-20 ソニー株式会社 Imaging device, and imaging apparatus control method, and computer program
JP2007104235A (en) * 2005-10-04 2007-04-19 Sony Corp Imaging apparatus, control method thereof, and computer program
US7974441B2 (en) 2006-02-28 2011-07-05 Sanyo Electric Co., Ltd. Object detection apparatus for detecting a specific object in an input image
JP2007265390A (en) * 2006-02-28 2007-10-11 Sanyo Electric Co Ltd Apparatus for detecting object
JP4540661B2 (en) * 2006-02-28 2010-09-08 三洋電機株式会社 Object detecting device
US8126219B2 (en) 2006-03-29 2012-02-28 Sony Corporation Image processing apparatus, image processing method, and imaging apparatus
JP2007265150A (en) * 2006-03-29 2007-10-11 Sony Corp Image processor, image processing method and imaging device
JP2007265149A (en) * 2006-03-29 2007-10-11 Sony Corp Image processor, image processing method and imaging device
JP4539597B2 (en) * 2006-03-29 2010-09-08 ソニー株式会社 Image processing apparatus, image processing method and an imaging apparatus
JP2008109315A (en) * 2006-10-24 2008-05-08 Canon Inc Imaging device, control method therefor, program, and storage medium
JP2008236276A (en) * 2007-03-20 2008-10-02 Hitachi Ltd Camera apparatus
US8363909B2 (en) 2007-03-20 2013-01-29 Ricoh Company, Limited Image processing apparatus, image processing method, and computer program product
US8111881B2 (en) 2007-05-18 2012-02-07 Casio Computer Co., Ltd. Image pickup device, face detection method, and computer-readable recording medium
US8019129B2 (en) 2007-05-18 2011-09-13 Casio Computer Co., Ltd. Image pickup device, face detection method, and computer-readable recording medium
US8077216B2 (en) 2007-05-18 2011-12-13 Casio Computer Co., Ltd. Image pickup apparatus with a human face detecting function, method and program product for detecting a human face
US8340369B2 (en) 2007-06-18 2012-12-25 Fujifilm Corporation Face detection method and digital camera
US8005271B2 (en) 2007-06-18 2011-08-23 Fujifilm Corporation Face detection method and digital camera
US8213720B2 (en) 2007-09-28 2012-07-03 Fujifilm Corporation System and method for determining chin position in a digital image
US8085997B2 (en) 2007-11-20 2011-12-27 Fujifilm Corporation Imaging apparatus and imaging method
JP4678885B2 (en) * 2008-09-03 2011-04-27 キヤノン株式会社 Imaging device
JP2008306765A (en) * 2008-09-03 2008-12-18 Canon Inc Image pickup device
CN102004918A (en) * 2009-09-02 2011-04-06 索尼公司 Image processing apparatus, image processing method, program, and electronic device
US8654195B2 (en) 2009-11-13 2014-02-18 Fujifilm Corporation Distance measuring apparatus, distance measuring method, distance measuring program, distance measuring system, and image pickup apparatus
EP2482248A2 (en) 2011-02-01 2012-08-01 Fujifilm Corporation Image processing device, three-dimensional image printing system, and image processing method and program
US8891853B2 (en) 2011-02-01 2014-11-18 Fujifilm Corporation Image processing device, three-dimensional image printing system, and image processing method and program
JP2014134856A (en) * 2013-01-08 2014-07-24 Nec Corp Subject identification device, subject identification method, and subject identification program
JP2014142832A (en) * 2013-01-24 2014-08-07 Canon Inc Image processing apparatus, control method of image processing apparatus, and program

Also Published As

Publication number Publication date Type
JP4338560B2 (en) 2009-10-07 grant

Similar Documents

Publication Publication Date Title
US7046924B2 (en) Method and computer program product for determining an area of importance in an image using eye monitoring information
US7206022B2 (en) Camera system with eye monitoring
US20090135269A1 (en) Electronic Camera and Image Processing Device
US7868922B2 (en) Foreground/background segmentation in digital images
US7630006B2 (en) Detecting red eye filter and apparatus using meta-data
US20070263997A1 (en) Focus adjustment method, focus adjustment apparatus, and control method thereof
US7403643B2 (en) Real-time face tracking in a digital image acquisition device
US20050088538A1 (en) Digital camera
US20050031224A1 (en) Detecting red eye filter and apparatus using meta-data
US20020150308A1 (en) Image processing method, and an apparatus provided with an image processing function
US7469055B2 (en) Real-time face tracking in a digital image acquisition device
US7916897B2 (en) Face tracking for controlling imaging parameters
US7620218B2 (en) Real-time face tracking with reference images
US20050219395A1 (en) Digital still camera and method of controlling same
US20080284900A1 (en) Digital camera
US20070030381A1 (en) Digital camera
JP2004320286A (en) Digital camera
US20060044422A1 (en) Image capture apparatus and control method therefor
US20090196466A1 (en) Face Detection in Mid-Shot Digital Images
JP2004320287A (en) Digital camera
JP2006211139A (en) Imaging apparatus
JP2008271240A (en) Imaging apparatus, image processing apparatus, imaging method, and image processing method
US20080013851A1 (en) Image pickup apparatus, control method therefor, and computer program
US20060291845A1 (en) Apparatus and method for deciding in-focus position of imaging lens
US20040228505A1 (en) Image characteristic portion extraction method, computer readable medium, and data collection and processing device

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060327

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060613

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061124

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071108

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071115

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090121

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090401

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090610

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090630

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120710

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120710

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130710

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250