JP2006259974A - Image-processing method and device - Google Patents

Image-processing method and device Download PDF

Info

Publication number
JP2006259974A
JP2006259974A JP2005074560A JP2005074560A JP2006259974A JP 2006259974 A JP2006259974 A JP 2006259974A JP 2005074560 A JP2005074560 A JP 2005074560A JP 2005074560 A JP2005074560 A JP 2005074560A JP 2006259974 A JP2006259974 A JP 2006259974A
Authority
JP
Japan
Prior art keywords
image
face
correction
color
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005074560A
Other languages
Japanese (ja)
Inventor
Yosuke Kato
陽介 加藤
Original Assignee
Fuji Photo Film Co Ltd
富士写真フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd, 富士写真フイルム株式会社 filed Critical Fuji Photo Film Co Ltd
Priority to JP2005074560A priority Critical patent/JP2006259974A/en
Publication of JP2006259974A publication Critical patent/JP2006259974A/en
Application status is Withdrawn legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image-processing method and device which can improve face extraction performance and density correction performance by extracting a face without using color information. <P>SOLUTION: The image-processing method has; a face extraction processing process which extracts the face area of a person, who is photographed in a color image, by using characteristic quantity relating to a density gradient of the color image; and a density correction process which corrects the density of the color image so that the density of the extracted face area may be in a prescribed range of density. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、画像の階調条件や露光条件などを自動設定するための画像処理方法および装置に関し、詳しくは、読み取り画像、特に粗く読み取られたプレスキャン画像から、設定された条件で処理された画像を得るために画像を変換する変換関数やルックアップテーブル(LUT)や変換マトリックスなどの写像を自動的に演算する画像処理方法および装置に関する。 The present invention relates to an image processing method and apparatus for automatically setting and tone conditions and exposure conditions of the image, details, read image, in particular roughened read pre-scan images, processed by the conditions set image to an image processing method and apparatus for automatically calculating a mapping such conversion function or a look-up table (LUT) or conversion matrix for converting the image to be obtained.

従来より、写真焼付装置、複写装置、プルーフプリンタや印刷制版装置などの画像形成装置においては、ネガフィルムやリバーサルフィルムなどの透過原稿や反射原稿などの原稿画像を直接出力媒体、例えば感光材料に投影して、いわゆる面露光を行って焼き付け、現像処理して、写真画像、複写画像、プルーフ(プレプルーフ)や刷版として再生する際に、露光焼付前に予め、原稿画像をCCDなどのイメージセンサによって粗く読み取り、読み取った画像、いわゆるプレスキャン画像から原稿画像を露光焼付する場合の出力媒体に合わせた階調条件や露光条件を決定することが行われていた。 Conventionally, a photographic printing apparatus, a copying apparatus, an image forming apparatus such as a proof printer or printing system plate apparatus, an original image directly output medium such as transparent original and a reflection original, such as a negative film or a reversal film, for example, projected onto the photosensitive material and baking performed so surface exposed and developed, a photographic image, a copy image, an image sensor of the proof when reproducing the (pre proof) and plate, in advance before the exposure baking, a document image such as a CCD reading roughened by, read image to determine the grayscale conditions and exposure conditions tailored to the output medium when exposed baking a document image from the so-called pre-scan image has been performed.
しかしながら、このように面露光を行う従来の画像形成装置においては、得られた露光条件に対して調整できるパラメータは、限られているし、原稿画像全面に対して一律に調整する必要があるため、調整にも限界があるし、原稿画像全面に適正な調整を行うのは極めて困難である。 However, in the conventional image forming apparatus performing such a surface exposure, the parameters that can be adjusted on the obtained exposure conditions, to have a limited, since it is necessary to adjust uniformly to the original image over the entire surface , it is also limited to the adjustment, perform an appropriate adjustment to the original image over the entire surface is very difficult.

これに対し、近年では、上述の画像形成装置においても、原稿画像をCCDなどの固体撮像素子を持つスキャナ等を用いて光電的に読み取り、デジタル画像信号化して種々の画像処理を行って、感光材料に記録するのに最適な画像データとし、この画像データに応じて変調された光ビーム、例えばレーザビームなどによって、感光材料を走査露光して、感光材料に原稿画像を潜像として記録し、現像処理などを行って再生画像を得ることが可能となっている。 In contrast, in recent years, even in the image forming apparatus described above, the reading photoelectrically an original image using a scanner or the like having a solid-state imaging device such as CCD, performs various image processing to the digital image signals of the photosensitive and optimum image data to be recorded on the material, the light beam modulated in accordance with the image data, by for example a laser beam, etc., a photosensitive material by scanning exposure, the document image is recorded as a latent image on a photosensitive material, performing such development process it is possible to obtain a reproduced image. このような画像信号のデジタル処理が可能な画像形成装置においては、読取画像の階調条件や露光条件を原稿画像の全面、または一部の領域について、あるいは各画素について、各画素毎に調整することができるので、原稿画像全面に適正かつ微妙な調整を行うことができる。 In digital processing an image forming apparatus such image signals, the entire surface of the gradation conditions and exposure conditions a document image of the read image or the part of the region, or for each pixel is adjusted for each pixel it is possible, it is possible to perform appropriate and subtle adjustments to the original image over the entire surface.

このようなデジタル処理を行う画像形成装置においても、スキャナ等の画像読取装置によって読み取られた原稿画像を、入力(読み取り対象)画像の階調条件や露光条件等のばらつきにもかかわらず、出力媒体上に最適に再現するための階調条件や露光条件などの画像処理条件を、例えば変換関数、LUTや変換マトリックスなどの写像として、読み取り画像、特にプレスキャン画像から自動的に設定し、設定された写像を用いて露光用に微細に読み取られた画像データ、すなわちファインスキャン画像データを変換して画像処理された画像データとする画像処理が行われている。 Also in the image forming apparatus for performing such a digital process, a document image read by the image reading apparatus such as a scanner, an input despite variations in such gradation conditions (read target) image and the exposure conditions, the output medium the image processing conditions such as gradation conditions and exposure conditions for optimal reproduced above, for example the conversion function, as mapping such LUT and transformation matrix, the read image, automatically sets especially prescanned image, is set the image data read in the fine for exposure using a mapping, that is, the image processing for the fine scan image data by converting the image-processed image data has been performed with.

このようなプレスキャン画像データに基づいてファインスキャン画像データを変換する変換関数やLUTや変換マトリックスなどの写像を自動的に演算する処理は、プレスキャン画像データから濃度ヒストグラムを作成し、ハイライトやシャドーの濃度を自動設定するヒストグラム処理や、プレスキャン画像データを用いて原稿画像の領域分割や領域検索などを行い、分割された領域や原稿画像全面の代表値や平均値、例えばLATD(大面積透過濃度)等の画像特徴量を抽出したり、特定の画像特徴量を持つ領域を検索して抽出する領域処理などによって行われる。 Process for automatically calculating a mapping such as transformation function or LUT or conversion matrix for converting the fine scan image data based on such a pre-scan image data, creates a density histogram from the prescanned image data, Ya highlights histogram processing for automatically setting the concentration of the shadow, performs such area division and area retrieval of the document image by using the prescanned image data, the representative value and the average value of the divided area and the original image over the entire surface, for example, LATD (large area and extract an image feature amount of transmission density), etc., are carried out by such regions process searches and extracts a region having a specific image feature amount.

図25に、デジタル処理を行う画像形成装置における画像処理フローの一例を示す。 Figure 25 shows an example of an image processing flow in the image forming apparatus that performs digital processing. 図25には、カラーネガフィルムを読み取って得られたプレスキャン画像データに基づく画像処理の工程として、画像解析工程、階調補正工程および類似駒処理工程が示されている。 Figure 25 is a process of image processing based on the pre-scan image data obtained by reading the color negative film, the image analysis process, the tone correction process and similar piece processing steps is shown. 以下に各処理工程の概略を説明する。 The outline of each processing step will be described below.

まず、画像解析工程では、入力画像データ(プレスキャン画像データ)に対し画像解析を行う。 First, in the image analysis step, the image analysis with respect to the input image data (pre-scan image data). 具体的には、プレスキャン画像データに間引き処理を施して低解像度のデータとした後、1件のネガから取得した複数の画像の画像データから低彩度画素を抽出してR,G,Bの3次元テーブルを作成する。 Specifically, after a prescan image data to thinning processing applied to the low resolution data, R extracts the low-saturation pixel from the image data of a plurality of images obtained from 1 negative, G, B to create a three-dimensional table. このテーブルは、グレーバランス補正で使用される。 This table is used by the gray balance correction.

次に、階調補正工程では、入力画像データに対し、件グレーバランス補正(グレーバランス補正)、駒グレーバランス補正(カラーバランス補正)、アンダー/オーバー補正、顔抽出処理、濃度補正およびコントラスト補正を行うことにより、画像の階調補正を行う。 Next, the gradation correction process, input image data, matter gray balance correction (gray balance correction), frame gray balance correction (color balance correction), under / over correction, face extraction processing, density correction, and contrast correction by performing performs gradation correction of an image.
件グレーバランス補正(グレーバランス補正)工程では、先の画像解析によって作成されたテーブルから、そのテーブルの作成に用いられた複数の画像の画像データの、R,G,B各色の濃度レンジ範囲の領域のデータを用いてグレー軸を最適近似して、グレーバランス補正量を算出する。 The matter gray balance correction (gray balance correction) process, from the table created by the previous image analysis, image data of a plurality of images used to create the table, R, G, B of each color density range range optimally approximate the gray axis using the data area, calculating a gray balance correction amount. このグレーバランス補正量は、1件のネガに撮影された複数の画像の画像データに対し、フィルム濃度の影響を差し引いてグレーの画像がグレーで表されるように補正するためのものであり、このグレーバランス補正量に基づいて、END(Equivalent Neutral Density)−LUT(等価中性濃度テーブル)が算出される。 The gray balance correction amount, the image data of a plurality of images taken in 1 negative, provided for correcting such a gray image by subtracting the influence of film density is represented by a gray, based on this gray balance correction amount, END (equivalent neutral density) -LUT (equivalent neutral density table) it is calculated. なお、このとき、1件のネガフィルムに撮影された画像の駒数が少ないときは、END−LUTが極端に外れた不適正なテーブルになるのを抑制するために、グレー軸の傾き補正を制限し、オフセット補正のみとする。 At this time, when the number of frames of images captured on 1 of the negative film is small, in order to suppress from becoming improper table END-LUT is extremely deviated, the inclination correction of the gray axis limited to, and only the offset correction.

駒グレーバランス補正(カラーバランス補正)工程では、1駒の画像の解析結果と上記グレー軸を評価して、その駒の画像に対する色温度補正量やフェリア補正量を算出する。 The frame gray balance correction (color balance correction) process evaluates the analysis result and the gray axis of one frame of the image, calculates the color temperature correction amount and Feria correction amount for the image of that frame. これにより、それぞれの駒の画像について、高色温度(日陰)シーンおよび異種光源シーンが補正される。 Thus, the image of each frame, a high color temperature (shade) scene and a heterologous source scene is corrected.
アンダー/オーバー補正工程では、画像のアンダー領域およびオーバー領域の階調をネガフィルムの階調特性を考慮して補正するための補正テーブルを算出する。 The under / over correction process, the tone of the under region and over a region of the image to calculate a correction table to correct in view of the gradation characteristic of the negative film.
顔抽出処理工程では、カラーバランス補正が行われた画像データの肌色情報に基づいて、被写体である人物の顔領域を抽出する。 The face extraction processing step, based on the skin color information of the image data color balance correction is performed, extracts a face region of a subject person.
濃度補正工程では、顔抽出により抽出した顔領域の濃度が所定の濃度範囲となるように、濃度補正量を算出する。 The density correction process, so that the concentration of the face region extracted by the face extraction a predetermined concentration range, calculates a density correction amount.
そして、コントラスト補正工程では、ハイライトおよびシャドーの濃度値を決定し、グレー軸の傾き補正量を算出する。 Then, the contrast correction process is to determine the concentration values ​​of highlight and shadow, it calculates an inclination correction value of the gray axis.
以上により算出された各補正量に基づいて、グレーバランスLUTが調整される。 Based on the correction amount calculated by the above, the gray balance LUT is adjusted.

次に、類似駒処理工程では、処理対象駒とその前後2駒(計5駒)の類似度(類似度評価値)によってカラーバランス補正量の重み付け平均を求め、カラーバランス調整量、濃度調整量およびコントラスト調整量をそれぞれ算出し、各調整量に基づいて階調補正LUTを調整する。 Next, in the similar piece processing step, the processing object frame and its two front and rear frames (five frames) similarity calculated a weighted average of the color balance correction amount by (similarity evaluation value), the color balance adjustment amount, concentration adjustment amount and contrast adjustment amount was calculated, the tone correction adjustment LUT based on the adjustment amount.

ところで、一般に、写真画像等の画像濃度が適正かどうかの判断は、画像全体の濃度よりは、むしろ主要被写体の濃度によりなされるため、主要被写体が人物である場合には、その顔領域を検出して、顔の濃度が適正になるように画像全体の濃度を補正することが重要である。 Incidentally, in general, the image density is proper determination of whether the photographic image or the like, because from the density of the entire image, made by the concentration of rather the main object, if the main subject is a person, detects the face region to, it is important to correct the density of the entire image so that the concentration of the face becomes proper.
しかし、上記のように、肌色情報を用いて顔抽出処理を行う場合、顔抽出処理に先立って行われるカラーバランス補正(駒グレーバランス補正)が適正に行われていないと、正確な肌色情報が得られないため、顔領域の誤検出や未検出(検出漏れ)を招き、その結果、適正な濃度補正を行うことができず、補正性能を低下させてしまうという問題があった。 However, as described above, when performing the face extraction process using the skin color information, the color balance correction performed prior to the face extraction processing (frame gray balance correction) is not performed properly, accurate skin color information because not obtained, it leads to erroneous detection or non-detection of the face area (detection omission), as a result, can not be performed appropriate density correction, there is a problem that reduces the correction performance.

また、上記のように、カラーバランス補正として、高色温度(日陰)シーンおよび異種光源シーンという限られたシーンに対する補正のみを行う方法では、その他の種類のシーンに対しては適切な補正を行うことはできない。 Further, as described above, a color balance correction, the method of correcting only for high color temperature (shade) scene and a heterologous source was limited in that scene scene, make appropriate correction for other types of scenes It is not possible.
さらに、上記の高色温度シーンおよび異種光源シーンの補正は、ある画像特徴量の値に閾値を設け、それを基準に高色温度シーンおよび異種光源シーンを判別し、その画像特徴量に基づき高色温度シーン補正および異種光源シーン補正の補正量を決定することにより行われるが、シーンが極端な色の偏りを持っている場合(シーンの大部分に芝生が撮影されたG味が支配的な画像などの場合)には、その画像特徴量が、色の偏りによるものであるにもかかわらず、光源によるものと誤認してしまうこともあり、それにより、カラーバランス補正をすべきでない画像に対して補正を行ってカラーフェリアを生じてしまい、その結果、再生画像における主要被写体の顔の色や濃度が不適正になってしまうことがあった。 Furthermore, the correction of the high color temperature scenes and heterogeneous source scene described above, the threshold is the value of an image feature amount, it determines the high color temperature scenes and different light scene basis, based on the image feature quantity High is performed by determining the amount of correction of the color temperature scene correction and heterogeneous source scene correction, scene is dominant G taste lawn most taken when (scene have extreme color bias in the case of such an image), the image feature amount, even though it is due to color shift, sometimes erroneously recognized to be caused by a light source, whereby an image is not to be a color balance correction will occur a color failure by performing the correction for, as a result, there is the color and density of the face of the main subject in the reproduced image becomes inappropriate.

本発明の目的は、上記従来技術の問題点を解消し、色情報を用いずに顔抽出行うことにより、顔抽出性能および濃度補正性能を向上させることのできる画像処理方法および装置を提供することにある。 An object of the present invention is to solve the problems of the prior art, by performing face extraction without using the color information, to provide an image processing method and apparatus capable of improving the face extraction performance and density correction performance It is in.
また、本発明の目的は、色情報を用いない顔抽出処理によって高精度で抽出した顔情報を、カラーバランス補正処理に利用することにより、顔領域の色が最適になるようにカラーバランス補正を行うことができる画像処理方法および装置を提供することにある。 Another object of the present invention, the extracted face information with high accuracy by the face extraction processing without using color information, by using the color balance correction processing, a color balance correction as a color of the face area is optimum and an image processing method and apparatus capable of performing.

また、本発明のさらなる目的は、上記に加えて、カラーバランス補正方法として、比較的少ない演算量で、高速処理が可能でありながら、シーンに依存するカラーバランスの補正(以下、ホワイトバランス補正と呼ぶ)を高精度で自動的に行うことができ、カラーフェリアの発生を抑制でき、ホワイトバランス補正性能の更なる向上およびロバスト性の向上を実現できるホワイトバランス補正方法を採用すること、あるいは、濃度補正方法として、比較的少ない演算量で、高速処理が可能でありながら、濃度補正を高精度で自動的に行うことができる濃度補正方法を採用することにより、画像処理による補正性能をより一層向上させることのできる画像処理方法および装置を提供することにある。 Another object of the present invention, in addition to the above, as a color balance correction process, a relatively small amount of computation, while being high-speed processing is possible, the correction of color balance that depends on the scene (hereinafter, the white balance correction hereinafter) can be automatically performed with high accuracy, it is possible to suppress the generation of color failure can employ the white balance correction method can achieve further improvement of the improvement and robustness of the white balance correction performance, or concentration as a method for correcting a relatively small amount of computation, while being high-speed processing is possible, by adopting a density correction method capable of automatically performing the density correction with high accuracy, further improve the correction performance by the image processing and an image processing method and apparatus capable of.

上記課題を解決するために、本発明は、入力されたカラー画像の画像データを用いて、前記カラー画像を変換するための写像を自動的に演算する画像処理方法であって、 In order to solve the above problems, the present invention uses the image data of the input color image, an image processing method for automatically calculating a mapping for converting the color image,
前記カラー画像の濃度勾配に関する特徴量を用いて前記カラー画像に撮影された人物の顔領域を抽出する顔抽出処理工程と、 A face extraction processing step of extracting a face region of a person the photographed on the color image using a feature quantity relating to the concentration gradient of the color image,
抽出された前記顔領域の濃度を所定の濃度範囲とするように前記カラー画像の濃度を補正する濃度補正工程と、を有することを特徴とする画像処理方法を提供するものである。 The extracted concentration of the face region is to provide an image processing method characterized by having a density correcting step of correcting the density of the color image to a predetermined concentration range.

ここで、前記顔抽出処理工程の後であって、前記濃度補正工程の前に、抽出された前記顔領域の色を所定の色範囲とするように前記カラー画像のカラーバランスを補正するカラーバランス補正工程をさらに有するのが好ましい。 Here, even after the face extraction process, the color balance to correct the color balance of the color image to a the predetermined color range color before, it extracted the face regions of the density correction step preferably further comprises a correction step.

また、前記カラー画像の画像データは、カラーネガフィルムに撮影された画像を光電的に読み取ることにより得られたものであり、 The image data of the color image has been obtained by reading the image recorded on a color negative film photoelectrically,
前記カラーバランス補正工程の前に、1件の前記ネガフィルムから取得された複数の前記カラー画像におけるグレーバランスを補正するグレーバランス補正工程を有するのが好ましい。 Wherein prior to the color balance correction process, preferably has a gray balance correction step of correcting the gray balance in the plurality of the color images obtained from said negative film 1.

また、前記グレーバランス補正工程および前記カラーバランス補正工程の後に、前記ネガフィルムの階調特性に基づいて前記カラー画像のアンダー領域およびオーバー領域の階調を補正するアンダー/オーバー補正工程と、 Further, after the gray balance correction step and the color balance correction process, and the under / over correction step of correcting the gradation of the under region and over the area of ​​the color image based on the tone characteristics of the negative film,
前記アンダー/オーバー補正工程および前記濃度補正工程の後に、前記カラー画像のコントラストを補正するコントラスト補正工程と、をさらに有するのが好ましい。 After the under / over correction step and the density correction process, a contrast correction step of correcting the contrast of the color image, preferably further comprises a.

また、前記カラー画像について、前記ネガフィルムにおける前記カラー画像の前後それぞれ1駒以上のカラー画像との類似度を評価し、その類似度評価値に基づいて、前記グレーバランス補正、前記濃度補正および前記コントラスト補正の少なくとも1つを調整する類似駒処理工程をさらに有するのが好ましい。 As for the color image, wherein the negative film to evaluate the similarity between each one frame or more color image before and after the color image, based on the similarity evaluation value, the gray balance correction, the density correction and the preferably further it has a similar piece processing step of adjusting at least one of the contrast correction.

また、前記顔抽出処理工程は、所定対象物上の、各々の位置および/または互いの位置関係によって前記所定対象物の形状を示すことができる複数のランドマークの位置を、画像に含まれる前記対象物から検出するのに際し、予め取得された、前記所定対象物の平均形状を示す前記複数のランドマークの各々の位置を、前記画像に含まれる前記対象物における前記複数の前記ランドマークの夫々の仮位置とし、 Also, the face extraction processing step, on a given object, the position of the plurality of landmarks may be the position and / or mutual positional relationship between each showing a shape of the predetermined object contained in the image the upon detecting from the object, obtained in advance, the position of each of said plurality of landmarks indicating the average shape of the predetermined object, the plurality of the landmark in the object included in the image, respectively as a provisional position of,
1つの前記仮位置を含む所定の範囲内の各画素に対して、該仮位置が対応するランドマークに対して定義された、該ランドマークを識別するための特徴量を算出する共に、該特徴量に基づいて前記各画素の夫々が、該ランドマークを示す画素であるか否かを識別することによって前記各画素に該ランドマークを示す画素が含まれるか否かを判定し、該判定が肯定された場合、該ランドマークを示す画素として識別された前記画素の位置に前記仮位置が近づくように前記仮位置を移動させる処理を、各前記仮位置毎に行い、 For each pixel within a predetermined range including the one of said temporary position, provisional position is defined for the corresponding landmarks, together to calculate a feature amount for identifying the landmarks, the characteristic each of the pixels based on the amount, it is determined whether the pixel indicating the landmark is included in the respective pixels by identifying whether the pixel indicating the landmark is the determination If so the, the processing of moving the temporary position as the temporary position approaches the position of the pixel that is identified as a pixel showing the landmark performed for each said temporary position,
各前記仮位置が移動された後の夫々の位置を、該仮位置が対応する前記ランドマークの位置として取得する画像処理方法において、 The position of each of after each said temporary position is moved, the image processing method of acquiring a position of said landmark provisional position corresponding,
前記画素が該当するランドマークを示す画像であるか否かの識別を、複数の前記対象物のサンプル画像の夫々における、該ランドマークであることが分かっている位置の前記特徴量と、該ランドマークではないことが分かっている位置の前記特徴量とを、マシンラーニングの手法により予め学習することにより得られた前記特徴量に対応する識別条件に基づいて行うこと、によって顔領域を識別するものであるのが好ましい。 An identification of whether an image showing a landmark which the pixel corresponds, in each of the sample images of a plurality of said objects, said feature amount of the position that is known to be the landmark, the land and the feature amount of the position that has been found to be not a mark, be based on the corresponding identification conditions on the feature amount obtained by learning in advance by the method of machine learning, it identifies the face region by in it is preferred.

また、前記カラーバランス補正工程は、入力されたカラー画像の画像データを用いて、前記カラー画像について少なくとも2つの特徴量を算出し、 Moreover, the color balance correction process uses the image data of the input color image, and calculating at least two characteristic amounts for the color image,
前記算出した特徴量に基づいて、前記カラー画像を、ホワイトバランス補正値が既知である複数の画像の分類に応じて予め用意された複数のクラスタの1つに分類し、 Based on the feature amount the calculated, the color image are classified into one of a plurality of clusters prepared in advance in accordance with the classification of the plurality of image white balance correction value is known,
前記カラー画像の少なくとも2色の色成分について、前記分類されたクラスタに予め用意された前記特徴量の非標準化係数および前記算出された特徴量を用いて重回帰分析を行うことにより、ホワイトバランス補正値の予測値を算出し、 Wherein for at least two colors of color components of a color image, by performing a multiple regression analysis using non-standardized coefficients and said calculated feature quantity of previously prepared the feature amount in the classified clusters, white balance correction to calculate the predicted value of the value,
前記算出した予測値をホワイトバランス補正値として、前記カラー画像の前記少なくとも2色の色成分をそれぞれ補正することにより、前記カラー画像のホワイトバランスを補正することを特徴とするホワイトバランス補正方法によって行うのが好ましい。 The predictive value the calculated as white balance correction value by correcting each said at least two color components of said color image, performed by the white balance correction method characterized by correcting the white balance of the color image preference is.

また、前記濃度補正工程は、入力されたカラー画像の画像データを用いて、前記カラー画像について少なくとも2つの特徴量を算出し、 Furthermore, the density correction process uses the image data of the input color image, and calculating at least two characteristic amounts for the color image,
前記算出した特徴量に基づいて、前記カラー画像を、濃度補正値が既知である複数の画像の分類に応じて予め用意された複数のクラスタの1つに分類し、 Based on the feature amount the calculated, the color image are classified into one of a plurality of clusters which are prepared in advance according to the classification of a plurality of image density correction value is known,
前記カラー画像の濃度成分について、前記分類されたクラスタに予め用意された前記特徴量の非標準化係数および前記算出された特徴量を用いて重回帰分析を行うことにより、濃度補正値の予測値を算出し、 The density component of the color image, by performing a multiple regression analysis using non-standardized coefficients and said calculated feature quantity of the feature quantity prepared in advance to the classified clusters, the predicted value of the density correction value calculated,
前記算出した予測値を濃度補正値として、前記カラー画像の前記濃度成分を補正することにより、前記カラー画像の濃度を補正することを特徴とする濃度補正方法によって行うのが好ましい。 The predictive value the calculated as the density correction value, by correcting the density component of the color image, preferably carried out by the density correction method characterized by correcting the density of the color image.

また、上記課題を解決するために、本発明は、入力されたカラー画像の画像データを用いて、前記カラー画像を変換するための写像を自動的に演算する画像処理装置であって、 In order to solve the above problems, the present invention uses the image data of the input color image, an image processing apparatus for automatically calculating a mapping for converting the color image,
前記カラー画像の濃度勾配に関する特徴量を用いて前記カラー画像に撮影された人物の顔領域を抽出する顔抽出処理部、および、抽出された前記顔領域の濃度を所定の濃度範囲とするように前記カラー画像の濃度補正量を算出する濃度補正部を有する階調補正処理部と、 The face extraction processing unit by using the feature quantity relating to the concentration gradient of the color image to extract a face region of a person taken in the color image, and the extracted concentration of the face region to a predetermined concentration range a gradation correction processing unit having a density correction unit for calculating a density correction amount of the color image,
前記階調補正処理部によって算出された前記濃度補正量を用いて、前記カラー画像の画像データを変換するための前記写像を演算する変換写像作成部と、を有することを特徴とする画像処理装置を提供する。 Using the density correction amount calculated by the gradation correction processing unit, an image processing apparatus characterized by having a conversion mapping creation unit for calculating the mapping for converting the image data of the color image I will provide a.

ここで、本発明の画像処理装置は、上記いずれかの画像処理方法を実行するものであるのが好ましい。 Here, the image processing apparatus of the present invention is preferably intended to perform any of the above image processing method.

本発明は、色情報を用いずに、濃度勾配の情報によって顔抽出行い、グレーバランス補正やカラーバランス補正に先立って、これらの補正処理から独立して顔抽出処理を行う構成としたことにより、顔抽出性能を向上させることができるとともに、そのように抽出された顔情報を用いて濃度補正を行う構成としたことにより、濃度補正性能を向上させることができる。 The present invention, without using the color information, perform face extraction by information of the density gradient, prior to the gray balance correction and color balance correction, with the construction in which performs face extraction process independently of these correction, it is possible to improve the face extraction performance, with the construction in which the density correction using the extracted face information such, it is possible to improve the density correction performance.
また、上記のように抽出された顔情報を、カラーバランス補正処理に利用することにより、顔領域の色が最適になるようにカラーバランス補正を行うことができる。 Further, the extracted face information as described above, by utilizing the color balance correction processing, it is possible to perform color balance correction as the color of the face area is optimum.

さらに、上記に加えて、カラーバランス補正方法として、比較的少ない演算量で、高速処理が可能でありながら、シーンに依存するカラーバランスの補正(ホワイトバランス補正と呼ぶ)を高精度で自動的に行うことができ、カラーフェリアの発生を抑制でき、ホワイトバランス補正性能の更なる向上およびロバスト性の向上を実現できるホワイトバランス補正方法を採用すること、あるいは、濃度補正方法として、比較的少ない演算量で、高速処理が可能でありながら、濃度補正を高精度で自動的に行うことができる濃度補正方法を採用することにより、画像処理による補正性能をより一層向上させることができる。 Furthermore, in addition to the above, as a color balance correction process, a relatively small amount of computation, while being high-speed processing is possible, the correction of color balance that depends on the scene (referred to as white balance correction) automatically with high precision can be performed, it is possible to suppress the generation of color failure, it employs a white balance correction method that can achieve further improvement of the improvement and robustness of the white balance correction performance, or as a density correction method, a relatively small amount of operation in, yet high-speed processing is possible, by adopting a density correction method capable of automatically performing the density correction with high accuracy, the correction performance of the image processing can be further improved.

本発明に係る画像処理方法およびその方法を実施する画像処理装置を、添付の図面に示す好適実施例に基づいて以下に詳細に説明する。 An image processing apparatus that performs the image processing method and the method thereof according to the present invention will be described below in detail with reference to the preferred embodiments shown in the accompanying drawings.

図1は、本発明の画像処理方法を実行する本発明の画像処理装置の一実施形態の概略構成を示すブロック図である。 Figure 1 is a block diagram showing a schematic configuration of an embodiment of an image processing apparatus of the present invention for executing an image processing method of the present invention. また、図2は、図1の画像処理装置1において実行される本発明の画像処理方法の一実施形態を示すフロー図である。 2 is a flow diagram of one embodiment of an image processing method of the present invention executed in the image processing apparatus 1 of FIG. 1.
図1に示す画像処理装置1は、ネガフィルムに撮影されたカラー画像(原稿画像)を光電的に読み取って得られた画像データ(画像信号)に対してデジタル画像処理を施し、写真プリントやポストカードやその他の再生画像を作成する際の、画像処理条件の自動設定処理を行うものであり、デジタルフォトプリンタ等の画像処理装置内に設けられる。 The image processing apparatus 1 shown in Figure 1, performs digital image processing for a color image captured on the negative film (original image) the image data (image signal) obtained by reading photoelectrically the photographic print and post when creating cards or other of the reproduced image, which performs automatic setting processing of the image processing conditions, provided in the image processing apparatus such as a digital photo printer.

画像処理装置1は、ネガフィルムに撮影された画像をCCDなどのイメージセンサによって粗く読み取り(プレスキャン)、得られた画像データ(プレスキャン画像データ)を用いて画像処理条件の自動設定演算を行って、露光用に微細に読み取られた画像データ(ファインスキャン画像データ)を変換するための写像を算出するもので、画像解析処理部2と、階調補正処理部3と、類似駒補正処理部4と、変換写像作成部5と、変換写像6とを有している。 The image processing apparatus 1, by automatically setting operation of the image processing conditions using the read roughen the image recorded on the negative film by an image sensor such as a CCD (prescan), the obtained image data (pre-scan image data) Te, image data read in the fine for exposure calculates a mapping for converting (fine scan image data), an image analysis processing section 2, a gradation correction processing unit 3, similar piece correction processing unit 4, a conversion mapping preparation section 5, and a conversion map 6.

画像解析処理部2は、図2の処理フローにおける画像解析処理を実行する。 Image analysis processing section 2 performs the image analysis processing in the processing flow of FIG. 画像解析処理部2は、プレスキャン画像データに間引き処理を施して低解像度のデータとした後、1件のネガフィルムから取得した複数の画像の画像データから低彩度画素を抽出してR,G,Bの3次元テーブルTを作成する。 Image analysis processing section 2, after the pre-scan image data to thinning processing applied to the low resolution data, by extracting low-saturation pixel from the image data of a plurality of images obtained from 1 negative film R, G, creating a three-dimensional table T of B. 図3(a)は、このテーブルTを模式的に示す図である。 3 (a) is a diagram showing a table T schematically. テーブルTは、階調補正処理部3に送られてグレーバランス補正で使用される。 Table T is used in the gray balance correction is sent to the tone correction processing section 3.
また、画像解析処理部2は、1駒の画像についての画像解析を行って、画像特徴量等を算出し、その結果を階調補正処理部3へ送る。 The image analysis processing section 2 performs an image analysis of the image of one frame, and calculates an image feature amount such as, sends the result to the tone correction processor 3.

ここで、画像処理装置1を搭載するデジタルフォトプリンタにおいて、図2に示す統合画像処理系でのネガフィルムからの画像データの補正時に用いられるプレスキャン画像データは、RGB濃度値である。 Here, in the digital photoprinter for mounting the image processing apparatus 1, the prescan image data used for correction when the image data from the negative film in the integrated image processing system shown in FIG. 2 is a RGB density values. また、画像解析処理部2におけるプレスキャン画像データの間引き処理後のサイズは、デジタルフォトプリンタの種類等によって異なり、特に制限されない。 Further, the size after the thinning process of the prescanned image data by the image analysis processing section 2 is different depending on the type of the digital photo printer is not particularly limited.

階調補正処理部3は、図2の処理フローにおける階調補正処理を実行する。 Gradation correction processing unit 3 performs a gradation correction process in the processing flow of FIG. 図2に示すように、階調補正処理工程では、入力され、画像解析処理部2において間引き処理されたプレスキャン画像データに対し、顔抽出処理、グレーバランス補正(件グレーバランス補正)、カラーバランス補正(駒グレーバランス補正)、アンダー/オーバー補正、濃度補正およびコントラスト補正の各処理を順次行うことにより、画像の階調補正量を算出する。 As shown in FIG. 2, in the gradation correction process is input, to the pre-scan image data thinning process by the image analysis processing section 2, a face extraction processing, gray balance correction (matter gray balance correction), color balance correction (frame gray balance correction), under / over correction, by sequentially performing the processing of the density correction and contrast correction, calculates the gradation correction amount of the image.
以下に、階調補正処理部3における各処理について順を追って説明する。 Hereinafter will be described in order for each processing in the gradation correction processing unit 3.

まず、顔抽出処理工程では、プレスキャン画像のグレー画像(濃淡画像)すなわちプレスキャン画像データから得られるグレー情報(濃淡情報)を利用して顔検出処理を行う。 First, in the face extraction processing step performs face detection processing by using the prescanned image gray image (gray image) i.e. gray information obtained from the prescan image data (shading information). すなわち、グレー画像における濃度勾配(輝度勾配)に関する情報(濃度変化の方向および大きさの情報)から濃度勾配に関する特徴量を得て、その特徴量を用いて、該画像中の顔領域を検出する。 In other words, to obtain a feature quantity relating to the concentration gradient from the information on the density gradient in the gray image (luminance gradient) (Information direction and magnitude of the density change), using the feature amount, detects a face region in the image .

本実施形態では、好ましい態様として、プレスキャン画像データからその画像の濃度勾配に関する特徴量を取得し、その特徴量を用いて画像に撮影された人物の顔領域を抽出する方法により、顔抽出処理を行う。 In the present embodiment, as a preferred embodiment, the method of acquiring a feature quantity relating to the concentration gradient of the image, extracts a face region of a person taken in the image by using the features from the prescanned image data, the face extraction process I do. この方法によれば、肌色などの色情報を用いることなく顔領域を抽出できるので、画像の色や濃度が適正に補正されていない状態においても、十分高い精度で顔抽出を行うことができる。 According to this method, since a face area without using color information of the skin color can be extracted, even when the color and density of the image is not properly corrected, it is possible to perform face extraction with sufficiently high accuracy. すなわち、この顔抽出処理方法によれば、濃度補正やカラーバランス補正等の階調補正から独立に、顔抽出処理を行うことができるので、顔抽出処理工程を階調補正の前段に行うことができ、顔抽出の結果を濃度補正やカラーバランス補正等の階調補正処理に利用することができる。 That is, according to this face extraction processing method, independently of the gradation correction, such as density correction, color balance correction, it is possible to perform face extraction processing, can perform face extraction process in front of the tone correction can, it is possible to use the results of face extraction to the tone correction processing such as density correction and color balance correction.
この顔抽出処理方法とそれを実行する顔抽出処理装置については後に詳述する。 This face extraction processing method and a face extraction processing apparatus for performing it will be described in detail later.

また、本実施形態の顔抽出処理方法は、顔抽出処理の精度およびロバスト性が高い点で好ましいが、本発明の画像処理における顔抽出処理方法はこれには限定されず、この方法以外にも、色情報を用いずに顔領域を抽出できるものであれば、各種の方法を利用することができる。 The face extraction processing method of this embodiment is preferable in terms of high accuracy and robustness of the face extraction processing, the face extraction processing method in the image processing of the present invention is not limited thereto, in addition to this method , as long as it can extract a face area without using the color information, it is possible to use various methods. 例えば、輝度情報を利用した顔画像テンプレートマッチングによる方法等を利用することも可能である。 For example, it is also possible to use a method such as by the face image template matching using the luminance information.

次に、グレーバランス補正(件グレーバランス補正)工程では、画像解析処理部2での画像解析によって作成されたテーブルT(図3(a)参照)から、濃度レンジ範囲の領域Dを用いてグレー軸Xを最適近似して、グレーバランス補正量を算出する。 Then, the gray balance correction (matter gray balance correction) process, from the table created by the image analysis in the image analysis processing section 2 T (see FIG. 3 (a)), by using a region D of the density range ranging Gray optimally approximate the axis X, it calculates a gray balance correction amount. 図3(b)は、濃度レンジ範囲の領域Dおよびグレー軸Xを模式的に示す図である。 3 (b) is a diagram showing a region D and the gray axis X of the density range ranging schematically. このグレーバランス補正量は、1件のネガフィルムに撮影された複数の画像の画像データに対し、フィルム濃度の影響を差し引いてグレーの画像がグレーで表されるように補正するためのものであり、このグレーバランス補正量に基づいて、END(Equivalent Neutral Density)−LUT(等価中性濃度テーブル)が算出される。 The gray balance correction amount, the image data of a plurality of images taken in 1 of the negative film, which is for correcting such gray image by subtracting the influence of film density is represented by a gray based on the gray balance correction amount, END (equivalent neutral density) -LUT (equivalent neutral density table) is calculated. この補正により、フィルムのメーカやタイプの違いによる画像濃度の違いも補正される。 By this correction, the difference in image density due to a difference in manufacturer or type of film is also corrected.
なお、このとき、1件のネガフィルムに撮影された画像の駒数が少ないときは、END−LUTが極端に外れた不適正なテーブルになるのを抑制するために、グレー軸Xの傾き補正を制限し、オフセット補正のみとする。 At this time, when the number of frames of images captured on 1 of the negative film is small, in order to suppress from becoming improper table END-LUT is extremely deviated, the inclination correction of the gray axis X limit the, and only the offset correction.

また、グレーバランス補正には、1件のネガフィルムの全画像の画像データを用いるほか、補正対象の1駒の画像に対して、補正性能が得られる所定の複数の駒(例えば、前後5駒、計11駒分)の画像データからグレーバランス補正量を算出するようにしてもよい。 Moreover, gray balance correction, in addition to using the image data of all images of 1 negative film, the image of one frame to be corrected, a predetermined plurality of frames of correction performance can be obtained (e.g., before and after 5 frames, from the image data of a total of 11 frames minute) may be calculated gray balance correction amount. この場合、1件のネガフィルムの全画像(例えば、24駒や36駒など)の画像データを用いるよりも高速に画像処理を行うことができる。 In this case, all the images 1 of the negative film (for example, 24 frames or 36 frames) it is possible to perform the image processing faster than using the image data of.
また、グレーバランス補正量の算出には、顔検出処理で検出された顔領域の濃度を利用してもよい。 Further, the calculation of the gray balance correction amount may utilize concentrations of the detected face region in the face detecting process.

カラーバランス補正(駒グレーバランス補正)工程では、1駒の画像の解析結果と上記グレー軸を評価して、その駒の画像に対する色温度補正量やフェリア補正量を算出する。 In the color balance correction (frame gray balance correction) process evaluates the analysis result and the gray axis of one frame of the image, calculates the color temperature correction amount and Feria correction amount for the image of that frame. ここで、人物が撮影された画像の場合には、先の顔抽出処理工程において顔領域が抽出されているので、この顔領域の色を肌色として適正な所定の色範囲とするように、カラーバランス補正処理を行うことができ、それにより、高いカラーバランス補正性能を得ることができる。 Here, in the case of an image where a person is captured, since the face region is extracted in the previous face extraction process, so that a proper predetermined color range color of the face area as a skin color, a color it can perform balance correction processing, whereby it is possible to obtain a high color balance correction performance.

また、本発明の画像処理に好適に利用されるカラーバランス補正方法は、全駒の入力画像のそれぞれについて、その画像の色相に関する特徴量に基づいてクラスタ分類し、分類されたクラスタに対応する非標準化係数を用いた重回帰分析を行うことにより、その画像にとって最適なカラーバランス補正値を自動的に算出するものである。 The color balance correction method is preferably used for image processing of the present invention, for each of the input images of all frames, non-standardized, which clustered classified based on the feature quantity relating to the hue of the image, corresponding to the classified clusters by performing multiple regression analysis using the coefficients, it is to automatically calculate the optimal color balance correction value for the image. この方法によれば、それぞれの駒の画像について、高色温度(日陰)シーンおよび異種光源シーンを含め、各種のシーンのカラーバランス(ホワイトバランス)を高精度で補正することができ、また、誤補正等によるカラーフェリアの発生を抑制することができる。 According to this method, the image of each frame, including high color temperature (shade) scene and a heterologous source scene, the color balance of the various scenes (white balance) can be corrected with high accuracy, also, false correction the occurrence of color failure due to an equal can be suppressed.
さらに、このようなカラーバランス(ホワイトバランス)補正方法において、顔抽出結果を利用することにより、蛍光灯とタングステン光の両方で照明されたシーン(ミックス光源シーン)について、顔領域を照明している光源の情報を優先して補正を行うことができ、適正な肌色の画像を得ることができる。 Further, in such a color balance (white balance) correction method, by using the face extraction result, the scene (Mix source scene) illuminated by both the fluorescent lamp and a tungsten light, illuminates the face area giving priority to information of the light source correction can be performed, it is possible to obtain an image of proper skin tone.
このホワイトバランス補正処理方法とそれを実行するホワイトバランス補正処理装置については後に詳述する。 White balance correction processing device for the white balance correction processing method executed it will be described in detail later.

アンダー/オーバー補正工程では、画像のアンダー領域およびオーバー領域の階調をネガフィルムの階調特性を考慮して補正するための補正テーブルを算出する。 The under / over correction process, the tone of the under region and over a region of the image to calculate a correction table to correct in view of the gradation characteristic of the negative film.

濃度補正工程では、1駒ごとの画像解析結果に基づいて画像全体の濃度補正量を算出する。 The density correction process, and calculates a density correction amount for the entire image based on the image analysis result of each frame. 顔抽出処理により顔領域が抽出されている場合には、抽出された顔領域の濃度が所定の濃度範囲となるように、濃度補正量を算出する。 If the face region is extracted by the face extraction process, the concentration of the extracted face region to a predetermined concentration range, calculates a density correction amount. ここで、先の顔抽出処理工程において顔領域が抽出されているので、この顔領域の濃度を肌色として適正な所定の濃度範囲とするように、濃度補正処理を行うことができ、それにより、高い濃度補正性能を得ることができる。 Since the face area in the previous face extraction process is extracted, so that the proper range of concentrations The concentration of the face area as a skin color, it is possible to perform density correction processing, whereby it is possible to obtain high density correction performance.

また、本発明に好適に利用される濃度補正方法は、全駒の入力画像のそれぞれについて、その画像のシーン(逆光、人物アップ、フラッシュ使用など)に関する特徴量、例えば、色相、濃度勾配、顔領域サイズ(画素数)に関する特徴量に基づいてクラスタ分類し、分類されたクラスタに対応する非標準化係数を用いた重回帰分析を行うことにより、その画像にとって最適な濃度補正量を自動的に算出するものである。 The concentration correction method is preferably used in the present invention, for each of the input images of all frames, feature amount relating to the scene of the image (backlight, a person up, flash use, etc.), for example, hue, gradient, face area clustered classified based on the feature quantity relating to the size (number of pixels), by performing a multiple regression analysis using a non-standardized coefficient corresponding to the classified cluster, automatically calculates an optimum density correction amount for the image it is intended. この方法によれば、それぞれの駒の画像について、逆光シーン、人物アップシーン、フラッシュ使用シーンを含め、各種のシーンの濃度を高精度で補正することができる。 According to this method, the image of each frame, a backlit scene, the person up scene, including flash use scene, the concentration of the various scenes can be corrected with high accuracy.
この濃度補正方法は、後述するホワイトバランス補正処理方法と同様の手法を用いるものである。 The density correction method is to use a similar technique as white balance correction processing method will be described later. この濃度補正方法については、後に詳述する。 This density correction method will be described in detail later.

コントラスト補正工程では、ハイライトおよびシャドーの濃度値を決定し、グレー軸の傾き補正量を算出する。 In contrast correction process is to determine the concentration values ​​of highlight and shadow, it calculates an inclination correction value of the gray axis.
以上により算出された各補正量は、変換写像作成部5に送られる。 Each correction amount calculated by the above is sent to the conversion mapping creation unit 5.

類似駒補正処理部4は、図2の処理フローにおける類似駒補正処理を実行する。 Similar piece correction processing unit 4 performs a similar piece correction processing in the processing flow of FIG. 図2に示すように、類似駒補正処理工程では、プレスキャン画像データに対し、グレーバランスの類似駒補正、濃度補正の類似駒補正およびコントラスト補正の類似駒補正を行う。 As shown in FIG. 2, the similar frame correction step, to pre-scan image data, similar frame correction of the gray balance, performs similar frame correction similar frame correction and contrast correction of density correction.

カラーバランス補正(駒グレーバランス補正)の類似駒補正工程では、画像解析処理部2で算出した、処理対象駒およびその前後2駒(計5駒)のカラーバランス補正量を、処理対象駒およびその前後2駒の類似度評価値で重み付け平均して、カラーバランス調整量を算出する。 In the color balance correction similar piece correction step of (piece gray balance correction) calculated by the image analysis processing section 2, the color balance correction amount of the processing object frame and its two front and rear frames (five frames), the processing object frame and its weighted average similarity evaluation values ​​before and after two frames, calculates the color balance adjustment amount.
濃度補正の類似駒補正工程では、画像解析処理部2で算出した、処理対象駒およびその前後2駒の濃度補正量を、処理対象駒およびその前後2駒の類似度評価値で重み付け平均して、濃度調整量を算出する。 In similar pieces correcting step of density correction, calculated by the image analysis processing section 2, a density correction amount of the processing object frame and its two front and rear frames, and weighted average similarity evaluation value of the processing target frame and two front and rear frames, concentration to calculate the adjustment amount.
コントラスト補正の類似駒補正工程では、画像解析処理部2で算出した、処理対象駒およびその前後2駒のコントラスト補正量を、処理対象駒およびその前後2駒の類似度評価値で重み付け平均して、コントラスト調整量を算出する。 In a similar piece correcting step of contrast correction is calculated by image analysis processing section 2, a contrast correction amount of the processing object frame and its two front and rear frames, and weighted average similarity evaluation value of the processing target frame and two front and rear frames, the contrast to calculate the adjustment amount.
以上により算出された各調整量は、変換写像作成部5に送られる。 Each adjustment amount calculated by the above is sent to the conversion mapping creation unit 5.

変換写像作成部5は、階調補正処理部3から送られた各補正量および類似駒補正処理部4から送られた各調整量に基づいて、原稿画像のファインスキャン画像を画像処理するための変換写像、例えば変換関数、またはこの変換関数をテーブル化したルックアップテーブル(LUT)、もしくは変換関数をマトリックス演算化した変換マトリックスを自動的に作成し、変換写像6として設定する。 Conversion mapping creating unit 5, based on the adjustment amount transmitted from the correction amount and the similar piece correction processing unit 4 sent from the tone correction processing section 3, a fine scanned image of the original image the image processing for conversion mapping, automatically creates example conversion function or a look-up table the conversion function and a table (LUT), or the conversion function a transformation matrix obtained by matrix operation of, set as a conversion map 6.
変換写像6として設定される写像は、全ての補正量および調整量を統合した1つの写像であってもよいし、1または複数の補正量または調整量に基づいて作成された複数の写像の組み合わせであってもよい。 The mapping is set as a conversion map 6, a combination of may be all the correction amount and the one that integrates the amount of adjustment mapping, one or more of the correction amount or the adjustment amount more maps created based on it may be.

次に、階調補正処理部3において顔抽出処理を実行する顔抽出処理装置11について説明する。 Next, a description will be given face extraction processing unit 11 for performing face extraction processing in the gradation correction processing unit 3.

まず、従来知られている、画像データにより表される画像を用いて、該画像に含まれる例えば人物の顔や、身体の部位などの所定対象物の統計モデルを構築する技術について説明する。 First, conventionally known using an image represented by the image data, for example, a person's face included in the image, a technique for constructing a statistical model of a given object, such as parts of the body will be described.
以下は、T. The following, T. F. F. Coots,A. Coots, A. Hill,C. Hill, C. J. J. Taylor,J. Taylor, J. Haslam,“The Use of Active Shape Models for Locating Structures in Medical Images”,Image and Vision Computing,pp. Haslam, "The Use of Active Shape Models for Locating Structures in Medical Images", Image and Vision Computing, pp. 276−286,1994、および、特表2004−527863号公報に記載の技術である。 276-286,1994, and is a technique described in JP-T-2004-527863.

上記文献には、顔を構成する頬、目、口などのような、所定対象物の各構成部品の位置、形状、大きさを表すことができる統計モデルASM(Active shape model)についての記載がなされている。 The above document, cheeks constituting the face, eyes, such as the mouth, the position of each component of a given object, shape, describes a statistical model ASM which can represent the magnitude (Active shape model) It has been made. ASMによる手法は、まず、図21に示すように、所定対象物(図示の例では、顔となる)の各構成部品の位置、形状、大きさを示す複数のランドマークの位置を、複数の所定対象物のサンプル画像の夫々に対して指定することによって、夫々のサンプル画像のフレームモデルを得る。 Method according to ASM, first, as shown in FIG. 21, (in the illustrated example, the face) predetermined target position of each component of the shape, the position of the plurality of landmarks indicating the size, a plurality of by specifying for each of the sample images of the predetermined object, obtain a frame model of each of the sample images. フレームモデルは、ランドマークとなる点を所定のルールに従って接続してなるものであり、例えば、所定対象物が顔である場合、顔の輪郭線上の点、眉のライン上の点、目の輪郭線上の点、瞳の位置にある点、上下唇のライン上の点などがランドマークとして指定され、これらのランドマークのうち、顔の輪郭線上の点同士、唇のライン上の点同士などが夫々接続されてなるフレームが、顔のフレームモデルとなる。 Frame model is made by connecting a point where the landmark according to a predetermined rule, for example, when a predetermined object is a face, a point on the contour of the face, a point on the line of the eyebrows, eyes contour point on the line, a point at the position of the pupil, such as a point on the line of the upper and lower lips is designated as a landmark, of these landmarks, between points on the contour of the face, such as between a point on the lip of the line respectively connected formed by frame, the frame model of the face. 複数のサンプル画像から得られたフレームモデルが、平均処理が施されて顔の平均フレームモデルが得られる。 Frame model obtained from a plurality of sample images, the average process is performed by the average frame model of the face is obtained. この平均フレームモデル上における各ランドマークの位置が、夫々のサンプル画像における相対応するランドマークの位置の平均位置となる。 Position of each landmark on the average frame model, the average position of the positions of the pair of corresponding landmarks in each of the sample images. 例えば、顔に対して130個のランドマークを用い、これらのランドマークのうち、110番のランドマークは、顔における顎先端の位置を示す場合、平均フレームモデル上における110番のランドマークの位置は、各サンプル画像に対して指定された、顎先端の位置を示す110番のランドマークの位置を平均して得た平均位置である。 For example, using 130 pieces of landmarks with respect to the face, of these landmarks, the landmark 110th, when indicating the position of the jaw tip in the face, the position of the landmark 110th on the average frame model is specified for each sample image, the average position of the positions of the landmarks 110th indicating the position of the jaw tip was obtained by averaging. ASMによる手法は、このようにして得た平均フレームモデルを、処理対象の画像に含まれる所定対象物に当てはめ、当てはめられた平均フレームモデル上における各ランドマークの位置を、処理対象の画像に含まれる所定対象物の各ランドマークの位置の初期値とすると共に、平均フレームモデルを処理対象の画像に含まれる所定対象物に合うように逐次変形(すなわち、平均フレームモデル上の各ランドマークの位置を移動)させることによって、処理対象の画像に含まれる所定対象物における各ランドマークの位置を得る。 Method according to ASM, include the average frame model obtained in this way, fit the predetermined object included in the image to be processed, the position of each landmark on the fitted average frame model, the image to be processed with an initial value of the position of each landmark in a predetermined object to a predetermined object to fit as sequentially deformed contained an average frame model to the image to be processed (i.e., the position of each landmark on the average frame model by the movement) is to obtain the position of each landmark in a predetermined target object included in the image to be processed. ここで、平均フレームモデルの変形について説明する。 The following describes modifications of the average frame model.

前述したように、所定対象物を表すフレームモデルは、該フレームモデル上の各ランドマークの位置により表されるため、2次元の場合、1つのフレームモデルSは、下記の式(1)のように2n(n:ランドマークの個数)個の成分からなるベクトルによって表すことができる。 As described above, the frame model representing a predetermined object, because it is represented by the position of each landmark on the frame model, the two-dimensional case, one frame model S, like the following equation (1) to 2n: it can be represented by a vector comprising a number of components (n number of landmarks).

S=(X1,X2,・・・,Xn,Xn+1,Xn+2,・・・,X2n) (1) 但し,S:フレームモデル S = (X1, X2, ···, Xn, Xn + 1, Xn + 2, ···, X2n) (1) However, S: frame model
n:ランドマークの個数 n: number of landmark
Xi(1≦i≦n):i番目のランドマークの位置のX方向座標値 Xi (1 ≦ i ≦ n): i-th X-direction coordinate value of the position of the landmark
Xn+i(1≦i≦n):i番目のランドマークの位置のY方向座標値 また、平均フレームモデルSavは、下記の式(2)のように表すことができる。 Xn + i (1 ≦ i ≦ n): i-th Y-direction coordinate values ​​of the position of the landmark The average frame model Sav can be expressed as the following equation (2).

各サンプル画像のフレームモデルと、これらのサンプル画像から得た平均フレームモデルSavを用いて、下記の式(3)に示す行列を求めることができる。 And frame model of each of the sample images, by using the average frame model Sav obtained from these sample images, it is possible to obtain the matrix shown in Equation (3) below.

式(3)に示す行列から、K(1≦K≦2n)個の固有ベクトルPj(Pj1,Pj2,・・・,Pj(2n))(1≦j≦K)および各固有ベクトルPjに夫々対応するK個の固有値λj(1≦j≦K)が求められ、平均フレームモデルSavの変形は、下記の式(4)に従って、固有ベクトルPjを用いて行われる。 From the matrix shown in Equation (3), K (1 ≦ K ≦ 2n) eigenvectors Pj respectively corresponding to (Pj1, Pj2, ···, Pj (2n)) (1 ≦ j ≦ K) and each eigenvector Pj K eigenvalues ​​lambda] j (1 ≦ j ≦ K) is determined, variations of the average frame model Sav is according to the following equation (4) is performed using the eigenvector Pj.

式(4)におけるΔSは、各ランドマークの移動量を表すものであり、すなわち、平均フレームモデルSavの変形は、各ランドマークの位置を移動させることによって行われる。 ΔS in equation (4) is representative of the amount of movement of each landmark, i.e., variations of the average frame model Sav is performed by moving the position of each landmark. また、式(4)から分かるように、各ランドマークの移動量ΔSは、変形パラメータbjと固有ベクトルPjから求められるものであり、固有ベクトルPjは既に求められているので、平均フレームモデルSavを変形させるために、変形パラメータbjを求める必要がある。 As can be seen from equation (4), the moving amount ΔS of each landmark are those obtained from the deformation parameter bj and eigenvectors Pj, since eigenvectors Pj has already sought deforms the average frame model Sav for, it is necessary to obtain the deformation parameter bj. ここで、変形パラメータbjの求め方について説明する。 The following describes how to determine the deformation parameter bj.

変形パラメータbjを求めるために、まず、夫々のランドマークを特定するための特徴量を、各サンプル画像の各ランドマークに対して求める。 To determine the deformation parameter bj, first, the feature amount for identifying landmarks respectively, determined for each landmark the sample images. ここで、特徴量の例としてランドマークの輝度プロファイルを、ランドマークの例として上唇の凹点を示すランドマークを用いて説明する。 Here, the brightness profile of the landmark as an example of the feature amount will be described with reference to the landmark indicating a concave point of the upper lip as an example of the landmark. 上唇の凹点(すなわち上唇の中心点)を示すランドマーク(図22(a)に示す点A0)に対して、このランドマークの両側のランドマーク(図22(a)中の点A1、A2)を結び線と垂直し、かつランドマークA0を通過する直線Lにおける、ランドマークA0を中心とする小範囲(例えば11画素)内の輝度プロファイルを、ランドマークA0の特徴量として求める。 Against the upper lip land mark indicating the recessed points (i.e. the center point of the upper lip) of (A0 points shown in FIG. 22 (a)), a point in the landmark on both sides of the landmark (FIG. 22 (a) A1, A2 ) vertically and tie lines, and in the straight line L passing through the landmark A0, the brightness profile within a small range (e.g., 11 pixels) around the landmark A0, determined as a feature of the landmark A0. 図22(b)は、図22(a)に示すランドマークA0の特徴量となる輝度プロファイルの例を示している。 FIG. 22 (b) shows an example of a luminance profile as a feature quantity of the landmark A0 shown in FIG. 22 (a).

そして、各サンプル画像の上唇凹点を示すランドマークの輝度プロファイルから、上唇凹点を示すランドマークを特定するための統括特徴量を求める。 Then, from the brightness profile of the landmark indicating the upper lip concave point of each of the sample images, determining the overall characteristic amount for identifying landmarks indicating the upper lip recessed points. ここで、各サンプル画像における相対応するランドマーク(例えば各サンプル画像における上唇の凹点を示すランドマーク)の特徴量間は差があるものの、これらの特徴量はガウシアン分布を呈すると仮定して総括特徴量を求める。 Here, although the inter-characteristic quantity of each pair of corresponding landmarks in each sample image (e.g. landmark indicating the recessed points of the upper lip in each sample image) are different, these feature quantities are assumed to exhibit a Gaussian distribution obtaining a comprehensive feature amount. ガウシアン分布の仮定に基づいた統括特徴量の求め方は、例えば平均処理により方法を挙げることができる。 Determination of overall characteristic amount based on the assumption of a Gaussian distribution, may be mentioned a method, for example, by averaging. すなわち、複数のサンプル画像毎に、各ランドマークの上記輝度プロファイルを求めると共に、相対応するランドマークの輝度プロファイルを平均して、該ランドマークの統括特徴量とする。 That is, for each of the plurality of sample images, together with obtaining the brightness profile of each landmark, by averaging the luminance profile of each pair of corresponding landmarks, and overall characteristic amount of the landmark. すなわち、上唇の凹点を示すランドマークの統括特徴量は、複数のサンプル画像の夫々における上唇の凹点を示すランドマークの輝度プロファイルを平均して得たものとなる。 That is, overall characteristic amount of the landmark indicating the recessed points of the upper lip is made to that obtained by averaging the brightness profile landmarks indicating the recessed points of the upper lip in each of the plurality of sample images.

ASMは、処理対象の画像に含まれる所定対象物に合うように平均フレームモデルSavを変形させる際に、画像中の、平均フレームモデルSav上のランドマークに対応する位置を含む所定の範囲において、該ランドマークの統括特徴量と最も相似する特徴量を有する点を検出する。 ASM, when deforming the average frame model Sav to fit a predetermined object contained in the image to be processed, in the image, in a predetermined range including a position corresponding to the landmarks on the average frame model Sav, detecting a point having a feature amount that is most similar to the overall characteristic amount of the landmark. 例えば上唇の凹点の場合、画像中の、平均フレームモデルSavにおける上唇の凹点を示すランドマークに対応する位置(第1の位置という)を含む、前述の小範囲より大きい範囲(画像中の、平均フレームモデルSavにおける上唇の凹点を示すランドマークの両側のランドマークに夫々対応する位置を結び線と垂直し、かつ第1の位置を通過する直線における、第1の位置を中心とする11画素より多い例えば21画素)内において、各画素を夫々中心とする11画素毎にその中心画素の輝度プロファイルを求め、これらの輝度プロファイルの中から、サンプル画像から求められた、上唇の凹点を示すランドマークの輝度プロファイルと最も相似する統括特徴量(すなわち平均輝度プロファイル)を検出する。 For example, in the case of recessed points of the upper lip, in the image, a position corresponding to the land mark indicating the recessed points of the upper lip in the average frame model Sav including (referred to as a first position), a large range (in the image from a small range of above , the average frame model vertically and lines bear in positions corresponding to the landmark on either side of the landmark indicating the recessed points of the upper lip in Sav, and the straight line passing through the first position, centered on the first position in the more than 11 pixels, for example 21 pixels), obtains a luminance profile of the central pixel for each 11 pixels each pixel and each center, from these luminance profile, obtained from the sample image, the upper lip recessed points detecting the overall characteristic amount that is most similar to the luminance profile of the landmark indicating a (i.e. the average luminance profile). そして、検出されたこの輝度プロファイルを有する位置(すなわち、この輝度プロファイルが求められた11個の画素の中心の画素の位置)と、第1の位置との差に基づいて、平均フレームモデルSav上における上唇の凹点を示すランドマークの位置を移動させるべき移動量を求めて、この移動量から変形パラメータbjを算出する。 Then, the position having the luminance profile that is detected (i.e., the position of the pixel of the center of the 11 pixels of the brightness profile is obtained) and, on the basis of the difference between the first position, on the average frame model Sav seeking movement amount to move the position of the landmark indicating the recessed points of the upper lip in, it calculates the deformation parameter bj from this amount of movement. 具体的には、例えば、前述した差より小さい、例えばこの差の1/2の量を移動させるべき量として求め、この移動させるべき量から変形パラメータbjを算出する。 Specifically, for example, the difference is less than the aforementioned, determined as an amount for example to move the amount of 1/2 of the difference, it calculates the deformation parameter bj from the amount to be this movement.

なお、平均フレームモデルSavを変形させた後に得たフレームモデルにより顔を表すことができなくなることを防ぐために、変形パラメータbjを下記の式(5)に示すように、固有値λjを用いて限定することによってランドマークの位置の移動量を限定する。 In order to prevent the can no longer be represented faces the frame model obtained after deforming the average frame model Sav, the deformation parameter bj as shown in Equation (5) below, to limit using the eigenvalues ​​λj to limit the amount of movement of the position of the landmarks by.

ASMは、このようにして、平均フレームモデルSav上における各ランドマークの位置を移動させて平均フレームモデルSavを収束するまで変形させ、収束時における各ランドマークの位置により示される、処理対象の画像に含まれる所定対象物のフレームモデルを得る。 ASM, this way, by moving the position of each landmark on the average frame model Sav deformed to converge an average frame model Sav, indicated by the position of each landmark during convergence, the target image obtaining a frame model of a predetermined object contained in the.

続いて、本発明の好ましい態様として用いられる顔抽出処理について説明する。 The following describes the face extraction process used as a preferred embodiment of the present invention.

図4は、階調補正処理部3において顔抽出処理を実行する顔抽出処理装置11の構成を示すブロック図である。 Figure 4 is a block diagram showing the configuration of a face extraction processing unit 11 for performing face extraction processing in the gradation correction processing unit 3. なお、顔抽出処理装置11は、入力された画像から顔を検出して、顔のフレームモデルを得るものであり、補助記憶装置に読み込まれた処理プログラムをコンピュータ(たとえばパーソナルコンピュータ等)上で実行することにより実現される。 Incidentally, the face extraction processing unit 11 detects a face from the input image is intended to obtain a frame model of a face, it executes the processing program read into an auxiliary memory device, on a computer (a personal computer, for example) It is realized by. また、この処理プログラムは、CD−ROM等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。 Further, the processing program is stored in an information storage medium such as a CD-ROM, or distributed via a network such as the Internet, and installed in the computer.

また、画像データは画像を表すものであり、以下、特に画像と画像データの区別をせずに説明を行う。 The image data is intended to represent an image, hereinafter, in particular a description without distinction of image and image data.

図4に示すように、顔抽出処理装置11は、処理対象となる画像S0を入力する画像入力部10と、画像S0から顔を検出して、顔部分の画像(以下顔画像という)S1を得る顔検出部20と、顔画像S1を用いて両目の位置を検出して顔画像S2(その詳細については後述する)を得る目検出部30と、目検出部30により得られた顔画像S2に対してフレームモデルShを構築するフレームモデル構築部50と、顔検出部20に用いられる参照データE1および目検出部30に用いられる参照データE2を記憶した第1のデータベース40と、フレームモデル構築部50に用いられる平均フレームモデルSavおよび参照データE3を記憶した第2のデータベース80とを備えてなる。 As shown in FIG. 4, the face extraction processing unit 11 includes an image input unit 10 for inputting image S0 to be processed, by detecting a face from image S0, an image (hereinafter referred to as a face image) S1 of the face portion obtaining a face detection unit 20, an eye detecting unit 30 to obtain a face image S2 to detect the position of the eyes using the face image S1 (the details will be described later), the eye detecting section 30 a face image S2 obtained by a frame model construction unit 50 for constructing a frame model Sh respect, the first database 40 that stores reference data E2 to be used in the reference data E1 and eye detection unit 30 used in the face detection unit 20, the frame model building comprising a second database 80 that stores the average frame model Sav and reference data E3 used in section 50.

画像入力部10は、顔抽出処理装置11に処理対象の画像S0を入力するものであり、例えば、ネットワークを介して送信されてきた画像S0を受信する受信部や、CD−ROMなどの記録媒体から画像S0を読み出す読取部や、紙や、プリント用紙などの印刷媒体から印刷媒体に印刷(プリントを含む)された画像を光電変換によって読み取って画像S0を得るスキャナなどとすることができる。 The image input unit 10 is for inputting an image S0 to be processed in the face extraction processing unit 11, for example, the receiving portion and which is transmitted over a network to receive image S0 has a recording medium such as a CD-ROM reading unit and reads the image S0 from paper or printed on the printing medium from the printing medium such as printing paper (including printing) image can be a scanner to obtain an image S0 read by photoelectric conversion of.

図5は、図4に示す顔抽出処理装置11における顔検出部20の構成を示すブロック図である。 Figure 5 is a block diagram showing the configuration of a face detection unit 20 in the face extraction processing unit 11 shown in FIG. 顔検出部20は、画像S0に顔が含まれているか否かを検出すると共に、顔が含まれている場合、顔のおおよその位置および大きさを検出し、この位置および大きさにより示される領域の画像を画像S0から抽出して顔画像S1を得るものであり、図5に示すように、画像S0から特徴量C0を算出する第1の特徴量算出部22と、特徴量C0および第1のデータベース40に記憶された参照データE1とを用いて顔検出を実行する顔検出実行部24とを備えてなる。 The face detection unit 20, and detects whether a face is included in the image S0, if a face is included, it detects the approximate location and size of the face is indicated by the position and size is intended to obtain a face image S1 by extracting an image area from the image S0, as shown in FIG. 5, the first feature quantity calculating unit 22 which calculates the characteristic amounts C0 from image S0, the characteristic amounts C0 and the comprising a face detection execution unit 24 for executing the face detection by using the reference data E1 stored in the first database 40. ここで、第1のデータベース40に記憶された参照データE1、顔検出部20の各構成の詳細について説明する。 Here, the reference data E1 stored in the first database 40, will be described in detail the structure of the face detection unit 20.

顔検出部20の第1の特徴量算出部22は、顔の識別に用いる特徴量C0を画像S0から算出する。 The first feature quantity calculating unit 22 of the face detecting section 20 calculates the characteristic amounts C0 is used to identify the face from the image S0. 具体的には、勾配ベクトル(すなわち画像S0上の各画素における濃度が変化する方向および変化の大きさ)を特徴量C0として算出する。 Specifically, to calculate the gradient vector (i.e. the size of the direction and the change varies the density of each pixel in the image S0) as the characteristic amount C0. 以下、勾配ベクトルの算出について説明する。 The following describes the calculation of the gradient vector. まず、第1の特徴量算出部22は、画像S0に対して図8(a)に示す水平方向のエッジ検出フィルタによるフィルタリング処理を施して画像S0における水平方向のエッジを検出する。 First, the first feature quantity calculating unit 22 performs a filtering process with a horizontal edge detection filter shown in FIG. 8 (a) detecting a horizontal edge in image S0 on the image S0. また、第1の特徴量算出部22は、画像S0に対して図8(b)に示す垂直方向のエッジ検出フィルタによるフィルタリング処理を施して画像S0における垂直方向のエッジを検出する。 The first feature quantity calculating unit 22 performs a filtering process with a vertical edge detection filter shown in FIG. 8 (b) detecting the vertical edges in the image S0 on the image S0. そして、画像S0上の各画素における水平方向のエッジの大きさHおよび垂直方向のエッジの大きさVとから、図9に示すように、各画素における勾配ベクトルKを算出する。 Then, from the magnitude V of the size H and the vertical edge of the horizontal edges in each pixel in the image S0, as shown in FIG. 9, calculates a gradient vector K in each pixel.

なお、このようにして算出された勾配ベクトルKは、図10(a)に示すような人物の顔の場合、図10(b)に示すように、目および口のように暗い部分においては目および口の中央を向き、鼻のように明るい部分においては鼻の位置から外側を向くものとなる。 In this way, the gradient vector K, which is calculated in the case of a face of a person as shown in FIG. 10 (a), as shown in FIG. 10 (b), the eye in the dark portion as the eyes and mouth and it faces the center neck, and that faces outward from the position of the nose in a bright portion as the nose. また、口よりも目の方が濃度の変化が大きいため、勾配ベクトルKは口よりも目の方が大きくなる。 Furthermore, since towards the eyes than the mouth is large changes in concentration, the gradient vector K is towards the eye is greater than the mouth.

そして、この勾配ベクトルKの方向および大きさを特徴量C0とする。 Then, the characteristic amount C0 the direction and magnitude of the gradient vector K. なお、勾配ベクトルKの方向は、勾配ベクトルKの所定方向(例えば図9におけるx方向)を基準とした0から359度の値となる。 The direction of the gradient vector K is a value between 0 and 359 degrees relative to the (x-direction, for example in FIG. 9) a predetermined direction of the gradient vector K.

ここで、勾配ベクトルKの大きさは正規化される。 Here, the magnitude of the gradient vector K is normalized. この正規化は、画像S0の全画素における勾配ベクトルKの大きさのヒストグラムを求め、その大きさの分布が画像S0の各画素が取り得る値(8ビットであれば0〜255)に均一に分布されるようにヒストグラムを平滑化して勾配ベクトルKの大きさを修正することにより行う。 The normalization determines the size histogram of the gradient vector K in all the pixels of image S0, uniformly on (0 to 255 if 8-bit) values ​​that can be taken by each of the pixels of the size distribution image S0 smoothing the histogram to be distributed performed by modifying the magnitude of the gradient vector K in. 例えば、勾配ベクトルKの大きさが小さく、図11(a)に示すように勾配ベクトルKの大きさが小さい側に偏ってヒストグラムが分布している場合には、大きさが0〜255の全領域に亘るものとなるように勾配ベクトルKの大きさを正規化して図11(b)に示すようにヒストグラムが分布するようにする。 For example, small magnitude of the gradient vector K, when the histogram biased to the side small size of the gradient vector K as shown in FIG. 11 (a) are distributed, the magnitude of 0 to 255 total histogram as shown in FIG. 11 (b) so as to distribute the magnitude of the gradient vector K in such a way that those over area normalized. なお、演算量を低減するために、図11(c)に示すように、勾配ベクトルKのヒストグラムにおける分布範囲を例えば5分割し、5分割された頻度分布が図11(d)に示すように0〜255の値を5分割した範囲に亘るものとなるように正規化することが好ましい。 In order to reduce the amount of computation, as shown in FIG. 11 (c), a distribution range in the histogram of the gradient vector K example divided into five, 5 divided frequency distribution as shown in FIG. 11 (d) it is preferable to normalize so that those over 5 divided range the value of 0 to 255.

第1のデータベース40に記憶された参照データE1は、後述するサンプル画像から選択された複数画素の組み合わせからなる複数種類の画素群の夫々について、各画素群を構成する各画素における特徴量C0の組み合わせに対する識別条件を規定したものである。 Reference data E1 stored in the first database 40, a plurality of types of pixel groups consisting of combinations of a plurality of pixels selected from below to the sample images for each of the characteristic amounts C0 of each pixel constituting each pixel group it is obtained by defining the identification conditions for the combination.

参照データE1中の、各画素群を構成する各画素における特徴量C0の組み合わせおよび識別条件は、顔であることが分かっている複数のサンプル画像と顔でないことが分かっている複数のサンプル画像とからなるサンプル画像群の学習により、あらかじめ決められたものである。 In the reference data E1, combinations and identification condition of the characteristic amounts C0 of each pixel constituting each pixel group includes a plurality of sample images which are known to not be a plurality of sample images and the face which has been found to be of faces the sample image group consisting of learning, in which predetermined.

なお、この顔抽出処理装置11においては、参照データE1を生成する際には、顔であることが分かっているサンプル画像として、30×30画素サイズを有し、図12に示すように、1つの顔の画像について両目の中心間の距離が10画素、9画素および11画素であり、両目の中心間距離において垂直に立った顔を平面上±15度の範囲において3度単位で段階的に回転させた(すなわち、回転角度が−15度,−12度,−9度,−6度,−3度,0度,3度,6度,9度,12度,15度)サンプル画像を用いるものとする。 Incidentally, in this face extraction processing unit 11, when generating the reference data E1 is a sample image that has been found to be a face, having a 30 × 30 pixel size, as shown in FIG. 12, 1 One of the image distance is 10 pixels between the centers of the eyes for the face, is 9 pixels, and 11 pixels, the range of the plane on the ± 15 degrees standing vertically face the center-to-center distance between the eyes stepwise in 3 degree increments rotated (i.e., rotation angle is -15 °, -12 °, -9 °, -6 °, -3 °, 0 °, 3 °, 6 °, 9 °, 12 °, 15 °) the sample images It shall be used. したがって、1つの顔の画像につきサンプル画像は3×11=33通り用意される。 Thus, sample images per face images are prepared ways 3 × 11 = 33. なお、図12においては−15度、0度および+15度に回転させたサンプル画像のみを示す。 Incidentally, in FIG. 12 shows only -15 degrees, the sample image rotated to 0 degrees and +15 degrees. また、回転の中心はサンプル画像の対角線の交点である。 The center of rotation is intersection of diagonal lines of the sample images. ここで、両目の中心間の距離が10画素のサンプル画像であれば、目の中心位置はすべて同一となっている。 Here, if the sample image distance 10 pixels between the centers of the eyes, all eyes of the center position are the same. この目の中心位置をサンプル画像の左上隅を原点とする座標上において(x1,y1)、(x2,y2)とする。 The center position of the eye to the upper left corner of the sample image on the coordinate having the origin (x1, y1), and (x2, y2).
また、図面上上下方向における目の位置(すなわちy1,y2)はすべてのサンプル画像において同一である。 Also, the position of the eyes in the vertical direction (i.e. y1, y2) are the same for all of the sample images.

また、顔でないことが分かっているサンプル画像としては、30×30画素サイズを有する任意の画像を用いるものとする。 As the sample images are known to not be of faces, and those using any of the images having 30 × 30 pixel size.

ここで、顔であることが分かっているサンプル画像として、両目の中心間距離が10画素であり、平面上の回転角度が0度(すなわち顔が垂直な状態)のもののみを用いて学習を行った場合、参照データE1を参照して顔であると識別されるのは、両目の中心間距離が10画素で全く回転していない顔のみである。 Here, as the sample images, which are known to be of faces, the distance between the centers of the eyes is 10 pixels, the learning by using only one of the rotation angle is 0 degrees on the plane (i.e. the face is vertical state) If you make, being identified with reference to the reference data E1 to be a face, the distance between the centers of both eyes is only a face not rotating at all 10 pixels. 画像S0に含まれる可能性がある顔のサイズは一定ではないため、顔が含まれるか否かを識別する際には、後述するように画像S0を拡大縮小して、サンプル画像のサイズに適合するサイズの顔の位置を識別できるようにしている。 Because the size of the face that may be included in the image S0 is not constant, when identifying whether a face is included is to scaling the image S0, as described below, adapted to the size of the sample image It is to identify the position of the face of the size. しかしながら、両目の中心間距離を正確に10画素とするためには、画像S0のサイズを拡大率として例えば1.1単位で段階的に拡大縮小しつつ識別を行う必要があるため、演算量が膨大なものとなる。 However, in order to exactly 10 pixels distance between the centers of both eyes, it is necessary to perform identification shrinking stepwise enlarge 1.1 units, for example, as a magnification of the size of the image S0, the amount of calculation It is enormous.

また、画像S0に含まれる可能性がある顔は、図14(a)に示すように平面上の回転角度が0度のみではなく、図14(b)、(c)に示すように回転している場合もある。 The face that may be included in the image S0 is not only the rotation angle of 0 ° on a plane as shown in FIG. 14 (a), FIG. 14 (b), the rotation as shown in (c) If and it is also there.
しかしながら、両目の中心間距離が10画素であり、顔の回転角度が0度のサンプル画像のみを使用して学習を行った場合、顔であるにも拘わらず、図14(b)、(c)に示すように回転した顔については識別を行うことができなくなってしまう。 However, the distance between the centers of the eyes is 10 pixels, when the rotation angle of the face were learned using only 0 ° sample images, despite the face, FIG. 14 (b), (c it becomes impossible to perform the discrimination for the rotary face as shown in).

このため、顔抽出処理装置11においては、顔であることが分かっているサンプル画像として、図12に示すように両目の中心間距離が9,10,11画素であり、各距離において平面上±15度の範囲にて3度単位で段階的に顔を回転させたサンプル画像を用いて、参照データE1の学習に許容度を持たせるようにしたものである。 Therefore, in the face extraction processing unit 11, as the sample images, which are known to be of faces, a 9,10,11-pixel distance between the centers of both eyes, as shown in FIG. 12, the plane on ± at each distance using a sample image stepwise rotate the face 3 degree increments at 15 ° range, in which so as to have a tolerance to the learning of the reference data E1. これにより、後述する顔検出実行部24において識別を行う際には、画像S0を拡大率として11/9単位で段階的に拡大縮小すればよいため、画像S0のサイズを例えば拡大率として例えば1.1単位で段階的に拡大縮小する場合と比較して、演算時間を低減できる。 Thus, when performing identification by the face detection execution unit 24 to be described later, since it is sufficient stepwise scaled by 11/9 unit image S0 as magnification, for example, the size of image S0 as e.g. enlargement ratio 1 as compared with the case of reducing stepwise enlarge .1 units, it can reduce the computational time. また、図14(b)、(c)に示すように回転している顔も識別することができる。 Further, FIG. 14 (b), the can also identify a face that is rotated as shown in (c).

以下、図15のフローチャートを参照しながらサンプル画像群の学習手法の一例を説明する。 Hereinafter, an example of a sample image group learning method will be described with reference to the flowchart of FIG. 15.

図16を参照しながらある識別器の作成について説明する。 Referring to FIG. 16 for creating a certain discriminator will be described. 図16の左側のサンプル画像に示すように、この識別器を作成するための画素群を構成する各画素は、顔であることが分かっている複数のサンプル画像上における、右目の中心にある画素P1、右側の頬の部分にある画素P2、額の部分にある画素P3および左側の頬の部分にある画素P4である。 As shown on the left side of the sample image 16, each pixel constituting a pixel group for generating the classifier, in the plurality of sample images, which are known to be of faces, the center of the right eye pixels P1, a pixel P4 in the pixel P2, the pixel P3 and the left part of the cheek in a portion of the forehead on the part of the right cheek. そして顔であることが分かっているすべてのサンプル画像について全画素P1〜P4における特徴量C0の組み合わせが求められ、そのヒストグラムが作成される。 And it is the combination of the characteristic amounts C0 sought in all pixels P1~P4 for all sample images, which are known to the face, the histogram is created. ここで、特徴量C0は勾配ベクトルKの方向および大きさを表すが、勾配ベクトルKの方向は0〜359の360通り、勾配ベクトルKの大きさは0〜255の256通りあるため、これをそのまま用いたのでは、組み合わせの数は1画素につき360×256通りの4画素分、すなわち(360×256) 4通りとなってしまい、学習および検出のために多大なサンプルの数、時間およびメモリを要することとなる。 Here, the characteristic amounts C0 represents the direction and magnitude of the gradient vector K, 360 kinds of direction of the gradient vector K 0 to 359, since the magnitude of the gradient vector K is 256 from 0 to 255, this than was used as it was four pixels 360 × 256 per pixel is the number of combinations, namely (360 × 256) becomes a four kinds, the number of significant samples for learning and detection, time and memory and thus it is requiring. このため、顔抽出処理装置11においては、勾配ベクトルの方向を0〜359を0〜44と315〜359(右方向、値:0),45〜134(上方向値:1),135〜224(左方向、値:2),225〜314(下方向、値3)に4値化し、勾配ベクトルの大きさを3値化(値:0〜2)する。 Therefore, in the face extraction processing unit 11, the direction of the gradient vector of 0 to 359 0 to 44 and 315 to 359 (the right direction, the value: 0), 45-134 (upward value: 1), 135-224 (left, value: 2), and 4-valued in 225-314 (downward value 3), ternary (values: 0-2) the magnitude of the gradient vector. そして、以下の式を用いて組み合わせの値を算出する。 Then, to calculate the value of the combination using the following equation.

組み合わせの値=0(勾配ベクトルの大きさ=0の場合) Combination of values ​​= 0 (if the size = 0 of the gradient vector)
組み合わせの値=((勾配ベクトルの方向+1)×勾配ベクトルの大きさ(勾配ベクトルの大きさ>0の場合) Combination of values ​​= ((direction +1) × gradient vector magnitude of the gradient vector (the gradient vector magnitude> 0)
これにより、組み合わせ数が9 4通りとなるため、特徴量C0のデータ数を低減できる。 Thus, since the number of combinations is nine patterns 4, it can reduce the number of data of the characteristic amounts C0.

同様に、顔でないことが分かっている複数のサンプル画像についても、ヒストグラムが作成される。 Similarly, the plurality of sample images, which are known to not be a face, a histogram is created. なお、顔でないことが分かっているサンプル画像については、顔であることが分かっているサンプル画像上における上記画素P1〜P4の位置に対応する画素が用いられる。 Note that the sample images are known to not be of faces, pixels corresponding to the position of the pixel P1~P4 on sample images, which are known to be of faces may be used. これらの2つのヒストグラムが示す頻度値の比の対数値を取ってヒストグラムで表したものが、図16の一番右側に示す、識別器として用いられるヒストグラムである。 Those expressed in histogram taking logarithm of the ratio of the frequency value indicated by these two histograms is shown in the most right side of FIG. 16 is a histogram used as a discriminator.
この識別器のヒストグラムが示す各縦軸の値を、以下、識別ポイントと称する。 The value of the vertical axis of the histogram of the classifier, hereinafter referred to as identification points. この識別器によれば、正の識別ポイントに対応する特徴量C0の分布を示す画像は顔である可能性が高く、識別ポイントの絶対値が大きいほどその可能性は高まると言える。 According to this discriminator, a positive image showing the distribution of the characteristic amounts C0 corresponding to the identification point is likely to be a face, it can be said that increase their potential greater the absolute value of the identification points. 逆に、負の識別ポイントに対応する特徴量C0の分布を示す画像は顔でない可能性が高く、やはり識別ポイントの絶対値が大きいほどその可能性は高まる。 Conversely, an image showing a distribution of characteristic amounts C0 corresponding to the negative of the identification points is likely not a face, it is enhanced its potential as still greater absolute value of the identification points. ステップS2では、識別に使用され得る複数種類の画素群を構成する各画素における特徴量C0の組み合わせについて、上記のヒストグラム形式の複数の識別器が作成される。 In step S2, the combination of the characteristic amounts C0 of each pixel that constitutes a plurality of types of pixel groups that can be used to identify a plurality of discriminators histogram format described above is created.

続いて、ステップS2で作成した複数の識別器のうち、画像が顔であるか否かを識別するのに最も有効な識別器が選択される。 Then, among the plurality of discriminators created in step S2, the most effective discriminator for images to identify whether a face is selected. 最も有効な識別器の選択は、各サンプル画像の重みを考慮して行われる。 Selection of the most effective discriminator is performed in consideration of the weight of each sample image. この例では、各識別器の重み付き正答率が比較され、最も高い重み付き正答率を示す識別器が選択される(S3)。 In this example, the weighted percentage of correct each classifier are compared, the identifier is selected having the highest weighted correct rate (S3). すなわち、最初のステップS3では、各サンプル画像の重みは等しく1であるので、単純にその識別器によって画像が顔であるか否かが正しく識別されるサンプル画像の数が最も多いものが、最も有効な識別器として選択される。 That is, in the first step S3, since the weight of each of the sample images is equally 1, is simply one image by the classifier whether the largest number of sample images to be correctly identified the face, the most It is selected as the effective discriminator. 一方、後述するステップS5において各サンプル画像の重みが更新された後の2回目のステップS3では、重みが1のサンプル画像、重みが1よりも大きいサンプル画像、および重みが1よりも小さいサンプル画像が混在しており、重みが1よりも大きいサンプル画像は、正答率の評価において、重みが1のサンプル画像よりも重みが大きい分多くカウントされる。 Therefore, at the second step S3 after the weight of each sample image in step S5 to be described later is updated, the weight is 1 sample images, the weight is larger sample images than 1, and the weight is small sample images than 1 There are mixed, a large sample images than weight 1 in the assessment of the percentage of correct answers, the weights are divided many count weight is greater than the first sample image. これにより、2回目以降のステップS3では、重みが小さいサンプル画像よりも、重みが大きいサンプル画像が正しく識別されることに、より重点が置かれる。 Thus, the second and subsequent step S3, than lightly weighted sample images, to heavily weighted sample images are correctly identified, more emphasis is placed.

次に、それまでに選択した識別器の組み合わせの正答率、すなわち、それまでに選択した識別器を組み合わせて使用して各サンプル画像が顔の画像であるか否かを識別した結果が、実際に顔の画像であるか否かの答えと一致する率が、所定の閾値を超えたか否かが確かめられる(S4)。 Next, the correct answer rate of the combination of the selected classifier so far, i.e., the results so far in using a combination of selected classifier each sample image is identified whether the image of a face, in fact rate matching the answer whether the image of the face is, whether exceeds a predetermined threshold value is verified (S4). ここで、組み合わせの正答率の評価に用いられるのは、現在の重みが付けられたサンプル画像群でも、重みが等しくされたサンプル画像群でもよい。 Here, for use in the evaluation of the percentage of correct combination, even in the current sample image group weights are attached, may be a sample image group weights are equal. 所定の閾値を超えた場合は、それまでに選択した識別器を用いれば画像が顔であるか否かを十分に高い確率で識別できるため、学習は終了する。 If it exceeds a predetermined threshold, the image by using the discriminator selected so far for can be identified at a sufficiently high probability whether a face learning ends. 所定の閾値以下である場合は、それまでに選択した識別器と組み合わせて用いるための追加の識別器を選択するために、ステップS6へと進む。 If it is less than a predetermined threshold value, in order to select additional classifier for use in combination with the selected classifier so far, the process proceeds to step S6.

ステップS6では、直近のステップS3で選択された識別器が再び選択されないようにするため、その識別器が除外される。 In step S6, because it was selected in the last step S3 identifier from being selected again, the discriminator is excluded.

次に、直近のステップS3で選択された識別器では顔であるか否かを正しく識別できなかったサンプル画像の重みが大きくされ、画像が顔であるか否かを正しく識別できたサンプル画像の重みが小さくされる(S5)。 Then, the classifier is selected in the most recent step S3 is larger weights of sample images that could not be correctly identified whether it is a face, an image of a sample image was correctly identify whether the face weights are small (S5). このように重みを大小させる理由は、次の識別器の選択において、既に選択された識別器では正しく識別できなかった画像を重要視し、それらの画像が顔であるか否かを正しく識別できる識別器が選択されるようにして、識別器の組み合わせの効果を高めるためである。 The reason for this way and decreasing the weight, in the selection of the next identifier, already important images that could not be correctly identified by the selected identifier, the images can correctly identify whether the face as identifier is selected, in order to increase the effect of the combination of classifiers.

続いて、ステップS3へと戻り、上記したように重み付き正答率を基準にして次に有効な識別器が選択される。 Thereafter, the process returns to step S3, then effective discriminator based on the weighted correct answer rate as described above is selected.

以上のステップS3からS6を繰り返して、顔が含まれるか否かを識別するのに適した識別器として、特定の画素群を構成する各画素における特徴量C0の組み合わせに対応する識別器が選択されたところで、ステップS4で確認される正答率が閾値を超えたとすると、顔が含まれるか否かの識別に用いる識別器の種類と識別条件とが確定され(S7)、これにより参照データE1の学習を終了する。 Repeat to S6 above step S3, a classifier adapted to identify whether a face is included, the selection identifier corresponding to the combination of the characteristic amounts C0 of each pixel constituting the specific pixel group Now that is, if the correct rate is confirmed in step S4 has exceeded the threshold value, the type of classifier employed to identify whether a face is included the identification condition is confirmed (S7), thereby the reference data E1 to the end of learning.

なお、上記の学習手法を採用する場合において、識別器は、特定の画素群を構成する各画素における特徴量C0の組み合わせを用いて顔の画像と顔でない画像とを識別する基準を提供するものであれば、上記のヒストグラムの形式のものに限られずいかなるものであってもよく、例えば2値データ、閾値または関数等であってもよい。 Note that in the case of adopting the above-mentioned learning method, classifier, which provides a reference for identifying the image non-image and the face of the face using a combination of the characteristic amounts C0 of each pixel constituting the specific pixel group if, not limited to the form of the histogram may be any one, for example, binary data may be threshold or function, or the like. また、同じヒストグラムの形式であっても、図16の中央に示した2つのヒストグラムの差分値の分布を示すヒストグラム等を用いてもよい。 Even of the histogram format, it may be used histogram that represents the distribution of difference values ​​of the two histograms illustrated in the center of FIG. 16.

また、学習の方法としては上記手法に限定されるものではなく、ニューラルネットワーク等他のマシンラーニングの手法を用いることができる。 Further, as a method of learning is not limited to the above method, it is possible to use other machine learning techniques such as neural networks.

顔検出実行部24は、複数種類の画素群を構成する各画素における特徴量C0の組み合わせのすべてについて参照データE1が学習した識別条件を参照して、各々の画素群を構成する各画素における特徴量C0の組み合わせについての識別ポイントを求め、すべての識別ポイントを総合して顔を検出する。 Face detection execution unit 24, reference data E1 for all the combinations of the characteristic amounts C0 of each pixel constituting the plurality of types of pixel groups by referring to the identifying condition learned, characterized in pixels constituting each pixel group It asked for identification point for the combination of the amount C0, to detect the face by comprehensively all of the identification point. この際、特徴量C0である勾配ベクトルKの方向は4値化され大きさは3値化される。 At this time, the direction of the gradient vector K, which is a feature quantity C0 is 4-valued magnitude is 3-valued. この顔抽出処理装置11では、すべての識別ポイントを加算して、その加算値の正負および大小によって顔であるか否かを識別する。 In the face extraction processing unit 11 adds all the identification points to identify whether the face by negative and the magnitude of the added value. 例えば、識別ポイントの総和が正の値である場合、顔であると判断し、負の値である場合には顔ではないと判断する。 For example, if the sum of the identification points is a positive value, it is determined to be a face, it is determined not to be a face when a negative value.

ここで、画像S0のサイズは30×30画素のサンプル画像とは異なり、各種サイズを有するものとなっている可能性がある。 Here, the size of image S0 is different from 30 × 30 pixels of the sample image, which may have become to have various sizes. また、顔が含まれる場合、平面上における顔の回転角度が0度であるとは限らない。 Further, if the face is included, not necessarily the rotation angle of the face on the plane is 0 degrees. このため、顔検出実行部24は、図17に示すように、画像S0を縦または横のサイズが30画素となるまで段階的に拡大縮小するとともに平面上で段階的に360度回転させつつ(図17においては縮小する状態を示す)、各段階において拡大縮小された画像S0上に30×30画素サイズのマスクMを設定し、マスクMを拡大縮小された画像S0上において1画素ずつ移動させながら、マスク内の画像が顔の画像であるか否か(すなわち、マスク内の画像に対して得られた識別ポイントの加算値が正か負か)の識別を行う。 Therefore, the face detection execution unit 24, as shown in FIG. 17, while stepwise rotated 360 degrees on a plane with stepwise scale picture S0 to vertical or horizontal size of 30 pixels ( showing a state in which reduced in FIG. 17), sets the mask M 30 × 30 pixel size on the scaled image S0 in which each stage moves by one pixel in the image S0 which has been scaled mask M while, whether the image within the mask is an image of a face (i.e., the sum of identification points obtained for the image in the mask is positive or negative) and identifies the. そして、この識別を拡大縮小および回転の全段階の画像S0について行い、識別ポイントの加算値が正の値が得られた段階におけるサイズおよび回転角度の画像S0から、識別されたマスクMの位置に対応する30×30画素の領域を顔領域として検出すると共に、この領域の画像を顔画像S1として画像S0から抽出する。 Then, performed on image S0 in all stages of scaling and rotating the identification, the image S0 size and rotation angle in the stage wherein the added value of the identification points is a positive value is obtained, the position of the identification mask M detects the area of ​​the corresponding 30 × 30 pixels as a face area, it extracts the image of the area from the image S0 as the face image S1. なお、全ての段階において識別ポイントの加算値が負である場合には、画像S0に顔が無いと判定し、処理を終了する。 Incidentally, if the sum of the discrimination points at all stages is negative, it is determined that there is no face image S0, the process ends.

なお、参照データE1の生成時に学習したサンプル画像として両目の中心位置の画素数が9,10,11画素のものを使用しているため、画像S0を拡大縮小する時の拡大率は11/9とすればよい。 Since the number of pixel center positions of the eyes as a sample image during learning of the reference data E1 is using those 9,10,11 pixels, the enlargement ratio when scaling the image S0 11/9 And it is sufficient. また、参照データE1の生成時に学習したサンプル画像として、顔が平面上で±15度の範囲において回転させたものを使用しているため、画像S0は30度単位で360度回転させればよい。 Further, as the sample images during learning of the reference data E1, due to the use of those faces are rotated within a range of ± 15 degrees on a plane, the image S0 may be rotated over 360 degrees in 30 degree increments .

なお、第1の特徴量算出部22は、画像S0の拡大縮小および回転という変形の各段階において特徴量C0を算出している。 The first feature quantity calculating unit 22 calculates the characteristic amounts C0 at each stage of deformation of scaling and rotation of the image S0.

顔検出部20は、このようにして画像S0からおおよその顔の位置および大きさを検出して、顔画像S1を得る。 The face detection unit 20, thus to detect the position and size of the approximate face from image S0, the obtained face image S1. なお、顔検出部20は、識別ポイントの加算値が正であれば顔が含まれると判定されるので、顔検出部20においては、複数の顔画像S1が得られる可能性がある。 Incidentally, the face detecting section 20, since it is determined that the sum of the discrimination points are included if positive face, the face detection unit 20, there is a possibility that a plurality of face images S1 is obtained.

図6は、目検出部30の構成を示すブロック図である。 Figure 6 is a block diagram showing the configuration of the eye detecting section 30. 目検出部30は、顔検出部20により得られた顔画像S1から両目の位置を検出し、複数の顔画像S1から真の顔画像S2を得るものであり、図示のように、顔画像S1から特徴量C0を算出する第2の特徴量算出部32と、特徴量C0および第1のデータベース40に記憶された参照データE2に基づいて目の位置の検出を実行する目検出実行部34とを備えてなる。 Eye detection unit 30 detects the position of the eyes from the face image S1, which is obtained by the face detection unit 20, which from a plurality of face images S1 obtain true face image S2, as shown, the face image S1 and a second feature quantity calculating unit 32 for calculating a feature quantity C0, the eye detection execution portion 34 performs the detection of the position of the eye on the basis of the reference data E2 stored in the feature quantity C0 and the first database 40 made with a.

顔抽出処理装置11において、目検出実行部34により識別される目の位置とは、顔における目尻から目頭の間の中心位置(図7中×で示す)であり、図7(a)に示すように真正面を向いた目の場合においては瞳の中心位置と同様であるが、図7(b)に示すように右を向いた目の場合は瞳の中心位置ではなく、瞳の中心から外れた位置または白目部分に位置する。 In the face extraction processing unit 11, and the position of the eye to be identified by the eye detection execution portion 34, a center position between inner corner from outer corner of the eye in the face (shown in Figure 7 ×), shown in FIG. 7 (a) While in the case of the eye facing squarely as is the same as the center position of the pupil, instead of the center position of the pupil when the eye facing right, as shown in FIG. 7 (b), off-center of the pupil Situated in position or pewter moiety.

第2の特徴量算出部32は、画像S0ではなく、顔画像S1から特徴量C0を算出する点を除いて、図5に示す顔検出部20における第1の特徴量算出部22と同じであるため、ここで、その詳細な説明を省略する。 Second feature quantity calculating unit 32, the image S0 rather, except for calculating the characteristic amounts C0 from the face image S1, the same as the first feature quantity calculating unit 22 in the face detecting section 20 shown in FIG. 5 some reason, here, detailed description thereof is omitted.

第1のデータベース40に記憶された第2の参照データE2は、第1の参照データE1と同じように、後述するサンプル画像から選択された複数画素の組み合わせからなる複数種類の画素群のそれぞれについて、各画素群を構成する各画素における特徴量C0の組み合わせに対する識別条件を規定したものである。 Second reference data E2 stored in the first database 40, like the first reference data E1, for each of the plurality of types of pixel groups consisting of combinations of a plurality of pixels selected from below to the sample images it is obtained by defining the identification conditions for the combination of the characteristic amounts C0 of each pixel constituting each pixel group.

ここで、第2の参照データE2の学習には、図12に示すように両目の中心間距離が9.7,10,10.3画素であり、各距離において平面上±3度の範囲にて1度単位で段階的に顔を回転させたサンプル画像を用いている。 Here, the learning of the second reference data E2, a 9.7,10,10.3 pixel distance between the centers of both eyes, as shown in FIG. 12, the range of the plane on the ± 3 degrees at each distance and using sample images stepwise rotate the face 1 degree increments Te. そのため、第1の参照データE1と比較して学習の許容度は小さく、精確に目の位置を検出することができる。 Therefore, tolerance of learning as compared to the first reference data E1 is small, can be detected accurately eye position. なお、第2の参照データE2を得るための学習は、用いられるサンプル画像群が異なる点を除いて、第1の参照データE1を得るための学習と同じであるので、ここでその詳細な説明を省略する。 The learning for obtaining the second reference data E2, except sample image group different points used, the first reference is the same as the learning for obtaining data E1, wherein the detailed description omitted.

目検出実行部34は、顔検出部20により得られた顔画像S1上において、複数種類の画素群を構成する各画素における特徴量C0の組み合わせのすべてについて第2の参照データE2が学習した識別条件を参照して、各々の画素群を構成する各画素における特徴量C0の組み合わせについての識別ポイントを求め、すべての識別ポイントを総合して顔に含まれる目の位置を識別する。 Eye detection execution unit 34, on the face image S1, which is obtained by the face detection unit 20, identification second reference data E2 for all the combinations of the characteristic amounts C0 of each pixel constituting the plurality of types of pixel groups has learned Referring to conditions, determine the identification points for the combination of the characteristic amounts C0 of each pixel constituting each pixel group, identifying the positions of the eyes included in the face totaling the discrimination points. この際、特徴量C0である勾配ベクトルKの方向は4値化され大きさは3値化される。 At this time, the direction of the gradient vector K, which is a feature quantity C0 is 4-valued magnitude is 3-valued.

ここで、目検出実行部34は、顔検出部20により得られた顔画像S1のサイズを段階的に拡大縮小するとともに平面上で段階的に360度回転させつつ、各段階において拡大縮小された顔画像上に30×30画素サイズのマスクMを設定し、マスクMを拡大縮小された顔上において1画素ずつ移動させながら、マスク内の画像における目の位置の検出を行う。 Here, the eye detection execution unit 34, while stepwise rotated 360 degrees on a plane with stepwise scale the size of the face image S1, obtained by the face detection unit 20, which is scaled in each stage set the mask M 30 × 30 pixel size on a face image, it is moved one pixel on the face that is scale the mask M, to detect the positions of the eyes in an image of the mask.

なお、第2参照データE2の生成時に学習したサンプル画像として両目の中心位置の画素数が9.07,10,10.3画素のものを使用しているため、顔画像S1の拡大縮小時の拡大率は10.3/9.7とすればよい。 Since the number of pixel center positions of the eyes as a sample image during learning of the second reference data E2 is using those 9.07,10,10.3 pixel, when scaling face image S1 expansion rate may be set to 10.3 / 9.7. また、第2の参照データE2の生成時に学習したサンプル画像として、顔が平面上で±3度の範囲において回転させたものを使用しているため、顔画像は6度単位で360度回転させればよい。 Further, as the sample images during learning of the second reference data E2, due to the use of those faces are rotated within a range of ± 3 ° in the plane, the face image is rotated 360 degrees 6 degree increments it may be Re.

なお、第2の特徴量算出部32は、顔画像S1の拡大縮小および回転という変形の各段階において特徴量C0を算出する。 The second feature quantity calculating unit 32 calculates the characteristic amounts C0 at each stage of deformation of scaling and rotation of the face image S1.

そして、この顔抽出処理装置11では、顔検出部20により得られた全ての顔画像S1毎に、顔画像S1の変形の全段階においてすべての識別ポイントを加算し、最も大きい加算値が得られた顔画像S1の変形の段階における30×30画素のマスクM内の画像において、左上隅を原点とする座標を設定し、サンプル画像における目の位置の座標(x1,y1)、(x2,y2)に対応する位置を求め、変形前の当該顔画像S1におけるこの位置に対応する位置を目の位置として検出する。 Then, in the face extraction processing unit 11, all in each face image S1, which is obtained by the face detection unit 20, adds all identified points at all stages of the deformation of the face image S1, the largest sum is obtained and in the image of the mask M of 30 × 30 pixels at the stage of the deformation of the face image S1, set the coordinates of the upper left corner as the origin, the coordinates of the positions of the eyes in the sample image (x1, y1), (x2, y2 ) to determine the corresponding position, to detect the position corresponding to the position of the face image S1 of before deformation as the position of the eye.

目検出部30は、このようにして、顔検出部20により得られた顔画像S1から両目の位置を夫々検出し、両目の位置と共に、両目の位置が検出された際の顔画像S1を真の顔画像S2としてフレームモデル構築部50に出力する。 Eye detection unit 30 is, in this way, to respectively detect the positions of the eyes from the face image S1, which is obtained by the face detection unit 20, the true with the position of the eyes, the face image S1 of when the eyes of the position is detected and outputs it as a face image S2 to the frame model construction unit 50.

図18は、図4に示す顔抽出処理装置11におけるフレームモデル構築部50の構成を示すブロック図である。 Figure 18 is a block diagram showing a configuration of a frame model construction section 50 in the face extraction processing unit 11 shown in FIG. フレームモデル構築部50は、第2のデータベース80に記憶された平均フレームモデルSavと参照データE3とを用いて、目検出部30により得られた顔画像S2における顔のフレームモデルShを得るものであり、図18に示すように、平均フレームモデルSavを顔画像S0に嵌め込むモデル嵌込部52と、各ランドマークを識別するためのプロファイルを算出するプロファイル算出部54と、プロファイル算出部54により算出された輝度プロファイル、および参照データE3に基づいて平均フレームモデルSavを変形させてフレームモデルShを得る変形部60とを有してなる。 Frame model construction unit 50 is intended to obtain by using the reference data E3 and the average frame model Sav stored in the second database 80, a frame model Sh of the face in the face image S2 obtained by the eye detecting section 30 There, as shown in FIG. 18, a model fitting portion 52 fitting the average frame model Sav in the face image S0, the profile calculating unit 54 for calculating a profile for identifying each landmark, the profile calculating unit 54 calculated brightness profile, and reference data E3 on the basis of deforming the average frame model Sav made and a deformable portion 60 to obtain a frame model Sh by. ここで、第2のデータベース80に記憶された平均フレームモデルSavと参照データE3、フレームモデル構築部50の各構成の詳細について説明する。 Here, the reference data E3 and the average frame model Sav stored in the second database 80, will be described in detail the structure of the frame model construction unit 50.

第2のデータベース80に記憶された平均フレームモデルSavは、複数の、顔であることが分かっているサンプル画像から得られたものである。 The average frame model Sav stored in the second database 80 includes a plurality, is obtained from the sample images, which are known to be of faces. 顔抽出処理装置11において、90×90画素サイズを有し、1つの顔の画像について両目の中心間の距離が30画素となるように正規化されたサンプル画像を用いるとする。 In the face extraction processing unit 11 has a 90 × 90 pixel size, the distance between the eyes for one face image center is to use a normalized sample image such that 30 pixels. これらのサンプル画像に対して、まずオペレータにより図21に示すような、顔の形状、鼻、口、目などの形状および位置関係を示すことができるランドマークの位置を指定する。 For these sample images, first the operator by, as shown in FIG. 21, the shape of the face, to specify the nose, mouth, the position of the landmarks can show the shape and positional relationship such as the eye. 例えば左目の目尻、左目の中心、左目の目頭、両目間の中心点、顎先端などを夫々1番目、2番目、3番目、4番目、110番目のランドマークとするように、顔毎に130個のランドマークを指定する。 For example the left eye of the eye area, eye center, left eye inside corner, the center point between the eyes, such as the respective first jaw tip, second, third, fourth, to the 110 th landmark 130 in each face to specify the number of landmarks. そして、各サンプル画像における両目間の中心点を合わせた上で、相対応するランドマーク(すなわち同じ番号を有するランドマーク)の位置を平均して各ランドマークの平均位置を得る。 Then, on the combined center point between the eyes in each sample image to obtain the average position of each landmark by averaging the position of (landmark having i.e. same number) of corresponding landmarks. このように得られた各ランドマークの平均位置によって、前述した式(2)の平均フレームモデルSavが構成される。 The average position of each landmark obtained in this way, the average frame model Sav of formula (2) is constructed as described above.

また、第2のデータベース80には、上記各サンプル画像および平均フレームモデルSavから求められたK個(ランドマークの個数の2倍以下、ここでは260個以下例えば16個)の固有ベクトルP (P j1 ,P j2 ,・・・,P j(206) )(1≦j≦K)および各固有ベクトルP に夫々対応するK個の固有値λ j (1≦j≦K)も記憶されている。 The second database 80, K pieces obtained from each sample image and the average frame model Sav (2 times the number of landmarks below, where 260 the following example 16) eigenvectors P j (P in j1, P j2, ···, P j (206)) (1 ≦ j ≦ K) and K eigenvalues λ j (1 ≦ j ≦ K respectively corresponding to each eigenvector P j) is also stored. 固有ベクトルP および各固有ベクトルP に夫々対応する固有値λ jの求め方は、従来技術に用いられた手法と同じであるので、ここで説明を省略する。 Since each corresponding method of determining the eigenvalues lambda j is the eigenvector P j and each eigenvector P j, is the same as the procedure used in the prior art, the description thereof is omitted here.

第2のデータベース80に記憶された参照データE3は、顔上の各ランドマークに対して定義された輝度プロファイルおよび輝度プロファイルに対する識別条件を規定したものであり、複数のサンプル画像の顔における、該当するランドマークが示す位置であることが分かっている部位と、複数のサンプル画像の顔における、該当するランドマークが示す位置ではないことが分かっている部位の学習により、あらかじめ決められたものである。 Reference data E3 stored in the second database 80 is obtained by defining the identification conditions for brightness profile and intensity profiles that are defined for each landmark on the face, the face of the plurality of sample images, the appropriate a site known to be the landmark is a position indicated by the to, in the face of the plurality of sample images, by learning sites known to be not the position indicated by the corresponding landmark in which predetermined .
ここで、上唇の凹点を示すランドマークに対して定義された輝度ファイルに対する識別条件の取得を例にして説明する。 Here, the acquisition of the identification conditions for luminance file defined for the landmark indicating a recessed point of the upper lip will be described as an example.

顔抽出処理装置11において、参照データE3を生成する際に、平均フレームモデルSavを得る際に使用されたサンプル画像と同じものを用いる。 In the face extraction processing unit 11, when generating the reference data E3, using the same as that used in obtaining the average frame model Sav sample images. これらのサンプル画像は90×90画素サイズを有し、1つの顔の画像について両目の中心間の距離が30画素となるように正規化されたものを用いる。 These sample images have 90 × 90 pixel size, used as the distance between the eyes of the center for one of the face image is normalized so that 30 pixels. 上唇の凹点を示すランドマークに対して定義された輝度プロファイルは、図22に示すように、このランドマークの両側のランドマークA1、A2を結び線と垂直し、かつランドマークA0を通過する直線Lにおける、ランドマークA0を中心とする11個の画素の輝度プロファイルであり、上唇の凹点を示すランドマークに対して定義された輝度プロファイルに対する識別条件を得るために、まず、各サンプル画像の顔に対して指定された上唇の凹点を示すランドマークの位置におけるプロファイルを夫々算出する。 Brightness profile defined for the landmark indicating the recessed points of the upper lip, as shown in FIG. 22, and both sides of the landmark A1, the A2 knot line perpendicular of the landmark, and passes through the landmark A0 in the linear L, the luminance profile of the 11 pixels centered on the landmark A0, in order to obtain the identification condition for brightness profile defined for the landmark indicating a concave point of the upper lip, first, the sample images profiles respectively calculated at the position of the landmark indicating a recessed point of the specified upper lip against the face. そして、各サンプル画像の顔における、上唇の凹点以外の任意の位置(例えば目尻)を示すランドマークに対して、上唇の凹点を示すランドマークに対して定義された輝度プロファイルも算出する。 Then, in the face of each of the sample images, the land mark indicating any position other than the concave point of the upper lip (eg eye area), also calculated brightness profile defined for the landmark indicating a concave point of the upper lip.

そして、後の処理時間を短縮するために、これらのプロファイルを多値化例えば5値化する。 Then, in order to shorten the processing time after, the multi-level example 5 binarizing these profiles. 顔抽出処理装置11において、分散値に基づいて輝度プロファイルを5値化する。 In the face extraction processing unit 11, for 5 binarizes the luminance profile based on the variance value. この5値化は、具体的には、輝度プロファイルを形成する各輝度値(上唇の凹点のランドマークの輝度プロファイルの場合、この輝度プロファイルを取得する際に用いられた11個の画素の輝度値)の分散値σを求めると共に、各輝度値の平均値Yavを中心にし、分散値単位に5値化を行うものである。 This 5-valued, specifically, when the brightness profile landmarks concave point of the luminance values ​​(upper lip to form a luminance profile, the luminance of 11 pixels used in obtaining the brightness profile with obtaining the variance value σ value), around the average value Yav of each luminance value, and performs 5-valued into the dispersion value units. 例えば、(Yav―(3/4)σ)以下の輝度値を0に、(Yav−(3/4)σ)と(Yav−(1/4)σ)間の輝度値を1に、(Yav−(1/4)σ)と(Yav+(1/4)σ)間の輝度値を2に、(Yav+(1/4)σ)と(Yav+(3/4)σ)間の輝度値を3に、(Yav+(3/4)σ)以上の輝度値を4にするように5値化する。 For example, (Yav- (3/4) σ) following the luminance values ​​to 0, to 1 luminance values ​​between (Yav- (3/4) σ) and (Yav- (1/4) σ), ( Yav- (1/4) σ) and (Yav + (1/4) σ) the luminance values ​​between the 2, (Yav + (1/4) σ) and (Yav + (3/4) σ) luminance values ​​between in the 3 and 5-valued to the 4 (Yav + (3/4) σ) or more luminance values.

上唇の凹点を示すランドマークのプロファイルを識別するための識別条件は、上記のような5値化された、各サンプル画像における上唇の凹点を示すランドマークのプロファイル(以下第1のプロファイル群という)と、上唇の凹点以外を示すランドマークに対して求められたプロファイル(以下第2のプロファイル群という)とに対して学習することによって得られる。 Identification condition for identifying a profile of the landmark indicating the recessed points of the upper lip was 5 binarized as above, the profile (hereinafter first profile group landmarks indicating the recessed points of the upper lip in the sample images a) that is obtained by learning with respect to the profile determined for landmark indicating none concave point of the upper lip (hereinafter referred to as the second profile group).

上記2種類のプロファイル画像群の学習手法は、顔検出部20に用いられた参照データE1や、目検出部30に用いられた参照データE2の学習手法と同じであるが、ここでその概略について説明する。 Learning method of the above two types of profile image group, reference data E1 and used for the face detection unit 20 is the same as the learning method of the reference data E2 used in the eye detecting section 30, where its outline explain.

まず、識別器の作成について説明する。 First, it will be described the creation of the classifier. 1つの輝度プロファイルを構成する要素としては、該輝度プロファイルを構成する各輝度値の組合せにより示される輝度プロファイルの形状とすることができ、輝度値が0、1、2、3、4の5通りあり、1つのプロファイルに含まれる画素が11個をそのままを用いたのでは、輝度値の組合せが5 11通りとなり、学習および検出のために多大な時間およびメモリを要することとなる。 The elements constituting one luminance profile, can be in the form of luminance profile shown by the combination of the luminance values ​​constituting luminance profile, 5 kinds of luminance values ​​0, 1, 2 There, pixels than using as eleven are included in one profile, the combination of the luminance value becomes 5 eleven, it takes a lot of time and memory for learning and detection. このため、顔抽出処理装置11においては、1つの輝度プロファイルを構成する複数の画素のうちの一部の画素のみを用いることとする。 Therefore, in the face extraction processing unit 11, and to use only some of the pixels of the plurality of pixels constituting one luminance profile. 例えば、11個の画素の輝度値から構成されたプロファイルの場合、その2番目、6番目、10番目の画素の3つの画素を用いる。 For example, if a profile constructed from the luminance values ​​of 11 pixels, its second, sixth, using three pixels of 10-th pixel. この3つの画素の輝度値の組合せは5 通りとなるため、演算時間の短縮およびメモリの節約を図ることができる。 Since the combination of the luminance values of the three pixels will be ways 5 3, can be shortened and memory savings of computation time. 識別器の作成に当たり、まず、第1のプロファイル群における全てのプロファイルについて、上記輝度値の組合せ((当該プロファイルを構成する画素の一部ここでは2番目、6番目、10番目の3個の画素の輝度値の組合せ。以下同じ)が求められ、そしてヒストグラムが作成される。同様に、第2のプロファイル群に含まれる各プロファイルについても、同じヒストグラムが作成される。これらの2つのヒストグラムが示す頻度値の比の対数値を取ってヒストグラムで表したものが、ランドマークの輝度プロファイルの識別器として用いられるヒストグラムである。顔を検出する際に作られた識別器と同じように、この識別器によれば、該識別器のヒストグラムが示す各縦軸の値(識別ポイント)が正であれば、該識別ポイントに対応す In preparing discriminator, first, for all the profiles of the first profile group, the combination of the luminance values ​​((2nd in this case some of the pixels constituting the profile, 6 th, 10 th three pixels the combination of the luminance values. hereinafter the same) is determined, and a histogram is created. Similarly, for each profile that is included in the second profile group, the same histogram is generated. shown in these two histograms those expressed in histogram taking logarithm of the ratio of the frequency values, a histogram is used as a discriminator of the brightness profile of the landmark. like made classifier in detecting a face, this identification According to a vessel, if it is positive value (identification points) for the vertical axis of the histogram of the identification device, to correspond to the identification point 輝度値分布を有するプロファイルの位置が上唇の凹点である可能性が高く、識別ポイントの絶対値が大きいほどその可能性が高まると言える。 Likely position of the profile is a concave point of the upper lip with a luminance value distribution, it can be said that higher the likelihood is large absolute value of the identification points is increased.
逆に識別ポイントが負であれば、該識別ポイントに対応する輝度値分布を有するプロファイルの位置が上唇の凹点ではない可能性が高く、やはり識別ポイントの絶対値が大きいほどその可能性が高まる。 If contrary to the identification point is negative, likely position of the profile is not a concave point of the upper lip with a luminance value distribution corresponding to the identification point, the more increases the possibility still greater absolute value of the identification points .

上唇の凹点を示すランドマークの輝度プロファイルに対して、このようなヒストグラム形式の複数の識別器が作成される。 The luminance profiles of the landmark indicating a concave point of the upper lip, a plurality of discriminators such histogram format is created.

続いて、作成した複数の識別器のうち、上唇の凹点を示すランドマークであるか否かの識別に最も有効な識別器が選択される。 Then, among the plurality of discriminators created, most effective discriminator in the discrimination of whether the landmark showing the recessed points of the upper lip is selected. ここで、ランドマークの輝度プロファイルを識別するための最も有効な識別器の選択手法は、識別対象がランドマークの輝度プロファイルである点を除いて、顔検出部20に用いられた参照データE1中の識別器を作成する際に行われた選択の手法と同じであるため、ここで詳細な説明を省略する。 Here, the most effective discriminator selection method for identifying a brightness profile of the landmark, except identification target is a luminance profile of the landmark reference data in E1 used for the face detection unit 20 is the same as method selection made in creating a discriminator, not described in detail herein.

第1のプロファイル群と第2のプロファイル群に対する学習の結果、上唇の凹点を示すランドマークの輝度プロファイルであるか否かの識別に用いる識別器の種類と識別条件が確定される。 Results of the study relative to the first profile group and the second profile group, type and identification condition of the discriminator used to identify whether the brightness profile of the landmark indicating the recessed points of the upper lip is determined.

ここで、サンプル画像のランドマークの輝度プロファイルの学習方法は、アダブースティングの手法に基づいたマシンラーニング手法を用いたが、上記手法に限定されるものではなく、ニューラルネットワーク等他のマシンラーニングの手法を用いてもよい。 Here, the learning process of the luminance profile of the landmarks of the sample image, which was used machine learning technique based on the method of AdaBoosting, is not limited to the above method, like the other neural network machine learning technique may be used.

フレームモデル構築部50の説明に戻る。 Returning to the description of the frame model building section 50. 図18に示すフレームモデル構築部50は、画像S0から得られた顔画像S2が示す顔のフレームモデルを構築するために、まず、モデル嵌込部52により、第2のデータベース80に記憶された平均フレームモデルSavを顔画像S2における顔に嵌め込む。 Frame model constructing section 50 shown in FIG. 18, in order to build the frame model of the face which the face image S2 obtained from image S0 is shown, first, the model fitting unit 52, stored in the second database 80 fitting the average frame model Sav the face in the face image S2. 平均フレームモデルSavを嵌め込む際に、平均フレームモデルSavにより示される顔と、顔画像S2における顔の向き、位置、大きさをできるだけ一致させることが望ましく、ここでは、平均フレームモデルSavにおける、両目の中心点を夫々表すランドマークの位置と、顔画像S2における、目検出部30により検出された両目の夫々の位置とが一致するように、顔画像S2を回転および拡大縮小して、平均フレームモデルSavの嵌め込みを行う。 When fitting the average frame model Sav, the face indicated by the average frame model Sav, the orientation of the face in the face image S2, position, it is desirable to match as much as possible the size, where, in the average frame model Sav, eyes the position of the landmark representing respectively the center point of the face image S2, so that the position of each of the eyes detected by the eye detection unit 30 is matched, by rotating and scaling the face image S2, the average frame carry out the fitting of the model Sav. なお、ここで、平均フレームモデルSavを嵌め込む際に回転および拡大縮小された顔画像S2は、以下顔画像S2aという。 Here, rotation and scaling face image S2 when fitting the average frame model Sav is hereinafter referred to a face image S2a.

プロファイル算出部54は、各ランドマークに対して定義された輝度プロファイルを、平均フレームモデルSav上における各ランドマークが対応する顔画像S2a上の位置にある画素を含む所定の範囲内における各画素の位置に対して輝度プロファイルを求めて、プロファイル群を得るものである。 Profile calculating section 54, a brightness profile defined for each landmark, the landmark on the average frame model Sav is the pixels within a predetermined range including the pixel at the position on the corresponding face image S2a seeking brightness profile relative to the position, thereby obtaining a profile group. 例えば、上唇の凹点を示すランドマークは130個のランドマーク中の80番目のランドマークである場合、この80番目のランドマークに対して定義された図22に示すような輝度プロファイル(ここでは11個の画素の輝度値の組合せであり、参照データE3に含まれている)を、平均フレームモデルSav上の80番目のランドマークが対応する位置の画素(画素Aとする)を中心とする所定の範囲内の各画素に対して求める。 For example, if the landmark indicating the recessed points of the upper lip 80 th landmark in 130 pieces of landmark luminance profile as shown in FIG. 22 defined for this 80 th landmark (in this case a combination of the luminance values ​​of 11 pixels, a and are) included in the reference data E3, 80 th landmark on the average frame model Sav is centered on the pixel at the corresponding position (a pixel a) determining for each pixel within a predetermined range. なお、「所定の範囲」は、参照データE3に含まれた輝度プロファイルを構成する輝度値に対応する画素の範囲より広い範囲を意味する。 Incidentally, the "predetermined range" means a range wider than the range of pixels corresponding to the luminance values ​​constituting luminance profile included in the reference data E3. 例えば、図22に示すように、80番目のランドマークの輝度プロファイルは、80番目のランドマークの両側のランドマークを結んだ直線と垂直し、かつ80番目のランドマークを通る直線L上における、80番目のランドマークを中心とする11画素の輝度プロファイルであるため、この「所定の範囲」は、この直線L上における、11画素より広い範囲例えば21画素の範囲とすることができる。 For example, as shown in FIG. 22, in the 80 th brightness profile landmark, 80th linearly and vertically connecting the sides of Landmark, and on the straight line L passing through the 80 th landmark for a 80-th luminance profile of 11 pixels centered on the landmark, the "predetermined range", on the straight line L, may be a wide range, for example 21 pixel range of from 11 pixels. この範囲内の各画素の位置において、該画素を中心とする連続する11個の画素毎に輝度プロファイルが求められる。 In the position of each pixel in this range, the luminance profile obtained for each eleven consecutive pixels centered on the pixel. すなわち、平均フレームモデルSav上の1つ、例えば上唇の凹点のランドマークに対して、顔画像S2aから21個のプロファイルが求められ、プロファイル群として変形部60に出力される。 That is, one on the average frame model Sav, relative landmark example of the upper lip recessed point, 21 of the profile is obtained from the face image S2a, is outputted to the deformation portion 60 as a profile group. このようなプロファイル群は、各ランドマーク(ここでは130個のランドマーク)に対して取得される。 Such profile group is obtained for each landmark (130 amino landmark here). なお、ここで、全てのプロファイルが5値化される。 Here, all profiles are 5-valued.

図19は、変形部60の構成を示すブロック図であり、図示のように、識別部61と、全体位置調整部62と、ランドマーク位置調整部63と、判断部68とを備えてなる。 Figure 19 is a block diagram showing the configuration of the deformation portion 60, as shown, an identification unit 61, an overall position adjusting unit 62, a landmark position adjusting unit 63, comprising a decision unit 68.

識別部61は、まず、プロファイル算出部54により顔画像S2aから算出された各ランドマークのプロファイル群毎に、該プロファイル群に含まれる各々のプロファイルが、当該ランドマークのプロファイルであるか否かを識別する。 Identification unit 61, first, for each profile group for each landmark calculated from the face image S2a by the profile calculating unit 54, each of the profiles included in the set of profiles, whether the profile of the landmark identify. 具体的には、1つのプロファイル群、例えば平均フレームモデルSav上の上唇の凹点を示すランドマーク(80番目のランドマーク)に対して求められたプロファイル群に含まれる21個のプロファイルの夫々に対して、参照データE3に含まれる、80番目のランドマークの輝度プロファイルの識別器および識別条件を用いて識別を行って識別ポイントを求め、1つのプロファイルに対して各識別器による識別ポイントの総和が正である場合、該プロファイルが80番目のランドマークのプロファイルである、すなわち該プロファイルの対応する画素(11個の画素の中心画素、すなわち6番目の画素)が80番目のランドマークを示す画素である可能性が高いとし、逆に1つのプロファイルに対して各識別器による識別ポイントの総和 Specifically, one profile group, for example, the average frame model Sav on the upper lip 21 of the profile contained in the profile group determined for landmark (80 th landmark) showing the recessed points each to in contrast, reference in the data E3, performs identifying seeking identification points with 80 th identifier and identifying condition of the luminance profile of the landmark, the sum of the discrimination points by each discriminator for one profile If there is positive, the profile is a profile of 80 th landmark, i.e. pixel (center pixel of the 11 pixels, i.e., the sixth pixel) corresponding pixels of the profile shows a 80 th landmark and it is likely to be the sum of the discrimination points by each discriminator for one profile conversely 負である場合、該プロファイルが80番目のランドマークのプロファイルではない、すなわち該プロファイルの対応する画素が80番目のランドマークではないとして識別する。 If it is negative, the profile is not the profile 80 th landmark, that identifies a corresponding pixel of the profile is not the 80 th landmark. そして、識別部61は、21個のプロファイルのうち、識別ポイントの総和が正であり、かつ絶対値が最も大きいプロファイルの対応する中心画素を80番目のランドマークとして識別する。 Then, the identification unit 61, among the 21 pieces of the profile, is the sum of the discrimination points is positive, and for identifying the corresponding center pixel of the largest absolute value profile as a 80 th landmark. 一方、21個のプロファイルのうち、識別ポイントの総和が正であるプロファイルが1つもない場合、21個のプロファイルの対応する21個の画素すべてが、80番目のランドマークではないと識別する。 Meanwhile, among the 21 pieces of the profile, if the sum of the identification point profiles none of the positive, identifying all the corresponding 21 pixels of 21 profiles, not the 80-th landmark.

識別部61は、このような識別を各ランドマーク群に対して行い、ランドマーク群毎の識別結果を全体位置調整部62に出力する。 Identification unit 61 performs such identification for each landmark group, it outputs the identification result for each landmark group throughout position adjusting section 62.

前述したように、目検出部30は、サンプル画像と同じサイズ(30画素×30画素)のマスクを用いて両目の位置を検出するようにしているのに対し、フレームモデル構築部50では、ランドマークの位置を精確に検出するために、90画素×90画素のサンプル画像から得た平均フレームモデルSavを用いるので、目検出部30により検出された両目の位置と平均フレームモデルSavにおける両目の中心を示すランドマークの位置とを合わせるだけでは、ズレが残る可能性がある。 As described above, the eye detecting section 30, while being as to detect the positions of the eyes by using a mask having the same size as the sample image (30 pixels × 30 pixels), the frame model construction section 50, the land to accurately detect the position of the mark, 90 since using the average frame model Sav obtained from the pixels × 90 pixels of the sample image, the eyes at the position between the average frame model Sav both eyes detected by the eye detecting section 30 center only align the position of the landmark indicating the is likely to shift remains.

全体位置調整部62は、識別部61による識別結果に基づいて、平均フレームモデルSavの全体の位置を調整するものであり、具体的には平均フレームモデルSav全体を必要に応じて、直線的な移動、回転および拡大縮小をし、顔の位置、大きさ、向きと平均フレームモデルSavにより表される顔の位置、大きさ、向きとをより一致させるようにし、前述したズレをさらに小さくするものである。 Overall position adjusting unit 62, based on the identification result by the identifying unit 61, which adjusts the overall position of the average frame model Sav, in particular if necessary the whole average frame model Sav, a linear movement, which by rotation and scaling, the position of the face, size, position of the face represented by the direction and the average frame model Sav, size, so as to match more and orientation, further reduce the deviation described above it is. 具体的には、全体位置調整部62は、まず、識別部61により得られたランドマーク群毎の識別結果に基づいて、平均フレームモデルSav上の各ランドマークを夫々移動すべき移動量(移動量の大きさおよび方向)の最大値を算出する。 Specifically, the overall position adjusting unit 62, first, based on the identification result for each landmark group obtained by the recognition unit 61, the moving amount of each landmark respectively to be moved on the average frame model Sav (mobile and it calculates the maximum value of the amount of magnitude and direction). この移動量例えば80番目のランドマークの移動量の最大値は、平均フレームモデルSav上の80番目のランドマークの位置が、識別部61により顔画像S2aから識別された80番目のランドマークの画素の位置になるように算出される。 The maximum value of the moving amount of the moving amount, for example, 80 th landmark, the position of the 80 th landmark on the average frame model Sav is, 80-th pixel landmark by the recognition unit 61 is identified from the face image S2a It is calculated so as to position.

次いで、全体位置調整部62は、各ランドマークの移動量の最大値より小さい値、この顔抽出処理装置11においては、移動量の最大値の1/3の値を移動量として算出する。 Then, the overall position adjusting unit 62, a maximum value less than the amount of movement of each landmark, in this face extraction processing unit 11 calculates the value of 1/3 of the maximum value of the movement amount as a movement amount. この移動量は各ランドマークに対して得られ、以下総合移動量としてベクトルV(V1,V2,・・・,V2n)(n:ランドマークの個数。ここでは130)で表すこととする。 The amount of movement is obtained for each landmark, the following vector V as a total amount of movement (V1, V2, ···, V2n) (n:. The number of landmark here 130) and be represented by.

全体位置調整部62は、このように算出された平均フレームモデルSav上の各ランドマークの移動量に基づいて、平均フレームモデルSavに対して直線的な移動、回転および拡大縮小を行う必要性があるか否かを判定し、必要がある場合には該当する処理を行うと共に、調整された平均フレームモデルSavが嵌め込まれた顔画像S2aをランドマーク位置調整部63に出力する。 Overall position adjusting unit 62, based on the amount of movement of each landmark on thus calculated average frame model Sav, linear movement relative to the average frame model Sav, need to perform rotation and scaling is determining whether, when there is a need performs corresponding processing, and outputs the average frame model Sav adjusted is fitted facial image S2a landmark position adjusting section 63. なお、必要がないと判定した場合、平均フレームモデルSavの全体的な調整をせずに顔画像S2aをそのままランドマーク位置調整部63に出力する。 Incidentally, if it is determined that there is no need, and outputs face image S2a without overall coordination of the average frame model Sav as landmark position adjusting section 63. 例えば、平均フレームモデルSav上の各ランドマークの移動量に含まれる移動の方向が同じ方向に向かう傾向を示す場合、この方向に平均フレームSavの全体の位置を直線的に移動させる必要があるように判定することができ、平均フレームモデルSav上の各ランドマークの移動量に含まれる移動の方向が夫々異なるが、回転に向かう傾向を示す場合、この回転方向に平均フレームモデルSavを回転させる必要があるように判定することができる。 For example, when the direction of movement contained in the amount of movement of each landmark on the average frame model Sav is a tendency toward the same direction, so that in this direction it is necessary to move the entire position of the average frame Sav linearly to be able to determine the average frame direction of movement contained in the amount of movement of each landmark on the model Sav is different from each other, but if a tendency towards rotation, necessary to rotate the average frame model Sav to the rotating direction it can be determined as it is. また、例えば平均フレームモデルSav上の、顔の輪郭上の位置を示す各ランドマークの移動量に含まれる移動方向が、全部顔の外側に向かう場合には、平均フレームモデルSavを縮小する必要があると判定することができる。 Further, for example, on the average frame model Sav, moving direction included in the movement amount of each landmark indicating a position on the contour of the face, when the outward all face, is necessary to reduce the average frame model Sav it can be determined that there is.

全体位置調整部62は、このようにして平均フレームSavの位置を全体的に調整し、調整された平均フレームモデルSavが嵌め込まれた顔画像S2aをランドマーク位置調整部63に出力する。 Overall position adjusting unit 62 outputs this way the position of the average frame Sav totally adjusted, adjusted average frame model Sav is fitted face image S2a landmark position adjusting section 63. ここで、全体調整部62の調整により各ランドマークが実際に移動された量(全体移動量という)をベクトルVa(V1a,V2a,・・・,V2na)とする。 Here, the amount of each landmark is actually moved by the adjustment of the overall adjustment unit 62 (referred to total amount of movement) vector Va (V1a, V2a, ···, V2na) and.

ランドマーク位置調整部63は、全体的な位置調整が行われた平均フレームモデルSavの各ランドマークの位置を移動することによって平均フレームモデルSavを変形させるものであり、図19に示すように、変形パラメータ算出部64と、変形パラメータ調整部65と、位置調整実行部66とを備えてなる。 Landmark position adjusting unit 63, which deforms the average frame model Sav by moving the position of each landmark of the average frame model Sav the overall alignment is performed, as shown in FIG. 19, and the deformation parameter calculation unit 64, and the deformation parameter adjustment section 65, formed by a position adjustment execution section 66. 変形パラメータ算出部64は、まず、下記の式(6)により各ランドマークの移動量(個別移動量という)Vb(V1b,V2b,・・・,V2nb)を算出する。 Deformation parameter calculating unit 64, first, the amount of movement of each landmark by the equation (6) below (individual moving amount of) Vb is calculated (V1b, V2b, ···, V2nb) a.

Vb=V−Va (6) Vb = V-Va (6)
但し,V:総合移動量 However, V: total amount of movement
Va:全体移動量 Va: the entire amount of movement
Vb:個別移動量 そして、変形パラメータ算出部64は、前述した式(4)を用いて、第2のデータベース80に記憶された固有ベクトルPjと、式(6)により求められた個別移動量Vb(式(4)中ΔSに対応する)とを用いて、移動量Vbが対応する変形パラメータb を算出する。 Vb: Individual movement amount and deformation parameter calculation unit 64, using equation (4) described above, and eigenvectors Pj stored in the second database 80, the individual moving amount obtained by the equation (6) Vb ( by using the equation (4) corresponds to the middle [Delta] S), the moving amount Vb to calculate the corresponding deformation parameter b j.

そこで、平均フレームモデルSav上のランドマークの移動量が大き過ぎると、ランドマークが移動された後の平均フレームモデルSavは顔を表すものではなくなるため、変形パラメータ調整部65は、前述した式(5)に基づいて、変形パラメータ算出部64により求められた変形パラメータb を調整する。 Therefore, the amount of movement is too large landmark on the average frame model Sav, the average frame model Sav after landmarks have been moved to become not represent a face, deformation parameter adjustment section 65, the above-mentioned formula ( 5) on the basis, for adjusting the deformation parameter b j obtained by the deformation parameter calculation unit 64. 具体的には、式(5)を満たすb の場合には、該b をそのままにすると共に、式(5)を満たさないb の場合には、該b の値が式(5)に示される範囲内に納まるように(ここでは正負がそのまま、絶対値がこの範囲内の最大値となるように)当該変形パラメータb を修正する。 Specifically, in the case of b j that satisfies Equation (5) is configured to the b j intact, in the case of b j which do not satisfy the equation (5), the value of the b j is the formula (5 to fit within the range shown in) (where it is negative, the absolute value to correct the maximum value so as to) the deformation parameter b j within this range.

位置調整実行部66は、このようにして調整された変形パラメータを用いて、式(4)に従って平均フレームモデルSav上の各ランドマークの位置を移動させることによって平均フレームモデルSavを変形させてフレームモデル(ここでSh(1)とする)を得る。 Position adjustment execution unit 66 uses the modified parameter adjusted in this way, by deforming the average frame model Sav by moving the position of each landmark on the average frame model Sav according to equation (4) Frame obtaining a model (here and Sh (1)).

判断部68は、収束か否かの判断を行うものであり、例えば変形前のフレームモデル(ここでは平均フレームモデルSav)と変形後のフレームモデル(ここではSh(1))上の相対応するランドマークの位置間の差(例えば2つのフレームモデル上の80番目のランドマークの位置間の差)の絶対値の総和を求め、この総和が所定の閾値以下である場合には収束したと判断し、変形後のフレームモデル(ここではSh(1))を目的のフレームモデルShとして出力する一方、この総和が所定の閾値より大きい場合には収束していないと判定し、変形後のフレームモデル(ここではSh(1))をプロファイル算出部54に出力する。 Determining unit 68, which performs the convergence determination of whether, for example, the pre-deformation frame model (in this case average frame model Sav) mutually corresponding on (Sh (1) in this case) and the frame model after deformation obtains the sum of the absolute differences between the position of the landmark (e.g. the difference between 80-th landmark positions on the two frame model), determines that this sum has converged when a specific threshold or less and, one frame model after deformation (here, in which Sh (1)) and outputs the purposes frame model Sh of determining that the sum does not converge is greater than a predetermined threshold value, frame model after deformation (here Sh (1)) and outputs to the profile calculator 54. 後者の場合、プロファイル算出部54による処理、識別部61による処理と、全体位置調整部62による処理と、ランドマーク位置調整部63による処理は、前回の変形後のフレームモデル(Sh(1))と顔画像S2aを対象としてもう一度行われて新しいフレームモデルSh(2)が得られる。 In the latter case, the processing by the profile calculating unit 54, a processing by the recognition unit 61, the processing by the overall position adjusting unit 62, the processing by the landmark position adjusting unit 63, a frame model after the previous modification (Sh (1)) again performed by the new frame model Sh as an object (2) is obtained face image S2a and.

このように、プロファイル算出部54による処理から、識別部61による処理を経て、ランドマーク位置調整部63の位置調整実行部66による処理までの一連の処理は、収束するまで繰り返される。 Thus, the processing by the profile calculating section 54, through the processing by the recognition unit 61, a series of processes up to the process by the position adjustment execution section 66 of the landmark position adjusting unit 63 is repeated until convergence. そして、収束した際のフレームモデルは、目的のフレームモデルShとして得られ、顔抽出処理装置11の処理が終了する。 The frame model when converged is obtained as a frame model Sh purposes, the processing of the face extraction processing unit 11 is completed.

図20は、図4に示す顔抽出処理装置11において行われる処理を示すフローチャートである。 Figure 20 is a flowchart showing the processing performed in the face extraction processing unit 11 shown in FIG. 図示のように、図4に示す顔抽出処理装置11において、画像S0が入力されると、まず、顔検出部20および目検出部30により画像S0に含まれる顔の検出を行い、画像S0に含まれる顔における両目の位置、および顔部分の画像S2を得る(S10、S15、S20)。 As shown, in the face extraction processing unit 11 shown in FIG. 4, the image S0 is input, performs detection of a face included in the image S0 by the face detection unit 20 and the eye detecting section 30, the image S0 positions of the eyes in the face included, and obtain an image S2 of the face portion (S10, S15, S20). フレームモデル構築部50のモデル嵌込部52は、第2のデータベース80に記憶された、複数の顔のサンプル画像から得られた平均フレームモデルSavを、顔画像S2に嵌め込む(S25)。 Model fitting portion 52 of the frame model construction section 50, stored in the second database 80, an average frame model Sav obtained from a plurality of face sample images, fitted to the face image S2 (S25). なお、嵌め込むのに際し、顔画像S2における両目の位置と、平均フレームモデルSavにおける、両目の位置を示すランドマークの位置とが夫々一致するように、顔画像S2が回転、拡大縮小され、顔画像S2aとなっている。 Incidentally, when the fit, the position of the eyes in the face image S2, the average frame model Sav, so that the position of the landmark indicating the positions of the eyes are each match, face image S2 is rotated, scaled, face and has a image S2a. プロファイル算出部54は、平均フレームモデルSav上の各ランドマークについて、該ランドマークに対して定義された輝度プロファイルを、平均フレームモデルSav上の当該ランドマークが対応する位置を含む所定の範囲内の各画素に対して求め、平均フレームモデルSav上の1つのランドマークに対して、複数の輝度プロファイルからなるプロファイル群が得られる(S30)。 Profile calculating section 54, for each landmark on the average frame model Sav, the brightness profile defined for the landmark, the landmark on the average frame model Sav is within a predetermined range including the corresponding position calculated for each pixel, for one landmark on the average frame model Sav, profile group is obtained comprising a plurality of brightness profile (S30).

変形部60の識別部61は、各プロファイル群対して、該プロファイル群(例えば平均フレームモデルSav上の80番目のランドマークに対して求められたプロファイル群)内の各プロファイルのうちの、該プロファイル群の対応するランドマーク(例えば80番目のランドマーク)に対して定義された輝度プロファイルであるプロファイルを識別し、このプロファイルが対応する画素の位置が、該プロファイル群の対応するランドマーク(例えば80番目のランドマーク)の位置であると識別する。 Identification unit 61 of the deformable portion 60, for each profile group, out of the profile in the profile group (eg, an average frame model 80 th profile group obtained for landmarks on Sav), said profile identifies the group corresponding profile is a brightness profile defined for the landmark (e.g. 80 th landmark), the position of the pixel which this profile corresponds to the corresponding landmark of said profile group (for example, 80 th identified as is the position of the landmark). 一方、1つのプロファイル群内のいずれのプロファイルも、該プロファイル群の対応するランドマークに対して定義された輝度プロファイルではないと識別した場合には、このプロファイル群に含まれる全てのプロファイルの夫々対応する画素の位置が、該プロファイル群の対応するランドマークの位置ではないと識別する(S40)。 On the other hand, none of the profile in one profile group, when identified as not the brightness profile defined for the corresponding landmark of said profile group, respectively corresponding to all of the profile contained in this profile group position of the pixel of the identifying not a position of the corresponding landmark of said profile group (S40).

ここで、識別部61の識別結果が全体位置調整部62に出力され、全体位置調整部62は、ステップS40における識別部61の識別結果に基づいて、平均フレームモデルSav上の各ランドマークの総合移動量Vを求め、これらの移動量に基づいて、平均フレームモデルSav全体を必要に応じた直線的な移動、回転および拡大縮小をする。 Here, output the identification result is the overall position adjusting section 62 of the identification unit 61, the overall position adjusting unit 62, based on the identification result of the identifying portion 61 at step S40, total of each landmark on the average frame model Sav determine the amount of movement V, based on these movement amounts, linear movement needed overall average frame model Sav, the rotation and scaling. (S45)。 (S45). なお、ステップS45における全体的な位置調整によって平均フレームモデルSav上の各ランドマークの移動量は全体移動量Vaである。 Incidentally, the amount of movement of each landmark on the average frame model Sav by the overall position adjustment in step S45 is a general movement amount Va.

ランドマーク位置調整部63の変形パラメータ算出部64は、総合移動量Vと全体移動量V1との差分に基づいて各ランドマークの個々の移動量からなる個別移動量Vbを求めると共に、この個別移動量Vbに対応する変形パラメータを算出する(S50)。 Deformation parameter calculation unit 64 of the landmark position adjusting unit 63, with determining the single movement amount Vb of individual movement of each landmark on the basis of the difference between the total amount of movement V and the total movement amount V1, the individual mobile calculating the transformation parameters corresponding to the amount Vb (S50). 変形パラメータ調整部65は、式(5)に基づいて、変形パラメータ算出部64により算出された変形パラメータを調整して調整実行部66に出力する(S55)。 Deformation parameter adjustment section 65, based on equation (5), and outputs the deformation parameters calculated by the deformation parameter calculation unit 64 to the adjustment executing unit 66 is adjusted (S55). 位置調整実行部66は、ステップS55において変形パラメータ調整部65により調整された変形パラメータを用いて個々のランドマークの位置を調整し、フレームモデルSh(1)を得る(S60)。 Position adjustment execution unit 66 uses the modified parameter adjusted by the deformation parameter adjustment unit 65 in step S55 to adjust the position of each landmark obtain frame model Sh (1) (S60).

そして、フレームモデルSh(1)と顔画像S2aとを用いて、ステップS30からステップS60までの処理が行われ、フレームモデルSh(1)上のランドマークを移動して得たフレームモデルSh(2)が得られる。 The frame model using Sh (1) and a face image S2a, processing from step S30 to step S60 is performed, frame model Sh (2 obtained by moving the landmarks on frame model Sh (1) ) can be obtained. このように、ステップS30からステップS60までの処理が判断部68により収束したと判断されるまで繰り返され(S65:No、S30〜S60)、収束する際のフレームモデルが目的のフレームモデルShとして得られる(S65:Yes、S70)。 Thus, the processing from step S30 to step S60 is repeated until it is determined to have converged by the determination unit 68 (S65: No, S30~S60), obtained frame model for converging the purpose frame model Sh of is (S65: Yes, S70).

このように、顔抽出処理装置11は、顔画像から所定のランドマークを示す点を検出する際に、マシンラーニング手法により、該ランドマークであることが分かっている複数のサンプル画像上の点における輝度プロファイルと、該ランドマークではないことが分かっている複数のサンプル画像上の点における輝度プロファイルとに対して学習を行って得た識別器および各識別器に対する識別条件を用いて該ランドマークを検出するようにしているので、複数のサンプル画像における該ランドマークであることが分かっている点における輝度プロファイルの平均値と近似する輝度プロファイルを有する点を当該ランドマークとして検出する従来技術より、精度が良い上に、ロバスト性も高い。 Thus, the face extraction processing unit 11, when detecting the point indicating the predetermined landmarks from the face image, the machine learning technique, at a point on the plurality of sample images, which are found to be the landmark and luminance profile, the landmark by using the identification conditions for identifier and each identifier obtained by performing learning with respect to the luminance profile at the point on the plurality of sample images, which are known to not the landmark because it is detected, than in the prior art for detecting a point having a brightness profile that approximates the average value of the brightness profile at a point that is known to be the landmark in a plurality of sample images as the landmark, precision on a good, robustness is also high.

また、輝度プロファイルを多値化ここでは5値化して得たものを特徴量として用いることによって、演算量を減らし、メモリの節約および計算時間の短縮を図ることができる上に、画像S0を撮像した際の照明条件のバラつきなどにも拘わらず精度の良い検出を実現することができる。 Further, by using those obtained by 5-valued here multilevel brightness profile as a feature to reduce the amount of computation, on which can be saved and reduction of the calculation time of the memory, it captures an image S0 it is possible to realize an accurate detection despite such variations in illumination condition upon.

また、従来では、画像から所定のランドマークを示す点を検出する際に、顔画像における、平均フレームモデルSav上の該ランドマークが対応する位置を含む所定の範囲内の複数の画素のうち、複数のサンプル画像における該ランドマークであることが分かっている点における輝度プロファイルの平均値と最も近似する輝度プロファイルを有する点を該ランドマークの位置として検出しているため、例えば手などの障害物により顔の一部が覆われている場合においても、平均フレームモデルSav上の、覆われた部位に位置するランドマークが移動され、最終的に得られたフレームモデルShの精度が低く、最悪の場合は、顔画像に含まれる顔を示すことがまったくできないフレームモデルを構築してしまう可能性もある。 Further, conventionally, when detecting that the image indicating the predetermined landmark in the face image, the landmarks on the average frame model Sav is among the plurality of pixels within a predetermined range including the corresponding position, because it detects the points having a brightness profile that best approximates the average value of the brightness profile as a position of the landmark in that it found to be the landmark in a plurality of sample images, for example, an obstacle such as a hand the even when part of the face is covered, on the average frame model Sav, the landmark is moved to a position-covered portion, the finally obtained frame model Sh accuracy is low, the worst If it may also possibly be constructed a frame model which can not at all be shown a face included in the face image. それに対して、顔抽出処理装置11において、顔画像における、平均フレームモデルSav上の該ランドマークが対応する位置を含む所定の範囲内の複数の画素のうち、該ランドマークを示す点があるか否かの判定を行い、この判定が否定された場合には、平均フレームモデルSav上における当該ランドマークの位置を移動しないようにしている。 In contrast, if the face extraction processing unit 11, in the face image, the landmarks on the average frame model Sav is among the plurality of pixels within a predetermined range including the corresponding positions, there is a point indicating the landmarks performed whether the determination, if the determination is negative, so that without moving the position of the landmarks on the average frame model Sav. そのため、手などの障害物により顔の一部が覆われた場合に、平均フレームモデルSav上の、覆われた部位に位置するランドマークの位置が移動されず、精度の良いフレームモデルShを得ることができる。 Therefore, when a part of the face is covered by an obstacle such as a hand, on the average frame model Sav, not moved the position of the landmark located covered site, obtain accurate frame model Sh be able to.

なお、例えば、上述した顔抽出処理装置11において、ランドマークを特定するための特徴量として輝度プロファイルを用いたが、輝度プロファイルに限られることがなく、輝度プロファイルの微分値など、ランドマークを特定することができるいかなる特徴量を用いてもよい。 Incidentally, for example, in the face extraction processing apparatus 11 described above, but using a luminance profile as a feature for identifying landmarks, without being limited to the intensity profile, such as the differential value of the brightness profile, landmark specific You may use any feature quantity can be.

また、上述した顔抽出処理装置11において、識別器としてヒストグラムを用いたが、マシンラーニング手法に用いられるいかなる識別器を用いてもよい。 Further, in the face extraction processing apparatus 11 described above, but using the histogram as a classifier, may use any identifier used in machine learning techniques.

次に、階調補正処理部3において駒グレーバランス(ホワイトバランス)補正処理を実行するホワイトバランス補正処理装置110について説明する。 Next, a description will be given white balance correction processing unit 110 for performing gradation correction processing unit 3 in the frame gray balance (white balance) correction processing.

図23は、階調補正処理部3においてホワイトバランス補正処理(駒グレーバランス補正処理)を実行するホワイトバランス補正処理装置110の概略構成を示すブロック図である。 Figure 23 is a block diagram showing a schematic configuration of a white balance correction processing unit 110 for performing white balance correction processing (frame gray balance correction process) in the gradation correction processing unit 3. また、図24は、図23のホワイトバランス補正処理装置110において実行されるホワイトバランス補正処理方法の一実施形態を示すフロー図である。 Further, FIG. 24 is a flow diagram of one embodiment of a white balance correction processing method performed in the white balance correction processing unit 110 in FIG. 23.
図23に示すホワイトバランス補正処理装置110は、入力されたカラー画像の画像データ(画像信号)に対してデジタル画像処理を施し、シーンに依存するカラーバランスの補正(以下、ホワイトバランス補正と呼ぶ)を行うものである。 Image data of the white balance correction processing unit 110, input color image shown in FIG. 23 performs digital image processing with respect to (the image signal), the correction of color balance that depends on the scene (hereinafter, referred to as white balance correction) and it performs.
このオートホワイトバランス補正処理工程は、すべての入力画像データに対して、高温度シーン補正、異種光源シーン補正およびミックス光源シーン補正を含めたホワイトバランス補正を行う。 This auto white balance correction processing step, for all input image data, performing high temperature scene correction, white balance correction, including heterologous source scene correction and mix light scene correction.

図23に示すように、ホワイトバランス補正処理装置110は、記憶手段112と、特徴量算出手段114と、クラスタ分類手段116と、補正値算出手段118とを有している。 As shown in FIG. 23, a white balance correction processing unit 110 includes a storage unit 112, a feature amount calculation unit 114, a cluster classification means 116, and a correction value calculation unit 118.
ホワイトバランス補正処理装置110は、入力画像データ(プレスキャン画像データ等)から得られる様々な特徴量を利用し、重回帰分析を行うことで、ホワイトバランス補正値を算出する。 White balance correction processing unit 110 utilizes various feature amount obtained from the input image data (pre-scan image data), by performing multiple regression analysis, it calculates a white balance correction value. より具体的には、ホワイトバランス補正処理装置110は、ホワイトバランス補正値が既知である多数の学習用画像から学習データを取得して、ホワイトバランス補正処理に用いる固定値(固定パラメータ)として予め記憶手段112に記憶しておき、入力された補正対象画像の画像データに対して、特徴量算出手段114でその画像の特徴量を算出し、クラスタ分類手段116によって、その特徴量と記憶手段112に記憶されている固定値(学習データ)とを用いて入力画像をクラスタ分類し、次いで、補正値算出手段118によって、入力画像の特徴量と分類されたクラスタに用意された固定値(学習データ)とを用いて重回帰分析を行って、ホワイトバランス補正値(その予測値)を算出する。 More specifically, white balance correction processing unit 110 acquires the training data from a large number of learning image white balance correction value is known, pre-stored fixed value used for the white balance correction processing as (fixed parameter) is stored in the unit 112, the image data of the inputted correction target image, calculates the feature amount of the image by the feature amount calculating unit 114, the cluster classification unit 116, the feature amount and the storage means 112 the input image cluster classification stored fixed values ​​are (learning data) and using, then the correction value by calculating means 118, feature quantity the classified cluster prepared a fixed value of the input image (training data) performing multiple regression analysis using preparative calculates white balance correction value (the prediction value).

まず、記憶手段112に記憶されるホワイトバランス補正処理に用いる固定値(学習データ)について説明する。 First, the fixed value used for the white balance correction process stored in the storage unit 112 for (training data) will be described.
記憶手段112は、多数の学習用画像から取得された学習データを、ホワイトバランス補正処理に用いる固定値として記憶する。 Storage means 112 stores a learning data obtained from a large number of learning image, as a fixed value used for the white balance correction processing.
学習用画像としては、異種光源シーンや高色温度シーンなど、各種の光源で撮影された画像、および、草木や芝生の緑が画像の大部分を占めるシーンや赤いドレスを着た女性を被写体としたシーンなど、特定の色が支配的なシーンを撮影した画像を含む、様々な画像が多数用意される。 The learning image, and such different light source scenes and high color temperature scene, a variety of image captured by the light source, and the green of the vegetation and the lawn was wearing a scene or a red dress, which accounts for a large part of the image female subject such as scene, containing an image specific color have taken dominant scene, are prepared various images are numerous.
学習用画像は、画像特徴量、撮影条件に関する情報、シーンの解析などに基づいて、類似する画像ごとに複数のクラスに分類され、分類されるクラスに対応するクラスタが設定される。 Learning image, the image feature amount, information on imaging conditions, based on such a scene analysis, are classified into a plurality of classes for each image to be similar, the cluster corresponding to the class to be classified is set. 例えば、タングステン光の下で撮影された画像のクラスタ、日陰で撮影された画像のクラスタ、晴天の昼光で撮影されたシーンの大半が芝生である画像のクラスタ、人物の顔が蛍光灯に照明され背景がタングステン光に照明されたシーンのクラスタ、などに分類される。 For example, the image taken under tungsten light clusters, the photographed image in the shade cluster, the majority of the captured scene daylight sunny image is grass cluster, the face of a person lighting a fluorescent lamp is background lighting scene in tungsten light clusters are classified into such.

これらの各学習用画像について、ホワイトバランス補正前の画像の、有効な特徴量として選択された2以上の特徴量と、ホワイトバランスが最適化されたときのホワイトバランス補正値とを求め、各学習用画像の特徴量およびホワイトバランス補正値を用いて固定値(学習データ)を算出しておく。 For each of these learning image, calculated white balance correction previous image 2 and more feature quantities selected as a valid feature quantity, and a white balance correction value when the white balance is optimized, each learning feature amount of use image and keep calculated fixed value using the white balance correction value (learning data).
特徴量としては、例えば、G成分を基準としたR成分/G成分の平均濃度色差、R,G,B各色成分の標準偏差、R,G,B各色成分の最大値および最小値など、色相に関する特徴量が用いられる。 As the feature amount, e.g., average density color difference of the R component / G component based on the G component, R, G, B standard deviations of the respective color components, R, G, B such as the maximum and minimum values ​​of each color component, the hue feature value is used about.
本実施形態において、固定値(学習データ)としては、図24に示すように、全学習用画像の各特徴量から得られた各特徴量についての平均/標準偏差、因子負荷量(固有ベクトル)、学習用画像が分類された各クラスタの初期クラスタ中心、および、クラスタごとに用意された各特徴量の非標準化係数が記憶されている。 In this embodiment, the fixed value (learning data), as shown in FIG. 24, the average / standard deviation, the factor loadings for each feature amount obtained from the characteristic amounts of all learning image (eigenvectors), initial cluster centers of each learning image is classified clusters, and non-standardized coefficients of each feature quantity prepared for each cluster is stored.

各特徴量についての平均および標準偏差は、クラスタ分類手段116における特徴量標準化処理(図24のステップ132)に用いられる。 Mean and standard deviation for each feature amount is used in the feature amount normalization process in the cluster classifying means 116 (step 132 in FIG. 24). 記憶手段112が記憶する各特徴量の平均および標準偏差の数は、それぞれ、特徴量の数(n)である。 The number average and standard deviation of each feature amount storage unit 112 stores are each, characteristic of several (n).
また、各特徴量の因子負荷量(固有ベクトル)は、クラスタ分類手段116における主成分特徴量算出処理(ステップ134)に用いられる。 Also, factor loadings of each feature quantity (eigenvectors) are used as a main component feature value calculation process in the cluster classifying means 116 (step 134). 記憶手段112が記憶する因子負荷量の数は、特徴量の数(n)×各特徴量についての主成分の数(s)である。 The number of factor loadings of storage means 112 stores is the number of feature quantity (n) × number of principal components for each characteristic amount (s).

初期クラスタ中心は、クラスタ分類手段116におけるクラスタ分類処理(ステップ136)に用いられる。 The initial cluster centers are used on the cluster classification processing in a cluster classifying means 116 (step 136). 上述のように、クラスタは、学習用画像の特徴量に基づいて分類される学習用画像のクラス(クラスタ)に対応して設定されており、設定された各クラスタについて、そのクラスタに分類された複数の学習用画像の特徴量に基づいて、初期クラスタ中心が求められている。 As described above, the cluster is set corresponding to the learning image classified based on the feature amount of the learning image classes (clusters), for each cluster that has been set, which is classified in the cluster based on the feature amounts of the plurality of learning images, the initial cluster centers is required. 学習用画像の分類は、有効な特徴量として選択された2以上の特徴量に基づいて行えばよい。 Classification of the learning image may be performed based on two or more selected features as feature amounts effective. 記憶手段112が記憶する初期クラスタ中心の数は、クラスタ数(c)×各クラスタにおける主成分の数(s)である。 The number of initial cluster centers the storage unit 112 stores is the number of clusters (c) × number of principal components in each cluster (s).

非標準化係数は、補正値算出手段118におけるクラスタ別重回帰値算出(ステップ138)に用いられる。 Non normalization factor is used to cluster by multiple regression values ​​calculated in the correction value calculation unit 118 (step 138). 非標準化係数は、各クラスタについて、そのクラスタに分類された各学習用画像の特徴量およびホワイトバランス補正値に基づいて、各特徴量について算出されている。 Non-standardized coefficients, for each cluster, based on the feature amount and the white balance correction value of each learning image classified into the cluster, which is calculated for each feature quantity. 記憶手段112は、クラスタ別(クラス別)に、各特徴量の非標準化係数を記憶している。 Storage means 112, the cluster by (by class), and stores the non-normalization factor of each feature quantity.
なお、図24には、クラスタ(1)〜(4)が図示されているが、クラスタの数は、学習用画像データに応じて設定されればよく、通常はもっと多くのクラスタが設定される。 Incidentally, in FIG. 24, the cluster (1) to (4) are shown, the number of clusters may be set in accordance with the learning image data, normally set many more clusters . また、図24においては、固定値として、各クラスタ(1)〜(4)にはそれぞれa、b、c、d個の特徴量についての非標準化係数が用意されている。 Further, in FIG. 24, as a fixed value, a respective, b, c, are non-standardized factor for d number of feature amounts are prepared for each cluster (1) to (4). 通常、クラスタによって、重回帰値算出に用いる特徴量やその個数は異なっている。 Normally, the cluster, the feature amount or the number thereof to be used in multiple regression calculation are different.

このホワイトバランス補正方法においては、RGBの3色の色成分のうち、G成分を固定し、R成分およびB成分を補正する。 In this white balance correction method, of the three color components of RGB, to secure the G component, to correct the R component and the B component. したがって、非標準化係数は、R成分およびG成分それぞれに対して用意されている。 Therefore, non-standardized coefficients are prepared for each of R and G components. なお、RGBの各色成分のうち、R成分またはB成分を固定して、他の2色の色成分について非標準化係数を用意してもよいし、RGBの各色成分について非標準化係数を用意し、RGBの各色成分を補正するようにしてもよい。 Note that among the respective color components of RGB, securing the R component or the B component may be prepared unnormalized coefficients for the other two color components, providing a non-normalization factor for each color component of RGB, RGB color components may be corrected.

記憶手段112に記憶される固定値(学習データ)は、十分なホワイトバランス補正性能およびロバスト性を確保できるように設定された所定個数またはそれ以上の学習用画像の、各学習用画像について算出された所定個数またはそれ以上の特徴量に基づいて用意される。 Fixed value stored in the storage unit 112 (learning data) is sufficient for the white balance correction performance and set predetermined number to the robustness can be secured or more learning images are calculated for each learning image It was being prepared on the basis of a predetermined number or more of characteristic amounts.
後述するように、ホワイトバランス補正処理装置110による、入力画像(補正対象画像)データに対するホワイトバランス補正処理おいて、特徴量算出手段114は、学習用画像から求められ記憶手段112に記憶された特徴量の項目と同じ複数(少なくとも2つ)の特徴量を、入力画像に対して算出する。 As described later, according to the white balance correction processing unit 110, keep the white balance correction processing on the input image (correction target image) data, the feature amount calculating unit 114, the feature stored is obtained from the learning image in the storage unit 112 a feature quantity of the same plurality as the amount of items (at least two), is calculated for the input image. このホワイトバランス補正方法において、学習用画像および入力画像について、2つ以上の特徴量を算出するのは、1つの特徴量によって補正の有無を決定する方法において生じる補正のばらつき、すなわち、特徴量が閾値近傍に値を持つ類似シーンにおいて、補正されたりされなかったりというばらつき等を抑制し、ロバスト性能を向上させるためである。 In this white balance correction method, the learning image and the input image, is to calculate the two or more feature quantity, the variation of the correction occurring in a method of determining the presence or absence of correction by a single characteristic quantity, i.e., the feature amount in similar scene with a value in the vicinity of the threshold, to suppress variation like that may or may not be corrected, it is to improve the robust performance. 本実施形態においては、RおよびBの色成分データについてそれぞれ約100個、合計約200個の特徴量を算出する。 In the present embodiment, about 100 respectively for the color component data of R and B, to calculate a total of about 200 of the feature.
また、クラスタは、多いほど、様々な画像を細かく分類することができ、類似度の高い画像についての非標準化係数を用意することができるが、多すぎると、クラスタ分類処理に要する時間が長くなるため、要求される補正性能と処理効率の程度に応じて設定されるのが好ましい。 Also, the cluster, the more, it is possible to subdivide the various images, it is possible to prepare the non-standardized factor for a high degree of similarity images, when the amount is too large, the time required for the cluster classification processing is prolonged Therefore, preferably set according to the degree of the required correction performance and processing efficiency.

次に、ホワイトバランス補正処理装置110によるホワイトバランス補正処理について説明する。 Next, a description will be given white balance correction processing by the white balance correction processing unit 110.
ホワイトバランス補正処理装置110は、プレスキャン画像データに基づいてホワイトバランス補正値を算出し、算出した補正値によってファインスキャン画像データのホワイトバランス補正値とする。 White balance correction processing unit 110 calculates a white balance correction value based on the pre-scan image data, and white balance correction value of the fine scanned image data by the calculated correction value.
ホワイトバランス補正処理装置110の上流側には、フィルム濃度に応じて全体の濃度をオフセットする補正テーブルの算出する、グレーバランス補正工程(件グレーバランス補正工程)を行う装置が配置されており、グレーバランス補正量(例えば、フィルムEND−LUT)算出処理後のプレスキャンデータが、ホワイトバランス補正処理装置110の特徴量算出手段114に供給される。 White The balance correction upstream of the processing device 110, for calculation of the correction table to offset the overall density in accordance with the film density, and apparatus for performing a gray balance correction step (matter gray balance correction step) is arranged, gray balance correction amount (e.g., a film END-LUT) prescanned data after calculation processing is supplied to the feature amount calculating means 114 of the white balance correction processing unit 110.
また、ホワイトバランス補正処理装置110の上流側には、上述の顔抽出処理装置11 Further, on the upstream side of the white balance correction processing unit 110, the above-described face extraction processing unit 11
が配置されており、顔情報が抽出されている場合には、その顔情報が特徴量算出手段114に供給される。 There are disposed, when the face information has been extracted, the face information is supplied to the feature amount calculating means 114.

特徴量算出手段114は、入力されたプレスキャン画像データ(以下、単に、入力画像データという)について、予め定められたn個の特徴量(nは2以上の正数)を算出する(図24のステップ130)。 Feature calculating unit 114, pre-scan image data (hereinafter, simply referred to as input image data) input for, n pieces of feature quantity predetermined (n is 2 or more positive numbers) is calculated (Fig. 24 step 130) of. 特徴量算出手段114が算出する特徴量の項目は、学習用画像から求められ記憶手段112に記憶されている固定値(学習データ)を求めるのに用いた特徴量と同じ項目のうち、少なくともクラスタ分類手段116および補正値算出手段118での処理に使用する項目である。 Feature quantity of items to be calculated feature amount calculation unit 114 of an item, wherein the amount used to determine the fixed value stored in the storage unit 112 obtained from the learning image (learning data), at least the cluster it is an item to be used for processing in the classification means 116 and the correction value calculating means 118. また、どの入力画像データについても同じ特徴量を算出するようにしてもよい。 Further, it is also possible to calculate the same feature amount for any input image data. 上述したように、特徴量は、例えば、その画像の平均濃度の色差や、標準偏差や、RGBの最大値または最小値などである。 As described above, the feature is, for example, and the color difference of the average density of the image, and the standard deviation, maximum value or the minimum value of RGB and the like. また、顔情報が得られている場合には、顔領域の色に関する特徴量を算出するのが好ましい。 Further, if the face information is obtained, it is preferable to calculate a feature amount relating to the color of the face area.

クラスタ分類手段116は、特徴量算出手段114で算出した特徴量に基づいて、入力画像データを、学習用画像データの分類に基づいて設定された複数のクラスタの1つに分類する。 Cluster classifying means 116, based on the feature amount calculated by the feature amount calculation unit 114, the input image data is classified into one of a plurality of clusters configured based on the classification of the learning image data. クラスタ分類手段116による処理は、特徴量標準化処理(ステップ132)、主成分特徴量算出処理(ステップ134)およびクラスタ分類処理(ステップ136)から構成される。 Processing by a cluster classifying means 116, feature amount normalization process (step 132), and a principal component feature amount calculation process (step 134) and cluster classification processing (step 136).

特徴量標準化処理(ステップ132)では、記憶手段112から各特徴量の平均および各特徴量の標準偏差を読み出し、これらを用いて、特徴量算出処理(ステップ130)で算出した入力画像データの各特徴量の標準化を行い、Z得点(標準化係数)を算出する。 In the feature amount normalization process (step 132), from the storage unit 112 reads out the standard deviation of the mean and the feature quantity of each feature quantity, by using these, each of the input image data calculated by the feature amount calculation process (step 130) performs standardization of feature amounts, calculates a Z score (normalization factor). ここで、Z得点は、各特徴量をxとすると、 Here, Z score, when each feature amount is x,
Z=(x−xの平均)/xの標準偏差で表される。 Z = is represented by the standard deviation of (x-x average) / x.

主成分特徴量算出処理(ステップ134)では、記憶手段112から各特徴量の因子負荷量(固有ベクトル)を読み出し、特徴量標準化処理(ステップ132)で算出したZ得点と、読み出した因子負荷量(固有ベクトル)を用いて主成分分析を行って、各主成分ごとに主成分得点を算出する。 In principal component feature amount calculation process (step 134), from the storage unit 112 reads the factor loading of the characteristic amounts (eigenvectors), and Z scores calculated by the feature amount normalization process (step 132), the read factor loadings ( performing principal component analysis using eigenvectors), for calculating the principal component score for each principal component. 因子負荷量をa n 、Z得点(標準化された特徴量、標準化係数)をx nとすると、i番目主成分得点(主成分特徴量)z は、 The factor loadings a n, Z scores (normalized feature quantity, normalization factor) When the x n, i-th principal component score (main component feature amounts) z i is
=a 1・x 1 +a 2・x 2 +a 3・x 3 +・・・+a n・x n z i = a 1 · x 1 + a 2 · x 2 + a 3 · x 3 + ··· + a n · x n
で表される。 In represented. この処理により、その画像における有効な特徴量を算出する。 This process, for calculating the effective characteristic quantity of the image.

クラスタ分類処理(ステップ136)では、記憶手段112から各クラスタの初期クラスタ中心を読み出し、読み出した初期クラスタ中心と主成分特徴量算出処理(ステップ134)で算出した主成分得点とを用いてクラスタ分類を行う。 Cluster classifying process (step 136), reads out the initial cluster center for each cluster from the storage means 112, the read initial cluster centers and the main component feature amount calculation processing calculated principal component scores and cluster classified using in (step 134) I do. すなわち、主成分得点について、各クラスタに対してクラスタ距離(ユークリッド距離)を算出し、クラスタ距離が最も小さいクラスタに入力画像データを割当てる。 That is, the principal component scores, to calculate the cluster distances (Euclidean distance) for each cluster, the cluster distance is assigned the input image data to the smallest cluster.
ここで、主成分得点は、色相に関する特徴量から算出されたその画像の特徴を表すので、主成分得点を用いて画像を分類することにより、画像をある色相(RGB、CMYなど)に、大まかに分類することができる。 Here, the main component score, since they represent the characteristics of the image calculated from the feature amount relating to color, by classifying the image using the principal component scores, the image in color (RGB, CMY, etc.) in a rough it can be classified into. このように、色相に基づいてクラスタ分類し、後述するように、クラスタ別に補正量を算出することによって、ホワイトバランスの補正性能を向上させることができ、誤補正を軽減することができる。 In this manner, the cluster classification based on the hue, as described below, by calculating a correction amount for each cluster, it is possible to improve the correction performance of the white balance, it is possible to reduce the erroneous correction.

すなわち、例えば、草木や芝生の緑が画像の大部分を占めるシーンや、赤いドレスを着た女性を被写体としたシーンなど、特定の色が支配的なシーンについてオートホワイトバランス補正処理を行った場合、従来は、支配色の影響でグレーの設定(グレーバランス)が適正でない補正をしてしまったり、異種光源シーンであると誤認してカラーバランス補正をしてしまうことにより、全体のカラーバランスが崩れた状態に補正してしまう、いわゆるカラーフェリアを生じることがあった。 That is, for example, if the green vegetation and grass scene and which account for a large part of the image, such as a scene that was the subject of the woman wearing a red dress, was subjected to automatic white balance correction processing for a particular color is dominant scene , in the prior art, or set of gray (gray balance) got the correction not appropriate under the influence of the dominant colors, by which result in the color balance correction is mistaken to be a heterologous light source scene, the overall color balance of collapsed state to thereby correct, there may occur a so-called color failure.
それに対し、このホワイトバランス補正処理は、まず、色相に関する特徴量に基づいて入力画像をクラスタ分類し、そのクラスタに分類される画像にとって適切な固定値(または補正値の算出式)によって、ホワイトバランス補正値を算出するので、カラーフェリアを抑制することができる。 In contrast, the white balance correction processing, first, the input image based on the feature quantity cluster classification for hue, by a suitable fixed value for the image to be classified to that cluster (or calculation formula for the correction value), the white balance since the correction value is calculated, it is possible to suppress color failure.

また、顔情報に基づく特徴量を用いてクラスタ分類して補正量を算出することにより、主要被写体の顔の色を適正にするようにホワイトバランス補正を行うことができる。 Moreover, can be performed by calculating a correction amount by the cluster classified using the feature amount based on the face information, the white balance correction to the proper color of the face of the main subject.
さらに、例えば、蛍光灯とタングステン光の両方によって照明されたシーンなど、2種以上の光源が用いられたシーン(ミックス光源シーン)についてオートホワイトバランス補正処理を行った場合、従来は、光源の影響の大きいものなど、いずれか1つの光源に合わせて補正することはできたが、主要被写体を照明している方の光源を選択的に補正する処理を、自動的に行うことはできず、顔の色を常に適正な肌色にすることは困難であった。 Furthermore, for example, a scene illuminated by both the fluorescent lamp and a tungsten light, in the case of performing two or more of the light sources were used scene (Mix source scene) auto white balance correction processing, conventionally, the influence of the light source such as larger, but could be corrected for any one light source, a process of selectively correcting towards the light source illuminating the main subject, can not automatically be performed, the face it has been difficult for the color to always proper skin color. また、画像を光源種によって分割して、領域ごとに光源種に応じた補正を行うことも考えられるが、不自然な画像になるなど、高画質な画像とするのは困難であった。 The image is divided by the light source type, it is conceivable to perform the correction according to light source type for each area, such as an unnatural image, it has been difficult to high-quality image.
それに対し、本発明の画像処理においてこのホワイトバランス補正処理を行い、先にグレー画像の濃度勾配に基づいて抽出された顔情報を特徴量として利用することにより、顔領域の光源に重きをおいたミックス光源シーンに対するホワイトバランス補正を行うことができるので、観賞する人の満足度の高い高画質な画像を安定して出力することができる。 In contrast, in the image processing of the present invention performs white balance correction processing, by using the face information previously extracted based on the concentration gradient of the gray image as the feature quantity, emphasizing the light source of the face area it is possible to perform white balance correction for the mix source scene, it is possible to stably output high-quality images satisfaction of the person to appreciate.

補正値算出手段118は、入力画像データのR成分およびB成分について、クラスタ分類手段116によるクラスタ分類処理(ステップ136)で分類されたクラスタに対応する非標準化係数、および、入力画像データの特徴量を用いて重回帰分析を行うことにより、ホワイトバランス補正値の予測値を算出する。 Correction value calculating means 118 for R and B components of the input image data, the cluster classification processing by the cluster classifying means 116 unnormalized coefficient corresponding to the classified cluster (step 136), and the feature quantity of the input image data by performing multiple regression analysis is used to calculate the predicted value of the white balance correction value. 補正値算出手段118による処理は、クラスタ別重回帰値算出(ステップ138)およびオートホワイトバランス(AWB)補正値算出処理(ステップ140)から構成される。 Processing by the correction value calculating unit 118 is configured from the cluster by multiple regression calculation (step 138) and automatic white balance (AWB) correction value calculation processing (step 140).

クラスタ別重回帰値算出(ステップ138)では、クラスタ分類処理(ステップ136)で分類されたクラスタに対応して用意されている、各特徴量の非標準化係数を、記憶手段112から読み出し、この非標準化係数と、特徴量算出手段114による特徴量算出処理(ステップ130)によって算出された特徴量とを用いて、重回帰分析を行う。 Cluster by multiple regression calculation (step 138), the cluster classification process corresponding to the classified cluster (step 136) are provided, the non-standardized coefficients of the characteristic amounts read from the storage means 112, the non by using the normalization factor, and a feature amount calculated by the feature amount calculation process by the feature calculating unit 114 (step 130), it performs multiple regression analysis. 与えられた各特徴量の非標準化係数b 、入力画像データの特徴量をu とすると、ホワイトバランス補正値の予測値Yは、 Non normalization factor of each feature quantity given b i, a feature quantity of the input image data when the u i, the predicted value Y of the white balance correction value,
Y=b 1・u 1 +b 2・u 2 +b 3・u 3 +・・・+b 0 Y = b 1 · u 1 + b 2 · u 2 + b 3 · u 3 + ··· + b 0
で表される。 In represented. すなわち、この重回帰式を、固定値(学習データ)として得られた各特徴量の非標準化係数b によって予め作成しておき、入力画像の特徴量をu を上記式に代入することによって、入力画像に対するホワイトバランス補正値の予測値Yを自動的に算出できる。 That is, by substituting the multiple regression equation, a fixed value prepared in advance by unnormalized coefficients b i of each feature amount obtained as (learning data), the characteristic quantity of the input image u i in the formula It can automatically calculate the predicted value Y of the white balance correction value for the input image.

上述したように、記憶手段112には、R成分およびB成分についての非標準化係数が記憶されており、予測値Yは、R成分およびB成分について、それぞれ算出される。 As described above, in the storage unit 112, non-standardized coefficients for the R component and the B component is stored, the predicted value Y, R and B components are calculated.
このように、ホワイトバランス補正処理装置110においては、R成分およびB成分について、それぞれについて用意された非標準化係数を用いて、それぞれ独立にホワイトバランス補正値の予測値Y ,Y を求めている。 Thus, in the white balance correction processing unit 110, the R and B components, using a non-standardized coefficients are prepared for each of the predicted value Y R of the white balance correction value independently seek Y B there. しかし、予測値Y ,Y の算出に用いられるR成分およびB成分についての非標準化係数は、それぞれ、同じクラスタに分類された学習用画像の、同じ特徴量を利用して算出されているので、ホワイトバランス補正の相関は十分高いと言え、予測値Y ,Y によって、入力画像のR成分およびB成分をそれぞれ補正することにより、ホワイトバランス補正を適切に行うことができる。 However, non-standardized coefficients for the R component and the B component is used to calculate a predicted value Y R, Y B, respectively, of the training images classified into the same cluster, are calculated using the same characteristic quantity because, although the correlation of the white balance correction sufficiently high, the predicted value Y R, the Y B, the R and B components of the input image by correcting each, it is possible to appropriately perform the white balance correction.

上述したように、各特徴量の非標準化係数b は、クラスタ別に求められており(すなわち、クラスタ別に重回帰式が求められており)、クラスタ別重回帰値算出(ステップ138)において使用される入力画像の特徴量は、クラスタごとに異なっている。 As described above, non-standardized coefficients b i of each feature amount is sought by the cluster (i.e., has multiple regression equation is determined by cluster), is used in the cluster by multiple regression calculation (step 138) feature quantity of the input image that is different for each cluster. すなわち、図24に示すように、入力画像が分類される各クラスタ(1)〜(4)において、クラスタ別重回帰値算出に使用されるa、b、c、d個の特徴量は、固定値として用意された、各クラスタ(1)〜(4)のそれぞれに対する、a、b、c、d個の特徴量についての非標準化係数と対応する。 That is, as shown in FIG. 24, in each cluster (1) to (4) of the input image is classified, a used in the cluster by multiple regression calculation, b, c, d pieces of the feature amount is fixed It was prepared as a value, for each of the clusters (1) ~ (4), a, b, c, corresponding to the non-standardized factor for d number of feature amounts.
補正値算出手段118は、特徴量算出手段114によって算出された特徴量のうち、入力画像が分類されたクラスタでの重回帰値算出に用いる特徴量を取り出して、重回帰値算出を実施する。 Correction value calculating means 118 of the characteristic amount calculated by the feature calculating unit 114 takes out the features for the multiple regression calculation of a cluster of input image is classified, to implement multiple regression calculation.

ホワイトバランス補正値算出処理(ステップ140)では、クラスタ別重回帰値算出(ステップ138)で算出した予測値Yを、ホワイトバランス補正値として決定する。 In the white balance correction value calculation processing (step 140), the predicted value Y calculated in the cluster by multiple regression calculation (step 138), determines a white balance correction value. このとき、必要に応じてホワイトバランス補正値の重み付けをしてもよい。 In this case, it may be weighted white balance correction value if necessary.

ホワイトバランス補正手段20は、決定されたホワイトバランス補正値によって、入力画像データのR成分およびB成分を補正するLUT(Gray Balance LUT)を作成する(ステップ142)。 White balance correction means 20, according to the determined white balance correction value, to create an LUT (Gray Balance LUT) for correcting the R component and the B component of the input image data (step 142). このLUTは、γ=1.0の変換テーブルであり、R成分およびB成分それぞれのホワイトバランス補正値によって、各色成分のテーブル全体を基準テーブルからオフセット(シフト)させることによって補正LUTが作成される。 This LUT is the conversion table for gamma = 1.0, the R and B components each of the white balance correction value, the correction LUT is created by offset (shift) the entire table for each color component from the reference table .

なお、ホワイトバランス補正手段20は、LUTによってホワイトバランス補正を行うものには限定されず、入力データを出力データに変換する関係式を有し、この関係式をホワイトバランス補正値によって修正して、修正した関係式によってホワイトバランス補正を行うものであってもよい。 Incidentally, the white balance correction means 20 is not limited to those performing the white balance correction by the LUT, has a relationship to convert the input data into output data, to correct this relationship by the white balance correction value, the modified equation may perform white balance correction.

以下、ホワイトバランス補正処理装置110の作用を説明する。 Hereinafter, the operation of the white balance correction processing unit 110.
入力画像のホワイトバランス補正を行うために、まず、入力画像のプレスキャンデータが特徴量算出手段114に入力される。 In order to perform white balance correction for the input image, first, the prescan data of the input image is input to the feature amount calculating means 114.
特徴量算出手段114は、プレスキャン画像データから入力画像の特徴量を算出する。 Feature calculating unit 114 calculates the feature quantity of the input image from the pre-scan image data. 算出した特徴量は、クラスタ分類手段116へ供給する。 Calculated feature amount is supplied to the cluster classifying means 116.
クラスタ分類手段116は、供給された特徴量の標準化を行い、標準化された特徴量を用いて主成分特徴量(主成分得点Z)を算出し、この主成分特徴量を用いてクラスタ分類を行う。 Cluster classifying means 116 performs normalization of the supplied feature value, the main component feature amount (principal component score Z) is calculated using the normalized feature quantity, performing cluster classified using the principal component feature amounts .
次に、補正値算出手段118は、クラスタ分類手段116で分類されたクラスタに対応する重回帰の計算式によって、ホワイトバランス補正値の予測値を算出し、算出した予測値をホワイトバランス補正値として決定して、変換写像作成部5(図1参照)へ送る。 Next, the correction value calculating means 118, the multiple regression formula corresponding to the classified cluster cluster classification means 116 calculates a predicted value of the white balance correction value, the calculated predicted value as white balance correction value It determines and sends converted into mapping preparation section 5 (see FIG. 1).

以上に説明したように、このホワイトバランス補正方法およびホワイトバランス補正処理装置110は、全入力画像のそれぞれについて、その色相に基づいてクラスタ分類し、クラスタ別の補正値算出方法によって、入力画像のホワイトバランスを補正値を算出するので、ある特徴量によって補正の実行の有無を決定し、限られたシーンに対してのみオートホワイトバランス補正を行う場合に生じていた、カラーフェリアや誤補正を軽減することができ、ホワイトバランス補正性能を向上させることができる。 As described above, the white balance correction method and white balance correction processing unit 110, for each of all the input images, and clusters classified based on their hue, by the cluster-specific correction value calculation method, the input image White since the correction value is calculated balance, to determine the presence or absence of execution of the correction by a certain characteristic amount, it has occurred in the case of performing automatic white balance correction only for a limited scenes, to reduce the color failure or erroneous correction it can, it is possible to improve the white balance correction performance.

なお、上記では、入力画像のクラスタ分類を行う際に、入力画像の特徴量の標準化を行い、標準化した特徴量(Z得点)について主成分分析を行って、これにより算出された主成分得点によってクラスタ分類を行っているが、入力画像のクラスタ分類は、特徴量の標準化や主成分分析を行うことなく、入力画像の複数の特徴量と、固定値(学習データ)として用意された複数の特徴量とを比較すること等によって行ってもよい。 In the above, when performing the cluster classification of the input image, performs normalization of the feature amount of the input image, normalized feature value (Z score) by performing a principal component analysis on, the principal component scores calculated by this While performing cluster classification, cluster classification of the input image, without performing standardization and principal component analysis of the feature, a plurality of features of the input image, a plurality of features that have been prepared as a fixed value (learning data) it may be carried out, such as by comparing the amount. この場合は、標準化のための特徴量の平均および標準偏差、ならびに主成分分析のための特徴量の因子負荷量の固定値(学習データ)は不要である。 In this case, the mean and standard deviation of the feature for standardization, as well as the feature amount of factor loadings of fixed values ​​for the principal component analysis (learning data) is not required.
また、特徴量の標準化を行わずに主成分分析を行って、入力画像のクラスタ分類を行ってもよい。 Further, by performing a principal component analysis without normalization of the feature may be performed cluster classification of the input image. この場合は、標準化のための特徴量の平均および標準偏差の固定値(学習データ)は不要である。 In this case, a fixed value of the mean and standard deviation of the feature for standardization (learning data) is not required.
しかしながら、上記実施形態のように、特徴量の標準化や、主成分分析を行うことにより、上述したように、特徴量のデータのばらつきを押さえることができ、ホワイトバランス補正値の算出処理をより一層安定して行うことができ、その結果、オートホワイトバランス補正処理を高い処理効率でより安定して行うことができる。 However, as in the above embodiment, standardization and the feature amount by performing a principal component analysis, as described above, it is possible to suppress the variation in the data of the feature, even more the calculation process of the white balance correction value it can be stably performed, as a result, can be performed more stably the auto white balance correction processing with high processing efficiency.

また、上記では、補正量の算出に、重回帰分析を用いているが、この手法の欠点を補い、さらにロバスト性を上げるために、別の統計的な手法を重回帰分析に代えて、あるいは重回帰分析と組み合わせて用いるのも好ましい。 Further, in the above, the calculation of the correction amount, but by using the multiple regression analysis, compensate the disadvantage of this approach, in order to further increase the robustness, another statistical method in place of the multiple regression analysis, or also preferably used in combination with the multiple regression analysis.

また、ホワイトバランス補正処理装置110を、ネガフィルムの種類(メーカー、感度)やネガフィルムのタイプに応じた固定値(学習データ)を作成するのも好ましい。 Also, the white balance correction processing unit 110, the type of the negative film (manufacturer, sensitivity) and also preferable to create a fixed value according to the type of the negative film (training data). この場合には、画像データとともに、フィルム種の情報がホワイトバランス補正装置に入力されるようにし、フィルム種の情報に応じて固定値(学習データ)や使用する特徴量の選択および変更(チューニング)を行うことにより、フィルム種に応じた適切なホワイトバランス補正を行うことができ、オートホワイトバランス補正の補正性能および処理効率をさらに向上させることができる。 In this case, the image data, film type information is to be inputted to the white balance correction apparatus, the selection and change of the fixed value (learning data) and feature amount used depending on the film type information (tuning) the by performing, it is possible to perform an appropriate white balance correction according to the film type, it is possible to further improve the correction performance and processing efficiency of the automatic white balance correction.

また、同一のネガフィルムに撮影された画像は、ネガフィルムの特性によって同一の傾向を有していることから、ネガから取得された画像に対して、前後のコマのホワイトバランス補正値を加味して補正値を設定するようにするのも好ましい。 Further, the same negative film captured image, since it has the same tendency with the characteristics of the negative film for image acquisition from a negative, and adding the white balance correction value for the front and rear frame It is also preferred so as to set the correction value each. 従来、1本のネガフィルム(1件)の複数コマの画像データを使って、大まかなグレーバランスを取ることが行われているが、コマ数が少ない場合には、適正な補正ができないこともある。 Conventionally, by using the image data of a plurality of frames of one negative film (1), have been carried out to take a rough gray balance, when the number of frames is small, also can not properly correct is there. そのため、同一のネガフィルムから取得されたコマ数に応じてホワイトバランス補正値を制御し、コマ数が少ないほど補正を抑制するようにして、極端な補正や誤補正を低減させるようにするのも好ましい。 Therefore, to control the white balance correction value in accordance with the number of frames obtained from the same negative film, so as to suppress the correction as the number of frames is small, even for so as to reduce the extreme correction and erroneous correction preferable.

また、上述したように、人物を撮影した画像において、顔部分と背景部分に異なる光源(タングステンと蛍光灯、など)が当たっている場合(ミックス光源シーン)、従来のオートホワイトバランス補正処理では、背景部分を照明している光源種に基づいたホワイトバランス補正を行ってしまうことがあり、それにより、人物の顔色が不適切に補正されてしまうことがあった。 As described above, in an image obtained by photographing a person, if the different light sources to the face portion and the background portion (tungsten and fluorescent lamps, etc.) is striking (Mix source scene), the conventional automatic white balance correction processing, may inadvertently perform white balance correction based on the light source type that illuminates the background portion, thereby had the complexion of a person it would be improperly corrected. これに対し、本発明の画像処理を行う画像処理装置1において、ホワイトバランス補正値の算出に先立って、顔抽出を行って顔情報を取得するようにし、顔領域の情報を1つの特徴量としてクラスタに分類を行うことにより、人物の顔部分を照明する光源種に基づくホワイトバランス補正を自動的に行うことができる。 In contrast, in the image processing apparatus 1 that performs image processing of the present invention, prior to the calculation of the white balance correction value, so as to obtain the face information by the face extraction, as one feature quantity information of the face region by performing classification into clusters, the white balance correction based on the light source type for illuminating the facial portion of a person can be automatically performed. したがって、人物の顔色が適正に再現された再生画像を得ることができ、高い補正性能を得ることができる。 Therefore, it is possible to complexion of the person to obtain a properly reproduced reproduced image, it is possible to obtain a high correction performance.

なお、上記では、十分多くの学習用画像を解析し、この学習用画像から取得して記憶手段112に記憶した固定値(学習データ)を固定値として、入力画像に対するオートホワイトバランス補正に使用したが、入力画像に対するオートホワイトバランス補正を行うとともに、このオートホワイトバランス補正処理の過程で算出された画像特徴量およびホワイトバランス補正値を用いて、記憶手段112に記憶された固定値(学習データ)を更新するようにしてもよい。 In the above analyzes the sufficiently large number of training images, as a fixed value fixed value stored in the storage unit 112 is obtained from the learning image (learning data), was used to auto white balance correction on the input image but it performs automatic white balance correction for the input image, by using the auto white balance correction image feature amount and the white balance correction value calculated in the course of processing, the stored fixed value in the storage unit 112 (learning data) it may be updated.

次に、階調補正処理部3において実行される濃度補正処理について説明する。 It will now be described density correcting process executed in the gradation correction processing unit 3.
上述したように、本発明の好ましい形態では、濃度補正を、上記のホワイトバランス補正処理方法と同様の手法を用いた方法によって行う。 As described above, in a preferred embodiment of the present invention, the density correction is carried out by a method using the same method as the white balance correction processing method described above. すなわち、全画像について、複数の特徴量に基づいて類似シーンのクラスタに分類するクラスタ分類処理を行い、各クラスタごとに用意された非標準化係数を用いて重回帰分析を行うことにより、濃度補正値を予測値を算出して濃度補正値とする。 That is, for all images, performs cluster classification processing for classifying the clusters of similar scenes based on a plurality of feature amounts, by performing a multiple regression analysis using non-standardized coefficients prepared for each cluster, the density correction value the calculated predictive value and the density correction value.
以下では、上述のホワイトバランス補正処理と異なる点を主に説明する。 Hereinafter, mainly referring to differences from the white balance correction process described above.

この濃度補正処理においては、学習用画像として、逆光で撮影されたシーン、人物アップシーン、フラッシュ使用下で撮影されたシーンなどを含む、様々な画像が多数用意され、画像特徴量に基づいて、類似する画像ごとに複数のクラスに分類され、分類されるクラスに対応するクラスタが設定される。 In this density correction process, as the learning image, captured scene backlit, People up scene, including captured scene under flash use, provides a variety of image number, based on the image feature amount, are classified into a plurality of classes for each image to be similar, the cluster corresponding to the class to be classified is set.
これらの各学習用画像について、濃度補正前の画像の特徴量と、濃度が最適化されたときの濃度補正値とを求め、各学習用画像の特徴量および濃度補正値を用いて固定値(学習データ)を算出しておく。 For each of these learning images, the feature amount of the density before correction image and obtains a density correction value when the concentration is optimized, feature quantities and a fixed value using the density correction value for each learning image ( learning data) previously calculated.
特徴量としては、例えば、色相、濃度勾配、顔領域の画素数に関する特徴量が用いられる。 As the feature amount, for example, hue, gradient, feature quantity relating to the number of pixels in the face area is used.

固定値(学習データ)としては、例えば、上述のホワイトバランス補正処理の場合と同様に、全学習用画像の各特徴量から得られた各特徴量についての平均/標準偏差、因子負荷量(固有ベクトル)、学習用画像が分類された各クラスタの初期クラスタ中心、および、クラスタごとに用意された各特徴量の非標準化係数が、予め算出されて記憶手段に記憶される。 The fixed value (learning data), for example, as in the case of white balance correction processing described above, the average / standard deviation for each feature amount obtained from the characteristic amounts of all learning images, factor loadings (eigenvectors ), the initial cluster center of each cluster learning image is classified and, non-standardized coefficients of each feature quantity prepared for each cluster is stored in the previously calculated storage means.

濃度補正処理では、まず、入力画像データについて、予め定められたn個の特徴量(nは2以上の正数)を算出する。 In the density correction processing, first, the input image data, n pieces of feature quantity predetermined (n is 2 or more positive number) is calculated. 顔情報が得られている場合には、顔領域の濃度に関する特徴量も算出する。 If the face information is obtained, also calculates the feature quantity relating to the concentration of the face region. この濃度補正方法において、学習用画像および入力画像について、2つ以上の特徴量を算出するのは、1つの特徴量によって補正の有無を決定する方法において生じる補正のばらつき、すなわち、特徴量が閾値近傍に値を持つ類似シーンにおいて、補正されたりされなかったりというばらつき等を抑制し、ロバスト性能を向上させるためである。 In this density correction process, the learning image and the input image, is to calculate the two or more feature quantity, the variation of the correction occurring in a method of determining the presence or absence of correction by a single characteristic quantity, i.e., the feature amount is the threshold in similar scene with a value in the vicinity, to suppress variation like that may or may not be corrected, it is to improve the robust performance.

次いで、算出した特徴量に基づいて、入力画像データを、学習用画像データの分類に基づいて設定された複数のクラスタの1つに分類する。 Then, based on the calculated features, the input image data are classified into one of a plurality of clusters configured based on the classification of the learning image data. ここで、入力画像データの各特徴量の標準化処理を行い、主成分特徴量(主成分得点Z)を算出し、この主成分特徴量と、各クラスタの初期クラスタ中心とからクラスタ分類を行う手法は、上述のホワイトバランス補正処理における手法と基本的に同様である。 Here, performs normalization processing of each feature amount of the input image data, the technique calculates principal component feature amount (principal component score Z), performing clusters classified and the main component feature amounts, the initial cluster center of each cluster is basically the same as the method in the white balance correction process described above.
これにより、逆光や人物アップやフラッシュ撮影などのシーン別にクラスタ分類されるので、画像中の顔領域に対して各シーンに応じた適切な濃度とするような濃度補正を行うことができる。 Accordingly, since it is a cluster classified by scene, such as a backlight or a person up and flash photography, density correction as an appropriate concentration corresponding to each scene the face area in the image can be performed.

次に、濃度補正値の算出は、クラスタ分類処理によって分類されたクラスタに対応する非標準化係数、および、入力画像データの特徴量を用いて重回帰分析を行うことにより行われる。 Next, the calculation of the density correction values ​​are non-standardized coefficient corresponding to the classified cluster by the cluster classification processing, and is performed by performing a multiple regression analysis using the feature amount of the input image data. この手法も、上述のホワイトバランス補正処理における手法と基本的に同様である。 This approach is also basically similar to the method in the white balance correction process described above.

以下、画像処理装置1の作用を説明する。 Hereinafter, the operation of the image processing apparatus 1.
原稿画像を読み取って得られたプレスキャン画像データが画像処理装置1に入力されると、画像解析処理部2において、画像データの間引き処理および解析処理が行われ、低彩度画素によるテーブルT(図3(a)参照)が作成される。 Prescan image data obtained by reading an original image is input to the image processing apparatus 1, the image analysis processing section 2, the thinning processing and analysis processing of the image data is performed, the table by low chroma pixel T ( Referring to FIG. 3 (a)) is created. また、この解析処理によって、画像処理条件の自動設定演算に必要な各種の画像特徴量が算出される。 Moreover, by this analysis processing, various image feature amount required for automatic setting operation of the image processing condition is calculated. 間引き処理後のプレスキャン画像データ、テーブルTおよび各種の画像特徴量は、階調補正処理部3へ送られる。 Image feature amount of the thinning process after the pre-scan image data, table T and various are sent to the tone correction processor 3.

階調補正処理部3は、画像解析処理部2から送られた間引き処理後のプレスキャン画像データ、テーブルTおよび画像特徴量を用いて、図2に示す階調補正処理の各補正処理を行う。 Gradation correction processing unit 3, the thinning process after the pre-scan image data from the image analysis processing section 2, using a table T and the image feature amount, performs the correction processing of the tone correction processing shown in FIG. 2 .
すなわち、まず、顔抽出処理装置11によって、濃度勾配に関する特徴量を用いてプレスキャン画像中の顔領域を抽出する。 That is, first, by the face extraction processing unit 11 extracts the face region in the prescan image using a feature quantity relating to the concentration gradient. 顔抽出処理装置11は、肌色などの色情報を用いずに、濃度勾配の情報から顔領域を抽出することができるので、カラーバランスや濃度が適正に補正される前の画像データから、顔領域を高精度で抽出することができる。 Face extraction processing unit 11, without using the color information of the skin color, it is possible to extract a face region from the information of the concentration gradient from the image data before the color balance and density is properly corrected, the face area it can be extracted with high accuracy.

続いてネガフィルム1件分の画像に対してグレーバランス補正量を算出する(件グレーバランス補正処理)。 Followed by calculating the gray balance correction amount with respect to the negative film 1 of image (cases gray balance correction processing).
次に、各駒の画像それぞれについて、顔抽出処理装置11によって抽出した顔領域の色成分データを利用して、顔領域の色が適正な肌色の範囲となるように、ホワイトバランス補正処理装置110によってホワイトバランス補正量を算出する(駒グレーバランス補正処理)。 Next, the image each of the frames, by using the color component data of the face region extracted by the face extraction processing unit 11, so that the color of the face area is the proper range of the skin color, by the white balance correction processing unit 110 calculates a white balance correction amount (frame gray balance correction processing). ここで、顔抽出処理装置11によって高い精度で抽出された顔領域の情報を用いることができるので、ホワイトバランス補正処理性能の向上を実現することができ、顔領域を適正な肌色とする自動処理を安定して行うことができる。 Here, it is possible to use the information of the extracted face region with high accuracy by the face extraction processing unit 11, it is possible to realize an improvement of white balance correction processing performance, automatic processing of a proper skin color of the face area it can be performed in a stable manner.
また、ホワイトバランス補正処理装置110は、全画像について、複数の特徴量に基づいて類似シーンのクラスタに分類するクラスタ分類処理を行い、各クラスタごとに用意された非標準化係数を用いて重回帰分析を行うことにより、ホワイトバランス補正値を予測して算出するので、従来のように、タングステン光または蛍光灯の異種光源シーンおよび日陰シーンといった限られたシーンのみを、画像特徴量の閾値によって判別し、判別されたシーンの画像データのみを補正する方法に比べて、格段に高い精度でホワイトバランス補正値を算出することができ、シーンの誤判断による誤補正を抑制し、カラーフェリアの発生を抑制し、ロバスト性を向上させることができる。 Also, white balance correction processing unit 110, for all the images, performs cluster classification processing for classifying the clusters of similar scenes based on multiple features, multiple regression analysis using a non-standardized coefficients prepared for each cluster by performing so calculated by predicting the white balance correction value, as in the prior art, only a limited scene such heterologous source scene and shade scene tungsten light or fluorescent light, to determine by the threshold of the image feature amount , compared with a method of correcting only the image data of the determined scene, it is possible to calculate a white balance correction value in much higher precision, to suppress the erroneous correction due to erroneous judgment scene, suppress the occurrence of color failure and, it is possible to improve the robustness.

ホワイトバランス補正処理(駒グレーバランス補正処理)が終わると、各画像に対し、ネガフィルムの階調特性に基づいて、アンダー領域およびオーバー域を補正する補正テーブルを作成する。 When the white balance correction processing (frame gray balance correction processing) is completed, for each image, based on the gradation characteristics of the negative film, to create a correction table for correcting the under-region and over range.
続いて、各駒の画像それぞれについて、顔抽出処理装置11によって抽出した顔領域の色成分データを利用して、顔領域の濃度が適正な肌色の範囲となるように、濃度補正量を算出する(濃度補正処理)。 Subsequently, the image each of the frames, by using the color component data of the extracted face region by the face extraction processing unit 11, so that the concentration of the face area in the range of proper skin color, calculates a density correction amount ( density correction processing). 顔抽出処理装置11によって高い精度で抽出された顔領域の情報を用いることができるので、濃度補正処理性能の向上を実現することができ、顔領域を適正な肌色濃度とする自動処理を安定して行うことができる。 It is possible to use the information of the extracted face region with high accuracy by the face extraction processing unit 11, it is possible to realize an improvement of the density correction processing performance, stable automatic processing of a proper skin color concentration face regions it can be carried out.
さらに、本発明の好ましい形態として採用される濃度補正処理は、全画像について、複数の特徴量に基づいて類似シーンのクラスタに分類するクラスタ分類処理を行い、各クラスタごとに用意された非標準化係数を用いて重回帰分析を行うことにより、濃度補正値を予測して算出するので、従来のように、顔領域の濃度を常に所定の範囲にするように補正する方法に比べて、格段に高い精度で濃度補正値を算出することができ、シーンごとに適切な顔濃度を得ることができ、ロバスト性を向上させることができる。 Furthermore, the density correction process which is employed as a preferred form of the invention, the entire image, performs a cluster classification processing for classifying the clusters of similar scenes based on a plurality of feature amounts, non-standardized coefficients prepared for each cluster by performing multiple regression analysis using, so calculated by predicting the density correction value, as in the prior art, compared with a method of correcting the density of the face region so as to be always in a predetermined range, much higher it is possible to calculate the density correction value in accuracy, it is possible to obtain an appropriate face concentration for each scene, it is possible to improve the robustness.

そして、各駒の画像それぞれについて、コントラスト補正量を算出した後、プレスキャン画像データ、画像特徴量および算出された各補正量のデータを類似駒補正処理部4へ送る。 Then, the image each of the frames, and sends After calculating the contrast correction amount, pre-scan image data, the data of each correction amount image feature amount and calculating the similarity piece correction processing unit 4. また、画像解析処理部2において算出された各種の補正量のデータは、各処理の後適宜、または階調補正処理部3の全ての処理が終わった後、変換写像作成部5に送られる。 The data of the various correction amounts calculated by the image analysis processing section 2 as appropriate after each treatment, or after all of the processing of the gradation correction processing unit 3 is finished, are sent to the conversion mapping creation unit 5.

類似駒補正処理部4は、階調補正処理部3から送られたプレスキャン画像データ、画像特徴量および各種の補正量を用いて、グレーバランス、濃度およびコントラストについて、補正対象の画像とその前後2駒の画像の類似度評価を行って、類似度評価値で重み付け平均してそれらの調整量を算出する。 Similar piece correction processing unit 4, pre-scan image data sent from the tone correction processing unit 3, the image feature amount and by using various correction amounts for gray balance, density and contrast, the image to be corrected and its front and rear performing similarity evaluation of two frames of the image, and calculates their adjustment amount weighted average similarity evaluation value. 算出された各種の調整量は、変換写像作成部5に送られる。 Adjusting the calculated amount of the various is sent to the conversion mapping creation unit 5.

階調補正処理部3および類似駒補正処理部4から各種の補正量および調整量が送られると、変換写像作成部5は、それらの補正量および調整量を用いて、原稿画像のファインスキャン画像を画像処理するための変換写像を自動的に作成し、変換写像6として設定する。 When various correction amount and the adjustment amount from the gradation correction unit 3 and the similar piece correction processing unit 4 is sent, converting the mapping creation unit 5 uses those correction amount and the adjustment amount, the fine scanned image of the document image the automatically creates a transformation mapping for image processing is set as the conversion map 6. 以上により画像処理条件の自動設定演算が終了する。 Automatic setting operation of the image processing condition is completed by the above.

ファインスキャン画像データが画像処理装置1に入力されると、上記のようにして設定された変換写像6によって自動変換処理が行われ、ファインスキャン画像の画像処理が行われて、処理済みのファインスキャン画像データが出力される。 When the fine scanned image data is input to the image processing apparatus 1, the automatic conversion process by the conversion map 6 which is set as described above is performed, the image processing of the fine scanned image is performed, the treated fine scan image data is output.

本発明の画像処理方法および画像処理装置は、基本的に以上のように構成される。 The image processing method and image processing apparatus of the present invention is basically constructed as described above.

なお、上記では、階調補正処理部3における階調補正処理として、顔抽出処理を最初に行う構成としたが、本発明はこれには限定されず、顔抽出処理は、少なくとも濃度補正に先立って行うようにすればよく、好ましくは、カラーバランス補正(駒グレーバランス補正)に先立って行うようにすればよい。 In the above, the tone correction processing in the gradation correction processing unit 3, but was performed first configure face extraction processing, the present invention is not limited thereto, the face extraction process, prior to at least the density correction it is sufficient to perform and, preferably, may be performed prior to the color balance correction (frame gray balance correction).

また、本発明の画像処理方法および画像処理装置は、特に、カラーバランス補正などを行うネガフィルムから得た画像データの画像処理について高い効果を有するが、濃度勾配の特徴量から顔抽出処理を行って、抽出された顔領域の顔情報を用いて、濃度や色の補正など各種の補正を行う構成は、リバーサルフィルムから得た画像データの画像処理や、デジタルカメラによって取得された画像データの画像処理にも利用することができ、顔領域の色や濃度を常に適正にするように画像データを補正できる点で、高い効果を奏するものである。 The image processing method and image processing apparatus of the present invention, in particular, has a high effect for the image processing of the image data obtained from the negative film to perform a color balance correction, performs face extraction processing from the feature of density gradient Te, using the face information of the face region extracted, configured to perform various corrections such as density and color corrections, image processing and the image data obtained from the reversal film, the image of the image data acquired by the digital camera can also be used for processing, in that it can correct the image data so as to always proper color and density of the face region, in which exhibits a high effect.

以上、本発明に係る画像処理方法および画像処理装置について詳細に説明したが、本発明は上記種々の実施例に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。 Having described in detail the image processing method and image processing apparatus according to the present invention, the present invention is not limited to the above-described various embodiments, without departing from the gist of the present invention, and various improvements and modifications and it may be of, as a matter of course.

本発明の画像処理方法を実行する本発明の画像処理装置の一実施形態の概略構成を示すブロック図である。 It is a block diagram showing a schematic configuration of an embodiment of an image processing apparatus of the present invention for executing an image processing method of the present invention. 図1の画像処理装置1において実行される本発明の画像処理方法の一実施形態を示すフロー図である。 It is a flow diagram of one embodiment of an image processing method of the present invention executed in the image processing apparatus 1 of FIG. 1. (a)は、画像処理装置1における画像解析処理で作成されるテーブルTを模式的に示す図であり、(b)は、顔抽出処理工程における濃度レンジ範囲の領域Dおよびグレー軸Xを模式的に示す図である。 (A) is a table T that is generated by the image analysis processing in the image processing apparatus 1 is a diagram schematically showing, (b) is schematic a region D and the gray axis X of the density range range in the face extraction processing step is a drawing illustrating manner. 顔抽出処理装置11の構成を示すブロック図である。 Is a block diagram showing the configuration of a face extraction processing unit 11. 顔検出部20の構成を示すブロック図である。 It is a block diagram showing the configuration of a face detection unit 20. 目検出部30の構成を示すブロック図である。 It is a block diagram showing the configuration of the eye detecting section 30. 目の中心位置を説明するための図である。 It is a diagram for explaining the center position of the eye. (a)は水平方向のエッジ検出フィルタを示す図、(b)は垂直方向のエッジ検出フィルタを示す図である。 (A) is a diagram showing FIG., The (b) is a vertical edge detection filter in the horizontal direction edge detection filter. 勾配ベクトルの算出を説明するための図である。 It is a diagram for explaining the calculation of the gradient vector. (a)は人物の顔を示す図、(b)は(a)に示す人物の顔の目および口付近の勾配ベクトルを示す図である。 (A) is a diagram showing a face of a person, (b) is a diagram showing the gradient vector in the vicinity of the eyes and mouth of the face of the person shown in (a). (a)は正規化前の勾配ベクトルの大きさのヒストグラムを示す図、(b)は正規化後の勾配ベクトルの大きさのヒストグラムを示す図、(c)は5値化した勾配ベクトルの大きさのヒストグラムを示す図、(d)は正規化後の5値化した勾配ベクトルの大きさのヒストグラムを示す図である。 (A) drawing showing a histogram of magnitude of the gradient vectors before normalization, (b) is a diagram showing a histogram of magnitude of the gradient vector after normalization, (c) the size of 5 binarized gradient vector shows a histogram difference, (d) is a diagram showing the size histogram of the gradient vector for 5-valued after normalization. 第1の参照データの学習に用いられる顔であることが分かっているサンプル画像の例を示す図である。 Is a diagram illustrating an example of sample images, which are known to be of faces used in the learning of the first reference data. 第2の参照データの学習に用いられる顔であることが分かっているサンプル画像の例を示す図である。 Is a diagram illustrating an example of sample images, which are known to be of faces used in the learning of the second reference data. 顔の回転を説明するための図である。 It is a diagram for explaining the rotation of the face. 顔の検出および目検出に用いられる参照データの学習手法を示すフローチャートである。 Is a flowchart illustrating the learning method of the reference data used for the detection and eye detection of a face. 識別器の導出方法を示す図である。 It is a diagram illustrating a method of deriving the identifier. 識別対象画像の段階的な変形を説明するための図である。 It is a diagram for explaining the gradual deformation of the identification object image. 図4に示す画像処理装置におけるフレームモデル構築部50の構成を示すブロック図である。 It is a block diagram showing a configuration of a frame model construction section 50 in the image processing apparatus shown in FIG. 図18に示すフレームモデル構築部50における変形部60の構成を示すブロック図である。 Is a block diagram showing the configuration of the deformation portion 60 of the frame model constructing section 50 shown in FIG. 18. 図4に示す画像処理装置において行われる処理を示すフローチャートである。 Is a flowchart showing the processing performed in the image processing apparatus shown in FIG. 1つの顔に対して指定されるランドマークの例を示す図である。 Is a diagram illustrating an example of a landmark to be specified for a single face. ランドマークに対して定義される輝度プロファイルを説明するための図である。 It is a diagram for explaining a brightness profile defined for the landmark. ホワイトバランス補正処理装置110の概略構成を示すブロック図である。 It is a block diagram showing a schematic configuration of a white balance correction processing unit 110. ホワイトバランス補正処理装置110において実行されるホワイトバランス補正処理方法の一実施形態を示すフロー図である。 It is a flow diagram of one embodiment of a white balance correction processing method performed in the white balance correction processing unit 110. 従来の画像処理の一例を示すフロー図である。 Is a flow diagram showing an example of a conventional image processing.

符号の説明 DESCRIPTION OF SYMBOLS

1 画像処理装置 2 画像解析処理部 3 階調補正処理部 4 類似駒補正処理部 5 変換写像作成部 6 変換写像 11 顔抽出処理装置 110 ホワイトバランス補正装置 1 an image processing apparatus 2 image analysis section 3 gradation correction processing unit 4 similar piece correction processing unit 5 converts mapping creation unit 6 converts mapping 11 face extraction processing apparatus 110 white balance correction device

Claims (6)

  1. 入力されたカラー画像の画像データを用いて、前記カラー画像を変換するための写像を自動的に演算する画像処理方法であって、 Using the image data of the input color image, an image processing method for automatically calculating a mapping for converting the color image,
    前記カラー画像の濃度勾配に関する特徴量を用いて前記カラー画像に撮影された人物の顔領域を抽出する顔抽出処理工程と、 A face extraction processing step of extracting a face region of a person the photographed on the color image using a feature quantity relating to the concentration gradient of the color image,
    抽出された前記顔領域の濃度を所定の濃度範囲とするように前記カラー画像の濃度を補正する濃度補正工程と、を有することを特徴とする画像処理方法。 Image processing method characterized by having a density correcting step of correcting the density of the color image to the extracted concentration of the facial area to a predetermined concentration range.
  2. 前記顔抽出処理工程の後であって、前記濃度補正工程の前に、抽出された前記顔領域の色を所定の色範囲とするように前記カラー画像のカラーバランスを補正するカラーバランス補正工程をさらに有する請求項1に記載の画像処理方法。 Even after the face extraction process, before the density correction process, a color of the extracted the face regions of a predetermined color balance correction step of correcting the color balance of the color image to the color range the image processing method according to claim 1, further comprising.
  3. 前記カラー画像の画像データは、カラーネガフィルムに撮影された画像を光電的に読み取ることにより得られたものであり、 Image data of the color image has been obtained by reading the images recorded on a color negative film photoelectrically,
    前記カラーバランス補正工程の前に、1件の前記ネガフィルムから取得された複数の前記カラー画像におけるグレーバランスを補正するグレーバランス補正工程を有する請求項2に記載の画像処理方法。 Wherein prior to the color balance correction process, the image processing method according to claim 2 having a gray balance correction step of correcting the gray balance in the plurality of the color images obtained from said negative film 1.
  4. 前記グレーバランス補正工程および前記カラーバランス補正工程の後に、前記ネガフィルムの階調特性に基づいて前記カラー画像のアンダー領域およびオーバー領域の階調を補正するアンダー/オーバー補正工程と、 After the gray balance correction step and the color balance correction process, and the under / over correction step of correcting the gradation of the under region and over the area of ​​the color image based on the tone characteristics of the negative film,
    前記アンダー/オーバー補正工程および前記濃度補正工程の後に、前記カラー画像のコントラストを補正するコントラスト補正工程と、をさらに有する請求項3に記載の画像処理方法。 After the under / over correction step and the density correction process, the image processing method according to claim 3, further comprising a, a contrast correction step of correcting the contrast of the color image.
  5. 前記カラー画像について、前記ネガフィルムにおける前記カラー画像の前後それぞれ1駒以上のカラー画像との類似度を評価し、その類似度評価値に基づいて、前記グレーバランス補正、前記濃度補正および前記コントラスト補正の少なくとも1つを調整する類似駒処理工程をさらに有する請求項4に記載の画像処理方法。 For the color image, wherein the negative film to evaluate the similarity between each one frame or more color image before and after the color image, based on the similarity evaluation value, the gray balance correction, the density correction and the contrast correction the image processing method according to claim 4, further comprising a similar piece processing step of adjusting at least one of.
  6. 入力されたカラー画像の画像データを用いて、前記カラー画像を変換するための写像を自動的に演算する画像処理装置であって、 Using the image data of the input color image, an image processing apparatus for automatically calculating a mapping for converting the color image,
    前記カラー画像の濃度勾配に関する特徴量を用いて前記カラー画像に撮影された人物の顔領域を抽出する顔抽出処理部、および、抽出された前記顔領域の濃度を所定の濃度範囲とするように前記カラー画像の濃度補正量を算出する濃度補正部を有する階調補正処理部と、 The face extraction processing unit by using the feature quantity relating to the concentration gradient of the color image to extract a face region of a person taken in the color image, and the extracted concentration of the face region to a predetermined concentration range a gradation correction processing unit having a density correction unit for calculating a density correction amount of the color image,
    前記階調補正処理部によって算出された前記濃度補正量を用いて、前記カラー画像の画像データを変換するための前記写像を演算する変換写像作成部と、を有することを特徴とする画像処理装置。 Using the density correction amount calculated by the gradation correction processing unit, an image processing apparatus characterized by having a conversion mapping creation unit for calculating the mapping for converting the image data of the color image .
JP2005074560A 2005-03-16 2005-03-16 Image-processing method and device Withdrawn JP2006259974A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005074560A JP2006259974A (en) 2005-03-16 2005-03-16 Image-processing method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005074560A JP2006259974A (en) 2005-03-16 2005-03-16 Image-processing method and device

Publications (1)

Publication Number Publication Date
JP2006259974A true JP2006259974A (en) 2006-09-28

Family

ID=37099182

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005074560A Withdrawn JP2006259974A (en) 2005-03-16 2005-03-16 Image-processing method and device

Country Status (1)

Country Link
JP (1) JP2006259974A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009134433A (en) * 2007-11-29 2009-06-18 Noritsu Koki Co Ltd Image correction method and image correction device
JP2009151350A (en) * 2007-12-18 2009-07-09 Nec Corp Image correction method and device
JP2010520542A (en) * 2007-03-05 2010-06-10 フォトネーション ビジョン リミテッドFotonation Vision Limited Illumination detection using the classifier chain
JP2013150122A (en) * 2012-01-18 2013-08-01 Toshiba Corp Image processing device, method, and program
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
US9779287B2 (en) 2004-01-22 2017-10-03 Fotonation Limited Classification and organization of consumer digital images using workflow, and face detection and recognition

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9779287B2 (en) 2004-01-22 2017-10-03 Fotonation Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US8503800B2 (en) 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
JP2010520542A (en) * 2007-03-05 2010-06-10 フォトネーション ビジョン リミテッドFotonation Vision Limited Illumination detection using the classifier chain
JP2009134433A (en) * 2007-11-29 2009-06-18 Noritsu Koki Co Ltd Image correction method and image correction device
JP2009151350A (en) * 2007-12-18 2009-07-09 Nec Corp Image correction method and device
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
US8977056B2 (en) 2010-07-26 2015-03-10 Fotonation Limited Face detection using division-generated Haar-like features for illumination invariance
JP2013150122A (en) * 2012-01-18 2013-08-01 Toshiba Corp Image processing device, method, and program
US9113120B2 (en) 2012-01-18 2015-08-18 Kabushiki Kaisha Toshiba Apparatus and a method for processing a moving image, and a non-transitory computer readable medium thereof

Similar Documents

Publication Publication Date Title
JP4197858B2 (en) Image processing program
US8055067B2 (en) Color segmentation
JP4865038B2 (en) Digital image processing using the information of the hue of the face detection and skin
US6252976B1 (en) Computer program product for redeye detection
US7120279B2 (en) Method for face orientation determination in digital color images
US7953250B2 (en) Method and apparatus for red-eye detection in an acquired digital image
US8175385B2 (en) Foreground/background segmentation in digital images with differential exposure calculations
US6993184B2 (en) Object extraction method, and image sensing apparatus using the method
US6738494B1 (en) Method for varying an image processing path based on image emphasis and appeal
CN101350883B (en) Auto white balance correction value calculation device, method, and image pickup device
JP3992177B2 (en) Image processing apparatus, image processing method, and computer program
EP0932114B1 (en) A method of and apparatus for detecting a face-like region
US7092554B2 (en) Method for detecting eye and mouth positions in a digital image
US8184870B2 (en) Apparatus, method, and program for discriminating subjects
US20130195318A1 (en) Real-Time Face Tracking in a Digital Image Acquisition Device
US20040228542A1 (en) Modification of red-eye-effect in digital image
US6980691B2 (en) Correction of “red-eye” effects in images
US20020126893A1 (en) Automatic color defect correction
US7525688B2 (en) Image processing apparatus, image processing method and information recording medium
EP1447973A1 (en) Image editing apparatus, image editing method and program
JP4317465B2 (en) Face identification apparatus, face recognition method, and face recognition program
JP4335565B2 (en) Method and apparatus for detecting and / or tracking one or more color regions in an image or a series of images
EP1217572A2 (en) Digital image processing method and computer program product for detecting human irises in an image
US20030021478A1 (en) Image processing technology for identification of red eyes in image
JP3775782B2 (en) Method of detecting a skin color in the digital image

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061211

A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080603