JP2695067B2 - Method of extracting data of human face and method of determining exposure amount - Google Patents

Method of extracting data of human face and method of determining exposure amount

Info

Publication number
JP2695067B2
JP2695067B2 JP11874491A JP11874491A JP2695067B2 JP 2695067 B2 JP2695067 B2 JP 2695067B2 JP 11874491 A JP11874491 A JP 11874491A JP 11874491 A JP11874491 A JP 11874491A JP 2695067 B2 JP2695067 B2 JP 2695067B2
Authority
JP
Japan
Prior art keywords
divided
face
color
data
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP11874491A
Other languages
Japanese (ja)
Other versions
JPH04346333A (en
Inventor
博明 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP11874491A priority Critical patent/JP2695067B2/en
Priority to EP92108626A priority patent/EP0514909B1/en
Priority to DE69221665T priority patent/DE69221665T2/en
Priority to US07/886,400 priority patent/US5278921A/en
Publication of JPH04346333A publication Critical patent/JPH04346333A/en
Application granted granted Critical
Publication of JP2695067B2 publication Critical patent/JP2695067B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Control Of Exposure In Printing And Copying (AREA)

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】本発明は人物の顔のデータ抽出方
法及び露光量決定方法に係り、より詳しくは、カラー原
画像をカラー複写材料または黒白複写材料に複写すると
きに使用する、人物の顔の濃度データを抽出する方法及
びこの方法を利用した露光量決定方法に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for extracting data of a person's face and a method for determining an exposure amount, and more particularly, to a method for copying a color original image onto a color copying material or a black and white copying material. The present invention relates to a method of extracting density data of a face and a method of determining an exposure amount using the method.

【0002】[0002]

【従来の技術及び発明が解決しようとする課題】人物写
真を観賞するときに最も注目される部位は、人物の顔で
あり、品質の良い写真を作成するためには人物の顔の色
を適正な色に焼付ける必要がある。
2. Description of the Related Art The most noticeable part when viewing a photograph of a person is the face of the person. To create a high-quality photograph, the color of the face of the person must be adjusted appropriately. It is necessary to bake to a different color.

【0003】従来では、カラーフィルムの原画像中の顔
領域をライトペンで指定して人物の顔の濃度データを抽
出し、この抽出した濃度データに基づいて顔の色が適正
に焼付けられるように露光量を決定している。このよう
な技術としては、特開昭62−115430号公報、特
開昭62−115431号公報、特開昭62−1154
32号公報、特開昭62−189456号公報、特開昭
62−189457号公報、特開昭63−138340
号公報、特開昭63−178222号公報に記載のもの
がある。
Conventionally, a face area in an original image of a color film is designated with a light pen to extract density data of a person's face, and the face color is appropriately printed based on the extracted density data. Exposure is determined. Such a technique is disclosed in JP-A-62-115430, JP-A-62-115431, and JP-A-62-1154.
No. 32, JP-A-62-189456, JP-A-62-189457, JP-A-63-138340
And JP-A-63-178222.

【0004】しかしながら、上記従来の技術では、画像
毎にオペレータがライトペンで顔領域を指定しなければ
ならないため、焼付作業に時間がかかる、という問題が
ある。また、オペレータが目視して顔領域を指定しなけ
ればならないため、無人化が困難である。
[0004] However, in the above-mentioned conventional technique, there is a problem that the printing operation takes a long time because the operator has to specify a face area with a light pen for each image. Further, since the operator must visually specify the face area, it is difficult to perform unmanned operation.

【0005】また、特開昭52−156624号公報、
特開昭52−156625号公報、特開昭53−123
30号公報、特開昭53−145620号公報、特開昭
53−145621号公報、特開昭53−145622
号公報には、肌色データを抽出することによって人物の
顔のデータを抽出する以下の方法が記載されている。す
なわち、カラー原画像を多数の測光点に分割すると共に
各測光点をR(赤)、G(緑)、B(青)の3色に分解
して測光し、測光データから計算した各測光点の色が肌
色範囲内か否か判断する。そして、肌色範囲と判断され
た測光点のクラスタ(群)を顔の濃度データとする。し
かしながら、この方法では肌色範囲内の色を顔の濃度デ
ータと仮定しているため、地面、木の幹、洋服等の肌色
または肌色に近似した色をした顔以外の部位も顔の濃度
データとして抽出されてしまう。また、同一被写体を同
一条件で撮影した場合であってもフィルム種によって撮
影画像の色味が異るため、フィルム種が異ると顔の濃度
データを自動的に抽出できないことがある。更に、被写
体を照明する光源の色が異ると撮影画像の色味が異る
(例えば、蛍光灯を光源として撮影した画像は緑味にな
る)ため、光源色が異ると顔の濃度データを自動的に抽
出できないことがある。
Further, Japanese Patent Application Laid-Open No. 52-156624,
JP-A-52-156625, JP-A-53-123
No. 30, JP-A-53-145620, JP-A-53-145621, JP-A-53-145622
The following publication describes a method of extracting human face data by extracting skin color data. That is, the color original image is divided into a large number of photometry points, and each photometry point is separated into three colors of R (red), G (green), and B (blue), and photometry is performed. Is determined to be within the skin color range. Then, clusters (groups) of photometric points determined to be in the skin color range are used as face density data. However, in this method, since the color within the skin color range is assumed to be the density data of the face, parts other than the face having the skin color or the color similar to the skin color, such as the ground, a tree trunk, and clothes, are also included as the face density data. It will be extracted. Further, even when the same subject is photographed under the same conditions, the color of the photographed image differs depending on the film type, so that if the film type differs, the face density data may not be automatically extracted. Furthermore, if the color of the light source that illuminates the subject differs, the tint of the captured image differs (for example, an image captured using a fluorescent lamp as a light source becomes green). May not be extracted automatically.

【0006】上記の光源色が異ることによって発生する
問題点を解決するためには、光源色補正を行ってから肌
色範囲の測光データを抽出すればよい。光源としては、
太陽光、蛍光灯、タングステン光に大別できるが、太陽
光は季節、時間帯によって色味が異り、また季節や時間
帯が同じでも直接光か間接光かによって色味が異る。ま
た、蛍光灯等の人工光は製品の多種多様化に伴い様々な
色味がある。従って、光源の各々について光源種を特定
して光源補正を行うのは困難である。また、仮に光源補
正が完全に行えたとしても地面や木の幹等の肌色または
肌色に近似した部位を抽出しないようにすることはでき
ず、更にフィルム種が異ったときに対処することができ
ない。
In order to solve the above-mentioned problem caused by different light source colors, photometric data in a skin color range may be extracted after performing light source color correction. As a light source,
Sunlight, fluorescent light, and tungsten light can be broadly classified. The color of sunlight varies depending on the season and time zone, and the color varies depending on whether the light is direct light or indirect light even in the same season and time zone. In addition, artificial lights such as fluorescent lamps have various colors with the diversification of products. Therefore, it is difficult to perform light source correction by specifying the light source type for each light source. Further, even if the light source correction can be completely performed, it is not possible to prevent extraction of a skin color or a portion similar to the skin color such as the ground or a tree trunk, and to cope with a case where the film type is different. Can not.

【0007】本発明は上記問題点を解決するために成さ
れたもので、ネガフィルム等のカラー原画像から人物の
顔のデータのみを高い確度で自動的に抽出することがで
きる人物の顔のデータ抽出方法及びこの方法を利用した
露光量決定方法提供することを目的とする。
The present invention has been made to solve the above-mentioned problems, and it is possible to automatically extract only human face data from a color original image such as a negative film with high accuracy. It is an object of the present invention to provide a data extraction method and an exposure amount determination method using this method.

【0008】[0008]

【課題を解決するための手段】上記目的を達成するため
に請求項1の発明は、カラー原画像を多数画素に分割し
て各画素を赤光、緑光及び青光の3色に分解して測光
し、測光により得られたデータに基づいて色相値のヒス
トグラムを求め、求めたヒストグラムを山毎に分割し、
カラー原画像の各画素が分割された山のどれに属するか
を判断して画素を分割された山に対応する群に分けると
共に、各々の群毎にカラー原画像を分割し、分割された
各領域の輪郭及び内部構造の少なくとも1つを判断して
人物の顔か否かを判断し、人物の顔と判断された領域の
データを抽出する。
According to a first aspect of the present invention, a color original image is divided into a large number of pixels, and each pixel is separated into three colors of red light, green light and blue light. Photometry, obtain a hue value histogram based on the data obtained by the photometry, divide the obtained histogram into peaks,
It is determined which of the divided mountains the respective pixels of the color original image belong to, and the pixels are divided into groups corresponding to the divided mountains, and the color original image is divided for each group and At least one of the contour and the internal structure of the area is determined to determine whether or not it is a person's face, and data of the area determined to be the person's face is extracted.

【0009】また、請求項2の発明は、カラー原画像を
多数画素に分割して各画素を赤光、緑光及び青光の3色
に分解して測光し、測光により得られたデータに基づい
て色相値及び彩度値についての2次元ヒストグラムを求
め、求めた2次元ヒストグラムを山毎に分割し、カラー
原画像の各画素が分割された山のどれに属するかを判断
して画素を分割された山に対応する群に分けると共に、
各々の群毎にカラー原画像を分割し、分割された各領域
の輪郭及び内部構造の少なくとも1つを判断して人物の
顔か否か判断し、人物の顔と判断された領域のデータを
抽出する。
According to a second aspect of the invention, the color original image is divided into a large number of pixels, each pixel is decomposed into three colors of red light, green light and blue light, and photometry is performed. Based on the data obtained by the photometry. To obtain a two-dimensional histogram for hue and saturation values, divide the obtained two-dimensional histogram for each mountain, and determine which of the divided mountains each pixel of the color original image belongs to, and divide the pixel. While dividing into groups corresponding to the mountains
The color original image is divided for each group, and at least one of the contour and the internal structure of each divided area is determined to determine whether or not it is a human face, and the data of the area determined to be the human face is obtained. Extract.

【0010】そして、請求項3の発明は上記のようにし
て抽出された人物の顔の濃度データに基づいて複写材料
への露光量を決定する。
Then, the invention of claim 3 determines the exposure amount to the copying material based on the density data of the face of the person extracted as described above.

【0011】[0011]

【作用】請求項1の発明では、カラー原画像を多数画素
に分割して各画素を赤光、緑光及び青光の3色に分解し
て測光し、測光により得られたデータに基づいて色相値
のヒストグラムを求める。次に、求められたヒストグラ
ムをヒストグラムの谷または山の裾を境にして山毎に分
割する。これによって、各山の色相値範囲が定められ
る。次に、各画素の色相値がどの色相値範囲に属するか
を判断することにより、各画素が分割された山のどれに
属するかを判断し、多数画素を分割された山に対応する
群(クラスタ)に分ける。続いて、カラー原画像を分割
された群に対応する領域に分ける。このとき、同じ群に
含まれる画素が異る領域に分けられる場合もあるが、異
る群に含まれる画素が同じ領域に含まれることはない。
これによって、カラー原画像は、ヒストグラムによって
分けられた色相値範囲内の色相値を持つ画素を含む領域
毎に分けられることになる。従って、カラー原画像上の
1つの領域内には、色相値が所定範囲内の画素が含まれ
ることになり、人物の顔の輪郭と他の部位の輪郭、人物
の顔の内部構造と他の部位の内部構造とは明らかに異る
から、各領域の輪郭及び内部構造の少なくとも1つを判
断すれば人物の顔か否かを判断することができ、人物の
顔と判断された領域のデータを抽出することにより人物
の顔のデータを抽出することができる。
According to the first aspect of the present invention, a color original image is divided into a large number of pixels, and each pixel is decomposed into three colors of red light, green light and blue light, photometry is performed, and a hue is obtained based on data obtained by photometry. Find a histogram of the values. Next, the obtained histogram is divided into peaks at a valley or a foot of a peak of the histogram as a boundary. Thus, the hue value range of each mountain is determined. Next, it is determined which hue value range the hue value of each pixel belongs to, so that it is determined which of the crests each pixel belongs to. Cluster). Subsequently, the color original image is divided into regions corresponding to the divided groups. At this time, pixels included in the same group may be divided into different regions, but pixels included in different groups are not included in the same region.
As a result, the color original image is divided into regions each including a pixel having a hue value within the hue value range divided by the histogram. Therefore, one area on the color original image includes pixels whose hue value is within a predetermined range, and the contour of the human face and the contours of other parts, the internal structure of the human face and other Since it is clearly different from the internal structure of the part, it is possible to determine whether it is a human face by determining at least one of the contour and internal structure of each region. It is possible to extract the face data of the person by extracting.

【0012】フィルム種や光源種の変化、経時変化、フ
ィルム現像差等があると、カラー原画像の色味は画面全
体で均一に変化するが、このように色味が変化してもヒ
ストグラム上の位置が変わるだけで画像の各画素によっ
て作られる群は保存されるからカラー原画像の分割領域
は色味が変化しても変化しない。従って、本発明では、
フィルム種や光源種の変化、経時変化、フィルム現像差
等によってカラー原画像の色味や色範囲が変化しても人
物の顔の濃度データを抽出することができる。
If there is a change in the type of film or light source, a change with time, a difference in film development, etc., the color of the original color image changes uniformly over the entire screen. Since the group formed by each pixel of the image is preserved only by changing the position of, the divided area of the color original image does not change even if the color changes. Therefore, in the present invention,
Even if the color or color range of a color original image changes due to a change in a film type or a light source type, a change over time, a film development difference, or the like, density data of a human face can be extracted.

【0013】画像の特徴部である人物の顔の色相が、他
の部位の色相と同一または近似している場合、色相値の
みのヒストグラムに基づいてカラー原画像を分割する
と、人物の顔と他の部位とを区別し難いことがある。そ
こで請求項2の発明では色相値に加えて更に彩度値を導
入し、色相値及び彩度値の2次元ヒストグラムを求め、
この2次元ヒストグラムを山毎に分割して上記と同様に
してカラー原画像を分割し、分割された領域の輪郭及び
内部構造の少なくとも1つを判断して人物の顔のデータ
を抽出する。
When the hue of the person's face, which is a characteristic part of the image, is the same as or similar to the hues of other parts, if the color original image is divided based on the histogram of only the hue values, the face of the person and other It may be difficult to distinguish it from the part. Therefore, in the invention of claim 2, the saturation value is further introduced in addition to the hue value to obtain a two-dimensional histogram of the hue value and the saturation value,
The two-dimensional histogram is divided for each mountain and the color original image is divided in the same manner as described above, and at least one of the contour and the internal structure of the divided region is judged to extract the face data of the person.

【0014】本発明では、色相値と彩度値とを用いてい
るため、人物の顔と色相が同一または近似した部位(例
えば、地面、木等)が混在していても人物の顔のデータ
を抽出することができる。すなわち、人物の顔の色相
は、地面、木等の肌色部分と近似しているが、ほとんど
の場合彩度が異るため、色相値及び彩度値の2次元ヒス
トグラムに基づいて人物の顔のデータを抽出するように
すれば、顔、地面、木等が混在する画像からも人物の顔
のデータを抽出することができる。
In the present invention, since the hue value and the saturation value are used, the data of the human face is mixed even if the human face and the portion having the same or similar hue (for example, the ground, trees, etc.) are mixed. Can be extracted. That is, although the hue of a person's face is similar to the skin-colored portion of the ground, trees, etc., in most cases, the saturation is different, so that the human's face's hue is based on the two-dimensional histogram of the hue value and the saturation value. By extracting the data, it is possible to extract the face data of a person from an image in which a face, the ground, trees, and the like are mixed.

【0015】[0015]

【実施例】以下図面を参照して本発明の実施例を詳細に
説明する。本実施例は、オートプリンタに本発明を適用
したものである。図1に示されるように、本実施例のオ
ートプリンタは、カラーネガフィルム10を搬送する搬
送ローラ12を備えている。搬送ローラ12によって搬
送されるカラーネガフィルム10の下方には、光源1
4、調光フイルタ等の色補正フィルタ16および拡散ボ
ックス18が順に配列されている。また、ネガフィルム
10の上方には、ネガフィルム10を透過した光線を2
方向に分配する分配用プリズム20が配置されている。
分配用プリズム20によって分配された一方の光路上に
は、投影光学系22、ブラックシャッタ23及びカラー
ペーパー(印画紙)24が順に配列され、他方の光路上
には投影光学系26及びCCDイメージセンサ28が順
に配列されている。このCCDイメージセンサ28は、
ネガフィルム10の1画面(1コマ)全体を多数の画素
(例えば256×256画素)に分割して各画素をR
(赤)、G(緑)、及びB(青)の3色に分解して測光
する。CCDイメージセンサ28は、CCDイメージセ
ンサ出力を増幅する増幅器30及びアナログ−デジタル
(A/D)変換器32を介してCCDイメージセンサの
感度補正用の3×3マトリックス回路34に接続されて
いる。3×3マトリックス回路34は、以下で説明する
ルーチンのプログラムを記憶したマイクロコンピュータ
で構成された顔抽出回路36を介して適正露光量計算回
路40に接続されると共に、1画面全体の平均濃度を演
算する平均濃度演算回路38を介して適正露光量計算回
路40に接続されている。そして、適正露光量計算回路
40は、色補正フイルタを駆動するドライバ42を介し
て色補正フィルタ16に接続されている。
Embodiments of the present invention will be described below in detail with reference to the drawings. In this embodiment, the present invention is applied to an auto printer. As shown in FIG. 1, the automatic printer according to the present embodiment includes a transport roller 12 that transports a color negative film 10. A light source 1 is provided below the color negative film 10 transported by the transport rollers 12.
4. A color correction filter 16 such as a dimming filter and a diffusion box 18 are sequentially arranged. Above the negative film 10, the light transmitted through the negative film 10 is
A distribution prism 20 for distributing in the direction is arranged.
On one optical path distributed by the distribution prism 20, a projection optical system 22, a black shutter 23, and color paper (printing paper) 24 are sequentially arranged, and on the other optical path, a projection optical system 26 and a CCD image sensor. 28 are arranged in order. This CCD image sensor 28
The entire screen (one frame) of the negative film 10 is divided into a large number of pixels (for example, 256 × 256 pixels), and each pixel is
Photometry is performed by separating the color into three colors (red), G (green), and B (blue). The CCD image sensor 28 is connected to a 3 × 3 matrix circuit 34 for correcting the sensitivity of the CCD image sensor via an amplifier 30 for amplifying the output of the CCD image sensor and an analog-digital (A / D) converter 32. The 3 × 3 matrix circuit 34 is connected to an appropriate exposure amount calculation circuit 40 via a face extraction circuit 36 composed of a microcomputer storing a program of a routine described below, and calculates the average density of the entire screen. It is connected to an appropriate exposure calculation circuit 40 via an average density calculation circuit 38 for calculating. The appropriate exposure amount calculation circuit 40 is connected to the color correction filter 16 via a driver 42 for driving a color correction filter.

【0016】次に本実施例の作用を説明する。光源14
から照射された光線は、色補正フィルタ16、拡散ボッ
クス18及びカラーネガフィルム10を透過し、分配用
プリズム20によって分配され、投影光学系26を介し
てCCDイメージセンサ28に受光される。なお、この
ときブラックシャツタ23は閉じられている。この受光
によってCCDイメージセンサ28は、1画面全体を多
数の画素に分割して各画素をR、G、B3色に分解して
測光し、測光データ信号を出力する。測光データ信号は
増幅器30で増幅された後A/D変換器32でデジタル
信号に変換され、3×3マトリックス回路34でイメー
ジセンサの感度補正が行われ、顔抽出回路36と平均濃
度演算回路38に入力される。この平均濃度演算回路3
8では、1画面全体の平均濃度を演算する。顔抽出回路
36では、以下で説明するように1画面中の人物の顔の
部位を推定し、顔と推定された部位のR、G、B3色測
光データを出力する。露光量演算回路40は、顔抽出回
路36から出力された3色測光データと平均濃度演算回
路38で求められた平均濃度とを用いて露光量を演算
し、ドライバ42を介して色補正フイルタ16を制御す
ると共にブラックシャッタ23を開閉して焼付けを行
う。なお、平均濃度演算回路38で求めた平均濃度を用
いるとき、平均濃度に対する露光補正量を求めることが
できる。露光補正量を求めない場合、必ずしも平均濃度
演算回路38を必要とせず、直接顔抽出回路36から出
力された3色測光データより露光量を求めてもよい。
Next, the operation of this embodiment will be described. Light source 14
Are transmitted through the color correction filter 16, the diffusion box 18, and the color negative film 10, are distributed by the distribution prism 20, and are received by the CCD image sensor 28 via the projection optical system 26. At this time, the black shirt 23 is closed. By receiving the light, the CCD image sensor 28 divides the entire screen into a large number of pixels, decomposes each pixel into three colors of R, G, and B, performs photometry, and outputs a photometric data signal. The photometric data signal is amplified by an amplifier 30 and then converted into a digital signal by an A / D converter 32. The sensitivity of the image sensor is corrected by a 3 × 3 matrix circuit 34, and a face extraction circuit 36 and an average density calculation circuit 38 Is input to This average density calculation circuit 3
In step 8, the average density of one entire screen is calculated. The face extraction circuit 36 estimates the portion of the face of the person in one screen as described below, and outputs R, G, and B colorimetric data of the portion estimated as the face. The exposure calculation circuit 40 calculates the exposure using the three-color photometric data output from the face extraction circuit 36 and the average density calculated by the average density calculation circuit 38, and outputs the color correction filter 16 via the driver 42. Is controlled, and the black shutter 23 is opened and closed to perform printing. When the average density calculated by the average density calculation circuit 38 is used, an exposure correction amount for the average density can be calculated. If the exposure correction amount is not determined, the exposure amount may be determined directly from the three-color photometric data output from the face extraction circuit 36 without necessarily requiring the average density calculation circuit 38.

【0017】図2は顔抽出回路36よる顔抽出ルーチン
を示すものであり、ステップ100において入力された
3色測光データのノイズ除去、すなわちスムージングを
行う。次のステップ102では下記の(1)〜(3)式
によってR、G、B3色測光データをH(色相値)、L
(明度値)、S(彩度値)に変換する。
FIG. 2 shows a face extraction routine by the face extraction circuit 36. In step 100, noise removal, that is, smoothing of the three-color photometry data input is performed. In the next step 102, the R, G, and B colorimetric data are converted to H (hue value) and L by the following equations (1) to (3).
(Lightness value) and S (saturation value).

【0018】 L=(R+G+B)/3 ・・・・(1) S=1−min(r’,g’,b’)・・・・(2) H=H’/2Pi ・・・・(3) ただし、R、G、Bは図3の3次元色座標に示すように
各々最小値が0、最大値が1になるように規格された3
色測光データ、min( )は( )内の数値の最小
値、r’、g’、b’はr’=R/L、g’=G/L、
b’=B/Lを表す。またH’は次の(4)式で与えら
れ、Pi(iは、R、G、Bのうちの1つ)は図3のP
である。
L = (R + G + B) / 3 (1) S = 1-min (r ′, g ′, b ′) (2) H = H ′ / 2Pi (.) 3) However, R, G, and B are standardized such that the minimum value is 0 and the maximum value is 1 as shown in the three-dimensional color coordinates of FIG.
Colorimetric data, min () is the minimum value in parentheses, r ′, g ′, b ′ are r ′ = R / L, g ′ = G / L,
b ′ = B / L. H ′ is given by the following equation (4), and Pi (i is one of R, G, and B) is P
It is.

【0019】[0019]

【数1】 (Equation 1)

【0020】ただし、However,

【0021】[0021]

【数2】 (Equation 2)

【0022】ステップ104では、図4(1)に示すよ
うに、各々直交する色相値軸、彩度値軸及び画素数軸か
ら成る座標系を用いて色相値及び彩度値についての2次
元ヒストグラムを求め、次のステップ106において後
述するように、求めた2次元ヒストグラムを山毎に分割
する、すなわち2次元ヒストグラムのクラスタリングを
行う。次のステップ108ではクラスタリングされた2
次元ヒストグラムの山に基づいて多数の画素のクラスタ
リングを行い、このクラスタリングに基づいて画面を分
割し、分割された領域から人物の顔の候補となる領域を
抽出する。次のステップ110では、顔の候補として抽
出された領域から顔の領域を推定し、顔として推定され
た領域のR、G、B3色測光データを出力する。そし
て、ステップ112において全コマの焼付けが終了した
か否か判断し、焼付終了と判断されたときにこのルーチ
ンを終了する。
In step 104, as shown in FIG. 4A, a two-dimensional histogram of the hue value and the saturation value is obtained by using a coordinate system composed of the orthogonal hue value axis, saturation value axis, and pixel number axis. Then, in the next step 106, as described later, the obtained two-dimensional histogram is divided for each mountain, that is, clustering of the two-dimensional histogram is performed. In the next step 108, the clustered 2
A large number of pixels are clustered based on the peaks of the dimensional histogram, the screen is divided based on the clustering, and a region that is a candidate for a human face is extracted from the divided region. In the next step 110, a face area is estimated from the area extracted as a face candidate, and R, G, B three-color photometric data of the area estimated as the face is output. Then, it is determined in step 112 whether or not printing of all frames has been completed. When it is determined that printing has been completed, this routine is terminated.

【0023】次に、上記ステップ106〜110の詳細
を説明する。図5はステップ106の詳細を示すもの
で、ステップ120において色相値及び彩度値について
の2次元ヒストグラムから評価すべき領域を切り出す。
図4では説明を簡単にするため1コマを評価領域とし
た。ステップ122では評価領域があるか否か判断す
る。ステップ120で評価領域が切り出せなかったと
き、すなわち全ての領域の評価が終了したときには評価
領域がないため、このルーチンを終了する。評価領域が
ある場合には、ステップ124において山切り出し用ヒ
ストグラムを作成するためのX、Y軸の決定を行う。す
なわち、評価領域を画素数軸と平行な軸を中心に回転さ
せ、ヒストグラムの山を横から見たときに多峰性を優先
しかつ山が最も尖鋭となる位置を求め、この位置を基準
にX、Y軸を決定する。処理時間の短縮が必要な場合
は、精度が多少劣化するが、X、Y軸としてヒストグラ
ムの分散が最大となる軸を用いてもよい。図4(1)の
例では、1〜4の符号を付した4つの山を横から見たと
きに多峰性を優先し山が最も尖鋭になる位置は3つの山
が見える位置であるので見る方向と直交する方向にX軸
を定め、このX軸と直交する方向にY軸を定めている。
Next, the details of steps 106 to 110 will be described. FIG. 5 shows details of step 106. In step 120, an area to be evaluated is cut out from the two-dimensional histogram of the hue value and the saturation value.
In FIG. 4, one frame is set as an evaluation area for simplifying the explanation. In step 122, it is determined whether or not there is an evaluation area. When the evaluation area cannot be cut out in step 120, that is, when the evaluation of all the areas is completed, there is no evaluation area, so this routine ends. If there is an evaluation region, the X and Y axes for creating a histogram for mountain cutting are determined in step 124. In other words, the evaluation area is rotated around an axis parallel to the pixel number axis, and when a mountain of the histogram is viewed from the side, a multimodal property is prioritized and a position where the mountain is the sharpest is obtained. Determine X and Y axes. If the processing time needs to be shortened, the accuracy will be slightly deteriorated, but the axes that maximize the variance of the histogram may be used as the X and Y axes. In the example of FIG. 4 (1), when the four mountains with the reference numbers 1 to 4 are viewed from the side, priority is given to the multi-modality, and the peaks are the most sharp positions because the three mountains are visible. The X axis is defined in the direction orthogonal to the viewing direction, and the Y axis is defined in the direction orthogonal to the X axis.

【0024】次のステップ126では、2次元ヒストグ
ラムをX、Y軸に投影させて各々1次元ヒストグラムを
作成する。図4(1)の例では、X軸と直交する方向か
ら見ると1、2の符号を付した山が重なって見えるため
X軸についての1次元ヒストグラムには、符号3を付し
た山、符号1、2を付した山、符号4を付した山の3つ
の山が現れ、Y軸と直交する方向から見ると1〜4の符
号を付した山が重なって見えるためY軸についての1次
元ヒストグラムには1つの山が現れている。次のステッ
プ128では、次の(5)式によってヒストグラムを評
価関数H(a)に変換しこの評価関数に基づいてX軸に
ついてのヒストグラムから山の切り出しを行う。
In the next step 126, a one-dimensional histogram is created by projecting the two-dimensional histogram on the X and Y axes. In the example of FIG. 4A, when viewed from a direction orthogonal to the X axis, the peaks denoted by reference numerals 1 and 2 appear to overlap each other. Three peaks, that is, peaks 1 and 2, and peaks 4 appear, and when viewed from a direction orthogonal to the Y axis, the peaks 1 to 4 appear to be overlapped, so that one dimension about the Y axis is obtained. One peak appears in the histogram. In the next step 128, the histogram is converted into an evaluation function H (a) by the following equation (5), and peaks are cut out from the histogram on the X axis based on the evaluation function.

【0025】[0025]

【数3】 (Equation 3)

【0026】ただし、f(a)はX軸方向の値(特徴
量)がaのときの画素数、xは特徴量aからの変位であ
る。
Here, f (a) is the number of pixels when the value (feature amount) in the X-axis direction is a, and x is the displacement from the feature amount a.

【0027】すなわち、評価関数H(a)の平均値Tを
求め、評価関数H(a)の平均値T以下の範囲(谷、裾
部の存在範囲)を求める。次に、この範囲内のヒストグ
ラムが最小の位置をヒストグラムの谷または裾部とす
る。そして、求められた谷または裾部でヒストグラムを
切り出す。
That is, the average value T of the evaluation function H (a) is obtained, and the range (the existence range of the valleys and the skirts) of the average value T of the evaluation function H (a) is obtained. Next, the minimum position of the histogram within this range is defined as a valley or a skirt of the histogram. Then, a histogram is cut out at the determined valley or foot.

【0028】上記山の切り出しを図6を参照して説明す
ると、実線SIで表わされたヒストグラムから評価関数
H(a)を求めると図の破線で示すようになる。この評
価関数H(a)が負の部分に関しての平均値T以下の範
囲は特徴量がv0〜v1、v2〜v3の範囲である。こ
の範囲内のヒストグラムの度数が最小の位置は、範囲v
0〜v1ではav0=v0、範囲v2〜v3ではav1
であり、av0が裾部として、av2が谷として各々求
められ、この位置でヒストグラムの切り出しを行う。
The above-mentioned cut-out of the mountain will be described with reference to FIG. 6. When the evaluation function H (a) is obtained from the histogram represented by the solid line SI, it is as shown by the broken line in the figure. The range in which the evaluation function H (a) is equal to or less than the average value T for the negative part is a range in which the feature amounts are v0 to v1 and v2 to v3. The position where the frequency of the histogram within this range is the minimum is the range v
Av0 = v0 for 0 to v1, av1 for the range v2 to v3
Av0 is obtained as a skirt, and av2 is obtained as a valley. A histogram is cut out at this position.

【0029】ステップ130ではX軸についてのヒスト
グラムの山の切り出しと同様の方法でY軸についてのヒ
ストグラムの山の切り出しを行う。次のステップ132
では、2次元ヒストグラム上で上記のように切り出され
たX軸、Y軸についての1次元ヒストグラムの山が重な
る領域を求め、色相値及び彩度値についての2次元ヒス
トグラムから山の切り出しを行う。図4(1)の領域E
1は上記のようにして切り出した山の一例を示すもので
ある。
In step 130, the peak of the histogram on the Y axis is cut out in the same manner as the peak on the X axis. Next step 132
Then, a region where the peaks of the one-dimensional histogram on the X-axis and the Y-axis cut out as described above are overlapped on the two-dimensional histogram is obtained, and the peak is cut out from the two-dimensional histogram on the hue value and the saturation value. Region E in FIG. 4 (1)
Reference numeral 1 denotes an example of a mountain cut out as described above.

【0030】次のステップ134では、2次元ヒストグ
ラムから切り出された山が単峰か否か判断し、単峰でな
い場合は2次元ヒストグラムから切り出された山が単峰
になるまでステップ124〜ステップ134を繰り返
す。図4(3)の領域E2は、上記のようにして切り出
された単峰の山の一例を示すものである。
In the next step 134, it is determined whether or not the mountain cut out from the two-dimensional histogram is a single peak. If not, steps 124 to 134 are performed until the mountain cut out from the two-dimensional histogram becomes a single peak. repeat. The area E2 in FIG. 4 (3) shows an example of a single-peak mountain cut out as described above.

【0031】次のステップ136では、切り出された単
峰の山を識別するためのラベルを付ける処理(ラベリン
グ)を行い、ステップ138ではラベリングされた山を
マスクしてステップ120へ戻る。そして、上記のステ
ップを繰り返して色相値及び彩度値についての2次元ヒ
ストグラムの全領域を単峰の山に分割する。
In the next step 136, processing (labeling) for attaching a label for identifying the cut-out single-peak mountain is performed. In step 138, the labeled mountain is masked, and the process returns to step 120. Then, the above steps are repeated to divide the entire area of the two-dimensional histogram for the hue value and the saturation value into a single peak.

【0032】図7は図2のステップ108の詳細を示す
もので、ステップ140では、上記のようにして分割さ
れた単峰の山のX軸方向の範囲XR(図4(3))及び
Y軸方向の範囲YR(図4(3))を単峰の山毎に各々
求め、原画像の各画素について色相値及び彩度値がこれ
らの範囲に属しているかを判断して画素のクラスタリン
グを行うと共に、範囲XR、YRで囲まれた範囲に属し
ている画素を集め、集めた画素が原画像上で1つの領域
となるように原画像を分割する。また、分割された領域
にナンバリングする。図4(2)は、原画像を分割した
例を示すもので符号1〜4を付した各領域の画素は、図
4(1)の、符号1〜4を付した単峰の山に含まれる画
素に対応している。図4(1)で同じ単峰の山に属して
いる画素が図4(2)では異る領域に分割されている
が、これは図4(1)では単峰の山の色相値範囲及び彩
度値範囲を持つ画素であるが、図4(2)では領域が分
かれているからである。
FIG. 7 shows the details of step 108 in FIG. 2. In step 140, the X-axis range XR (FIG. 4 (3)) and Y The axial range YR (FIG. 4 (3)) is obtained for each single peak, and it is determined whether the hue value and the saturation value of each pixel of the original image belong to these ranges, and the pixel clustering is performed. At the same time, pixels belonging to the range surrounded by the ranges XR and YR are collected, and the original image is divided so that the collected pixels form one region on the original image. Numbering is performed on the divided areas. FIG. 4 (2) shows an example in which the original image is divided, and the pixels of the respective regions denoted by reference numerals 1 to 4 are included in the single-peaked mountain denoted by reference numerals 1 to 4 in FIG. Corresponding to the pixel. In FIG. 4 (1), pixels belonging to the same single-peak mountain are divided into different regions in FIG. 4 (2). This is because in FIG. Although the pixel has a saturation value range, the region is divided in FIG. 4B.

【0033】次のステップ142では、分割された領域
の面積を判断することにより小領域を除去し、ナンバ
リングをし直す。次のステップ144では、領域の境界
画素をすべて削除してひと皮分取り除く収縮処理と、収
縮処理とは逆に境界画素を背景画素方向へ増殖させてひ
と皮分太らせる膨張処理とを行って大領域と繁がってい
る小領域を大領域から分離する。次のステップ146で
はステップ142と同様に小領域を除去してリナンバ
リングを行い、ステップ148で弱い結合をしている領
域同士を分離するために、上記と同様の収縮、膨張処理
を行い、ステップ150において上記と同様に小領域
の除去とリナンバリングを行う。
[0033] In the next step 142, the infinitesimal area is removed by determining the area of the divided areas, re-numbering. In the next step 144, a large area is obtained by performing a contraction process of deleting all the boundary pixels of the region and removing it by one skin, and a dilation process of expanding the boundary pixels in the direction of the background pixel and increasing the thickness of one skin in contrast to the contraction process. Are separated from the large area. Performs renumbering by removing the following infinitesimal area as in step 146 In step 142, in order to separate the region between that weak binding at step 148, performs the same shrinkage as described above, the expansion process, the removal and renumbering the same manner as described above infinitesimal area at step 150.

【0034】図8はステップ110の詳細を示すもの
で、ステップ162においてステップ108、すなわち
図7のルーチンで抽出された領域の中から1つの領域を
注目領域として選択し、注目領域の水平フィレ径および
垂直フィレ径が所定値になるように注目領域の拡大縮小
処理を行って注目領域のサイズの規格化を行うと共に、
次の(6)式に従って濃度値または輝度値の規格化を行
う。
FIG. 8 shows the details of step 110. In step 162, one region is selected from the regions extracted in step 108, that is, the routine of FIG. 7, as the region of interest, and the horizontal fillet diameter of the region of interest is selected. And the size of the attention area is standardized by performing the enlargement / reduction processing of the attention area so that the vertical fillet diameter becomes a predetermined value
The density value or the luminance value is normalized according to the following equation (6).

【0035】[0035]

【数4】 (Equation 4)

【0036】ただし、 dmax :領域内最大濃度値(または輝度値) dmin :領域内最低濃度値(または輝度値) ds :イメージセンサのフルスケール濃度値(または
輝度値) d :規格化前濃度値(または輝度値) dr :規格化後濃度値(または輝度値) ステップ164では、予め記憶された複数種(本実施例
では10種類)の標準的な顔画像(正面から見た顔画
像、横から見た顔画像(左右)、下向き顔画像、上向き
顔画像等)に対する注目領域の相関係数rを次の(7)
式によって演算し、この相関係数を特徴量とする。この
標準的な顔画像は、顔の輪郭のみのデータであっても、
顔の輪郭のデータに顔の内部構造(眼、鼻、口等)デー
タを加えたデータであってもよい。
Where dmax: maximum density value (or brightness value) in the area dmin: minimum density value (or brightness value) in the area ds: full-scale density value (or brightness value) of the image sensor d: density value before normalization (Or luminance value) dr: post-normalization density value (or luminance value) In step 164, a plurality of types (10 types in the present embodiment) of standard face images stored in advance (face image viewed from the front, horizontal direction) The correlation coefficient r of the attention area with respect to the face image (left and right), the downward face image, the upward face image, etc. viewed from
This correlation coefficient is used as a feature value. Even if this standard face image is data of only the face outline,
The data may be data obtained by adding data of the internal structure of the face (eye, nose, mouth, etc.) to the data of the contour of the face.

【0037】[0037]

【数5】 (Equation 5)

【0038】ただし、However,

【0039】[0039]

【数6】 (Equation 6)

【0040】であり、Tは画像の水平、垂直フィレ径の
長さ(ここでは、フィレ径の長さは同じとした)、f
(x、y)は注目領域、g(x、y)は標準的な顔画像
を表す。
Where T is the horizontal and vertical fillet diameters of the image (here, the fillet diameters are the same), f
(X, y) represents a region of interest, and g (x, y) represents a standard face image.

【0041】そして、ステップ166において上記特徴
量を変量とした線形判別分析により注目領域が人物の顔
であるか否かを判断し、顔であると判断された領域の
R、G、B測光データを適正露光量計算回路40に出力
する。ステップ168では抽出された全領域について顔
か否かの判定が終了したか否か判断し、終了していない
ときにはステップ162〜ステップ168を繰り返す。
Then, in step 166, it is determined whether or not the region of interest is a human face by linear discriminant analysis using the above-mentioned characteristic amount as a variable, and R, G, B photometric data of the region determined to be a face. Is output to the proper exposure amount calculation circuit 40. In step 168, it is determined whether or not the determination as to whether or not the face is a face has been completed for all the extracted areas. If not, steps 162 to 168 are repeated.

【0042】上記では人物の顔か否かの判定を行うため
に用いる特徴量として相関係数を使用したが、以下で説
明する重心回りの正規化されたセントラル・モーメント
から導出される不変量、自己相関関数または幾何学的不
変量を用いてもよい。
In the above, the correlation coefficient is used as the feature amount used for determining whether the face is a person's face. However, an invariant derived from the normalized central moment around the center of gravity, which will be described below, Autocorrelation functions or geometric invariants may be used.

【0043】画像f(x、y)の(p+q)次の重心回
りのセントラル・モーメントμpq
The central moment μ pq around the (p + q) th centroid of the image f (x, y) is

【0044】[0044]

【数7】 (Equation 7)

【0045】ただし、However,

【0046】[0046]

【数8】 (Equation 8)

【0047】とすれば、重心回りの正規化されたセント
ラル・モーメントは次のようになる。
Then, the normalized central moment around the center of gravity is as follows.

【0048】[0048]

【数9】 (Equation 9)

【0049】 ただし、y=(p+q+2)/2 p+q=2,3,…… 以上のことより、2次、3次の重心回りの正規化された
セントラル・モーメントから次の七つの不変量ψi,(i
=1,2,……,7)が導出される。
However, from the above, y = (p + q + 2) / 2 p + q = 2, 3, ... From the normalized central moments around the second and third centroids, the following seven invariants ψ i , (I
= 1, 2,..., 7) are derived.

【0050】[0050]

【数10】 (Equation 10)

【0051】また、自己相関関数Rf は次のように表さ
れる。
Further, the autocorrelation function R f is expressed as follows.

【0052】[0052]

【数11】 [Equation 11]

【0053】そして、幾何学的不変特徴量は次の式で表
わされる。
The geometric invariant feature amount is expressed by the following equation.

【0054】[0054]

【数12】 (Equation 12)

【0055】適正露光量計算回路40は、顔抽出回路3
6で上記のように抽出された顔領域のR、G、B測光デ
ータと平均濃度演算回路38で演算された1コマの画面
平均濃度Di (i=R、G、Bのうちのいずれか)とを
用いて以下の式に従って適正露光量Ei を演算し、ドラ
イバ42に出力する。ドライバ42は適正露光量Ei
ら露光コントロール値を演算して調光フイルタ16を制
御する。
The appropriate exposure amount calculation circuit 40 is composed of the face extraction circuit 3
6, the R, G, and B photometric data of the face area extracted as described above and the screen average density D i (i = R, G, or B) of one frame calculated by the average density calculation circuit 38 ) and using the calculated the proper exposure amount E i according to the following equation, and outputs to the driver 42. The driver 42 controls the light adjustment filter 16 calculates an exposure control value from the appropriate exposure amount E i.

【0056】 logi =LMi ・CSi ・(DNi −Di )+PBi +LBi +MBi +NBi +K1 +K2 …(8) ただし、各記号は次のものを表す。L og E i = LM i · CS i · (DN i −D i ) + PB i + LB i + MB i + NB i + K 1 + K 2 (8) However, each symbol represents the following.

【0057】LM:倍率スロープ係数であり、ネガの種
類とプリントサイズから決まる引伸倍率に応じて予め設
定されている。
LM: Magnification slope coefficient, which is preset according to the enlargement magnification determined by the type of negative and the print size.

【0058】CS:ネガの種類毎に用意されたカラース
ロープ係数でアンダー露光用とオーバー露光用とがあ
り、プリントすべきコマの平均濃度が標準ネガ濃度値に
対してアンダーかオーバーかを判定してアンダー露光用
またはオーバー露光用のいずれかが選択される。
CS: Color slope coefficient prepared for each type of negative, there are underexposure and overexposure, and it is determined whether the average density of the frame to be printed is under or over the standard negative density value. Either underexposure or overexposure is selected.

【0059】DN:標準ネガ濃度値。 D :プリントコマの平均濃度値。DN: Standard negative density value. D: Average density value of print frame.

【0060】PB:標準カラーペーパーに対する補正バ
ランス値であり、カラーペーパーの種類に応じて決定さ
れている。
PB: A correction balance value for standard color paper, which is determined according to the type of color paper.

【0061】LB:標準焼付レンズに対する。補正レン
ズバランス値であり、焼付レンズの種類に応じて決定さ
れてる。
LB: For standard print lens. The correction lens balance value is determined according to the type of the printing lens.

【0062】MB:プリント光源の変動やペーパー現像
性能の変化に対する補正値(マスターバランス値)。
MB: A correction value (master balance value) for variations in the print light source and changes in the paper developing performance.

【0063】NB:ネガフィルムの特性によって定めら
れるネガバランス(カラーバランス)値。
NB: Negative balance (color balance) value determined by the characteristics of the negative film.

【0064】K2 :カラー補正量。 K1 :以下の式で表される濃度補正量。K 2 : Color correction amount. K 1 : a density correction amount represented by the following equation.

【0065】[0065]

【数13】 (Equation 13)

【0066】ここで、Ka 、Kb は定数であり、FDは
顔領域平均濃度である。
Here, K a and K b are constants, and FD is the face area average density.

【0067】また、上記(8)式の濃度補正量K1 をフ
ィルム検定装置によって求められた補正値とし、カラー
補正量K2 を次のように顔領域平均濃度を用いて表して
もよい。
Further, the density correction amount K 1 in the above equation (8) may be used as the correction value obtained by the film inspection apparatus, and the color correction amount K 2 may be expressed by using the face area average density as follows.

【0068】[0068]

【数14】 [Equation 14]

【0069】ただし、Kc は定数である。However, K c is a constant.

【0070】更に、上記(8)式の濃度補正量K1 、カ
ラー補正量K2 をフィルム検定装置によって求められた
補正量とし、(8)式のプリントコマの平均濃度Di
顔領域の平均濃度FDi 置きかえて露出量を求めてもよ
い。
Further, the density correction amount K 1 and the color correction amount K 2 in the above equation (8) are used as the correction amounts obtained by the film inspection device, and the average density D i of the print frame in the equation (8) is calculated for the face area. The exposure amount may be obtained by replacing the average density FD i .

【0071】本実施例では、領域の輪郭及び内部構造を
用いて判断しているため、色相が類似している顔、地
面、木等が混在する画像からも顔のデータを抽出するこ
とができる。
In this embodiment, since the judgment is made by using the contour of the area and the internal structure, it is possible to extract the face data from the image in which the faces, the ground, the trees and the like having similar hues are mixed. .

【0072】図9はプリンタまたはプリンタプロセッサ
とは別体の露光量決定装置に本発明を適用した変形例を
示すものである。なお、図9において図1と対応する部
分には同一符号を付して説明を省略する。また、平均濃
度演算回路38は必ずしも必要ではないが、これに代え
て画面全体のLATDを検出する積算透過濃度検出回路
を用いてもよい。
FIG. 9 shows a modified example in which the present invention is applied to an exposure amount determining device separate from a printer or a printer processor. In addition, in FIG. 9, portions corresponding to those in FIG. Although the average density calculation circuit 38 is not always necessary, an integrated transmission density detection circuit for detecting LATD of the entire screen may be used instead.

【0073】図10は、図9の顔抽出回路を複数の顔抽
出回路361 、362 ・・・36nで構成し、並列処理
により露光量を演算するものである。顔抽出回路36
1 、362 ・・・36nは図11のタイムチャートに従
って画像を読込み、露光量を演算し、その結果を出力す
る。図11においてt1 は1コマの画像読込み時間、t
2 は1コマの露光量演算時間、t3 は1コマの露光量演
算結果転送時間であり、t2 >>t1 、t3 である。顔
抽出回路361 はt1 時間で1コマの画像を読込み、t
2 時間で露光量を演算し、t3 時間で演算結果を転送す
る。顔抽出回路361 による1コマの画像読込みが終了
すると同時にフィルムが1コマ分送られ顔抽出回路36
2 による1コマ画像読込みが開始され、顔抽出回路3
1 の露光量演算と顔抽出回路362 の画像読込みとが
並列して行われ、以下同様に顔抽出回路363 、364
・・・36nによって並列処理される。
In FIG. 10, the face extraction circuit of FIG. 9 is composed of a plurality of face extraction circuits 36 1 , 36 2, ... 36 n, and the exposure amount is calculated by parallel processing. Face extraction circuit 36
1, 36 2 ··· 36n reads an image according to the time chart of FIG. 11, calculates the exposure amount, and outputs the result. In FIG. 11, t 1 is the image reading time for one frame, t 1
2 one frame of an exposure amount calculating time, t 3 is the one frame of an exposure amount computation result transfer time is t 2 >> t 1, t 3. The face extraction circuit 36 1 reads an image of one frame at time t 1 ,
It calculates the exposure amount in 2 hours, and transfers the calculation result t 3 hours. At the same time when the image reading of one frame by the face extraction circuit 36 1 is completed, the film is fed by one frame and the face extraction circuit 36
Image reading of one frame by 2 is started, the face extraction circuit 3
6 1 of the image reading of the exposure operation and the face extraction circuit 36 2 is performed in parallel, and so the face extraction circuit 36 3, 36 4
.. 36n are processed in parallel.

【0074】mxnのコマを並列処理するに要する時間
Tpは、 Tp=m(t1 +t2 +t3 )+(n−1)t1 である。一方、並列処理を行わない場合の処理時間Ts
はTs=m・n(t1 +t2 +t3 )である。従って、
The time Tp required to process mxn frames in parallel is Tp = m (t 1 + t 2 + t 3 ) + (n-1) t 1 . On the other hand, the processing time Ts when the parallel processing is not performed
Is Ts = m · n (t 1 + t 2 + t 3 ). Therefore,

【0075】[0075]

【数15】 (Equation 15)

【0076】倍高速化が可能である。It is possible to double the speed.

【0077】なお、この並列処理装置は図1のプリンタ
にも適用できる。本発明は写真焼付装置の露光量決定以
外に、ディジタルカラープリンタの露光量決定、複写機
の複写条件決定、カメラの露出量決定、CRT画面の表
示条件決定、磁気画像データからハードコピーを作成す
るときの光量決定にも適用することができる。
This parallel processing device can also be applied to the printer of FIG. According to the present invention, in addition to the determination of the exposure of the photographic printing apparatus, the determination of the exposure of the digital color printer, the determination of the copying conditions of the copying machine, the determination of the exposure of the camera, the determination of the display conditions of the CRT screen, and the creation of a hard copy from the magnetic image data It can also be applied to the determination of the amount of light at the time.

【0078】[0078]

【発明の効果】以上説明したように本発明によれば、色
相値のヒストグラムに基づいて分割された領域の輪郭及
び内部構造の少なくとも1つを判断して人物の顔か否か
を判断しているため、フィルム種や光源種の変化、フィ
ルム特性の経時変化、フィルム現像差等によってカラー
原画像の色味や色範囲が変化しても精度よく人物の顔の
データを抽出することができる、という効果が得られ
る。
As described above, according to the present invention, at least one of the contour and the internal structure of the divided area is judged based on the histogram of the hue value to judge whether it is a person's face or not. Therefore, it is possible to accurately extract human face data even if the tint or color range of the color original image changes due to changes in film type or light source type, changes in film characteristics over time, film development differences, etc. The effect is obtained.

【0079】また、色相値及び彩度値の2次元ヒストグ
ラムに基づいて分割された領域の輪郭及び内部構造の少
なくとも1つを判断して人物の顔か否かを判断している
ため、人物の顔と色相が同一または近似した部位が混在
していても人物の顔のデータを抽出することができる、
という効果が得られる。
Further, since at least one of the contour and the internal structure of the divided area is judged based on the two-dimensional histogram of the hue value and the saturation value, it is judged whether or not it is the person's face. Data of a person's face can be extracted even if parts having the same or similar hues as the face are mixed.
The effect is obtained.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の等1実施例のプリンタを示す概略図で
ある。
FIG. 1 is a schematic view showing a printer according to one embodiment of the present invention.

【図2】顔抽出回路の顔抽出ルーチンを示す流れ図であ
る。
FIG. 2 is a flowchart showing a face extraction routine of a face extraction circuit.

【図3】色座標を示す線図である。FIG. 3 is a diagram showing color coordinates.

【図4】 (1)は色相値及び彩度値についての2次元ヒストグラ
ムを示す線図である。 (2)は原画像を分割した状態を示す線図である。 (3)は2次元ヒストグラムから単峰の山を切り出した
状態を示す線図である。
FIG. 4A is a diagram illustrating a two-dimensional histogram of hue values and saturation values. (2) is a diagram showing a state in which the original image is divided. (3) is a diagram showing a state where a single peak is cut out from a two-dimensional histogram.

【図5】図2のステップ106の詳細を示す線図であ
る。
FIG. 5 is a diagram showing details of step 106 in FIG. 2;

【図6】ヒストグラムと評価関数を示す線図である。FIG. 6 is a diagram showing a histogram and an evaluation function.

【図7】図2のステップ108の詳細を示す線図であ
る。
FIG. 7 is a diagram showing details of step 108 in FIG. 2;

【図8】図2のステップ110の詳細を示す線図であ
る。
FIG. 8 is a diagram showing details of step 110 in FIG. 2;

【図9】本発明を適用した露光量演算装置の概略図であ
る。
FIG. 9 is a schematic diagram of an exposure amount calculation device to which the present invention is applied.

【図10】複数の顔抽出回路によって並列処理を行う露
光量演算装置の概略図である。
FIG. 10 is a schematic diagram of an exposure amount calculation device that performs parallel processing by a plurality of face extraction circuits.

【図11】並列処理のタイムチャートを示す線図であ
る。
FIG. 11 is a diagram showing a time chart of parallel processing.

【符号の説明】[Explanation of symbols]

28 CCDイメージセンサ 30 増幅器 36 顔抽出回路 28 CCD image sensor 30 Amplifier 36 Face extraction circuit

Claims (3)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 カラー原画像を多数画素に分割して各画
素を赤光、緑光及び青光の3色に分解して測光し、 測光により得られたデータに基づいて色相値のヒストグ
ラムを求め、 求めたヒストグラムを山毎に分割し、 カラー原画像の各画素が分割された山のどれに属するか
を判断して画素を分割された山に対応する群に分けると
共に、各々の群毎にカラー原画像を分割し、 分割された各領域の輪郭及び内部構造の少なくとも1つ
を判断して人物の顔か否か判断し、人物の顔と判断され
た領域のデータを抽出する、 人物の顔のデータ抽出方法。
1. A color original image is divided into a large number of pixels, each pixel is decomposed into three colors of red light, green light and blue light and photometry is performed, and a histogram of hue values is obtained based on the data obtained by photometry. , The obtained histogram is divided for each mountain, it is judged which pixel of each pixel of the color original image belongs to the divided mountain, and the pixel is divided into a group corresponding to the divided mountain, and for each group, A color original image is divided, and at least one of the contour and internal structure of each divided area is determined to determine whether it is a person's face, and the data of the area determined to be the person's face is extracted. Face data extraction method.
【請求項2】 カラー原画像を多数画素に分割して各画
素を赤光、緑光及び青光の3色に分解して測光し、 測光により得られたデータに基づいて色相値及び彩度値
についての2次元ヒストグラムを求め、 求めた2次元ヒストグラムを山毎に分割し、 カラー原画像の各画素が分割された山のどれに属するか
を判断して画素を分割された山に対応する群に分けると
共に、各々の群毎にカラー原画像を分割し、 分割された各領域の輪郭及び内部構造の少なくとも1つ
を判断して人物の顔か否か判断し、人物の顔と判断され
た領域のデータを抽出する、 人物の顔のデータ抽出方法。
2. A color original image is divided into a large number of pixels, each pixel is decomposed into three colors of red light, green light and blue light, and photometry is performed, and a hue value and a saturation value are obtained based on the data obtained by the photometry. The two-dimensional histogram of is calculated, the obtained two-dimensional histogram is divided for each mountain, and it is determined which pixel of each pixel of the color original image belongs to which mountain is divided. The original color image was divided into groups, and at least one of the outline and internal structure of each divided area was judged to determine whether it was a human face. A method for extracting human face data that extracts region data.
【請求項3】 請求項1または2によって抽出された人
物の顔のデータに基づいて複写材料への露光量を決定す
る露光量決定方法。
3. An exposure amount determining method for determining an exposure amount to a copy material based on the face data of a person extracted according to claim 1 or 2 .
JP11874491A 1991-05-23 1991-05-23 Method of extracting data of human face and method of determining exposure amount Expired - Lifetime JP2695067B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP11874491A JP2695067B2 (en) 1991-05-23 1991-05-23 Method of extracting data of human face and method of determining exposure amount
EP92108626A EP0514909B1 (en) 1991-05-23 1992-05-21 Method of determining exposure
DE69221665T DE69221665T2 (en) 1991-05-23 1992-05-21 Procedure for determining an exposure
US07/886,400 US5278921A (en) 1991-05-23 1992-05-21 Method of determining exposure

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11874491A JP2695067B2 (en) 1991-05-23 1991-05-23 Method of extracting data of human face and method of determining exposure amount

Publications (2)

Publication Number Publication Date
JPH04346333A JPH04346333A (en) 1992-12-02
JP2695067B2 true JP2695067B2 (en) 1997-12-24

Family

ID=14743988

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11874491A Expired - Lifetime JP2695067B2 (en) 1991-05-23 1991-05-23 Method of extracting data of human face and method of determining exposure amount

Country Status (1)

Country Link
JP (1) JP2695067B2 (en)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3461626B2 (en) * 1995-07-28 2003-10-27 シャープ株式会社 Specific image region extraction method and specific image region extraction device
JP3490559B2 (en) * 1995-11-14 2004-01-26 富士写真フイルム株式会社 Method for determining main part of image and method for determining copy conditions
JP3645384B2 (en) * 1996-12-26 2005-05-11 富士写真フイルム株式会社 Copying apparatus and copying condition determining method
US6445819B1 (en) 1998-09-10 2002-09-03 Fuji Photo Film Co., Ltd. Image processing method, image processing device, and recording medium
US7106887B2 (en) 2000-04-13 2006-09-12 Fuji Photo Film Co., Ltd. Image processing method using conditions corresponding to an identified person
EP1467549B1 (en) 2000-10-20 2011-03-23 FUJIFILM Corporation Image processing system associating information with identified subject persons of image
KR20030040680A (en) * 2001-11-15 2003-05-23 삼성에스디에스 주식회사 Method for detecting face from video data and apparatus thereof
KR100461030B1 (en) * 2002-10-31 2004-12-14 한국과학기술연구원 Image processing method for removing glasses from color facial images
JPWO2005088542A1 (en) * 2004-03-17 2008-01-31 松下電器産業株式会社 Ingredient cooking operation recognition system and ingredient cooking operation recognition program
JP4574459B2 (en) * 2005-06-09 2010-11-04 キヤノン株式会社 Image capturing apparatus, control method therefor, program, and storage medium
KR100680278B1 (en) * 2005-12-28 2007-02-07 고려대학교 산학협력단 Method for lip shape extraction and apparatus thereof
JP4732299B2 (en) 2006-10-25 2011-07-27 富士フイルム株式会社 Method for detecting specific subject image and digital camera
US8179363B2 (en) * 2007-12-26 2012-05-15 Sharp Laboratories Of America, Inc. Methods and systems for display source light management with histogram manipulation
JP5258531B2 (en) 2008-12-09 2013-08-07 キヤノン株式会社 Imaging apparatus and zoom control method
JP6148431B2 (en) 2010-12-28 2017-06-14 キヤノン株式会社 Imaging apparatus and control method thereof
JP2012150552A (en) * 2011-01-17 2012-08-09 Horiuchi Denki Seisakusho:Kk Object recognition processing device and object recognition processing method

Also Published As

Publication number Publication date
JPH04346333A (en) 1992-12-02

Similar Documents

Publication Publication Date Title
US5497431A (en) Method of extracting characteristic image data and color data conversion device for image processing apparatus
EP0514909B1 (en) Method of determining exposure
JP2695067B2 (en) Method of extracting data of human face and method of determining exposure amount
EP0514933B1 (en) Method of extracting feature image data
JPH09171220A (en) Exposure deciding method
EP0601363B1 (en) Method of determining amount of exposure
JP2638691B2 (en) Exposure determination method
JP2848749B2 (en) Feature image data extraction method
JP3516786B2 (en) Face area extraction method and copy condition determination method
JP2638693B2 (en) Feature image data extraction method
JPH10268447A (en) Image processor and photographic printer
JP2638702B2 (en) Feature image data extraction method
US7119923B1 (en) Apparatus and method for image processing
JP2638701B2 (en) Feature image data extraction method
JP2638692B2 (en) Method of extracting data of human face and method of determining exposure amount
JP2848750B2 (en) Exposure determination method
JPH09281605A (en) Image recorder
JP2763221B2 (en) How to extract human face data
JP2642262B2 (en) Exposure determination method
JP2923401B2 (en) Exposure determination method
US20040114189A1 (en) Image correction device and image correction program storage medium
JPH11339030A (en) Image processing method and image processor
JP2695074B2 (en) Photometric image data collection method and exposure amount determination method
JP2749801B2 (en) How to set color image analysis conditions
JPH06186652A (en) Exposure deciding method

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070912

Year of fee payment: 10

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 11

Free format text: PAYMENT UNTIL: 20080912

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 11

Free format text: PAYMENT UNTIL: 20080912

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 12

Free format text: PAYMENT UNTIL: 20090912

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 12

Free format text: PAYMENT UNTIL: 20090912

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100912

Year of fee payment: 13

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 13

Free format text: PAYMENT UNTIL: 20100912

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 14

Free format text: PAYMENT UNTIL: 20110912

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110912

Year of fee payment: 14