JP2009015599A - Method and system for detecting eye position - Google Patents
Method and system for detecting eye position Download PDFInfo
- Publication number
- JP2009015599A JP2009015599A JP2007176744A JP2007176744A JP2009015599A JP 2009015599 A JP2009015599 A JP 2009015599A JP 2007176744 A JP2007176744 A JP 2007176744A JP 2007176744 A JP2007176744 A JP 2007176744A JP 2009015599 A JP2009015599 A JP 2009015599A
- Authority
- JP
- Japan
- Prior art keywords
- image
- eye position
- face
- eye
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、顔画像を含む画像から目の位置を自動的に検出する方法および検出システムに関する。 The present invention relates to a method and a detection system for automatically detecting an eye position from an image including a face image.
顔画像における目の位置は、被験者の顔画像に髪型のモデル画像を重ねて髪型シミュレーション画像を形成する場合や、被験者の顔画像に唇、眉等の化粧画像を重ねてメイクアップシミュレーション画像を形成する場合に、画像の大きさの調整や位置合わせのために検出されている。また、目の位置の検出は、顔画像の目隠し処理、顔画像のフレーム処理、個人認証用画像の作成等においてもなされている。 The position of the eye in the face image can be obtained by overlaying a hairstyle model image on the subject's face image to form a hairstyle simulation image, or by overlaying a makeup image such as lips or eyebrows on the subject's face image. In this case, the image is detected for adjusting the size of the image or aligning the image. Detection of the eye position is also performed in face image blindfolding processing, face image frame processing, creation of an image for personal authentication, and the like.
従来、顔画像から目の位置を検出する方法としては、肌色領域の抽出により顔を検出し、さらにパターンマッチング等により目を検出する方法等が使用されている(非特許文献1、特許文献1)。 Conventionally, as a method for detecting an eye position from a face image, a method of detecting a face by extracting a skin color region and further detecting an eye by pattern matching or the like has been used (Non-Patent Document 1, Patent Document 1). ).
しかしながら、肌色領域の抽出は照明環境の影響を受ける。そのため、種々の照明環境で撮られた不特定多数の顔画像を対象とする場合には信頼性が問題となる。また、パターンマッチングの手法は、計算量が莫大となるという問題がある。 However, the extraction of the skin color area is affected by the lighting environment. Therefore, reliability becomes a problem when an unspecified number of face images taken in various lighting environments are targeted. Further, the pattern matching method has a problem that the amount of calculation becomes enormous.
これに対し、本発明は、顔画像を含む画像から目の位置を、簡便な手法で信頼性高く自動的に検出できるようにすることを目的とする。 On the other hand, an object of the present invention is to enable automatic detection of the position of an eye from an image including a face image with a simple method with high reliability.
本発明者らは、(1)顔画像を含む元画像を、髪領域と顔領域は判別できるが顔の造作は判別できない明度、即ち、髪領域と顔領域のおおよそ判別できるが、顔内部は全く現れないか、あるいは目・鼻・口はわかるが誰の顔か判別しがたい状態の明度に調整し、(2)顔サイズの枠をその画像上で走査させ、その枠の中央部は高明度でその周囲では低明度となる枠領域を検出すると、検出された領域は、元画像に含まれる個々の顔の領域に対応するので、この領域を目の検出対象領域として抽出できること、(3)個々の目の検出対象領域について、明度が変化した画像を作成すると、高明度側のフェードアウトした画像から低明度側の画像に順次フェードインするに伴い、最初に現れる画素が瞳領域のものであること、(4)この場合、瞳領域の画素は対になって現れ、これにより目の位置候補を定められること、そして、(5)対をなして現れた目の位置候補の全ての目の位置検出用画像にわたる出現度数の集積結果から目の位置候補を特定できることを見出した。 The inventors of the present invention (1) The original image including the face image, the brightness that can distinguish the hair region and the face region, but not the face structure, that is, can roughly determine the hair region and the face region, but the inside of the face Adjust the brightness so that it does not appear at all, or you can see the eyes, nose and mouth, but it is difficult to determine who's face, (2) scan the face size frame on the image, the center part of the frame is When a frame area having high brightness and low brightness around it is detected, the detected area corresponds to each face area included in the original image, so that this area can be extracted as an eye detection target area. 3) When an image with varying brightness is created for each eye detection area, the first pixel that appears in the pupil area is faded in from the faded out image on the high brightness side to the image on the low brightness side. (4) In this case, the pupil region pixels are paired. The eye position candidate can be determined by this, and (5) the eye position candidate from the accumulation result of the appearance frequency over all eye position detection images of the eye position candidates appearing in pairs It was found that can be identified.
即ち、本発明は、顔画像を含む元画像から目の位置を検出する方法であって、
A.元画像から、走査対象画像を作成し、
前記走査対象画像上で顔画像サイズの枠を走査して該枠内の中央部に比して周辺部が低明度となる領域を目の位置の検出対象領域として検出する工程、
B.目の位置の検出対象領域ごとに、目の位置検出用画像として明度が変化した複数の画像を作成し、
前記目の位置検出用画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、目の位置検出用画像に漸次現れる画素の固まり領域を検出し、
検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択し、
各目の位置候補の全ての目の位置検出用画像にわたる出現度数に基づいて目の位置候補を特定する工程、
を有する目の位置の検出方法を提供する。
That is, the present invention is a method for detecting an eye position from an original image including a face image,
A. Create a scan target image from the original image,
Scanning a face image size frame on the scan target image to detect an area where the peripheral portion has a low brightness as compared with the central portion in the frame as a detection target region of the eye position;
B. For each eye position detection target area, create multiple images with varying brightness as eye position detection images,
As the eye position detection image fades in from a state of fading out at a high brightness to a low brightness, a cluster area of pixels that gradually appears in the eye position detection image is detected,
Select the detected pixel cluster area that appeared as a pair as the eye position candidate,
Identifying eye position candidates based on the frequency of appearance across all eye position detection images of each eye position candidate;
A method for detecting the position of an eye having
また、本発明は、顔画像を含む元画像の取得手段、及び演算手段を備えた目の位置の検出システムであって、演算手段が
元画像から、走査対象画像を作成する機能、該走査対象画像上で顔画像サイズの枠を走査し、該枠内の中央部に比して周辺部が低明度となる枠領域を検出する機能、検出した枠領域を目の位置の検出対象領域として設定する機能、各目の位置の検出対象領域ごとに目の位置検出用画像として明度が変化した複数の画像を作成する機能、画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、目の位置検出用画像に漸次現れる画素の固まり領域を検出する機能、検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択する機能、及び各目の位置候補の全ての目の位置検出用画像にわたる出現度数に基づいて目の位置候補を特定する機能を備えている目の位置の検出システムを提供する。
The present invention also provides an eye position detection system including an original image acquisition unit including a face image and a calculation unit, wherein the calculation unit creates a scan target image from the original image, the scan target A function that scans a frame of the face image size on the image and detects a frame area whose peripheral area is lighter than the center part in the frame, and sets the detected frame area as a detection target area of the eye position A function that creates multiple images with varying brightness as eye position detection images for each eye position detection target area, as the image fades in from a state that fades out at a high brightness to a low brightness A function for detecting a cluster area of pixels that gradually appear in the eye position detection image, a function for selecting a pair of detected pixel cluster areas that appear as a pair, and a position candidate for each eye Position detection for all eyes Providing a detection system of the position of the eye has a function of identifying the position candidate of the eye based on the frequency of occurrence over the image.
本発明の方法あるいはシステムによれば、顔画像を含む元画像において、個々の顔の領域に対応する目の位置の検出対象領域を自動的に検出し、目の位置の検出対象領域毎に明度を変化させた画像を複数形成することにより目の位置を特定するので、照明環境、被験者の肌色、被験者の瞳の色、顔画像における顔の向き等にかかわらず、元画像に含まれる顔の目の位置を信頼性高く短時間で自動的に検出することができる。 According to the method or system of the present invention, in an original image including a face image, a detection target area of an eye position corresponding to each face area is automatically detected, and brightness is detected for each detection target area of the eye position. Since the position of the eyes is identified by forming multiple images with different images, the face of the face included in the original image is independent of the lighting environment, subject skin color, subject pupil color, face orientation in the face image, etc. The position of the eye can be automatically detected in a short time with high reliability.
この方法あるいはシステムによれば、目の位置を基準に用いて種々のヘアスタイル画像を任意の顔画像にフィッティングさせる髪型シミュレーション画像の形成や、目の位置を基準に用いて化粧後の顔の部分画像を任意の顔画像にフィッティングさせる化粧シミュレーション画像の形成等のように、目の位置を基準に用いて複数の画像情報をフィッティングさせることによりシミュレーション画像を形成する場合に、自然さのあるシミュレーション画像を短時間で形成することが可能となる。また、個人情報保護のための目隠し処理のように、目の位置を基準としてモザイク、塗りつぶし等の画像処理を行う場合にも、本発明の方法あるいはシステムを好適に用いることができる。 According to this method or system, formation of a hairstyle simulation image for fitting various hairstyle images to an arbitrary face image using the eye position as a reference, and a face part after makeup using the eye position as a reference When a simulation image is formed by fitting a plurality of pieces of image information using the eye position as a reference, such as formation of a makeup simulation image for fitting an image to an arbitrary face image, a natural simulation image Can be formed in a short time. In addition, the method or system of the present invention can also be suitably used when performing image processing such as mosaicing and filling with reference to the position of the eye, such as blindfolding processing for personal information protection.
以下、図面を参照しつつ本発明を詳細に説明する。 Hereinafter, the present invention will be described in detail with reference to the drawings.
図1は、顔画像を含む元画像において、個々の顔画像の目の位置を検出する本発明の目の位置の検出方法の一実施例を示す流れ図であり、図2は、この方法を実施する目の位置の検出システム10のブロック図である。 FIG. 1 is a flowchart showing an embodiment of the eye position detection method of the present invention for detecting the eye position of each face image in an original image including a face image, and FIG. 2 is an implementation of this method. 1 is a block diagram of a detection system 10 for an eye position.
このシステム10は、撮像装置1及びパソコン本体2からなっており、パソコン本体2には、ディスプレイ3、イメージスキャナ4、プリンタ5等が接続されている。 The system 10 includes an imaging apparatus 1 and a personal computer main body 2, and a display 3, an image scanner 4, a printer 5, and the like are connected to the personal computer main body 2.
撮像装置1は、顔画像を含む元画像の取得手段として設けられており、市販のデジタルカメラを使用することができる。 The imaging device 1 is provided as a means for acquiring an original image including a face image, and a commercially available digital camera can be used.
パソコン本体2は、演算手段として設けられており、カラー画像をグレースケール画像へ変換する画像処理機能や所定のフェードイン割合の画像を作成する機能を備えている The personal computer main body 2 is provided as a calculation means, and has an image processing function for converting a color image into a grayscale image and a function for creating an image with a predetermined fade-in ratio.
ここで、カラー画像からグレースケール画像への変換は、各画素において、(1)R、G、Bの各値の最大値と最小値の平均を利用する方法、(2)R、G、Bの各値の平均を利用する方法、(3)R、G、Bの各値に所定の重み付け係数(NTSC等)を掛けた後、それらの平均をとる方法等により行えばよい。例えば、(3)の方法においては、次式
Y(出力輝度)=0.298912×R+0.568811×G+0.114478×B
を利用すればよい。このような画像処理機能は、例えば、アドビシステム社製フォトショップ等の市販のイメージ処理ソフトをパソコン本体2に搭載することにより得ることができる。
Here, conversion from a color image to a grayscale image is performed by (1) a method using the average of the maximum and minimum values of R, G, and B for each pixel, and (2) R, G, and B, respectively. (3) After multiplying each value of R, G, and B by a predetermined weighting coefficient (NTSC, etc.), the average value of these values may be used. For example, in the method (3), the following equation Y (output luminance) = 0.298912 × R + 0.568811 × G + 0.114478 × B
Can be used. Such an image processing function can be obtained by, for example, installing commercially available image processing software such as Photoshop made by Adobe System Co. in the personal computer main body 2.
また、所定のフェードイン割合の画像は、例えば、元画像が256階調の場合、以下の通りに作成することができる。 In addition, for example, when the original image has 256 gradations, an image with a predetermined fade-in ratio can be created as follows.
まず、フェードイン0%の画像は、全ての画素の画素値を一律255とする。 First, in an image with 0% fade-in, the pixel values of all the pixels are uniformly set to 255.
また、フェードインx%の画像は、元画像において画素値が2.55x未満の画素は元画像の画素値を有し、画素値が2.55x以上の画素(但し、x>0)は一律画素値255を有するとする。 Further, in an image with fade-in x%, pixels having a pixel value of less than 2.55x in the original image have the pixel value of the original image, and pixels having a pixel value of 2.55x or more (provided that x> 0) are uniform. Suppose that it has a pixel value of 255.
例えば、フェードイン10%の画像は、元画像において、画素値が25.5(=255×0.1)未満の画素はその画素値のまま、画素値が25.5以上の画素は画素値を一律255にする。 For example, in a 10% fade-in image, pixels with a pixel value of less than 25.5 (= 255 × 0.1) remain the same in the original image, and pixels with a pixel value of 25.5 or more have a uniform pixel value. 255.
フェードイン20%の画像は、元画像において、画素値が51.0(=255×0.2)未満の画素はその画素値のまま、元画像の画素値が51.0以上の画素は画素値を一律255にする。 An image with 20% fade-in has a pixel value of less than 51.0 (= 255 × 0.2) in the original image, and a pixel value of 51.0 or higher in the original image remains the same. Set to 255.
フェードイン100%の画像は、全ての画素の画素値を元画像の画素値のままとする。 In an image with 100% fade-in, the pixel values of all the pixels remain the pixel values of the original image.
また、パソコン本体2は、明度の変化に伴ってコントラストを変化させる機能(例えば、明度を高くするにしたがいコントラストを下げ、また、明度を低くするにしたがいコントラストをあげる機能)、画像の階層を明度の低い又は高い順にリスト番号を付けて管理する機能、所定明度の画像上で所定サイズの枠を走査させ、該枠内の中央部に比して周辺部が低明度となる枠領域を検出する機能、検出した枠領域を目の位置の検出対象領域として設定する機能、各目の位置の検出対象領域ごとに明度が変化した複数の画像を作成する機能、画像の明度の階層において、明度が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、フェードアウトした顔領域に漸次現れる画素の固まり領域を検出する機能、検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択する機能、及び各目の位置候補の全階層の画像にわたる出現度数をカウントし、その値に基づいて目の位置候補を絞り込む機能などを有している。 The PC main body 2 also has a function of changing the contrast according to the change of brightness (for example, a function of decreasing the contrast as the brightness is increased and increasing the contrast as the brightness is decreased), and the image hierarchy. A function that manages by assigning a list number in order from the lowest to the highest, scans a frame of a predetermined size on an image of a predetermined brightness, and detects a frame area in which the peripheral portion has a lower brightness than the central portion in the frame Function, a function to set the detected frame area as a detection target area of the eye position, a function to create a plurality of images whose brightness changes for each detection target area of each eye position, and the brightness level in the image brightness hierarchy A function that detects the cluster area of pixels that gradually appear in the faded-out face area as it fades in from a state that fades out at high brightness to a low brightness. The function of selecting a pair of marginal areas appearing as a pair of eye positions, and the frequency of appearance of each eye position candidate across all levels of the image are counted, and the eye position candidates are narrowed down based on that value. It has functions.
さらに、パソコン本体2は、顔画像のサイズの調整機能、顔画像のぼかし機能、目の位置候補から特定の目の位置を特定する際の目の位置条件として目の位置候補相互の位置関係や目の位置候補の幅、隣接する目の位置候補の距離等を記憶する機能、目の位置候補から目の位置条件を満たすものを選択し、目の位置として特定する機能等を有している。 Furthermore, the personal computer body 2 uses a facial image size adjustment function, a facial image blurring function, the positional relationship between eye position candidates as eye position conditions when specifying a specific eye position from eye position candidates, A function of storing the width of the eye position candidate, the distance between adjacent eye position candidates, a function of selecting an eye position candidate that satisfies the eye position condition, and specifying the position as an eye position .
このシステム10を用いた目の位置の検出方法は、図1に示すように、概略、次のA、Bの2つの工程からなる。 As shown in FIG. 1, the eye position detection method using this system 10 is roughly composed of the following two steps A and B.
A.顔画像を含む元画像から目の位置の検出対象領域を検出する工程、
B.目の位置の検出対象領域から最終的に目の位置を特定する工程であって、
(1)個々の目の位置の検出対象領域において目の位置候補を検出する工程
(2)個々の目の位置の検出対象領域で検出した目の位置候補から最終的に目の位置を特定する工程
A. Detecting a detection target region of an eye position from an original image including a face image;
B. A step of finally identifying the position of the eye from the detection target region of the position of the eye,
(1) A step of detecting eye position candidates in a detection target region of each eye position
(2) A step of finally specifying the eye position from the eye position candidates detected in the detection target area of each eye position
工程Aでは、まず、目の位置の検出対象とする顔画像を有する元画像をパソコン本体2に取得する。元画像は、例えば、撮像装置1で顔画像を含む写真を撮り、それをパソコン本体2に取り込ませてもよく、イメージスキャナ4を用いて顔画像を含む写真を読み取ることによってもよく、インターネット等の通信回線を利用してそのような画像を取得してもよい。 In the process A, first, an original image having a face image as a detection target of the eye position is acquired in the personal computer main body 2. For example, the original image may be obtained by taking a photograph including a face image with the imaging device 1 and loading the photograph into the personal computer main body 2, or reading a photograph including the face image using the image scanner 4, such as the Internet. Such an image may be acquired using the communication line.
なお、元画像としては、1つの元画像中に含まれる顔画像の数は、単数でも複数でもよいが、本発明は複数の顔画像のときに特に効果を発揮するので、複数の方が好ましい。また、元画像としては、その中に含まれる個々の顔画像について、最大サイズと最小サイズの比が、顔の長さで1〜3倍、好ましくは1.5〜2.5倍程度以内であるものが、目の位置の検出精度の点から好ましい。 As the original image, the number of face images included in one original image may be singular or plural. However, the present invention is particularly effective when there are a plurality of facial images, and a plurality of facial images are preferable. . As the original image, the ratio of the maximum size to the minimum size of each face image included in the original image is 1 to 3 times, preferably about 1.5 to 2.5 times the length of the face. Some are preferable from the viewpoint of eye position detection accuracy.
次に、必要に応じて、元画像のサイズを目の位置の検出処理に適したサイズに調整する。より具体的には、検出速度と検出精度の観点から、480×360〜320×240ピクセル程度に画面サイズを変更することが好ましい。 Next, if necessary, the size of the original image is adjusted to a size suitable for the eye position detection process. More specifically, it is preferable to change the screen size to about 480 × 360 to 320 × 240 pixels from the viewpoint of detection speed and detection accuracy.
また、顔画像がシャープであると、後の画像処理で細かいエッジが多数現れ、目の位置候補の検出のノイズとなるので、必要に応じて元画像にぼかし処理を行う。この場合、ぼかしの程度は、弱〜中とすることが好ましく、例えば、各画素について、注目点の画素とその周囲の25画素に対して1〜5の重み付ぼかしフィルタを使用して輝度の平均値を出力するぼかし処理を行う。このぼかし処理は、必要に応じて複数回行っても良い。 Further, if the face image is sharp, many fine edges appear in subsequent image processing, resulting in noise for detection of eye position candidates. Therefore, the original image is blurred as necessary. In this case, it is preferable that the degree of blurring is weak to medium. For example, for each pixel, the weighting blur filter of 1 to 5 is used for the pixel of interest and the surrounding 25 pixels. Performs blurring to output the average value. This blurring process may be performed a plurality of times as necessary.
さらに、本発明の目の位置の検出方法においては、カラー画像である必要は無いため、取得した元画像がカラー画像の場合には、後の処理量を低減させるため、グレースケール画像に変換することが好ましい。 Furthermore, in the eye position detection method of the present invention, since it is not necessary to be a color image, when the acquired original image is a color image, it is converted into a grayscale image in order to reduce subsequent processing amount. It is preferable.
次に、図3に示すように、取得した元画像20において、適当な大きさの顔画像サイズの枠30を予め設定する。通常、この枠30のサイズは、元画像20に含まれる個々の顔画像のうち、両目の間隔が最大のものの両目間隔L1の2倍〜3倍程度を一辺とする矩形枠30とすることが好ましい。この枠30のサイズを厳密に規定する必要はないが、漏れなく検出対象をとらえ、かつ検出を正確に行う観点から、当該元画像20に好適な枠サイズを本システムの操作者が適宜設定することが好ましい。この設定は元画像20を取得した後、次に説明する走査対象画像21上で顔画像サイズの枠30を走査させる前なら、いつ行ってもよい。 Next, as shown in FIG. 3, in the acquired original image 20, a frame 30 having a suitable face image size is set in advance. Usually, the size of the frame 30 is set to be a rectangular frame 30 with one side being about 2 to 3 times the eye distance L1 of the individual face images included in the original image 20 having the largest distance between the eyes. preferable. Although it is not necessary to strictly define the size of the frame 30, the operator of the system appropriately sets a frame size suitable for the original image 20 from the viewpoint of capturing the detection target without omission and accurately performing the detection. It is preferable. This setting may be made any time after the original image 20 is acquired and before the face image size frame 30 is scanned on the scanning target image 21 described below.
そして元画像20から走査対象画像21を作成する。図4Aに示すように走査対象画像21としては、元画像20の明度を変化させることにより、髪領域と顔領域は判別できるが顔の造作は判別できない状態、即ち、髪領域と顔領域はおおよそ判別できるが、顔内部は全く現れていないか、あるいは目・鼻・口はわかるが誰の顔だか判別しがたい状態の画像を作成することが好ましい。 Then, a scanning target image 21 is created from the original image 20. As shown in FIG. 4A, by changing the brightness of the original image 20 as the scanning target image 21, the hair area and the face area can be discriminated, but the face feature cannot be discriminated, that is, the hair area and the face area are approximately It is preferable to create an image in which the inside of the face does not appear at all, or the face, eyes, nose, and mouth are known but it is difficult to determine who the face is.
走査対象画像21の作成方法は、元画像20の撮影条件にもよるが、基本的には元画像から、前述したフェードイン割合としてフェードイン25〜35%の画像を作成することが好ましい。なお、走査対象画像21は、図4Bに示すように、階調を反転させたネガ画像として形成してもよい。 The method of creating the scanning target image 21 depends on the photographing conditions of the original image 20, but basically it is preferable to create an image with a fade-in of 25 to 35% as the fade-in ratio described above from the original image. Note that the scanning target image 21 may be formed as a negative image with inverted gradation as shown in FIG. 4B.
走査対象画像21の作成方法は、前述の所定のフェードイン割合の画像を作成する方法に限らず、種々の2値化処理による方法が適用可能である。例えば、元画像20の明度ヒストグラムの中心明度値を閾値とする2値化処理など、元画像の特性に基づき閾値を決める種々の2値化処理(一般的に可変閾値処理と呼ばれている)により走査対象画像21を作成することができる。 The method of creating the scan target image 21 is not limited to the above-described method of creating an image having a predetermined fade-in ratio, and various binarization processing methods can be applied. For example, various binarization processes (generally referred to as variable threshold processes) for determining a threshold value based on the characteristics of the original image, such as a binarization process using the central brightness value of the brightness histogram of the original image 20 as a threshold value. Thus, the scan target image 21 can be created.
また、走査対象画像21は、元画像20が極端に明るかったり暗かったりする場合には、以下のように予め元画像20に明度補正を行ってから作成するのが好ましい。すなわち、図5A(a)のように明るすぎる元画像20について、あるいは図5B(a)のように暗すぎる元画像20について、それぞれ元画像20の明度ヒストグラムを作成し、最大カウント数Aの1.5%〜15%、好ましくは3%〜8%以下のカウント数である画素値のカウント数をゼロとした後、カウント数がゼロではない画素値のうち最大の画素値Xmaxおよび最小の画素値Xminを求める。次に、同図(b)のように、元画像の画素値Xiを次式に代入して明度補正後の画素値とすることにより元画像の明度補正を行う。 In addition, when the original image 20 is extremely bright or dark, the scan target image 21 is preferably created after the brightness correction is performed on the original image 20 in advance as follows. That is, for the original image 20 that is too bright as shown in FIG. 5A or the original image 20 that is too dark as shown in FIG. 5B, a brightness histogram of the original image 20 is created. After the count value of the pixel value which is a count number of 5% to 15%, preferably 3% to 8% or less is set to zero, the maximum pixel value Xmax and the minimum pixel among the pixel values whose count number is not zero The value Xmin is obtained. Next, as shown in FIG. 5B, the brightness correction of the original image is performed by substituting the pixel value Xi of the original image into the following equation to obtain the pixel value after the brightness correction.
Xi>Xmaxの場合、Xi=Xmaxとする。
If Xi> Xmax, Xi = Xmax.
明度補正の方法としては前述の方法に限らず、種々の方法が適用可能である。例えば、予め任意の画像を基準画像とし、その平均明度を測定すると共に走査対象画像作成のための適正明度変化量を決定しておき、基準画像の平均明度に対する元画像の平均明度の比率を算出し、基準画像における適正明度変化量に平均明度の比率を乗じた量だけ元画像の明度を変化させて元画像の明度を補正する。 The brightness correction method is not limited to the above-described method, and various methods can be applied. For example, an arbitrary image is used as a reference image in advance, the average brightness is measured, and an appropriate brightness change amount for creating a scan target image is determined, and the ratio of the average brightness of the original image to the average brightness of the reference image is calculated. Then, the brightness of the original image is corrected by changing the brightness of the original image by an amount obtained by multiplying the appropriate brightness change amount in the reference image by the average brightness ratio.
ここで、基準画像における適正明度変化量の決定は次のように行う。まず、基準画像の平均明度を明暗両方向に1階調ずつ変化させた画像を作成し、それぞれの画像に対して次に示す目の位置の検出対象領域の検出を行い、その検出結果が実際に顔画像の存在する領域と整合しているかを目視で判断し、その検出の成功率を計算する。そしてその成功率が最大になる画像の平均明度を求め、これと基準画像の平均明度との差を適正明度変化量とする。 Here, the appropriate brightness change amount in the reference image is determined as follows. First, an image in which the average brightness of the reference image is changed by one gradation in both the light and dark directions is detected, and the detection target area of the eye position shown below is detected for each image, and the detection result is actually It is judged visually whether it matches with the area where the face image exists, and the success rate of the detection is calculated. Then, the average brightness of the image with the highest success rate is obtained, and the difference between this and the average brightness of the reference image is set as the appropriate brightness change amount.
基準画像としては、5〜20人の顔画像が写っており、個々の顔画像の最大サイズと最小サイズの比が、顔の長さで1〜3倍以内であるものが好ましい。目の位置の検出対象領域の設定は次に示す方法によればよい。 As the reference image, face images of 5 to 20 persons are shown, and the ratio of the maximum size and the minimum size of each face image is preferably within 1 to 3 times the face length. The eye position detection target area may be set by the following method.
次に、図6に示すように、走査対象画像21上で顔画像サイズの枠30を走査させ、該枠内の中央部に比して周辺部が低明度となる枠領域(図6に示すようにネガ画像では、中央部に比して周辺部が高明度となる領域)30a〜30eを検出し、検出した枠領域30a〜30eを目の位置の検出対象領域として設定する。より具体的には、走査対象画像21上で、顔画像サイズの枠30の一辺の長さをXピクセルとしたとき、1〜0.35Xピクセル、好ましくは0.2X〜0.3Xピクセル、より好ましくは0.23X〜0.27Xピクセルずつ縦横に移動させ、以下の基準(1)〜(3)に基づいて枠領域を検出する。なお、この枠30の走査と以下の枠領域の検出とは同時に行ってもよく、走査を完了させた後に枠領域を検出してもよい。 Next, as shown in FIG. 6, a face image size frame 30 is scanned on the scan target image 21, and a frame region (shown in FIG. 6) in which the peripheral portion has a lower brightness than the central portion in the frame. As described above, in the negative image, the areas 30a to 30e in which the peripheral part has higher brightness than the center part are detected, and the detected frame areas 30a to 30e are set as the eye position detection target areas. More specifically, when the length of one side of the face image size frame 30 on the scanning target image 21 is X pixels, 1 to 0.35 X pixels, preferably 0.2 X to 0.3 X pixels, more preferably 0.23. The frame area is detected on the basis of the following criteria (1) to (3) by moving X to 0.27 X pixels vertically and horizontally. The scanning of the frame 30 and the detection of the following frame region may be performed simultaneously, or the frame region may be detected after the scanning is completed.
顔画像サイズの枠30を3×3の9領域に分割した場合に、
(1)画素値254以下の領域(白で無い領域)の存在割合が、中央部領域に比して周囲8領域での平均値が高い、
(2)画素値254以下の領域の存在割合が、中央部領域に比して上部中央領域で高い、
(3)画素値254以下の領域の存在割合が、中央部領域に比して中央部左領域又は中央部右領域で高い
When the face image size frame 30 is divided into 3 × 3 9 areas,
(1) The existence ratio of regions having pixel values of 254 or less (regions that are not white) has a higher average value in the surrounding eight regions than the central region
(2) The existence ratio of the region having a pixel value of 254 or less is higher in the upper central region than in the central region.
(3) The existence ratio of the region having a pixel value of 254 or less is higher in the central left region or the central right region than in the central region.
これらの基準のうち、(1)は、肌や髪の色が異なる人種を問わず、また、頭髪の有無も問わず、グレースケール画像では、顔領域が、頭、帽子、衣服、その他の顔領域の周囲に比して明るいことに基づくものであり、顔領域を検出するために必要な基準となる。 Of these criteria, (1) is for people with different skin and hair colors, with or without head hair, and in grayscale images, the face area is the head, hat, clothing, and other This is based on the fact that it is brighter than the surroundings of the face area, and is a reference necessary for detecting the face area.
(2)は、正面顔画像のように、画像上、顔の明るい領域の上方に頭髪の暗い領域が存在する場合、(3)は、横向の顔画像のように、画像上、顔の右側又は左側に髪の暗い領域が存在する場合に対応し、これらは(1)の条件だけでは、目の検出対象領域が過度に広く設定される場合に使用する。したがって、検出漏れ防止を優先目的とする場合は(1)の条件だけを満たす枠領域を検出することが好ましく、演算時間の短縮も目的とする場合は(1)と(2)を同時に満たす枠領域、又は(1)と(3)を同時に満たす枠領域を検出することが好ましい。 (2) is a front face image, when there is a dark region of head hair above the bright area of the face on the image, (3) is on the image, right side of the face, like a sideways face image Alternatively, this corresponds to the case where a dark region of hair exists on the left side, and these are used when the detection target region of the eye is set to be excessively wide only under the condition (1). Therefore, it is preferable to detect a frame area that satisfies only the condition (1) when priority is given to preventing detection omissions, and a frame that satisfies (1) and (2) at the same time if the purpose is to reduce the computation time. It is preferable to detect a region or a frame region that satisfies (1) and (3) simultaneously.
こうして、目の位置の検出対象領域30a〜30eを設定した後は、工程Bで、元画像の個々の目の位置の検出対象領域ごとに目の位置候補を検出する。この目の位置候補の検出のため、まず、目の位置の検出対象領域ごとに、目の位置検出用画像として、明度が変化した複数の目の位置検出用画像を形成する。より具体的には、例えば図7に示すように、前述した所定のフェードイン割合の画像の形成方法に従ってフェードイン0%から漸次明度を低下させたフェードイン画像を、10〜80%まで1%刻みに70階層程度作成する。 After the eye position detection target areas 30a to 30e are set in this way, in step B, eye position candidates are detected for each detection target area of each eye position of the original image. In order to detect the eye position candidates, first, a plurality of eye position detection images with varying brightness are formed as eye position detection images for each eye position detection target region. More specifically, for example, as shown in FIG. 7, a fade-in image in which the brightness is gradually decreased from 0% fade-in according to the above-described image forming method having a predetermined fade-in ratio is reduced from 10% to 80% by 1%. Create about 70 levels in increments.
なお、このフェードイン画像の階層の作成に際しては、検出精度を保ちつつ処理速度を高くするため、予め、各検出対象領域30a〜30eの一辺の大きさが80〜120ピクセルより大きなものは、一辺の大きさが80〜120ピクセルとなるように、各検出対象領域30a〜30eの画像サイズを調整することが好ましく、また、ノイズを低下させるため、必要に応じてぼかし処理を行うことが好ましい。 In creating the fade-in image hierarchy, in order to increase the processing speed while maintaining the detection accuracy, the size of one side of each of the detection target areas 30a to 30e is larger than 80 to 120 pixels in advance. It is preferable to adjust the image size of each of the detection target areas 30a to 30e so that the size of the pixel becomes 80 to 120 pixels, and it is preferable to perform a blurring process as necessary in order to reduce noise.
また、フェードイン画像の形成に際しては、明度を上げるにつれてコントラストを下げ、明度を下げるにつれてコントラストをあげると、フェードイン画像中に目の部分がより鮮明に現れるので好ましい。 In forming a fade-in image, it is preferable to lower the contrast as the lightness is increased and raise the contrast as the lightness is lowered because the eye part appears more clearly in the fade-in image.
この他、目の位置検出用画像として、例えば、γ値を漸次変化させることにより図7に示すように明度が変化した画像を複数形成してもよく、これ以外にも種々の一般的方法を用いることが可能である。 In addition, as the eye position detection image, for example, by gradually changing the γ value, a plurality of images having lightness changes as shown in FIG. 7 may be formed. It is possible to use.
図7からわかるように、検出対象領域の明度をあげて完全にフェードアウトさせた画像から明度を低下させてフェードイン画像の階層を形成していくと、通常、まず最初に瞳に画素の固まりが検出され、次に鼻や口に画素の固まりが検出される。また、瞳領域の画素の固まりは左右一対として現れる。そこで、目の位置候補として、左右一対の画素の固まりを選択する。階層によっては、瞳の他に口元、眉、額等の領域にも、画素の固まり領域が対になって現れるが、この段階では、これらの画素の固まり領域も目の位置候補として選択する。 As can be seen from FIG. 7, when the brightness of a detection target region is increased and the brightness is reduced from an image that has been completely faded out to form a fade-in image hierarchy, normally, first, a cluster of pixels is formed in the pupil. Then, a block of pixels is detected in the nose and mouth. The cluster of pixels in the pupil region appears as a pair of left and right. Therefore, a cluster of a pair of left and right pixels is selected as an eye position candidate. Depending on the hierarchy, pixel cluster areas appear in pairs in areas such as the mouth, eyebrows, and forehead in addition to the pupils. At this stage, these pixel cluster areas are also selected as eye position candidates.
なお、画素の固まり領域の検出においても、明度が変化した画像は、図8に示すようにネガ画像として形成してもよい。 In the detection of the cluster area of pixels, an image whose brightness has changed may be formed as a negative image as shown in FIG.
図9は、目の位置の検出対象領域30eのある階層のフェードイン画像(ネガ画像)において、顔領域中に現れた画素の固まり領域を矩形で示し、さらにこれらのうち対をなしているものを直線で結んだものである。 FIG. 9 shows a block of pixel clusters appearing in the face area in a fade-in image (negative image) in a hierarchy with a detection target area 30e for the eye position, and a pair of these areas. Are connected by a straight line.
対をなしている画素の固まり領域のうち、目の位置候補として選択するものの条件として、予め次の(1)、(2)を設定しておくことが好ましい。
(1)左右一対の画素の固まり領域の横方向の距離が一定の範囲にあること
(2)左右一対の画素の固まり領域の縦方向の距離が一定の範囲にあること
It is preferable to set the following (1) and (2) in advance as conditions for selecting a candidate for the eye position among the clustered regions of the paired pixels.
(1) The lateral distance of the cluster area of a pair of left and right pixels is within a certain range.
(2) The vertical distance between the left and right pixel cluster areas is within a certain range.
次に、図10に示すように、各フェードイン画像毎に現れた一対の目の位置候補を、目の位置検出用画像の全階層にわたって集積し、その出現度数をカウントし、このカウント数の多い順にランキングリストを作成する。このカウントでは、フェードアウトした顔画像から段階的に明度を下げていった場合に最初に現れ、最終段階まで現れ続ける瞳領域の目の位置候補が通常、最大カウント(ランキング第1位)となる。そこで、カウント値が2以下のものは目の位置候補から外し、また、原則的に最大カウントの目の位置候補の位置を目の位置候補として絞り込む。 Next, as shown in FIG. 10, a pair of eye position candidates appearing for each fade-in image is accumulated over all layers of the eye position detection image, and the appearance frequency is counted. Create a ranking list in descending order. In this count, the eye position candidate that appears first when the brightness is gradually reduced from the faded-out face image and continues to appear until the final stage is normally the maximum count (ranking first). Therefore, those with a count value of 2 or less are excluded from eye position candidates, and in principle, the position of the eye position candidate with the maximum count is narrowed down as an eye position candidate.
ただし、次の(a)〜(c)の条件を全て満たした場合、あるいは(d)の条件を満たした場合には、カウント数が2番目に多かった目の位置候補の位置を目の位置として特定する。
(a)ランキング第2位の目の位置候補が、ランキング第1位の目の位置候補より上方にある場合
(b)ランキング第2位の目の位置候補の目と目の中心間距離が、ランキング第1位の目の位置候補の中心間距離より長い場合
(c)ランキング第2位の目の位置候補の左右の瞳にあたる領域が、共にランキング第1位の目候補の左右の瞳にあたる位置よりも外側にある場合
(d)ランキング第1位の目の位置候補とランキング第2位の目の位置候補の縦方向の距離が、目と眉の距離程度に離れ、ランキング第1位の目の位置候補がランキング第2位の目の位置候補よりも上にある場合
However, if the following conditions (a) to (c) are all satisfied, or if the condition (d) is satisfied, the position of the eye position candidate with the second largest count is set as the eye position. As specified.
(a) When the second position candidate for the ranking is higher than the first position candidate for the ranking
(b) When the distance between the center of the eye position candidate of the 2nd ranked eye is longer than the distance between the centers of the position candidate of the 1st ranked eye
(c) When the left and right pupil regions of the second ranking eye position candidate are both outside the positions corresponding to the left and right pupils of the first ranking eye candidate
(d) The vertical distance between the first position candidate of the ranking and the second position candidate of the ranking is about the distance between the eyes and the eyebrows, and the first position candidate of the ranking is ranked first. When the position is above the second position candidate
このうち、(a)〜(c)は、ランキング第1位がまれに口領域になることがあるのに対し、口の位置を目の位置であると誤判定しないためのものであり、(d)は、目の周りの眉等を目の位置であると誤判定しないためのものである。 Of these, (a) to (c) are intended to prevent erroneous determination of the position of the mouth as the position of the eye, while the first ranking in the ranking may rarely be the mouth area. d) is for preventing erroneous determination that the eyebrows around the eyes are the positions of the eyes.
以上により、図11に示すように、個々の目の位置の検出対象領域において、目の位置候補(より正確には瞳の位置)を正確に検出することが可能となる。 As described above, as shown in FIG. 11, it is possible to accurately detect eye position candidates (more precisely, the position of the pupil) in the detection target area of each eye position.
以上の目の位置候補の特定方法は、工程Aで設定した全ての目の位置の検出対象領域30a〜30eについてそれぞれ行う。また、いずれかの目の位置の検出対象領域において、目の位置候補を特定できなかった場合には、以降、その領域には目が存在しないとして扱う。 The above eye position candidate specifying method is performed for each of the detection target regions 30a to 30e of the eye positions set in step A. In addition, if an eye position candidate cannot be specified in a detection target area of any eye position, the area is treated as having no eyes thereafter.
こうして個々の目の位置の検出対象領域で特定された目の位置を、最終的に図12に示すように元画像の対応する位置に重ね、元画像における個々の顔画像の目の位置とすることが可能となる。 Thus, the eye positions specified in the detection target areas of the individual eye positions are finally overlapped with the corresponding positions of the original image as shown in FIG. 12, and are set as the eye positions of the individual face images in the original image. It becomes possible.
本発明の目の位置の検出方法は、複数顔画像において、目の位置の検出対象とする個々の被写体の肌の色、瞳の色、顔の向き、照明環境の変化によらず、精度よく、簡便な演算方法で、高い処理速度で目の位置を検出することができる。したがって、白人、黒人を問わず、複数顔画像から目の位置を検出することができる。 The method for detecting the eye position according to the present invention is accurate regardless of changes in the skin color, pupil color, face orientation, and lighting environment of each subject to be detected as the eye position in a plurality of face images. The eye position can be detected at a high processing speed by a simple calculation method. Therefore, it is possible to detect the position of the eyes from a plurality of face images regardless of whites or blacks.
こうして検出された目の位置は、髪型シミュレーション画像を形成する場合、化粧シミュレーション画像を形成する場合、顔画像の目隠し処理をする場合、顔画像のフレーム処理をする場合、個人認証用画像を作成する場合など、目の位置の検出が必要とされる種々の場面で利用することができる。 The eye position thus detected creates an image for personal authentication when a hairstyle simulation image is formed, a makeup simulation image is formed, a face image is blindfolded, a face image is framed. It can be used in various scenes where detection of the eye position is required.
本発明は、目の位置を基準に用いて種々のヘアスタイル画像を任意の顔画像にフィッティングさせる髪型シミュレーション画像の形成、目の位置を基準に用いて化粧後の顔の部分画像を任意の顔画像にフィッティングさせる化粧シミュレーション画像の形成、顔画像の目隠し処理、顔画像のフレーム処理など、複数顔画像の画像処理において、目の位置の検出が必要とされる種々の場面で有用となる。 The present invention forms a hairstyle simulation image that fits various hairstyle images to an arbitrary face image using an eye position as a reference, and a partial image of a face after makeup using an eye position as an arbitrary face This is useful in various scenes where eye position detection is required in image processing of a plurality of face images, such as formation of a makeup simulation image to be fitted to an image, face image blindfolding processing, and face image frame processing.
1 撮像装置
2 パソコン本体
3 ディスプレイ
4 イメージスキャナ
5 プリンタ
10 目の位置の検出システム
20 元画像
21 走査対象画像
30 顔画像サイズの枠
30a〜30e 目の位置の検出対象領域
L1 両目間隔
DESCRIPTION OF SYMBOLS 1 Imaging device 2 Personal computer body 3 Display 4 Image scanner 5 Printer 10 Eye position detection system 20 Original image 21 Scan target image 30 Face image size frames 30a to 30e Eye position detection target region L1 Distance between eyes
Claims (6)
A.元画像から走査対象画像を作成し、
走査対象画像上で顔画像サイズの枠を走査して該枠内の中央部に比して周辺部が低明度となる領域を目の位置の検出対象領域として検出する工程、
B.目の位置の検出対象領域ごとに、目の位置検出用画像として明度が変化した複数の目の位置検出用画像を作成し、
目の位置検出用画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、目の位置検出用画像に漸次現れる画素の固まり領域を検出し、
検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択し、
各目の位置候補の全ての目の位置検出用画像にわたる出現度数に基づいて目の位置候補を特定する工程、
を有する目の位置の検出方法。 A method for detecting an eye position from an original image including a face image,
A. Create a scan target image from the original image,
Scanning a face image size frame on the scan target image and detecting an area in which the peripheral portion has low brightness as compared to the central portion in the frame as a detection target region of the eye position;
B. For each eye position detection target region, create a plurality of eye position detection images whose brightness has changed as eye position detection images,
As the eye position detection image fades out from a high lightness fade-out state to a low lightness, a cluster area of pixels that gradually appears in the eye position detection image is detected.
Select the clustered areas of the detected pixels that appear as a pair as eye position candidates,
Identifying eye position candidates based on the frequency of appearance across all eye position detection images of each eye position candidate;
A method for detecting the position of an eye.
該走査対象画像を顔画像サイズの枠を3×3の9領域に分割し、顔画像サイズの枠が次の(1)、(2)及び(3)を満たすときに、該枠領域を目の位置の検出対象領域として検出する請求項1〜3のいずれかに記載の目の位置の検出方法。
(1)画素値254以下の領域の存在割合が、中央部領域に比して周囲8領域で高い
(2)画素値254以下の領域の存在割合が、中央部領域に比して上部中央領域で高い
(3)画素値254以下の領域の存在割合が、中央部領域に比して中央部左領域又は中央部右領域で高い In step A, when the original image has 256 gradations, an image with 0% fade-in has all pixels having a pixel value of 255 and an image with fade-in x% (where x> 0) A pixel having a pixel value of less than 2.55x has a pixel value of the original image, and a pixel having a pixel value of 2.55x or more has a uniform pixel value of 255. Form an image with a fade-in of 25-35%,
The face image size frame is divided into 3 × 3 9 areas, and the face image size frame satisfies the following (1), (2), and (3). The method for detecting an eye position according to any one of claims 1 to 3, wherein the eye position is detected as a detection target region.
(1) The existence ratio of areas with pixel values of 254 or less is higher in the surrounding 8 areas than in the central area.
(2) The existence ratio of the region having a pixel value of 254 or less is higher in the upper central region than in the central region.
(3) The existence ratio of the region having a pixel value of 254 or less is higher in the central left region or the central right region than in the central region.
元画像から、走査対象画像を作成する機能、該走査対象画像上で顔画像サイズの枠を走査し、該枠内の中央部に比して周辺部が低明度となる枠領域を検出する機能、検出した枠領域を目の位置の検出対象領域として設定する機能、各目の位置の検出対象領域ごとに目の位置検出用画像として明度が変化した複数の画像を作成する機能、画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、目の位置検出用画像に漸次現れる画素の固まり領域を検出する機能、検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択する機能、及び各目の位置候補の全ての目の位置検出用画像にわたる出現度数に基づいて目の位置候補を特定する機能を備えている目の位置の検出システム。 An eye position detection system including an original image acquisition unit including a face image and a calculation unit, wherein the calculation unit includes:
A function for creating an image to be scanned from an original image, a function for scanning a frame of a face image size on the image to be scanned, and detecting a frame region whose peripheral portion is lighter than the central portion in the frame A function for setting the detected frame area as a detection target area for the eye position, a function for creating a plurality of images whose brightness is changed as an eye position detection image for each detection target area for each eye position, A function that detects a cluster area of pixels that gradually appears in the eye position detection image as it fades in from a state faded out to a low brightness, and the detected cluster area of pixels appears as a pair. An eye position detection system having a function of selecting eye position candidates and a function of specifying eye position candidates based on the appearance frequencies of all eye position candidates over all eye position detection images.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007176744A JP4831361B2 (en) | 2007-07-04 | 2007-07-04 | Eye position detection method and detection system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007176744A JP4831361B2 (en) | 2007-07-04 | 2007-07-04 | Eye position detection method and detection system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011088669A Division JP5093540B2 (en) | 2011-04-12 | 2011-04-12 | Eye position detection method and detection system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009015599A true JP2009015599A (en) | 2009-01-22 |
JP4831361B2 JP4831361B2 (en) | 2011-12-07 |
Family
ID=40356427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007176744A Expired - Fee Related JP4831361B2 (en) | 2007-07-04 | 2007-07-04 | Eye position detection method and detection system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4831361B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018120266A (en) * | 2017-01-23 | 2018-08-02 | 株式会社Revo | Information processing module, information processing method, information processing program and information processing apparatus |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0981756A (en) * | 1995-09-14 | 1997-03-28 | Mitsubishi Electric Corp | Face image processor |
JPH1166317A (en) * | 1997-08-20 | 1999-03-09 | Daewoo Electron Co Ltd | Device and method for detecting eye position of face image |
JP2003331316A (en) * | 2002-05-03 | 2003-11-21 | Samsung Electronics Co Ltd | Production device for three-dimensional caricature and its method |
JP2005346474A (en) * | 2004-06-03 | 2005-12-15 | Canon Inc | Image processing method and image processor and program and storage medium |
-
2007
- 2007-07-04 JP JP2007176744A patent/JP4831361B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0981756A (en) * | 1995-09-14 | 1997-03-28 | Mitsubishi Electric Corp | Face image processor |
JPH1166317A (en) * | 1997-08-20 | 1999-03-09 | Daewoo Electron Co Ltd | Device and method for detecting eye position of face image |
JP2003331316A (en) * | 2002-05-03 | 2003-11-21 | Samsung Electronics Co Ltd | Production device for three-dimensional caricature and its method |
JP2005346474A (en) * | 2004-06-03 | 2005-12-15 | Canon Inc | Image processing method and image processor and program and storage medium |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018120266A (en) * | 2017-01-23 | 2018-08-02 | 株式会社Revo | Information processing module, information processing method, information processing program and information processing apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP4831361B2 (en) | 2011-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4307496B2 (en) | Facial part detection device and program | |
EP1970859B1 (en) | Detecting method and detecting system for positions of face parts | |
US9111132B2 (en) | Image processing device, image processing method, and control program | |
EP1596573B1 (en) | Image correction apparatus | |
KR101446975B1 (en) | Automatic face and skin beautification using face detection | |
JP4708909B2 (en) | Method, apparatus and program for detecting object of digital image | |
JP3993029B2 (en) | Makeup simulation apparatus, makeup simulation method, makeup simulation program, and recording medium recording the program | |
US9323981B2 (en) | Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored | |
US9754155B2 (en) | Method and system for generating intrinsic images using a single reflectance technique | |
JP4530173B2 (en) | Method and system for detecting the position of a facial part | |
JP4831361B2 (en) | Eye position detection method and detection system | |
JP4775599B2 (en) | Eye position detection method | |
JP4831344B2 (en) | Eye position detection method | |
JP5093540B2 (en) | Eye position detection method and detection system | |
JP4683236B2 (en) | Eye position detection method | |
JP2005128600A (en) | Image processing method and object photographing system | |
JP2005141523A (en) | Image processing method | |
JPH11283036A (en) | Object detector and object detection method | |
CN105654541A (en) | Window image processing method and device | |
JP4323559B2 (en) | Imaging apparatus and method, and program | |
JP7510258B2 (en) | Image processing device, image processing method, imaging device, program, and storage medium | |
JP2007048108A (en) | Image evaluation system, image evaluation method and image evaluation program | |
US10567670B2 (en) | Image-processing device | |
JP2013026793A (en) | Image processing device and image processing program | |
JP2009258771A (en) | Image processing method, image processor, image processing program ,and imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100929 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101129 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110112 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110412 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20110421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110608 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110803 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110824 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110906 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4831361 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140930 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |