JP2005309862A - Graphic extraction program, graphic extraction method and graphic extraction apparatus - Google Patents

Graphic extraction program, graphic extraction method and graphic extraction apparatus Download PDF

Info

Publication number
JP2005309862A
JP2005309862A JP2004127175A JP2004127175A JP2005309862A JP 2005309862 A JP2005309862 A JP 2005309862A JP 2004127175 A JP2004127175 A JP 2004127175A JP 2004127175 A JP2004127175 A JP 2004127175A JP 2005309862 A JP2005309862 A JP 2005309862A
Authority
JP
Japan
Prior art keywords
edge
voting
pixel
image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2004127175A
Other languages
Japanese (ja)
Inventor
Masashi Tanaka
昌司 田中
Takao Furukawa
貴雄 古川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Digital Fashion Ltd
Original Assignee
Digital Fashion Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Digital Fashion Ltd filed Critical Digital Fashion Ltd
Priority to JP2004127175A priority Critical patent/JP2005309862A/en
Publication of JP2005309862A publication Critical patent/JP2005309862A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To reduce an amount of calculation in Hough transformation without lowering the accuracy of quantization in a voting space. <P>SOLUTION: A graphic extraction apparatus is provided with a face image acquisition part 101 for acquiring a moving image of a face, a detection area setting part 103 for setting a detection area for each of both eyes of the face image, an edge detection part 104 for detecting an edge from the detection area, a classification part 105 for classifying the detected edges into first to fourth edges based on the directions of the edges, a voting area setting part 106 for restricting the range of a voting area corresponding to each pixel of a detected edge, depending on to which edges among the first to fourth edges each of the pixel belongs, making the range small so that a maximum voting point will be included therein, and for setting the restricted area as a restricted voting area, and a retrieval part 107 for detecting the maximum voting point from the restricted voting area. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、画像中に含まれる閉曲線からなる図形を、ハフ変換により抽出する技術に関するものである。   The present invention relates to a technique for extracting a figure composed of a closed curve included in an image by Hough transform.

画像から直線、円、楕円等の図形を抽出する手法としてハフ（Hough）変換が従来より広く知られている。このハフ変換は、ノイズに対し頑強で、エッジの途切れが多発している場合であっても、正確に図形を抽出することができるという特徴を有している。   A Hough transform has been widely known as a technique for extracting graphics such as straight lines, circles, and ellipses from an image. This Hough transform has a feature that it is robust against noise and can accurately extract a figure even when edges are frequently interrupted.

以下、従来のハフ変換による円の抽出処理を説明する。まず、画像に対してエッジ検出処理を実行する。次に、検出したエッジ上の各画素に対応する投票領域を投票空間内に設定する。円は、ｘ軸及びｙ軸の２軸からなる２次元空間（画像空間）内において、（ｘ−ｕ）2＋（ｙ−ｖ）2＝ｒ2・・・式（１）で表される。 A conventional circle extraction process using the Hough transform will be described below. First, edge detection processing is performed on the image. Next, a voting area corresponding to each pixel on the detected edge is set in the voting space. The circle is represented by (x−u) 2 + (y−v) 2 = r 2 (1) in a two-dimensional space (image space) composed of two axes, the x axis and the y axis. .

ここで、画像空間では、ｕ，ｖ，ｒは、円の位置及び大きさを決定する定数であるが、ハフ変換では、これらｕ，ｖ，ｒを変数、ｘ、ｙを定数とし、ｕ，ｖ，ｒの３軸からなる投票空間（パラメータ空間）を考える。投票空間では、式（１）は中心軸がｕ＝ｘ，ｖ＝ｙを通り、かつ、ｒ軸に平行な円錐を表す。この円錐の円錐面が投票領域である。そして、エッジ上の各画素（ｘ，ｙ）に対応する投票領域を投票空間上に設定し、これら投票領域が最も多く重なる点である最大投票点から式（１）の円の中心（ｕ，ｖ）及び半径ｒを決定する。これにより円が抽出される。   Here, in the image space, u, v, and r are constants that determine the position and size of the circle. In the Hough transform, these u, v, and r are variables, and x and y are constants. Consider a voting space (parameter space) consisting of three axes, v and r. In the voting space, equation (1) represents a cone whose central axis passes u = x, v = y and is parallel to the r-axis. The conical surface of this cone is the voting area. Then, a voting area corresponding to each pixel (x, y) on the edge is set on the voting space, and the center of the circle (u, v) and radius r are determined. Thereby, a circle is extracted.

ところで、ハフ変換では、処理の高速化を図るために、投票空間の量子化サイズを粗く設定し、計算量を低減させることが従来より行なわれている。しかしながら、量子化サイズを粗く設定すれば、それに伴って、抽出精度が低下するという問題が生じる。   By the way, in the Hough transform, in order to increase the processing speed, conventionally, the quantization size of the voting space is set coarsely to reduce the calculation amount. However, if the quantization size is set to be coarse, there arises a problem that the extraction accuracy is lowered accordingly.

本発明の目的は、図形を高精度に抽出することができるとともに、抽出処理時間を短縮することができる図形検出プログラム、図形抽出方法、及び図形抽出装置を提供することである。   An object of the present invention is to provide a graphic detection program, a graphic extraction method, and a graphic extraction apparatus capable of extracting a graphic with high accuracy and reducing the extraction processing time.

本発明に係る図形抽出プログラムは、画像中に含まれる図形を、ハフ変換により抽出する図形抽出プログラムであって、前記画像からエッジを検出するエッジ検出手段と、検出されたエッジを、その方向に基づく特徴に応じて分類する分類手段と、エッジ上の各画素に対応する投票領域の範囲を、各画素が属するエッジの特徴に応じて、最大投票点が含まれるように小さく制限する制限手段と、ハフ変換を用いて、制限された投票領域内を探索し、最大投票点を検出する探索手段としてコンピュータを機能させることを特徴とする。   A graphic extraction program according to the present invention is a graphic extraction program for extracting a graphic included in an image by Hough transform, and an edge detection means for detecting an edge from the image, and the detected edge in the direction. Classifying means for classifying according to the feature based on, and restricting means for restricting the range of the voting area corresponding to each pixel on the edge to be small so that the maximum voting point is included according to the feature of the edge to which each pixel belongs; The computer is made to function as a search means for searching within a limited voting area using the Hough transform and detecting a maximum voting point.

この構成によれば、エッジ検出手段によって、抽出対象となる図形を含む画像のエッジが検出され、検出されたエッジが、分類手段によって、方向に基づく特徴毎に分類される。ここで、ハフ変換を用いて円や楕円等の閉曲線からなる図形を抽出すると、閉曲線のエッジ上の各画素は、閉曲線の中心に対してどこに位置するかの予測がつけば、対応する投票領域において、どのあたりに最大投票点が位置するかを大まかに知ることができる。また、特徴を同一とするエッジに属する各画素に対応する投票領域において、最大投票点は、相対的に同じような位置に存在する。   According to this configuration, the edge of the image including the graphic to be extracted is detected by the edge detection unit, and the detected edge is classified for each feature based on the direction by the classification unit. Here, if a figure consisting of a closed curve such as a circle or an ellipse is extracted using the Hough transform, if each pixel on the edge of the closed curve is predicted with respect to the center of the closed curve, the corresponding voting area It is possible to roughly know where the maximum voting point is located. Further, in the voting area corresponding to each pixel belonging to the edge having the same feature, the maximum voting points are present at relatively similar positions.

そして、制限手段によって、エッジ上の各画素に対応する投票領域の範囲が、最大投票点を含むように各画素が属するエッジの特徴毎に小さく制限され、探索手段によって、制限された投票領域内が探索され、最大投票点が検出され、図形が抽出される。そのため、エッジ上の各画素に対応する投票領域の範囲を、その方向に基づく特徴毎に、同一条件で小さく制限しても、制限した投票領域内に最大投票点が含まれることとなる。その結果、図形を高精度に抽出することができるとともに、抽出処理時間を短縮することができる。   Then, the range of the voting area corresponding to each pixel on the edge is limited to be small for each feature of the edge to which each pixel belongs so as to include the maximum voting point by the limiting means, and within the limited voting area by the searching means Is searched, the maximum vote point is detected, and the figure is extracted. For this reason, even if the range of the voting area corresponding to each pixel on the edge is limited to the same condition for each feature based on the direction, the maximum voting point is included in the limited voting area. As a result, the figure can be extracted with high accuracy and the extraction processing time can be shortened.

また、前記分類手段は、画像上の軸成分の偏微分値を基に、検出されたエッジの特徴を算出し、前記エッジを分類することが好ましい。   Further, it is preferable that the classifying unit classifies the edge by calculating a feature of the detected edge based on a partial differential value of an axial component on the image.

この構成によれば、軸成分に対する偏微分値を基に、エッジの特徴が算出され、その特徴に応じてエッジが分類されているため、抽出対象となる図形の中心に対し、エッジがどのあたりに位置するかをより正確にふまえてエッジを分類することができる。その結果、エッジの特徴毎に投票領域の範囲を小さく制限しても、その範囲内に最大投票点がより確実に含まれることとなり、図形の抽出精度をさらに高めることができる。   According to this configuration, the feature of the edge is calculated based on the partial differential value with respect to the axis component, and the edge is classified according to the feature. It is possible to classify the edges based on more precisely whether they are located in the positions. As a result, even if the range of the voting area is limited to be small for each edge feature, the maximum voting point is more reliably included in the range, and the figure extraction accuracy can be further improved.

また、前記図形は、前記画像の第１の方向に設定されたｘ軸と、前記第１の方向に交わる第２の方向に設定されたｙ軸との２軸からなる２次元空間内において、（ｘ−ｕ）2＋（ｙ−ｖ）2＝ｒ2で表される円であり（但し、ｕ，ｖは円の中心、ｒは円の半径を示す）、前記エッジ検出手段は、前記第１及び第２の方向のエッジを検出し、前記分類手段は、検出された第１の方向のエッジを、第１のエッジと、前記第１のエッジよりｘ軸上の増加側に位置する第２のエッジとに分類すると共に、検出された第２の方向のエッジを、第３のエッジと、第３のエッジに対してｙ軸上の増加側に位置する第４のエッジとに分類することが好ましい。 Further, the figure is in a two-dimensional space composed of two axes, an x axis set in the first direction of the image and a y axis set in the second direction intersecting the first direction. (X−u) 2 + (y−v) 2 = r 2 (where u and v are the center of the circle and r is the radius of the circle), and the edge detection means Edges in the first and second directions are detected, and the classifying unit positions the detected edge in the first direction on the increase side on the x-axis from the first edge and the first edge. And classifying the detected edge in the second direction into a third edge and a fourth edge located on the increasing side on the y-axis with respect to the third edge. It is preferable to do.

この構成によれば、抽出対象となる画像に対して第１及び第２の方向のエッジが検出され、第１の方向のエッジは、第１及び第２のエッジに分類され、第２の方向のエッジは、第３及び第４のエッジに分類されているため、円のエッジをその方向に応じてより適正に分類することができる。   According to this configuration, the edges in the first and second directions are detected from the image to be extracted, the edges in the first direction are classified into the first and second edges, and the second direction Are classified into the third and fourth edges, so that the edge of the circle can be classified more appropriately according to the direction thereof.

また、前記制限手段は、前記第１のエッジの各画素（ｘ，ｙ）に対応する投票領域をｕ＞ｘの範囲に制限し、前記第２のエッジの各画素（ｘ，ｙ）に対応する投票領域をｕ＜ｘの範囲に制限し、前記第３のエッジの各画素（ｘ，ｙ）に対応する投票領域をｖ＞ｙの範囲に制限し、前記第４のエッジの各画素（ｘ，ｙ）に対応する投票領域をｖ＜ｙの範囲に制限することを特徴とすることが好ましい。   The restricting means restricts a voting area corresponding to each pixel (x, y) of the first edge to a range of u> x and corresponds to each pixel (x, y) of the second edge. The voting region to be limited to a range of u <x, the voting region corresponding to each pixel (x, y) of the third edge is limited to a range of v> y, and each pixel of the fourth edge ( Preferably, the voting area corresponding to x, y) is limited to a range of v <y.

この構成によれば、抽出対象となる画像に対して第１及び第２の方向のエッジが検出され、第１の方向のエッジは、第１及び第２のエッジに分類され、第２の方向のエッジは、第３及び第４のエッジに分類され、第１のエッジの各画素（ｘ，ｙ）は、投票領域がｕ＞ｘの範囲に制限され、第２のエッジの各画素（ｘ，ｙ）は、投票領域がｕ＜ｘの範囲に制限され、第３のエッジの各画素（ｘ，ｙ）は、投票領域がｖ＞ｙの範囲に制限され、第４のエッジの各画素（ｘ，ｙ）は投票領域がｖ＜ｙの範囲に制限されるため、投票領域内に最大投票点がより確実に含まれ、図形の抽出精度をさらに高めることができる。   According to this configuration, the edges in the first and second directions are detected from the image to be extracted, the edges in the first direction are classified into the first and second edges, and the second direction Are classified into third and fourth edges, and each pixel (x, y) of the first edge is limited to a range of voting area u> x, and each pixel (x, y) of the second edge , Y), the voting area is limited to a range of u <x, and each pixel (x, y) of the third edge is limited to a range of the voting area v> y, and each pixel of the fourth edge In (x, y), since the voting area is limited to the range of v <y, the maximum voting point is more surely included in the voting area, and the figure extraction accuracy can be further improved.

また、前記エッジ検出手段は、前記画像をｘ軸に対して偏微分することにより、前記第１の方向のエッジを検出し、前記画像をｙ軸に対して偏微分することにより、前記第２の方向のエッジを検出することことが好ましい。   Further, the edge detection means detects the edge in the first direction by performing partial differentiation on the image with respect to the x-axis, and performs partial differentiation on the image with respect to the y-axis. It is preferable to detect an edge in the direction.

この構成によれば、ｘ軸及びｙ軸に対する偏微値を基にエッジの検出が行われているため、第１及び第２の方向のエッジをより正確に検出することができる。   According to this configuration, since the edge is detected based on the deviation values with respect to the x-axis and the y-axis, the edges in the first and second directions can be detected more accurately.

また、前記図形は相対的に輝度の低い円形領域であり、前記画像の各画素の輝度をｆ（ｘ，ｙ）とすると、前記分類手段は、∂ｆ（ｘ，ｙ）／∂ｘ＞０の画素からなるエッジを前記第１のエッジとし、∂ｆ（ｘ，ｙ）／∂ｘ＜０の画素からなるエッジを前記第２のエッジとし、∂ｆ（ｘ，ｙ）／∂ｙ＜０の画素からなるエッジを前記第３のエッジとし、∂ｆ（ｘ，ｙ）／∂ｙ＞０の画素からなるエッジを前記第４のエッジとして分類することを特徴とすることが好ましい。   Further, the figure is a circular area having a relatively low luminance, and if the luminance of each pixel of the image is f (x, y), the classification means is ∂f (x, y) / ∂x> 0. An edge consisting of a pixel of is the first edge, an edge consisting of a pixel of ∂f (x, y) / ∂x <0 is the second edge, and ∂f (x, y) / ∂y <0. It is preferable to classify an edge made up of pixels of as the third edge and an edge made up of pixels of ∂f (x, y) / ∂y> 0 as the fourth edge.

この構成によれば、ｆ（ｘ，ｙ）／∂ｘ＞０の画素からなるエッジが第１のエッジとされ、∂ｆ（ｘ，ｙ）／∂ｘ＜０の画素からなるエッジが第２のエッジとされ、∂ｆ（ｘ，ｙ）／∂ｙ＜０の画素からなるエッジが第３のエッジとされ、∂ｆ（ｘ，ｙ）／∂ｙ＞０の画素からなるエッジが第４のエッジとされるため、最大投票点が含まれるように投票領域の範囲を小さく制限するにあたり、周囲に対して相対的に輝度が低い図形のエッジをより適正に分類することができる。   According to this configuration, an edge composed of pixels of f (x, y) / ∂x> 0 is defined as the first edge, and an edge composed of pixels of ∂f (x, y) / ∂x <0 is defined as the second edge. The edge consisting of pixels of ∂f (x, y) / ∂y <0 is the third edge, and the edge consisting of pixels of ∂f (x, y) / ∂y> 0 is the fourth edge. Therefore, when the range of the voting area is limited to be small so that the maximum voting point is included, it is possible to more appropriately classify the edge of the figure having a relatively low luminance with respect to the surroundings.

また、前記円形領域は、人物の瞳であることが好ましい。この構成によれば、顔画像から人物の瞳を高精度かつ高速に抽出することができる。   The circular area is preferably a human pupil. According to this configuration, it is possible to extract a human pupil from a face image with high accuracy and high speed.

本発明にかかる図形抽出方法は、画像中に含まれる図形を、ハフ変換により抽出する図形抽出方法であって、コンピュータが、前記画像からエッジを検出するエッジ検出ステップと、コンピュータが、検出されたエッジを、その方向に基づく特徴に応じて分類する分類ステップと、コンピュータが、エッジ上の各画素に対応する投票領域の範囲を、各画素が属するエッジの特徴に応じて、最大投票点が含まれるように小さく制限する制限ステップと、コンピュータが、ハフ変換を用いて、制限された投票領域内を探索し、最大投票点を検出するステップとを備えることを特徴とする。   The figure extracting method according to the present invention is a figure extracting method for extracting a figure included in an image by Hough transform, wherein the computer detects an edge detecting step for detecting an edge from the image, and the computer is detected. A classification step for classifying the edge according to the feature based on its direction, and the computer includes the range of the voting area corresponding to each pixel on the edge, and the maximum voting point according to the feature of the edge to which each pixel belongs A restricting step for restricting it to be small, and a computer for searching the restricted voting area using the Hough transform and detecting a maximum voting point.

この構成によれば、エッジ検出手段によって、抽出対象となる図形を含む画像のエッジが検出され、検出されたエッジが、分類手段によって、方向に基づく特徴毎に分類される。ここで、ハフ変換を用いて円や楕円等の閉曲線からなる図形を抽出すると、閉曲線のエッジ上の各画素は、閉曲線の中心に対してどこに位置するかの予測がつけば、対応する投票領域において、どのあたりに最大投票点が位置するかを大まかに知ることができる。また、特徴を同一とするエッジに属する各画素に対応する投票領域において、最大投票点は、相対的に同じような位置に存在する。   According to this configuration, the edge of the image including the graphic to be extracted is detected by the edge detection unit, and the detected edge is classified for each feature based on the direction by the classification unit. Here, if a figure consisting of a closed curve such as a circle or an ellipse is extracted using the Hough transform, if each pixel on the edge of the closed curve is predicted with respect to the center of the closed curve, the corresponding voting area It is possible to roughly know where the maximum voting point is located. Further, in the voting area corresponding to each pixel belonging to the edge having the same feature, the maximum voting points are present at relatively similar positions.

そして、制限手段によって、エッジ上の各画素に対応する投票領域の範囲が、最大投票点を含むように各画素が属するエッジの特徴毎に小さく制限され、探索手段によって、制限された投票領域内が探索され、最大投票点が検出され、図形が抽出される。そのため、エッジ上の各画素に対応する投票領域の範囲を、その方向に基づく特徴毎に、同一条件で小さく制限しても、制限した投票領域内に最大投票点が含まれることとなる。その結果、図形を高精度に抽出することができるとともに、抽出処理時間を短縮することができる。   Then, the range of the voting area corresponding to each pixel on the edge is limited to be small for each feature of the edge to which each pixel belongs so as to include the maximum voting point by the limiting means, and within the limited voting area by the searching means Is searched, the maximum vote point is detected, and the figure is extracted. For this reason, even if the range of the voting area corresponding to each pixel on the edge is limited to the same condition for each feature based on the direction, the maximum voting point is included in the limited voting area. As a result, the figure can be extracted with high accuracy and the extraction processing time can be shortened.

また、本発明にかかる図形抽出装置は、画像中に含まれる図形を、ハフ変換により抽出する図形抽出装置であって、前記画像からエッジを検出するエッジ検出手段と、検出されたエッジを、その方向に基づく特徴に応じて分類する分類手段と、エッジ上の各画素に対応する投票領域の範囲を、各画素が属するエッジの特徴に応じて、最大投票点が含まれるように小さく制限する制限手段と、ハフ変換を用いて、制限された投票領域内を探索し、最大投票点を検出する探索手段とを備えることを特徴とする。   A graphic extraction device according to the present invention is a graphic extraction device that extracts a graphic included in an image by Hough transform, and includes edge detection means for detecting an edge from the image, and detected edges. Classification means for classifying according to the feature based on the direction, and restriction to limit the range of the voting area corresponding to each pixel on the edge to be small so that the maximum voting point is included according to the feature of the edge to which each pixel belongs And a search means for searching within a restricted voting area using a Hough transform and detecting a maximum voting point.

この構成によれば、エッジ検出手段によって、抽出対象となる図形を含む画像のエッジが検出され、検出されたエッジが、分類手段によって、方向に基づく特徴毎に分類される。ここで、ハフ変換を用いて円や楕円等の閉曲線からなる図形を抽出すると、閉曲線のエッジ上の各画素は、閉曲線の中心に対してどこに位置するかの予測がつけば、対応する投票領域において、どのあたりに最大投票点が位置するかを大まかに知ることができる。また、特徴を同一とするエッジに属する各画素に対応する投票領域において、最大投票点は、相対的に同じような位置に存在する。   According to this configuration, the edge of the image including the graphic to be extracted is detected by the edge detection unit, and the detected edge is classified for each feature based on the direction by the classification unit. Here, if a figure consisting of a closed curve such as a circle or an ellipse is extracted using the Hough transform, if each pixel on the edge of the closed curve is predicted with respect to the center of the closed curve, the corresponding voting area It is possible to roughly know where the maximum voting point is located. Further, in the voting area corresponding to each pixel belonging to the edge having the same feature, the maximum voting points are present at relatively similar positions.

そして、制限手段によって、エッジ上の各画素に対応する投票領域の範囲が、最大投票点を含むように各画素が属するエッジの特徴毎に小さく制限され、探索手段によって、制限された投票領域内が探索され、最大投票点が検出され、図形が抽出される。そのため、エッジ上の各画素に対応する投票領域の範囲を、その方向に基づく特徴毎に、同一条件で小さく制限しても、制限した投票領域内に最大投票点が含まれることとなる。その結果、図形を高精度に抽出することができるとともに、抽出処理時間を短縮することができる。   Then, the range of the voting area corresponding to each pixel on the edge is limited to be small for each feature of the edge to which each pixel belongs so as to include the maximum voting point by the limiting means, and within the limited voting area by the searching means Is searched, the maximum vote point is detected, and the figure is extracted. For this reason, even if the range of the voting area corresponding to each pixel on the edge is limited to the same condition for each feature based on the direction, the maximum voting point is included in the limited voting area. As a result, the figure can be extracted with high accuracy and the extraction processing time can be shortened.

本発明にかかる図形検出装置によれば、図形を高精度に抽出することができるとともに、抽出処理時間を短縮することができる。   According to the graphic detection apparatus of the present invention, it is possible to extract a graphic with high accuracy and to shorten the extraction processing time.

以下、図面を参照しつつ本発明の一実施の形態について説明する。本図形抽出装置は、人間の動画像を取得し、ハフ変換により眼の瞳を抽出する処理を行なうものである。図１は、本発明の一実施の形態による図形抽出装置の構成を示すブロック図である。図１に示す図形抽出装置は、通常のコンピュータ等から構成され、入力装置１、ＲＯＭ（リードオンリメモリ）２、ＣＰＵ（中央演算処理装置）３、ＲＡＭ（ランダムアクセスメモリ）４、外部記憶装置５、表示装置６、記録媒体駆動装置７、及びビデオインターフェイス（Ｉ／Ｆ）９を備える。各ブロックは内部のバスに接続され、このバスを介して種々のデータ等が入出され、ＣＰＵ３の制御の下、種々の処理が実行される。またビデオＩ／Ｆ９には、人間の顔の動画像を撮影するカメラ１０が接続されている。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings. This figure extracting apparatus performs processing for acquiring a moving image of a human and extracting an eye pupil by Hough transform. FIG. 1 is a block diagram showing a configuration of a graphic extraction apparatus according to an embodiment of the present invention. 1 includes an ordinary computer or the like, and includes an input device 1, a ROM (Read Only Memory) 2, a CPU (Central Processing Unit) 3, a RAM (Random Access Memory) 4, and an external storage device 5. , A display device 6, a recording medium drive device 7, and a video interface (I / F) 9. Each block is connected to an internal bus, and various data and the like are input / output through this bus, and various processes are executed under the control of the CPU 3. The video I / F 9 is connected to a camera 10 that captures a moving image of a human face.

入力装置１は、キーボード、マウス等から構成され、操作者が種々のデータ及び操作指令等を入力するために使用される。ＲＯＭ２には、ＢＩＯＳ（Basic Input/Output System）等のシステムプログラムが記憶される。外部記憶装置５は、ハードディスクドライブ等から構成され、所定のＯＳ（Operating System）及び図形抽出プログラム等が記憶される。ＣＰＵ３は、外部記憶装置５から図形抽出プログラム等を読み出し、各ブロックの動作を制御する。ＲＡＭ４は、ＣＰＵ３の作業領域等として用いられる。   The input device 1 includes a keyboard, a mouse, and the like, and is used by an operator to input various data and operation commands. The ROM 2 stores a system program such as BIOS (Basic Input / Output System). The external storage device 5 includes a hard disk drive and the like, and stores a predetermined OS (Operating System), a graphic extraction program, and the like. The CPU 3 reads a graphic extraction program or the like from the external storage device 5 and controls the operation of each block. The RAM 4 is used as a work area for the CPU 3.

表示装置６は、液晶表示装置等から構成され、ＣＰＵ３の制御の下に種々の操作画面及び人間の顔画像等を表示する。また、必要に応じて顔画像等を印字する印刷装置を付加してもよい。記録媒体駆動装置７は、ＣＤ−ＲＯＭドライブ、フレキシブルディスクドライブ等から構成される。   The display device 6 is composed of a liquid crystal display device or the like, and displays various operation screens, human face images, and the like under the control of the CPU 3. Moreover, you may add the printing apparatus which prints a face image etc. as needed. The recording medium driving device 7 includes a CD-ROM drive, a flexible disk drive, and the like.

なお、図形抽出プログラムの記録方法は、上記の例に特に限定されず、ＣＤ−ＲＯＭ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体８に図形抽出プログラムを記録し、記録媒体駆動装置７により記録媒体８から図形抽出プログラムを読み出して外部記憶装置５にインストールして実行するようにしてもよい。また、図１に示す図形抽出装置が通信装置等を備え、図形抽出プログラムが所定のネットワークを介して図１に示す図形抽出装置に接続された他のコンピュータ等に記憶されている場合、当該コンピュータからネットワークを介して図形抽出プログラムをダウンロードして実行するようにしてもよい。   The recording method of the graphic extraction program is not particularly limited to the above example, and the graphic extraction program is recorded on a computer-readable recording medium 8 such as a CD-ROM or a flexible disk, and the recording medium driving device 7 records the recording medium. The graphic extraction program may be read from 8 and installed in the external storage device 5 to be executed. If the graphic extraction apparatus shown in FIG. 1 includes a communication device or the like, and the graphic extraction program is stored in another computer or the like connected to the graphic extraction apparatus shown in FIG. The graphic extraction program may be downloaded from the network via the network and executed.

図２は、図１に示す図形抽出装置の機能的構成を説明するブロック図である。本図形抽出装置は、ＣＰＵ３が図形抽出プログラムを実行することにより、顔画像取得部１０１、フレームメモリ１０２、検出領域設定部１０３、エッジ検出部１０４、分類部１０５、投票領域設定部１０６、探索部１０７、表示制御部１０８、及び表示部１０９として機能する。   FIG. 2 is a block diagram illustrating a functional configuration of the graphic extraction apparatus shown in FIG. In the figure extraction apparatus, the CPU 3 executes a figure extraction program, whereby a face image acquisition unit 101, a frame memory 102, a detection region setting unit 103, an edge detection unit 104, a classification unit 105, a voting region setting unit 106, and a search unit. 107, a display control unit 108, and a display unit 109.

顔画像取得部１０１は、カメラ１０及びビデオＩ／Ｆ９等から構成され、人間の顔の動画像を所定のフレームレート（例えば１秒あたり３０枚）で取得し、アナログデジタル変換を施してデジタルの画像データとし、フレームメモリ１０２に出力する。ここで、顔画像取得部１０１は、正面方向から見て、頭部が上側となるように顔の動画像を取得する。フレームメモリ１０２は、ＲＡＭ３から構成され、顔画像取得部１０１によって取得された所定枚数のフレーム画像の画像データを記憶する。ここで、１枚のフレーム画像は、人間の顔の画像（顔画像）を含む所定行×所定列のマトリックス形式で表現される画素からなる矩形状の画像であり、各画素の画素データは、Ｒ（赤），Ｇ（緑），Ｂ（青）の色成分を含み、各色成分は、例えば０〜２５５の階調で表される。また、フレーム画像は、例えば左下の頂点の座標を原点とし、横方向にｘ軸、縦方向にｙ軸が設定される。以下、ｘ軸、ｙ軸によって規定される２次元空間を画像空間と称する。   The face image acquisition unit 101 includes a camera 10, a video I / F 9, and the like, acquires a moving image of a human face at a predetermined frame rate (for example, 30 frames per second), performs analog-digital conversion, and performs digital conversion. The image data is output to the frame memory 102. Here, the face image acquisition unit 101 acquires a moving image of a face so that the head is on the upper side when viewed from the front. The frame memory 102 is composed of the RAM 3 and stores image data of a predetermined number of frame images acquired by the face image acquisition unit 101. Here, one frame image is a rectangular image composed of pixels expressed in a matrix format of a predetermined row × predetermined column including an image of a human face (face image), and pixel data of each pixel is Including R (red), G (green), and B (blue) color components, each color component is represented by, for example, a gradation of 0 to 255. In the frame image, for example, the coordinates of the lower left vertex are set as the origin, and the x axis is set in the horizontal direction and the y axis is set in the vertical direction. Hereinafter, a two-dimensional space defined by the x-axis and the y-axis is referred to as an image space.

検出領域設定部１０３は、ＣＰＵ３等から構成され、顔画像中の左右の眼の各々に対し、眼全域を含み、かつ、眼全域よりも多少サイズが大きな矩形状の領域である検出領域を設定する。検出領域設定部１０３は、本出願人が先に出願した特開２００３−４４８３７号公報に開示された技術を用いて眼、鼻、口、及び顔の輪郭等の特徴部分のおよその位置を特定し、特定した位置に基づいて、フレーム画像中における両眼の各々に対するおよその位置とサイズとを特定し、特定した位置とサイズとから検出領域のサイズと位置とを決定して検出領域を設定する。ここで、眼全域とは、黒眼及び白眼を含む領域をいう。   The detection area setting unit 103 includes a CPU 3 and the like, and sets a detection area that is a rectangular area that includes the entire eye area and is slightly larger in size than the entire eye area for each of the left and right eyes in the face image. To do. The detection area setting unit 103 specifies the approximate positions of features such as the eyes, nose, mouth, and facial contour using the technique disclosed in Japanese Patent Application Laid-Open No. 2003-44837 filed earlier by the present applicant. Then, based on the specified position, the approximate position and size for each of the eyes in the frame image are specified, and the size and position of the detection area are determined from the specified position and size, and the detection area is set. To do. Here, the whole eye area refers to an area including black eyes and white eyes.

エッジ検出部１０４は、ＣＰＵ３等から構成され、検出領域内の画像に対して、縦方向（ｙ軸方向）のエッジを検出する処理を実行するとともに、横方向（ｘ軸方向）のエッジを検出する処理を実行することにより、検出領域画像からエッジを検出する。具体的には、エッジ検出部１０４は、各画素の輝度をｆ（ｘ，ｙ）とすると、∂ｆ（ｘ，ｙ）／∂ｘの演算を行なうことにより縦方向のエッジを検出し、∂ｆ（ｘ，ｙ）／∂ｙの演算を行なうことにより、横方向のエッジを検出する。ここで、輝度ｆ（ｘ，ｙ）は、上記色成分の値をＲ，Ｇ，Ｂにより表すと、例えばｆ（ｘ，ｙ）＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂによって算出される。   The edge detection unit 104 is configured by the CPU 3 and the like, and executes processing for detecting edges in the vertical direction (y-axis direction) and detects edges in the horizontal direction (x-axis direction) with respect to the image in the detection area. By executing the processing, the edge is detected from the detection area image. Specifically, when the luminance of each pixel is f (x, y), the edge detection unit 104 detects a vertical edge by calculating ∂f (x, y) / ∂x, and ∂ A lateral edge is detected by calculating f (x, y) / ∂y. Here, the luminance f (x, y) is calculated by, for example, f (x, y) = 0.30R + 0.59G + 0.11B when the values of the color components are expressed by R, G, B.

分類部１０５は、ＣＰＵ３等から構成され、エッジ検出部１０４によって検出されたエッジをその方向に応じて第１〜第４エッジに分類する。具体的には、分類部１０５は、エッジ検出部１０４によって検出されたエッジを、∂ｆ（ｘ，ｙ）／∂ｙ＜０の画素を基準として第１エッジに分類し、∂ｆ（ｘ，ｙ）／∂ｙ＞０の画素を基準として第２エッジに分類し、∂ｆ（ｘ，ｙ）／∂ｘ＜０の画素を基準として第３エッジに分類し、∂ｆ（ｘ，ｙ）／∂ｘ＞０の画素を基準として第４エッジに分類する。   The classification unit 105 includes a CPU 3 and the like, and classifies the edges detected by the edge detection unit 104 into first to fourth edges according to the direction. Specifically, the classification unit 105 classifies the edge detected by the edge detection unit 104 into the first edge with reference to a pixel of ∂f (x, y) / ∂y <0, and ∂f (x, y) / ∂y> 0 as a reference to classify as the second edge, ∂f (x, y) / ∂x <0 as a reference, classify as the third edge, and ∂f (x, y) The pixel is classified into the fourth edge with a pixel of / ∂x> 0 as a reference.

投票領域設定部１０６は、ＣＰＵ３等から構成され、エッジ検出部１０４によって検出されたエッジの各画素に対応する投票領域を、各画素が第１〜第４エッジのうち、いずれのエッジに属するかに応じて、その範囲が小さくなるように、かつ、投票空間の最大投票点が含まれるように制限し、制限した領域を制限投票領域として設定する。本図形抽出装置は、式（１）を用いて人間の瞳を抽出するものであるため、投票空間は、ｕ，ｖ，ｒの３軸からなる３次元空間で表され、投票領域は円錐面となる。   The voting area setting unit 106 includes the CPU 3 and the like, and the voting area corresponding to each pixel of the edge detected by the edge detection unit 104 belongs to which edge among the first to fourth edges. Accordingly, the range is reduced so that the maximum voting point of the voting space is included, and the restricted area is set as the restricted voting area. Since the figure extracting apparatus extracts a human pupil using Expression (1), the voting space is represented by a three-dimensional space consisting of three axes u, v, and r, and the voting area is a conical surface. It becomes.

探索部１０７は、ＣＰＵ３から構成され、投票領域設定部１０６によって設定された制限投票領域上の各点に対する投票数を算出し、投票数が最大の投票点、すなわち、制限投票領域が最も重なる点である最大投票点を検出する。これにより、探索対象となる瞳が抽出される。ここで、投票数とは、投票空間内のある点において、その点を通る制限投票領域の数を示す数値である。   The search unit 107 is composed of the CPU 3 and calculates the number of votes for each point on the restricted voting area set by the voting area setting unit 106. The voting point with the largest number of votes, that is, the point where the restricted voting areas overlap most The maximum vote point that is is detected. Thereby, a pupil to be searched is extracted. Here, the number of votes is a numerical value indicating the number of restricted vote areas that pass through a certain point in the voting space.

表示制御部１０８は、ＣＰＵ３等から構成され、探索部１０７によって抽出された瞳のエッジを示す画像を、フレームメモリ１０２に記憶された対応するフレーム画像に合成して、表示部１０９に出力する。   The display control unit 108 is configured by the CPU 3 and the like, combines an image indicating the pupil edge extracted by the search unit 107 with a corresponding frame image stored in the frame memory 102, and outputs the combined image to the display unit 109.

表示部１０９は、表示装置６から構成され、表示制御部１０８によって各フレーム画像に瞳のエッジを示す画像が合成された人間の顔画像を表示する。   The display unit 109 includes the display device 6 and displays a human face image in which an image indicating an edge of the pupil is combined with each frame image by the display control unit 108.

本実施形態では、エッジ検出部１０４がエッジ検出手段の一例に相当し、分類部１０５が分類手段の一例に相当し、投票領域設定部１０６が制限手段の一例に相当し、探索部１０７が探索手段の一例に相当する。   In the present embodiment, the edge detection unit 104 corresponds to an example of an edge detection unit, the classification unit 105 corresponds to an example of a classification unit, the voting area setting unit 106 corresponds to an example of a restriction unit, and the search unit 107 searches. It corresponds to an example of means.

次に、本画像抽出装置の動作について、図３のフローチャートを用いて説明する。まず、ステップＳ１０１において、顔画像取得部１０１は、顔画像を取得し、フレームメモリ１０２に記憶させる。ステップＳ１０２において、検出領域設定部１０３は、フレームメモリ１０２から１枚のフレーム画像を読み出し、両眼のそれぞれに対して検出領域を設定する。図４は、左眼ＬＥに設定された検出領域Ｄ１を示した図面である。図４において、左眼ＬＥは、瞳ＢＥ及び白眼ＷＥを含む。左眼ＬＥの上側に示されたＬの符号が付された曲線は、二重ラインを示している。なお、右眼ＲＥに対しても、左眼ＬＥに設定された検出領域Ｄ１と同様に検出領域が設定される。   Next, the operation of the image extraction apparatus will be described using the flowchart of FIG. First, in step S <b> 101, the face image acquisition unit 101 acquires a face image and stores it in the frame memory 102. In step S102, the detection area setting unit 103 reads one frame image from the frame memory 102 and sets a detection area for each of both eyes. FIG. 4 is a diagram showing a detection region D1 set in the left eye LE. In FIG. 4, the left eye LE includes a pupil BE and a white eye WE. The curve with the symbol L shown above the left eye LE indicates a double line. Note that a detection region is set for the right eye RE as well as the detection region D1 set for the left eye LE.

次に、ステップＳ１０３において、エッジ検出部１０４は、検出領域Ｄ１の画像に対し、∂ｆ（ｘ，ｙ）／∂ｘ、すなわちｘ方向に対する偏微分と、∂ｆ（ｘ，ｙ）／∂ｙ、すなわちｙ方向に対する偏微分とを実行し、検出領域Ｄ１の画像中のエッジを検出する。   Next, in step S103, the edge detection unit 104 performs ∂f (x, y) / ∂x, that is, partial differentiation with respect to the x direction and ∂f (x, y) / ∂y with respect to the image of the detection region D1. That is, partial differentiation with respect to the y direction is executed, and an edge in the image of the detection region D1 is detected.

図５は、エッジ検出部１０４によって検出されたエッジの一例を示した図面であり、（ａ）はｘ方向に対する偏微分によって検出されたエッジＥ１及びＥ２を示し、（ｂ）はｙ方向に対する偏微分によって検出されたエッジＥ３及びＥ４を示し、（ｃ）は両偏微分によって検出されたエッジＥを示している。   FIG. 5 is a diagram showing an example of edges detected by the edge detection unit 104. (a) shows edges E1 and E2 detected by partial differentiation with respect to the x direction, and (b) shows deviations with respect to the y direction. The edges E3 and E4 detected by differentiation are shown, and (c) shows the edge E detected by double partial differentiation.

図４に示すように瞳ＢＥの左側のエッジは、白眼ＷＥの領域と瞳ＢＥの領域とが接している。そのため、この付近の画像はｘの増大とともに輝度が大きく低下する。したがって、瞳ＢＥの左側のエッジ付近の画素のｘ方向に対する偏微分値は負の値となる。   As shown in FIG. 4, the white eye WE region and the pupil BE region are in contact with the left edge of the pupil BE. For this reason, the brightness of an image in the vicinity thereof greatly decreases as x increases. Therefore, the partial differential value with respect to the x direction of the pixel near the left edge of the pupil BE is a negative value.

また、瞳ＢＥの右側のエッジは、白眼ＷＥの領域と瞳ＢＥの領域が接している。そのため、この付近の画像はｘの増大にともなって輝度が大きく上昇する。したがって、瞳ＢＥの右側のエッジ付近の画素のｘ方向に対する偏微分値は正の値となる。一方、瞳ＢＥ、白眼ＷＥの内部、肌の領域は、輝度がほとんど変化しない。その結果、検出領域Ｄ１をｘ方向に偏微分すると、図５（ａ）に示すように、エッジＥ１及びＥ２が検出されることとなる。なお、図中、黒く塗りつぶされた部分は偏微分値が負であることを示し、白抜きの部分は偏微分値が正であることを示し、グレーの部分は偏微分値が０であることを示している。   Further, the white eye WE area and the pupil BE area are in contact with the right edge of the pupil BE. For this reason, the brightness of an image in the vicinity increases greatly as x increases. Therefore, the partial differential value with respect to the x direction of the pixel near the right edge of the pupil BE is a positive value. On the other hand, the brightness of the inside of the pupil BE, the white eye WE, and the skin region hardly changes. As a result, when the detection area D1 is partially differentiated in the x direction, edges E1 and E2 are detected as shown in FIG. In the figure, the blacked portion indicates that the partial differential value is negative, the white portion indicates that the partial differential value is positive, and the gray portion indicates that the partial differential value is 0. Is shown.

また、図４に示すように、左眼ＬＥの上側のエッジは、白眼ＷＥと睫とが接しているとともに、瞳ＢＥ及び睫と肌とが接している。そのため、この付近の画像は、ｙ方向の増大にともなって輝度が大きく増大する。したがって、左眼ＬＥの上側のエッジ付近の画素のｙ方向に対する偏微分値は正の値となる。また、図４に示すように、瞳ＢＥの下側のエッジは、白眼ＷＥと瞳ＢＥとが接している。そのため、この付近の画像は、ｙ方向の増大にともなって輝度が大きく低下する。したがって、瞳ＢＥの下側のエッジ付近の画素の偏微分値は負の値をとる。その結果、検出領域Ｄ１をｙ方向に偏微分すると、図５（ｂ）に示すようなエッジＥ３とエッジＥ４とが検出される。なお、図中、黒く塗りつぶされた部分は偏微分値が負であることを示し、白抜きの部分は偏微分値が正であることを示し、グレーの部分は偏微分値が０であることを示している。   Further, as shown in FIG. 4, the upper edge of the left eye LE is in contact with the white eye WE and the eyelids, and the pupil BE and eyelids are in contact with the skin. Therefore, the brightness of the image in the vicinity increases greatly as the y direction increases. Therefore, the partial differential value with respect to the y direction of the pixel near the upper edge of the left eye LE is a positive value. As shown in FIG. 4, the white eye WE and the pupil BE are in contact with the lower edge of the pupil BE. For this reason, the brightness of an image in the vicinity thereof is greatly reduced as the y direction increases. Therefore, the partial differential value of the pixel near the lower edge of the pupil BE takes a negative value. As a result, when the detection area D1 is partially differentiated in the y direction, an edge E3 and an edge E4 as shown in FIG. 5B are detected. In the figure, the blacked portion indicates that the partial differential value is negative, the white portion indicates that the partial differential value is positive, and the gray portion indicates that the partial differential value is 0. Is shown.

そして、検出領域Ｄ１に対するｘ方向への偏微分及びｙ方向への偏微分によって、図５（ｃ）に示すようなエッジＥが検出領域Ｄ１から検出されることとなる。   Then, the edge E as shown in FIG. 5C is detected from the detection region D1 by the partial differentiation in the x direction and the partial differentiation in the y direction with respect to the detection region D1.

ステップＳ１０４において、分類部１０５は、図５（ｃ）に示すように、検出領域Ｄ１の各画素の偏微分値に応じて、エッジＥを第１乃至第４エッジＥＡ〜ＥＤに分類する。第１乃至第４エッジＥＡ〜ＥＤは、エッジＥ１〜Ｅ４にほぼ対応すると考えてよいが、図５（ａ）及び（ｂ）に示すように、エッジＥ１の下端の一部と、エッジＥ３の左端の一部とは重なっており、また、エッジＥ２の下端の一部と、エッジＥ３の右端の一部とは重なっている。ここで、エッジＥ２は下端にいくにつれてｘに対する偏微分値の絶対値が小さくなり、また、エッジＥ３も左端にいくにつれてｙに対する偏微分値の絶対値は小さくなる。そこで、分類部１０５は、エッジＥ１において、ｘに対する偏微分値の絶対値よりもｙに対する偏微分値の絶対値が大きくなった画素を基準としてエッジＥＡとエッジＥＣとの境界を定める。また、分類部１０５は、同様にして、エッジＥ２において、ｘに対する偏微分値の絶対値よりもｙに対する偏微分値の絶対値が大きくなった画素を基準としてエッジＥＣとエッジＥＢとの境界を定める。これにより、エッジＥがエッジＥＡ〜ＥＤの４種類のエッジに分類される。   In step S104, the classification unit 105 classifies the edge E into first to fourth edges EA to ED according to the partial differential value of each pixel in the detection region D1, as shown in FIG. The first to fourth edges EA to ED may be considered to substantially correspond to the edges E1 to E4. However, as shown in FIGS. 5A and 5B, a part of the lower end of the edge E1 and the edge E3 Part of the left end overlaps, and part of the lower end of the edge E2 and part of the right end of the edge E3 overlap. Here, the absolute value of the partial differential value with respect to x decreases toward the lower end of the edge E2, and the absolute value of the partial differential value with respect to y decreases toward the left end of the edge E3. Therefore, the classification unit 105 determines the boundary between the edge EA and the edge EC on the basis of a pixel whose absolute value of the partial differential value with respect to y is larger than the absolute value of the partial differential value with respect to x at the edge E1. Similarly, the classification unit 105 defines the boundary between the edge EC and the edge EB with reference to a pixel whose absolute value of the partial differential value with respect to y is larger than the absolute value of the partial differential value with respect to x at the edge E2. Determine. As a result, the edge E is classified into four types of edges EA to ED.

ステップＳ１０５において、投票領域設定部１０６は、エッジＥ上の各画素が第１〜第４エッジＥＡ〜ＥＤのうち、どのエッジに属するかに応じて、各画素に対応する制限投票領域を設定する。   In step S105, the voting area setting unit 106 sets a restricted voting area corresponding to each pixel depending on which edge of the first to fourth edges EA to ED each pixel on the edge E belongs to. .

図６は、画像空間における画素と、画素に対応する制限投票領域との関係を示した図面であり、（ａ）は検出領域Ｄ１内のエッジを示し、（ｂ）は第４エッジＥＤに属する各画素Ｐ４に対応する制限投票領域を示し、（ｃ）は第１エッジＥＡに属する各画素Ｐ１に対応する制限投票領域を示し、（ｄ）は第３エッジＥＣに属する各画素Ｐ３に対応する制限投票領域を示し、（ｅ）は第２エッジＥＢに属する各画素Ｐ２に対応する制限投票領域を示している。   6A and 6B are diagrams showing the relationship between the pixels in the image space and the restricted voting area corresponding to the pixels. FIG. 6A shows an edge in the detection area D1, and FIG. 6B belongs to the fourth edge ED. The restricted voting area corresponding to each pixel P4 is shown, (c) shows the restricted voting area corresponding to each pixel P1 belonging to the first edge EA, and (d) corresponds to each pixel P3 belonging to the third edge EC. A restricted voting area is shown, and (e) shows a restricted voting area corresponding to each pixel P2 belonging to the second edge EB.

すなわち、投票領域設定部１０６は、式（２）〜式（５）で表される投票領域を、それぞれ、式（６）〜式（９）で制限し、制限した領域を、画素Ｐ１（ｘ，ｙ）〜Ｐ４（ｘ，ｙ）に対応する制限投票領域として設定する。
（ｕ−ｘ）2＋（ｖ−ｙ）2＝ｒ2・・・式（２） ｖ＜ｙ・・・式（６）
（ｕ−ｘ）2＋（ｖ−ｙ）2＝ｒ2・・・式（３） ｕ＞ｘ・・・式（７）
（ｕ−ｘ）2＋（ｖ−ｙ）2＝ｒ2・・・式（４） ｖ＞ｙ・・・式（８）
（ｕ−ｘ）2＋（ｖ−ｙ）2＝ｒ2・・・式（５） ｕ＜ｘ・・・式（９）
これにより、第４エッジＥＤ上の各画素Ｐ４は、（ｂ）に示すように、ｒ軸に平行であり（ｕ，ｖ）＝（ｘ，ｙ）を通る直線を中心軸とする円錐の手前側半分の円錐面が制限投票領域として設定される。また、第１エッジＥＡ上の各画素Ｐ１は、（ｃ）に示すように、ｒ軸に平行であり、（ｕ，ｖ）＝（ｘ，ｙ）を通る直線を中心軸とする円錐の右側半分の円錐面が制限投票領域として設定される。さらに、第３エッジＥＣ上の各画素Ｐ３は、（ｄ）に示すように、ｒ軸に平行であり、（ｕ，ｖ）＝（ｘ，ｙ）を通る直線を中心軸とする円錐の後ろ側半分の円錐面が制限投票領域として設定される。さらに、第２エッジＥＢ上の各画素Ｐ２は投票領域は、（ｅ）に示すように、ｒ軸に平行であり、（ｕ，ｖ）＝（ｘ，ｙ）を通る直線を中心軸とする円錐の左側半分の円錐面が制限投票領域として設定される。 In other words, the voting area setting unit 106 restricts the voting areas represented by the expressions (2) to (5) by the expressions (6) to (9), respectively, and restricts the restricted areas to the pixel P1 (x , Y) to P4 (x, y) are set as restricted voting areas.
(U−x) 2 + (v−y) 2 = r 2 Equation (2) v <y Equation (6)
(U−x) 2 + (v−y) 2 = r 2 Equation (3) u> x Equation (7)
(U−x) 2 + (v−y) 2 = r 2 Equation (4) v> y Equation (8)
(U−x) 2 + (v−y) 2 = r 2 Equation (5) u <x Equation (9)
Accordingly, each pixel P4 on the fourth edge ED is, as shown in (b), in front of the cone having a straight line parallel to the r axis and passing through (u, v) = (x, y) as the central axis. The conical surface of the side half is set as the restricted voting area. Further, each pixel P1 on the first edge EA is parallel to the r-axis, as shown in (c), and the right side of the cone having a straight line passing through (u, v) = (x, y) as the central axis. Half of the conical surface is set as the restricted voting area. Further, each pixel P3 on the third edge EC, as shown in (d), is parallel to the r axis and is behind the cone centered on a straight line passing through (u, v) = (x, y). The conical surface of the side half is set as the restricted voting area. Further, the voting area of each pixel P2 on the second edge EB is parallel to the r axis as shown in (e), and a straight line passing through (u, v) = (x, y) is set as the central axis. The conical surface of the left half of the cone is set as the restricted voting area.

次に、投票領域、制限投票領域、及び最大投票点との関係について図７及び図８を用いて説明する。図７は、第１〜第４エッジＥＡ〜ＥＤと、投票領域Ｃ１〜Ｃ４との関係を示した図面であり、（ａ）は第１〜第４エッジＥＡ〜ＥＤを示し、（ｂ）は投票領域Ｃ１〜Ｃ４を示している。（ｂ）に示す投票領域Ｃ１〜Ｃ４は、それぞれ、画素Ｐ１（ｘ，ｙ）〜Ｐ４（ｘ，ｙ）に対応する投票領域を示し、十字印を付した点は、最大投票点ＭＰ（ｕ，ｖ，ｒ）を示している。   Next, the relationship between the voting area, the restricted voting area, and the maximum voting point will be described with reference to FIGS. FIG. 7 is a diagram showing the relationship between the first to fourth edges EA to ED and the voting areas C1 to C4, (a) showing the first to fourth edges EA to ED, and (b) Voting areas C1 to C4 are shown. Voting areas C1 to C4 shown in (b) indicate voting areas corresponding to the pixels P1 (x, y) to P4 (x, y), respectively, and the points with cross marks are the maximum voting points MP (u , V, r).

図７に示すように、最大投票点ＭＰは、投票領域Ｃ４に対しては、ｖ＜ｙの範囲に存在し、投票領域Ｃ１に対しては、ｕ＞ｘの範囲に存在し、投票領域Ｃ３に対しては、ｖ＞ｙの範囲に存在し、投票領域Ｃ２に対しては、ｕ＜ｘの範囲に存在することが分かる。   As shown in FIG. 7, the maximum voting point MP exists in the range of v <y for the voting area C4, exists in the range of u> x for the voting area C1, and the voting area C3. Is present in the range of v> y, and the voting region C2 is present in the range of u <x.

図８は、最大投票点ＭＰが存在するｕ−ｖ平面上における投票領域を示した図面である。なお、図８では、説明を分かりやすくするために、背景として図５（ｃ）で示すエッジの画像を重ね合わせている。このｕ−ｖ平面において、投票領域Ｃは、エッジ上の画素Ｐを中心とする半径ｒの円で表される。この半径ｒは、抽出対象となる瞳ＢＥの半径に一致する。そのため、ｕ−ｖ平面において、図５（ｃ）で示すエッジの画像を重ね合わせると、各画素Ｐに対応する投票領域Ｃの重なりが多く発生する点、すなわち、最大投票点ＭＰは、瞳の中心に位置することになる。   FIG. 8 shows a voting area on the uv plane where the maximum voting point MP exists. In FIG. 8, the edge images shown in FIG. 5C are superimposed as a background for easy understanding. In this uv plane, the voting area C is represented by a circle having a radius r centered on the pixel P on the edge. This radius r matches the radius of the pupil BE to be extracted. Therefore, when the edge images shown in FIG. 5C are superimposed on the uv plane, the overlapping of the voting areas C corresponding to the respective pixels P, that is, the maximum voting point MP is It will be located in the center.

このことから、画像空間において、エッジ上の各画素が、瞳ＢＥの中心に対して、どの位置に存在するかが分かれば、エッジ上の各画素に対応する投票領域において、どのあたりに最大投票点ＭＰが位置するかを予測することができる。   From this, in the image space, if it is known where each pixel on the edge is located with respect to the center of the pupil BE, in the voting region corresponding to each pixel on the edge, which is the maximum vote It can be predicted whether the point MP is located.

例えば、第４エッジＥＤ上の画素Ｐ４（ｘ，ｙ）に対応する投票領域Ｃ４において、最大投票点ＭＰは、下側半分の円錐面上、すなわち、ｖ＜ｙの範囲内に位置し、上側半分の円錐面上、すなわち、ｖ＞ｙの範囲内に位置しないことが分かる。同様に、第１エッジＥＡ上の画素Ｐ１（ｘ，ｙ）に対応する投票領域Ｃ１において、最大投票点ＭＰは、右半分の円錐面上、すなわち、ｕ＞ｘの範囲内に位置し、左半分の円錐面上、すなわち、ｕ＜ｘの範囲内に位置しないことが分かる。また、第３エッジＥＣ上の画素Ｐ３に対応する投票領域Ｃ３において、最大投票点ＭＰは、上半分の円錐面上、すなわち、ｖ＞ｙの範囲内に位置し、下半分の円錐面上、すなわち、ｖ＜ｙの範囲内に位置しないことが分かる。さらに、第２エッジＥＢ上の画素Ｐ２（ｘ，ｙ）に対応する投票領域Ｃ２において、最大投票点ＭＰは、左半分の円錐面上、すなわち、ｕ＜ｘの範囲内に位置し、右半分の円錐面上、すなわちｕ＞ｘの範囲内に位置しないことが分かる。   For example, in the voting region C4 corresponding to the pixel P4 (x, y) on the fourth edge ED, the maximum voting point MP is located on the lower half of the conical surface, that is, within the range of v <y, and the upper side It can be seen that it does not lie on the half conical surface, ie, in the range of v> y. Similarly, in the voting area C1 corresponding to the pixel P1 (x, y) on the first edge EA, the maximum voting point MP is located on the right half conical surface, that is, within the range of u> x, and left It can be seen that it does not lie on the half conical surface, ie, in the range of u <x. Further, in the voting region C3 corresponding to the pixel P3 on the third edge EC, the maximum voting point MP is located on the upper half conical surface, that is, in the range of v> y, and on the lower half conical surface, That is, it can be seen that it is not in the range of v <y. Further, in the voting region C2 corresponding to the pixel P2 (x, y) on the second edge EB, the maximum voting point MP is located on the left half conical surface, that is, within the range of u <x, and the right half. As shown in FIG.

したがって、図８中、閉曲線Ｌで囲む領域において、最大投票点ＭＰは明らかに存在しないため、この領域において、最大投票点ＭＰを探索することは無駄である。そこで、投票領域設定部１０６は、式（２）で表される第４エッジＥＤ上の各画素Ｐ４に対応する投票領域Ｃ４を、式（６）の範囲に制限したものを制限投票領域として設定する。また、式（３）で表される第１エッジＥＡ上の各画素Ｐ１に対応する投票領域Ｃ１を、式（７）の範囲に制限したものを制限投票領域として設定する。さらに、式（４）で表される第３エッジＥＣ上の各画素Ｐ３に対応する投票領域Ｃ３を、式（８）の範囲に制限したものを制限投票領域として設定する。さらに、式（５）で表される第２エッジＥＢ上の各画素Ｐ２に対応する投票領域Ｃ２を、式（９）の範囲に制限したものを制限投票領域として設定する。これにより、投票領域の範囲を小さくして、最大投票点ＭＰの検出速度を高めている。   Accordingly, in FIG. 8, in the region surrounded by the closed curve L, there is clearly no maximum vote point MP, and it is useless to search for the maximum vote point MP in this region. Therefore, the voting area setting unit 106 sets the voting area C4 corresponding to each pixel P4 on the fourth edge ED represented by Expression (2) as a restricted voting area that is limited to the range of Expression (6). To do. Further, the restricted voting area C1 corresponding to each pixel P1 on the first edge EA represented by the expression (3) is set as a restricted voting area in the range of the expression (7). Further, the restricted voting area C3 corresponding to each pixel P3 on the third edge EC represented by the expression (4) is set as the restricted voting area in the range of the expression (8). Further, the restricted voting area C2 corresponding to each pixel P2 on the second edge EB represented by the expression (5) is set as a restricted voting area in the range of the expression (9). Thereby, the range of the voting area is reduced, and the detection speed of the maximum voting point MP is increased.

図３に示すステップＳ１０６において、探索部１０７は、制限投票領域内を探索して最大投票点ＭＰを検出し、検出した最大投票点ＭＰのｕ，ｖ，ｒ値を、円の中心（ｕ，ｖ）及び半径をｒとする円が抽出対象となる瞳ＢＥのエッジとされ、瞳が抽出される（ステップＳ１０７）。   In step S106 shown in FIG. 3, the search unit 107 searches the restricted voting area to detect the maximum voting point MP, and the u, v, and r values of the detected maximum voting point MP are set to the center (u, v) and a circle with radius r are taken as the edges of the pupil BE to be extracted, and the pupil is extracted (step S107).

ステップＳ１０８において、表示制御部１０８は、瞳ＢＥが検出されたフレーム画像をフレームメモリ１０２から読み出し、読み出したフレーム画像に瞳のエッジを示す画像を合成し、表示部１０９に表示する。   In step S108, the display control unit 108 reads out the frame image in which the pupil BE is detected from the frame memory 102, synthesizes an image indicating the edge of the pupil with the read frame image, and displays the image on the display unit 109.

ステップＳ１０９において、処理されたフレーム画像が最終のフレーム画像でない場合（ステップＳ１０９でＮＯ）、処理がステップＳ１０２に戻され、以降のフレーム画像に対してステップＳ１０２〜Ｓ１０８の処理が実行される。一方、処理したフレーム画像が最終のフレーム画像である場合（ステップＳ１０９でＹＥＳ）、処理が終了される。   In step S109, if the processed frame image is not the final frame image (NO in step S109), the process returns to step S102, and the processes in steps S102 to S108 are performed on the subsequent frame images. On the other hand, when the processed frame image is the final frame image (YES in step S109), the process ends.

このように、本図形抽出装置によれば、顔画像の眼の領域に検出領域Ｄ１を設定し、検出領域Ｄ１をｘ及びｙに対して偏微分して得られる偏微分値からエッジを第１〜第４エッジＥＡ〜ＥＤに分類し、分類したエッジ別にエッジ上の各画素に対応する制限投票領域を設定し、設定した制限投票領域内を探索し最大投票点を検出しているため、計算量を低減することができ、高精度、かつ、高速に瞳を抽出することができる。また、本図形抽出装置は、このようにして処理の高速化を図っているため、動画像から図形を抽出する場合、特に有用となる。さらに、本図形抽出装置は、両眼の各々に対して検出領域を設定し、設定した検出領域内において、瞳の抽出処理を行なっているため、瞳以外の画像が瞳の画像として誤認識して抽出されることを防止することができる。   Thus, according to the figure extracting apparatus, the detection area D1 is set in the eye area of the face image, and the edge is first determined from the partial differential value obtained by partial differentiation of the detection area D1 with respect to x and y. Since it is classified into the fourth edge EA to ED, a restricted voting area corresponding to each pixel on the edge is set for each classified edge, and the maximum voting point is detected by searching in the set restricted voting area. The amount can be reduced, and the pupil can be extracted with high accuracy and high speed. In addition, since the present graphic extracting device speeds up the processing in this way, it is particularly useful when extracting a graphic from a moving image. Further, since the figure extracting apparatus sets a detection region for each of both eyes and performs the pupil extraction process within the set detection region, an image other than the pupil is erroneously recognized as a pupil image. Can be prevented from being extracted.

なお、本発明は、以下の態様を採用してもよい。   The present invention may adopt the following aspects.

（１）上記実施形態では、人間の瞳を抽出したが、これに限定されず、猿、犬等の他の生物の瞳を抽出してもよい。また、本発明は、瞳のように、外部に対して内部の輝度が低い円形の図形以外の図形を抽出することもできる。例えば、外部に対して内部の輝度が高い円の図形を抽出してもよい。この場合、分類部１０５は、∂ｆ／∂ｘ＞０を第１エッジＥＡとし、∂ｆ／∂ｘ＜０を第２エッジＥＢとし、∂ｆ／∂ｙ＞０を第３エッジＥＣとし、∂ｆ／∂ｙ＜０を第４エッジＥＤとして分類すればよい。また、本発明は、円以外の例えば楕円等の閉曲線からなる図形を抽出する処理に適用してもよい。この場合、閉曲線の種類に応じて、投票空間の次元数は変動する。例えば楕円を抽出する場合、投票空間は５次元空間となる。そして、これに応じて、エッジの分類パターン及び投票領域の制限するパターンを適宜変更すればよい。   (1) Although the human pupil is extracted in the above embodiment, the present invention is not limited to this, and the pupil of another living organism such as a monkey or a dog may be extracted. The present invention can also extract a figure other than a circular figure whose internal brightness is low with respect to the outside, such as a pupil. For example, a circular figure having a higher internal luminance than the outside may be extracted. In this case, the classification unit 105 sets ∂f / ∂x> 0 as the first edge EA, ∂f / ∂x <0 as the second edge EB, ∂f / ∂y> 0 as the third edge EC, ∂f / ∂y <0 may be classified as the fourth edge ED. Further, the present invention may be applied to a process of extracting a figure formed of a closed curve such as an ellipse other than a circle. In this case, the number of dimensions of the voting space varies depending on the type of closed curve. For example, when extracting an ellipse, the voting space is a five-dimensional space. In accordance with this, the edge classification pattern and the pattern limited by the voting area may be appropriately changed.

（２）上記実施形態では、人間の顔画像の瞳に対して本発明を適用していたが、これに限定されず、機械部品（例えば、ネジ穴や電気回路の基板にある穴）の画像に対して本発明を適用させてもよい。   (2) In the above embodiment, the present invention is applied to the pupil of a human face image. However, the present invention is not limited to this, and an image of a mechanical part (for example, a screw hole or a hole in an electric circuit board). The present invention may be applied to the above.

（３）上記実施形態では、エッジを４種類に分類し、それに応じて４つのパターンで投票領域を制限したが、これに限定されず、エッジを５種類以上に分類してもよい。分類数を増やすにつれて、制限投票領域の範囲が小さくなるため、最大投票点の検出時間を短縮することができる。   (3) In the above embodiment, the edge is classified into four types, and the voting area is limited by four patterns accordingly. However, the present invention is not limited to this, and the edge may be classified into five or more types. As the number of classifications increases, the range of the restricted voting area decreases, so that the maximum voting point detection time can be shortened.

（４）本発明を人間の顔の動画像に対して仮想的に化粧を施す化粧シミュレーション装置に適用させてもよい。化粧シミュレーション装置では、瞳を検出し、検出した瞳を基準として、鼻、口等の他の顔部品を検出することが行なわれるが、この場合、本発明を、前記瞳を検出する処理に適用すればよい。また、本発明を、人間の視線を検出する視線検出装置に適用させてもよい。   (4) The present invention may be applied to a makeup simulation apparatus that virtually applies makeup to a moving image of a human face. In the makeup simulation apparatus, the pupil is detected, and other facial parts such as the nose and mouth are detected based on the detected pupil. In this case, the present invention is applied to the process of detecting the pupil. do it. Further, the present invention may be applied to a gaze detection device that detects a human gaze.

（５）上記実施形態では、顔の動画像から瞳を抽出する処理を例に挙げて説明したが、これに限定されず、顔の静止画像から瞳を抽出してもよい。この場合、動画像において、１枚のフレーム画像に対して行なった処理を、静止画像に対して実行すればよい。   (5) In the above embodiment, the process of extracting the pupil from the moving image of the face has been described as an example. However, the present invention is not limited to this, and the pupil may be extracted from the still image of the face. In this case, the processing performed on one frame image in the moving image may be performed on the still image.

本発明の一実施の形態による図形抽出装置の構成を示すブロック図である。It is a block diagram which shows the structure of the figure extraction apparatus by one embodiment of this invention. 本図形抽出装置の機能を説明するブロック図である。It is a block diagram explaining the function of this figure extraction apparatus. 本画像抽出装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of this image extraction apparatus. 左眼に設定された検出領域を示した図面である。It is drawing which showed the detection area set to the left eye. エッジ検出部によって検出されたエッジの一例を示した図面であり、（ａ）はｘ方向に対する偏微分によって検出されたエッジを示し、（ｂ）はｙ方向に対する偏微分によって検出されたエッジを示し、（ｃ）は両偏微分によって検出されたエッジを示している。It is drawing which showed an example of the edge detected by the edge detection part, (a) shows the edge detected by the partial differentiation with respect to x direction, (b) shows the edge detected by the partial differentiation with respect to y direction , (C) show edges detected by bipartial differentiation. 画像空間における画素と、画素に対応する制限投票領域との関係を示した図面であり、（ａ）は画像空間を示し、（ｂ）は第１エッジに属する画素に対応する制限投票領域を示し、（ｃ）は第２エッジに属する画素に対応する制限投票領域を示し、（ｄ）は第３エッジに属する画素に対応する制限投票領域を示し、（ｅ）は第４エッジに属する画素に対応する制限投票領域を示している。It is drawing which showed the relationship between the pixel in image space, and the restriction | limiting voting area corresponding to a pixel, (a) shows image space, (b) shows the restriction | limiting voting area corresponding to the pixel which belongs to a 1st edge. , (C) shows the restricted voting area corresponding to the pixel belonging to the second edge, (d) shows the restricted voting area corresponding to the pixel belonging to the third edge, and (e) shows the pixel belonging to the fourth edge. The corresponding restricted voting area is shown. 第１〜第４エッジと、投票領域との関係を示した図面でり、（ａ）は第１〜第４エッジを示し、（ｂ）は投票領域を示している。It is drawing which showed the relationship between the 1st-4th edge and a voting area, (a) shows the 1st-4th edge, (b) has shown the voting area. 最大投票点が存在するｕ−ｖ平面上における投票領域を示した図面である。It is drawing which showed the voting area | region on the uv plane in which the maximum voting point exists.

符号の説明Explanation of symbols

１０ カメラ
１０１ 顔画像取得部
１０２ フレームメモリ
１０３ 検出領域設定部
１０４ エッジ検出部
１０５ 分類部
１０６ 投票領域設定部
１０７ 探索部
１０８ 表示制御部
１０９ 表示部

DESCRIPTION OF SYMBOLS 10 Camera 101 Face image acquisition part 102 Frame memory 103 Detection area setting part 104 Edge detection part 105 Classification part 106 Voting area setting part 107 Search part 108 Display control part 109 Display part

Claims (9)

画像中に含まれる図形を、ハフ変換により抽出する図形抽出プログラムであって、
前記画像からエッジを検出するエッジ検出手段と、
検出されたエッジを、その方向に基づく特徴に応じて分類する分類手段と、
エッジ上の各画素に対応する投票領域の範囲を、各画素が属するエッジの特徴に応じて、最大投票点が含まれるように小さく制限する制限手段と、
ハフ変換を用いて、制限された投票領域内を探索し、最大投票点を検出する探索手段としてコンピュータを機能させることを特徴とする図形抽出プログラム。 A graphic extraction program for extracting a graphic contained in an image by Hough transform,
Edge detection means for detecting an edge from the image;
A classifying means for classifying the detected edge according to a feature based on the direction;
Limiting means for limiting the range of the voting area corresponding to each pixel on the edge to be small so that the maximum voting point is included according to the feature of the edge to which each pixel belongs;
A graphic extraction program for searching a limited voting area by using a Hough transform and causing a computer to function as a search means for detecting a maximum voting point. 前記分類手段は、画像上の軸成分の偏微分値を基に、検出されたエッジの特徴を算出し、前記エッジを分類することを特徴とする請求項１記載の図形抽出プログラム。   The graphic extraction program according to claim 1, wherein the classification means calculates the feature of the detected edge based on the partial differential value of the axial component on the image and classifies the edge. 前記図形は、前記画像の第１の方向に設定されたｘ軸と、前記第１の方向に交わる第２の方向に設定されたｙ軸との２軸からなる２次元空間内において、（ｘ−ｕ）2＋（ｙ−ｖ）2＝ｒ2で表される円であり（但し、ｕ，ｖは円の中心、ｒは円の半径を示す）、
前記エッジ検出手段は、前記第１及び第２の方向のエッジを検出し、
前記分類手段は、検出された第１の方向のエッジを、第１のエッジと、前記第１のエッジよりｘ軸上の増加側に位置する第２のエッジとに分類すると共に、検出された第２の方向のエッジを、第３のエッジと、第３のエッジに対してｙ軸上の増加側に位置する第４のエッジとに分類することを特徴とする請求項１又は２記載の図形抽出プログラム。 In the two-dimensional space consisting of two axes, the x-axis set in the first direction of the image and the y-axis set in the second direction intersecting the first direction, the figure is (x −u) 2 + (y−v) 2 = r 2 (where u and v are the center of the circle and r is the radius of the circle),
The edge detecting means detects edges in the first and second directions;
The classifying means classifies the detected edge in the first direction into a first edge and a second edge located on the increase side on the x-axis from the first edge, and is detected. 3. The edge in the second direction is classified into a third edge and a fourth edge located on the increasing side on the y-axis with respect to the third edge. Graphic extraction program. 前記制限手段は、前記第１のエッジの各画素（ｘ，ｙ）に対応する投票領域をｕ＞ｘの範囲に制限し、前記第２のエッジの各画素（ｘ，ｙ）に対応する投票領域をｕ＜ｘの範囲に制限し、前記第３のエッジの各画素（ｘ，ｙ）に対応する投票領域をｖ＞ｙの範囲に制限し、前記第４のエッジの各画素（ｘ，ｙ）に対応する投票領域をｖ＜ｙの範囲に制限することを特徴とする請求項３記載の図形抽出プログラム。   The restricting means restricts a voting area corresponding to each pixel (x, y) of the first edge to a range of u> x, and votes corresponding to each pixel (x, y) of the second edge. The region is limited to a range of u <x, the voting region corresponding to each pixel (x, y) of the third edge is limited to a range of v> y, and each pixel (x, 4. The graphic extraction program according to claim 3, wherein a voting area corresponding to y) is limited to a range of v <y. 前記エッジ検出手段は、前記画像をｘ軸に対して偏微分することにより、前記第１及び第２のエッジを検出し、前記画像をｙ軸に対して偏微分することにより、前記第３及び第４のエッジを検出することを特徴とする請求項４記載の図形抽出プログラム。   The edge detection means detects the first and second edges by performing partial differentiation on the image with respect to the x axis, and performs partial differentiation on the image with respect to the y axis. The graphic extraction program according to claim 4, wherein the fourth edge is detected. 前記図形は相対的に輝度の低い円形領域であり、
前記画像の各画素の輝度をｆ（ｘ，ｙ）とすると、
前記分類手段は、∂ｆ（ｘ，ｙ）／∂ｘ＜０の画素を基準として前記第１のエッジを分類し、∂ｆ（ｘ，ｙ）／∂ｘ＞０の画素を基準として前記第２のエッジを分類し、∂ｆ（ｘ，ｙ）／∂ｙ＜０の画素を基準として前記第３のエッジを分類し、∂ｆ（ｘ，ｙ）／∂ｙ＞０の画素を基準として前記第４のエッジを分類することを特徴とする請求項５記載の図形抽出プログラム。 The figure is a circular area with relatively low brightness,
If the luminance of each pixel of the image is f (x, y),
The classifying means classifies the first edge with reference to a pixel of ∂f (x, y) / ∂x <0, and sets the first edge with respect to a pixel of ∂f (x, y) / ∂x> 0. Classify the second edge, classify the third edge based on the pixel of ∂f (x, y) / ∂y <0, and classify the pixel of ∂f (x, y) / ∂y> 0 as the reference. 6. The graphic extraction program according to claim 5, wherein the fourth edge is classified. 前記円形領域は、人物の瞳であることを特徴とする請求項６記載の図形抽出プログラム。   The graphic extraction program according to claim 6, wherein the circular area is a pupil of a person. 画像中に含まれる図形を、ハフ変換により抽出する図形抽出方法であって、
コンピュータが、前記画像からエッジを検出するエッジ検出ステップと、
コンピュータが、検出されたエッジを、その方向に基づく特徴に応じて分類する分類ステップと、
コンピュータが、エッジ上の各画素に対応する投票領域の範囲を、各画素が属するエッジの特徴に応じて、最大投票点が含まれるように小さく制限する制限ステップと、
コンピュータが、ハフ変換を用いて、制限された投票領域内を探索し、最大投票点を検出するステップとを備えることを特徴とする図形抽出方法。 A figure extraction method for extracting a figure contained in an image by a Hough transform,
An edge detecting step in which a computer detects an edge from the image;
A classification step in which the computer classifies the detected edges according to features based on their directions;
A limiting step in which the computer limits the range of the voting area corresponding to each pixel on the edge to be small so that the maximum voting point is included according to the feature of the edge to which each pixel belongs;
A computer comprising a step of searching in a restricted voting area using a Hough transform and detecting a maximum voting point. 画像中に含まれる図形を、ハフ変換により抽出する図形抽出装置であって、
前記画像からエッジを検出するエッジ検出手段と、
検出されたエッジを、その方向に基づく特徴に応じて分類する分類手段と、
エッジ上の各画素に対応する投票領域の範囲を、各画素が属するエッジの特徴に応じて、最大投票点が含まれるように小さく制限する制限手段と、
ハフ変換を用いて、制限された投票領域内を探索し、最大投票点を検出する探索手段とを備えることを特徴とする図形抽出装置。

A figure extraction device for extracting a figure contained in an image by Hough transform,
Edge detection means for detecting an edge from the image;
A classifying means for classifying the detected edge according to a feature based on the direction;
Limiting means for limiting the range of the voting area corresponding to each pixel on the edge to be small so that the maximum voting point is included according to the feature of the edge to which each pixel belongs;
A graphic extraction apparatus comprising: search means for searching within a restricted voting area using Hough transform and detecting a maximum voting point.

JP2004127175A 2004-04-22 2004-04-22 Graphic extraction program, graphic extraction method and graphic extraction apparatus Withdrawn JP2005309862A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004127175A JP2005309862A (en) 2004-04-22 2004-04-22 Graphic extraction program, graphic extraction method and graphic extraction apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004127175A JP2005309862A (en) 2004-04-22 2004-04-22 Graphic extraction program, graphic extraction method and graphic extraction apparatus

Publications (1)

Publication Number Publication Date
JP2005309862A true JP2005309862A (en) 2005-11-04

Family

ID=35438552

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004127175A Withdrawn JP2005309862A (en) 2004-04-22 2004-04-22 Graphic extraction program, graphic extraction method and graphic extraction apparatus

Country Status (1)

Country Link
JP (1) JP2005309862A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100809431B1 (en) 2006-11-21 2008-03-05 한국전자통신연구원 Method and apparatus for detecting eye in face region
JP2010009501A (en) * 2008-06-30 2010-01-14 Fujitsu Ltd Image processing apparatus and method thereof
CN100589114C (en) * 2007-12-29 2010-02-10 北京中星微电子有限公司 Apparatus and method for tracking maximum face in image
JP4893863B1 (en) * 2011-03-11 2012-03-07 オムロン株式会社 Image processing apparatus and image processing method
JP4893862B1 (en) * 2011-03-11 2012-03-07 オムロン株式会社 Image processing apparatus and image processing method
CN117994347A (en) * 2024-04-07 2024-05-07 宝鸡市鹏盛鑫有色金属有限责任公司 High-precision positioning method for flange machining drilling

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100809431B1 (en) 2006-11-21 2008-03-05 한국전자통신연구원 Method and apparatus for detecting eye in face region
US7929734B2 (en) 2006-11-21 2011-04-19 Electronics And Telecommunications Research Institute Method and apparatus for detecting eyes in face region
CN100589114C (en) * 2007-12-29 2010-02-10 北京中星微电子有限公司 Apparatus and method for tracking maximum face in image
JP2010009501A (en) * 2008-06-30 2010-01-14 Fujitsu Ltd Image processing apparatus and method thereof
WO2012124142A1 (en) * 2011-03-11 2012-09-20 オムロン株式会社 Image processing device and image processing method
JP4893862B1 (en) * 2011-03-11 2012-03-07 オムロン株式会社 Image processing apparatus and image processing method
JP4893863B1 (en) * 2011-03-11 2012-03-07 オムロン株式会社 Image processing apparatus and image processing method
WO2012124146A1 (en) * 2011-03-11 2012-09-20 オムロン株式会社 Image processing device and image processing method
EP2657903A1 (en) * 2011-03-11 2013-10-30 Omron Corporation Image processing device and image processing method
EP2657903A4 (en) * 2011-03-11 2014-03-26 Omron Tateisi Electronics Co Image processing device and image processing method
US8750623B2 (en) 2011-03-11 2014-06-10 Omron Corporation Image processing device and image processing method for identifying a pupil region
US8805087B2 (en) 2011-03-11 2014-08-12 Omron Corporation Image processing device and image processing method
CN117994347A (en) * 2024-04-07 2024-05-07 宝鸡市鹏盛鑫有色金属有限责任公司 High-precision positioning method for flange machining drilling
CN117994347B (en) * 2024-04-07 2024-06-11 宝鸡市鹏盛鑫有色金属有限责任公司 High-precision positioning method for flange machining drilling

Similar Documents

Publication Publication Date Title
EP1774470B1 (en) Face recognition method and apparatus therefor
CN104751142B (en) A kind of natural scene Method for text detection based on stroke feature
CN112384127B (en) Eyelid sagging detection method and system
US8131013B2 (en) Method and detecting system for positions of facial parts
CN108614999B (en) Eye opening and closing state detection method based on deep learning
CN100357959C (en) Facial parts position detection device, method for detecting facial parts position, and program for detecting facial parts position
US8295593B2 (en) Method of detecting red-eye objects in digital images using color, structural, and geometric characteristics
CN106297755B (en) Electronic equipment and identification method for music score image identification
CN111967319B (en) Living body detection method, device, equipment and storage medium based on infrared and visible light
JPH0877334A (en) Automatic feature point extracting method for face image
CN111460950B (en) Cognitive distraction method based on head-eye evidence fusion in natural driving conversation behavior
CN102592141A (en) Method for shielding face in dynamic image
CN110032932B (en) Human body posture identification method based on video processing and decision tree set threshold
JP2005190400A (en) Face image detection method, system, and program
WO2020038312A1 (en) Multi-channel tongue body edge detection device and method, and storage medium
CN110427909B (en) Mobile terminal driving license detection method and system, electronic equipment and storage medium
CN108171157A (en) The human eye detection algorithm being combined based on multiple dimensioned localized mass LBP histogram features with Co-HOG features
CN103218615B (en) Face judgment method
JP2000105819A (en) Face image area detecting device
JP2005165984A (en) Method, system and program for detecting vertex of human face
CN111881732B (en) SVM (support vector machine) -based face quality evaluation method
CN117237608A (en) Deep learning-based multi-scale foggy scene target detection method and system
JP2005309862A (en) Graphic extraction program, graphic extraction method and graphic extraction apparatus
JP5201184B2 (en) Image processing apparatus and program
CN107145888A (en) Video caption real time translating method

Legal Events

Date Code Title Description
A621 Written request for application examination

Effective date: 20070220

Free format text: JAPANESE INTERMEDIATE CODE: A621

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20090803