JP2010033220A - Skin color model generation device, method, and program - Google Patents

Skin color model generation device, method, and program Download PDF

Info

Publication number
JP2010033220A
JP2010033220A JP2008193151A JP2008193151A JP2010033220A JP 2010033220 A JP2010033220 A JP 2010033220A JP 2008193151 A JP2008193151 A JP 2008193151A JP 2008193151 A JP2008193151 A JP 2008193151A JP 2010033220 A JP2010033220 A JP 2010033220A
Authority
JP
Japan
Prior art keywords
skin color
model
target image
face
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2008193151A
Other languages
Japanese (ja)
Inventor
To Chin
涛 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2008193151A priority Critical patent/JP2010033220A/en
Priority to US12/509,661 priority patent/US20100021056A1/en
Publication of JP2010033220A publication Critical patent/JP2010033220A/en
Abandoned legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To generate a skin color model by which skin color can be detected with sufficient accuracy from an object image. <P>SOLUTION: A face detection unit 3 detects a face from the object image, and a sample acquisition unit 4 acquires a skin color sample region from the detected face. A feature extracting unit 5 extracts a plurality of features from the skin color sample region. A model generation unit 6 approximates statistical distribution of a plurality of feature by a Gaussian mixed model, and generates the skin color model with EM algorithm using the Gaussian mixed model. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、画像から肌色領域を検出するために用いる肌色モデルを作成するための肌色モデル作成装置および方法並びに肌色モデル作成方法をコンピュータに実行させるためのプログラムに関するものである。   The present invention relates to a skin color model creation apparatus and method for creating a skin color model used for detecting a skin color area from an image, and a program for causing a computer to execute the skin color model creation method.

人物が含まれる画像においては、肌色を適切に再現することが重要である。このため、オペレータがマニュアル操作により画像に含まれる肌色領域を指定し、指定した肌色領域に対して適切な画像処理を行うことが考えられる。また、オペレータの負担を軽減するために、画像に含まれる肌色領域を自動で検出するための様々な手法が提案されている。   In an image including a person, it is important to appropriately reproduce the skin color. For this reason, it is conceivable that the operator designates a skin color area included in the image by manual operation and performs appropriate image processing on the designated skin color area. In order to reduce the burden on the operator, various methods for automatically detecting a skin color area included in an image have been proposed.

例えば、画像の色空間を、肌色を定義するモデルを生成しやすいＴＳＬ色空間に変換し、肌色分布モデルを作成するための多数のサンプル画像をＴＳＬ色空間に変換し、変換後の画像を用いて肌色の分布モデルを作成し、この分布モデルを用いて肌色を検出する手法が提案されている（特許文献１参照）。また、多数のサンプル画像から肌色のサンプルデータを収集し、収集した肌色画像データをＨＳＶ変換して肌色の（Ｈ，Ｓ）データを集め、集めた（Ｈ，Ｓ）データのヒストグラムをガウス混合モデルにて近似し、ガウス混合モデルのパラメータを得、肌色検出の対象となる対象画像の各画素に対してガウス混合モデルのパラメータを用いて肌色尤度を算出し、算出した肌色尤度をしきい値と比較して、肌色であるか否かを判定する手法も提案されている（特許文献２参照）。また、特許文献２に記載された手法を動画像に適用した手法も提案されている（特許文献３参照）。
特開２００６−３１３４６８号公報 特開２００４−２４６４２４号公報 特開２００７−２５７０８７号公報 For example, the image color space is converted into a TSL color space that can easily generate a skin color defining model, a large number of sample images for creating a skin color distribution model are converted into a TSL color space, and the converted image is used. A method for creating a skin color distribution model and detecting the skin color using this distribution model has been proposed (see Patent Document 1). Also, skin color sample data is collected from a large number of sample images, the collected skin color image data is HSV converted to collect skin color (H, S) data, and a histogram of the collected (H, S) data is used as a Gaussian mixture model. To obtain the parameters of the Gaussian mixture model, calculate the skin color likelihood using the parameters of the Gaussian mixture model for each pixel of the target image to be subjected to skin color detection, and threshold the calculated skin color likelihood There has also been proposed a method for determining whether or not the skin color is compared with the value (see Patent Document 2). Also, a technique in which the technique described in Patent Document 2 is applied to a moving image has been proposed (see Patent Document 3).
JP 2006-313468 A JP 2004-246424 A Japanese Patent Laid-Open No. 2007-257087

上記特許文献１〜３に記載された手法は、多種多様なサンプル画像を用いて、汎用的な肌色を検出するための肌色モデルを作成するものである。しかしながら、肌色検出の対象となる対象画像には様々な人物が含まれ、さらに照明条件も種々異なるものとなるため、肌色モデルを作成する際に使用したサンプル画像と、対象画像に含まれる肌色とは必ずしも一致しないこととなる。したがって、特許文献１〜３に記載された手法により作成した肌色モデルを用いたのでは、肌色を誤認識してしまう可能性が高く、その結果、対象画像から精度良く肌色領域を検出できないおそれがある。   The methods described in Patent Documents 1 to 3 create a skin color model for detecting a general skin color using a wide variety of sample images. However, since the target image to be subjected to skin color detection includes various persons and the illumination conditions are also different, the sample image used when creating the skin color model, and the skin color included in the target image Will not necessarily match. Therefore, if the skin color model created by the method described in Patent Documents 1 to 3 is used, there is a high possibility that the skin color is erroneously recognized. is there.

本発明は上記事情に鑑みなされたものであり、対象画像から精度良く肌色領域を検出できる肌色モデルを作成することを目的とする。   The present invention has been made in view of the above circumstances, and an object thereof is to create a skin color model that can accurately detect a skin color region from a target image.

本発明による肌色モデル作成装置は、対象画像から肌色サンプル領域を取得するサンプル取得手段と、
前記肌色サンプル領域から複数の特徴量を抽出する特徴量抽出手段と、
前記複数の特徴量に基づいて、前記対象画像の各画素が肌色であるか否かを判定するための肌色モデルを統計的に作成するモデル作成手段とを備えたことを特徴とするものである。 A skin color model creation device according to the present invention includes a sample acquisition means for acquiring a skin color sample region from a target image,
Feature quantity extraction means for extracting a plurality of feature quantities from the skin color sample area;
Model creation means for statistically creating a skin color model for determining whether or not each pixel of the target image is skin color based on the plurality of feature amounts is provided. .

なお、本発明による肌色モデル作成装置においては、前記モデル作成手段を、前記複数の特徴量の統計的な分布をガウス混合モデルにより近似し、該ガウス混合モデルを用いたＥＭアルゴリズムにより前記肌色モデルを作成する手段としてもよい。   In the skin color model creation device according to the present invention, the model creation means approximates the statistical distribution of the plurality of feature quantities by a Gaussian mixture model, and the skin color model is obtained by an EM algorithm using the Gaussian mixture model. It is good also as a means to create.

また、本発明による肌色モデル作成装置においては、前記対象画像から顔領域を検出する顔検出手段をさらに備えるものとし、
前記サンプル取得手段を、前記顔検出手段が検出した顔領域に含まれる所定範囲の領域を前記肌色サンプル領域として取得する手段としてもよい。 The skin color model creation device according to the present invention further includes a face detection means for detecting a face area from the target image,
The sample acquisition unit may be a unit that acquires, as the skin color sample region, a region in a predetermined range included in the face region detected by the face detection unit.

また、本発明による肌色モデル作成装置においては、前記対象画像から複数の前記顔領域が検出された場合、前記モデル作成手段を、前記顔領域毎に前記肌色モデルを作成する手段としてもよい。   In the skin color model creation device according to the present invention, when a plurality of face areas are detected from the target image, the model creation means may be means for creating the skin color model for each face area.

本発明による肌色モデル作成方法は、対象画像から肌色サンプル領域を取得し、
前記肌色サンプル領域から複数の特徴量を抽出し、
前記複数の特徴量に基づいて、前記対象画像の各画素が肌色であるか否かを判定するための肌色モデルを統計的に作成することを特徴とするものである。 The skin color model creation method according to the present invention acquires a skin color sample region from a target image,
Extracting a plurality of feature quantities from the skin color sample area;
A skin color model for determining whether or not each pixel of the target image is a skin color based on the plurality of feature amounts is statistically created.

なお、本発明による肌色モデル作成方法をコンピュータに実行させるためのプログラムとして提供してもよい。   In addition, you may provide as a program for making a computer perform the skin color model creation method by this invention.

本発明によれば、対象画像から肌色サンプル領域が取得され、肌色サンプル領域から複数の特徴量が抽出される。そして、複数の特徴量に基づいて、対象画像の各画素が肌色であるか否かを判定するための肌色モデルが統計的に作成される。このため、作成された肌色モデルは対象画像に含まれる肌色に適したものとなり、その結果、作成された肌色モデルを用いることにより、対象画像から肌色領域を精度良く検出することができる。   According to the present invention, the skin color sample region is acquired from the target image, and a plurality of feature amounts are extracted from the skin color sample region. Then, based on the plurality of feature amounts, a skin color model for determining whether or not each pixel of the target image has a skin color is statistically created. Therefore, the created skin color model is suitable for the skin color included in the target image. As a result, the skin color region can be detected from the target image with high accuracy by using the created skin color model.

また、対象画像から顔領域を検出し、検出した顔領域に含まれる所定範囲の領域を肌色サンプル領域として取得することにより、肌色モデルを作成するための特徴量を抽出する肌色サンプル領域を自動で取得することができる。   In addition, by detecting a face area from the target image and acquiring a predetermined range area included in the detected face area as a skin color sample area, a skin color sample area for extracting a feature amount for creating a skin color model is automatically obtained. Can be acquired.

また、対象画像から複数の顔領域が検出された場合、顔領域毎すなわち対象画像に含まれる人物毎に肌色モデルを作成することにより、対象画像に含まれるすべての人物についての肌色領域を精度良く検出することができる。   Further, when a plurality of face areas are detected from the target image, a skin color model is created for each face area, that is, for each person included in the target image, so that the skin color areas for all the persons included in the target image are accurately obtained. Can be detected.

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による肌色モデル作成装置を適用した肌色検出装置の構成を示す概略ブロック図である。図１に示すように本実施形態による肌色検出装置１は、肌色領域検出の対象となる対象画像を装置１に入力するための入力部２、対象画像から顔領域を検出する顔検出部３、検出された顔領域から肌色サンプル領域を取得するサンプル取得部４、肌色サンプル領域から複数の特徴量を抽出する特徴量抽出部５、複数の特徴量に基づいて、対象画像の各画素が肌色であるか否かを判定するための肌色モデルを統計的に作成するモデル作成部６、および作成されたモデルを用いて対象画像から肌色領域を検出する検出部７を備える。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a schematic block diagram showing the configuration of a skin color detection device to which a skin color model creation device according to an embodiment of the present invention is applied. As shown in FIG. 1, the skin color detection device 1 according to the present embodiment includes an input unit 2 for inputting a target image to be subjected to skin color region detection to the device 1, a face detection unit 3 for detecting a face region from the target image, A sample acquisition unit 4 that acquires a skin color sample region from the detected face region, a feature amount extraction unit 5 that extracts a plurality of feature amounts from the skin color sample region, and each pixel of the target image has a skin color based on the plurality of feature amounts A model creation unit 6 that statistically creates a skin color model for determining whether or not there is, and a detection unit 7 that detects a skin color region from the target image using the created model are provided.

また肌色検出装置１は、対象画像を含む各種表示を行う液晶等のモニタ８、装置１に各種入力を行うためのキーボードおよびマウス等からなる操作部９、各種情報を記憶するハードディスク等の記憶部１０、各種処理の作業領域となるメモリ１１、並びに装置１の各部を制御するＣＰＵ１２を備える。   Further, the skin color detection device 1 includes a monitor 8 such as a liquid crystal for performing various displays including a target image, an operation unit 9 including a keyboard and a mouse for performing various inputs to the device 1, and a storage unit such as a hard disk for storing various information. 10. A memory 11 serving as a work area for various processes, and a CPU 12 for controlling each unit of the apparatus 1 are provided.

なお、本実施形態においては、対象画像は各画素の画素値がＲＧＢの各色を有するものとする。   In the present embodiment, it is assumed that the target image has each color in which the pixel value of each pixel is RGB.

入力部２は、対象画像が記録された記録メディアから対象画像を読み出したり、ネットワーク経由で対象画像を受信したりする各種インタフェースからなる。   The input unit 2 includes various interfaces that read a target image from a recording medium on which the target image is recorded and receive the target image via a network.

顔検出部３は、対象画像から顔領域を検出する。具体的には、テンプレートマッチングによる手法、顔の多数のサンプル画像を用いてマシンラーニング学習により得られた顔判別器を用いる手法等により、対象画像から顔を囲む矩形の顔領域を検出する。なお、顔を検出する手法はこれに限定されるものではなく、例えば画像における顔の輪郭形状をなす領域を顔として検出する手法等、任意の手法を用いることができる。なお、顔検出部３は、検出した顔領域について、あらかじめ定められたサイズとなるように正規化する。また、顔検出部３は、対象画像に複数の人物が含まれる場合、すべての顔領域を検出する。   The face detection unit 3 detects a face area from the target image. Specifically, a rectangular face region surrounding the face is detected from the target image by a template matching method, a method using a face discriminator obtained by machine learning learning using a large number of sample images of faces. Note that the method for detecting a face is not limited to this, and any method such as a method for detecting an area forming the contour shape of a face in an image as a face can be used. The face detection unit 3 normalizes the detected face area so as to have a predetermined size. Further, the face detection unit 3 detects all face areas when a plurality of persons are included in the target image.

サンプル取得部４は、顔検出部３が検出した顔領域から肌色サンプル領域を取得する。図２は肌色サンプル領域の取得を説明するための対象画像の例を示す図である。図２に示すように対象画像に２名の人物Ｐ１，Ｐ２が含まれる場合、対象画像からは２つの顔領域Ｆ１，Ｆ２が検出される。サンプル取得部４は、顔領域Ｆ１，Ｆ２の中心を対角線の交点とする顔領域Ｆ１，Ｆ２よりも所定量小さい矩形領域を肌色サンプル領域Ｓ１，Ｓ２として取得する。例えば、顔領域Ｆ１，Ｆ２の面積の１／４の面積となる領域を肌色サンプル領域Ｓ１，Ｓ２として取得する。   The sample acquisition unit 4 acquires a skin color sample region from the face region detected by the face detection unit 3. FIG. 2 is a diagram illustrating an example of a target image for explaining acquisition of a skin color sample region. As shown in FIG. 2, when two persons P1 and P2 are included in the target image, two face areas F1 and F2 are detected from the target image. The sample acquisition unit 4 acquires, as skin color sample areas S1 and S2, rectangular areas that are a predetermined amount smaller than the face areas F1 and F2 whose diagonals are the centers of the face areas F1 and F2. For example, an area having an area that is 1/4 of the area of the face areas F1 and F2 is acquired as the skin color sample areas S1 and S2.

なお、サンプル取得部４は、肌色サンプル領域内に目、鼻および口等の顔の構成部品が含まれる場合、これらを肌色サンプル領域から除去するようにしてもよい。   When the skin color sample area includes facial components such as eyes, nose, and mouth, the sample acquisition unit 4 may remove these from the skin color sample area.

特徴量抽出部５は、肌色サンプル領域に含まれる各画素の特徴量を抽出する。ここで、本実施形態においては、各画素の色相(Hue)、彩度(Saturation)、明度(Value)（以下Ｈ，Ｓ，Ｖとする）、エッジ強度および正規化したＲＧＢ値の７個の特徴量を抽出する。なお、複数の肌色サンプル領域が取得された場合は、肌色サンプル領域毎に特徴量を抽出する。   The feature amount extraction unit 5 extracts the feature amount of each pixel included in the skin color sample region. Here, in the present embodiment, seven values of hue (Hue), saturation (Saturation), lightness (Value) (hereinafter referred to as H, S, and V), edge intensity, and normalized RGB value of each pixel are used. Extract features. When a plurality of skin color sample areas are acquired, feature amounts are extracted for each skin color sample area.

色相Ｈ、彩度Ｓおよび明度Ｖのそれぞれの値は下記の式（１）〜（３）により算出する。また、エッジ強度は公知の微分フィルタによるフィルタリング処理を行うことにより算出する。また、正規化したＲＧＢ値Ｒｎ，Ｇｎ，Ｂｎは下記の式（４）〜（６）により算出する。

Figure 2010033220
The values of hue H, saturation S, and brightness V are calculated by the following equations (1) to (3). The edge strength is calculated by performing a filtering process using a known differential filter. The normalized RGB values Rn, Gn, Bn are calculated by the following formulas (4) to (6).
Figure 2010033220

モデル作成部６は、７個の特徴量のそれぞれについて頻度を表す７個のヒストグラムを作成し、７個のヒストグラムを下記の式（７）によりガウス混合モデルにより近似する。なお、対象画像に複数の人物が含まれる場合、ガウス混合モデルは人物毎に求められる。

Figure 2010033220
The model creation unit 6 creates seven histograms representing frequencies for each of the seven feature quantities, and approximates the seven histograms by a Gaussian mixture model using the following equation (7). When a plurality of persons are included in the target image, a Gaussian mixture model is obtained for each person.
Figure 2010033220

なお、ｍは特徴量の数（ここでは７）、μｋは期待値ベクトル、Σｋは共分散行列、πｋは重み係数である。ここで、ｐ（ｘ；μｋ，Σｋ，πｋ）は、期待値ベクトル、共分散行列および重み係数をパラメータとする正規密度分布となる。 Note that m is the number of feature quantities (here 7), μ k is an expected value vector, Σ k is a covariance matrix, and π k is a weighting coefficient. Here, p (x; μ k , Σ k , π k ) is a normal density distribution that uses an expected value vector, a covariance matrix, and a weighting coefficient as parameters.

次いで、モデル作成部６は、ＥＭアルゴリズムを用いて、パラメータである期待値ベクトルμｋ、共分散行列Σｋおよび重み係数πｋを推定する。まず、下記の式（８）に示すように、対数尤度関数Ｌ（ｘ，θ）を設定する。なお、θはパラメータμｋ，Σｋ，πｋである。

Figure 2010033220
Next, the model creation unit 6 estimates an expected value vector μ k , a covariance matrix Σ k, and a weight coefficient π k that are parameters using an EM algorithm. First, as shown in the following equation (8), a log likelihood function L (x, θ) is set. Note that θ is the parameters μ k , Σ k , and π k .
Figure 2010033220

但し、ｎは肌色サンプル領域内の画素数である。 Here, n is the number of pixels in the skin color sample area.

モデル作成部６は、対数尤度関数Ｌ（ｘ，θ）を最大とするパラメータをＥＭアルゴリズムを用いて推定する。ＥＭアルゴリズムは、Ｅステップ（Expectationステップ）およびＭステップ（Maximizationステップ）からなり、まず、Ｅステップにおいて、パラメータを適当な初期値に設定し、下記の式（９）により条件付き期待値Ｅｋｉを算出する。

Figure 2010033220
The model creation unit 6 estimates a parameter that maximizes the log likelihood function L (x, θ) using an EM algorithm. The EM algorithm includes an E step (Expectation step) and an M step (Maximization step). First, in the E step, parameters are set to appropriate initial values, and conditional expected values E k i are expressed by the following equation (9). Is calculated.
Figure 2010033220

次いで、Ｅステップにおいて算出した条件付き期待値Ｅｋｉを用いて、Ｍステップにおいて下記の式（１０）〜（１２）によりパラメータを推定する。

Figure 2010033220
Next, using the conditional expected value E k i calculated in the E step, parameters are estimated by the following equations (10) to (12) in the M step.
Figure 2010033220

以上のＥステップおよびＭステップを繰り返し、Ｌ（ｘ，θ）が最大となるパラメータ、すなわち期待値ベクトルμｋ、共分散行列Σｋおよび重み係数πｋを決定し、決定したパラメータを式（７）に適用することにより、肌色モデルの作成を終了する。このように作成された肌色モデルは、対象画像の各画素の画素値を入力した場合、その画素が肌色であることの確率を出力するものとなる。作成された肌色モデルは記憶部１０に記憶される。なお、対象画像に複数の人物が含まれる場合には、肌色モデルは人物毎に複数作成される。 The above E step and M step are repeated to determine the parameters that maximize L (x, θ), that is, the expected value vector μ k , the covariance matrix Σ k, and the weighting coefficient π k , ) Finishes the creation of the skin color model. When the pixel value of each pixel of the target image is input, the skin color model created in this way outputs the probability that the pixel is skin color. The created skin color model is stored in the storage unit 10. When a plurality of persons are included in the target image, a plurality of skin color models are created for each person.

検出部７は、対象画像の各画素に対して肌色モデルを適用し、各画素について肌色であることの確率を算出する。そして、肌色モデル毎に確率マップを作成し、確率マップに基づいて肌色領域を検出する。なお、検出部７が行う処理の詳細については後述する。   The detection unit 7 applies a skin color model to each pixel of the target image, and calculates the probability of being a skin color for each pixel. Then, a probability map is created for each skin color model, and a skin color region is detected based on the probability map. Details of processing performed by the detection unit 7 will be described later.

次いで、本実施形態において行われる処理について説明する。図３は本実施形態において行われる肌色モデル作成処理のフローチャートである。オペレータが操作部９を操作して、肌色モデルの作成の指示を装置１に対して行うことによりＣＰＵ１２が処理を開始し、入力部２が対象画像を装置１に入力する（ステップＳＴ１）。次いで、顔検出部３が対象画像から顔を検出し（ステップＳＴ２）、サンプル取得部４が検出されたすべての顔から肌色サンプル領域を取得する（ステップＳＴ３）。   Next, processing performed in the present embodiment will be described. FIG. 3 is a flowchart of the skin color model creation process performed in the present embodiment. The operator operates the operation unit 9 to instruct the device 1 to create a skin color model, whereby the CPU 12 starts processing, and the input unit 2 inputs the target image to the device 1 (step ST1). Next, the face detection unit 3 detects a face from the target image (step ST2), and the sample acquisition unit 4 acquires skin color sample regions from all the detected faces (step ST3).

そして、肌色モデル作成の対象を最初の顔に設定し（ステップＳＴ４）、特徴量抽出部５がその顔から取得した肌色サンプル領域から複数の特徴量を抽出する（ステップＳＴ５）。そして、モデル作成部６が、上述したように複数の特徴量に基づいて肌色モデルを作成し（ステップＳＴ６）、作成したモデルを記憶部１０に記憶する（ステップＳＴ７）。次いでＣＰＵ１２はすべての顔について肌色モデルを作成したか否かを判定し（ステップＳＴ８）、ステップＳＴ８が否定されると、肌色モデル作成の対象を次の顔に変更し（ステップＳＴ９）、ステップＳＴ５に戻り、ステップＳＴ５以降の処理を繰り返すよう、特徴量抽出部５およびモデル作成部６を制御する。ステップＳＴ８が肯定されると処理を終了する。   Then, a skin color model creation target is set to the first face (step ST4), and the feature amount extraction unit 5 extracts a plurality of feature amounts from the skin color sample region acquired from the face (step ST5). Then, the model creation unit 6 creates a skin color model based on the plurality of feature amounts as described above (step ST6), and stores the created model in the storage unit 10 (step ST7). Next, the CPU 12 determines whether or not a skin color model has been created for all the faces (step ST8). If step ST8 is negative, the skin color model creation target is changed to the next face (step ST9), and step ST5. Returning to step ST5, the feature quantity extraction unit 5 and the model creation unit 6 are controlled so as to repeat the processes in and after step ST5. If step ST8 is affirmed, the process ends.

次いで、肌色領域の検出について説明する。図４は肌色領域検出処理のフローチャートである。オペレータが操作部９を操作して、肌色領域検出の指示を装置１に対して行うことによりＣＰＵ１２が処理を開始し、検出部７が最初の肌色モデルを記憶部１０から読み出す（ステップＳＴ２１）。そして、対象画像の各画素を肌色モデルに適用して、その肌色モデルについての対象画像の確率マップを作成する（ステップＳＴ２２）。確率マップは、対象画像の各画素の画素値を出した確率により表したものである。   Next, detection of the skin color area will be described. FIG. 4 is a flowchart of the skin color area detection process. The operator operates the operation unit 9 to instruct the device 1 to detect the skin color area, whereby the CPU 12 starts processing, and the detection unit 7 reads the first skin color model from the storage unit 10 (step ST21). Then, each pixel of the target image is applied to the skin color model, and a probability map of the target image for the skin color model is created (step ST22). The probability map is represented by the probability of obtaining the pixel value of each pixel of the target image.

次いでＣＰＵ１２はすべての肌色モデルの確立マップを作成したか否かを判定し（ステップＳＴ２３）、ステップＳＴ２３が否定されると、肌色モデルを次の肌色モデルに変更し（ステップＳＴ２４）、ステップＳＴ２３が肯定されるまでステップＳＴ２２の処理を行う。   Next, the CPU 12 determines whether or not all skin color models have been established (step ST23). If step ST23 is negative, the skin color model is changed to the next skin color model (step ST24). The process of step ST22 is performed until affirmed.

図５は確率マップの作成を説明するための図である。なお、対象画像は図２に示すものを用いるものとする。また、図５においては確率が低くなるほどハッチングを密にして示すものとする。肌色モデルが左側の人物Ｐ１に対応するものである場合、確率マップＭ１においては、左側の人物Ｐ１の確率が大きく、右側の人物Ｐ１の確率は低くなる。一方、肌色モデルが右側の人物Ｐ２に対応するものである場合、確率マップＭ２においては、右側の人物Ｐ２の確率が大きく、左側の人物Ｐ１の確率は低くなる。   FIG. 5 is a diagram for explaining creation of a probability map. Note that the target image shown in FIG. 2 is used. In FIG. 5, the hatching is shown densely as the probability decreases. When the skin color model corresponds to the left person P1, the probability of the left person P1 is high and the probability of the right person P1 is low in the probability map M1. On the other hand, when the skin color model corresponds to the right person P2, the probability of the right person P2 is high and the probability of the left person P1 is low in the probability map M2.

次いで、検出部７は確率マップを統合する（ステップＳＴ２５）。確率マップの統合は、確率マップの互いに対応する画素同士を加算することにより行う。図６は確率マップの統合を説明するための図である。図６に示すように、確率マップＭ１，Ｍ２を統合することにより、左右の人物Ｐ１，Ｐ２の顔の確率が高い統合確率マップＭｔが作成される。   Next, the detection unit 7 integrates the probability maps (step ST25). The integration of probability maps is performed by adding pixels corresponding to each other in the probability map. FIG. 6 is a diagram for explaining integration of probability maps. As shown in FIG. 6, by integrating the probability maps M1 and M2, an integrated probability map Mt having high face probabilities of the left and right persons P1 and P2 is created.

次いで検出部７は、統合確率マップをしきい値Ｔｈ１を用いて二値化処理して、統合確率マップを肌色領域とそれ以外の領域とに分離する（ステップＳＴ２６）。そして、分離した肌色領域および肌色以外の領域における孤立点の除去および穴埋め処理を行うことにより肌色マスクを作成する（ステップＳＴ２７）。孤立点の除去は、肌色領域以外の領域に含まれる所定サイズよりも小さい肌色領域を除去する処理である。穴埋め処理は、肌色領域に含まれる所定サイズよりも小さい肌色以外の領域を除去する処理である。これにより、図７に示すように肌色マスクＭ０が作成される。   Next, the detection unit 7 binarizes the integrated probability map using the threshold value Th1, and separates the integrated probability map into a skin color region and other regions (step ST26). Then, a skin color mask is created by performing isolated point removal and hole filling processing in the separated skin color region and the region other than the skin color (step ST27). The removal of isolated points is a process of removing a skin color area smaller than a predetermined size included in an area other than the skin color area. The hole filling process is a process of removing an area other than the skin color smaller than a predetermined size included in the skin color area. As a result, a skin color mask M0 is created as shown in FIG.

そして、検出部７は、作成した肌色マスクを用いて対象画像から肌色領域を検出し（ステップＳＴ２８）、処理を終了する。   And the detection part 7 detects a skin color area | region from a target image using the created skin color mask (step ST28), and complete | finishes a process.

このように本実施形態においては、対象画像から取得した肌色サンプル領域の特徴量を用いて、対象画像の各画素が肌色であるか否かを判定するための肌色モデルを作成するようにしたため、作成された肌色モデルは対象画像に含まれる肌色に適したものとなる。したがって、作成された肌色モデルを用いることにより、対象画像から肌色領域を精度良く検出することができる。   As described above, in the present embodiment, the skin color model for determining whether each pixel of the target image is the skin color is created using the feature amount of the skin color sample region acquired from the target image. The created skin color model is suitable for the skin color included in the target image. Therefore, by using the created skin color model, the skin color region can be detected from the target image with high accuracy.

また、対象画像から顔領域を検出し、検出した顔領域に含まれる所定範囲の領域を肌色サンプル領域として取得することにより、肌色サンプル領域を自動で取得することができる。   Further, the skin color sample area can be automatically acquired by detecting the face area from the target image and acquiring a predetermined range area included in the detected face area as the skin color sample area.

また、対象画像に複数の人物が含まれる場合、人物毎に肌色モデルを作成することにより、対象画像に含まれるすべての人物についての肌色領域を精度良く検出することができる。   In addition, when a plurality of persons are included in the target image, a skin color model for each person can be created to accurately detect the skin color region for all persons included in the target image.

なお、上記実施形態においては、顔検出部３により対象画像から顔領域を検出しているが、対象画像をモニタ８に表示し、オペレータが操作部９を用いて顔領域を指定するようにしてもよい。   In the above embodiment, the face area is detected from the target image by the face detection unit 3, but the target image is displayed on the monitor 8 and the operator designates the face area using the operation unit 9. Also good.

また、上記実施形態においては、サンプル取得部４により顔領域から肌色サンプル領域を取得しているが、対象画像をモニタ８に表示し、オペレータが操作部９を用いて肌色サンプル領域を指定するようにしてもよい。   In the above embodiment, the skin color sample region is acquired from the face region by the sample acquisition unit 4. However, the target image is displayed on the monitor 8, and the operator specifies the skin color sample region using the operation unit 9. It may be.

また、上記実施形態においては、各画素の色相、彩度、明度、エッジ強度および正規化したＲＧＢ値の７個の特徴量を用いて肌色モデルを作成しているが、特徴量としてはこれに限定されるものではなく、例えば各画素の色相、彩度および明度のみを特徴量として肌色モデルを作成してもよく、上述した７個の特徴量以外の他の特徴量を用いて肌色モデルを作成してもよい。   In the above embodiment, the skin color model is created using seven feature amounts of the hue, saturation, brightness, edge strength, and normalized RGB value of each pixel. For example, a skin color model may be created using only the hue, saturation, and lightness of each pixel as the feature amount, and the skin color model may be generated using feature amounts other than the seven feature amounts described above. You may create it.

また、上記実施形態においては、作成した肌色モデルを用いて対象画像に含まれるすべての肌色領域を検出しているが、肌色モデル毎に肌色領域をラベリングしてもよい。例えば、図２に示す対象画像の場合、図５に示すように左右の人物Ｐ１，Ｐ２毎に確率マップＭ１，Ｍ２が作成されるため、確率マップＭ１，Ｍ２のそれぞれにおいて値が高くなる領域（すなわち値が所定のしきい値以上となる領域）を別個にラベリングするようにしてもよい。図２に示す対象画像の場合、右側の人物Ｐ１の肌色領域および左側の人物Ｐ２の肌色領域がそれぞれ異なるラベリングがなされる。これにより、人物毎に肌色領域を検出することが可能となる。   Moreover, in the said embodiment, although all the skin color area | regions contained in a target image are detected using the created skin color model, you may label a skin color area | region for every skin color model. For example, in the case of the target image shown in FIG. 2, since probability maps M1 and M2 are created for each of the left and right persons P1 and P2 as shown in FIG. That is, the region where the value is equal to or greater than a predetermined threshold value) may be separately labeled. In the case of the target image shown in FIG. 2, the skin color area of the right person P1 and the skin color area of the left person P2 are differently labeled. As a result, it is possible to detect a skin color region for each person.

ここで、確率マップＭ１の場合、肌色モデルは人物Ｐ１の顔領域から取得した肌色サンプル領域を用いて作成されているため、人物Ｐ１の顔領域の確率は大きくなる。しかしながら、顔の肌色と手の肌色とは必ずしも一致しないため、人物Ｐ１の手については顔領域よりも確率は低くなる。このため、同じ肌色モデルを用いた場合であっても、確率が大きい肌色領域と確率が小さい肌色領域とで異なるラベリングを行うようにしてもよい。例えば、確率を複数のしきい値を用いて分類し、分類した確率の区分からなる領域毎に異なるラベリングを行うようにしてもよい。これにより、顔の肌色領域と顔以外の手等の肌色領域とを別個に検出できることとなる。   Here, in the case of the probability map M1, since the skin color model is created using the skin color sample area acquired from the face area of the person P1, the probability of the face area of the person P1 increases. However, since the skin color of the face does not always match the skin color of the hand, the probability of the hand of the person P1 is lower than that of the face region. For this reason, even when the same skin color model is used, different labeling may be performed for a skin color region having a high probability and a skin color region having a low probability. For example, the probabilities may be classified using a plurality of threshold values, and different labeling may be performed for each region including the classified probability categories. As a result, the skin color area of the face and the skin color area of a hand other than the face can be detected separately.

また、同じ肌色であっても、顔領域と手の領域とではサイズが異なるため、肌色領域のサイズに応じて、異なるラベリングを行うようにしてもよい。   Even if the skin color is the same, the face region and the hand region are different in size, so that different labeling may be performed according to the size of the skin color region.

また、顔に対応する肌色であっても、目および口については、顔におけるその他の部分の肌色とは大きく異なる。このため、肌色マスクを用いて肌色領域を検出した後、再度確率マップＭ１，Ｍ２を適用し、検出した肌色領域における確率が小さい領域（例えば確率がしきい値Ｔｈ２以下となる領域）と、それ以外の領域とで異なるラベリングを行うようにしてもよい。これにより、目および口等の顔の構成部品を除いた顔の肌色領域を検出することが可能となる。   Moreover, even if the skin color corresponds to the face, the eyes and mouth are greatly different from the skin color of other parts of the face. For this reason, after detecting the skin color region using the skin color mask, the probability maps M1 and M2 are applied again, and the detected skin color region has a small probability (for example, a region where the probability is equal to or less than the threshold Th2) Different labeling may be performed in other areas. As a result, it is possible to detect the skin color area of the face excluding facial components such as eyes and mouth.

以上、本発明の実施形態に係る装置１について説明したが、コンピュータを、上記の入力部２、顔検出部３、サンプル取得部４、特徴量抽出部５、モデル作成部６および検出部７に対応する手段として機能させ、図３，４に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も本発明の実施形態の１つである。   Although the apparatus 1 according to the embodiment of the present invention has been described above, the computer is connected to the input unit 2, face detection unit 3, sample acquisition unit 4, feature amount extraction unit 5, model creation unit 6, and detection unit 7. A program that functions as a corresponding means and performs processing as shown in FIGS. 3 and 4 is also one embodiment of the present invention. A computer-readable recording medium that records such a program is also one embodiment of the present invention.

本発明の実施形態による肌色モデル検出装置を適用した肌色検出装置の構成を示す概略ブロック図1 is a schematic block diagram showing the configuration of a skin color detection device to which a skin color model detection device according to an embodiment of the invention is applied. 対象画像の例を示す図Diagram showing examples of target images 肌色モデル作成処理のフローチャートFlow chart of skin color model creation process 肌色領域検出処理のフローチャートFlow chart of skin color area detection processing 確率マップの作成を説明するための図Diagram for explaining creation of probability map 確率マップの統合を説明するための図Diagram for explaining integration of probability maps 肌色マスクの作成を説明するための図Figure for explaining creation of skin color mask

符号の説明Explanation of symbols

１ 肌色検出装置
２ 入力部
３ 顔検出部
４ サンプル取得部
５ 特徴量抽出部
６ モデル作成部
７ 検出部 DESCRIPTION OF SYMBOLS 1 Skin color detection apparatus 2 Input part 3 Face detection part 4 Sample acquisition part 5 Feature-value extraction part 6 Model creation part 7 Detection part

Claims (6)

対象画像から肌色サンプル領域を取得するサンプル取得手段と、
前記肌色サンプル領域から複数の特徴量を抽出する特徴量抽出手段と、
前記複数の特徴量に基づいて、前記対象画像の各画素が肌色であるか否かを判定するための肌色モデルを統計的に作成するモデル作成手段とを備えたことを特徴とする肌色モデル作成装置。 Sample acquisition means for acquiring a skin color sample region from the target image;
Feature quantity extraction means for extracting a plurality of feature quantities from the skin color sample area;
A skin color model creation comprising: a model creation means for statistically creating a skin color model for determining whether each pixel of the target image is a skin color based on the plurality of feature amounts apparatus. 前記モデル作成手段は、前記複数の特徴量の統計的な分布をガウス混合モデルにより近似し、該ガウス混合モデルを用いたＥＭアルゴリズムにより前記肌色モデルを作成する手段であることを特徴とする請求項１記載の肌色モデル作成装置。   The model creation means is means for approximating a statistical distribution of the plurality of feature quantities by a Gaussian mixture model and creating the skin color model by an EM algorithm using the Gaussian mixture model. 1. A skin color model creating apparatus according to 1. 前記対象画像から顔領域を検出する顔検出手段をさらに備え、
前記サンプル取得手段は、前記顔検出手段が検出した顔領域に含まれる所定範囲の領域を前記肌色サンプル領域として取得する手段であることを特徴とする請求項１または２記載の肌色モデル作成装置。 A face detecting means for detecting a face area from the target image;
3. The skin color model creating apparatus according to claim 1, wherein the sample acquiring unit is a unit that acquires a predetermined range region included in the face region detected by the face detecting unit as the skin color sample region. 前記対象画像から複数の前記顔領域が検出された場合、前記モデル作成手段は、前記顔領域毎に前記肌色モデルを作成する手段であることを特徴とする請求項３記載の肌色モデル作成装置。   4. The skin color model creating apparatus according to claim 3, wherein when a plurality of face areas are detected from the target image, the model creating means creates the skin color model for each face area. 対象画像から肌色サンプル領域を取得し、
前記肌色サンプル領域から複数の特徴量を抽出し、
前記複数の特徴量に基づいて、前記対象画像の各画素が肌色であるか否かを判定するための肌色モデルを統計的に作成することを特徴とする肌色モデル作成方法。 Get the skin color sample area from the target image,
Extracting a plurality of feature quantities from the skin color sample area;
A skin color model creation method that statistically creates a skin color model for determining whether or not each pixel of the target image is a skin color based on the plurality of feature amounts. 対象画像から肌色サンプル領域を取得する手順と、
前記肌色サンプル領域から複数の特徴量を抽出する手順と、
前記複数の特徴量に基づいて、前記対象画像の各画素が肌色であるか否かを判定するための肌色モデルを統計的に作成する手順とを有することを特徴とする肌色モデル作成方法をコンピュータに実行させるためのプログラム。 The procedure to acquire the skin color sample area from the target image,
A procedure for extracting a plurality of feature amounts from the skin color sample region;
A method of statistically creating a skin color model for determining whether or not each pixel of the target image is a skin color based on the plurality of feature amounts, A program to make it run.
JP2008193151A 2008-07-28 2008-07-28 Skin color model generation device, method, and program Abandoned JP2010033220A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008193151A JP2010033220A (en) 2008-07-28 2008-07-28 Skin color model generation device, method, and program
US12/509,661 US20100021056A1 (en) 2008-07-28 2009-07-27 Skin color model generation device and method, and skin color detection device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008193151A JP2010033220A (en) 2008-07-28 2008-07-28 Skin color model generation device, method, and program

Publications (1)

Publication Number Publication Date
JP2010033220A true JP2010033220A (en) 2010-02-12

Family

ID=41737636

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008193151A Abandoned JP2010033220A (en) 2008-07-28 2008-07-28 Skin color model generation device, method, and program

Country Status (1)

Country Link
JP (1) JP2010033220A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10497103B2 (en) 2015-11-28 2019-12-03 Canon Kabushiki Kaisha Information processing apparatus, information processing system, information processing method, and recording medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003108980A (en) * 2001-09-28 2003-04-11 Mitsubishi Electric Corp Head area extraction device and real-time expression tracing device
JP2005250712A (en) * 2004-03-03 2005-09-15 Univ Waseda Figure attribute identification method and its system
JP2007272435A (en) * 2006-03-30 2007-10-18 Univ Of Electro-Communications Face feature extraction device and face feature extraction method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003108980A (en) * 2001-09-28 2003-04-11 Mitsubishi Electric Corp Head area extraction device and real-time expression tracing device
JP2005250712A (en) * 2004-03-03 2005-09-15 Univ Waseda Figure attribute identification method and its system
JP2007272435A (en) * 2006-03-30 2007-10-18 Univ Of Electro-Communications Face feature extraction device and face feature extraction method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG200500406016; '実環境におけるマシンビジョン適用技術 ベイジアンネットワークに基づく視聴覚情報の統合を用いた画像から' 電気学会論文誌Ｃ Ｖｏｌ．１２４ Ｎｏ．３ , 20040301 *
JPN6012014642; '実環境におけるマシンビジョン適用技術 ベイジアンネットワークに基づく視聴覚情報の統合を用いた画像から' 電気学会論文誌Ｃ Ｖｏｌ．１２４ Ｎｏ．３ , 20040301 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10497103B2 (en) 2015-11-28 2019-12-03 Canon Kabushiki Kaisha Information processing apparatus, information processing system, information processing method, and recording medium

Similar Documents

Publication Publication Date Title
US10438059B2 (en) Image recognition method, image recognition apparatus, and recording medium
US20100021056A1 (en) Skin color model generation device and method, and skin color detection device and method
US7715596B2 (en) Method for controlling photographs of people
US8401250B2 (en) Detecting objects of interest in still images
Gizatdinova et al. Feature-based detection of facial landmarks from neutral and expressive facial images
US20140050391A1 (en) Image segmentation for large-scale fine-grained recognition
US9053537B2 (en) Classifier for use in generating a diffuse image
KR20170006355A (en) Method of motion vector and feature vector based fake face detection and apparatus for the same
JP2009211179A (en) Image processing method, pattern detection method, pattern recognition method, and image processing device
US10395091B2 (en) Image processing apparatus, image processing method, and storage medium identifying cell candidate area
EP2980755A1 (en) Method for partitioning area, and inspection device
CN111539911B (en) Mouth breathing face recognition method, device and storage medium
JP2011053953A (en) Image processing apparatus and program
Wighton et al. A fully automatic random walker segmentation for skin lesions in a supervised setting
CN109934112B (en) Face alignment method and camera
JP2005084980A (en) Data generation unit for card with face image, method and program
JP2019180749A (en) Image processing program, image processing apparatus, and image processing method
CN113436735A (en) Body weight index prediction method, device and storage medium based on face structure measurement
JP4619762B2 (en) Image processing method, apparatus, and program
JP2010176504A (en) Image processor, image processing method, and program
JP2010033221A (en) Skin color detection apparatus, method, and program
JP2006323779A (en) Image processing method and device
KR101408344B1 (en) Apparatus for detecting face
WO2015131710A1 (en) Method and device for positioning human eyes
JP2007026308A (en) Image processing method and image processor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110126

RD15 Notification of revocation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7435

Effective date: 20110418

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120321

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121016

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20121205