JP2016103242A - 画像処理方法、画像処理装置、及びプログラム - Google Patents

画像処理方法、画像処理装置、及びプログラム Download PDF

Info

Publication number
JP2016103242A
JP2016103242A JP2014242444A JP2014242444A JP2016103242A JP 2016103242 A JP2016103242 A JP 2016103242A JP 2014242444 A JP2014242444 A JP 2014242444A JP 2014242444 A JP2014242444 A JP 2014242444A JP 2016103242 A JP2016103242 A JP 2016103242A
Authority
JP
Japan
Prior art keywords
human body
skin
body part
region
skin attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014242444A
Other languages
English (en)
Other versions
JP6486084B2 (ja
Inventor
浩一 馬養
浩一 馬養
優和 真継
優和 真継
俊太 舘
俊太 舘
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to JP2014242444A priority Critical patent/JP6486084B2/ja
Publication of JP2016103242A publication Critical patent/JP2016103242A/ja
Application granted granted Critical
Publication of JP6486084B2 publication Critical patent/JP6486084B2/ja
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00362Recognising human body or animal bodies, e.g. vehicle occupant, pedestrian; Recognising body parts, e.g. hand
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/46Extraction of features or characteristics of the image
    • G06K9/4642Extraction of features or characteristics of the image by performing operations within image blocks or by using histograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/46Extraction of features or characteristics of the image
    • G06K9/4652Extraction of features or characteristics of the image related to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6267Classification techniques
    • G06K9/6285Classification techniques relating to the decision surface
    • G06K9/6286Linear, e.g. hyperplane

Abstract

【課題】 人肌領域を検出する際の誤検出や未検出を低減する。
【解決手段】 本発明の画像処理装置は、人体の肌領域を抽出すべき画像を取得して、その画像から人体パーツの領域を推定する。そして、推定した人体パーツ領域の肌属性を推定するとともに、推定した肌属性に基づいて人体パーツ領域を修正する。そして、推定した人体パーツの肌属性と修正された人体パーツ領域とに基づいて取得した画像から肌領域を抽出する。
【選択図】 図1

Description

本発明は、画像や映像内に存在する人肌領域を抽出するための画像処理方法、画像処理装置、及びプログラムに関する。

従来から、画像内の人肌領域を検出する方法が知られている。非特許文献1には、肌の色情報に基づきGlobal skin probability mapを生成するとともに、顔検出結果を利用して Local skin modelを生成し、これらを統合することで人肌領域の検出する方法が提案されている。

特開2010−271861号

M. Kawulok,J. Kawulok,J. Nalepa,M. Papiez "Skin Detection Using Spatial Analysis With Adaptive Seed," IEEE Conference on Image Processing(ICIP),2013. P. Felzenszwalb,D. McAllester,D. Ramanan,"A Discriminatively Trained,Multiscale,Deformable Part Model," IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2008. N. Dalal,B. Triggs, "Histograms of oriented gradients for human detection," IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2005. M. Andriluka, S. Roth, B. Schiele,"Pictorial Structures Revisited: People Detection and Articulated Pose Estimation," IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2009. L. Breiman,"Random Forests," Machine Learning,Vol. 45,No. 1,pp. 5−32,2001. V. Vapnik,"The Nature of Statistical Learning Theory," Springer−Verlag,New York,1995. Y. Freund,R. E. Schapire,"A decision−theoretic generalization of on−line learning and an application to boosting," Computational Learning Theory: Eurocolt,pp. 23−37,1995.

しかしながら、非特許文献1のように、色情報に基づいて人肌領域を検出する方法では、人肌領域でないが人肌に近い色の領域を人肌と誤検出したり、陰の影響よって人肌が検出できないことがあった。

上記課題を解決するために、本発明は、人体の肌領域を抽出すべき画像を取得する取得手段と、前記取得した画像において人体パーツの領域を推定するパーツ推定手段と、前記推定した人体パーツ領域の肌属性を推定する肌属性推定手段と、前記推定した肌属性に基づいて前記人体パーツ領域を修正するパーツ修正手段と、前記推定した人体パーツの肌属性と前記修正された人体パーツ領域とに基づいて前記取得した画像から肌領域を抽出する肌領域抽出手段と、を有することを特徴とする。

以上の構成によれば、本発明は、人肌領域を検出する際の誤検出や未検出を低減することが可能となる。

第1の実施形態に関わる画像処理装置の概略ブロック図。 第1の実施形態に関わる学習処理を示すフローチャート。 第1の実施形態において肌属性に応じた生成モデルの概念図。 第1の実施形態に関わる検出処理を示すフローチャート。

[第1の実施形態]
以下、図面を参照して本発明の実施形態を詳細に説明する。

本実施形態の説明では、人体部位として頭、胴、左右の上腕(肩−肘)、左右の前腕および手(肘−手の先)、左右の大腿(腰−膝)、左右の下腿および足(膝−足の先)を扱い、各人体部位に対応する外接矩形を人体パーツと称す。また、人体全体を囲む外接矩形をルート人体パーツと称する。

図1は画像処理装置の機能構成を示すブロック図である。図1(A)において、本実施形態の画像処理装置100は、学習部110と検出部120とにより構成されている。学習部110は、学習データ取得部111、パーツ推定器学習部112、パーツ別肌属性処理部113、学習結果出力部116を備えている。また、パーツ別肌属性処理部113は、パーツ別肌属性特徴量抽出部114とパーツ別肌属性識別器学習部115とを含む。

また、検出部120は、検出データ取得部121、パーツ推定部122、肌属性探索・パーツ修正部123、肌領域抽出部124、検出結果出力部125により構成される。

また、図1(B)は、肌属性探索・パーツ修正部123の構成を示すブロック図である。同図に示されるように、肌属性探索・パーツ修正部123は、パーツ領域内肌属性特徴量抽出部126、肌属性仮推定部127、パーツ構成修正部128を含む。

図1に示される画像処理装置の各機能部は、ネットワークまたは各種記録媒体を介して取得したソフトウェア(プログラム)を、CPU、メモリ、ストレージデバイス、入出力装置、バスなどにより構成される計算機にて実行することで実現できる。また、不図示の計算機については、汎用の計算機を用いても良いし、ソフトウェアに最適に設計されたハードウェアを用いても良い。

本実施形態の画像処理装置100による肌領域検出処理の動作は学習部110による学習処理と検出部120による検出処理に大きくは分けられる。この二つの処理は連続して行われる必要はなく、また一度学習処理を実行しておけば、検出処理のみを任意のタイミングで行うことも可能である。図2は、本実施形態における肌領域検出処理のための学習処理を示すフローチャートである。

まず、ステップS201において、学習データ取得部111は、正例画像群、負例画像群、および正例関心領域情報を学習用データとして取得する。正例関心領域情報とは、各正例画像の認識対象となるオブジェクトに関する情報のことである。本実施形態では、正例関心領域情報として、人体パーツの領域に関わる情報として境界矩形情報、また肌色に関わる情報として肌領域マスク情報、さらに肌属性情報とルート人体パーツの矩形情報が正例画像ごとに与えられる。ここで、肌属性とは肌の色の見え方を決定する要素であり、本実施形態では肌種別と照明条件とから構成される。肌種別は黒人、白人、黄色人種の3種別で構成され、照明条件は光源種別と反射強度とから構成される。光源種別には太陽光、蛍光灯、白熱灯、LEDの4種別があり、反射強度には陰なし、薄い影、濃い陰の3種別がある。これらの学習用データは必要に応じて加工され、パーツ推定器学習部112およびパーツ別肌属性特徴量抽出部114に渡される。

ステップS202において、パーツ推定器学習部112は、人体検出にも適用可能なDeformable Parts Modelの手法によりパーツ推定器を学習する(非特許文献2参照)。

非特許文献2の方法では、1つのオブジェクトがツリーモデルの組み合わせで表現され、ツリーのノードがオブジェクトの部分領域をモデル化したもの(パーツモデル)に対応する。各パーツモデルは、識別時にあらかじめ定めた範囲内で位置の変動が許されている。以下、このようなモデルを利用した検出器を以後パーツ検出器と称する。

非特許文献2のモデルはルートモデルとパーツモデルとから成る。ルートモデルは識別対象となるオブジェクト全体をモデル化したものである。パーツモデルは複数の矩形領域から成り、オブジェクトの部分領域をモデル化する。パーツモデルを生成する解像度はルートモデルの2倍の解像度に設定される。特徴量には輝度勾配に基づいて抽出されるHOG特徴(非特許文献3)を利用する。オブジェクトの識別時には、パーツモデルごとに識別スコアを算出し、それらの総計スコアに基づいて識別を行う。スコアの算出には数1式で表される識別関数を利用する。

ただし、数1式の第一項目は、学習によって得られるルートモデルおよびパーツモデルの重みベクトルFと画像から得られた特徴ベクトルφ(H,p)とから計算されるスコアを表す。ルートモデルあるいはパーツモデルの重みベクトルFについては、以後ルートフィルタあるいはパーツフィルタと称する。特徴ベクトルφ(H,p)は、各モデルに対応したスケール画像内の矩形領域においてHOG特徴を走査順に連結して得られる特徴ベクトルである。なお、以降では、ルートモデルに対応する矩形領域をルート矩形領域、パーツモデルに対応する矩形領域をパーツ矩形領域と称する。

特徴ベクトルφ(H,p)において、HはHOG特徴ピラミッドを表す。ここで、pは以下の数2式で構成され、i=0の場合はルート矩形領域、i>0の場合はパーツ矩形領域を表す。

ここで、lはHOG特徴ピラミッドの階層を表すインデクス、(x,y)はパーツ矩形領域pのl上での中心座標である。

数1式の第二項目はパーツモデルの位置変動に関するコスト関数に相当する。コスト関数は、パーツフィルタのルートフィルタに対する相対的な位置関係に基づいて定義されている。ここで、aおよびbは学習によって得られるコスト関数の係数である。x’とy’は定義されるパーツ矩形領域のルート矩形領域に対する正規化した相対位置の変動を表し、以下の数3式で定義される。


ただし、(x,y)はルート境界矩形の中心座標、vはルートモデルの基準中心座標とパーツモデルの基準中心座標との相対的な位置関係を表す2次元ベクトルである。基準中心座標は学習時に隠れ変数として決定される(後述)。sは、pに対応するパーツ矩形領域のサイズである。なお、右辺の分子の第二項目の“2”は、ルートフィルタの座標スケールをパーツフィルタの座標スケールに合致させるための係数である。

学習では数1式を下記の数4式で表現したときのβとzとを求める。


ただし、


である。

ここで、zは学習によって同時に決定されるルートモデルおよびパーツモデルの基準配置(基準中心座標、基準スケール)を表す隠れ変数であり、以下の数7式で表される。

非特許文献2の手法では、ルートモデルの他に10個のパーツモデルを利用するようになっており、ステップS202においても、パーツ推定器学習部112は前述した人体パーツを各パーツモデルに対応させる。パーツ推定器学習部112は、学習データ取得部111より、正例画像群として人体が写った画像、負例画像群として人体が写っていない画像、正例関心領域情報の一部としてルート人体パーツ情報を受取る。そして、パーツ推定器学習部112は、ルート人体パーツに対応するルートモデルと各人体パーツに対応するパーツモデルとから成るパーツ推定器を学習し、学習により生成したパーツ推定器を学習結果出力部116に渡す。

一方、ステップS203において、パーツ別肌属性特徴量抽出部114は、人体パーツを指定するための変数である人体パーツインデクスiを0に初期化する。

次に、ステップS204において、パーツ別肌属性特徴量抽出部114は、人体パーツインデクスiの値を調べ、全ての人体パーツに対する処理が完了したかを判定する。全ての人体パーツに対する処理が完了していない場合はステップS205に進み、処理が完了している場合はステップS211に進む。

ステップS205では、パーツ別肌属性特徴量抽出部114が、肌属性を指定するための変数である肌属性インデクスcを0に初期化する。本実施形態では、肌種別として黒人、白人、黄色人種の3種類、光源種別として太陽光、蛍光灯、白熱灯、LEDの4種類、反射強度として陰なし、薄い影、濃い陰の3種類をとれるようにしている。肌属性情報は、これらの組合せとして表現されるように構成されているため、全インデクス数は36種となる。

ステップS206では、パーツ別肌属性特徴量抽出部114が、肌属性インデクスcの値をチェックし、全ての肌属性について処理が完了したか否かを判定する。処理が完了している場合には、ステップS210に進み、人体パーツインデクスiをインクリメントして、ステップS204に処理を移す。全ての肌属性についての処理が完了していない場合は、処理をステップS207に移す。

ステップS207では、パーツ別肌属性特徴量抽出部114が、学習データ取得部111から受取った正例画像群から正例関心領域情報を参照することで、着目人体パーツ(インデクスi)の着目肌属性(インデクスc)の特徴量を収集する。肌属性特徴量の収集は、パーツ別肌属性特徴量抽出部114が、関心領域情報に含まれる着目人体パーツに対する肌領域マスクを使って肌領域を特定し、肌領域を構成するピクセルごとに色情報を表すRGB値をベクトル化することで行う。

次に、ステップS208では、パーツ別肌属性識別器学習部115が、ステップS207で抽出した肌属性特徴量から着目肌属性(インデクスc)の識別器を肌属性識別器として学習する。図3は、本実施形態において、肌属性に対応して生成される生成モデルの概念図である。本実施形態では、生成モデルに基づいた肌属性識別器を利用するために、下記の数8式に従い、最尤推定により肌種別ごとにガウス分布を生成する。


ただし、cは肌属性インデクス、P(c)は着目人体パーツにおける肌属性cの事前確率、φ は正例関心領域情報として入力された肌属性情報により着目人体パーツに対して肌属性cと与えられた領域から抽出した肌属性特徴量である。また、μとΣはそれぞれ前述の肌属性特徴量の平均および分散共分散である。

そして、ステップS209において、パーツ別肌属性識別器学習部115が肌属性インデクスcをインクリメントし、処理をステップS206に移す。

そして、ステップS211において、学習結果出力部116は、パーツ推定器学習部112から渡されたパーツ推定器とパーツ別肌属性処理部113から渡された肌属性識別器とを、画像処理装置に設けられた不図示の記憶装置(メモリ、HDD等)に格納する。

なお、上記ステップS207における肌属性特徴量の収集はRGB値をベクトル化することで行うものとしたが、肌属性を表現できれば必ずしもRGB値である必要はない。YCbCrやYUVといった他の色空間から得られる値で肌属性特徴量を収集するように構成してもよい。

あるいは、人体パーツ構成を姿勢の観点でグループ分けし、グループごとにモデルを生成するように構成してもよい。この場合、後述の人体パーツ検出時には、生成した各グループモデルと照合して最もスコアの高いモデルを採用するように構成すればよい。

また、パーツ別肌属性処理部113は、人体パーツごとに肌属性識別器を学習するように構成したが、人体パーツごとに分けず、全ての人体パーツに共通した肌属性識別器を学習するように構成してもよい。

次に、検出部120による人肌領域の検出処理について説明する。図4は、本実施形態における肌領域検出処理のための学習処理を示すフローチャートである。

まず、ステップS401において、検出データ取得部121は検出対象画像を取得する。

続いて、ステップS402では、パーツ推定部122が各人体パーツ領域を推定する。この各人体パーツ領域の推定は、パーツ推定器学習部112で生成されたパーツ推定器を用いて非特許文献2の方法で行う。そのため、ここで推定される人体パーツ領域は矩形領域となる。なお、パーツ推定器はパーツ推定器学習部により学習され、画像処理装置に設けられた不図示の記憶装置(メモリ、HDD等)に格納されている。

ステップS403において、肌属性探索・パーツ修正部123は、人体パーツインデクスiを0に初期化する。ここで、人体パーツインデクスとは、パーツ推定部122で推定した各人体パーツを指定するための変数である。

ステップS404では、肌属性探索・パーツ修正部123がパーツインデクスiの値を調べ、全ての人体パーツに対する処理が完了したかを判定する。全ての人体パーツに対する処理が完了していない場合は処理をステップS405に移し、完了している場合は処理をステップS407に移す。

ステップS405では、パーツ領域内肌属性特徴量抽出部126が、現在着目している人体パーツ領域の内側のピクセルごとに学習時と同様の方法で肌属性特徴量を抽出する。

次に、ステップS406において、肌属性仮推定部127が、先のステップS405で抽出した肌属性特徴量から着目人体パーツiの肌属性を仮推定する。本実施形態では、下記の数9式を用いて肌属性の仮推定を行い、肌属性として肌属性インデクスcを推定する。


ここで、cは肌属性インデクス、pは着目人体パーツ(ここではインデクスiを持つものとする)のパーツ境界矩形、jはp内部のピクセルを表すインデクス、Mはp内部の総ピクセル数である。また、P(c)は学習時に計算された着目人体パーツにおける肌属性cの事前確率、φ ijは着目人体パーツi内部のピクセルj上で算出された肌属性特徴量、P(φ ij|c)は肌属性特徴量φ ijの肌属性インデクスcに対する尤度である。

このようにして、本実施形態では、数9式で得られたcを着目人体パーツが属する肌属性とする。ただし、ρ(c)の値があらかじめ定めたしきい値より小さい場合、着目人体パーツには属する肌属性はないものとする。

その後、ステップS409で、パーツ領域内肌属性特徴量抽出部126はパーツインデクスiのインクリメントを行い、処理をステップS404に戻す。

ステップS407では、パーツ構成修正部128が、肌属性仮推定部127により推定した肌属性を利用して各人体パーツの構成の更新を行う。本実施形態では、各人体パーツの構成の更新として、位置、スケール、回転角度の更新を行う。

このステップS407では、パーツ構成修正部128が、まず、人体パーツごとに現在の人体パーツのパーツ矩形領域を基準に、近傍の配置(位置、スケール、回転角度)を探索し、以下の数10式を満たす配置を仮決定する。ただし、本実施形態では、各人体パーツの構成の更新にあたって、構成の探索範囲に制限を加える。位置の探索範囲については、パーツ矩形領域の幅をW、高さをHとしたときに、現在のパーツ矩形領域を左右W/2、上下H/2ずつ拡張した範囲内でのみ探索する。また、スケールの探索範囲については、HOG特徴ピラミッドの現在のスケールに加えて上下2スケールを探索範囲とする。さらに、回転の探索範囲については、現在のパーツ矩形領域の方向を0°としたときに、−180°〜+180°の範囲で30°刻みで探索する。


ここで、cはステップS406において肌属性仮推定部127により推定された肌属性インデクスである。また、φ’ ijは、探索配置における着目人体パーツi内部のピクセルj上で算出された肌属性特徴量である。

次に、パーツ構成修正部128は、パーツ推定部122と同様の方法により各人体パーツの構成を探索、更新する。ただし、識別関数には数11式を用いる。


ここで、第一項目のsigmoid(x)は、以下の数12式で表されるシグモイド関数である。

また、x’θ とy’θ は数10式で仮決定した基準配置に基づいて算出されるパーツフィルタのルートフィルタに対する正規化した相対位置であり、以下の数13式で定義される。


ただし、(xθ,yθ)は数10式で仮決定した回転角度におけるルートフィルタの座標である。また、vθ は(xθ,yθ)と数10式で仮決定したpiの基準中心座標との相対的な位置関係を表す2次元ベクトル、sはpに対応するパーツ矩形領域のサイズである。なお、右辺の分子の第二項目の“α”は、ルートフィルタの座標スケールをパーツフィルタの座標スケールに合致させるための係数である。第二項目のρ’(c)は数10式のρ’(c)と同じであり、nは人体パーツの総数である。cは、ステップS406において肌属性仮推定部127により仮推定された肌属性インデクスである。また、wとwは以下の数14式を満たす重み配分係数である。


すなわち、数11式では、肌属性を考慮しないスコア(第一項)と肌属性を考慮したスコア(第二項)との正規化重み付き和を計算することになる。この式では、肌属性の合致度に応じてスコアがかさ上げされる。肌属性の影響がないか、あるいは肌属性の影響が小さい場合には非特許文献2と同様にHOG特徴に基づいてスコアを算出することになる。

ステップS408において、パーツ構成修正部128は、ステップS407で修正された今回の配置と前回の配置とを比較する。本実施形態では、座標スケールを一致させて各パーツ境界矩形の中心位置のずれについての総和を算出し、総和がしきい値未満であれば収束したものとみなす。そして、パーツ構成修正部128により、人体パーツ構成の修正が収束したと判断した場合(ステップS408でNo)には、処理をステップS410に移し、収束していない場合には処理をステップS404に戻す。

上記の処理によりパーツ構成の修正が完了すると、次にステップS410に進み、肌領域抽出部124が肌領域を抽出する。本実施形態では、各人体パーツのパーツ矩形領域内部の各画素jについて、以下の数15式を満たす画素j’を肌領域に属する画素として抽出する。


その後、ステップS411で、検出結果出力部125が検出結果を出力する。本実施形態では、検出結果として人体パーツごとに、肌領域、肌属性、パーツ矩形領域を出力する。

以上のように、本実施形態では、まず人体パーツ領域を推定し(S402)、その後、推定した人体パーツ領域内の肌属性特徴量を抽出し、肌属性を推定する(S406、S407)。そして、推定した肌属性に基づいて人体パーツ構成を修正、更新する(S407)。人体パーツ構成の修正、更新が収束していると判断されるまで、人体パーツ領域ごとの肌属性推定と、肌属性に基づく人体パーツ構成の更新とが複数回繰り返し行われ、以上の処理が完了した後、肌領域の抽出が行われる。そのため、本実施形態では、精度良く人体パーツ構成が推定された状態で肌領域が抽出できるようになり、人肌領域を検出する際の誤検出や未検出が低減され、人肌領域の検出精度が向上する。

また、本実施形態では、肌種別、光源種別、反射強度の各要素から成る肌属性ごとに学習した肌属性識別器を利用して、肌領域を抽出するように構成している。これにより、例えば、人体パーツごとに照明条件(光源種別、反射強度)が異なるような画像においても、高精度に肌領域を検出することができる。

また、上記説明では、パーツ構成修正部128による探索範囲を一律に定めたが、人体パーツごとに別々に探索範囲を定めるようにしてもよい。例えば、足に関する人体パーツについては回転の探索範囲を−90°〜+90°に制限するように構成することも可能である。

また、パーツ推定器学習部112が正例関心領域情報として入力された人体パーツ情報から人体モデルを作成し、パーツ推定部122は人体モデルにおける各人体パーツ位置の存在確率が最も高い場所を各パーツ検出時の初期位置とすることもできる。

また、上記説明では、各パーツ境界矩形の中心位置のずれについての総和を算出し、総和がしきい値未満であれば収束したものとみなして、次工程に進むようにしているが、これを別の構成としてもよい。たとえば、人体パーツ領域ごとの肌属性推定と、肌属性に基づく人体パーツ構成の更新とを予め定めた所定回数を行った時点で、収束したものとして次工程に進むようにしてもよい。

また、パーツ推定部122もしくは肌属性探索・パーツ修正部123は、顔検出処理を行い、顔検出結果を利用して人体パーツ領域の推定、更新を行うように構成してもよい。本実施形態の場合、たとえば顔領域に対応する人体パーツ領域を固定するとともに、その人体パーツ領域のインデクスをfとして、数4式もしくは数11式におけるF・φ(H,p)で得られるスコアを固定する。そして、パーツモデルfの位置変動に関するコスト関数値を0にする。顔検出処理については、たとえば特許文献1に記載の方法を利用することができる。

あるいは、顔検出処理において顔の肌属性を推定するようにし、パーツ修正部123が探索する肌属性インデクスcの値を制限するように構成してもよい。たとえば、顔検出の結果「黄色人種」と推定された場合は、黄色人種に属するインデクスcのみを探索対象にすればよい。

また、パーツ修正部123は、信頼できる人体パーツ構成を固定するように構成してもよい。たとえば、ステップS407において数11式により各人体パーツの構成を探索、更新する前に、以下の数16式を満たす人体パーツiを信頼できる人体パーツとして選択する。


ただし、thはしきい値である。

そして、信頼できる人体パーツを選択したら、信頼できる人体パーツ領域を固定するとともに、その人体パーツ領域のインデクスをkとして、数11式におけるF・φ(H,p)で得られるスコアを固定する。また、信頼できる人体領域パーツモデルkの位置変動に関するコスト関数値を0にすればよい。

あるいは、検出データ取得部121が肌属性に係る情報も取得することで、パーツ修正部123において探索する肌属性インデクスcの値を制限するように構成してもよい。たとえば、ユーザが「黄色人種」として、その肌属性の情報を検出データ取得部121が取得することにより、パーツ修正部123は黄色人種に属するインデクスcのみを探索対象にすればよい。

[第2の実施形態]
以下、本発明の第2の実施形態について説明する。第2の実施形態として、識別モデルに基づいた肌属性識別器を利用して肌領域を抽出する方法について説明する。なお、第1の実施形態で既に説明した構成については同一の符号を付し、その説明を省略する。

本実施形態では、識別モデルとしてRandom Forestsを利用する方法について説明する。なお、Random Forestsについては、非特許文献5に記載されている。

本実施形態においても、学習部110による学習処理は、第1の実施形態と同様に図2に示されるフローチャートに従って実行される。処理の内容が第1の実施形態と異なるのは、ステップS207における肌属性特徴量の収集、およびステップS208における肌属性識別器の学習である。

本実施形態では、ステップS207において、パーツ別肌属性特徴量抽出部114が、着目人体パーツ(インデクスi)について着目肌属性(インデクスc)の肌属性特徴量を収集する。これは、パーツ別肌属性特徴量抽出部114が、学習データ取得部111から渡された正例画像群から正例関心領域情報を参照することにより行う。

まず、パーツ別肌属性特徴量抽出部114は、正例画像群から正例用肌属性特徴量を抽出する。その際、パーツ別肌属性特徴量抽出部114は、正例関心領域情報に含まれる着目人体パーツに対する肌領域マスクを使って肌領域を特定する。本実施形態では、正例用肌属性特徴量として、特定した肌領域を構成するピクセルごとに色空間情報であるR、G、B、Y、U、V、Cb、Cr、H、S、Vの各値を抽出する。

次に、パーツ別肌属性特徴量抽出部114は、インデクスc負例画像群から負例用肌属性特徴量を抽出する。インデクスc負例画像群とは、学習データ取得部111から渡された負例画像群と正例画像群中のインデクスがc以外の画像のことである。本実施形態では、パーツ別肌属性特徴量抽出部114は、インデクスc負例画像群からランダムに画像を選択し、選択した画像からランダムにピクセルを選択して色空間情報であるR、G、B、Y、U、V、Cb、Cr、H、S、Vの各値を抽出する。

続いて、ステップS208において、パーツ別肌属性識別器学習部115は、ステップS207で収集した肌属性特徴量から着目肌属性(インデクスc)の識別器を肌属性識別器として学習する。本実施形態では、ステップS207で収集した正例用肌属性特徴量と負例用肌属性特徴量とからRandom Forestsを生成する。説明変数にはR、G、B、Y、U、V、Cb、Cr、H、S、Vの各値を用いる。なお、本実施形態では、決定木の本数Tの値、およびノードの深さDについては事前の予備実験により定める。

次に、本実施形態における検出部120による検出処理について説明する。本実施形態の識別処理も、第1の実施形態と同様に、図4に示すフローチャートに従って実行される。以下、第1の実施形態と処理の内容が異なる工程について説明を行う。

本実施形態では、ステップS405では、パーツ領域内肌属性特徴量抽出部126が、現在着目している人体パーツ領域の内側のピクセルごとに学習時と同様の方法で肌属性特徴量を抽出する。本実施形態では、パーツ領域内肌属性特徴量抽出部126は、ピクセルごとにR、G、B、Y、U、V、Cb、Cr、H、S、Vの各値を抽出する。

続いて、ステップS406において、肌属性仮推定部127は、ステップS405により抽出した肌属性特徴量から着目人体パーツiの肌属性を仮推定する。本実施形態では、各肌属性特徴量を肌属性ごとにT本の決定木に入力し、肌属性ごとの出力平均値を算出する。そして、最も大きい出力平均値をE maxとして、E maxとなる肌属性cを着目人体パーツが属する肌属性とする。ただし、最も大きい出力平均値があらかじめ定めたしきい値より小さい場合、着目人体パーツには属する肌属性はないものとする。

ステップS407において、パーツ構成修正部128は、肌属性仮推定部127が推定した肌属性を利用して各人体パーツの構成の更新を行う。本実施形態においても、パーツ構成修正部128は、人体パーツ構成の更新として位置、スケール、回転角度の更新を行う。パーツ構成修正部128は、まず、人体パーツごとに現在の人体パーツのパーツ矩形領域を基準に、近傍の配置(位置、スケール、回転角度)を探索し、下記の数17式を満たす配置を仮決定する。ただし、各人体パーツの構成の更新にあたって、人体パーツ構成の探索範囲に制限を加える。位置の探索範囲についてはパーツ矩形領域の幅をW、高さをHとしたときに、現在のパーツ矩形領域を左右W/2、上下H/2ずつ拡張した範囲内でのみ探索する。また、スケールの探索範囲についてはHOG特徴ピラミッドの現在のスケールに加えて上下2スケールを探索範囲とする。さらに、回転の探索範囲については現在のパーツ矩形領域の方向を0°としたときに、−180°〜+180°の範囲で30°刻みで探索する。


ここで、cはステップS406において肌属性仮推定部127が推定した肌属性インデクスである。

次に、パーツ推定部122と同様の方法により各人体パーツの構成を探索、更新する。ただし、識別関数には第1の実施形態と同様に数11式を用いる。

上記の処理により人体パーツ構成の更新が完了すると、次にステップS410で、肌領域抽出部124が肌領域を抽出する。本実施形態において、肌領域抽出部124は、各人体パーツのパーツ矩形領域内部の各画素jについて、以下の数18式を満たす画素j’を肌領域に属する画素として抽出する。

以下、ステップS411については、第1の実施形態と同様に、検出結果出力部125が検出結果を出力する。

本実施形態では識別モデルとして Random Forests を利用するように構成したが、他の識別モデルを利用してもよい。他の識別モデルとしては、たとえばSVM(非特許文献6)やAdaBoost(非特許文献7)を利用することができる。

以上のように、本実施形態においても、人体パーツ構成の修正、更新が収束していると判断されるまで、人体パーツ領域ごとの肌属性推定と、肌属性に基づく人体パーツ構成の更新が交互に行われ、以上の処理が完了した後、肌領域の抽出が行われる。そのため、本実施形態では、精度良く人体パーツ構成が推定された状態で肌領域が抽出できるようになり、人肌領域を検出する際の誤検出や未検出が低減され、人肌領域の検出精度が向上する。

また、本発明は、上記実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、1つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形(各実施例の有機的な組合せを含む)が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。

100 画像処理装置
110 学習部
111 学習データ取得部
112 パーツ推定器学習部
113 パーツ別肌属性処理部
114 別肌属性特徴量抽出部
115 パーツ別肌属性識別器学習部
116 学習結果出力部
120 検出部
121 検出データ取得部
122 パーツ推定部
123 肌属性探索・パーツ修正部
124 肌領域抽出部
125 検出結果出力部
126 パーツ領域内肌属性特徴量抽出部
127 肌属性仮推定部
128 パーツ構成修正部

Claims (20)

  1. 人体の肌領域を抽出すべき画像を取得する取得手段と、
    前記取得した画像において人体パーツの領域を推定するパーツ推定手段と、
    前記推定した人体パーツ領域の肌属性を推定する肌属性推定手段と、
    前記推定した肌属性に基づいて前記人体パーツ領域を修正するパーツ修正手段と、
    前記推定した人体パーツの肌属性と前記修正された人体パーツ領域とに基づいて前記取得した画像から肌領域を抽出する肌領域抽出手段と、
    を有することを特徴とする画像処理装置。
  2. 前記肌属性推定手段による前記人体パーツ領域の肌属性の推定と、前記パーツ修正手段による前記人体パーツ領域の修正とを複数回繰り返すことを特徴とする請求項1に記載の画像処理装置。
  3. 前記パーツ修正手段は、前記人体パーツ領域を修正する前と修正した後の前記人体パーツ領域の位置のずれを所定の値と比較し、
    前記位置のずれが前記所定の値よりも小さくなるまで、前記肌属性推定手段による前記人体パーツ領域の肌属性の推定と、前記パーツ修正手段による前記人体パーツ領域の修正とを繰り返すことを特徴とする請求項2に記載の画像処理装置。
  4. 前記人体パーツ領域の肌属性に関わる特徴量を抽出する特徴量抽出手段を更に有し、
    前記肌属性推定手段は、前記抽出された特徴量に基づいて前記人体パーツ領域の肌属性を推定することを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
  5. 前記取得手段は更に、前記抽出すべき肌領域に関わる情報を取得し、
    前記肌属性推定手段は、前記取得した情報に基づいて前記人体パーツ領域の肌属性を推定することを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
  6. 前記パーツ推定手段は、前記画像の輝度勾配に基づいて人体パーツ領域を推定することを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。
  7. 前記パーツ修正手段は、前記人体パーツ領域の位置、領域の範囲、サイズ、スケールの少なくとも1つを修正することを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。
  8. 前記パーツ推定手段は、前記取得した画像より顔領域を検出し、当該検出された顔領域に基づいて前記人体パーツ領域を推定することを特徴とする請求項1から7のいずれか1項に記載の画像処理装置。
  9. 前記パーツ修正手段は、前記検出された顔領域に基づいて前記人体パーツ領域を修正することを特徴とする請求項8に記載の画像処理装置。
  10. 前記抽出した肌領域を検出結果として出力する出力手段を更に有することを特徴とする請求項1から9のいずれか1項に記載の画像処理装置。
  11. 前記肌属性は、肌種別、光源種別、反射強度の少なくとも1つを含むことを特徴とする請求項1から10のいずれか1項に記載の画像処理装置。
  12. 正例画像と負例画像とを含む画像群と正例画像に関する関心領域情報とを取得する学習データ取得手段と、
    前記取得した画像群と前記関心領域情報とに基づいて人体パーツの領域を推定するためのパーツ推定器を学習する推定器学習手段と、
    前記取得した画像群と前記関心領域情報とに基づいて人体パーツ領域の肌属性を推定するための肌属性識別器を学習する識別器学習手段とを更に有し、
    前記パーツ推定手段は、前記パーツ推定器に基づいて、取得した肌領域を抽出すべき画像における人体パーツの領域を推定し、
    前記肌属性推定手段は、前記肌属性識別器に基づいて、取得した肌領域を抽出すべき画像から人体パーツ領域の肌属性を推定することを特徴とする請求項1から11のいずれか1項に記載の画像処理装置。
  13. 前記関心領域情報は、前記人体パーツ領域の範囲、肌色、肌属性の少なくとも1つに関わる情報を含むことを特徴とする請求項12に記載の画像処理装置。
  14. 前記識別器学習手段は、人体パーツの位置関係をモデル化した人体モデルをさらに学習し、
    前記パーツ修正手段は、前記人体モデルに基づいて人体パーツ領域を修正することを特徴とする請求項12または13に記載の画像処理装置。
  15. 前記識別器学習手段は、生成モデルに基づいて肌属性識別器を生成することを特徴とする請求項12から14のいずれか1項に記載の画像処理装置。
  16. 前記識別器学習手段は、識別モデルに基づいて肌属性識別器を生成することを特徴とする請求項12から14のいずれか1項に記載の画像処理装置。
  17. 前記推定器学習手段は、前記画像群における輝度勾配に基づいて前記パーツ推定器を学習することを特徴とする請求項12から16のいずれか1項に記載の画像処理装置。
  18. 前記識別器学習手段は、前記取得した画像群の色情報に基づいて人体パーツ領域の肌属性を推定するための肌属性識別器を学習することを特徴とする請求項12から17のいずれか1項に記載の画像処理装置。
  19. 画像処理装置によって実行される画像処理方法であって、
    人体の肌領域を抽出すべき画像を取得する取得ステップと、
    前記取得した画像において人体パーツの領域を推定するパーツ推定ステップと、
    前記推定した人体パーツ領域の肌属性を推定する肌属性推定ステップと、
    前記推定した肌属性に基づいて前記人体パーツ領域を修正するパーツ修正ステップと、
    前記推定した人体パーツの肌属性と前記修正された人体パーツ領域とに基づいて前記取得した画像から肌領域を抽出する肌領域抽出ステップと、
    を有することを特徴とする画像処理方法。
  20. コンピュータを、請求項1から18のいずれか1項に記載の画像処理装置として機能させるためのプログラム。
JP2014242444A 2014-11-28 2014-11-28 画像処理方法、画像処理装置、及びプログラム Active JP6486084B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014242444A JP6486084B2 (ja) 2014-11-28 2014-11-28 画像処理方法、画像処理装置、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014242444A JP6486084B2 (ja) 2014-11-28 2014-11-28 画像処理方法、画像処理装置、及びプログラム
US14/946,613 US10068321B2 (en) 2014-11-28 2015-11-19 Image processing method, image processing apparatus, and recording medium

Publications (2)

Publication Number Publication Date
JP2016103242A true JP2016103242A (ja) 2016-06-02
JP6486084B2 JP6486084B2 (ja) 2019-03-20

Family

ID=56079388

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014242444A Active JP6486084B2 (ja) 2014-11-28 2014-11-28 画像処理方法、画像処理装置、及びプログラム

Country Status (2)

Country Link
US (1) US10068321B2 (ja)
JP (1) JP6486084B2 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005283801A (ja) * 2004-03-29 2005-10-13 Fuji Photo Film Co Ltd プリント装置、プリント方法およびそのプログラム
JP2006350578A (ja) * 2005-06-14 2006-12-28 Fuji Xerox Co Ltd 画像分析装置
JP2007052609A (ja) * 2005-08-17 2007-03-01 Sony Corp 手領域検出装置及び手領域検出方法、並びにプログラム
JP2007094840A (ja) * 2005-09-29 2007-04-12 Fujifilm Corp 画像処理装置、及び画像処理方法
JP2010176531A (ja) * 2009-01-30 2010-08-12 Secom Co Ltd 画像監視装置
US20100278426A1 (en) * 2007-12-14 2010-11-04 Robinson Piramuthu Systems and methods for rule-based segmentation for objects with full or partial frontal view in color images
US20110206254A1 (en) * 2010-02-22 2011-08-25 Canfield Scientific, Incorporated Reflectance imaging and analysis for evaluating tissue pigmentation
US20140204193A1 (en) * 2013-01-18 2014-07-24 Carnegie Mellon University Driver gaze detection system
JP2014182749A (ja) * 2013-03-21 2014-09-29 Fujitsu Ltd 信号処理装置、信号処理方法、及び信号処理プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7212665B2 (en) * 2004-11-05 2007-05-01 Honda Motor Co. Human pose estimation with data driven belief propagation
JP5241606B2 (ja) 2009-05-20 2013-07-17 キヤノン株式会社 オブジェクト識別装置及びオブジェクト識別方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005283801A (ja) * 2004-03-29 2005-10-13 Fuji Photo Film Co Ltd プリント装置、プリント方法およびそのプログラム
JP2006350578A (ja) * 2005-06-14 2006-12-28 Fuji Xerox Co Ltd 画像分析装置
JP2007052609A (ja) * 2005-08-17 2007-03-01 Sony Corp 手領域検出装置及び手領域検出方法、並びにプログラム
JP2007094840A (ja) * 2005-09-29 2007-04-12 Fujifilm Corp 画像処理装置、及び画像処理方法
US20100278426A1 (en) * 2007-12-14 2010-11-04 Robinson Piramuthu Systems and methods for rule-based segmentation for objects with full or partial frontal view in color images
JP2010176531A (ja) * 2009-01-30 2010-08-12 Secom Co Ltd 画像監視装置
US20110206254A1 (en) * 2010-02-22 2011-08-25 Canfield Scientific, Incorporated Reflectance imaging and analysis for evaluating tissue pigmentation
US20140204193A1 (en) * 2013-01-18 2014-07-24 Carnegie Mellon University Driver gaze detection system
JP2014182749A (ja) * 2013-03-21 2014-09-29 Fujitsu Ltd 信号処理装置、信号処理方法、及び信号処理プログラム

Also Published As

Publication number Publication date
US20160154995A1 (en) 2016-06-02
JP6486084B2 (ja) 2019-03-20
US10068321B2 (en) 2018-09-04

Similar Documents

Publication Publication Date Title
Sun et al. Deep convolutional network cascade for facial point detection
Cristinacce et al. Boosted regression active shape models.
Yi et al. Text string detection from natural scenes by structure-based partition and grouping
Jia et al. Visual tracking via adaptive structural local sparse appearance model
US7912253B2 (en) Object recognition method and apparatus therefor
JP4318465B2 (ja) 人物検出装置および人物検出方法
JP4709723B2 (ja) 姿勢推定装置及びその方法
Tan et al. Towards online iris and periocular recognition under relaxed imaging constraints
JP4284288B2 (ja) パターン認識装置及びその方法
Soomro et al. Action recognition in realistic sports videos
JP2008192131A (ja) 特徴レベル・セグメンテーションを実行するシステムおよび方法
US8620024B2 (en) System and method for dynamic gesture recognition using geometric classification
Yao et al. Scene text detection via holistic, multi-channel prediction
JP4216668B2 (ja) 映像視覚情報を結合してリアルタイムで複数の顔を検出して追跡する顔検出・追跡システム及びその方法
JP2008146539A (ja) 顔認証装置
JP4332649B2 (ja) 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
US8781221B2 (en) Hand gesture recognition system
JP2008310796A (ja) コンピュータにより実施される、訓練データから分類器を構築し、前記分類器を用いてテストデータ中の移動物体を検出する方法
Hu et al. Wordsup: Exploiting word annotations for character based text detection
JP5657113B2 (ja) 映像内のオブジェクトの意味解析
US7995805B2 (en) Image matching apparatus, image matching method, computer program and computer-readable storage medium
US8406470B2 (en) Object detection in depth images
Liu et al. Matching-cnn meets knn: Quasi-parametric human parsing
KR20050081850A (ko) 얼굴 식별 장치, 얼굴 식별 방법 및 얼굴 식별 프로그램
JP2007317062A (ja) 人物認識装置及びその方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181030

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190219

R151 Written notification of patent or utility model registration

Ref document number: 6486084

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151