JP2006285468A - 画像対象領域抽出装置及び画像対象領域抽出方法 - Google Patents
画像対象領域抽出装置及び画像対象領域抽出方法 Download PDFInfo
- Publication number
- JP2006285468A JP2006285468A JP2005102563A JP2005102563A JP2006285468A JP 2006285468 A JP2006285468 A JP 2006285468A JP 2005102563 A JP2005102563 A JP 2005102563A JP 2005102563 A JP2005102563 A JP 2005102563A JP 2006285468 A JP2006285468 A JP 2006285468A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- color
- image
- area
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
【課題】 外部的な基準を必要とせず、撮影環境が変化した場合であっても画像上の対象領域を安定して抽出可能な画像対象領域抽出装置等を提供すること。
【解決手段】 RGB表色系のカラー画像に基づいて、肌色強調のためのRGR表色系のカラー画像及びRRB表色系のカラー画像を生成し、これらをL*a*b*表色系に変換し、自己組織化マップ(SOM)を用いて自己写像することにより肌色候補領域を抽出する。抽出された当該肌色候補領域をガボール変換した顔候補画像から顔部品(目・鼻・口等)の有無を検出することにより顔領域を特定する。
【選択図】 図2
【解決手段】 RGB表色系のカラー画像に基づいて、肌色強調のためのRGR表色系のカラー画像及びRRB表色系のカラー画像を生成し、これらをL*a*b*表色系に変換し、自己組織化マップ(SOM)を用いて自己写像することにより肌色候補領域を抽出する。抽出された当該肌色候補領域をガボール変換した顔候補画像から顔部品(目・鼻・口等)の有無を検出することにより顔領域を特定する。
【選択図】 図2
Description
本発明は、例えば一般的なシーン下で得られる画像から自己組織化マップ(Self-Organizing Map:以下、「SOM」とも称する。)を用いて顔パターンを抽出する方法であり、RGB表色系のカラー画像中のR成分を強調することにより、様々な負荷(体調や感情等)や環境等により変化する肌色に柔軟に対応可能な手法に関する。
近年、画像中の人物の情報を自動的に認識することにより、手話(ジェスチャ)の解析、表情解析、顔画像による個人認証等を行う研究が様々な分野で行われている。人物の認識は、その要求レベルと具現化の技術によって概ね3段階に分類できる。第1段階は人物の抽出であり、画像中に人物が含まれるかどうかを判定し、その動作を追跡するような機能レベルである。この機能は、監視カメラによるセキュリティ等に活用されている。第2段階は人物の分別であり、画像中に人物が含まれるかどうかを判定し、さらに、個々の人物を分別して判定する機能レベルである。この機能は、顔画像を用いた個人認証による入退室管理等のセキュリティに活用されている。第3段階は表情の理解であり、画像中の人物を認識し、個人の特定を行い、さらに、個人の状態の認識を行う機能レベルである。この機能は、視線入力やより複雑な表情の理解等がある。
第1段階、第2段階、第3段階のすべてに関する技術として、人の肌領域(特に、顔領域)の抽出がある。人の肌領域の抽出は、手話(ジェスチャ)の認識、表情解析、顔画像による個人認証等の様々な分野で活用されている。さらに、人は顔色を見ることでその人の体調をある程度予測することができ、皮膚科などの医療現場では医師による目視診断が重要である。
一般に、肌の色は、肌の中に含まれるメラニンの濃度,毛細血管中のヘモグロビンの濃度,そして全ヘモグロビンの割合である酸素飽和度によってほぼ決定されると言われている。しかし、人間の肌色はその人の体調や感情などに強く依存し、短時間でもその状態が大きく変化する。また、取得した画像の環境による変化(屋内外、照明光源や背景領域の相違等)や時節による変化(日照時間による明るさの相違等)によっても肌の色は大きく変化する。
したがって、一般的なシーン下から安定して肌色領域(顔領域)を抽出することは困難である。従来においては、例えば、肌の色が分布する色範囲の閾値を予め設定しておき比較する手法(例えば、特許文献1参照)、人物が不在である画像データ等に基づいて予め背景領域を設定しておき、それと比較することにより人物(肌色領域)を見出す手法(例えば、特許文献2参照)、赤外線カメラを用いて人物が発する熱を検出する手法(例えば、特許文献3参照)、ニューラルネットワーク、遺伝的アルゴリズム(GA)を用いて人物(肌色領域)を見出す手法等が提案されている。
しかしながら、従来の肌色領域抽出手法は、撮影環境が変化すると対応できないか、外部的な基準による判断が必要とされる。従って、その精度、適用範囲には限界があり、未だ実用性に乏しいものと言える。
なお、本願に関連する公知文献としては、例えば次のようなものがある。
特開平12−187721号公報
特開2001−211436号公報
特開2003−6642号公報
本発明は、上記事情を鑑みてなされたもので、外部的な基準を必要とせず、撮影環境が変化した場合であっても画像上の対象領域を安定して抽出可能な画像対象領域抽出装置、及び画像対象領域抽出方法を提供することを目的としている。
本発明は、上記目的を達成するため、次のような手段を講じている。
本発明の第1の視点は、所定の色領域を少なくとも一つ含み複数の画素から構成される第1の画像データを用いた自己写像により対象領域を抽出する画像対象領域抽出装置であって、前記第1の画像データを記憶する記憶手段と、前記第1の画像データの色成分を置換することで、前記所定の色領域を強調する少なくとも一つの第2の画像データを生成する画像データ生成手段と、前記第1の画像データを用いて前記自己写像の入力とする第3の画像データを生成し、前記第2の画像データを用いて前記自己写像の入力とする第4の画像データを生成する入力データ生成手段と、前記第3の画像データを構成する各画素の値及び前記少なくとも一つの第4の画像データを構成する各画素の値を入力とし、所定の重み係数によって色情報を各画像データの特性として自己写像し複数のマップ層ユニットに出力することで、入力した前記各画素を、色情報を基準として分類する自己写像手段と、前記所定の重み係数に基づいて、前記複数の出力ユニットの中から勝者ユニットを選択する選択手段と、選択された前記勝者ユニットに分類された画素に基づいて、前記第1の画像データにおける少なくとも一つの前記所定の色領域を前記対象領域として抽出する抽出手段と、を具備することを特徴とする画像対象領域抽出装置である。
本発明の第2の視点は、顔領域を含む肌色領域を少なくとも一つ含み複数の画素から構成されるRGB表色系の第1の画像データを用いた自己写像により、対象領域としての前記顔領域を抽出する画像対象領域抽出装置であって、前記第1の画像データを記憶する記憶手段と、前記第1の画像データの色成分を置換することで、前記肌色領域を強調する少なくとも一つの第2の画像データを生成する画像データ生成手段と、前記第1の画像データ及び前記第2の画像データをL*a*b*表色系に変換することで、第3の画像データ及び第4の画像データを生成する入力データ生成手段と、前記第3の画像データを構成する各画素の値及び前記少なくとも一つの第4の画像データを構成する各画素の値を入力とし、所定の重み係数によって色情報を各画像データの特性として自己写像し複数のマップ層ユニットに出力することで、入力した前記各画素を、色情報を基準として分類する自己写像手段と、前記所定の重み係数に基づいて、前記複数の出力ユニットの中から勝者ユニットを選択する選択手段と、選択された前記勝者ユニットに分類された画素に基づいて、前記第1の画像データにおける前記顔領域を含む前記肌色領域を前記対象領域として抽出する抽出手段と、を具備することを特徴とする画像対象領域抽出装置である。
本発明の第3の視点は、所定の色領域を少なくとも一つ含み複数の画素から構成される第1の画像データを用いた自己写像により対象領域を抽出する画像対象領域抽出方法であって、前記第1の画像データの色成分を置換することで、前記所定の色領域を強調する少なくとも一つの第2の画像データを生成する第1のステップと、前記第1の画像データを用いて前記自己写像の入力とする第3の画像データを生成し、前記第2の画像データを用いて前記自己写像の入力とする第4の画像データを生成する第2のステップと、前記第3の画像データを構成する各画素の値及び前記少なくとも一つの第4の画像データを構成する各画素の値を入力とし、所定の重み係数によって色情報を各画像データの特性として自己写像し複数のマップ層ユニットに出力することで、入力した前記各画素を、色情報を基準として分類する第3のステップと、前記所定の重み係数に基づいて、前記複数の出力ユニットの中から勝者ユニットを選択する第4のステップと、選択された前記勝者ユニットに分類された画素に基づいて、前記第1の画像データにおける少なくとも一つの前記所定の色領域を前記対象領域として抽出する第5のステップと、を具備することを特徴とする画像対象領域抽出方法である。
本発明の第4の視点は、顔領域を含む肌色領域を少なくとも一つ含み複数の画素から構成されるRGB表色系の第1の画像データを用いた自己写像により、対象領域としての前記顔領域を抽出する画像対象領域抽出方法であって、前記第1の画像データの色成分を置換することで、前記肌色領域を強調する少なくとも一つの第2の画像データを生成する第1のステップと、前記第1の画像データ及び前記第2の画像データをL*a*b*表色系に変換することで、第3の画像データ及び第4の画像データを生成する第2のステップと、前記第3の画像データを構成する各画素の値及び前記少なくとも一つの第4の画像データを構成する各画素の値を入力とし、所定の重み係数によって色情報を各画像データの特性として自己写像し複数のマップ層ユニットに出力することで、入力した前記各画素を、色情報を基準として分類する第3のステップと、前記所定の重み係数に基づいて、前記複数の出力ユニットの中から勝者ユニットを選択する第4のステップと、選択された前記勝者ユニットに分類された画素に基づいて、前記第1の画像データにおける前記顔領域を含む前記肌色領域を前記対象領域として抽出する第5のステップと、を具備することを特徴とする画像対象領域抽出方法である。
以上本発明によれば、外部的な基準を必要とせず、撮影環境が変化した場合であっても画像上の対象領域を安定して抽出可能な画像対象領域抽出装置、及び画像対象領域抽出方法を実現することができる。
以下、本発明の実施形態を図面に従って説明する。なお、以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。また、本発明の技術的思想は、RGB表色系の色成分(すなわち、R成分、G成分、B成分)から構成される通常のカラー画像から、特定の色領域、及び当該色領域中の特定構造(例えば、形状、相対的な位置関係等の位相構造)を持つ領域を色相関等の色情報を基準として抽出するものであれば、どのような用途でも適用可能である。本実施形態においては、説明を具体的にするため、RGB表色系のカラー画像中における肌色領域の抽出、及び当該肌色領域中の顔領域を抽出する場合を例とする。
図1は、本実施形態に係る画像対象領域抽出装置1のブロック構成図を示している。同図に示すように、画像対象領域抽出装置1は、操作部2、表示部3、送受信部4、制御部5、画像データ記憶部6、肌色候補領域抽出部7、顔領域特定部8、インタフェース部9を具備している。
操作部2は、操作者からの各種指示、条件、等を当該装置1にとりこむためのトラックボール、各種スイッチ、マウス、キーボード等を有している。
表示部3は、画像、所定の操作を行うための入力画面等を所定の形態にて表示する。
送受信部4は、ネットワークを介して他の装置と画像データを含む情報の送受信を行う。
制御部5は、当該画像対象領域抽出装置1を構成する各ユニットを動的又は静的に制御する。特に、制御部5は、後述する肌色候補領域抽出処理、顔領域特定処理において、画像データ記憶部6、肌色候補領域抽出7、顔領域特定部8、操作部2、表示部3等を統括的に制御する。
画像データ記憶部6は、この画像データは、送受信部4によってネットワークを介して取得された画像データ、CCDによって撮影されインタフェース部9を介して送り込まれた画像データを記憶する。これらの画像データは、RGB成分から構成されるものであり、原画像データとも呼ばれる。
肌色候補領域抽出部7は、画像データに記憶されたRGB成分を有する画像データから、肌色候補領域を抽出する。この肌色候補領域抽出処理については、後で詳しく説明する。
顔領域特定部8は、肌色候補領域抽出処理によって抽出された肌色候補領域の中から、顔領域を特定する。この顔領域特定処理についても、後で詳しく説明する。
インタフェース部9は、CCDカメラによって取得された画像データを画像データ記憶部6に送り出す。
図2は、肌色候補領域抽出部7、顔領域特定部8の構成を説明するためのブロック図である。同図に示すように、肌色候補領域抽出部7は、肌色強調部10、色空間変換部11、SOM自己写像部12、SOM重み・構造記憶部13、重み変換部14、勝者ユニット選択部15、肌色候補領域抽出部16、候補領域整形部17を有している。また、顔領域特定部8は、顔候補特定部18、ガボール変換部19、顔部品検出部20、顔領域決定部21を有している。
肌色強調部10は、RGB表色系のカラー画像を用いて、黄みがかった肌色が強調される画像データ、及び青みがかった肌色が強調される画像データを生成する。
色空間変換部11は、各画像データについて、RGB表色系等からL*a*b*表色系への変換を行う。
SOM自己写像部12は、肌色が強調された画素毎の画像データ等を入力して、所定の重み係数Wijによって肌色情報を各画像データの特性として、自己組織化マップを用いて自己写像する。これにより、入力した各画素は、肌色情報を基準として分類される。ここで、肌色情報とは、例えばマンセルシステムの色相環における肌色と他の色との相関関係(色相関)を意味する。
SOM重み・構造記憶部13は、SOMによって得られる重み係数を記憶する。
重み変換部14は、SOM自己写像部12による自己学習の結果である重み係数を後述する標準色空間、肌強調空間のa*成分、b*成分に変換する。
勝者ユニット選択部15は、後述する肌強調空間においてa*成分、b*成分の差が最も大きくなる出力ユニットを勝者ユニットとして選択する。
肌色候補領域抽出部16は、勝者ユニット選択部15によって選択された勝者ユニットに分類されるRGB表色系カラー画像の画素を(全)肌色候補領域として抽出する。
候補領域整形部17は、抽出された肌色候補領域に対して、二値化処理、塗りつぶし処理を行うことにより、肌色候補領域を整形する。
顔候補特定部18は、整形された肌色候補領域に対してテンプレートマッチング等の処理を施し、顔候補領域を特定(抽出)する。
ガボール変換部19は、抽出した顔候補領域に対応するグレースケール画像を生成し、これをガボール変換して原画像における顔候補領域を抽出する。
顔部品検出部20は、抽出された原画像における顔候補領域から顔部品(目、口等)検出できるか否かにより、各顔候補領域が顔であるか否かを判定する。
顔領域決定部21は、顔部品検出部20の判定結果に基づいて、顔領域を決定する。
なお、図1、図2においては、画像データ記憶部6、SOMの重み・構造記憶部13をそれぞれ別の構成としたが、これに拘泥されることなく、単一のハードウェアによって実現する構成であってもよい。また、図1、図2において、各処理に対応するユニットを有する構成としたが、これに拘泥されることなく、複合的なユニットを設け、これが複数の処理を行うとする構成としてもよい。
(SOMを用いた肌色候補領域抽出機能)
次に、SOMを用いた肌色候補領域抽出機能について説明する。当該機能は、標準色空間内の画像データ及び肌強調空間内での画像データから生成される情報を入力として一次元SOMで自己写像し、その出力及び重み係数を用いて肌候補領域を抽出するものである。ここで、標準色空間とは、RGB表色系の色成分から構成される通常のカラー画像が存在する仮想的な空間である。また、肌強調空間とは、RGB表色系の色成分のうちG成分又はB成分をR成分に変換した色成分(すなわち、R成分及びG成分のみ、又はR成分又はB成分のみ)から構成されるカラー画像が存在する仮想的な空間である。なお、RGB表色系のG成分をR成分に変換した表色系を「RRB表色系」と、RGB表色系のB成分をR成分に変換した表色系を「RGR表色系」と、それぞれ呼ぶこととする。
次に、SOMを用いた肌色候補領域抽出機能について説明する。当該機能は、標準色空間内の画像データ及び肌強調空間内での画像データから生成される情報を入力として一次元SOMで自己写像し、その出力及び重み係数を用いて肌候補領域を抽出するものである。ここで、標準色空間とは、RGB表色系の色成分から構成される通常のカラー画像が存在する仮想的な空間である。また、肌強調空間とは、RGB表色系の色成分のうちG成分又はB成分をR成分に変換した色成分(すなわち、R成分及びG成分のみ、又はR成分又はB成分のみ)から構成されるカラー画像が存在する仮想的な空間である。なお、RGB表色系のG成分をR成分に変換した表色系を「RRB表色系」と、RGB表色系のB成分をR成分に変換した表色系を「RGR表色系」と、それぞれ呼ぶこととする。
まず、一般的なSOMについて説明する。SOMは、入力データの位相を保存し、トポロジカルなマッピングを行うものであり、その学習課程では、明示的な教師を必要としない。
一般のSOMは、入力ユニットを含む入力層と、出力ユニットを含むマッピング層との二層からなる。典型的なSOMの学習アルゴリズムは、次の様である。
(1)wij(1≦i≦n)を時刻tにおける入力ユニットiから出力ユニットjへの重み係数とする。ユニットの重み係数を乱数で初期化し、ノードjの近傍の初期範囲を大きく設定する。
(2)xi(1≦i≦n)を時刻tにおけるノードiへの入力とする。
(4)ユークリッド距離djが最小となる出力ユニットを検索する。
(5)Nc(t)で定義される近傍に含まれるユニットへの重み係数を、次の式(2)にて更新する。
wij(t+1)=wij(t)+α(t)(xi(t)−wij(t)) (2)
ここで、α(t)は学習率係数(0<α<1)、Nc(t)は近傍領域のサイズであり、時間とともに減少させる。
wij(t+1)=wij(t)+α(t)(xi(t)−wij(t)) (2)
ここで、α(t)は学習率係数(0<α<1)、Nc(t)は近傍領域のサイズであり、時間とともに減少させる。
(6)上記(2)〜(5)の処理を繰り返す。
SOMを用いた肌色候補領域抽出は、次の様にして実行される。
図3は、SOMを用いた肌色候補領域抽出における処理の流れを示したフローチャートである。同図に示すように、まず、肌色強調部10は、標準色空間におけるRGB表色系のカラー画像を画像データ記憶部6から取得し(ステップS1)、肌強調空間におけるRGR表色系の肌強調画像及びRRB表色系の肌強調画像を生成する(ステップS2)。
図4、図5、図6は、RGR表色系及びRRB表色系の肌強調画像の概念を説明するための図である。図4(a)に示す標準色空間におけるRGB表色系のカラー画像が、図4(b)に示すようなRGB成分の分布(太線がR成分、実線がB成分、点線がG成分)を有するものであった場合、当該画像のG成分をR成分に置換することで図5(a)に示すRRB画像が、B成分をR成分に置換することで図5(b)に示すRGR画像が、それぞれ生成される。この色成分の置換をマンセルシステムの色相環で表すと、図6、図7の様である。
上記置換によるRRB画像及びRGR画像の生成の意味は、次のようなものである。すなわち、人間の全ての肌の色は、青みがかった肌色と黄みがかった肌色との度合いによって分類することができる。G成分をR成分とする置換によるRRB画像の生成は、赤み成分の情報量を増加させることにより、青みがかった肌色の度合いを強調した画像を生成することに対応している。また、B成分をR成分とする置換によるRRB画像の生成は、より肌色に近い情報量を増加させることにより、黄みがかった肌色の度合いを強調した画像を生成することに対応している。
次に、色空間変換部11は、標準色空間及び肌色強調空間をL*a*b*表色系に変換する(ステップS3)。この変換により、標準色(RGB)空間おけるL*a*b*−L成分、L*a*b*−a*成分、L*a*b*−b*成分、肌色強調(RGR)空間におけるL*a*b*−L成分、L*a*b*−a*成分、L*a*b*−b*成分、肌色強調(RRB)空間におけるL*a*b*−L成分、L*a*b*−a*成分、L*a*b*−b*成分の計9成分が生成されることになる
次に、SOM自己写像部12は、各色空間のa*成分及びb*成分(すなわち、図8に示す6成分)の各画素における値を入力として、一次元SOMを実行して自己学習を行う(ステップS4)。当該SOMによる自己学習結果である各出力ユニットに対応する重み係数は、SOMの重み・構造記憶部13に自動的に記憶される。
次に、SOM自己写像部12は、各色空間のa*成分及びb*成分(すなわち、図8に示す6成分)の各画素における値を入力として、一次元SOMを実行して自己学習を行う(ステップS4)。当該SOMによる自己学習結果である各出力ユニットに対応する重み係数は、SOMの重み・構造記憶部13に自動的に記憶される。
本実施形態におけるSOMでは、図9に示す様に写像結果として得られる出力ユニット数を5とした。これは、本実施形態に係る画像対象領域抽出装置1が最大第2近傍までを考慮する一次元SOMを採用したからである(例えば、図9において、出力ユニット1及び5は、出力ユニット3から見て第2近傍となる)。しかしながら、これに拘泥されることなく、最大第n近傍までを考慮する一次元SOM(ただし、nは2以外の自然数)を採用する構成としてもよい。
なお、上記ステップS4でのSOMにおいて、標準色(RGB)空間おけるL*a*b*−a*成分、L*a*b*−b*成分をも入力とするのは、肌色強調(RGR、RRB)空間では不明な情報を、標準色(RGB)空間から取得するためである。また、各色空間におけるL*成分を入力から除外するのは、照明等を原因とする輝度に関する成分からの影響を取り除くためである。
次に、重み変換部14は、SOMの重み・構造記憶部13に記憶された各出力ユニットに対応する重み係数を、各肌色強調(RGR、RRB)空間のa*成分及びb*成分に変換し(ステップS5)する。勝者ユニット選択部15は、各肌色強調(RGR、RRB)空間におけるa*成分とb*成分との差(の絶対値)が最大となる出力ユニットを、肌領域を学習した勝者ユニットとして選択する(ステップS6)。この様に各肌色強調空間におけるa*成分とb*成分との差の値を勝者ユニット選択の基準とするのは、当該差が大きいほど、各肌色強調空間において肌が強調された領域であると考えられるからである。
次に、肌色候補領域抽出部16は、勝者ユニット選択部15によって選択された勝者ユニットに分類される標準色空間のカラー画像を構成する画素を、全肌色候補領域として抽出する(ステップS7)。こうして抽出される全肌色候補領域は、人間の肌色やこれに近似する肌色に対応する領域である。従って、顔領域のみに限定されず、他のもの(例えば、首、腕、足、人間以外の肌色を有するもの)等を含む場合がある。
次に、候補領域整形部17は、抽出された全肌色候補領域を二値化し、オブジェクト内の欠損部分の塗りつぶしや雑音領域を除去(例えば、一定面積以下の除去)することにより、顔候補領域を特定する(ステップS8)。
図10(a)、図10(b)は、顔候補特定部18によって特定された顔候補領域の一例を示した図である。抽出された肌色候補領域を二値化すると図10(a)に示すようになり、これに対して眼球等の欠損部分(穴状部分)の塗りつぶし、一定面積以下の除去を行うことで、図10(b)に示す処理後全肌色候補領域が特定される。
以上述べた一連の処理により、整形された全肌色候補領域を取得することができる。この整形された全肌色候補領域は、肌色が強調された画像データを用いて肌色候補領域を抽出している。この画像データは、特定の外部基準を導入せずに、肌色が強調された画像データ等の画像特性のみを用いて生成されるものである。従って、本処理によれば、画像が有する画像特性を自己写像するSOMを用いているため、極めて客観的な基準に従ったものと言える。
(顔領域特定機能)
次に、整形された全肌色候補領域を用いた顔領域特定機能について説明する。上記処理で取得された全肌色候補領域は、単に皮膚の領域を抽出したものであり、それが顔領域であるか否かは不明である。当該機能は、全肌色候補領域から顔候補領域を抽出し、この中から顔領域を特定するものである。
次に、整形された全肌色候補領域を用いた顔領域特定機能について説明する。上記処理で取得された全肌色候補領域は、単に皮膚の領域を抽出したものであり、それが顔領域であるか否かは不明である。当該機能は、全肌色候補領域から顔候補領域を抽出し、この中から顔領域を特定するものである。
図11は、顔領域特定機能を用いた処理の流れを示したフローチャートである。同図に示すように、まず、顔候補特定部18は、図12(a)に示す各全肌色候補領域を図12(b)、図12(c)に示すようにズームし(ステップS10)、例えば図13(a)に示す顔型テンプレート(例えば、楕円形)を処理後全肌色候補領域にマッチングすることにより、図13(b)に示す顔候補領域を抽出する(ステップS11)。
次に、ガボール変換部19は、抽出した顔候補領域に対応するグレースケール画像を生成し、これをガボール変換し、ステップS11において抽出された顔候補領域に対応する領域を、図14に示すように当該カラー画像から抽出する(ステップS12)。顔部品検出部20は、顔部品(目、鼻、口等の位相構造等)が抽出された領域から検出されるか否かを判定する(ステップS13、S14)。顔領域決定部21は、検出されたと判定した場合には、ステップS11において抽出された顔候補領域を顔領域と決定し、当該決定した顔領域を画像データ記憶部6に保存すると共に、表示部3に出力する。一方、検出されなかったと判定した場合には、ステップS11において抽出された顔候補領域を非顔領域と決定する(ステップS15、S16)。
なお、以上述べたステップS9〜ステップS16までの処理は、肌色候補領域が複数存在する場合には、それぞれを対象として繰り返し実行される(ステップS17)。
以上述べた構成によれば、以下の効果を得ることができる。
本画像対象領域抽出装置によれば、標準色空間内の画像データ及び肌強調空間内での画像データから生成される情報を入力として一次元SOMを実行し、その出力及び重み係数を用いて肌色候補領域を抽出し、これより顔領域を特定している。従って、外部基準を必要とせず、色情報等の個々の画像特性のみを利用して顔領域を特定することができる。その結果、顔領域抽出の対象がどのような画像であっても、極めて客観的に且つ高い安定性をもって画像中の顔領域を特性することができる。
また、本画像対象領域抽出装置では、RGB表色系の画像データからRRB表色系及びRGR表色系の画像データを生成することで、顔領域が特定される画像中の人物の肌色を、青みがかった肌色と黄みがかった肌色との度合いによって分類し、これらを入力とする一次元SOMを実行し、その出力及び重み係数を用いて肌候補領域を抽出し、これより顔領域を特定している。一般に、全ての肌の色は、青みがかった肌色と黄みがかった肌色との度合いによって分類することができる。従って、本装置によれば、画像中の人物がどのような人種であっても(すなわち、白色人種、黄色人種、黒色人種のいずれであっても)、客観的に且つ高い安定性にて画像中の顔領域を特定することが可能となる。
また、本画像対象領域抽出装置によれば、個々の画像特性のみを利用して顔領域を特定しているため、特定対象領域(顔領域)の背景、カメラの撮影方向、拡大率、特定対象領域の向き及び大きさ等による影響を受けない。その結果、撮影環境等に左右されず、特定対象領域を安定して特定することができる。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。具体的な変形例としては、例えば、次のようなものがある。
すなわち、本実施形態に係る各機能は、当該処理を実行するプログラムをワークステーション等のコンピュータにインストールし、これらをメモリ上で展開することによっても実現することができる。このとき、コンピュータに当該手法を実行させることのできるプログラムは、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスクなど)、光ディスク(CD−ROM、DVDなど)、半導体メモリなどの記録媒体に格納して頒布することも可能である。
また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
以上本発明によれば、外部的な基準を必要とせず、撮影環境が変化した場合であっても画像上の対象領域を安定して抽出可能な画像対象領域抽出装置、及び画像対象領域抽出方法を実現することができる。
1…画像対象領域抽出装置、2…操作部、3…表示部、4…送受信部、5…制御部、6…画像データ記憶部、7…肌色候補領域抽出部、8…顔領域特定部、9…インタフェース部、10…肌色強調部、11…色空間変換部、12…SOM自己写像部、13…SOM重み・構造記憶部、14…重み変換部、15…勝者ユニット選択部、16…肌色候補領域抽出部、17…候補領域整形部、18…顔候補特定部、19…ガボール変換部、20…顔部品検出部、21…顔領域決定部
Claims (16)
- 所定の色領域を少なくとも一つ含み複数の画素から構成される第1の画像データを用いた自己写像により対象領域を抽出する画像対象領域抽出装置であって、
前記第1の画像データを記憶する記憶手段と、
前記第1の画像データの色成分を置換することで、前記所定の色領域を強調する少なくとも一つの第2の画像データを生成する画像データ生成手段と、
前記第1の画像データを用いて前記自己写像の入力とする第3の画像データを生成し、前記第2の画像データを用いて前記自己写像の入力とする第4の画像データを生成する入力データ生成手段と、
前記第3の画像データを構成する各画素の値及び前記少なくとも一つの第4の画像データを構成する各画素の値を入力とし、所定の重み係数によって色情報を各画像データの特性として自己写像し複数のマップ層ユニットに出力することで、入力した前記各画素を、色情報を基準として分類する自己写像手段と、
前記所定の重み係数に基づいて、前記複数の出力ユニットの中から勝者ユニットを選択する選択手段と、
選択された前記勝者ユニットに分類された画素に基づいて、前記第1の画像データにおける少なくとも一つの前記所定の色領域を前記対象領域として抽出する抽出手段と、
を具備することを特徴とする画像対象領域抽出装置。 - 前記抽出された前記所定の色領域の位相構造に基づいて、当該所定の色領域が前記対象領域であるか否かを判定する判定手段をさらに具備することを特徴とする請求項1記載の画像対象領域抽出装置。
- 前記判定手段は、前記所定の色領域のグレースケール画像データをガボール変換して得られる候補領域において、所定の位相構造の有無を検出することにより、前記判定を行うことを特徴とする請求項2記載の画像対象領域抽出装置。
- 前記第1の画像データは、RGB表色系のカラー画像データであり、
前記画像データ生成手段は、前記第1の画像データのG成分をR成分で置換したRRB表色系のカラー画像である前記第2の画像データと、前記第1の画像データのB成分をR成分で置換したRGR表色系のカラー画像である前記第2の画像データと、を生成し、
前記入力データ生成手段は、前記RGB表色系のカラー画像データをL*a*b*表色系に変換することで、前記第3の画像データを生成し、前記RRB表色系のカラー画像データ及び前記RGR表色系のカラー画像データをL*a*b*表色系に変換することで、前記第4の画像データを生成すること、
を特徴とする請求項1乃至3のうちいずれか一項記載の画像対象領域抽出装置。 - 顔領域を含む肌色領域を少なくとも一つ含み複数の画素から構成されるRGB表色系の第1の画像データを用いた自己写像により、対象領域としての前記顔領域を抽出する画像対象領域抽出装置であって、
前記第1の画像データを記憶する記憶手段と、
前記第1の画像データの色成分を置換することで、前記肌色領域を強調する少なくとも一つの第2の画像データを生成する画像データ生成手段と、
前記第1の画像データ及び前記第2の画像データをL*a*b*表色系に変換することで、第3の画像データ及び第4の画像データを生成する入力データ生成手段と、
前記第3の画像データを構成する各画素の値及び前記少なくとも一つの第4の画像データを構成する各画素の値を入力とし、所定の重み係数によって色情報を各画像データの特性として自己写像し複数のマップ層ユニットに出力することで、入力した前記各画素を、色情報を基準として分類する自己写像手段と、
前記所定の重み係数に基づいて、前記複数の出力ユニットの中から勝者ユニットを選択する選択手段と、
選択された前記勝者ユニットに分類された画素に基づいて、前記第1の画像データにおける前記顔領域を含む前記肌色領域を前記対象領域として抽出する抽出手段と、
を具備することを特徴とする画像対象領域抽出装置。 - 前記抽出された前記肌色領域の位相構造に基づいて、当該所定の色領域が前記顔領域であるか否かを判定する判定手段をさらに具備することを特徴とする請求項5記載の画像対象領域抽出装置。
- 前記判定手段は、前記所定の色領域のグレースケール画像データをガボール変換して得られる候補領域において、所定の位相構造の有無を検出することにより、前記判定を行うことを特徴とする請求項6記載の画像対象領域抽出装置。
- 前記画像データ生成手段は、前記第1の画像データのG成分をR成分で置換したRRB表色系のカラー画像である前記第2の画像データと、前記第1の画像データのB成分をR成分で置換したRGR表色系のカラー画像である前記第2の画像データと、を生成し、
前記入力データ生成手段は、前記RGB表色系のカラー画像データをL*a*b*表色系に変換することで、前記第3の画像データを生成し、前記RRB表色系のカラー画像データ及び前記RGR表色系のカラー画像データをL*a*b*表色系に変換することで、前記第4の画像データを生成すること、
を特徴とする請求項5乃至7のうちいずれか一項記載の画像対象領域抽出装置。 - 所定の色領域を少なくとも一つ含み複数の画素から構成される第1の画像データを用いた自己写像により対象領域を抽出する画像対象領域抽出方法であって、
前記第1の画像データの色成分を置換することで、前記所定の色領域を強調する少なくとも一つの第2の画像データを生成する第1のステップと、
前記第1の画像データを用いて前記自己写像の入力とする第3の画像データを生成し、前記第2の画像データを用いて前記自己写像の入力とする第4の画像データを生成する第2のステップと、
前記第3の画像データを構成する各画素の値及び前記少なくとも一つの第4の画像データを構成する各画素の値を入力とし、所定の重み係数によって色情報を各画像データの特性として自己写像し複数のマップ層ユニットに出力することで、入力した前記各画素を、色情報を基準として分類する第3のステップと、
前記所定の重み係数に基づいて、前記複数の出力ユニットの中から勝者ユニットを選択する第4のステップと、
選択された前記勝者ユニットに分類された画素に基づいて、前記第1の画像データにおける少なくとも一つの前記所定の色領域を前記対象領域として抽出する第5のステップと、
を具備することを特徴とする画像対象領域抽出方法。 - 前記第5のステップにおいて前記抽出された前記所定の色領域の位相構造に基づいて、当該所定の色領域が前記対象領域であるか否かを判定する第6のステップをさらに具備することを特徴とする請求項9記載の画像対象領域抽出方法。
- 前記第6のステップにおいては、前記所定の色領域のグレースケール画像データをガボール変換して得られる候補領域において、所定の位相構造の有無を検出することにより、前記判定を行うことを特徴とする請求項9記載の画像対象領域抽出方法。
- 前記第1の画像データは、RGB表色系のカラー画像データであり、
前記第1のステップにおいては、前記第1の画像データのG成分をR成分で置換したRRB表色系のカラー画像である前記第2の画像データと、前記第1の画像データのB成分をR成分で置換したRGR表色系のカラー画像である前記第2の画像データと、を生成し、
前記第2のステップにおいては、前記RGB表色系のカラー画像データをL*a*b*表色系に変換することで、前記第3の画像データを生成し、前記RRB表色系のカラー画像データ及び前記RGR表色系のカラー画像データをL*a*b*表色系に変換することで、前記第4の画像データを生成すること、
を特徴とする請求項9乃至11のうちいずれか一項記載の画像対象領域抽出方法。 - 顔領域を含む肌色領域を少なくとも一つ含み複数の画素から構成されるRGB表色系の第1の画像データを用いた自己写像により、対象領域としての前記顔領域を抽出する画像対象領域抽出方法であって、
前記第1の画像データの色成分を置換することで、前記肌色領域を強調する少なくとも一つの第2の画像データを生成する第1のステップと、
前記第1の画像データ及び前記第2の画像データをL*a*b*表色系に変換することで、第3の画像データ及び第4の画像データを生成する第2のステップと、
前記第3の画像データを構成する各画素の値及び前記少なくとも一つの第4の画像データを構成する各画素の値を入力とし、所定の重み係数によって色情報を各画像データの特性として自己写像し複数のマップ層ユニットに出力することで、入力した前記各画素を、色情報を基準として分類する第3のステップと、
前記所定の重み係数に基づいて、前記複数の出力ユニットの中から勝者ユニットを選択する第4のステップと、
選択された前記勝者ユニットに分類された画素に基づいて、前記第1の画像データにおける前記顔領域を含む前記肌色領域を前記対象領域として抽出する第5のステップと、
を具備することを特徴とする画像対象領域抽出方法。 - 前記第5のステップにおいて前記抽出された前記肌色領域の位相構造に基づいて、当該肌色領域が前記対象領域であるか否かを判定する第6のステップをさらに具備することを特徴とする請求項13記載の画像対象領域抽出方法。
- 前記第6のステップにおいては、前記所定の色領域のグレースケール画像データをガボール変換して得られる候補領域において、所定の位相構造の有無を検出することにより、前記判定を行うことを特徴とする請求項14記載の画像対象領域抽出方法。
- 前記第1のステップにおいては、前記第1の画像データのG成分をR成分で置換したRRB表色系のカラー画像である前記第2の画像データと、前記第1の画像データのB成分をR成分で置換したRGR表色系のカラー画像である前記第2の画像データと、を生成し、
前記第2のステップにおいては、前記RGB表色系のカラー画像データをL*a*b*表色系に変換することで、前記第3の画像データを生成し、前記RRB表色系のカラー画像データ及び前記RGR表色系のカラー画像データをL*a*b*表色系に変換することで、前記第4の画像データを生成すること、
を特徴とする請求項13乃至15のうちいずれか一項記載の画像対象領域抽出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005102563A JP2006285468A (ja) | 2005-03-31 | 2005-03-31 | 画像対象領域抽出装置及び画像対象領域抽出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005102563A JP2006285468A (ja) | 2005-03-31 | 2005-03-31 | 画像対象領域抽出装置及び画像対象領域抽出方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006285468A true JP2006285468A (ja) | 2006-10-19 |
Family
ID=37407351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005102563A Pending JP2006285468A (ja) | 2005-03-31 | 2005-03-31 | 画像対象領域抽出装置及び画像対象領域抽出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006285468A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008245666A (ja) * | 2007-03-29 | 2008-10-16 | Tokiwa Yakuhin Kogyo Kk | 皮膚の色素沈着評価方法およびその提示方法 |
JPWO2021260899A1 (ja) * | 2020-06-25 | 2021-12-30 |
-
2005
- 2005-03-31 JP JP2005102563A patent/JP2006285468A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008245666A (ja) * | 2007-03-29 | 2008-10-16 | Tokiwa Yakuhin Kogyo Kk | 皮膚の色素沈着評価方法およびその提示方法 |
JPWO2021260899A1 (ja) * | 2020-06-25 | 2021-12-30 | ||
WO2021260899A1 (ja) * | 2020-06-25 | 2021-12-30 | 日本電信電話株式会社 | 追跡装置、追跡システム、追跡方法、および、追跡プログラム |
JP7439925B2 (ja) | 2020-06-25 | 2024-02-28 | 日本電信電話株式会社 | 追跡装置、追跡システム、追跡方法、および、追跡プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7386545B2 (ja) | 画像中の物体を識別するための方法、及び当該方法を実施するためのモバイル装置 | |
US8819015B2 (en) | Object identification apparatus and method for identifying object | |
Durga et al. | A ResNet deep learning based facial recognition design for future multimedia applications | |
JP5361524B2 (ja) | パターン認識システム及びパターン認識方法 | |
CN108280426B (zh) | 基于迁移学习的暗光源表情识别方法及装置 | |
US20070174272A1 (en) | Facial Recognition in Groups | |
JP2006012062A (ja) | 画像処理装置及びその方法、プログラム、撮像装置 | |
KR20040059313A (ko) | 치아영상으로부터 치아영역 추출방법 및 치아영상을이용한 신원확인방법 및 장치 | |
JP2009211275A (ja) | 画像処理装置、画像処理方法、プログラム及び記憶媒体 | |
JP2007025900A (ja) | 画像処理装置、画像処理方法 | |
Dutta | Facial Pain Expression Recognition in Real‐Time Videos | |
Radman et al. | BiLSTM regression model for face sketch synthesis using sequential patterns | |
Sagheer et al. | An effective face detection algorithm based on skin color information | |
JP2007115109A (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
Jalilian et al. | Persian sign language recognition using radial distance and Fourier transform | |
Liang et al. | Real time hand movement trajectory tracking for enhancing dementia screening in ageing deaf signers of British sign language | |
JP2006323779A (ja) | 画像処理方法、画像処理装置 | |
KR101408344B1 (ko) | 얼굴 검출 장치 | |
Arsic et al. | Improved lip detection algorithm based on region segmentation and edge detection | |
JP2006285468A (ja) | 画像対象領域抽出装置及び画像対象領域抽出方法 | |
JP2009289210A (ja) | 重要物体認識装置および重要物体認識方法ならびにそのプログラム | |
JP7385046B2 (ja) | 色斑予測方法、装置、設備及び記憶媒体 | |
KR20240025797A (ko) | 피부 진단 장치, 이를 포함하는 피부 진단 시스템 및 그 방법 | |
Subasic et al. | Expert system segmentation of face images | |
Zangana | A New Skin Color Based Face Detection Algorithm by Combining Three Color Model Algorithms |