JP2002197457A - ディジタル画像中の肌色を検出する方法 - Google Patents
ディジタル画像中の肌色を検出する方法Info
- Publication number
- JP2002197457A JP2002197457A JP2001322732A JP2001322732A JP2002197457A JP 2002197457 A JP2002197457 A JP 2002197457A JP 2001322732 A JP2001322732 A JP 2001322732A JP 2001322732 A JP2001322732 A JP 2001322732A JP 2002197457 A JP2002197457 A JP 2002197457A
- Authority
- JP
- Japan
- Prior art keywords
- image
- skin color
- color
- skin
- digital
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
(57)【要約】
【課題】 露出過多又は露出不足の画像でも高い信頼性
で画像中の肌色を検出する方法を提供することを目的と
する。 【解決手段】 ＲＧＢ色空間に画素があるディジタル画
像中で肌色を検出する方法では、まず平均ＲＧＢ色値を
決定する統計的な解析を行う。いずれかの色の平均値が
所定の閾値未満の場合、画像中の肌の色を色空間の所定
の領域へ動かすために非線形変換が適用される。先行す
る段階によりディジタル画像又は変換されたディジタル
画像を、ＲＧＢ空間から一般化されたＲＧＢ空間へ変換
し、ｇＲＧＢディジタル画像を生成する。肌色画素はｇ
ＲＧＢディジタル画像中で検出される。第１の肌色画像
マスクは検出された肌色画素に基づき形成される。マス
クされたｇＲＧＢ画像は第１の肌色画像マスクを用いて
生成される。ディジタルカラー画像中で肌色画素の位置
を見つけるため肌色画像マスクが使用される。
で画像中の肌色を検出する方法を提供することを目的と
する。 【解決手段】 ＲＧＢ色空間に画素があるディジタル画
像中で肌色を検出する方法では、まず平均ＲＧＢ色値を
決定する統計的な解析を行う。いずれかの色の平均値が
所定の閾値未満の場合、画像中の肌の色を色空間の所定
の領域へ動かすために非線形変換が適用される。先行す
る段階によりディジタル画像又は変換されたディジタル
画像を、ＲＧＢ空間から一般化されたＲＧＢ空間へ変換
し、ｇＲＧＢディジタル画像を生成する。肌色画素はｇ
ＲＧＢディジタル画像中で検出される。第１の肌色画像
マスクは検出された肌色画素に基づき形成される。マス
クされたｇＲＧＢ画像は第１の肌色画像マスクを用いて
生成される。ディジタルカラー画像中で肌色画素の位置
を見つけるため肌色画像マスクが使用される。
Description
【０００１】
【発明の属する技術分野】本発明は、ディジタル画像処
理方法に関連し、更に特定的にはディジタル画像中の肌
色を検出する方法に関連する。
理方法に関連し、更に特定的にはディジタル画像中の肌
色を検出する方法に関連する。
【０００２】
【従来の技術】ディジタル画像処理では、画像中で肌色
である領域を検出することが有用である場合が多い。こ
の情報は、例えば画像中の肌色を見た目の良いものへと
調整するために使用される。肌色の場所は、顔の検出及
び認識のためのアルゴリズム、自動画像取得アルゴリズ
ム、赤目補正アルゴリズム等にも使用されうる。例え
ば、Takahashi外に対して１９８０年５月２０日に発行
された米国特許第４，２０３，６７１号は、赤、緑、青
の色空間中の楕円の中に、又は２次元色空間中の楕円の
中に存在する画素を識別することによって画像中の肌色
を検出する方法を開示する。この方法における問題点
は、正しくバランス調整された画像についてのみうまく
作用することである。露出過多又は露出不足の画像で
は、この技術の信頼性は低い。更に、技術は選択された
基準から逸脱する肌色についてはうまく作用しない。例
えば、検出方法が白人の薄い肌色を検出するよう調整さ
れているときは、濃い肌色を正しく検出できない。
である領域を検出することが有用である場合が多い。こ
の情報は、例えば画像中の肌色を見た目の良いものへと
調整するために使用される。肌色の場所は、顔の検出及
び認識のためのアルゴリズム、自動画像取得アルゴリズ
ム、赤目補正アルゴリズム等にも使用されうる。例え
ば、Takahashi外に対して１９８０年５月２０日に発行
された米国特許第４，２０３，６７１号は、赤、緑、青
の色空間中の楕円の中に、又は２次元色空間中の楕円の
中に存在する画素を識別することによって画像中の肌色
を検出する方法を開示する。この方法における問題点
は、正しくバランス調整された画像についてのみうまく
作用することである。露出過多又は露出不足の画像で
は、この技術の信頼性は低い。更に、技術は選択された
基準から逸脱する肌色についてはうまく作用しない。例
えば、検出方法が白人の薄い肌色を検出するよう調整さ
れているときは、濃い肌色を正しく検出できない。
【０００３】
【発明が解決しようとする課題】従って、上述の課題を
解決するための改善された肌色検出方法が必要である。
解決するための改善された肌色検出方法が必要である。
【０００４】
【課題を解決するための手段】本発明は、上述の課題の
うちの１つ以上を解決することを目的とする。概説する
に、本発明の１つの面によれば、ＲＧＢ色空間に画素を
有するディジタル画像中で肌色を検出する方法は、一般
的に、平均ＲＧＢ色値を決定するためにディジタル色画
像の統計的分析を行う段階と、色のうちのいずれか１つ
の平均値が所定の閾値以下であれば画像中の肌色を色空
間の所定の領域へ向かって動かすようディジタル画像に
変換を適用する段階と、ディジタル色画像中の肌色画素
の位置を見つけるために変換された空間を使用する段階
とを含む。
うちの１つ以上を解決することを目的とする。概説する
に、本発明の１つの面によれば、ＲＧＢ色空間に画素を
有するディジタル画像中で肌色を検出する方法は、一般
的に、平均ＲＧＢ色値を決定するためにディジタル色画
像の統計的分析を行う段階と、色のうちのいずれか１つ
の平均値が所定の閾値以下であれば画像中の肌色を色空
間の所定の領域へ向かって動かすようディジタル画像に
変換を適用する段階と、ディジタル色画像中の肌色画素
の位置を見つけるために変換された空間を使用する段階
とを含む。
【０００５】更に特定的には、色のうちのいずれか１つ
の平均値が所定の閾値以下であれば、画像中の肌色を色
空間の所定の領域へ向かって動かすためにディジタル画
像に対して非線形変換が適用される。次に、先行する段
階に依存して、ディジタル画像又は変換されたディジタ
ル画像のいずれかがＲＧＢ空間から一般化されたＲＧＢ
空間へ変換され、ｇＲＧＢディジタル画像が生成され
る。肌色画素は、ｇＲＧＢディジタル画像内で検出され
る。第１の肌色画像マスクは、検出された肌色画素に基
づいて作成される。マスクされたｇＲＧＢ画像は、第１
の肌色画像マスクを用いて生成される。マスクされたｇ
ＲＧＢ画像は、第１の肌色画像マスクを用いて生成され
る。マスクされたｇＲＧＢ画像は、色相画像へ変換され
る。金髪色画素である可能性がある画素は色相画像から
除去され、変更された色相画像が生成される。第２の肌
色画像マスクは、変更された色相画像中の肌色画素に基
づいて作成される。第２の肌色画像マスクが第１の肌色
画像マスクよりも所定の量だけ小さければ、第１の肌色
画像マスクが選択され、そうでなければ、第２の肌色画
像マスクが選択される。最後に、選択された肌色画像マ
スクは、ディジタル色画像中の肌色画素の位置を見つけ
るために使用される。
の平均値が所定の閾値以下であれば、画像中の肌色を色
空間の所定の領域へ向かって動かすためにディジタル画
像に対して非線形変換が適用される。次に、先行する段
階に依存して、ディジタル画像又は変換されたディジタ
ル画像のいずれかがＲＧＢ空間から一般化されたＲＧＢ
空間へ変換され、ｇＲＧＢディジタル画像が生成され
る。肌色画素は、ｇＲＧＢディジタル画像内で検出され
る。第１の肌色画像マスクは、検出された肌色画素に基
づいて作成される。マスクされたｇＲＧＢ画像は、第１
の肌色画像マスクを用いて生成される。マスクされたｇ
ＲＧＢ画像は、第１の肌色画像マスクを用いて生成され
る。マスクされたｇＲＧＢ画像は、色相画像へ変換され
る。金髪色画素である可能性がある画素は色相画像から
除去され、変更された色相画像が生成される。第２の肌
色画像マスクは、変更された色相画像中の肌色画素に基
づいて作成される。第２の肌色画像マスクが第１の肌色
画像マスクよりも所定の量だけ小さければ、第１の肌色
画像マスクが選択され、そうでなければ、第２の肌色画
像マスクが選択される。最後に、選択された肌色画像マ
スクは、ディジタル色画像中の肌色画素の位置を見つけ
るために使用される。
【０００６】
【発明の実施の形態】本発明の上述の及び他の面、目
的、特徴、及び利点については、望ましい実施例につい
ての以下の詳細な説明、請求の範囲、及び添付の図面を
参照することにより更に明らかに理解されよう。
的、特徴、及び利点については、望ましい実施例につい
ての以下の詳細な説明、請求の範囲、及び添付の図面を
参照することにより更に明らかに理解されよう。
【０００７】画像処理のアルゴリズム及びシステムは周
知であるため、本願では本発明による方法の一部をな
す、又はより直接的に協働するアルゴリズム及びシステ
ムに関連する。本願に特に示されておらず又は説明され
ていないかかるアルゴリズム及びシステム、並びに、そ
れに含まれる画像信号を生成及び他の方法で処理するた
めのハードウエア及び／又はソフトウエアは、従来技術
で知られているかかるシステム、アルゴリズム、構成要
素及び要素から選択されうる。以下の詳細な説明では、
本発明の望ましい実施例は一般的にはソフトウエア又は
コンピュータプログラムとして実施される。当業者は、
かかるソフトウエアと同等なものがハードウエア上にも
構築されうることを容易に認識するであろう。以下に示
すような本発明による方法が与えられていれば、本発明
の実施に有用であるが本願には特に図示、示唆、又は記
載されていないソフトウエアは従来通りであり、当業者
の通常の知識であることを認識するであろう。
知であるため、本願では本発明による方法の一部をな
す、又はより直接的に協働するアルゴリズム及びシステ
ムに関連する。本願に特に示されておらず又は説明され
ていないかかるアルゴリズム及びシステム、並びに、そ
れに含まれる画像信号を生成及び他の方法で処理するた
めのハードウエア及び／又はソフトウエアは、従来技術
で知られているかかるシステム、アルゴリズム、構成要
素及び要素から選択されうる。以下の詳細な説明では、
本発明の望ましい実施例は一般的にはソフトウエア又は
コンピュータプログラムとして実施される。当業者は、
かかるソフトウエアと同等なものがハードウエア上にも
構築されうることを容易に認識するであろう。以下に示
すような本発明による方法が与えられていれば、本発明
の実施に有用であるが本願には特に図示、示唆、又は記
載されていないソフトウエアは従来通りであり、当業者
の通常の知識であることを認識するであろう。
【０００８】更に、本願では、コンピュータプログラム
は、例えば、磁気ディスク（例えばフロッピー（登録商
標）ディスク又はハードドライブ）又は磁気テープとい
った磁気記憶媒体、光ディスク、光テープ、又は機械読
み取り可能なバーコードといった光記憶媒体、ランダム
アクセスメモリ（ＲＡＭ）又は読み出し専用メモリ（Ｒ
ＯＭ）といった固体電子記憶媒体、又は、コンピュータ
プログラムを格納するために使用される任意の他の物理
的な装置又は媒体を含みうるコンピュータ読み取り可能
な記憶媒体に記憶されうる。
は、例えば、磁気ディスク（例えばフロッピー（登録商
標）ディスク又はハードドライブ）又は磁気テープとい
った磁気記憶媒体、光ディスク、光テープ、又は機械読
み取り可能なバーコードといった光記憶媒体、ランダム
アクセスメモリ（ＲＡＭ）又は読み出し専用メモリ（Ｒ
ＯＭ）といった固体電子記憶媒体、又は、コンピュータ
プログラムを格納するために使用される任意の他の物理
的な装置又は媒体を含みうるコンピュータ読み取り可能
な記憶媒体に記憶されうる。
【０００９】まず図１を参照するに、本発明を実施する
のに有用な画像処理システムは、フィルムスキャナ、デ
ィジタルカメラ、又は、ピクチャＣＤを伴うコンパクト
ディスクドライブといったディジタル画像記憶装置とい
ったカラーディジタル画像源１０を含む。ディジタル画
像源１０からのディジタル画像は、プログラミングされ
たパーソナルコンピュータといった画像プロセッサ１２
又はＳｕｎＳｐａｒｃ２０ワークステーションといった
ディジタル画像処理ワークステーションへ与えられる。
画像プロセッサ１２は、ＣＲＴディスプレイ１４へ、ま
た、キーボード１６及びマウス１８といった操作者イン
タフェースへ接続されうる。処理されたディジタル画像
は、ハードコピープリンタ、長期画像記憶装置、他のプ
ロセッサへの接続、又は例えばインターネットに接続さ
れた画像電気通信装置へ送信される。
のに有用な画像処理システムは、フィルムスキャナ、デ
ィジタルカメラ、又は、ピクチャＣＤを伴うコンパクト
ディスクドライブといったディジタル画像記憶装置とい
ったカラーディジタル画像源１０を含む。ディジタル画
像源１０からのディジタル画像は、プログラミングされ
たパーソナルコンピュータといった画像プロセッサ１２
又はＳｕｎＳｐａｒｃ２０ワークステーションといった
ディジタル画像処理ワークステーションへ与えられる。
画像プロセッサ１２は、ＣＲＴディスプレイ１４へ、ま
た、キーボード１６及びマウス１８といった操作者イン
タフェースへ接続されうる。処理されたディジタル画像
は、ハードコピープリンタ、長期画像記憶装置、他のプ
ロセッサへの接続、又は例えばインターネットに接続さ
れた画像電気通信装置へ送信される。
【００１０】図２を参照するに、ディジタル画像プロセ
ッサ１２によって本発明により実行される処理について
説明する。ｓＲＧＢ色空間といったデバイス独立なＲＧ
Ｂ色空間で表現されたディジタル画像は、順位フィルタ
段階２２においてまず順位フィルタリングされる。入力
ＲＧＢ画像をＩ｛Ｃi｝と表わし、但し、３つのチャネ
ルに対してｉ＝１，２，３とし、ＣiはＣi（ｍ，ｎ）の
要素を有する行列であり、ｍ＝０，．．．，Ｍ−１であ
りｎ＝０，．．．Ｎ−１であるとする。順位フィルタリ
ングは、
ッサ１２によって本発明により実行される処理について
説明する。ｓＲＧＢ色空間といったデバイス独立なＲＧ
Ｂ色空間で表現されたディジタル画像は、順位フィルタ
段階２２においてまず順位フィルタリングされる。入力
ＲＧＢ画像をＩ｛Ｃi｝と表わし、但し、３つのチャネ
ルに対してｉ＝１，２，３とし、ＣiはＣi（ｍ，ｎ）の
要素を有する行列であり、ｍ＝０，．．．，Ｍ−１であ
りｎ＝０，．．．Ｎ−１であるとする。順位フィルタリ
ングは、
【００１１】
【数１】 と定義され、式中、
【００１２】
【外１】 は所定の閾値ＴRankを越える値のＣi（ｍ，ｎ）の集合
であり、
であり、
【００１３】
【外２】 はＩの残りのＣi（ｍ，ｎ）の集合である。この操作
は、トリミングされたメディアンフィルタリングの従来
の処理と同様である。尚、この順位フィルタリングの目
的は、従来の画像処理のように入力画像の視覚的な質を
改善させることではなく、むしろ、非常に高い強度値を
有する画素が続く統計的収集段階２４に対して与える影
響を減少させることである。例えば、露出過多、又は、
逆光露出といった条件の場合に、２５５に近い値を有す
る画素は、変更されるか、平均値計算から省かれる。順
位フィルタリングの結果として得られる画像は、
は、トリミングされたメディアンフィルタリングの従来
の処理と同様である。尚、この順位フィルタリングの目
的は、従来の画像処理のように入力画像の視覚的な質を
改善させることではなく、むしろ、非常に高い強度値を
有する画素が続く統計的収集段階２４に対して与える影
響を減少させることである。例えば、露出過多、又は、
逆光露出といった条件の場合に、２５５に近い値を有す
る画素は、変更されるか、平均値計算から省かれる。順
位フィルタリングの結果として得られる画像は、
【００１４】
【数２】 と示すことができ、但し、
【００１５】
【外３】 の要素は元の値を有し、
【００１６】
【外４】 の要素は式１を用いて計算された値を有する。簡単化の
ため、順位フィルタリングされた画像を、
ため、順位フィルタリングされた画像を、
【００１７】
【数３】 と書き換える。
【００１８】次の段階は、ＩRを用いて各色チャンネル
について統計値計算段階２４において色平均統計値を計
算することである。この計算は、一組の平均値、即ち、
について統計値計算段階２４において色平均統計値を計
算することである。この計算は、一組の平均値、即ち、
【００１９】
【数４】 を生成する。平均統計値｛ｍi｝を評価すると同時に前
処理決定段階２６が行われる。ｍi＜ＴMであれば、前処
理決定は「イエス」であり、但し、閾値ＴMは実験的に
決定された値であり、例えば、８ビットの画像に対して
は値１００が許容可能であることが分かっている。
処理決定段階２６が行われる。ｍi＜ＴMであれば、前処
理決定は「イエス」であり、但し、閾値ＴMは実験的に
決定された値であり、例えば、８ビットの画像に対して
は値１００が許容可能であることが分かっている。
【００２０】前処理決定が「イエス」であれば、処理は
非線形処理段階３４へ進む。非線形処理段階への入力
は、元のＲＧＢ画像Ｉである。本発明で使用される非線
形プロセッサは、当業者によって周知の画像処理技術で
あり、（例えば、"Digital Image Processing", by Gon
zalez and Woods, Addison-Wesley Publishing Compan
y, 1992といった）文献に記載される、色ヒストグラム
等化である。入力画像Ｉは、まず、以下の標準的な式、
非線形処理段階３４へ進む。非線形処理段階への入力
は、元のＲＧＢ画像Ｉである。本発明で使用される非線
形プロセッサは、当業者によって周知の画像処理技術で
あり、（例えば、"Digital Image Processing", by Gon
zalez and Woods, Addison-Wesley Publishing Compan
y, 1992といった）文献に記載される、色ヒストグラム
等化である。入力画像Ｉは、まず、以下の標準的な式、
【００２１】
【数５】 を用いて、輝度成分と色度成分を分離するためにＹＩＱ
空間へ変換される。ヒストグラム等化処理は、Ｙにのみ
適用され、等化された輝度Ｙ’を生じさせる。ＹＩＱか
らＲＧＢへの逆写像は、以下の式、
空間へ変換される。ヒストグラム等化処理は、Ｙにのみ
適用され、等化された輝度Ｙ’を生じさせる。ＹＩＱか
らＲＧＢへの逆写像は、以下の式、
【００２２】
【数６】 に従って行われる。
【００２３】色ヒストグラム等化における重要な問題
は、飽和クリッピングである。ここで、等化の結果とし
て得られるＹ’は、Ｃ'iを、２５５を越えさせるか又は
０を下回らせることに注意すべきである。これが生ずる
のを防止するため、Ｃ'iに対してクリッピング手順が用
いられる。クリッピング飽和のための疑似コードは、以
下の通りであり、
は、飽和クリッピングである。ここで、等化の結果とし
て得られるＹ’は、Ｃ'iを、２５５を越えさせるか又は
０を下回らせることに注意すべきである。これが生ずる
のを防止するため、Ｃ'iに対してクリッピング手順が用
いられる。クリッピング飽和のための疑似コードは、以
下の通りであり、
【００２４】
【数７】 、但し、ｋ，ｋ1，ｋ2，ｋ3はゼロへ初期化される。
【００２５】前処理決定が「ノー」であれば、元の画像
ＩはｇＲＧＢ変換段階３２へ送られる。
ＩはｇＲＧＢ変換段階３２へ送られる。
【００２６】概して、初期化段階２１は、前処理決定に
応じて肌色検出段階３５へ画像を送り、元の画像Ｉ又は
ヒストグラム等化された画像Ｉ’がｇＲＧＢ変換段階３
２へ送られる。表記を統一するため、ＩRGB＝｛Ｃi｝と
定義し、但し、３つの色チャンネルについてｉ＝１，
２，３であり、ＣiはＣi（ｍ，ｎ）の要素を有する行列
であり、ｍ＝０，．．．，Ｍ−１でありｎ＝０，．．．
Ｎ−１であるとする。以下、元の画像とヒストグラム等
化された画像を共にＩRGBと表わすものとする。
応じて肌色検出段階３５へ画像を送り、元の画像Ｉ又は
ヒストグラム等化された画像Ｉ’がｇＲＧＢ変換段階３
２へ送られる。表記を統一するため、ＩRGB＝｛Ｃi｝と
定義し、但し、３つの色チャンネルについてｉ＝１，
２，３であり、ＣiはＣi（ｍ，ｎ）の要素を有する行列
であり、ｍ＝０，．．．，Ｍ−１でありｎ＝０，．．．
Ｎ−１であるとする。以下、元の画像とヒストグラム等
化された画像を共にＩRGBと表わすものとする。
【００２７】やはり図２を参照するに、入力ＲＧＢ画像
ＩRGBはｇＲＧＢ変換段階３２において一般化されたＲ
ＧＢ画像ＩgRGBへ変換され、これは、ＩgRGB＝｛ｃi｝
と定義され、ｃiはｃi（ｍ，ｎ）の要素を有する行列で
あり、ｍ＝０，．．．，Ｍ−１でありｎ＝０，．．．Ｎ
−１である。変換は、以下の式、
ＩRGBはｇＲＧＢ変換段階３２において一般化されたＲ
ＧＢ画像ＩgRGBへ変換され、これは、ＩgRGB＝｛ｃi｝
と定義され、ｃiはｃi（ｍ，ｎ）の要素を有する行列で
あり、ｍ＝０，．．．，Ｍ−１でありｎ＝０，．．．Ｎ
−１である。変換は、以下の式、
【００２８】
【数８】 を用い、式中、Ｃiは、入力画像の個々の色チャネル
（Ｒ、Ｇ、又はＢ）である。この変換操作は、
（Ｒ、Ｇ、又はＢ）である。この変換操作は、
【００２９】
【数９】 のときは有効ではなく、出力はゼロに設定される。結果
として得られる３つの新しい要素は線形に依存し、即
ち、
として得られる３つの新しい要素は線形に依存し、即
ち、
【００３０】
【数１０】 であり、それにより３次元から２次元へ潰された新しい
空間（ｇＲＧ平面）を有効に形成するために２つの要素
のみが必要とされる。殆どの場合、ｃ1及びｃ2、即ち一
般化されたＲ及びＧは、肌色分析及び肌色検出に用いら
れる。画像ＩgRGB中の肌色は、楕円分類器３１から多数
の楕円ベクトルを受け取る肌色検出段階３０において検
出される。楕円分類器３１は、事前に画像の大きな母集
団で学習され、これについては図７を参照して以下説明
する。検出された肌色は、セグメンテーション段階２８
において任意にセグメンテーションが行われる。
空間（ｇＲＧ平面）を有効に形成するために２つの要素
のみが必要とされる。殆どの場合、ｃ1及びｃ2、即ち一
般化されたＲ及びＧは、肌色分析及び肌色検出に用いら
れる。画像ＩgRGB中の肌色は、楕円分類器３１から多数
の楕円ベクトルを受け取る肌色検出段階３０において検
出される。楕円分類器３１は、事前に画像の大きな母集
団で学習され、これについては図７を参照して以下説明
する。検出された肌色は、セグメンテーション段階２８
において任意にセグメンテーションが行われる。
【００３１】図３中、肌色検出段階３０について詳述す
る。一般化されたＲＧＢ画像ＩgRGBは，まず投影段階３
６においてｇＲＧ平面上に投影される。この投影は、ｇ
ＲＧ画像ＩgRGを生成する。投影は、単にｇＲＧＢ画像
から成分ｃ3を除去することによって行われる。２つの
成分ｃ2及びｃ3を有するｇＲＧ画像ＩgRGは、図３に示
される第１の楕円ベクトル（楕円ベクトルＩ）を受け取
る第１の（Ｉ）肌色分類器３８へ渡される。図４は、肌
色画素が位置する領域を指定するために使用されるｇＲ
Ｇ色空間５６中の楕円５８の例を示す図である。図４中
の暗い領域６０は、実際の肌色画素領域である。
る。一般化されたＲＧＢ画像ＩgRGBは，まず投影段階３
６においてｇＲＧ平面上に投影される。この投影は、ｇ
ＲＧ画像ＩgRGを生成する。投影は、単にｇＲＧＢ画像
から成分ｃ3を除去することによって行われる。２つの
成分ｃ2及びｃ3を有するｇＲＧ画像ＩgRGは、図３に示
される第１の楕円ベクトル（楕円ベクトルＩ）を受け取
る第１の（Ｉ）肌色分類器３８へ渡される。図４は、肌
色画素が位置する領域を指定するために使用されるｇＲ
Ｇ色空間５６中の楕円５８の例を示す図である。図４中
の暗い領域６０は、実際の肌色画素領域である。
【００３２】パラメータａ，ｂ，（ｏ1，ｏ2）及びθ
は、楕円の定数であり、楕円分類器３１によって生成さ
れる楕円ベクトルを定義する。パラメータａ及びｂは楕
円の軸の長さであり、（ｏ1，ｏ2）は（ｃ1，ｃ2）空間
５６中の楕円の中心座標であり、θはｃ1軸と楕円の長
軸との間の角度である。
は、楕円の定数であり、楕円分類器３１によって生成さ
れる楕円ベクトルを定義する。パラメータａ及びｂは楕
円の軸の長さであり、（ｏ1，ｏ2）は（ｃ1，ｃ2）空間
５６中の楕円の中心座標であり、θはｃ1軸と楕円の長
軸との間の角度である。
【００３３】第１の肌色分類器３８については、中間色
マスクをＰI＝｛ｐI（ｉ，ｊ）｝MX N、即ち、要素ｐ
（ｉ，ｊ）を有するＭｘＮの行列と定義する。一般化さ
れたＲＧＢ画像ＩgRGBの各画素について、評価関数Ｅ
（ｃ1（ｉ，ｊ），ｃ2（ｉ，ｊ））、但し、ｉ＝
０，．．．Ｍ−１；ｊ＝０，．．．Ｎ−１，ｃ1（ｉ，
ｊ）∈［０，１］；ｃ2（ｉ，ｊ）∈［０，１］、を定
義する。分類は、単純に、
マスクをＰI＝｛ｐI（ｉ，ｊ）｝MX N、即ち、要素ｐ
（ｉ，ｊ）を有するＭｘＮの行列と定義する。一般化さ
れたＲＧＢ画像ＩgRGBの各画素について、評価関数Ｅ
（ｃ1（ｉ，ｊ），ｃ2（ｉ，ｊ））、但し、ｉ＝
０，．．．Ｍ−１；ｊ＝０，．．．Ｎ−１，ｃ1（ｉ，
ｊ）∈［０，１］；ｃ2（ｉ，ｊ）∈［０，１］、を定
義する。分類は、単純に、
【００３４】
【数１１】 に従って行われ、但し、「１」は肌色画素を示し、
「０」は非肌色を示し、 Ｅ（ｃ1（ｉ，ｊ），ｃ2（ｉ，ｊ））＝ｘ2 ij／ａ2＋ｙ2 ij／ｂ2 （７） であり、 ｘij＝（ｃ1（ｉ，ｊ）−ｏ1）cos（θ−π／４） −（ｃ2（ｉ，ｊ）−ｏ2）sin（θ−π／４） ｙij＝（ｃ1（ｉ，ｊ）−ｏ1）sin（θ−π／４） −（ｃ2（ｉ，ｊ）−ｏ2）cos（θ−π／４） （８） である。
「０」は非肌色を示し、 Ｅ（ｃ1（ｉ，ｊ），ｃ2（ｉ，ｊ））＝ｘ2 ij／ａ2＋ｙ2 ij／ｂ2 （７） であり、 ｘij＝（ｃ1（ｉ，ｊ）−ｏ1）cos（θ−π／４） −（ｃ2（ｉ，ｊ）−ｏ2）sin（θ−π／４） ｙij＝（ｃ1（ｉ，ｊ）−ｏ1）sin（θ−π／４） −（ｃ2（ｉ，ｊ）−ｏ2）cos（θ−π／４） （８） である。
【００３５】中間の肌色マスクＰIは、評価段階４０へ
渡される。評価手順では、単純に、画像のサイズに対す
る検出された肌画素の数の比率γＩを計算する。評価段
階４０は、２つの分岐を有する。γＩ≧Ｔγである場
合、即ち評価結果が「良い」である場合、処理は肌色領
域マスキング段階４２へ分岐する。この場合、第１の肌
色分類段階３８からの出力ＰIは、肌色領域マスキング
段階４２においてＩgRGBをマスクするために使用され
る。肌色領域マスキング段階４２の出力は、マスクされ
一般化されたＲＧＢ画像、即ち、
渡される。評価手順では、単純に、画像のサイズに対す
る検出された肌画素の数の比率γＩを計算する。評価段
階４０は、２つの分岐を有する。γＩ≧Ｔγである場
合、即ち評価結果が「良い」である場合、処理は肌色領
域マスキング段階４２へ分岐する。この場合、第１の肌
色分類段階３８からの出力ＰIは、肌色領域マスキング
段階４２においてＩgRGBをマスクするために使用され
る。肌色領域マスキング段階４２の出力は、マスクされ
一般化されたＲＧＢ画像、即ち、
【００３６】
【数１２】 である。γＩ＜Ｔγである場合、評価結果は「良くな
い」であり、処理は第２の肌色検出分類段階４４へ分岐
する。Ｔγは適用に依存して一定の範囲の異なる値を取
りうることが明らかであるが、Ｔγの望ましい値は０．
１２である。
い」であり、処理は第２の肌色検出分類段階４４へ分岐
する。Ｔγは適用に依存して一定の範囲の異なる値を取
りうることが明らかであるが、Ｔγの望ましい値は０．
１２である。
【００３７】第２の（ＩＩ）肌色分類段階４４の構造及
び操作は、（ｃ1，ｃ2）空間中の楕円の位置、寸法、及
び向きを決定する異なる楕円ベクトルを使用することを
除き、第１の肌色分類段階３８と同じである。図５に示
すように、楕円分類器３１によって生成されうる幾つか
の可能な楕円Ｅ１−Ｅ７がある。多数の楕円を用いるの
は、偽陽性を減少させると共に、主肌色領域から逸脱し
た肌色、例えば（ｃ1，ｃ2）空間６２中のＥ１を検出す
る機構を提供するためである。例示される場合のよう
に、このような楕円を２つだけ（Ｉ及びＩＩ）使用する
場合については図３を参照して説明されているが、本発
明ではより多くの肌色分類器及び楕円が使用されうるこ
とが理解されよう。
び操作は、（ｃ1，ｃ2）空間中の楕円の位置、寸法、及
び向きを決定する異なる楕円ベクトルを使用することを
除き、第１の肌色分類段階３８と同じである。図５に示
すように、楕円分類器３１によって生成されうる幾つか
の可能な楕円Ｅ１−Ｅ７がある。多数の楕円を用いるの
は、偽陽性を減少させると共に、主肌色領域から逸脱し
た肌色、例えば（ｃ1，ｃ2）空間６２中のＥ１を検出す
る機構を提供するためである。例示される場合のよう
に、このような楕円を２つだけ（Ｉ及びＩＩ）使用する
場合については図３を参照して説明されているが、本発
明ではより多くの肌色分類器及び楕円が使用されうるこ
とが理解されよう。
【００３８】主肌色分類器（第１の分類器段階３８）か
ら他の分類器へ切り換えることにより、検出される肌色
画素が更に少なくなる場合がある。従って、第１の分類
器３８からの結果が先行する評価段階４０において満足
のいくものでなかったとしても、肌色分類段階３８及び
４４からの結果は評価及び選択段階４６において比較さ
れる。より一般的な場合は、選択決定は、以下の式、
ら他の分類器へ切り換えることにより、検出される肌色
画素が更に少なくなる場合がある。従って、第１の分類
器３８からの結果が先行する評価段階４０において満足
のいくものでなかったとしても、肌色分類段階３８及び
４４からの結果は評価及び選択段階４６において比較さ
れる。より一般的な場合は、選択決定は、以下の式、
【００３９】
【数１３】 に従って行われ、但し、ＰはＰ＝｛ｐ（ｉ，ｊ）｝MXN
として定義される第１の肌色マスクであり、Ｐiは肌色
分類器Ｉ，ＩＩからの中間肌色マスクであり、２つ以上
の分類器が使用される場合も同様である。この第１の肌
色マスクＰは、肌色領域マスキング段階４２において使
用される。
として定義される第１の肌色マスクであり、Ｐiは肌色
分類器Ｉ，ＩＩからの中間肌色マスクであり、２つ以上
の分類器が使用される場合も同様である。この第１の肌
色マスクＰは、肌色領域マスキング段階４２において使
用される。
【００４０】主肌色検出器（第１の分類器３８）からの
結果が満足のいくものであれば、Ｐ Iは、続く肌色領域
マスキング段階４２において第１の肌色マスクとして直
接使用される。満足のいくものでなければ、処理は例え
ば第２の分類器４４といった他の分類器へ分岐し、新し
い結果と主分類器（第１の分類器３８）からの結果の両
方の結果が評価され、良い方（又は最も良いもの）をマ
スキング段階４２へ送信されるべき第１の肌色マスクと
して選択する。
結果が満足のいくものであれば、Ｐ Iは、続く肌色領域
マスキング段階４２において第１の肌色マスクとして直
接使用される。満足のいくものでなければ、処理は例え
ば第２の分類器４４といった他の分類器へ分岐し、新し
い結果と主分類器（第１の分類器３８）からの結果の両
方の結果が評価され、良い方（又は最も良いもの）をマ
スキング段階４２へ送信されるべき第１の肌色マスクと
して選択する。
【００４１】尚、図３中、肌色分類器３８及び４４に対
して帰還路３９及び４１がある。これらの帰還路は、検
出結果自体を評価のために分類器へ与える。評価処理と
は、画像サイズに対する検出された肌画素の数の比率を
計算することである。比率が所定の閾値よりも小さけれ
ば、より多くの色を含むよう分類器楕円は例えば３０％
又は４０％以上だけ拡張される。
して帰還路３９及び４１がある。これらの帰還路は、検
出結果自体を評価のために分類器へ与える。評価処理と
は、画像サイズに対する検出された肌画素の数の比率を
計算することである。比率が所定の閾値よりも小さけれ
ば、より多くの色を含むよう分類器楕円は例えば３０％
又は４０％以上だけ拡張される。
【００４２】肌色領域マスキング段階４２から２つの出
力が発生する。１つは、マスクされたｇＲＧＢ画像であ
り、もう１つは、肌色マスクＰ自体である。これらの２
つの出力は、以下説明する続く任意の金髪色画素除去に
おいて使用される。
力が発生する。１つは、マスクされたｇＲＧＢ画像であ
り、もう１つは、肌色マスクＰ自体である。これらの２
つの出力は、以下説明する続く任意の金髪色画素除去に
おいて使用される。
【００４３】図６を参照するに、金髪の色の画素７２は
肌の色の画素７１の大部分が存在するのと同じ領域であ
るが、金髪を有する人々の肌色領域７０に隣接して生ず
ることがわかる。最も最近の既存の肌検出アルゴリズム
は、金髪の色の画素を考慮に入れていない。これは、例
えば分類された肌色領域の実際のサイズの検出に依存す
る赤目検出アルゴリズムといった、肌色の領域のサイズ
に敏感な画像理解適応において問題となりうる。金髪の
色の画素の除去の技術は、本願に参照として組み入れら
れ、以下詳述する、「Method of Blond-Hair-Pixel Rem
oval in ImageSkin-Color Detection」なる名称の上述
の継続中の出願番号［出願人整理番号Ｎｏ．８１３２１
ＤＭＷ］の明細書に記載されている。
肌の色の画素７１の大部分が存在するのと同じ領域であ
るが、金髪を有する人々の肌色領域７０に隣接して生ず
ることがわかる。最も最近の既存の肌検出アルゴリズム
は、金髪の色の画素を考慮に入れていない。これは、例
えば分類された肌色領域の実際のサイズの検出に依存す
る赤目検出アルゴリズムといった、肌色の領域のサイズ
に敏感な画像理解適応において問題となりうる。金髪の
色の画素の除去の技術は、本願に参照として組み入れら
れ、以下詳述する、「Method of Blond-Hair-Pixel Rem
oval in ImageSkin-Color Detection」なる名称の上述
の継続中の出願番号［出願人整理番号Ｎｏ．８１３２１
ＤＭＷ］の明細書に記載されている。
【００４４】金髪に関連付けられた顔を有する画像を取
り扱うことが困難であることが分かっている。これらの
場合、従来の肌色検出処理は、赤目検出手順に役立つよ
うな満足のいく又は所望の結果を生じさせることができ
ない。上述された段階において得られたマスクされた肌
色画像から金髪色画素を除去することが望ましい。
り扱うことが困難であることが分かっている。これらの
場合、従来の肌色検出処理は、赤目検出手順に役立つよ
うな満足のいく又は所望の結果を生じさせることができ
ない。上述された段階において得られたマスクされた肌
色画像から金髪色画素を除去することが望ましい。
【００４５】しかしながら、顔の肌の色から肌の色を分
けうるように、（ｃ1，ｃ2）空間６８中で金髪色領域７
２及び肌色領域７０といった副領域をパラメータ化する
のは簡単な作業ではない。空間の次元が１次元まで下が
れば、肌色画素から金髪色画素を分離するのはかなり容
易となる。この次元の更なる低下は、色相画像へ変換す
る段階５４において、マスクされた一般化されたＲＧＢ
画像
けうるように、（ｃ1，ｃ2）空間６８中で金髪色領域７
２及び肌色領域７０といった副領域をパラメータ化する
のは簡単な作業ではない。空間の次元が１次元まで下が
れば、肌色画素から金髪色画素を分離するのはかなり容
易となる。この次元の更なる低下は、色相画像へ変換す
る段階５４において、マスクされた一般化されたＲＧＢ
画像
【００４６】
【外５】 を色相画像Ｈ＝｛ｈ（ｍ，ｎ）｝MXNへ変換することに
よって行われる。典型的な色相変換は、
よって行われる。典型的な色相変換は、
【００４７】
【数１４】 のように行われる。
【００４８】金髪色検出段階５２では、要素ｈ（ｍ，
ｎ）が肌画素であるか金髪画素であるかを判定するため
に所定の区分パラメータＴH＝１５が用いられる。第２
のマスク
ｎ）が肌画素であるか金髪画素であるかを判定するため
に所定の区分パラメータＴH＝１５が用いられる。第２
のマスク
【００４９】
【数１５】 が作成される。ｈ（ｍ，ｎ）が肌画素であれば、対応す
る要素は
る要素は
【００５０】
【数１６】 であり、そうでなければ、
【００５１】
【数１７】 である。幾つかの場合には、金髪色画素の除去によっ
て、真の肌色画素が除去あされることがあり、結果とし
て得られる第２の肌色マスクは使用不可能な小さい領域
にまで縮小する。従って、第１の肌色マスクＰが呼び戻
され、第２の肌色マスク
て、真の肌色画素が除去あされることがあり、結果とし
て得られる第２の肌色マスクは使用不可能な小さい領域
にまで縮小する。従って、第１の肌色マスクＰが呼び戻
され、第２の肌色マスク
【００５２】
【外６】 は捨てられる。この動作は、図３に示されるように金髪
色検出段階５１に続く評価及び選択段階５０において行
われる。第２の肌色画像マスクが第１の肌色マスクより
も所定の量だけ小さければ、第１の肌色画像マスクが選
択され、そうでなければ第２の肌色画像マスクが選択さ
れる。マスクされたＲＧＢ色画像
色検出段階５１に続く評価及び選択段階５０において行
われる。第２の肌色画像マスクが第１の肌色マスクより
も所定の量だけ小さければ、第１の肌色画像マスクが選
択され、そうでなければ第２の肌色画像マスクが選択さ
れる。マスクされたＲＧＢ色画像
【００５３】
【外７】 は、選択された肌色画像マスクと元のＲＧＢ色画像Ｉ
RGBのＡＮＤ演算の結果として得られる。この演算は、
肌色領域マスキング段階４８において行われる。
RGBのＡＮＤ演算の結果として得られる。この演算は、
肌色領域マスキング段階４８において行われる。
【００５４】図７を参照するに、サンプル肌色パッチの
収集のために、異なる源からの１０００以上の画像を含
む大きい画像プール７４が準備される。準備された全て
の画像から肌パッチを収集する必要はない。一組のラン
ダムに選択された画像は、理論上及び実際上も、画像プ
ール全体を代表するのに十分なはずである。画像プール
から画像を取り出し、一組のランダムに選択された画像
７６を形成するために、一組の均一に分布された指標が
使用される。サンプル肌色パッチ７８は、取り出された
画像から手動で収集される。収集された肌色パッチは、
上述の式（５）を用いてＲＧＢ空間からｇＲＧＢ空間８
０へ変換される。ｇＲＧＢ画像のｇＲＧＢデータは、ｇ
ＲＧ平面８４、即ち上述の（ｃ1，ｃ2）空間中でその分
布密度８２に関して評価される。実際上は、分布密度
は、ｇＲＧデータのヒストグラムを用いて近似される。
分布密度ピークの５％未満の長さの要素を除去した後、
分布密度は（ｃ1，ｃ2）空間へ投射される。投射された
クラスタ８８は、ｇＲＧ平面８６上に楕円領域を近似的
に形成する。楕円分類器学習の最後の段階は、楕円領域
についてのパラメータを見つけることである。ｇＲＧ平
面９０上で最もよく一致する楕円９２はモーメントに基
づいて計算される。楕円は、中心（ｏ1，ｏ2）、向き
θ、短軸ａ、及び長軸ｂ（図４参照）により定義され
る。楕円領域の中心は、以下の式、 ｏ1＝ｍ10／ｍ00 ｏ2＝ｍ01／ｍ00 （１１） により計算され、モーメントは、以下の式、
収集のために、異なる源からの１０００以上の画像を含
む大きい画像プール７４が準備される。準備された全て
の画像から肌パッチを収集する必要はない。一組のラン
ダムに選択された画像は、理論上及び実際上も、画像プ
ール全体を代表するのに十分なはずである。画像プール
から画像を取り出し、一組のランダムに選択された画像
７６を形成するために、一組の均一に分布された指標が
使用される。サンプル肌色パッチ７８は、取り出された
画像から手動で収集される。収集された肌色パッチは、
上述の式（５）を用いてＲＧＢ空間からｇＲＧＢ空間８
０へ変換される。ｇＲＧＢ画像のｇＲＧＢデータは、ｇ
ＲＧ平面８４、即ち上述の（ｃ1，ｃ2）空間中でその分
布密度８２に関して評価される。実際上は、分布密度
は、ｇＲＧデータのヒストグラムを用いて近似される。
分布密度ピークの５％未満の長さの要素を除去した後、
分布密度は（ｃ1，ｃ2）空間へ投射される。投射された
クラスタ８８は、ｇＲＧ平面８６上に楕円領域を近似的
に形成する。楕円分類器学習の最後の段階は、楕円領域
についてのパラメータを見つけることである。ｇＲＧ平
面９０上で最もよく一致する楕円９２はモーメントに基
づいて計算される。楕円は、中心（ｏ1，ｏ2）、向き
θ、短軸ａ、及び長軸ｂ（図４参照）により定義され
る。楕円領域の中心は、以下の式、 ｏ1＝ｍ10／ｍ00 ｏ2＝ｍ01／ｍ00 （１１） により計算され、モーメントは、以下の式、
【００５５】
【数１８】 によって計算され、但し本願ではｆ（ｃ1，ｃ2）＝１で
ある。向きθは、最小の慣性モーメント、即ち、
ある。向きθは、最小の慣性モーメント、即ち、
【００５６】
【数１９】 を決めることにより計算され、中心モーメントは以下の
式、
式、
【００５７】
【数２０】 により計算され、最後に、短軸及び長軸の長さは、以下
の式、
の式、
【００５８】
【数２１】 により計算される。上述の計算は、楕円ベクトル［ａ，
ｂ，ｏ1，ｏ2，θ］９４の最初の組を与える。実際上
は、最終的な楕円をｇＲＧデータクラスタ８８に最もよ
く当てはめるために、手動の調整が必要である。
ｂ，ｏ1，ｏ2，θ］９４の最初の組を与える。実際上
は、最終的な楕円をｇＲＧデータクラスタ８８に最もよ
く当てはめるために、手動の調整が必要である。
【００５９】本発明の主題はディジタル画像理解技術に
関するものであり、これは、ディジタル画像を認識し、
それにより人間が理解可能な対象、属性、又は条件に対
して有用な意味を割り当て、得られた結果をディジタル
画像の更なる処理に使用するために、ディジタル画像を
ディジタル式に処理する技術を意味すると理解される。
関するものであり、これは、ディジタル画像を認識し、
それにより人間が理解可能な対象、属性、又は条件に対
して有用な意味を割り当て、得られた結果をディジタル
画像の更なる処理に使用するために、ディジタル画像を
ディジタル式に処理する技術を意味すると理解される。
【００６０】
【発明の効果】本発明の利点は、画像が正しくバランス
調整されていない場合でもうまく動作し、更に種々の肌
色についてもうまく動作することである。
調整されていない場合でもうまく動作し、更に種々の肌
色についてもうまく動作することである。
【図１】本発明を実施するのに有用な画像処理システム
を示す概略図である。
を示す概略図である。
【図２】本発明の方法の段階を示すフローチャートであ
る。
る。
【図３】図２に示される肌色検出段階を示す詳細なフロ
ーチャートである。
ーチャートである。
【図４】２次元色空間中の楕円分類器の例を示す図であ
る。
る。
【図５】本発明において使用される複数の肌色分類器領
域を有する２次元色空間を示す図である。
域を有する２次元色空間を示す図である。
【図６】肌色領域及び金髪色領域を有する２次元色空間
を示す図である。
を示す図である。
【図７】図２に示される楕円分類器段階を学習させるた
めに使用される処理を示す概略図である。
めに使用される処理を示す概略図である。
１０ ディジタル画像源 １２ 画像プロセッサ １４ ディスプレイ １６ キーボード １８ マウス ２０ 出力装置 ２２ 順位フィルタ ２４ 色平均統計計算 ２６ 前処理決定 ２８ セグメンテーション段階 ３０ 肌色検出段階 ３１ 楕円分類器 ３２ ｓＲＧＢ変換段階 ３４ 非線形処理段階 ３５ 肌色検出段階 ３６ 投影段階 ３８ 第１の肌色分類段階 ３９ 帰還路 ４０ 評価段階 ４１ 帰還路 ４２ 肌色領域マスキング段階 ４４ 第２の肌色分類段階 ４６ 評価及び選択段階 ４８ 肌色領域マスキング段階 ５０ 評価及び選択段階 ５２ 金髪色検出段階 ５４ 色相画像への変換段階 ５６ ｓＲＧＢ色空間 ５８ 楕円 ６０ 暗い領域 ６２ ｓＲＧ（ｃ1，ｃ2）色空間 ６８ ｓＲＧ（ｃ1，ｃ2）色空間 ７０ 金髪の人の肌色領域 ７１ 肌の色の画素 ７２ 金髪の色の画素 ７４ 画像プール ７６ ランダムに選択された画像 ７８ サンプル肌色パッチ ８０ ｓＲＧＢ空間 ８２ 分布密度 ８４ ｇＲＧ平面 ８６ ｇＲＧ平面 ８８ 投影されたクラスタ ９０ ｇＲＧ平面 ９２ 最もよく一致する楕円 ９４ 楕円ベクトル
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ローレンス エイ レイ アメリカ合衆国 ニューヨーク 14610 ロチェスター エルムウッド・アヴェニュ 3861 Ｆターム(参考） 5B057 CE16 CE18 DA08 DB02 DB06 DB09 DC23 DC25 5C077 MP08 PP32 PP34 PP46 PP58 PQ18 PQ19 5C079 HB01 HB04 HB12 LA02 LA10 5L096 AA02 AA06 DA01 FA15 FA32 FA35 FA54 FA55 GA10 GA40 GA51 GA55
Claims (3)
- 【請求項１】 ＲＧＢ色空間に画素を有するディジタル
画像中で肌色を検出する方法であって、 （ａ）平均ＲＧＢ色値を決定するためにディジタルカラ
ー画像の統計的な解析を行う段階と、 （ｂ）上記色のうちのいずれかの平均値が所定の閾値未
満である場合は、画像中の肌の色を上記色空間の所定の
領域へ向かって動かすために上記ディジタル画像に変換
を適用する段階と、 （ｃ）上記ディジタルカラー画像中の上記肌色画素の位
置を見つけるために上記変換された空間を使用する段階
とを含む方法。 - 【請求項２】 上記段階（ｃ）は、 ｇＲＧＢディジタル画像を生成するために、ＲＧＢ空間
からの上記変換されたディジタル画像を一般化されたＲ
ＧＢ空間へ変換する段階と、 上記ｇＲＧＢディジタル画像中の肌色画素を検出する段
階と、 上記検出された肌色画素に基づいて第１の肌色画像マス
クを作成する段階と、 上記ディジタルカラー画像中で上記肌色画素の位置を見
つけるために上記第１の肌色画像マスクを使用する段階
とを更に含む、請求項１記載の方法。 - 【請求項３】 上記段階（ｃ）は、 上記検出された肌色画素に基づいて第２の肌色画像マス
クを作成する段階と、 所定の規準に基づいて、上記第１の肌色画像マスク又は
上記第２の肌色画像マスクを選択する段階と、 上記ディジタルカラー画像中で上記肌色画素の位置を見
つけるために上記選択された肌色画像マスクを使用する
段階とを更に含む、請求項２記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/692,930 US6690822B1 (en) | 2000-10-20 | 2000-10-20 | Method for detecting skin color in a digital image |
| US692930 | 2000-10-20 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002197457A true JP2002197457A (ja) | 2002-07-12 |
| JP3775782B2 JP3775782B2 (ja) | 2006-05-17 |
Family
ID=24782627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001322732A Expired - Fee Related JP3775782B2 (ja) | 2000-10-20 | 2001-10-19 | ディジタル画像中の肌色を検出する方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6690822B1 (ja) |
| EP (1) | EP1223550B1 (ja) |
| JP (1) | JP3775782B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005190474A (ja) * | 2003-12-09 | 2005-07-14 | Mitsubishi Electric Information Technology Centre Europa Bv | 画像において画素を分類する方法、画像信号を処理する方法、前記方法を使用して肌を検出する方法、前記方法を使用して導出されたデータを使用し、符号化し、送信し、受信し、または復号するように構成される方法および装置、前記方法を実行するように構成される装置、前記方法を実行するコンピュータプログラム、およびコンピュータプログラムを格納するコンピュータ読取可能記憶媒体 |
| KR100695159B1 (ko) | 2005-08-04 | 2007-03-14 | 삼성전자주식회사 | 피부색 모델을 위한 알지비 맵 생성장치 및 방법과 이를이용한 피부색 검출장치 및 방법 |
| US7251363B2 (en) | 2003-07-29 | 2007-07-31 | Ventana Medical Systems, Inc. | Method and system for creating an image mask |
| CN104123698A (zh) * | 2013-04-25 | 2014-10-29 | 北京信路威科技股份有限公司 | 应用于智能一体化摄像机的夜间图像增强方法 |
Families Citing this family (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7088855B1 (en) | 2001-01-22 | 2006-08-08 | Adolfo Pinheiro Vide | Method and system for removal of red eye effects |
| EP1229734A1 (en) * | 2001-01-31 | 2002-08-07 | GRETAG IMAGING Trading AG | Automatic colour defect correction |
| JP4086580B2 (ja) * | 2002-07-30 | 2008-05-14 | キヤノン株式会社 | 画像処理装置、プログラム及び方法 |
| US7039222B2 (en) * | 2003-02-28 | 2006-05-02 | Eastman Kodak Company | Method and system for enhancing portrait images that are processed in a batch mode |
| EP1517542B1 (en) * | 2003-09-01 | 2010-11-10 | Samsung Electronics Co., Ltd. | Method and apparatus for adjusting colors of an image |
| US7623707B2 (en) | 2004-09-15 | 2009-11-24 | Adobe Systems Incorporated | Hierarchically locating a feature in a digital image |
| US8081818B2 (en) | 2004-09-15 | 2011-12-20 | Adobe Systems Incorporated | Locating a feature in a digital image |
| US7577291B2 (en) * | 2005-03-07 | 2009-08-18 | Oplus Technologies Ltd. | Method of color correction |
| US7751622B2 (en) * | 2005-08-22 | 2010-07-06 | Carestream Health, Inc. | Method and system for detection of undesirable images |
| JP4924606B2 (ja) * | 2006-04-28 | 2012-04-25 | 株式会社ニコン | 被写体抽出方法、被写体追跡方法、画像合成方法、被写体抽出コンピュータプログラム、被写体追跡コンピュータプログラム、画像合成コンピュータプログラム、被写体抽出装置、被写体追跡装置、および画像合成装置 |
| KR100862341B1 (ko) * | 2006-11-13 | 2008-10-13 | 삼성전기주식회사 | 사람의 피부 영역 검출장치 및 그 방법 |
| FR2910143B1 (fr) * | 2006-12-19 | 2009-04-03 | Eastman Kodak Co | Procede pour predire automatiquement des mots dans un texte associe a un message multimedia |
| ITVA20060079A1 (it) * | 2006-12-19 | 2008-06-20 | St Microelectronics Srl | Metodo di classificazione cromatica di pixel e metodo di miglioramento adattativo di un'immagine a colori |
| US8437514B2 (en) * | 2007-10-02 | 2013-05-07 | Microsoft Corporation | Cartoon face generation |
| US8218862B2 (en) * | 2008-02-01 | 2012-07-10 | Canfield Scientific, Incorporated | Automatic mask design and registration and feature detection for computer-aided skin analysis |
| US8027521B1 (en) | 2008-03-25 | 2011-09-27 | Videomining Corporation | Method and system for robust human gender recognition using facial feature localization |
| US8831379B2 (en) * | 2008-04-04 | 2014-09-09 | Microsoft Corporation | Cartoon personalization |
| JP4384240B2 (ja) | 2008-05-28 | 2009-12-16 | 株式会社東芝 | 画像処理装置、画像処理方法、画像処理プログラム |
| US8406482B1 (en) * | 2008-08-28 | 2013-03-26 | Adobe Systems Incorporated | System and method for automatic skin tone detection in images |
| KR101549824B1 (ko) * | 2008-12-11 | 2015-09-03 | 삼성전자주식회사 | 피부색 보정 방법 및 장치, 이를 이용한 디지털 촬영 장치 |
| US20100158357A1 (en) * | 2008-12-19 | 2010-06-24 | Qualcomm Incorporated | Image processing method and system of skin color enhancement |
| US7916905B2 (en) * | 2009-02-02 | 2011-03-29 | Kabushiki Kaisha Toshiba | System and method for image facial area detection employing skin tones |
| US8319857B2 (en) * | 2009-02-26 | 2012-11-27 | Access Business Group International Llc | Apparatus and method for correcting digital color photographs |
| CN101893481B (zh) * | 2009-05-18 | 2014-04-30 | 姜宁 | 色彩属性测试判断方法和系统 |
| JP2011221812A (ja) * | 2010-04-09 | 2011-11-04 | Sony Corp | 情報処理装置及び方法、並びにプログラム |
| CN103106386A (zh) * | 2011-11-10 | 2013-05-15 | 华为技术有限公司 | 动态自适应肤色分割方法和装置 |
| JP5757259B2 (ja) * | 2012-02-28 | 2015-07-29 | ブラザー工業株式会社 | 画像処理装置及び画像処理プログラム |
| US9208749B2 (en) * | 2012-11-13 | 2015-12-08 | Htc Corporation | Electronic device and method for enhancing readability of an image thereof |
| US8983152B2 (en) | 2013-05-14 | 2015-03-17 | Google Inc. | Image masks for face-related selection and processing in images |
| US20150030243A1 (en) | 2013-07-24 | 2015-01-29 | Di Qu | Chart for evaluating skin color and its application to efficacy evaluation of anti-aging and skin lightening products |
| US9196056B2 (en) | 2013-08-19 | 2015-11-24 | Manufacturing Techniques, Inc. | Electro-optical system and method for analyzing images of a scene to identify the presence of a target color |
| GB2519620B (en) | 2013-10-23 | 2015-12-30 | Imagination Tech Ltd | Skin colour probability map |
| CN104794423B (zh) * | 2014-01-21 | 2019-02-12 | 厦门美图网科技有限公司 | 一种基于色彩空间的皮肤识别方法 |
| US9256950B1 (en) | 2014-03-06 | 2016-02-09 | Google Inc. | Detecting and modifying facial features of persons in images |
| GB2541865A (en) * | 2015-07-30 | 2017-03-08 | Emerald Medical Applications Ltd | Image processing system and method |
| US9864901B2 (en) | 2015-09-15 | 2018-01-09 | Google Llc | Feature detection and masking in images based on color distributions |
| US9547908B1 (en) | 2015-09-28 | 2017-01-17 | Google Inc. | Feature mask determination for images |
| US10497179B2 (en) | 2018-02-23 | 2019-12-03 | Hong Kong Applied Science and Technology Research Institute Company Limited | Apparatus and method for performing real object detection and control using a virtual reality head mounted display system |
| CN110706187B (zh) * | 2019-05-31 | 2022-04-22 | 成都品果科技有限公司 | 一种均匀肤色的图像调整方法 |
| CN111861981B (zh) * | 2020-05-29 | 2023-05-30 | 北京工商大学 | 一种基于点线面的图像颜色空间脂肪点检测评估方法 |
| WO2023050004A1 (en) * | 2021-09-29 | 2023-04-06 | Fitskin Inc. | Systems and method for skin color determination |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS52156624A (en) | 1976-06-22 | 1977-12-27 | Fuji Photo Film Co Ltd | Detection of skin color of color film |
| JPH0250859A (ja) * | 1988-08-11 | 1990-02-20 | Dainippon Screen Mfg Co Ltd | 色分解条件設定方法および装置 |
| US5128711A (en) | 1989-04-28 | 1992-07-07 | Fuji Photo Film Co., Ltd. | Apparatus for recording position information of principal image and method of detecting principal image |
| US6249317B1 (en) * | 1990-08-01 | 2001-06-19 | Minolta Co., Ltd. | Automatic exposure control apparatus |
| US6072526A (en) * | 1990-10-15 | 2000-06-06 | Minolta Co., Ltd. | Image sensing device that can correct colors corresponding to skin in a video signal |
| US5488429A (en) * | 1992-01-13 | 1996-01-30 | Mitsubishi Denki Kabushiki Kaisha | Video signal processor for detecting flesh tones in am image |
| JP3370770B2 (ja) * | 1994-04-15 | 2003-01-27 | 松下電器産業株式会社 | 映像信号の肌色再生回路 |
| US5715377A (en) * | 1994-07-21 | 1998-02-03 | Matsushita Electric Industrial Co. Ltd. | Gray level correction apparatus |
| JP3799633B2 (ja) * | 1995-06-16 | 2006-07-19 | セイコーエプソン株式会社 | 顔画像処理方法および顔画像処理装置 |
| US6343141B1 (en) * | 1996-10-08 | 2002-01-29 | Lucent Technologies Inc. | Skin area detection for video image systems |
| KR100343223B1 (ko) * | 1999-12-07 | 2002-07-10 | 윤종용 | 화자 위치 검출 장치 및 그 방법 |
-
2000
- 2000-10-20 US US09/692,930 patent/US6690822B1/en not_active Expired - Fee Related
-
2001
- 2001-10-08 EP EP01203798A patent/EP1223550B1/en not_active Expired - Lifetime
- 2001-10-19 JP JP2001322732A patent/JP3775782B2/ja not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7251363B2 (en) | 2003-07-29 | 2007-07-31 | Ventana Medical Systems, Inc. | Method and system for creating an image mask |
| JP2005190474A (ja) * | 2003-12-09 | 2005-07-14 | Mitsubishi Electric Information Technology Centre Europa Bv | 画像において画素を分類する方法、画像信号を処理する方法、前記方法を使用して肌を検出する方法、前記方法を使用して導出されたデータを使用し、符号化し、送信し、受信し、または復号するように構成される方法および装置、前記方法を実行するように構成される装置、前記方法を実行するコンピュータプログラム、およびコンピュータプログラムを格納するコンピュータ読取可能記憶媒体 |
| JP4722467B2 (ja) * | 2003-12-09 | 2011-07-13 | ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ | 画像において画素を分類する方法、前記方法を使用して肌を検出する方法、前記方法を使用して導出されたデータを使用し、符号化し、送信し、受信し、または復号するように構成される方法および装置、前記方法を実行するように構成される装置、前記方法をコンピュータに実行させるコンピュータプログラム、ならびにコンピュータプログラムを格納するコンピュータ読取可能記憶媒体 |
| KR100695159B1 (ko) | 2005-08-04 | 2007-03-14 | 삼성전자주식회사 | 피부색 모델을 위한 알지비 맵 생성장치 및 방법과 이를이용한 피부색 검출장치 및 방법 |
| CN104123698A (zh) * | 2013-04-25 | 2014-10-29 | 北京信路威科技股份有限公司 | 应用于智能一体化摄像机的夜间图像增强方法 |
| CN104123698B (zh) * | 2013-04-25 | 2018-05-08 | 北京信路威科技股份有限公司 | 应用于智能一体化摄像机的夜间图像增强方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1223550A3 (en) | 2004-06-30 |
| US6690822B1 (en) | 2004-02-10 |
| EP1223550B1 (en) | 2012-12-05 |
| EP1223550A2 (en) | 2002-07-17 |
| JP3775782B2 (ja) | 2006-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3775782B2 (ja) | ディジタル画像中の肌色を検出する方法 | |
| US7953251B1 (en) | Method and apparatus for detection and correction of flash-induced eye defects within digital images using preview or other reference images | |
| US8811733B2 (en) | Method of chromatic classification of pixels and method of adaptive enhancement of a color image | |
| EP1918872B1 (en) | Image segmentation method and system | |
| US8170350B2 (en) | Foreground/background segmentation in digital images | |
| US8194992B2 (en) | System and method for automatic enhancement of seascape images | |
| JP3769487B2 (ja) | 画像肌色検出における金髪画素除去方法 | |
| US7636485B2 (en) | Method and system for enhancing portrait images that are processed in a batch mode | |
| JP3557659B2 (ja) | 顔抽出方法 | |
| US8285059B2 (en) | Method for automatic enhancement of images containing snow | |
| KR101446975B1 (ko) | 얼굴 검출 기능을 사용한 얼굴 및 피부의 자동 미화 | |
| JP2001126075A (ja) | 画像処理方法および装置並びに記録媒体 | |
| EP1223551A2 (en) | Doubleprint photofinishing service with the second print having subject content-based modifications | |
| JP2007047965A (ja) | デジタル画像の対象物検出方法および装置並びにプログラム | |
| JP2003196653A (ja) | イメージコンテンツに基づいて画像の特性を改善するための方法及びシステム | |
| US7212674B1 (en) | Method, apparatus and recording medium for face extraction | |
| JP3516786B2 (ja) | 顔領域抽出方法及び複写条件決定方法 | |
| KR20130058972A (ko) | 자동 영상보정을 위한 영상 처리 장치 및 방법 | |
| Zini et al. | Back to the future: a night photography rendering ISP without deep learning | |
| JP4100860B2 (ja) | 画像処理装置および画像処理方法および記録媒体 | |
| JP3473832B2 (ja) | ディジタル画像の自動補正方法及びそのシステム | |
| JP4445026B2 (ja) | 画像処理方法および装置並びにプログラム | |
| JP2003337945A (ja) | 画像分類プログラム及び画像分類方法 | |
| EP2143069A1 (en) | Method for red eye detection in a digital image | |
| JP2022137657A (ja) | 学習データ生成システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040909 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060220 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100303 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100303 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110303 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120303 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130303 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130303 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140303 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |