JP2003346145A - 画像あるいは一連の画像内の１つあるいは複数の色領域を検出しかつ／または追跡するための方法および装置 - Google Patents
画像あるいは一連の画像内の１つあるいは複数の色領域を検出しかつ／または追跡するための方法および装置Info
- Publication number
- JP2003346145A JP2003346145A JP2003099347A JP2003099347A JP2003346145A JP 2003346145 A JP2003346145 A JP 2003346145A JP 2003099347 A JP2003099347 A JP 2003099347A JP 2003099347 A JP2003099347 A JP 2003099347A JP 2003346145 A JP2003346145 A JP 2003346145A
- Authority
- JP
- Japan
- Prior art keywords
- group
- image
- color
- skin
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/643—Hue control means, e.g. flesh tone control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
(57)【要約】
【課題】 画像内の所定の色特性を有する少なくとも１
つの領域を検出する方法を提供すること。 【解決手段】 本発明による方法は、画像内の画素の色
値を第１の色空間から第２の色空間に変換することと、
第２の色空間内の色値を用いて、画素と所定の色特性と
の間の一致を表す確率値を求めることであって、確率値
は多数の値にわたって変動する、該求めることと、確率
値を用いて、所定の色特性に少なくとも近い画素を特定
することと、所定の色特性に少なくとも近い画素をグル
ープ化することと、各グループについての情報を抽出す
ることとを含み、画素は多数の確率値それぞれにしたが
って重み付けされ、その重みは、画素をグループ化する
際に、かつ／または１つのグループについての情報を抽
出する際に用いられる。
つの領域を検出する方法を提供すること。 【解決手段】 本発明による方法は、画像内の画素の色
値を第１の色空間から第２の色空間に変換することと、
第２の色空間内の色値を用いて、画素と所定の色特性と
の間の一致を表す確率値を求めることであって、確率値
は多数の値にわたって変動する、該求めることと、確率
値を用いて、所定の色特性に少なくとも近い画素を特定
することと、所定の色特性に少なくとも近い画素をグル
ープ化することと、各グループについての情報を抽出す
ることとを含み、画素は多数の確率値それぞれにしたが
って重み付けされ、その重みは、画素をグループ化する
際に、かつ／または１つのグループについての情報を抽
出する際に用いられる。
Description
【０００１】
【発明の属する技術分野】本発明は画像内の１つあるい
は複数の色領域を検出するかつ／または追跡するための
方法および装置に関する。本発明は主に、画像内の顔領
域のような皮膚色領域を特定することに関する。本発明
は特に移動テレビ電話において用いることを目的とする
が、セキュリティシステムおよびテレビ会議システムの
ような他の応用形態において用いることもできる。本出
願による同時係属の英国特許出願２３５７６５０号は、
顔検出および追跡を用いる移動テレビ電話の一例を記載
する。
は複数の色領域を検出するかつ／または追跡するための
方法および装置に関する。本発明は主に、画像内の顔領
域のような皮膚色領域を特定することに関する。本発明
は特に移動テレビ電話において用いることを目的とする
が、セキュリティシステムおよびテレビ会議システムの
ような他の応用形態において用いることもできる。本出
願による同時係属の英国特許出願２３５７６５０号は、
顔検出および追跡を用いる移動テレビ電話の一例を記載
する。
【０００２】
【従来の技術】画像内の顔領域を検出するための様々な
手法が知られている。これらは、顔の造作に基づく手
法、動きに基づく手法および色に基づく手法を含む。顔
の造作に基づく手法は、目、鼻および口のようなある特
定の顔の造作を検出することにより、ある顔領域を特定
しようと試みる。動きに基づく手法は、ある画像におい
て動きのある領域が顔の可能性が高いという原理を基に
して動作する。色に基づく手法は、ある画像内の皮膚色
領域を探索する。
手法が知られている。これらは、顔の造作に基づく手
法、動きに基づく手法および色に基づく手法を含む。顔
の造作に基づく手法は、目、鼻および口のようなある特
定の顔の造作を検出することにより、ある顔領域を特定
しようと試みる。動きに基づく手法は、ある画像におい
て動きのある領域が顔の可能性が高いという原理を基に
して動作する。色に基づく手法は、ある画像内の皮膚色
領域を探索する。
【０００３】既知の顔検出手法の多くは計算にコストが
かかり、それゆえ移動テレビ電話あるいはテレビ会議の
ようなリアルタイムの応用形態の場合に理想的ではな
い。そのような応用形態の場合に好ましい手法は色に基
づく手法である。
かかり、それゆえ移動テレビ電話あるいはテレビ会議の
ようなリアルタイムの応用形態の場合に理想的ではな
い。そのような応用形態の場合に好ましい手法は色に基
づく手法である。
【０００４】簡単に述べると、色に基づく顔検出は、皮
膚色に対応する色を有する画像の領域を抽出することを
含む。顔検出システムは、アフリカ人、アジア人および
ヨーロッパ人のような、ある範囲の皮膚の色調を検出す
ることができ、画像が取得された照明条件のいかんを問
わず皮膚色を検出できなければならない。したがって、
色に基づく数多くの既知の顔検出方法は、ＲＧＢのよう
な第１の色空間からの画素値を第２の色空間に投影する
ことを含み、第２の空間内の画素値は皮膚の色調および
照明条件の変動の影響を受けにくい。色相‐彩度、正規
化された赤‐緑および対数色空間が種々の皮膚の色調を
検出する際に良好な結果を生成すること、およびＨＳＬ
のようないくつかの色空間が明度成分を色情報から分離
することが知られている。
膚色に対応する色を有する画像の領域を抽出することを
含む。顔検出システムは、アフリカ人、アジア人および
ヨーロッパ人のような、ある範囲の皮膚の色調を検出す
ることができ、画像が取得された照明条件のいかんを問
わず皮膚色を検出できなければならない。したがって、
色に基づく数多くの既知の顔検出方法は、ＲＧＢのよう
な第１の色空間からの画素値を第２の色空間に投影する
ことを含み、第２の空間内の画素値は皮膚の色調および
照明条件の変動の影響を受けにくい。色相‐彩度、正規
化された赤‐緑および対数色空間が種々の皮膚の色調を
検出する際に良好な結果を生成すること、およびＨＳＬ
のようないくつかの色空間が明度成分を色情報から分離
することが知られている。
【０００５】米国特許第５，４３０，８０９号において
提示される方法によれば、皮膚および髪エリアの検出を
通して顔検出および追跡が達成される。皮膚検出は、各
画素の色相値を人間の皮膚の範囲を表す限度（閾値）と
比較することにより実行され、髪検出は、各画素の明度
値を人間の髪の明度に対応する限度（閾値）と比較する
ことにより実行される。その後、顔検出は、ヒューリス
ティックルールと関連付けて皮膚および髪の対を検査す
ることにより実行される。この方法が抱える問題は、色
相に基づく閾値判定が大きな範囲の色値を抽出し、結果
として、皮膚ではないが、皮膚に類似の領域が皮膚とし
て抽出される可能性があることである。この方法が抱え
る別の問題は、明度に基づく髪検出によって、その方法
が、検出されることになる人の髪の色に敏感に反応する
ようになるとともに、照明の大きな変化に影響を受けや
すくなることである。
提示される方法によれば、皮膚および髪エリアの検出を
通して顔検出および追跡が達成される。皮膚検出は、各
画素の色相値を人間の皮膚の範囲を表す限度（閾値）と
比較することにより実行され、髪検出は、各画素の明度
値を人間の髪の明度に対応する限度（閾値）と比較する
ことにより実行される。その後、顔検出は、ヒューリス
ティックルールと関連付けて皮膚および髪の対を検査す
ることにより実行される。この方法が抱える問題は、色
相に基づく閾値判定が大きな範囲の色値を抽出し、結果
として、皮膚ではないが、皮膚に類似の領域が皮膚とし
て抽出される可能性があることである。この方法が抱え
る別の問題は、明度に基づく髪検出によって、その方法
が、検出されることになる人の髪の色に敏感に反応する
ようになるとともに、照明の大きな変化に影響を受けや
すくなることである。
【０００６】米国特許第６，１４８，０９２号において
提示される方法によれば、画像内の画素の正規化された
赤および緑値と、正規化された赤緑面の矩形あるいは円
形領域として表される所定の領域とを比較することを通
して皮膚検出が達成される。その後、顔検出が、皮膚画
素を画像軸上に投影することにより達成される。この方
法の短所は、１つの画像内の多数の顔を検出するために
直に適用することができないことである。
提示される方法によれば、画像内の画素の正規化された
赤および緑値と、正規化された赤緑面の矩形あるいは円
形領域として表される所定の領域とを比較することを通
して皮膚検出が達成される。その後、顔検出が、皮膚画
素を画像軸上に投影することにより達成される。この方
法の短所は、１つの画像内の多数の顔を検出するために
直に適用することができないことである。
【０００７】米国特許第６，３４３，１４１号では、最
初にシェープロケータを用いることにより顔検出が達成
される。このシェープロケータは、画像内の全ての物体
のエッジを特定し、どのエッジが顔を表すものとみなさ
れる所定の形状、すなわち楕円形に近似するかを求め
る。その後、そのような形状内の画素が検査され、ＤＣ
Ｔによる技法を用いて、それらの形状が皮膚の信号エネ
ルギー特性を有するか否かに基づいてそれらが皮膚であ
るか否かが求められる。それが皮膚に該当する場合に
は、その後、これらの画素のＣrおよびＣb色値に基づく
色パラメータがサンプリングされ、ある範囲の皮膚の色
調が作成され、画像全体においてこれらの皮膚の色調が
探索され、さらに皮膚領域が特定される。この方法の短
所は、シェープロケータに基づく初期の顔位置の特定が
視点の変化に影響を受けやすく、たとえば横顔の視点の
場合には、もはや顔が所定の形状による特徴を示さない
場合がある。
初にシェープロケータを用いることにより顔検出が達成
される。このシェープロケータは、画像内の全ての物体
のエッジを特定し、どのエッジが顔を表すものとみなさ
れる所定の形状、すなわち楕円形に近似するかを求め
る。その後、そのような形状内の画素が検査され、ＤＣ
Ｔによる技法を用いて、それらの形状が皮膚の信号エネ
ルギー特性を有するか否かに基づいてそれらが皮膚であ
るか否かが求められる。それが皮膚に該当する場合に
は、その後、これらの画素のＣrおよびＣb色値に基づく
色パラメータがサンプリングされ、ある範囲の皮膚の色
調が作成され、画像全体においてこれらの皮膚の色調が
探索され、さらに皮膚領域が特定される。この方法の短
所は、シェープロケータに基づく初期の顔位置の特定が
視点の変化に影響を受けやすく、たとえば横顔の視点の
場合には、もはや顔が所定の形状による特徴を示さない
場合がある。
【０００８】米国特許第６，２６３，１１３号では、別
の顔検出方法が提示される。最初に、皮膚画素を特定す
るために、画像内の画素の値をＹＵＶ色空間内の範囲と
比較することにより、色フィルタリングが実行される。
この過程は、皮膚および背景エリアの両方を含む場合が
ある連続した皮膚に類似のエリアを生成し、これらのエ
リアを断片化するために、エッジ検出および除去が、１
組のヒューリスティックルールに基づいて断片化された
エリアが顔のように見えるまで実行される。また、顔は
多数の皮膚状の断片によって表される場合もあるので、
１組のヒューリステックルールに基づいてさらに顔のよ
うなエリアを特定するために、グラフに基づいてエリア
合成も実行される。最後に、誤って顔とされた断片の数
を低減するためにさらに別のルールが適用される。この
方法の短所は、用いられるヒューリスティックルール
が、顔の最大サイズおよび顔が縦向きであることのよう
な、顔の形状に関する推測的な仮定を行うことである。
の顔検出方法が提示される。最初に、皮膚画素を特定す
るために、画像内の画素の値をＹＵＶ色空間内の範囲と
比較することにより、色フィルタリングが実行される。
この過程は、皮膚および背景エリアの両方を含む場合が
ある連続した皮膚に類似のエリアを生成し、これらのエ
リアを断片化するために、エッジ検出および除去が、１
組のヒューリスティックルールに基づいて断片化された
エリアが顔のように見えるまで実行される。また、顔は
多数の皮膚状の断片によって表される場合もあるので、
１組のヒューリステックルールに基づいてさらに顔のよ
うなエリアを特定するために、グラフに基づいてエリア
合成も実行される。最後に、誤って顔とされた断片の数
を低減するためにさらに別のルールが適用される。この
方法の短所は、用いられるヒューリスティックルール
が、顔の最大サイズおよび顔が縦向きであることのよう
な、顔の形状に関する推測的な仮定を行うことである。
【０００９】色に基づく皮膚検出によらない他の顔検出
方法が提案されている。米国特許第５，２８０，５３０
号において提示される方法によれば、物体の検出および
追跡が、グレースケール画像における大域および局所テ
ンプレートマッチングと、動的に適応するテンプレート
を用いることにより行われる。この方法の短所は、顔検
出および追跡に成功するために、初期のテンプレートを
形成するために追跡されることになる人の協力を必要と
することである。
方法が提案されている。米国特許第５，２８０，５３０
号において提示される方法によれば、物体の検出および
追跡が、グレースケール画像における大域および局所テ
ンプレートマッチングと、動的に適応するテンプレート
を用いることにより行われる。この方法の短所は、顔検
出および追跡に成功するために、初期のテンプレートを
形成するために追跡されることになる人の協力を必要と
することである。
【００１０】米国特許第４，９７５，９６０号では、顔
検出および追跡が、グレースケール画像内の鼻孔の検出
および追跡を通して達成される。この方法は、適当なカ
メラの位置決めを含む、自動化された音声認識という最
終目標とともに提示されるが、カメラの距離または視点
に起因して、鼻孔が明瞭に視認できない場合には適用で
きないであろう。
検出および追跡が、グレースケール画像内の鼻孔の検出
および追跡を通して達成される。この方法は、適当なカ
メラの位置決めを含む、自動化された音声認識という最
終目標とともに提示されるが、カメラの距離または視点
に起因して、鼻孔が明瞭に視認できない場合には適用で
きないであろう。
【００１１】米国特許第６，０２８，９６０号では、鼻
孔検出と、色情報を用いることに基づく顔検出および追
跡のための方法が提示される。上記の米国特許第４，９
７５，９６０号の短所がこの方法にも当てはまる。
孔検出と、色情報を用いることに基づく顔検出および追
跡のための方法が提示される。上記の米国特許第４，９
７５，９６０号の短所がこの方法にも当てはまる。
【００１２】Margaret. M. Fleck等による「Finding Na
ked People」というタイトルの論文は、元の色値を対数
色空間に変換し、その値を皮膚フィルタに入力し、さら
にテクスチャ探索アルゴリズムを用いることにより、画
像内の皮膚を探索するためのシステムを記載する。検出
された皮膚が、その画像のある特定の割合よりも大きな
領域を占める場合には、形状解析が実行され、その皮膚
領域が体の一部の特徴を示すか否かが確認される。対数
色空間による手法は皮膚抽出の場合に適正に動作する
が、テクスチャ解析は計算にコストがかかり、そのため
リアルタイムの応用形態には特に適していない。
ked People」というタイトルの論文は、元の色値を対数
色空間に変換し、その値を皮膚フィルタに入力し、さら
にテクスチャ探索アルゴリズムを用いることにより、画
像内の皮膚を探索するためのシステムを記載する。検出
された皮膚が、その画像のある特定の割合よりも大きな
領域を占める場合には、形状解析が実行され、その皮膚
領域が体の一部の特徴を示すか否かが確認される。対数
色空間による手法は皮膚抽出の場合に適正に動作する
が、テクスチャ解析は計算にコストがかかり、そのため
リアルタイムの応用形態には特に適していない。
【００１３】Soriano等による論文「Skin detection in
video under changing illumination conditions」
は、皮膚モデルヒストグラムを利用し、そのヒストグラ
ムの値を画素値に割り当て、その後、閾値判定を行うこ
とを開示する。
video under changing illumination conditions」
は、皮膚モデルヒストグラムを利用し、そのヒストグラ
ムの値を画素値に割り当て、その後、閾値判定を行うこ
とを開示する。
【００１４】応用形態によっては、フレーム間で顔領域
を追跡することが望ましい場合もある。これは、画像内
にいくつかの顔領域あるいは皮膚色領域が存在する場合
に困難である可能性がある。また、上記の本出願人によ
る同時係属の英国特許出願第２３５７６５０号の場合の
ように、顔領域が選択的な符号化および表示のようにさ
らに別の処理のために抽出されることになる場合のよう
なある特定の応用形態では、皮膚領域の正確な位置およ
びサイズを求めることも重要である。
を追跡することが望ましい場合もある。これは、画像内
にいくつかの顔領域あるいは皮膚色領域が存在する場合
に困難である可能性がある。また、上記の本出願人によ
る同時係属の英国特許出願第２３５７６５０号の場合の
ように、顔領域が選択的な符号化および表示のようにさ
らに別の処理のために抽出されることになる場合のよう
なある特定の応用形態では、皮膚領域の正確な位置およ
びサイズを求めることも重要である。
【００１５】
【発明が解決しようとする課題】本発明の目的は、画像
あるいは一連の画像内の１つあるいは複数の色領域を検
出するかつ／または追跡するための方法および装置を提
供することである。
あるいは一連の画像内の１つあるいは複数の色領域を検
出するかつ／または追跡するための方法および装置を提
供することである。
【００１６】
【課題を解決するための手段】本発明の態様は添付の請
求の範囲に詳述される。
求の範囲に詳述される。
【００１７】たとえば、本発明は、ある画像内の所定の
色特性を有する少なくとも１つの領域を検出する方法を
提供し、その方法は、その画像内の画素の色値を第１の
色空間から第２の色空間に変換することと、第２の色空
間内の色値を用いて、画素と所定の色特性との間の一致
を表す確率値を求めることであって、その確率値は多数
の値にわたって変動する、該求めることと、その確率値
を用いて、所定の色特性に少なくとも近い画素を特定す
ることと、所定の色特性に少なくとも近い画素をグルー
プ化することと、グループサイズおよび／またはグルー
プ位置、あるいはパワー、すなわちそのグループ内の画
素のための確率の和のような、各グループについての情
報を抽出することとを含む。
色特性を有する少なくとも１つの領域を検出する方法を
提供し、その方法は、その画像内の画素の色値を第１の
色空間から第２の色空間に変換することと、第２の色空
間内の色値を用いて、画素と所定の色特性との間の一致
を表す確率値を求めることであって、その確率値は多数
の値にわたって変動する、該求めることと、その確率値
を用いて、所定の色特性に少なくとも近い画素を特定す
ることと、所定の色特性に少なくとも近い画素をグルー
プ化することと、グループサイズおよび／またはグルー
プ位置、あるいはパワー、すなわちそのグループ内の画
素のための確率の和のような、各グループについての情
報を抽出することとを含む。
【００１８】画素のグループ化および／またはグループ
についての情報の抽出は、多数の異なる確率値を用いる
ことを含む。言い換えると、たとえば、確率値の閾値判
定および二値化を用いることなく、グループ化あるいは
グループ情報の導出のいずれかにおいて、画像のマルチ
レベル確率マップが用いられる。これにより、その性能
を大きく改善することができる。
についての情報の抽出は、多数の異なる確率値を用いる
ことを含む。言い換えると、たとえば、確率値の閾値判
定および二値化を用いることなく、グループ化あるいは
グループ情報の導出のいずれかにおいて、画像のマルチ
レベル確率マップが用いられる。これにより、その性能
を大きく改善することができる。
【００１９】以下の説明では、本明細書において用語
「画素」が参照される場合に、それは必ずしも各事象に
おいて同じ画素を意味するとは限らない。たとえば、用
語「画素」は、状況に応じて、元の画像内の画素を指す
場合があるか、元の画像をダウンサンプリングまたは平
均することから導出される画素を指す場合があるか、あ
るいは画素のブロックを指す場合がある。
「画素」が参照される場合に、それは必ずしも各事象に
おいて同じ画素を意味するとは限らない。たとえば、用
語「画素」は、状況に応じて、元の画像内の画素を指す
場合があるか、元の画像をダウンサンプリングまたは平
均することから導出される画素を指す場合があるか、あ
るいは画素のブロックを指す場合がある。
【００２０】本発明の結果として、顔領域のような特定
の色領域がそのサイズおよび／または位置についての情
報とともに特定され、たとえば、特に同時に追跡されて
いる、いくつかの顔のようないくつかの領域が存在する
ときに、顔領域の追跡、抽出および相関をより簡単に、
しかもより正確に行うことができる。また本発明は、顔
領域上の「ズーミング」のような機能を簡単に行うこと
ができる。
の色領域がそのサイズおよび／または位置についての情
報とともに特定され、たとえば、特に同時に追跡されて
いる、いくつかの顔のようないくつかの領域が存在する
ときに、顔領域の追跡、抽出および相関をより簡単に、
しかもより正確に行うことができる。また本発明は、顔
領域上の「ズーミング」のような機能を簡単に行うこと
ができる。
【００２１】その画像処理は、処理の複雑さを軽減し、
その方法を移動体装置のような小型のシステムにさらに
適合させるために、ダウンサンプリングフェーズあるい
は簡単なセグメンテーションプロセスを含むことが好ま
しい。
その方法を移動体装置のような小型のシステムにさらに
適合させるために、ダウンサンプリングフェーズあるい
は簡単なセグメンテーションプロセスを含むことが好ま
しい。
【００２２】色領域の特定は、取得された画像を第１の
色空間から第２の色空間に変換することと、色フィルタ
リングステージにおいて色モデルと比較することとを含
むことが好ましい。フィルタリングステージは、ある較
正方法を用いて、撮影された人の皮膚色のような個々の
色分布に対して調整できることが好ましい。これによ
り、その方法は、たとえば皮膚に対する木のような、類
似の色の画像内の他の領域に対して誤りが生じにくくな
る。用いられる第２の色空間は、求められる色あるいは
色分布を改善することができるように選択される。
色空間から第２の色空間に変換することと、色フィルタ
リングステージにおいて色モデルと比較することとを含
むことが好ましい。フィルタリングステージは、ある較
正方法を用いて、撮影された人の皮膚色のような個々の
色分布に対して調整できることが好ましい。これによ
り、その方法は、たとえば皮膚に対する木のような、類
似の色の画像内の他の領域に対して誤りが生じにくくな
る。用いられる第２の色空間は、求められる色あるいは
色分布を改善することができるように選択される。
【００２３】
【発明の実施の形態】本発明の実施形態が、添付の図面
を参照しながら記載されるであろう。
を参照しながら記載されるであろう。
【００２４】本発明の応用形態の一例は移動テレビ電話
通信システムである。そのようなシステムの構成要素が
図１にブロック図の形で示される。一般的に言うと、そ
のシステムは本出願人による同時係属の英国特許出願第
２３５７６５０号に記載されるようなシステムであり、
一連の取得された画像内の顔領域を抽出かつ追跡し、受
信機において表示するためにその顔領域のみを符号化
し、送信する。
通信システムである。そのようなシステムの構成要素が
図１にブロック図の形で示される。一般的に言うと、そ
のシステムは本出願人による同時係属の英国特許出願第
２３５７６５０号に記載されるようなシステムであり、
一連の取得された画像内の顔領域を抽出かつ追跡し、受
信機において表示するためにその顔領域のみを符号化
し、送信する。
【００２５】移動電話（図示せず）はユーザの画像を取
得するためのカメラ２を含む。カメラ２は、移動テレビ
電話において用いるための既知のタイプのカメラであ
り、電話器のハンドセットの一部である。別の実施形態
では、カメラは、たとえばリード線によって、あるいは
無線通信によって電話器のハンドセットに接続される個
別の構成要素である。この実施形態では、カメラはＣＩ
Ｆ解像度（３５２×２８８画素）で画像をデジタル化す
る。
得するためのカメラ２を含む。カメラ２は、移動テレビ
電話において用いるための既知のタイプのカメラであ
り、電話器のハンドセットの一部である。別の実施形態
では、カメラは、たとえばリード線によって、あるいは
無線通信によって電話器のハンドセットに接続される個
別の構成要素である。この実施形態では、カメラはＣＩ
Ｆ解像度（３５２×２８８画素）で画像をデジタル化す
る。
【００２６】そのカメラは、取得された画像を表す、カ
メラ２から受信された信号を処理するためのシグナルプ
ロセッサ４に接続される。シグナルプロセッサ４は、図
２にさらに詳細に示される。シグナルプロセッサは、取
得された画像内の顔あるいは頭のサイズおよび位置を検
出するための顔検出モジュール１６と、顔が画像内で動
くのに応じてその顔を追跡するための顔追跡モジュール
１８と、画像の特定の領域を選択するためのフレーム領
域選択モジュール２０と、顔領域抽出モジュール２２と
を含む。顔検出モジュールおよび顔追跡モジュールは、
以下にさらに詳細に記載される。シグナルプロセッサ４
は、顔領域を含む画像内の所望の領域を選択し、かつ抽
出するように動作し、それが以下にさらに詳細に記載さ
れる。
メラ２から受信された信号を処理するためのシグナルプ
ロセッサ４に接続される。シグナルプロセッサ４は、図
２にさらに詳細に示される。シグナルプロセッサは、取
得された画像内の顔あるいは頭のサイズおよび位置を検
出するための顔検出モジュール１６と、顔が画像内で動
くのに応じてその顔を追跡するための顔追跡モジュール
１８と、画像の特定の領域を選択するためのフレーム領
域選択モジュール２０と、顔領域抽出モジュール２２と
を含む。顔検出モジュールおよび顔追跡モジュールは、
以下にさらに詳細に記載される。シグナルプロセッサ４
は、顔領域を含む画像内の所望の領域を選択し、かつ抽
出するように動作し、それが以下にさらに詳細に記載さ
れる。
【００２７】シグナルプロセッサ４の出力は、画像信号
の抽出された領域を表す信号を符号化するための符号器
６に接続される。符号器は、符号化された信号を既知の
態様で送信するための送信機８に接続される。
の抽出された領域を表す信号を符号化するための符号器
６に接続される。符号器は、符号化された信号を既知の
態様で送信するための送信機８に接続される。
【００２８】そのシステムの受信側は、第２の移動電話
（図示せず）の形態の受信端末である。第２の移動電話
は、送信された信号を受信するための受信機１０と、受
信された信号を復号化するために受信機に接続される復
号器１２と、受信された画像をＱＣＩＦ形式で表示する
ための表示装置１４とを含む。
（図示せず）の形態の受信端末である。第２の移動電話
は、送信された信号を受信するための受信機１０と、受
信された信号を復号化するために受信機に接続される復
号器１２と、受信された画像をＱＣＩＦ形式で表示する
ための表示装置１４とを含む。
【００２９】図には示されないが、第１の移動電話も受
信端末の構成要素に対応する構成要素、すなわち受信
器、復号器および表示装置を含み、第２の移動電話も第
１の移動電話の場合のようなカメラ、シグナルプロセッ
サ、符号器および送信機を含む。
信端末の構成要素に対応する構成要素、すなわち受信
器、復号器および表示装置を含み、第２の移動電話も第
１の移動電話の場合のようなカメラ、シグナルプロセッ
サ、符号器および送信機を含む。
【００３０】動作時に、カメラ２によって画像が取得さ
れ、結果として生成された信号がシグナルプロセッサ４
に入力される。その画像は顔検出モジュール１６によっ
て解析され、その画像内の顔の位置およびサイズのよう
な情報が求められる。
れ、結果として生成された信号がシグナルプロセッサ４
に入力される。その画像は顔検出モジュール１６によっ
て解析され、その画像内の顔の位置およびサイズのよう
な情報が求められる。
【００３１】そのような情報は顔検出モジュール１６か
ら顔追跡モジュール１８およびフレーム領域選択モジュ
ール２０に入力され、フレーム領域選択モジュール２０
は、顔検出モジュール１６および顔追跡モジュール１８
の両方からの情報を用いて、主要な画像から選択される
ことになるウインドウのサイズおよび位置を求める。こ
の実施形態では、フレーム領域選択モジュール２０は、
顔を中心とした所定のサイズのウインドウを選択するよ
うに構成される。より具体的には、領域選択モジュール
は、表示装置と同じ解像度を有するウインドウを選択す
る。したがって、この場合には、領域選択モジュール
は、顔領域を中心にして１７６×１４４画素のサイズの
領域を選択するように構成される。その中心は、任意の
適当な態様で定義され、求められることができる。この
実施形態では、顔の中心は肌領域の重心である。
ら顔追跡モジュール１８およびフレーム領域選択モジュ
ール２０に入力され、フレーム領域選択モジュール２０
は、顔検出モジュール１６および顔追跡モジュール１８
の両方からの情報を用いて、主要な画像から選択される
ことになるウインドウのサイズおよび位置を求める。こ
の実施形態では、フレーム領域選択モジュール２０は、
顔を中心とした所定のサイズのウインドウを選択するよ
うに構成される。より具体的には、領域選択モジュール
は、表示装置と同じ解像度を有するウインドウを選択す
る。したがって、この場合には、領域選択モジュール
は、顔領域を中心にして１７６×１４４画素のサイズの
領域を選択するように構成される。その中心は、任意の
適当な態様で定義され、求められることができる。この
実施形態では、顔の中心は肌領域の重心である。
【００３２】顔領域抽出モジュール２２は、カメラから
の信号および領域選択回路からの信号を受信し、カメラ
の画像から顔領域を含むウインドウを抽出する。その
後、抽出されたウインドウは、ある適当な既知の符号化
方法を用いて符号化するために、標準的なＱＣＩＦビデ
オコーダ６に転送される。画像の残りの部分は破棄され
る。これらのステップは、取得されたビデオ画像のフレ
ーム毎に実行される。
の信号および領域選択回路からの信号を受信し、カメラ
の画像から顔領域を含むウインドウを抽出する。その
後、抽出されたウインドウは、ある適当な既知の符号化
方法を用いて符号化するために、標準的なＱＣＩＦビデ
オコーダ６に転送される。画像の残りの部分は破棄され
る。これらのステップは、取得されたビデオ画像のフレ
ーム毎に実行される。
【００３３】符号化された信号は送信され、受信端末に
よって受信および復号化されて、受信端末において、Ｑ
ＣＩＦ形式で顔の画像が表示される。領域の中央に顔を
有し、ＱＣＩＦ解像度を有する、取得された画像の領域
を選択するプロセスに起因して、表示される画像は中央
に顔を有しており、表示装置のための正確な解像度を有
する。また顔は、取得された画像内よりも、より大きな
部分の画像として表示され、より解像度が高い印象を与
える。符号化されたデータは第２の移動電話に送信さ
れ、顔領域を含むウインドウが受信され、復号化され、
表示される。
よって受信および復号化されて、受信端末において、Ｑ
ＣＩＦ形式で顔の画像が表示される。領域の中央に顔を
有し、ＱＣＩＦ解像度を有する、取得された画像の領域
を選択するプロセスに起因して、表示される画像は中央
に顔を有しており、表示装置のための正確な解像度を有
する。また顔は、取得された画像内よりも、より大きな
部分の画像として表示され、より解像度が高い印象を与
える。符号化されたデータは第２の移動電話に送信さ
れ、顔領域を含むウインドウが受信され、復号化され、
表示される。
【００３４】本発明は主に、顔検出モジュール１６およ
び顔追跡モジュール１８に関連し、ここでそれがさらに
詳細に記載されるであろう。
び顔追跡モジュール１８に関連し、ここでそれがさらに
詳細に記載されるであろう。
【００３５】最初に顔検出モジュール１６の動作が記載
されるであろう。この実施形態では、そのモジュール
は、メモリ（図示せず）に接続される、固有にプログラ
ミングされたプロセッサとして実装されるが、他の実装
形態も実現可能である。その動作方法は、図３および図
４の流れ図を参照しながら記載されるであろう。
されるであろう。この実施形態では、そのモジュール
は、メモリ（図示せず）に接続される、固有にプログラ
ミングされたプロセッサとして実装されるが、他の実装
形態も実現可能である。その動作方法は、図３および図
４の流れ図を参照しながら記載されるであろう。
【００３６】ある画像フレームがカメラ２によって取得
され、ＲＧＢ形式で顔検出モジュール１６に送信される
（ステップ１００）。次のステップ、すなわちステップ
１１０として、その画像フレームは、処理の複雑さを軽
減するためにダウンサンプリングされる。これは、顔検
出および顔追跡の処理の実行時の複雑さが、処理される
画素の数に直に関連するためである。リアルタイムシス
テム、および移動電話のような移動体技術を含む数多く
の応用形態では、あまり複雑にしないことが特に望まし
い。しかしながら、複雑さがクリティカルではない場合
には、ダウンサンプリングステージは省略される場合が
ある。そのような場合には、用語「ダウンサンプリング
された画像」は元の画像を指しており、すなわち１倍で
ダウンサンプリングすることを意味する。さらに、必ず
しもそうではないが、ダウンサンプリングステップは画
像の処理の初期段階で実行されることが好ましいことは
理解されたい。この方法の他の実施形態では、ダウンサ
ンプリングステップは、画像の処理の後続の時点で実行
される場合があるが、これは、画像の処理の複雑さを軽
減する際には逆効果の場合がある。
され、ＲＧＢ形式で顔検出モジュール１６に送信される
（ステップ１００）。次のステップ、すなわちステップ
１１０として、その画像フレームは、処理の複雑さを軽
減するためにダウンサンプリングされる。これは、顔検
出および顔追跡の処理の実行時の複雑さが、処理される
画素の数に直に関連するためである。リアルタイムシス
テム、および移動電話のような移動体技術を含む数多く
の応用形態では、あまり複雑にしないことが特に望まし
い。しかしながら、複雑さがクリティカルではない場合
には、ダウンサンプリングステージは省略される場合が
ある。そのような場合には、用語「ダウンサンプリング
された画像」は元の画像を指しており、すなわち１倍で
ダウンサンプリングすることを意味する。さらに、必ず
しもそうではないが、ダウンサンプリングステップは画
像の処理の初期段階で実行されることが好ましいことは
理解されたい。この方法の他の実施形態では、ダウンサ
ンプリングステップは、画像の処理の後続の時点で実行
される場合があるが、これは、画像の処理の複雑さを軽
減する際には逆効果の場合がある。
【００３７】画像のサイズを低減するために種々のダウ
ンサンプリング方法が存在する。ダウンサンプリングの
例には、限定はしないが、ブロック平均化、インターリ
ーブ平均化、内部ブロック平均化およびランダム画素平
均化が含まれる。それらの各例では、最初にフレーム
が、８×８、１６×１６あるいは３２×３２画素のよう
な所定の画素のブロックに分割される。その後、各ブロ
ック内の画素値のうちのいくつかあるいは全てが平均化
される。その描画した例が図５（ａ）〜図５（ｅ）に示
される。ここでは、陰影をつけた画素は、平均化される
画素を示す。各ブロックに対するブロック平均化の場合
（図５（ａ）を参照されたい）、ブロック内の各画素の
色値が合計され、ブロック内の画素の数で割ることによ
り、そのブロックのための平均値が生成される。インタ
ーリーブ平均化の場合（図５（ｂ）および図５（ｃ）を
参照されたい）、１つおきの行あるいは列内の画素が平
均化される。内部ブロック平均化の場合（図５（ｄ）を
参照されたい）、より大きなブロック内のより小さなブ
ロック、たとえば３２×３２ブロック内の１６×１６ブ
ロックが平均化される。ランダム画素平均化の場合（図
５（ｅ）を参照されたい）、そのブロックのランダムに
選択された所定の数の画素が平均化される。別法では、
画像のダウンサンプリングが、平均画素値ではなく、中
央画素値を計算することにより、先に記載されたように
達成される場合もある。
ンサンプリング方法が存在する。ダウンサンプリングの
例には、限定はしないが、ブロック平均化、インターリ
ーブ平均化、内部ブロック平均化およびランダム画素平
均化が含まれる。それらの各例では、最初にフレーム
が、８×８、１６×１６あるいは３２×３２画素のよう
な所定の画素のブロックに分割される。その後、各ブロ
ック内の画素値のうちのいくつかあるいは全てが平均化
される。その描画した例が図５（ａ）〜図５（ｅ）に示
される。ここでは、陰影をつけた画素は、平均化される
画素を示す。各ブロックに対するブロック平均化の場合
（図５（ａ）を参照されたい）、ブロック内の各画素の
色値が合計され、ブロック内の画素の数で割ることによ
り、そのブロックのための平均値が生成される。インタ
ーリーブ平均化の場合（図５（ｂ）および図５（ｃ）を
参照されたい）、１つおきの行あるいは列内の画素が平
均化される。内部ブロック平均化の場合（図５（ｄ）を
参照されたい）、より大きなブロック内のより小さなブ
ロック、たとえば３２×３２ブロック内の１６×１６ブ
ロックが平均化される。ランダム画素平均化の場合（図
５（ｅ）を参照されたい）、そのブロックのランダムに
選択された所定の数の画素が平均化される。別法では、
画像のダウンサンプリングが、平均画素値ではなく、中
央画素値を計算することにより、先に記載されたように
達成される場合もある。
【００３８】次に、顔検出モジュール１６は、その色値
を、画像が取得された色空間から、皮膚色を検出する際
に良好な結果を与えるとともに、画像が取得された皮膚
の色調および照明条件の変動に対して影響を受けにくい
ために選択された第２の色空間に投影することにより、
ダウンサンプリングされた画像を処理する。
を、画像が取得された色空間から、皮膚色を検出する際
に良好な結果を与えるとともに、画像が取得された皮膚
の色調および照明条件の変動に対して影響を受けにくい
ために選択された第２の色空間に投影することにより、
ダウンサンプリングされた画像を処理する。
【００３９】この実施形態における好ましい第２の色空
間は対数ＲＧＢ色空間である。ＲＧＢから対数ＲＧＢへ
の変換式は以下の通りである。 Ｌ1＝ｌｏｇ（Ｇｒｅｅｎ＋１） Ｌ2＝ｌｏｇ（Ｒｅｄ＋１）−ｌｏｇ（Ｇｒｅｅｎ＋
１） Ｌ3＝ｌｏｇ（Ｂｌｕｅ＋１）−（ｌｏｇ（Ｇｒｅｅｎ
＋１）＋ｌｏｇ（Ｒｅｄ＋１））／２
間は対数ＲＧＢ色空間である。ＲＧＢから対数ＲＧＢへ
の変換式は以下の通りである。 Ｌ1＝ｌｏｇ（Ｇｒｅｅｎ＋１） Ｌ2＝ｌｏｇ（Ｒｅｄ＋１）−ｌｏｇ（Ｇｒｅｅｎ＋
１） Ｌ3＝ｌｏｇ（Ｂｌｕｅ＋１）−（ｌｏｇ（Ｇｒｅｅｎ
＋１）＋ｌｏｇ（Ｒｅｄ＋１））／２
【００４０】本発明では、皮膚の色調が青色をほとんど
含まないので、Ｌ3成分は用いられない。第２の色空間
として用いられる際に良好な結果を生み出す他の色空間
は、正規化されたＲＧＢ色空間およびＨＳＬ色空間を含
む。
含まないので、Ｌ3成分は用いられない。第２の色空間
として用いられる際に良好な結果を生み出す他の色空間
は、正規化されたＲＧＢ色空間およびＨＳＬ色空間を含
む。
【００４１】こうして、ステップ１２０では、ダウンサ
ンプリングされた画像内の画素のＲＧＢ値が、上記の式
を用いてＬ1およびＬ2値に変換される。以下の説明で
は、この第２の色空間はＬｏｇＲＧ空間として記載され
るであろう。その後、ＬｏｇＲＧ空間内の色値は皮膚領
域抽出モジュール１３０に供給され、その第１のステッ
プは、各画素の場合に、それが皮膚領域に属する確率を
求めるために、ＬｏｇＲＧ皮膚確率モデル上にそれらを
投影することである。その皮膚領域抽出モジュール１３
０の内部アーキテクチャが図４に示されており、ここで
より詳細に検討されるであろう。
ンプリングされた画像内の画素のＲＧＢ値が、上記の式
を用いてＬ1およびＬ2値に変換される。以下の説明で
は、この第２の色空間はＬｏｇＲＧ空間として記載され
るであろう。その後、ＬｏｇＲＧ空間内の色値は皮膚領
域抽出モジュール１３０に供給され、その第１のステッ
プは、各画素の場合に、それが皮膚領域に属する確率を
求めるために、ＬｏｇＲＧ皮膚確率モデル上にそれらを
投影することである。その皮膚領域抽出モジュール１３
０の内部アーキテクチャが図４に示されており、ここで
より詳細に検討されるであろう。
【００４２】上記のＬｏｇＲＧ皮膚確率モデルは、顔検
出モジュール内のメモリに格納され、ＬｏｇＲＧ空間内
の値が皮膚色に対応する確率を含む。皮膚確率モデル
は、可能な限り大きな範囲の皮膚の色調を網羅し、可能
な限り広い照明条件下で、大きな１組のトレーニング皮
膚領域を得ることにより作成される。皮膚領域内の各画
素値はＬｏｇＲＧ空間内の値に変換され、各ＬｏｇＲＧ
値の事象の数をカウントすることにより、ＬｏｇＲＧ空
間内にヒストグラムが構築される。このヒストグラムの
値は、所与の範囲、たとえば０〜１に標準化されること
が好ましい。また、そのヒストグラムは、平滑化し、高
い周波数成分を除去するために、たとえばメジアンフィ
ルタあるいは平均フィルタでフィルタリングされること
が好ましい。また、この実施形態では、ＬｏｇＲＧ皮膚
確率モデルを生成するために、ＬｏｇＲＧヒストグラム
全体のうちの比較的少数の関連する部分のみが保持され
ており、この部分に属さない値は最も低い皮膚確率値、
たとえば０を自動的に取得し、それによりその実施態様
の複雑さおよび記憶要件を低減している。オプションと
して、他の実施形態では、皮膚確率モデルを作成するた
めに、必要に応じて、ＬｏｇＲＧ空間の多数の部分が保
持される場合もある。このようにして導出されるＬｏｇ
ＲＧ皮膚確率モデルは、ＬｏｇＲＧ色値が皮膚領域に対
応する確率を指示する。ＬｏｇＲＧ皮膚確率モデルの一
例が図６（ａ）および図６（ｂ）に示される。ｘ軸およ
びｙ軸上の点はＬｏｇＲＧ空間内の点に対応し、ｚ軸上
の点は皮膚確率に対応する。所与のＬｏｇＲＧ点に対す
るｚ軸値が高くなるのに応じて、その特定の色が皮膚色
であるという確率が高くなる。
出モジュール内のメモリに格納され、ＬｏｇＲＧ空間内
の値が皮膚色に対応する確率を含む。皮膚確率モデル
は、可能な限り大きな範囲の皮膚の色調を網羅し、可能
な限り広い照明条件下で、大きな１組のトレーニング皮
膚領域を得ることにより作成される。皮膚領域内の各画
素値はＬｏｇＲＧ空間内の値に変換され、各ＬｏｇＲＧ
値の事象の数をカウントすることにより、ＬｏｇＲＧ空
間内にヒストグラムが構築される。このヒストグラムの
値は、所与の範囲、たとえば０〜１に標準化されること
が好ましい。また、そのヒストグラムは、平滑化し、高
い周波数成分を除去するために、たとえばメジアンフィ
ルタあるいは平均フィルタでフィルタリングされること
が好ましい。また、この実施形態では、ＬｏｇＲＧ皮膚
確率モデルを生成するために、ＬｏｇＲＧヒストグラム
全体のうちの比較的少数の関連する部分のみが保持され
ており、この部分に属さない値は最も低い皮膚確率値、
たとえば０を自動的に取得し、それによりその実施態様
の複雑さおよび記憶要件を低減している。オプションと
して、他の実施形態では、皮膚確率モデルを作成するた
めに、必要に応じて、ＬｏｇＲＧ空間の多数の部分が保
持される場合もある。このようにして導出されるＬｏｇ
ＲＧ皮膚確率モデルは、ＬｏｇＲＧ色値が皮膚領域に対
応する確率を指示する。ＬｏｇＲＧ皮膚確率モデルの一
例が図６（ａ）および図６（ｂ）に示される。ｘ軸およ
びｙ軸上の点はＬｏｇＲＧ空間内の点に対応し、ｚ軸上
の点は皮膚確率に対応する。所与のＬｏｇＲＧ点に対す
るｚ軸値が高くなるのに応じて、その特定の色が皮膚色
であるという確率が高くなる。
【００４３】こうして、図４のステップ１５０では、ダ
ウンサンプリングされた画像内の各画素の場合に、画素
値が皮膚色に対応する確率を指示する値を得るために、
ＬｏｇＲＧ値が皮膚確率モデル上に投影される。ダウン
サンプリングされた画像の全ての画素に対するこの処理
の結果は皮膚確率マップとして知られる。皮膚確率マッ
プの一例が図７に示される。各画素の色調は、それが皮
膚色に対応する確率を表しており、画像が薄くなるほど
確率が高くなる。明瞭にするために、図７はいくつかの
色調値のみを示すが、通常はさらに多くの値が存在する
であろう。後続のフィルタリングおよびグループ化とと
もに、単なる二値の皮膚／非皮膚マップによる代わりに
マルチレベル皮膚確率マップを用いることにより、シス
テムの性能が大幅に改善される。
ウンサンプリングされた画像内の各画素の場合に、画素
値が皮膚色に対応する確率を指示する値を得るために、
ＬｏｇＲＧ値が皮膚確率モデル上に投影される。ダウン
サンプリングされた画像の全ての画素に対するこの処理
の結果は皮膚確率マップとして知られる。皮膚確率マッ
プの一例が図７に示される。各画素の色調は、それが皮
膚色に対応する確率を表しており、画像が薄くなるほど
確率が高くなる。明瞭にするために、図７はいくつかの
色調値のみを示すが、通常はさらに多くの値が存在する
であろう。後続のフィルタリングおよびグループ化とと
もに、単なる二値の皮膚／非皮膚マップによる代わりに
マルチレベル皮膚確率マップを用いることにより、シス
テムの性能が大幅に改善される。
【００４４】ＬｏｇＲＧ皮膚確率モデルは、ある特定の
ユーザに対して較正されることができる。たとえば、第
１の移動電話のユーザは、そのユーザの皮膚色に適合
し、性能を改善するように、皮膚確率モデルを較正する
ことができる。これは、システムを較正モードにするこ
とにより行うことができる。その後、ユーザはカメラ２
の焦点を皮膚領域のみに合わせるか、あるいは取得され
た画像から皮膚領域を手動で抽出し、プロセッサ４が新
たなＬｏｇＲＧ皮膚確率モデルを生成する。その後、た
とえば、平均化あるいは重み付け平均化することによ
り、以前のモデルが新たなモデルと合成され、以前のモ
デルに対して新たなモデルの重要度が調整される。別法
では、ユーザから取得されたモデルをそのまま用いるこ
とができる。
ユーザに対して較正されることができる。たとえば、第
１の移動電話のユーザは、そのユーザの皮膚色に適合
し、性能を改善するように、皮膚確率モデルを較正する
ことができる。これは、システムを較正モードにするこ
とにより行うことができる。その後、ユーザはカメラ２
の焦点を皮膚領域のみに合わせるか、あるいは取得され
た画像から皮膚領域を手動で抽出し、プロセッサ４が新
たなＬｏｇＲＧ皮膚確率モデルを生成する。その後、た
とえば、平均化あるいは重み付け平均化することによ
り、以前のモデルが新たなモデルと合成され、以前のモ
デルに対して新たなモデルの重要度が調整される。別法
では、ユーザから取得されたモデルをそのまま用いるこ
とができる。
【００４５】その方法の次のステップは、平滑化のため
の皮膚確率マップのフィルタリングであることが好まし
い。このステップ、すなわち図４のステップ１６０は、
特に、大きな値によって元のフレームがダウンサンプリ
ングされ、粗い皮膚確率マップが生成される場合がある
ときに望ましい。このフィルタリングは平均あるいはメ
ジアンフィルタのようなフィルタを用いることにより達
成されることができ、それにより各画素の所与のサイズ
の近傍、たとえば３×３が検査され、中央の画素が、そ
れぞれ近傍内の全ての画素の平均値あるいは中央値によ
って置き換えられる。このステップの結果は、平滑化さ
れた皮膚確率マップと呼ばれるであろう。一例として、
図７の皮膚確率マップにおいて３×３の近傍をマスクす
る平均フィルタリングの結果が図８に示される。
の皮膚確率マップのフィルタリングであることが好まし
い。このステップ、すなわち図４のステップ１６０は、
特に、大きな値によって元のフレームがダウンサンプリ
ングされ、粗い皮膚確率マップが生成される場合がある
ときに望ましい。このフィルタリングは平均あるいはメ
ジアンフィルタのようなフィルタを用いることにより達
成されることができ、それにより各画素の所与のサイズ
の近傍、たとえば３×３が検査され、中央の画素が、そ
れぞれ近傍内の全ての画素の平均値あるいは中央値によ
って置き換えられる。このステップの結果は、平滑化さ
れた皮膚確率マップと呼ばれるであろう。一例として、
図７の皮膚確率マップにおいて３×３の近傍をマスクす
る平均フィルタリングの結果が図８に示される。
【００４６】平滑化された皮膚確率マップはさらに処理
を行うために保持されるが、このマップは、低い皮膚確
率を有する皮膚画素を排除し、その方法における後続の
処理を容易にするために、二値皮膚確率マップを生成す
るための閾値判定において用いられる。言い換えると、
ステップ１７０において、平滑化された皮膚確率マップ
内の各画素の値が、固定された閾値、たとえば０．２５
と比較される。その値がその閾値よりも小さい場合に
は、その画素は最小皮膚確率値、たとえば０を割り当て
られ、そうでない場合には、最大皮膚確率値、たとえば
１を割り当てられる。一例として、図８の平滑化された
皮膚確率マップ上で実行され、上記の閾値を用いるこの
ステップの結果が図９に示される。
を行うために保持されるが、このマップは、低い皮膚確
率を有する皮膚画素を排除し、その方法における後続の
処理を容易にするために、二値皮膚確率マップを生成す
るための閾値判定において用いられる。言い換えると、
ステップ１７０において、平滑化された皮膚確率マップ
内の各画素の値が、固定された閾値、たとえば０．２５
と比較される。その値がその閾値よりも小さい場合に
は、その画素は最小皮膚確率値、たとえば０を割り当て
られ、そうでない場合には、最大皮膚確率値、たとえば
１を割り当てられる。一例として、図８の平滑化された
皮膚確率マップ上で実行され、上記の閾値を用いるこの
ステップの結果が図９に示される。
【００４７】次のステップ、すなわちステップ１８０
は、ノイズ、すなわち孤立した皮膚画素の小領域を排除
するための二値皮膚確率マップの空間フィルタリングで
ある。このフィルタリングは、他の画素に対するその配
置に照らして、皮膚画素を非皮膚画素に、および／また
は非皮膚画素を皮膚画素に変換することを含む。この例
では、このフィルタリングは、その８つの隣接する画素
の中で４つ未満の皮膚画素を有する、確率マップ内の全
ての皮膚画素を非皮膚画素に変換し、その８つの隣接す
る画素の中で８つの皮膚画素を有する全ての非皮膚画素
を皮膚画素に変換することにより実行される。その方法
の他の実施形態では、異なる値が用いられる場合があ
る。この処理の結果は、フィルタリングされた二値皮膚
確率マップと呼ばれるであろう。一例として、図９の二
値皮膚確率マップ上でのこのフィルタリング処理の結果
が図１０に示される。
は、ノイズ、すなわち孤立した皮膚画素の小領域を排除
するための二値皮膚確率マップの空間フィルタリングで
ある。このフィルタリングは、他の画素に対するその配
置に照らして、皮膚画素を非皮膚画素に、および／また
は非皮膚画素を皮膚画素に変換することを含む。この例
では、このフィルタリングは、その８つの隣接する画素
の中で４つ未満の皮膚画素を有する、確率マップ内の全
ての皮膚画素を非皮膚画素に変換し、その８つの隣接す
る画素の中で８つの皮膚画素を有する全ての非皮膚画素
を皮膚画素に変換することにより実行される。その方法
の他の実施形態では、異なる値が用いられる場合があ
る。この処理の結果は、フィルタリングされた二値皮膚
確率マップと呼ばれるであろう。一例として、図９の二
値皮膚確率マップ上でのこのフィルタリング処理の結果
が図１０に示される。
【００４８】フィルタリングされた二値皮膚確率マップ
は、皮膚領域の連結された画素の１つあるいは複数のグ
ループを含む場合がある。次のステップ、すなわち図４
のステップ１９０は連結成分解析、すなわちフィルタリ
ングされた二値皮膚確率マップ内の皮膚画素にラベルを
付し、グループ化することを含む。その実施形態では、
これは、画素を左上から右下に解析することにより行わ
れる。各皮膚画素はグループ番号を付される。ある皮膚
画素が、あるグループ番号を有する皮膚画素に隣接する
場合には、その皮膚画素は同じグループ番号を付与され
る。その皮膚画素があるグループ番号を有する２つ以上
の皮膚画素に隣接する場合には、その皮膚画素はこれら
のグループ番号のうちの最も小さな番号を取得し、他の
皮膚画素も最も小さなグループ番号を取得する。これは
第２の解析において行われる場合がある。この処理の結
果は、皮膚領域マップと呼ばれるであろう。この処理の
一例として、図１１（ａ）は、図１０のフィルタリング
された二値皮膚確率マップ上での第１の解析の結果を示
しており、結果として３つのグループが存在し、それは
番号１〜３によって特定される。その後、図１１（ｂ）
は図１１のマップ上での第２の解析の結果を示してお
り、２つの隣接するグループが合成される。
は、皮膚領域の連結された画素の１つあるいは複数のグ
ループを含む場合がある。次のステップ、すなわち図４
のステップ１９０は連結成分解析、すなわちフィルタリ
ングされた二値皮膚確率マップ内の皮膚画素にラベルを
付し、グループ化することを含む。その実施形態では、
これは、画素を左上から右下に解析することにより行わ
れる。各皮膚画素はグループ番号を付される。ある皮膚
画素が、あるグループ番号を有する皮膚画素に隣接する
場合には、その皮膚画素は同じグループ番号を付与され
る。その皮膚画素があるグループ番号を有する２つ以上
の皮膚画素に隣接する場合には、その皮膚画素はこれら
のグループ番号のうちの最も小さな番号を取得し、他の
皮膚画素も最も小さなグループ番号を取得する。これは
第２の解析において行われる場合がある。この処理の結
果は、皮膚領域マップと呼ばれるであろう。この処理の
一例として、図１１（ａ）は、図１０のフィルタリング
された二値皮膚確率マップ上での第１の解析の結果を示
しており、結果として３つのグループが存在し、それは
番号１〜３によって特定される。その後、図１１（ｂ）
は図１１のマップ上での第２の解析の結果を示してお
り、２つの隣接するグループが合成される。
【００４９】次のステップ、すなわち図３のステップ１
４０では、各皮膚領域の場合に、ある特定の統計値が計
算される。これは、フィルタリングされたマルチレベル
皮膚確率マップとともに皮膚領域マップを用いることに
より達成される。より具体的には、前者が種々の皮膚領
域と、その構成要素である皮膚画素の位置とを指示し、
後者はその皮膚画素の皮膚確率を指示する。この実施形
態では、両方のマップを用いることにより、各皮膚領域
の場合に計算される統計値は、これ以降、その領域の
「パワー」と呼ばれることになる、その領域の構成要素
の画素の皮膚確率の和と、その領域のパワーを用いて計
算されるその領域の重心と、その領域の幅および高さで
ある。最後の２つの値に基づいて、皮膚領域の境界も特
定され、各皮膚領域のためのバウンディングボックスが
計算される。他の枠形状および／またはパラメータを計
算することもできる。一例として、図１２は、図１１
（ｂ）の各領域の場合のバウンディングボックスと、十
字によって特定される重心とを示しており、以下の表は
格納される領域情報である。
４０では、各皮膚領域の場合に、ある特定の統計値が計
算される。これは、フィルタリングされたマルチレベル
皮膚確率マップとともに皮膚領域マップを用いることに
より達成される。より具体的には、前者が種々の皮膚領
域と、その構成要素である皮膚画素の位置とを指示し、
後者はその皮膚画素の皮膚確率を指示する。この実施形
態では、両方のマップを用いることにより、各皮膚領域
の場合に計算される統計値は、これ以降、その領域の
「パワー」と呼ばれることになる、その領域の構成要素
の画素の皮膚確率の和と、その領域のパワーを用いて計
算されるその領域の重心と、その領域の幅および高さで
ある。最後の２つの値に基づいて、皮膚領域の境界も特
定され、各皮膚領域のためのバウンディングボックスが
計算される。他の枠形状および／またはパラメータを計
算することもできる。一例として、図１２は、図１１
（ｂ）の各領域の場合のバウンディングボックスと、十
字によって特定される重心とを示しており、以下の表は
格納される領域情報である。
【００５０】
【表１】
【００５１】別法では、統計値の計算が、二値皮膚領域
マップのみを用いて実行される場合もある。しかしなが
ら、この手法は、皮膚画素の種々の皮膚確率を考慮に入
れ損なうことになり、結果として最適下限の性能になる
場合がある。単なる二値皮膚／非皮膚マップによる代わ
りに、マルチレベルの皮膚確率マップを用いる結果とし
てシステム性能が改善される。
マップのみを用いて実行される場合もある。しかしなが
ら、この手法は、皮膚画素の種々の皮膚確率を考慮に入
れ損なうことになり、結果として最適下限の性能になる
場合がある。単なる二値皮膚／非皮膚マップによる代わ
りに、マルチレベルの皮膚確率マップを用いる結果とし
てシステム性能が改善される。
【００５２】さらに、皮膚領域の特定は、閾値判定およ
び二値化を用いることなく、マルチレベル皮膚確率マッ
プのみに基づいて、すなわちマルチレベルマップの適当
な空間フィルタリングおよび連結成分解析を通して達成
される場合もある。この手法は、システムの性能をさら
に改善する可能性を有するが、計算のコストが高くな
る。
び二値化を用いることなく、マルチレベル皮膚確率マッ
プのみに基づいて、すなわちマルチレベルマップの適当
な空間フィルタリングおよび連結成分解析を通して達成
される場合もある。この手法は、システムの性能をさら
に改善する可能性を有するが、計算のコストが高くな
る。
【００５３】上記のステップの結果として、皮膚である
可能性が最も高い画像内の領域が特定される。その後、
それらの画素領域の統計値が、上記のように抽出され、
格納される。この実施形態は、移動電話のユーザの顔領
域を抽出および追跡することに関連するので、次のステ
ップとして、一連のフレーム内の第１のフレームに対し
て、最も大きなパワーを有する皮膚領域が顔領域として
選択される。別法では、その画像の中央部に最も近い皮
膚領域を顔領域として選択することができるか、あるい
はユーザが対象の顔領域である皮膚領域を手動で選択す
ることもできる。他の応用形態では、皮膚領域のうちの
２つ以上の領域が選択される場合もある。
可能性が最も高い画像内の領域が特定される。その後、
それらの画素領域の統計値が、上記のように抽出され、
格納される。この実施形態は、移動電話のユーザの顔領
域を抽出および追跡することに関連するので、次のステ
ップとして、一連のフレーム内の第１のフレームに対し
て、最も大きなパワーを有する皮膚領域が顔領域として
選択される。別法では、その画像の中央部に最も近い皮
膚領域を顔領域として選択することができるか、あるい
はユーザが対象の顔領域である皮膚領域を手動で選択す
ることもできる。他の応用形態では、皮膚領域のうちの
２つ以上の領域が選択される場合もある。
【００５４】顔検出モジュールの出力は顔追跡モジュー
ル１８に接続される。顔追跡モジュールは、フレーム毎
の皮膚領域についての情報（パワー、重心、バウンディ
ングボックス）を受信し、格納する。追跡モジュールは
この情報を用いて、現在のフレーム内の各領域を先行す
るフレーム内の顔領域に一致させようと試みる。この実
施形態では、この照合は、最小空間距離ルールに基づい
て実行され、その場合に空間距離は以下に詳述されるよ
うに最大軸距離として定義される。異なる実施形態で
は、ユークリッド距離のような他の距離指標を用いるこ
とができる。以下の式では、（ｘ1，ｙ1）は以前のフレ
ーム内の顔領域の重心を示し、（ｘ2，ｙ2）は現在のフ
レーム内の皮膚領域の重心を示す。 ｄｘ＝｜ｘ2−ｘ1｜ ｄｙ＝｜ｙ2−ｙ1｜ 最大軸距離＝ｍａｘ（ｄｘ，ｄｙ）
ル１８に接続される。顔追跡モジュールは、フレーム毎
の皮膚領域についての情報（パワー、重心、バウンディ
ングボックス）を受信し、格納する。追跡モジュールは
この情報を用いて、現在のフレーム内の各領域を先行す
るフレーム内の顔領域に一致させようと試みる。この実
施形態では、この照合は、最小空間距離ルールに基づい
て実行され、その場合に空間距離は以下に詳述されるよ
うに最大軸距離として定義される。異なる実施形態で
は、ユークリッド距離のような他の距離指標を用いるこ
とができる。以下の式では、（ｘ1，ｙ1）は以前のフレ
ーム内の顔領域の重心を示し、（ｘ2，ｙ2）は現在のフ
レーム内の皮膚領域の重心を示す。 ｄｘ＝｜ｘ2−ｘ1｜ ｄｙ＝｜ｙ2−ｙ1｜ 最大軸距離＝ｍａｘ（ｄｘ，ｄｙ）
【００５５】現在のフレームの顔領域が、そのフレーム
のための皮膚領域の中で最も高いパワーを持たない場合
には、ヒステリシス切替え機能が起動される。選択され
た領域が１１フレーム以上にわたって最も高いパワーを
持たない場合には、追跡が最も高いパワーの領域に切り
替えられる。このヒステリシス機能は皮膚領域間の切替
えを安定させ、類似の領域間のちらつきを防ぐ。
のための皮膚領域の中で最も高いパワーを持たない場合
には、ヒステリシス切替え機能が起動される。選択され
た領域が１１フレーム以上にわたって最も高いパワーを
持たない場合には、追跡が最も高いパワーの領域に切り
替えられる。このヒステリシス機能は皮膚領域間の切替
えを安定させ、類似の領域間のちらつきを防ぐ。
【００５６】追跡中に、顔の平均位置が多数のフレーム
にわたって計算される場合があり、この平均位置は、追
跡される顔を表示するために用いることができる。この
平均化において用いられるフレームの数は所定の限度内
でユーザによって制御され、ユーザが追跡の円滑さおよ
び速度に影響を及ぼすことができるようになる。オプシ
ョンでは、追跡される顔の位置が平均位置から所定の変
位閾値よりも大きく移動するとき、この平均化はリセッ
トされる。
にわたって計算される場合があり、この平均位置は、追
跡される顔を表示するために用いることができる。この
平均化において用いられるフレームの数は所定の限度内
でユーザによって制御され、ユーザが追跡の円滑さおよ
び速度に影響を及ぼすことができるようになる。オプシ
ョンでは、追跡される顔の位置が平均位置から所定の変
位閾値よりも大きく移動するとき、この平均化はリセッ
トされる。
【００５７】カメラは自動ズーム機能を含む場合があ
り、その機能によってズームが調整され、追跡される顔
領域の寸法が概ね一定に保持されるようになる。ちらつ
きを避けるために、ズーム機能はヒステリシス機能を含
む場合があり、それにより顔領域の寸法の大きな変化
が、ある一定の数のフレームにわたって保持される場合
にのみズームが調整される。
り、その機能によってズームが調整され、追跡される顔
領域の寸法が概ね一定に保持されるようになる。ちらつ
きを避けるために、ズーム機能はヒステリシス機能を含
む場合があり、それにより顔領域の寸法の大きな変化
が、ある一定の数のフレームにわたって保持される場合
にのみズームが調整される。
【００５８】追跡のヒステリシス、追跡の速度および円
滑さのユーザ制御による調整および自動ズーミングのよ
うな、記載される実施形態の態様は、本発明の独立の態
様であるとみなすことができる。
滑さのユーザ制御による調整および自動ズーミングのよ
うな、記載される実施形態の態様は、本発明の独立の態
様であるとみなすことができる。
【００５９】上記の実施形態では、本発明は移動テレビ
電話の内容に沿って記載されてきた。しかしながら、本
発明は、セキュリティシステムおよびテレビ会議システ
ムのような皮膚領域の検出に関連する他の応用形態にお
いて用いることができる。たとえば、本発明はセキュリ
ティシステムにおいて用いることができ、その場合に
は、ビルディングの周囲において個人がリアルタイムに
特定され、追跡される人認識システムの一部として、１
つあるいは複数の顔が同時に追跡される。別の例とし
て、本発明はテレビ会議システムにおいて実装されるこ
とができ、その場合には、数人の顔が確認され、顔の順
序が一致するように数フレームにわたって正確に追跡さ
れる。たとえば、視野内に３人の顔が存在し、各顔が１
つのボタンに割り当てられ、視認者が異なる顔を切り替
えられるようにする場合がある。顔間の正確な相関が追
跡しながら保持され、顔の順序を一致させておかなけれ
ばならない。そうでなければ、たとえば、顔３が選択さ
れるとき、その特定の選択と以前に関連付けられたもの
とは同じ顔でない場合がある。
電話の内容に沿って記載されてきた。しかしながら、本
発明は、セキュリティシステムおよびテレビ会議システ
ムのような皮膚領域の検出に関連する他の応用形態にお
いて用いることができる。たとえば、本発明はセキュリ
ティシステムにおいて用いることができ、その場合に
は、ビルディングの周囲において個人がリアルタイムに
特定され、追跡される人認識システムの一部として、１
つあるいは複数の顔が同時に追跡される。別の例とし
て、本発明はテレビ会議システムにおいて実装されるこ
とができ、その場合には、数人の顔が確認され、顔の順
序が一致するように数フレームにわたって正確に追跡さ
れる。たとえば、視野内に３人の顔が存在し、各顔が１
つのボタンに割り当てられ、視認者が異なる顔を切り替
えられるようにする場合がある。顔間の正確な相関が追
跡しながら保持され、顔の順序を一致させておかなけれ
ばならない。そうでなければ、たとえば、顔３が選択さ
れるとき、その特定の選択と以前に関連付けられたもの
とは同じ顔でない場合がある。
【００６０】その実施形態は皮膚色領域を検出すること
に関連するが、本発明は、任意の所定の色あるいは色分
布の領域を検出するために用いることができる。
に関連するが、本発明は、任意の所定の色あるいは色分
布の領域を検出するために用いることができる。
【００６１】上記の実施形態は、移動テレビ電話通信に
関連して記載されてきた。本発明は、テレビ会議、およ
びパーソナルコンピュータに接続されるカメラからのビ
デオ画像の伝送のような他の応用形態において用いるこ
ともできる。その実施形態は、対象物として話者の顔を
含むある領域を選択することを記載するが、本発明は、
任意の他の対象物に関連して適用されることができる。
本発明はＣＩＦおよびＱＣＩＦを用いて記載されてきた
が、他の形式が用いられる場合もある。ある特定の形式
を参照すると、それらの形式の回転のような変更が含ま
れる。たとえば、ＱＣＩＦ形式は高さよりも幅が大きい
（紙上に印刷する際の「横長書式」に類似）。人の顔の
場合には、９０°だけ回転させたＱＣＩＦ形式、すなわ
ち幅よりも高さが大きいＱＣＩＦ形式（「縦長書式」に
類似）が好ましく、結果として、顔は選択された領域の
うちのより大きな割合を占め、選択された領域のうちの
重要度の低い部分は狭い空間が割り当てられるようにな
る。選択するかつ／または表示される領域が特定の既知
の形式に従わない場合であっても、対象物の性質、特に
形状に関連して選択するかつ／または表示される領域を
選択する際に、同じような配慮がなされる。
関連して記載されてきた。本発明は、テレビ会議、およ
びパーソナルコンピュータに接続されるカメラからのビ
デオ画像の伝送のような他の応用形態において用いるこ
ともできる。その実施形態は、対象物として話者の顔を
含むある領域を選択することを記載するが、本発明は、
任意の他の対象物に関連して適用されることができる。
本発明はＣＩＦおよびＱＣＩＦを用いて記載されてきた
が、他の形式が用いられる場合もある。ある特定の形式
を参照すると、それらの形式の回転のような変更が含ま
れる。たとえば、ＱＣＩＦ形式は高さよりも幅が大きい
（紙上に印刷する際の「横長書式」に類似）。人の顔の
場合には、９０°だけ回転させたＱＣＩＦ形式、すなわ
ち幅よりも高さが大きいＱＣＩＦ形式（「縦長書式」に
類似）が好ましく、結果として、顔は選択された領域の
うちのより大きな割合を占め、選択された領域のうちの
重要度の低い部分は狭い空間が割り当てられるようにな
る。選択するかつ／または表示される領域が特定の既知
の形式に従わない場合であっても、対象物の性質、特に
形状に関連して選択するかつ／または表示される領域を
選択する際に、同じような配慮がなされる。
【００６２】その実施形態では、画像が第１の色空間と
してＲＧＢ形式で取得され、第２の異なる色空間として
ＬｏｇＲＧ色空間に変換される。しかしながら、画像取
得の場合に、さらに第２の色空間として他の色空間を用
いることもできる。たとえば、ＹＩＱ、ＹＵＶ、ＲＧ
Ｂ、ＨＳＩ、対数のような任意の色形式を用いることが
できる。しかしながら、第２の色空間は、求められる色
領域に適合し、かつ強めるように選択されることが好ま
しいであろう。上記の説明のように、ＨＳＩ、有彩色空
間および対数色空間が特に皮膚領域の場合に最適であ
る。
してＲＧＢ形式で取得され、第２の異なる色空間として
ＬｏｇＲＧ色空間に変換される。しかしながら、画像取
得の場合に、さらに第２の色空間として他の色空間を用
いることもできる。たとえば、ＹＩＱ、ＹＵＶ、ＲＧ
Ｂ、ＨＳＩ、対数のような任意の色形式を用いることが
できる。しかしながら、第２の色空間は、求められる色
領域に適合し、かつ強めるように選択されることが好ま
しいであろう。上記の説明のように、ＨＳＩ、有彩色空
間および対数色空間が特に皮膚領域の場合に最適であ
る。
【００６３】
【発明の効果】本発明によれば、画像あるいは一連の画
像内の１つあるいは複数の色領域を検出および／または
追跡するための方法および装置を実現することができ
る。
像内の１つあるいは複数の色領域を検出および／または
追跡するための方法および装置を実現することができ
る。
【図１】 移動体映像通信システムのブロック図であ
る。
る。
【図２】 図１の画像処理回路をさらに詳細に示すブロ
ック図である。
ック図である。
【図３】 本発明の一実施形態による方法の流れ図であ
る。
る。
【図４】 図３の皮膚領域抽出ステップをさらに詳細に
示す流れ図である。
示す流れ図である。
【図５】 （ａ）ないし（ｅ）よりなり、それぞれ画像
をダウンサンプリングする方法を示す図である。
をダウンサンプリングする方法を示す図である。
【図６】 （ａ）および（ｂ）よりなり、それぞれＬｏ
ｇＲＧ皮膚確率モデルの例を示す図である。
ｇＲＧ皮膚確率モデルの例を示す図である。
【図７】 マルチレベル皮膚確率マップの一例を示す図
である。
である。
【図８】 フィルタリング後の図７のマルチレベル皮膚
確率マップを示す図である。
確率マップを示す図である。
【図９】 二値化後の図８のフィルタリングされたマッ
プを示す図である。
プを示す図である。
【図１０】 フィルタリング後の図９の二値マップを示
す図である。
す図である。
【図１１】 （ａ）および（ｂ）よりなり、それぞれ皮
膚領域マップを作成するために図１０の二値マップにお
いて行われる連結成分解析の一例を示す図である。
膚領域マップを作成するために図１０の二値マップにお
いて行われる連結成分解析の一例を示す図である。
【図１２】 皮膚領域重心およびバウンディングボック
スとともに図８の皮膚確率マップを示す図である。
スとともに図８の皮膚確率マップを示す図である。
２ カメラ、４ シグナルプロセッサ、６ 符号器、８
送信機、１０ 受信機、１２ 復号器、１４ 表示装
置、１６ 顔検出モジュール、１８ 顔追跡モジュー
ル、２０ フレーム領域選択モジュール、２２ 顔領域
抽出モジュール。
送信機、１０ 受信機、１２ 復号器、１４ 表示装
置、１６ 顔検出モジュール、１８ 顔追跡モジュー
ル、２０ フレーム領域選択モジュール、２２ 顔領域
抽出モジュール。
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｈ０４Ｎ 1/60 Ｈ０４Ｎ 1/46 Ｚ
// Ｈ０４Ｎ 7/14 1/40 Ｄ
(71)出願人 501253316
ＭＩＴＳＵＢＩＳＨＩ ＥＬＥＣＲＩＣ
ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬ
ＯＧＹ ＣＥＮＴＲＥ ＥＵＲＯＰＥ
Ｂ．Ｖ.
20 Ｆｒｅｄｅｒｉｃｋ Ｓａｎｇｅｒ
Ｒｏａｄ， Ｔｈｅ Ｓｕｒｒｅｙ Ｒｅ
ｓｅａｒｃｈ Ｐａｒｋ， Ｇｕｉｌｄｆ
ｏｒｄ， Ｓｕｒｒｅｙ ＧＵ２ ５Ｙ
Ｄ， Ｇｒｅａｔ Ｂｒｉｔａｉｎ
(72)発明者 ジェイムズ・クーパー
イギリス国、サリー・アールエイチ４・２
イーエス、ドーキング、サウス・ストリー
ト 184
(72)発明者 ミロスロー・ボバー
イギリス国、サリー・ジーユー１・２エス
イー、ギルドフォード、メロウ、ウィクハ
ム・ロード 21
(72)発明者 スタヴロス・パシャラキス
イギリス国、サリー・ジーユー１・２エル
ティ、ギルドフォード、ボックスグロー
ブ・ロード、カルヴァー・ハウス ７
Ｆターム(参考） 5B057 AA20 CA01 CA08 CA12 CA16
CB20 CC01 CD05 CE16 CE18
CH01 CH11 DA11 DB02 DB06
DB09 DC03 DC04 DC06 DC23
DC25 DC40
5C064 AA01 AB03 AB04 AC01 AC13
AC22
5C077 LL20 MM27 MP08 NP01 PP20
PP32 PP35 PP37 PP57 PQ12
PQ18 PQ19 PQ22 RR18 TT10
5C079 HB01 HB06 HB11 LA01 LA37
MA01 MA10 MA11 NA29 PA00
5L096 AA02 FA15 FA32 FA35 GA30
GA40 HA03
Claims (36)
- 【請求項１】 ある画像内の所定の色特性を有する少な
くとも１つの領域を検出する方法であって、 前記画像内の画素の色値を第１の色空間から第２の色空
間に変換することと、 該第２の色空間内の前記色値を用いて、画素と前記所定
の色特性との間の一致を表し、多数の値にわたって変動
する確率値を求めることと、 前記確率値を用いて、前記所定の色特性に少なくとも近
い画素を特定することと、 前記所定の色特性に少なくとも近い画素をグループ化す
ることと、 各グループについての情報を抽出することとを含み、 前記画素は前記多数の確率値にそれぞれ従って重み付け
され、その重み付けは、前記画素をグループ化する際
に、かつ／または、１つのグループについての情報を抽
出する際に用いられる方法。 - 【請求項２】 前記抽出される情報は、１つのグループ
内の画素の確率値の和に基づくパワーと、グループエリ
アと、グループサイズと、グループ位置と、グループ重
心と、グループ幅と、グループ高と、グループ境界と、
グループバウンディングボックス幅と、グループバウン
ディングボックス高とのうちの１つあるいは複数を含む
請求項１に記載の方法。 - 【請求項３】 画像の処理中の任意のステージにおいて
前記画像をダウンサンプリングすることを含む請求項１
もしくは２に記載の方法。 - 【請求項４】 前記第２の色空間は前記所定の色特性を
強め、照明の変化に対して影響を受けにくくする請求項
１ないし３のいずれか１項に記載の方法。 - 【請求項５】 前記第１の色空間は線形な色空間であ
り、前記第２の色空間は非線形な色空間である請求項１
ないし４のいずれか１項に記載の方法。 - 【請求項６】 前記第２の色空間は対数色空間である請
求項１ないし５のいずれか１項に記載の方法。 - 【請求項７】 １つの画素が前記所定の色特性を有する
確率を、前記画素の色値を所定の確率モデルに投影する
ことにより求めることを含み、前記モデルは求められる
色特性のヒストグラム全体あるいは該ヒストグラムのう
ちの１つあるいは複数の領域を含む請求項１ないし６の
いずれか１項に記載の方法。 - 【請求項８】 前記確率モデルは、ユーザによって選択
されるサンプル色領域を用いて、既存の確率モデルを置
き換えるか、該既存の確率モデルと合成するかのいずれ
かによって、任意の回数だけ較正される請求項７に記載
の方法。 - 【請求項９】 前記画像内の最も中央に位置し、かつ／
または最も高い確率の和を有するグループが表示するた
めに選択される請求項１ないし８のいずれか１項に記載
の方法。 - 【請求項１０】 前記画像は一連の画像内にあり、前記
所定の色特性を有する画素の少なくとも１つのグループ
が前記一連の画像内のいくつかの画像において求められ
る請求項１ないし９のいずれか１項に記載の方法。 - 【請求項１１】 前記画素グループは、前記一連の画像
を通して追跡され、かつ／または表示される請求項１０
に記載の方法。 - 【請求項１２】 種々の画像間の画素グループが、距離
および／またはサイズ関数を用いて照合される請求項１
０もしくは１１に記載の方法。 - 【請求項１３】 追跡されるグループの動きが、所定の
フレーム数にわたって平均されて、平均位置が生成され
る請求項１０ないし１２のいずれか１項に記載の方法。 - 【請求項１４】 前記動きを平均するために用いられる
フレーム数は、所定の限度内でユーザによって求められ
ることができる請求項１３に記載の方法。 - 【請求項１５】 あるグループが所定の限度よりも大き
な動きを有する場合に、前記グループのための平均化が
リセットされる請求項１３もしくは１４に記載の方法。 - 【請求項１６】 追跡される各グループは識別タグを割
り当てられ、前記追跡されるグループを反復使用するす
なわち選択できるようにする請求項１０ないし１５のい
ずれか１項に記載の方法。 - 【請求項１７】 追跡するかつ／または表示するための
前記グループをユーザが選択する請求項１０ないし１６
のいずれか１項に記載の方法。 - 【請求項１８】 前記画像内の最も中央に位置し、かつ
／または最も高い確率の和を有するグループが追跡およ
び／または表示するために選択される請求項１０ないし
１６のいずれか１項に記載の方法。 - 【請求項１９】 前記追跡されるグループが所定の数の
連続した画像に対して前記最も高い確率の和を持たない
とき、前記追跡および／または表示されるグループは前
記最も高い確率の和を有するグループに切り替わる請求
項１８に記載の方法。 - 【請求項２０】 前記色特性は人間の皮膚の色調に対応
する請求項１ないし１９のいずれか１項に記載の方法。 - 【請求項２１】 前記領域は人間の顔である請求項１な
いし２０のいずれか１項に記載の方法。 - 【請求項２２】 前記領域は人間の手である請求項１な
いし２０のいずれか１項に記載の方法。 - 【請求項２３】 前記確率モデルは対象の画像の領域を
抽出することにより較正される請求項７あるいは請求項
７に従属する請求項のいずれか１項に記載の方法。 - 【請求項２４】 前記画像内の画素の前記グループのエ
リアに基づいてズーミングが実行される請求項１ないし
２３のいずれか１項に記載の方法。 - 【請求項２５】 １組の離散したズームレベルが存在す
る請求項２４に記載の方法。 - 【請求項２６】 時間ヒステリシス関数を用いて、離散
したズームレベル間の変化を平滑化することを含む請求
項２５に記載の方法。 - 【請求項２７】 画像取得手段を含む装置を動作させる
方法であって、請求項１ないし２６のいずれか１項に記
載の方法を用いて、所定の色特性を有する前記取得され
た画像内の画素のグループを特定することを含む方法。 - 【請求項２８】 さらに別の処理を行うために、前記画
素のグループを含む１つあるいは複数の領域を抽出する
ことを含む請求項２７に記載の方法。 - 【請求項２９】 前記さらに別の処理は、画像表示手段
上に表示することを含む請求項２８に記載の方法。 - 【請求項３０】 前記装置は画像伝送システムである請
求項２７ないし２９のいずれか１項に記載の方法。 - 【請求項３１】 請求項１ないし３０のいずれか１項に
記載の方法を実行するためのコンピュータプログラム。 - 【請求項３２】 請求項３１に記載のコンピュータプロ
グラムを格納するデータ記憶媒体。 - 【請求項３３】 請求項１ないし３２のいずれか１項に
記載の方法を実施するように構成される装置。 - 【請求項３４】 データ記憶手段と画像データ処理手段
とを含む請求項３３に記載の装置。 - 【請求項３５】 請求項３３もしくは３４に記載の装置
を含む通信システムのための送信機。 - 【請求項３６】 移動テレビ電話である請求項３３ない
し３５のいずれか１項に記載の装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP02252516.6 | 2002-04-08 | ||
| EP02252516A EP1353516A1 (en) | 2002-04-08 | 2002-04-08 | A method and apparatus for detecting and/or tracking one or more colour regions in an image or sequence of images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003346145A true JP2003346145A (ja) | 2003-12-05 |
| JP4335565B2 JP4335565B2 (ja) | 2009-09-30 |
Family
ID=28051841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003099347A Expired - Fee Related JP4335565B2 (ja) | 2002-04-08 | 2003-04-02 | 画像あるいは一連の画像内の１つあるいは複数の色領域を検出しかつ／または追跡するための方法および装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7236629B2 (ja) |
| EP (1) | EP1353516A1 (ja) |
| JP (1) | JP4335565B2 (ja) |
| CN (1) | CN100393106C (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014164343A (ja) * | 2013-02-21 | 2014-09-08 | Ricoh Co Ltd | 画像処理装置、画像処理システム及びプログラム |
| KR20150130767A (ko) * | 2014-05-14 | 2015-11-24 | 한국전자통신연구원 | 사용자의 손 영역을 검출하기 위한 사용자 손 검출 장치 및 그 동작 방법 |
| JP2022544570A (ja) * | 2019-08-16 | 2022-10-19 | グーグル エルエルシー | ビデオ通話用の顔ベースのフレームパッキング |
Families Citing this family (63)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7559026B2 (en) * | 2003-06-20 | 2009-07-07 | Apple Inc. | Video conferencing system having focus control |
| US7397495B2 (en) * | 2003-06-20 | 2008-07-08 | Apple Inc. | Video conferencing apparatus and method |
| JP2005094741A (ja) * | 2003-08-14 | 2005-04-07 | Fuji Photo Film Co Ltd | 撮像装置及び画像合成方法 |
| KR100682889B1 (ko) * | 2003-08-29 | 2007-02-15 | 삼성전자주식회사 | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 |
| DE60330471D1 (de) | 2003-12-09 | 2010-01-21 | Mitsubishi Electric Corp | Verfahren und Vorrichtung zum Trennen von Inhalten in Bildern |
| EP1694051A4 (en) * | 2003-12-11 | 2010-11-17 | Fujitsu Ltd | IMAGE PROCESSING, PROGRAM AND ESTABLISHMENT |
| GB2409030A (en) * | 2003-12-11 | 2005-06-15 | Sony Uk Ltd | Face detection |
| GB2409028A (en) | 2003-12-11 | 2005-06-15 | Sony Uk Ltd | Face detection |
| US7126816B2 (en) * | 2004-03-12 | 2006-10-24 | Apple Computer, Inc. | Camera latch |
| US7426296B2 (en) * | 2004-03-18 | 2008-09-16 | Sony Corporation | Human skin tone detection in YCbCr space |
| US20060007318A1 (en) * | 2004-07-09 | 2006-01-12 | Omron Corporation | Monitoring system center apparatus, monitoring-system-center program, and recording medium having recorded monitoring-system-center program |
| US20060007307A1 (en) * | 2004-07-12 | 2006-01-12 | Chao-Hung Chang | Partial image saving system and method |
| NO321642B1 (no) * | 2004-09-27 | 2006-06-12 | Tandberg Telecom As | Fremgangsmate for koding av bildeutsnitt |
| US8995715B2 (en) * | 2010-10-26 | 2015-03-31 | Fotonation Limited | Face or other object detection including template matching |
| JP4822396B2 (ja) * | 2005-03-29 | 2011-11-24 | 株式会社メガチップス | 画像強調装置 |
| US7689016B2 (en) * | 2005-05-27 | 2010-03-30 | Stoecker & Associates, A Subsidiary Of The Dermatology Center, Llc | Automatic detection of critical dermoscopy features for malignant melanoma diagnosis |
| JP2006338377A (ja) * | 2005-06-02 | 2006-12-14 | Fujifilm Holdings Corp | 画像補正方法および装置並びにプログラム |
| WO2007023425A2 (en) * | 2005-08-26 | 2007-03-01 | Koninklijke Philips Electronics N.V. | Imaging camera processing unit and method |
| US8019170B2 (en) * | 2005-10-05 | 2011-09-13 | Qualcomm, Incorporated | Video frame motion-based automatic region-of-interest detection |
| US8208758B2 (en) | 2005-10-05 | 2012-06-26 | Qualcomm Incorporated | Video sensor-based automatic region-of-interest detection |
| CN101317185B (zh) * | 2005-10-05 | 2014-03-19 | 高通股份有限公司 | 基于视频传感器的自动关注区检测 |
| JP4882390B2 (ja) | 2006-01-25 | 2012-02-22 | 富士ゼロックス株式会社 | 画像処理装置 |
| US7821490B2 (en) * | 2006-02-14 | 2010-10-26 | Research In Motion Limited | System and method for adjusting a backlight level for a display on an electronic device |
| JP4671354B2 (ja) * | 2006-03-15 | 2011-04-13 | 株式会社リコー | 画像圧縮装置および画像圧縮方法 |
| US8031936B2 (en) * | 2006-03-20 | 2011-10-04 | Accenture Global Services Limited | Image processing system for skin detection and localization |
| US10614294B1 (en) * | 2006-06-16 | 2020-04-07 | Videomining Corporation | Method and system for measuring viewership of people for displayed object |
| TWI328201B (en) * | 2006-10-30 | 2010-08-01 | Ind Tech Res Inst | Method and system for object detection in an image plane |
| US7986336B2 (en) * | 2006-11-27 | 2011-07-26 | Eastman Kodak Company | Image capture apparatus with indicator |
| US8649604B2 (en) | 2007-03-05 | 2014-02-11 | DigitalOptics Corporation Europe Limited | Face searching and detection in a digital image acquisition device |
| US7983480B2 (en) * | 2007-05-17 | 2011-07-19 | Seiko Epson Corporation | Two-level scanning for memory saving in image detection systems |
| US7952596B2 (en) * | 2008-02-11 | 2011-05-31 | Sony Ericsson Mobile Communications Ab | Electronic devices that pan/zoom displayed sub-area within video frames in response to movement therein |
| CN101436252A (zh) * | 2008-12-22 | 2009-05-20 | 北京中星微电子有限公司 | 一种车辆视频图像中车身颜色识别方法及系统 |
| US8385638B2 (en) * | 2009-01-05 | 2013-02-26 | Apple Inc. | Detecting skin tone in images |
| US8284232B2 (en) * | 2009-01-30 | 2012-10-09 | Hewlett-Packard Development Company, L.P. | Equalization of video streams |
| JP2010205067A (ja) * | 2009-03-04 | 2010-09-16 | Fujifilm Corp | 領域抽出装置、領域抽出方法及び領域抽出プログラム |
| US8917294B2 (en) * | 2009-03-11 | 2014-12-23 | Hewlett-Packard Development Company, L.P. | Color space matching of video signals |
| US20130121565A1 (en) * | 2009-05-28 | 2013-05-16 | Jue Wang | Method and Apparatus for Local Region Selection |
| US8525847B2 (en) * | 2009-06-01 | 2013-09-03 | Apple Inc. | Enhancing images using known characteristics of image subjects |
| TWI397840B (zh) * | 2009-07-23 | 2013-06-01 | Ind Tech Res Inst | 基於軌跡之控制方法及裝置 |
| CA2775818C (en) * | 2009-10-02 | 2016-11-01 | National Coatings Corporation | Highly reflective roofing system |
| JP2011186780A (ja) * | 2010-03-09 | 2011-09-22 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
| US9053681B2 (en) | 2010-07-07 | 2015-06-09 | Fotonation Limited | Real-time video frame pre-processing hardware |
| TW201224955A (en) * | 2010-12-15 | 2012-06-16 | Ind Tech Res Inst | System and method for face detection using face region location and size predictions and computer program product thereof |
| EP2469450B1 (en) * | 2010-12-24 | 2017-11-22 | OCT Circuit Technologies International Limited | Face detection |
| JP5766986B2 (ja) * | 2011-03-16 | 2015-08-19 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| US8736894B2 (en) * | 2011-12-20 | 2014-05-27 | Eastman Kodak Company | Producing correction data for printer |
| KR101289087B1 (ko) * | 2011-11-03 | 2013-08-07 | 인텔 코오퍼레이션 | 얼굴 검출 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 |
| US8818030B2 (en) * | 2011-12-13 | 2014-08-26 | Xerox Corporation | Post-processing a multi-spectral image for enhanced object identification |
| US9262690B2 (en) * | 2013-08-27 | 2016-02-16 | Htc Corporation | Method and device for detecting glare pixels of image |
| GB2519620B (en) | 2013-10-23 | 2015-12-30 | Imagination Tech Ltd | Skin colour probability map |
| JP2015180045A (ja) * | 2014-02-26 | 2015-10-08 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US9928601B2 (en) | 2014-12-01 | 2018-03-27 | Modiface Inc. | Automatic segmentation of hair in images |
| CN104506820A (zh) * | 2015-01-06 | 2015-04-08 | 成都新舟锐视科技有限公司 | 一种多目标智能跟踪系统 |
| CN104639914A (zh) * | 2015-02-16 | 2015-05-20 | 国网安徽省电力公司铜陵供电公司 | 一种用于高压线绝缘子成像与污秽检测的装置及方法 |
| JP6642970B2 (ja) * | 2015-03-05 | 2020-02-12 | キヤノン株式会社 | 注目領域検出装置、注目領域検出方法及びプログラム |
| CN105224917B (zh) * | 2015-09-10 | 2019-06-21 | 成都品果科技有限公司 | 一种利用颜色空间创建肤色概率图的方法和系统 |
| US9910633B2 (en) * | 2016-05-11 | 2018-03-06 | TCL Research America Inc. | Scalable storage-loss optimized framework based method and system for color gamut mapping |
| CN106127738B (zh) * | 2016-06-16 | 2018-12-11 | 上海荣盛生物药业有限公司 | 凝集试验判读方法 |
| US10704262B2 (en) | 2016-09-26 | 2020-07-07 | U.S. Silica Company | Self-cleaning cool roof system |
| CN109670383B (zh) * | 2017-10-16 | 2021-01-29 | 杭州海康威视数字技术股份有限公司 | 视频遮蔽区域选取方法、装置、电子设备及系统 |
| WO2019133980A1 (en) * | 2017-12-30 | 2019-07-04 | Wu Yecheng | Backdrop color detection |
| CN108375586B (zh) * | 2018-02-08 | 2020-12-15 | 湘潭大学 | 具有多个检测模式的缺陷检测装置及其方法 |
| TWI719409B (zh) * | 2019-02-23 | 2021-02-21 | 和碩聯合科技股份有限公司 | 追蹤系統及其方法 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4975960A (en) | 1985-06-03 | 1990-12-04 | Petajan Eric D | Electronic facial tracking and detection system and method and apparatus for automated speech recognition |
| GB9019538D0 (en) | 1990-09-07 | 1990-10-24 | Philips Electronic Associated | Tracking a moving object |
| JP3298072B2 (ja) | 1992-07-10 | 2002-07-02 | ソニー株式会社 | ビデオカメラシステム |
| US5751926A (en) * | 1992-12-23 | 1998-05-12 | International Business Machines Corporation | Function approximation using a centered cubic packing with tetragonal disphenoid extraction |
| US6028960A (en) | 1996-09-20 | 2000-02-22 | Lucent Technologies Inc. | Face feature analysis for automatic lipreading and character animation |
| US6343141B1 (en) | 1996-10-08 | 2002-01-29 | Lucent Technologies Inc. | Skin area detection for video image systems |
| US6151403A (en) * | 1997-08-29 | 2000-11-21 | Eastman Kodak Company | Method for automatic detection of human eyes in digital images |
| US6148092A (en) * | 1998-01-08 | 2000-11-14 | Sharp Laboratories Of America, Inc | System for detecting skin-tone regions within an image |
| US5995655A (en) * | 1998-06-09 | 1999-11-30 | Silicon Graphics, Inc. | System and method for coding colors and storing compensation factors used in color space conversion |
| US6292575B1 (en) * | 1998-07-20 | 2001-09-18 | Lau Technologies | Real-time facial recognition and verification system |
| US6263113B1 (en) | 1998-12-11 | 2001-07-17 | Philips Electronics North America Corp. | Method for detecting a face in a digital image |
| US6434269B1 (en) * | 1999-04-26 | 2002-08-13 | Adobe Systems Incorporated | Smart erasure brush |
| GB2357650A (en) | 1999-12-23 | 2001-06-27 | Mitsubishi Electric Inf Tech | Method for tracking an area of interest in a video image, and for transmitting said area |
| US6940545B1 (en) * | 2000-02-28 | 2005-09-06 | Eastman Kodak Company | Face detecting camera and method |
| KR20020031630A (ko) * | 2000-10-20 | 2002-05-03 | 구자홍 | 칼라 왜곡 정보를 이용한 얼굴 영역 추출 방법 |
| AUPR541801A0 (en) * | 2001-06-01 | 2001-06-28 | Canon Kabushiki Kaisha | Face detection in colour images with complex background |
| US7082211B2 (en) * | 2002-05-31 | 2006-07-25 | Eastman Kodak Company | Method and system for enhancing portrait images |
-
2002
- 2002-04-08 EP EP02252516A patent/EP1353516A1/en not_active Withdrawn
-
2003
- 2003-04-02 JP JP2003099347A patent/JP4335565B2/ja not_active Expired - Fee Related
- 2003-04-08 CN CNB031102468A patent/CN100393106C/zh not_active Expired - Fee Related
- 2003-04-08 US US10/408,316 patent/US7236629B2/en not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014164343A (ja) * | 2013-02-21 | 2014-09-08 | Ricoh Co Ltd | 画像処理装置、画像処理システム及びプログラム |
| KR20150130767A (ko) * | 2014-05-14 | 2015-11-24 | 한국전자통신연구원 | 사용자의 손 영역을 검출하기 위한 사용자 손 검출 장치 및 그 동작 방법 |
| KR102207856B1 (ko) | 2014-05-14 | 2021-01-26 | 한국전자통신연구원 | 사용자의 손 영역을 검출하기 위한 사용자 손 검출 장치 및 그 동작 방법 |
| JP2022544570A (ja) * | 2019-08-16 | 2022-10-19 | グーグル エルエルシー | ビデオ通話用の顔ベースのフレームパッキング |
| JP7354417B2 (ja) | 2019-08-16 | 2023-10-02 | グーグル エルエルシー | ビデオ通話用の顔ベースのフレームパッキング |
Also Published As
| Publication number | Publication date |
|---|---|
| CN100393106C (zh) | 2008-06-04 |
| EP1353516A1 (en) | 2003-10-15 |
| US7236629B2 (en) | 2007-06-26 |
| US20040017938A1 (en) | 2004-01-29 |
| CN1450796A (zh) | 2003-10-22 |
| JP4335565B2 (ja) | 2009-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4335565B2 (ja) | 画像あるいは一連の画像内の１つあるいは複数の色領域を検出しかつ／または追跡するための方法および装置 | |
| Chai et al. | Face segmentation using skin-color map in videophone applications | |
| US6343141B1 (en) | Skin area detection for video image systems | |
| Habili et al. | Segmentation of the face and hands in sign language video sequences using color and motion cues | |
| Graf et al. | Multi-modal system for locating heads and faces | |
| CN107730444B (zh) | 图像处理方法、装置、可读存储介质和计算机设备 | |
| US6404900B1 (en) | Method for robust human face tracking in presence of multiple persons | |
| US7796822B2 (en) | Foreground/background segmentation in digital images | |
| US20080013837A1 (en) | Image Comparison | |
| CN107993209B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| Schumeyer et al. | Color-based classifier for region identification in video | |
| JP2004086891A (ja) | デジタル画像におけるオブジェクト検出方法 | |
| WO1999023600A1 (en) | Video signal face region detection | |
| EP1932096A2 (en) | Video sensor-based automatic region-of-interest detection | |
| JPH1051755A (ja) | テレビ会議端末の画面表示制御装置 | |
| JP2002279416A (ja) | 色補正方法および色補正装置 | |
| Shi et al. | Automatic image quality improvement for videoconferencing | |
| JP2005513656A (ja) | 体積成長および変化検出マスクを使用してビデオ内の移動オブジェクトを識別するための方法 | |
| CN108022207A (zh) | 图像处理方法、装置、存储介质和电子设备 | |
| CN108668129A (zh) | 一种编码方法及装置 | |
| CN114187166A (zh) | 图像处理方法、智能终端及存储介质 | |
| KR100439377B1 (ko) | 이동 통신 환경에서의 사람 영역 추출방법 | |
| CN112926367B (zh) | 一种活体检测的设备及方法 | |
| JP2004128715A (ja) | ビデオデータの記憶制御方法およびシステム、プログラム、記録媒体、ビデオカメラ | |
| KR100438303B1 (ko) | 객체 추출방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060315 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081202 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090302 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090305 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090402 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090407 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090501 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090526 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090625 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S631 | Written request for registration of reclamation of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313631 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130703 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130703 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |