JP2002203239A - ディジタル画像中で人間の姿を検出する画像処理方法 - Google Patents

ディジタル画像中で人間の姿を検出する画像処理方法

Info

Publication number
JP2002203239A
JP2002203239A JP2001350755A JP2001350755A JP2002203239A JP 2002203239 A JP2002203239 A JP 2002203239A JP 2001350755 A JP2001350755 A JP 2001350755A JP 2001350755 A JP2001350755 A JP 2001350755A JP 2002203239 A JP2002203239 A JP 2002203239A
Authority
JP
Japan
Prior art keywords
human
face
regions
image
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001350755A
Other languages
English (en)
Inventor
Jiebo Luo
ルオ ジエボ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastman Kodak Co
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of JP2002203239A publication Critical patent/JP2002203239A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 ポーズ、姿勢、クロッピング、隠線、衣装、
又は他の異常な状況についての仮定をすることなく画像
中の包括的な人間の姿を検出するためのより効率的なア
ルゴリズムを提供することを目的とする。 【解決手段】 ディジタルカラー画像中の人間の姿を検
出するディジタル画像処理方法は、ＲＧＢ値を表わす画
素を有するディジタルカラー画像を与える段階と、ディ
ジタルカラー画像を均質な色又はテクスチャの重なり合
わない領域へセグメンテーションする段階と、人間の肌
色の候補領域を検出する段階と、人間の顔の候補領域を
検出する段階と、各候補顔領域について、人間の肌の色
の領域に優先度を与えて、予め定義された人間の姿のグ
ラフィックモデルに従って顔領域の近傍の領域をグルー
プ化することにより人間の姿を構築する段階とを含む。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は概してディジタル画
像処理及びコンピュータビジョンの分野に係り、更に特
定的にはディジタル画像中の人間の姿を検出する方法に
関する。
【０００２】
【従来の技術】ディジタル画像は、画像通信において広
く使用されている。ディジタル画像により、画像中の関
心となる対象を検出するためにコンピュータビジョン技
術を使用することが可能となる。画像中に見いだされる
全ての考えられる対象のうち、人間の姿は最も関心の高
いものとして目立つものである。
【０００３】人間の顔検出については過去２０年間にわ
たって広い研究・開発活動がなされてきた。例えば、Lo
boに対して１９９８年１１月１１日に発行された米国特
許第５，８３５，６１６号によって知られるものがあ
る。Loboの文献では、（例えばハンドヘルド式ディジタ
ルカメラ及びカムコーダといったディジタルビデオカメ
ラによって撮影され）電子的に２値化された画像中の人
間の顔を自動的に見つけるため、及び、顔の特徴を調べ
ることにより顔の存在を確認するための２ステップ方法
が開示されている。ステップ１は、人間の顔を検出する
ものであり、しわといった固有の顔の特徴や顔の画像の
湾曲をよりよく示すためにぼけフィルタやエッジ強調器
によってディジタル画像を強調する段階において行われ
る。予備フィルタリングの後、スネークレットと称され
ることもある予め選択された曲線が画像上に置かれ、顔
の画像の自然のしわ及び曲線に合わされる。ステップ２
は、７つの段階で人間の顔の存在を確認するものであ
り、画像中の顎、顔の側面、頭部の実質的な頂部、目、
口、鼻を含むディジタル画像の顔の特徴を見つけること
によって行われる。見いだされたこれらの顔特徴の間の
距離の比率を、認識のために予め記憶した基準比率と比
較する。
【０００４】画像の中の顔特徴を検出するためのこの方
法は、エンターテインメント／アミューズメントパーク
の局から人口年齢統計を収集するためやテレビジョンネ
ットワークの視聴者のレーティング調査のための人間の
顔の検出といった用途に使用されうるが、これらに限ら
れるものではない。このような収集は、客の数を数える
こと、ある年齢及び性別のグループを区別すること、及
び／又は、特定の人々を識別することを含みうる。この
ような可能性を有するコンピュータビジョンは、更に、
自動化された調査システム、人口統計調査、オートフォ
ーカスカメラ用の自動化された写真技術、及び、人間と
コンピュータの対話といった分野に適用されうる。自動
化された写真技術は、合焦された被写体がないことによ
って低い品質を生じさせる手動調節の問題を排除しう
る。コンピュータシステムは、ユーザの特定の要求を認
識しこれに応答し、更に人間であるユーザ用に変換する
ためにこのシステムを使用しうる。
【０００５】種々の適用において「顔検出」が価値のあ
るものであることは既に知られている。しかしながら、
「人物検出」又は「人間の姿の検出」は、人物検出は単
に顔だけ以上のことを含むこと、及び、人物検出は顔検
出がうまくいかない場合でもうまくいくことがあるこ
と、の２点から潜在的に更に多くの情報を与える可能性
がある。
【０００６】主被写体検出、被写体についての露出補
償、及び、画像合成は全て、単に顔領域だけでなく人物
領域についての知識があればそれにより利益を得る。人
物の写真では、主被写体は通常は、顔だけでなく、人物
全体である。ディジタル編集では、合成、又は、ズーム
及びクロッピングを行う場合に、体の部分から切り離さ
れた顔を用いて作業するのではなく、人物全体を一体と
して取り扱おうとすることは理にかなっている。そし
て、露出の補償を行う場合は、被写体に対する正しい補
償は、顔だけでなく、顔に関連する毛髪及び衣服も考慮
に入れるべきであると言える。
【０００７】顔検出は、写真の中の顔が「小さすぎる」
場合、例えば両目の間の距離が１０画素程度であるか焦
点が合っていない場合に、顔を検出するのに失敗すると
予想される。このような写真の場合でも、でも幾つかの
種類の人物検出器は成功しうる。この場合、人物検出
は、フレームの向きの決定及び主被写体検出といった顔
の検出が有効な適用において、顔検出を置き換えるもの
であると考えられうる。
【０００８】理想的な人物検出器は、画像の各画素を、
それが人物の一部であるか否かによって、また、そうで
あればどの人物が関連付けられるかによってラベル付け
する。人物に関連付けられる画素は、体と毛髪、及び、
着けている衣服、即ち、基本的に人物と共に一体として
動く全てのものを含む。人物の検出は、ポーズ、姿勢、
クロッピング、隠線、衣装、又は他の異常な状況にかか
わらず成功せねばならない。傘、バッグ、赤ん坊といっ
た手で保持されている物体はあいまいな領域であり、特
定の用途に依存して含まれることも除かれることもあ
る。
【０００９】これは難しい問題であることが理解される
べきである。これは、１人又は２人の「肩から上の」ク
ローズアップのビューから、座っている人物が立ってい
る人物を部分的に隠しているような中位の距離の集合写
真、殆どが隠されておりカメラに背中を向けている可能
性が高い多くの人物からなる遠い群衆までを含む。
【００１０】以下の文献は、従来技術で知られており同
様の問題について扱う幾つかのアプローチについて記載
している。
【００１１】Oren外は、Proceedings of Computer Visi
on and Pattern Recognition, 1997においてウェーブレ
ットに基づくテンプレートを用いた歩行者検出の方法を
開示している。この方法は、実際の対象（「歩行者」）
の全ての場所及び考えられうるサイズについて画像全体
に亘って所定の強度パターン（「テンプレート」）を適
用するテンプレートマッチングに基づく。ウェーブレッ
トテンプレートは、被写体の衣服及び照明条件の変化に
対する感度を減少させるために使用される。この方法
は、「歩行者」、即ち、歩く動きをしている詳細の少な
い姿にのみ適している。この方法では、全ての場所及び
寸法を網羅する探索が行われるため計算費用がかかる。
【００１２】Forsyth外は、肌検出及び手足のグループ
化を用いた「裸の人物」の検出の方法を開示している
（David Forsyth, Margaret Fleck, and Chris Bregle
r, "Finding Naked People". 1996 European Conferenc
e on Computer Vision, VolumeII, pp. 592-602）。こ
の方法では、まず、大きい面積の肌色領域を含む画像を
見つけ、次に細長い領域を見つけ、これらを考えられう
る人間の手足及び接続された手足のグループへとグルー
プ化する。この方法で仮定されることは、 ・人間は比較的簡単な形状の部分から作られること、 ・これらの部分を組み立てるためには幾つかの方法しか
ないこと、 ・組立の運動学は、多くの形態が不可能であることを補
償すること、 ・動きを測定することができるとき、これらの部分の動
力学は限られていることである。
【００１３】この方法が使用するモデルでは、・肌領域
はテクスチャを有さず、限られた範囲の色相及び飽和度
を有し、 ・簡単なグループ（胴体セグメント）を複雑なグループ
（手足セグメント・ガードル）へ組み立てるためのグル
ープ化規則は、３次元導体部分に対する幾何学的制約及
び運動学的制約によって生ずる２次元特徴の相対的な位
置についての制約を組み込み、 ・エッジセグメント、即ち、略平行な局部的な対称であ
る対のエッジ点であり間に他のエッジがないものに対し
てグループ化を行い、点の集合がおおよそ直線的な軸を
有する領域（「リボン」）を形成し、 ・手足を形成するよう、端部が近接して存在し、断面の
長さが略同じであるリボンの対をグループ化し、 ・手足を推定される帯へグループ化し、 ・脊髄・腿のグループを形成するようセグメントをグル
ープ化する。
【００１４】かかる方法では、 ・提案されるグループ化規則が完全でないこと、及び、 ・衣服には複雑な模様が施されている場合が多く、表面
の向きの変化によって生ずる歪みを受けるため、着衣し
た人物をセグメンテーションすることが困難であるこ
と、という問題点がある。
【００１５】Felzenszwalb及びHuttenlocherは、Procee
dings of Computer Vision and Pattern Recognition,
2000の中で、変形可能なモデルを用いた人間の姿のマッ
チングのための方法を開示している。この方法は、部分
の対の間のバネ状の接続によって表わされる変形可能な
モデルのマッチングに基づく。人間の姿のモデルは以下
の通りであり、各部分は同じ強度の矩形のボックスに当
てはまり、各接続は相対的な向き、寸法、及び節の整列
の夫々の偏りに関連付けられる費用を特定する。
【００１６】この方法の問題点は、 ・検出は既知の人間の姿を既知の部分にマッチングする
場合に限られていること（画像中の予想される人物に対
してモデルが構築されねばならないこと）、 ・部分が頑強な方法で得られないこと（考えられうる部
分の位置は、ｘ位置及びｙ位置のそれぞれについて５０
バケットへ、寸法について１０バケットへ、向きについ
て２０バケットへ量子化される）、 ・マッチングの結果は、人物のおおよその位置であり、
多くの適用には適していないことである。
【００１７】Oren外による方法は、人間の姿が、立った
状態（歩行者）であり、隠線がないか又はわずかである
全身の姿であると想定する。
【００１８】Forsyth外によって教示される方法は、以
下のような多数の仮定に基づくものであり、即ち、 ・人間の姿が裸であること、 ・全ての人間の体の部分は肌領域として検出されうるこ
と、 ・全ての背景領域は肌領域としては検出されないこと、
を仮定する。
【００１９】Felzenszwalb外によって教示される方法
は、未知の人間の姿の検出というよりもむしろ、主に既
知の人間の姿のマッチングのために設計されたものであ
る。この方法は、例えば以下の仮定、即ち、 ・人間の姿のモデルは予め特定され、変化しないこと、 ・人間の体の全ての露出した部分が均一な肌色の領域と
して検出されうること、及び、 ・全ての衣服の部分が均一に色づけされた領域として検
出されること、という仮定に基づく。
【００２０】しかしながら、上述の仮定は多くの画像適
用に対しては成り立たない。例えば、多くの適用におい
て、探索の前に人間の姿のモデルを構築すること、又は
姿勢を立った位置に制限することは可能でない。また、
殆どの適用では、人間はなんらかの衣服を着用してい
る。
【００２１】
【発明が解決しようとする課題】従って、ポーズ、姿
勢、クロッピング、隠線、衣装、又は他の異常な状況に
ついての仮定をすることなく画像中の包括的な人間の姿
を検出するためのより効率的なアルゴリズムについての
要請がある。画像がある程度の品質であり異なる領域を
識別することができること、及び、人間の姿が適度な寸
法であり胴体部がセグメンテーションされうるというこ
とのみが仮定される。
【００２２】
【課題を解決するための手段】本発明によれば、従来技
術の問題に対する解決策が提供される。これは、本発明
によれば、ＲＧＢ値を表わす画素を有するディジタルカ
ラー画像中で人間の姿を検出するディジタル画像処理方
法であって、画像を均質な色又はテクスチャの重なり合
わない領域へセグメンテーションする段階と、人間の肌
色の候補領域を検出する段階と、人間の顔の候補領域を
検出する段階と、各候補顔領域について、人間の肌の色
の領域に優先度を与えて、予め定義された人間の姿のグ
ラフィックモデルに従って顔領域の近傍の領域をグルー
プ化することにより人間の姿を構築する段階とを含む方
法によって達成される。
【００２３】本発明の特徴によれば、ＲＧＢ値を表わす
画素を有するディジタルカラー画像中の人間の姿を検出
するディジタル画像処理方法であって、ＲＧＢ値を表わ
す画素を有するディジタルカラー画像を与える段階と、
ディジタルカラー画像を均質な色又はテクスチャの重な
り合わない領域へセグメンテーションする段階と、人間
の肌色の候補領域を検出する段階と、人間の顔の候補領
域を検出する段階と、各候補顔領域について、人間の肌
の色の領域に優先度を与えて、予め定義された人間の姿
のグラフィックモデルに従って顔領域の近傍の領域をグ
ループ化することにより人間の姿を構築する段階とを含
む方法が提供される。
【００２４】
【発明の実施の形態】以下の説明では、本発明の望まし
い実施例について通常はソフトウエアプログラムとして
具現化される画像処理方法として説明する。当業者はか
かるソフトウエアと同等のものがハードウエア中に構築
されうることを容易に認識するであろう。画像操作アル
ゴリズム及びかかるアルゴリズムを実行するシステムは
周知であるため、本願では特に本発明の方法の部分を形
成する、又はより直接的に協働する、アルゴリズム及び
システムについて説明するものとする。本願で特に図
示、説明、又は提案されていないかかるアルゴリズム及
びシステム、並びに、画像信号を生成及び他の方法で処
理するハードウエア及び／又はソフトウエアの他の面
は、従来技術で知られているかかるシステム、アルゴリ
ズム、構成要素、及び要素から選択されうる。以下の記
載にあるように本発明によって説明される方法が与えら
れていれば、本発明の実施に有用な本願に特に図示又は
記載されていないソフトウエアは従来通りであり当業者
の知識の範囲に含まれる。
【００２５】更に、本願では、コンピュータプログラム
製品は、例えば、磁気ディスク（例えばフロッピー（登
録商標）ディスク）又は磁気ディスクといった磁気記憶
媒体、光ディスク、光テープ、又は機械読み取り可能な
バーコードといった光学記憶媒体、ランダムアクセスメ
モリ（ＲＡＭ）又は読み出し専用メモリ（ＲＯＭ）とい
った固体電子記憶装置又は本発明による方法を実施する
ための命令を有するコンピュータプログラムを記憶する
ために使用される任意の他の物理的な装置又は媒体とい
ったコンピュータ読み取り可能な記憶媒体に記憶されう
る。
【００２６】本発明は、ディジタル画像中で人間の姿の
位置を探す方法に関する。図１を参照するに、本発明を
実施するのに適した典型的な画像処理システムが示され
る。入力ディジタル画像は、例えば、ディジタルカメラ
又はスキャナ、インターネット接続、別の記憶装置等と
いった入力源１０から入来する。次に、コンピュータ１
２は、入力ディジタル画像を本発明に従って処理し、例
えばディジタルプリンタ、表示装置、インターネット接
続、別の記憶装置等といった出力装置１４へ送信される
出力画像を生成する。
【００２７】図２は、以下詳述する本発明による画像処
理方法の現在の実施例を示すフローチャートである。
【００２８】図２に概略的に示されるように、本発明の
画像処理方法は、人間の姿の出力２７を発生するために
入力画像１９を処理するための４つのモジュール、即
ち、画像セグメンテーションモジュール（２０）、肌検
出モジュール（２２）、顔検出モジュール（２４）、及
び、人間の姿構築モジュール（２６）である。以下、各
モジュールについて個別に詳述する。
【００２９】・画像セグメンテーションモジュール（２
０） 任意の形状の物理的に整合した追跡可能な数を発生させ
るために、適応ベイズ色セグメンテーションアルゴリズ
ム（Luo et al., "Towards physics-based segmentatio
n of photographic color images," Proceedings of th
e IEEE International Conference on Image Processin
g, 1997）が使用される。このセグメンテーション方法
を用いることが望ましいが、当業者は本発明の範囲を逸
脱することなく任意の形状の対象領域を得るために異な
るセグメンテーション方法を使用しうることを認識する
であろう。任意の形状の領域のセグメンテーションは、
（１）対象の寸法、形状、位置と対象間の空間的な関係
の正確な尺度、（２）対象の色及びテクスチャの正確な
尺度、並びに、（３）主要な被写体の正確な分類という
利点を提供する。
【００３０】図４を参照するに、望ましいセグメンテー
ションアルゴリズムのブロック図が示される。まず、画
像から領域への最初のセグメンテーションが行われ（５
０）。セグメンテーションは、画像の色ヒストグラムを
集め、ヒストグラムを画像中の別個の目立った色に対応
する複数のクラスタへ分割することによって行われる。
（Luo et al., "Towards physics-based segmentation
of photographic color images," Proceedings of the
IEEE International Conference on Image Processing,
1997）に記載されるように、色クラスタの平均値に対
する望ましい物理量に基づく色距離メトリックに従っ
て、各画素は色空間中の最も近いクラスタへ分類され
る。この分類処理により画像の初期セグメンテーション
が行われる。各画素には近傍ウィンドウが配置され、こ
れはこの画素のローカルな色ヒストグラムを計算するた
めにどの近傍画素が使用するかを決定するために用いら
れる。ウィンドウの大きさは、ローカルな色ヒストグラ
ムが全体画像の色ヒストグラムと同じであり再計算され
る必要がないよう、最初は画像全体の大きさに設定され
る。
【００３１】次に、２つの交互の処理、即ち現在のセグ
メンテーションに基づいて各色クラスのローカルな平均
値を再計算する処理（５４）と、色のクラスの更新され
たローカルな平均値に従って画素を再び分類する処理
（５６）との反復的な手順が実行される。この反復的な
手順は収束に達するまで実行される（６０）。この反復
的な手順中、空間的な制約の強さは徐々に調整されうる
（５８）（例えば、空間的な制約の強さを示すβの値は
各繰り返しの都度、線形に増加する）。特定のウィンド
ウの大きさについて収束に達した後、色クラスのローカ
ルな平均値を推定するために使用されたウィンドウは大
きさが半分に減少される（６２）。この反復的な手順
は、色クラスについてのローカルな平均値がより正確に
推定されることを可能とすべく、減少されたウィンドウ
の大きさについて繰り返される。この機構は、セグメン
テーション処理に空間的な適応性を導入する。最終的
に、反復的な手順が最小のウィンドウのサイズについて
の収束に達したときに画像のセグメンテーションが行わ
れる（６４）。
【００３２】上述のセグメンテーションアルゴリズム
は、テクスチャのセグメンテーションを行うために拡張
されうる。セグメンテーションへの入力として色値を用
いる代わりに、同じ枠組みを用いてテクスチャのセグメ
ンテーションを行う場合にはテクスチャ特徴が用いられ
る。テクスチャ特徴の種類の例としては、ウェーブレッ
ト特徴がある（R. Porter and N. Canagarajah, "A rob
ust automatic clustering scheme for image segmenta
tion using wavelets, " IEEE Transaction on Image P
rocessing, vol. 5-, pp. 662-665, April 1996）。
【００３３】更に、色とテクスチャの特徴を組み合わせ
たものに基づいて画像のセグメンテーションを行うため
に、図４の方法への入力として色値及びウェーブレット
特徴から構成される組み合わされた入力が使用されう
る。組み合わされた色及びテクスチャのセグメンテーシ
ョンにより、均質な色又はテクスチャのセグメンテーシ
ョンされた領域が得られる。
【００３４】肌検出の主な目的は、腕、手、脚、足とい
った潜在的に露出した人体の部分を識別することであ
る。顔検出の主な目的は、（顔を識別する）という明ら
かなものに加え、人間の姿の構築における人類学的な部
分の制約及び運動学的な動きが強められるよう、尺度の
おおよその推定を与えることである。
【００３５】肌検出の他の目的は、グラフィックモデル
から顔を含まないであろう領域に一致するものを排除す
ることによって計算上の費用を減少させることである。
このような排除された領域は更には分析されないため、
この段階は、擬陽性の確率が高くなるという犠牲を払っ
てでも、擬陰性の確率が非常に低くなるよう調整されね
ばならない。
【００３６】同様に、顔検出の他の目的は、グラフィッ
クモデルから顔でない確率の高い領域に一致するものを
排除することによって計算上の費用を減少させることで
ある。このような排除された領域は更には分析されない
ため、擬陽性の確率が高くなるという犠牲を払ってで
も、擬陰性の確率が非常に低くなるよう調整されねばな
らない。
【００３７】・肌領域検出（２２） 本発明で用いられる肌検出アルゴリズムは、カラー画像
セグメンテーションと、望ましい色メトリックＬｓｔに
おける所定の肌分布を用いる（Lee, "Color image quan
tization based on physics and psychophysics," Jour
nal of Societyof Photographic Science and Technolo
gy of Japan, Vol. 59, No.1, pp. 212-225, 1996）。
肌領域は、セグメンテーションされた領域の平均色の分
類を行うことによって獲得されうる。確率値は、人間の
姿を構築する段階が二値決定の代わりに確率を必要とす
る場合にも保持されうる。
【００３８】肌検出方法は、輝度成分及びクロミナンス
成分における人間の肌の色の分布に基づく。概して、Ｒ
ＧＢ画素値のカラー画像は望ましいＬｓｔメトリックへ
変換される。すると、３次元ヒストグラムが形成され平
滑化される。次に、３次元ヒストグラムのピークの位置
が探され、ヒストグラムの各欄にピークを割り当てるこ
とにより欄のクラスタリングが行われる。各画素は、画
素の色に対応する欄に基づいて分類される。人間の肌の
平均的な色（Ｌｓｔ）値と接続された領域の平均の色に
基づいて、肌確率が計算され、確率が所定の閾値よりも
大きければ肌領域であると宣言される。
【００３９】・顔領域検出（２４） 顔アルゴリズムは、候補肌領域中の主な顔特徴（目、眉
毛、鼻、及び、口）の検出に基づいて潜在的な顔を識別
する。
【００４０】本発明においては原始的な顔検出アルゴリ
ズム（図５）が使用される。これは、肌検出段階によっ
て出力された肌マップを他の顔に関連するヒューリステ
ィックと組み合わせることにより、画像中の顔の位置に
関する信念を出力する。肌領域（７２）として識別され
る画像中の各領域（７０）は、楕円に当てはめられる
（４２）。楕円の長軸及び短軸は、やはり楕円の外側領
域の画素の数及び楕円の中の領域の一部でない部分の画
素の数として計算される。縦横比は、長軸対短軸の比率
として計算される。顔の確率は、当てはめられた楕円の
縦横比と、楕円の外側の領域の面積と、楕円の中の領域
の一部でない面積との関数である。再び、特定の領域が
顔であるか否かについての２値決定を生じさせるため確
率値は保持されるか単に所定の閾値と比較されうる。
【００４１】更に、候補顔領域中のテクスチャは、顔で
ある尤度を更に特徴付けるために使用されうる。谷検出
（７６）は、顔特徴（目、鼻孔、眉毛、及び、口）が存
在する可能性の高い谷部を識別するために使用される。
この処理は、顔領域（７８）から顔でない肌領域を分け
るために必要である。
【００４２】谷検出は、画像の輝度信号中で行われる。
これには一連のグレースケール形態演算が含まれる。形
態カーネルは、最善の結果のためには半球状であること
が望ましいが、より高速の分離可能な１次元フィルタリ
ング演算を容易とするために矩形のカーネルであっても
よい。谷検出は以下のものを含む。
【００４３】・形態学的な谷検出 次に、画像中の均質な領域及び明るい領域を除去するた
め、グレースケール画像に対して形態的なＴＯＰ−ＨＡ
Ｔ（−）操作（典型的には要素サイズ＝５）が適用され
る（Gonzalez and Woods, Digital Image Processing,
Addison-Wesley, 1992, Chapter 8.4参照）。
【００４４】・雑音抑制 孤立した衝撃雑音画素を除去するため、先行する段階か
ら結果として得られる画像に対してメディアンフィルタ
リング（典型的には要素サイズ＝３）が適用される。
【００４５】この場合、顔の確率は、当てはめられた楕
円の縦横比と、楕円の外側の領域の面積と、楕円の中の
領域の一部でない面積と、領域中の谷画素の割合の関数
である。
【００４６】当業者は、本発明を逸脱することなく異な
る顔検出方法を使用しうることが理解されるであろう。
実際、図３（ａ）を参照するに、顔は、明らかに人間の
姿のモデルの「ネットワーク」の「ハブ」である。信頼
性の高い顔検出は、（１）実行されねばならない探索の
範囲を狭め、（２）人間の姿のモデルにやはり当てはま
る領域のグループの偶然一致する形態による擬陽性の数
を減少させる。このような偶然一致する形態は稀である
と予想すると考えるのは妥当であり、従って、人間の姿
の構築の次の段階はロバストな検出段階よりも低い検出
段階又は顔検出段階なしで初期化されうる。そのような
場合、より多くの探索を実行する必要があり、擬陽性の
確率が高くなることを予想すべきである。例えば、顔検
出を行わない場合、各領域が潜在的な顔領域であり、非
常に多数の探索がされると仮定せねばならない。
【００４７】・人間の姿の構築（２６） ここで、全ての部分が抽出されているため、異なるポー
ズ及びピクチャフレーミングに対応する可能な人間の姿
の形態に一致するように正しい部分が組み合わされれば
人間の姿が検出されうる。ピクチャフレーミングは、ピ
クチャが実際のシーンをどのように捕捉するかについて
参照される。各ピクチャは境界を有し、一方、それに対
応する実際のシーンは境界を有さない。従って、例えば
人間の姿といった対象のある部分がクロッピングされデ
ィジタル画像中に現れない可能性もある。一般的には、
人間の姿はピクチャフレーミング中に上側ではなく下側
でクロッピングされる可能性が高い。
【００４８】図３（ａ）を参照するに、意味ネットワー
クを用いて表わされた人物の全身のグラフィックモデル
が示される。ノードは体の部分であり、有向リンクは人
類学的な比率及び運動学的な動きから制約を符号化す
る。リンクは、ノードから他のノードへ、又はそのノー
ド自身を指しうる。前者は関係を符号化するものであ
り、後者は性質を符号化するものである。
【００４９】顔ノード１０１は、ネットワークの「ハ
ブ」又は「焦点」であり、なぜならば本願発明では残る
体の部分のスケールの推定値を導出するためにこれを使
用するからである。
【００５０】髪ノード１０２は、顔ノード１０１に直接
的にリンクされているだけであり、顔に対して妥当な大
きさでなくてはならない（例えば顔の大きさに対して１
０％乃至１００％）。実際、全ての体の部分は顔に対し
て妥当な大きさでなくてはならず、これらの制約は自分
を指すリンクによって符号化される（図４には明らかに
は示されていない）。更に、髪の色及びテクスチャは大
幅に変化しうるが、一般的な髪の色は限られている（黒
髪、金髪、ブロンド、赤毛、白髪である可能性は高い
が、紫、青、緑である可能性は低い）。
【００５１】シャツノード１０３は顔ノード１０１にリ
ンクされる。シャツノード１０３は、首と首回りの服飾
品（ネックレス、スカーフ等）により必ずしも顔に接続
されているわけではない。シャツノード１０３は、顔の
下にあり、妥当的な範囲内でなくてはならず（例えば、
最も遠い点が顔の高さの４倍以内であり）、顔と比較し
て相対的に大きい寸法（例えば顔の寸法の４００％乃至
８００％）でなくてはならない。シャツの色及びテクス
チャには制約はない。更に、シャツノードは、左及び右
の腕／手ノード１０４及び１０５と、ズボンノード１０
６とにリンクされる。
【００５２】腕／手ノード１０４及び１０５は、領域が
肌であるという要件を強めるために自己を指すリンクを
有する。腕／手は、顔の妥当的な範囲内でなくてはなら
ず（例えば、最も遠い点が顔の高さの３倍以内であ
り）、顔と比較して妥当な寸法（例えば顔の寸法の２５
％乃至１００％）でなくてはならず、シャツに直接接続
されている。腕時計及びブレスレットといった小さい腕
装着用の装着物が手から腕への肌領域を中断しうるが、
実際上はこれらは無視される。
【００５３】ズボンノード１０６はシャツノード１０３
と、２つの脚ノード１０７及び１０８にリンクされる。
ズボンノード１０６は、顔と比較して妥当な寸法（例え
ば顔の寸法の２００％乃至６００％）でなくてはなら
ず、顔の妥当的な範囲内（例えば、最も遠い点が顔の高
さの８倍以内）でなくてはならない。
【００５４】２つの脚ノード１０７及び１０８はズボン
ノード１０６と２つの靴ノード１０９及び１１０に夫々
リンクされる。脚ノードは、肌の要件を強めるために自
己を指すリンクを有する。脚は、顔の妥当的な範囲内で
なくてはならず（例えば、最も遠い点が顔の高さの８倍
以内であり）、顔と比較して妥当な寸法（例えば顔の寸
法の４００％乃至８００％）でなくてはならず、ズボン
に直接接続される。靴下が脚と靴を分離する場合がある
が、これらは実際上は靴の一部であると考えられる。
【００５５】靴ノード１０９及び１１０は、脚ノード１
０７、１０８に夫々リンクされる。靴領域は顔と比較し
て妥当な寸法（例えば顔の寸法の５０％）でなくてはな
らない。
【００５６】図３の（ｂ）には、図３の（ａ）のうちノ
ード１０１、１０２、１０３のみを示す簡単化されたグ
ラフィックモデルが示されている。
【００５７】考えられるポーズ及びピクチャフレーミン
グの他の人間の姿の形態は図６の（ａ）乃至（ｄ）、並
びに、図７の（ａ）及び（ｂ）に示される。図６の
（ａ）は、単一の完全な長さの人間の画像を有する原画
像である。図６の（ｂ）はセグメンテーションの後の結
果を示す図である。図６（ｃ）は肌検出の後の結果を示
す図であり、図６の（ｄ）は個々の人物を示す図であ
る。図７（ａ）は２人の人間の上半身の原画像を示す図
である。図７の（ｂ）はセグメンテーションの後の結果
を示す図であり、図７の（ｃ）は肌検出段階の後の結果
を示す図であり、図７の（ｄ）及び（ｅ）は個人の検出
を示す図であり、図７の（ｆ）は図７の（ｄ）と（ｅ）
を合わせたものである。
【００５８】体の部分の完全性は多様である。最も完全
性の低い形態（従って人間の姿の構築）から開始して、
全ての生じうる形態について調べられる。最も完全な形
態（例えば図３の（ａ））には、検出された場合は、最
も高い信頼性のスコアが割り当てられる。
【００５９】グラフィックなモデルとそれらのマッチン
グは、意味ネット、ベイズネット、及び因子グラフとい
った多くの方法を用いて行われうる。ここでは、意味ネ
ットに基づく実施について説明する。意味ネットは、属
性の値を対応する所定の範囲の値と比較することによっ
て夫々が上述の制約を特定する一組の規則を用いてリン
クを符号化する。各リンクは、「オン」（有効）又は
「オフ」（無効）である。これに対して、ベイズネット
及び因子グラフは所定の確率関数を用いてリンクを符号
化する。従って、このような確率ネットワークが用いら
れる場合は肌及び顔の確率を保持することが望ましい。
人間の姿を検出する全体的な確率は、確率ネットワーク
が落ち着いた後に得られる。
【００６０】ベイズネット（J. Pearl, Probablistic R
easoning in Intelligent Systems,San Franscisco, C
A: Morgan Kaufman, 1988）は、グラフ中の種々の実体
間の因果関係を表わす有向非循環グラフである。リンク
の方向は因果性を表わす。これは、種々の実体の間の評
価手段を知る同時確率密度関数（ＰＤＦ）である。利点
としては、明示的な不確実性特徴付け、高速且つ効率的
な計算、迅速な学習、高い適応性及び構築の容易さ、及
び、人間の理由付けの枠組みにおいて前後関係的な知識
を表わすことがある。ベイズネットは、以下の４つの構
成要素からなる。
【００６１】・事前確率：ベイズネット中の種々のノー
ドに関する初期の信念 ・条件付き確率行列（ＣＰＭ）：ベイズネット中の２つ
の接続されたノード間の統計的な関係 ・証拠：ベイズネットに入力された特徴検出器からの観
察値 ・事後確率：ベイズネットを通じて証拠が伝搬された後
の最終的な計算された信念。
【００６２】因子グラフ（F.R.Kschischang,. B.J.Frey
and H.-A. Loeliger, "Factor graphs and the sum-pr
oduct algorithm", １９９８年７月にＩＥＥＥの情報理
論についての紀要に提出）は、種々のノード及び関数を
有する二分グラフである。論理関数は各関数ノードに関
連付けられ、隣接する変数にのみ依存する。グローバル
関数はローカル関数の積として与えられる。ベイズネッ
トは、より一般的な因子グラフへ変換されうる。
【００６３】
【発明の効果】本発明によれば、ディジタル画像を認識
しそれにより人間に理解可能な対象、属性又は条件に対
して有用な意味を割り当てるためにディジタル式に処理
し、得られた結果をディジタル画像の更なる処理に用い
る技術であると理解されるディジタル画像理解技術が提
供される。
【００６４】本発明によれば、着衣した未知の人間の姿
をディジタル画像中でより高い信頼性で検出することが
可能となるという利点がある。
【図面の簡単な説明】
【図１】本発明による画像処理方法を実施するのに適し
た画像処理システムを示すブロック図である。
【図２】本発明による画像処理方法の１つの実施例を示
すフローチャートである。
【図３】人間の全身モデルと本発明による対応するグラ
フィックモデルとを示す図である。
【図４】人間の上半身領域と本発明による対応するグラ
フィックモデルとを示す図である。
【図５】本発明で使用される顔検出方法を示すブロック
図である。
【図６】（ａ）乃至（ｄ）は本発明による人間の体の検
出の例を示す図である。
【図７】（ａ）乃至（ｆ）は本発明による人間の体の検
出の例を示す図である。
【符号の説明】
１９ 入力源 ２０ 領域セグメンテーション ２２ 肌領域検出 ２４ 顔領域検出 ２６ 人間の姿の構築 ２７ 人間の姿
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 CA01 CA08 CA16 CB01 CB08 CB12 CB16 CE09 DA08 DB02 DB06 DC23 DC32 5L096 AA02 AA06 EA35 FA15 FA37 FA46 GA38 GA40 HA07 JA09 JA11 JA18

Claims (3)

    【特許請求の範囲】
  1. 【請求項１】 ディジタルカラー画像中の人間の姿を検
    出するディジタル画像処理方法であって、 ＲＧＢ値を表わす画素を有するディジタルカラー画像を
    与える段階と、 上記ディジタルカラー画像を均質な色又はテクスチャの
    重なり合わない領域へセグメンテーションする段階と、 人間の肌色の候補領域を検出する段階と、 人間の顔の候補領域を検出する段階と、 各候補顔領域について、人間の肌の色の領域に優先度を
    与えて、予め定義された人間の姿のグラフィックモデル
    に従って上記顔領域の近傍の領域をグループ化すること
    により人間の姿を構築する段階とを含む方法。
  2. 【請求項２】 上記顔領域を検出する段階は、肌色領域
    中の強度谷特徴の形状及び量をマッチングすることによ
    り、人間の顔を表わす所定の強度パターンについて探索
    する段階を含む、請求項１記載の方法。
  3. 【請求項３】 ＲＧＢ値を表わす画素を有するディジタ
    ルカラー画像中で人間の姿を検出するディジタル画像処
    理方法であって、 ＲＧＢ値を表わす画素を有するディジタルカラー画像を
    与える段階と、 上記ディジタルカラー画像を均質な色又はテクスチャの
    重なり合わない領域へセグメンテーションする段階と、 候補顔領域としての領域を選択する段階と、 予め定義された人間の姿のグラフィックなモデルに従っ
    て近傍の領域をグループ化することにより人間の姿を構
    築しようと試みる段階と、 上記構築された姿が所定の規準を満たす場合は上記グル
    ープ化された領域を人間の姿として識別する段階とを含
    む方法。
JP2001350755A 2000-12-14 2001-11-15 ディジタル画像中で人間の姿を検出する画像処理方法 Pending JP2002203239A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/737,026 US6697502B2 (en) 2000-12-14 2000-12-14 Image processing method for detecting human figures in a digital image
US737026 2000-12-14

Publications (1)

Publication Number Publication Date
JP2002203239A true JP2002203239A (ja) 2002-07-19

Family

ID=24962302

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001350755A Pending JP2002203239A (ja) 2000-12-14 2001-11-15 ディジタル画像中で人間の姿を検出する画像処理方法

Country Status (3)

Country Link
US (1) US6697502B2 (ja)
EP (1) EP1215618A3 (ja)
JP (1) JP2002203239A (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005190474A (ja) * 2003-12-09 2005-07-14 Mitsubishi Electric Information Technology Centre Europa Bv 画像において画素を分類する方法、画像信号を処理する方法、前記方法を使用して肌を検出する方法、前記方法を使用して導出されたデータを使用し、符号化し、送信し、受信し、または復号するように構成される方法および装置、前記方法を実行するように構成される装置、前記方法を実行するコンピュータプログラム、およびコンピュータプログラムを格納するコンピュータ読取可能記憶媒体
JPWO2004066164A1 (ja) * 2003-01-23 2006-05-18 富士通株式会社 話題ネットの生成方法及び装置
JP2008500640A (ja) * 2004-05-27 2008-01-10 シーメンス　コーポレイト　リサーチ　インコーポレイテツド 検出および追跡のためのグラフィカルオブジェクトモデル
US7415137B2 (en) 2002-12-13 2008-08-19 Canon Kabushiki Kaisha Image processing method, apparatus and storage medium
JP2008192138A (ja) * 2007-02-01 2008-08-21 Toshiba Corp 画像の顔領域を修整するシステムおよび方法
US7508550B2 (en) 2004-06-17 2009-03-24 Fujifilm Corporation Image correcting apparatus and method, and image correcting program, and look-up table creating apparatus and method, and look-up table creating program
US7599093B2 (en) 2004-09-30 2009-10-06 Fujifilm Corporation Image processing apparatus, method and program
US7688988B2 (en) 2004-06-17 2010-03-30 Fujifilm Corporation Particular image area partitioning apparatus and method, and program for causing computer to perform particular image area partitioning processing
US7756897B2 (en) 2003-01-23 2010-07-13 Fujtisu Limited Topic net generation method and apparatus
CN101930535A (zh) * 2009-06-25 2010-12-29 原相科技股份有限公司 人脸侦测与追踪装置
KR101480065B1 (ko) 2013-05-29 2015-01-09 (주)베라시스 패턴 히스토그램을 이용한 객체검출방법
US11935275B2 (en) 2019-05-30 2024-03-19 Panasonic Intellectual Property Management Co., Ltd. Image processing method, image processing device, and recording medium

Families Citing this family (140)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6895111B1 (en) * 2000-05-26 2005-05-17 Kidsmart, L.L.C. Evaluating graphic image files for objectionable content
US7333655B1 (en) * 2000-05-26 2008-02-19 Swift Dana B Evaluating graphic image files for objectionable content
JP3983469B2 (ja) * 2000-11-14 2007-09-26 富士フイルム株式会社 画像処理装置、方法及び記録媒体
US6920237B2 (en) * 2000-12-19 2005-07-19 Eastman Kodak Company Digital image processing method and computer program product for detecting human irises in an image
WO2002056251A1 (fr) 2000-12-27 2002-07-18 Mitsubishi Denki Kabushiki Kaisha Dispositif de traitement d'images et ascenseur sur lequel il est monte
US7116800B2 (en) * 2001-05-30 2006-10-03 Eaton Corporation Image segmentation system and method
AUPR541801A0 (en) * 2001-06-01 2001-06-28 Canon Kabushiki Kaisha Face detection in colour images with complex background
FR2825814B1 (fr) * 2001-06-07 2003-09-19 Commissariat Energie Atomique Procede de creation automatique d'une base de donnees images interrogeable par son contenu semantique
FR2832528B1 (fr) * 2001-11-22 2004-02-13 Eastman Kodak Co Determination d'un illuminant d'une image numerique en couleur par segmentation et filtrage
US7092573B2 (en) * 2001-12-10 2006-08-15 Eastman Kodak Company Method and system for selectively applying enhancement to an image
TWI281126B (en) * 2002-03-19 2007-05-11 Intervideo Digital Technology Image detection method based on region
AUPS170902A0 (en) * 2002-04-12 2002-05-16 Canon Kabushiki Kaisha Face detection and tracking in a video sequence
US7003136B1 (en) * 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
US8351647B2 (en) * 2002-07-29 2013-01-08 Videomining Corporation Automatic detection and aggregation of demographics and behavior of people
US8010402B1 (en) 2002-08-12 2011-08-30 Videomining Corporation Method for augmenting transaction data with visually extracted demographics of people using computer vision
US8098293B2 (en) * 2002-08-30 2012-01-17 Sony Corporation Image extraction device, image extraction method, image processing device, image processing method, and imaging device
US7561793B2 (en) * 2002-11-12 2009-07-14 Eastman Kodak Company User interface for controlling cropping in electronic camera
US7233684B2 (en) 2002-11-25 2007-06-19 Eastman Kodak Company Imaging method and system using affective information
US7206022B2 (en) * 2002-11-25 2007-04-17 Eastman Kodak Company Camera system with eye monitoring
US7046924B2 (en) * 2002-11-25 2006-05-16 Eastman Kodak Company Method and computer program product for determining an area of importance in an image using eye monitoring information
US7319780B2 (en) * 2002-11-25 2008-01-15 Eastman Kodak Company Imaging method and system for health monitoring and personal security
US20040113939A1 (en) * 2002-12-11 2004-06-17 Eastman Kodak Company Adaptive display system
KR20050085638A (ko) * 2002-12-13 2005-08-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 텔레비전 이미지들의 적응형 분할
US7327890B2 (en) * 2002-12-20 2008-02-05 Eastman Kodak Company Imaging method and system for determining an area of importance in an archival image
US20040186813A1 (en) * 2003-02-26 2004-09-23 Tedesco Daniel E. Image analysis method and apparatus in a network that is structured with multiple layers and differentially weighted neurons
US7292723B2 (en) * 2003-02-26 2007-11-06 Walker Digital, Llc System for image analysis in a network that is structured with multiple layers and differentially weighted neurons
US20040208388A1 (en) * 2003-04-21 2004-10-21 Morgan Schramm Processing a facial region of an image differently than the remaining portion of the image
US7324693B2 (en) 2003-04-23 2008-01-29 Eastman Kodak Company Method of human figure contour outlining in images
US20040223649A1 (en) * 2003-05-07 2004-11-11 Eastman Kodak Company Composite imaging method and system
US7308119B2 (en) * 2003-11-26 2007-12-11 Canon Kabushiki Kaisha Image retrieval apparatus and method, and image display apparatus and method thereof
KR100543706B1 (ko) * 2003-11-28 2006-01-20 삼성전자주식회사 비젼기반 사람 검출방법 및 장치
US20050134719A1 (en) * 2003-12-23 2005-06-23 Eastman Kodak Company Display device with automatic area of importance display
JP2005215750A (ja) * 2004-01-27 2005-08-11 Canon Inc 顔検知装置および顔検知方法
US7369100B2 (en) * 2004-03-04 2008-05-06 Eastman Kodak Company Display system and method with multi-person presentation function
US8659619B2 (en) 2004-03-26 2014-02-25 Intellectual Ventures Fund 83 Llc Display device and method for determining an area of importance in an original image
US20050254727A1 (en) * 2004-05-14 2005-11-17 Eastman Kodak Company Method, apparatus and computer program product for determining image quality
JP3934119B2 (ja) * 2004-06-14 2007-06-20 本田技研工業株式会社 車両周辺監視装置
WO2006023046A1 (en) * 2004-06-21 2006-03-02 Nevengineering, Inc. Single image based multi-biometric system and method
US7627148B2 (en) * 2004-07-06 2009-12-01 Fujifilm Corporation Image data processing apparatus and method, and image data processing program
US8000505B2 (en) * 2004-09-01 2011-08-16 Eastman Kodak Company Determining the age of a human subject in a digital image
US7724959B2 (en) 2004-09-23 2010-05-25 Fuji Xerox Co., Ltd. Determining regions of interest in photographs and images
US7848567B2 (en) * 2004-09-23 2010-12-07 Fuji Xerox Co., Ltd. Determining regions of interest in synthetic images
US7736313B2 (en) * 2004-11-22 2010-06-15 Carestream Health, Inc. Detecting and classifying lesions in ultrasound images
US7809197B2 (en) * 2004-12-09 2010-10-05 Eastman Kodak Company Method for automatically determining the acceptability of a digital image
US20060125928A1 (en) * 2004-12-10 2006-06-15 Eastman Kodak Company Scene and user image capture device and method
JP4824411B2 (ja) * 2005-01-20 2011-11-30 パナソニック株式会社 顔抽出装置、半導体集積回路
KR100735549B1 (ko) * 2005-08-08 2007-07-04 삼성전자주식회사 영상의 피부색을 변환하는 영상 처리 방법 및 장치
US8014565B2 (en) * 2005-08-26 2011-09-06 Sony Corporation Labeling used in motion capture
US20070064208A1 (en) * 2005-09-07 2007-03-22 Ablaze Development Corporation Aerial support structure and method for image capture
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US7904455B2 (en) * 2005-11-03 2011-03-08 Fuji Xerox Co., Ltd. Cascading cluster collages: visualization of image search results on small displays
US7869043B2 (en) * 2006-01-06 2011-01-11 Sparta, Inc. Automated passive skin detection system through spectral measurement
IES20060564A2 (en) * 2006-05-03 2006-11-01 Fotonation Vision Ltd Improved foreground / background separation
US7860280B2 (en) * 2006-06-09 2010-12-28 Samsung Electronics Co., Ltd. Facial feature detection method and device
JP4699298B2 (ja) * 2006-06-28 2011-06-08 富士フイルム株式会社 人体領域抽出方法および装置並びにプログラム
US20080019575A1 (en) * 2006-07-20 2008-01-24 Anthony Scalise Digital image cropping using a blended map
US8040389B2 (en) * 2006-07-25 2011-10-18 Nikon Corporation Image processing method, image processing program and image processing apparatus for detecting object of an image
JP2008061184A (ja) * 2006-09-04 2008-03-13 Sony Corp 画像処理装置および方法、プログラム、並びに撮像装置
US7774951B2 (en) * 2006-10-04 2010-08-17 Northwestern University Sensing device with whisker elements
US7869658B2 (en) * 2006-10-06 2011-01-11 Eastman Kodak Company Representative image selection based on hierarchical clustering
ES2334079B1 (es) * 2007-03-09 2010-10-13 Universidad De Las Palmas De Gran Canaria Expositor virtual.
US8331674B2 (en) * 2007-04-06 2012-12-11 International Business Machines Corporation Rule-based combination of a hierarchy of classifiers for occlusion detection
US20080298643A1 (en) * 2007-05-30 2008-12-04 Lawther Joel S Composite person model from image collection
US8934717B2 (en) * 2007-06-05 2015-01-13 Intellectual Ventures Fund 83 Llc Automatic story creation using semantic classifiers for digital assets and associated metadata
CN101324920B (zh) * 2007-06-15 2011-06-15 上海银晨智能识别科技有限公司 搜索人脸显著特征点的方法及人脸比对方法
US20090091798A1 (en) * 2007-10-05 2009-04-09 Lawther Joel S Apparel as event marker
US20090103909A1 (en) * 2007-10-17 2009-04-23 Live Event Media, Inc. Aerial camera support structure
US8682029B2 (en) * 2007-12-14 2014-03-25 Flashfoto, Inc. Rule-based segmentation for objects with frontal view in color images
US9639740B2 (en) 2007-12-31 2017-05-02 Applied Recognition Inc. Face detection and recognition
US9721148B2 (en) 2007-12-31 2017-08-01 Applied Recognition Inc. Face detection and recognition
CA2897227C (en) * 2007-12-31 2017-01-10 Applied Recognition Inc. Method, system, and computer program for identification and sharing of digital images with face signatures
US20090324024A1 (en) * 2008-06-25 2009-12-31 Postureminder Ltd System and method for improving posture
US8385609B2 (en) * 2008-10-21 2013-02-26 Flashfoto, Inc. Image segmentation
US8494214B2 (en) * 2008-10-30 2013-07-23 Toshiba Global Commerce Solutions Holdings Corporation Dynamically learning attributes of a point of sale operator
US8320634B2 (en) * 2009-07-11 2012-11-27 Richard Deutsch System and method for monitoring protective garments
US8670615B2 (en) * 2009-09-30 2014-03-11 Flashfoto, Inc. Refinement of segmentation markup
US8251597B2 (en) * 2009-10-16 2012-08-28 Wavecam Media, Inc. Aerial support structure for capturing an image of a target
KR101611440B1 (ko) * 2009-11-16 2016-04-11 삼성전자주식회사 이미지 처리 방법 및 장치
US9009163B2 (en) 2009-12-08 2015-04-14 Intellectual Ventures Fund 83 Llc Lazy evaluation of semantic indexing
US8244003B2 (en) * 2010-01-25 2012-08-14 Apple Inc. Image preprocessing
US8254646B2 (en) 2010-01-25 2012-08-28 Apple Inc. Image preprocessing
US8358812B2 (en) * 2010-01-25 2013-01-22 Apple Inc. Image Preprocessing
US8244004B2 (en) * 2010-01-25 2012-08-14 Apple Inc. Image preprocessing
CN101739557B (zh) * 2010-01-26 2012-10-31 重庆大学 基于运动周期分析的人体异常行为识别方法及装置
JP5545481B2 (ja) * 2010-01-29 2014-07-09 ソニー株式会社 画像処理装置、画像処理方法、および電子装置
MY151313A (en) * 2010-03-30 2014-05-15 Mimos Berhad Method of detecting human using attire
US9311567B2 (en) 2010-05-10 2016-04-12 Kuang-chih Lee Manifold learning and matting
US20120050570A1 (en) 2010-08-26 2012-03-01 Jasinski David W Audio processing based on scene type
US8774528B2 (en) 2010-09-24 2014-07-08 Kodak Alaris Inc. Method of selecting important digital images
CN101968849B (zh) * 2010-09-27 2013-01-02 杭州电子科技大学 一种基于3g智能手机的图片去红眼方法
CN101980242B (zh) * 2010-09-30 2014-04-09 徐勇 人脸面相判别方法、系统及公共安全系统
US8612441B2 (en) 2011-02-04 2013-12-17 Kodak Alaris Inc. Identifying particular images from a collection
US8380711B2 (en) * 2011-03-10 2013-02-19 International Business Machines Corporation Hierarchical ranking of facial attributes
US9552376B2 (en) 2011-06-09 2017-01-24 MemoryWeb, LLC Method and apparatus for managing digital files
US8760527B2 (en) 2011-06-24 2014-06-24 Apple Inc. Extending a digital camera focus range
US8754953B2 (en) 2011-06-24 2014-06-17 Apple Inc. Digital camera providing an extended focus range
WO2012177495A1 (en) 2011-06-24 2012-12-27 Eastman Kodak Company Digital camera providing an extended focus range
US8548207B2 (en) 2011-08-15 2013-10-01 Daon Holdings Limited Method of host-directed illumination and system for conducting host-directed illumination
US9454280B2 (en) 2011-08-29 2016-09-27 Intellectual Ventures Fund 83 Llc Display device providing feedback based on image classification
US9202105B1 (en) 2012-01-13 2015-12-01 Amazon Technologies, Inc. Image analysis for user authentication
US8737767B2 (en) * 2012-02-28 2014-05-27 Disney Enterprises, Inc. Perceptually guided capture and stylization of 3D human figures
GB201209846D0 (en) * 2012-06-01 2012-07-18 Bennett Conor A method and apparatus for protective clothing compliance
US20140026156A1 (en) 2012-07-18 2014-01-23 David Deephanphongs Determining User Interest Through Detected Physical Indicia
US10034049B1 (en) 2012-07-18 2018-07-24 Google Llc Audience attendance monitoring through facial recognition
CN102855470B (zh) * 2012-07-31 2015-04-08 中国科学院自动化研究所 基于深度图像的人体姿态估计方法
CN103077541A (zh) * 2013-01-18 2013-05-01 无锡鸿图微电子技术有限公司 人脸皮肤色彩的度量与表述的方法及系统
US9517175B1 (en) 2013-03-14 2016-12-13 Toyota Jidosha Kabushiki Kaisha Tactile belt system for providing navigation guidance
US9355406B2 (en) * 2013-07-18 2016-05-31 GumGum, Inc. Systems and methods for determining image safety
US9552374B2 (en) 2013-08-19 2017-01-24 Kodak Alaris, Inc. Imaging workflow using facial and non-facial features
GB2516512B (en) * 2013-10-23 2015-10-14 Imagination Tech Ltd Face detection
US9091561B1 (en) 2013-10-28 2015-07-28 Toyota Jidosha Kabushiki Kaisha Navigation system for estimating routes for users
US11170037B2 (en) 2014-06-11 2021-11-09 Kodak Alaris Inc. Method for creating view-based representations from multimedia collections
US11256792B2 (en) 2014-08-28 2022-02-22 Facetec, Inc. Method and apparatus for creation and use of digital identification
US10614204B2 (en) 2014-08-28 2020-04-07 Facetec, Inc. Facial recognition authentication system including path parameters
US10915618B2 (en) 2014-08-28 2021-02-09 Facetec, Inc. Method to add remotely collected biometric images / templates to a database record of personal information
US10803160B2 (en) 2014-08-28 2020-10-13 Facetec, Inc. Method to verify and identify blockchain with user question data
CA3186147A1 (en) 2014-08-28 2016-02-28 Kevin Alan Tussy Facial recognition authentication system including path parameters
US10698995B2 (en) 2014-08-28 2020-06-30 Facetec, Inc. Method to verify identity using a previously collected biometric image/data
TWI547816B (zh) * 2014-12-31 2016-09-01 富智康（香港）有限公司 照片分群系統及方法
CN104732206A (zh) * 2015-03-12 2015-06-24 苏州阔地网络科技有限公司 一种人脸检测方法及装置
US9613505B2 (en) 2015-03-13 2017-04-04 Toyota Jidosha Kabushiki Kaisha Object detection and localized extremity guidance
US9491318B2 (en) 2015-04-13 2016-11-08 Kodak Alaris Inc. Automatically generated visual annotated graphic legend
US9836118B2 (en) 2015-06-16 2017-12-05 Wilson Steele Method and system for analyzing a movement of a person
KR102443214B1 (ko) 2016-01-08 2022-09-15 삼성전자 주식회사 영상처리장치 및 그 제어방법
USD987653S1 (en) 2016-04-26 2023-05-30 Facetec, Inc. Display screen or portion thereof with graphical user interface
CN107886032B (zh) * 2016-09-30 2021-12-14 阿里巴巴集团控股有限公司 终端设备、智能手机、基于脸部识别的认证方法和系统
US10484568B2 (en) * 2016-10-26 2019-11-19 Orcam Technologies Ltd. Providing a social media recommendation based on data captured by a wearable device
US10699684B2 (en) 2017-02-06 2020-06-30 Kodak Alaris Inc. Method for creating audio tracks for accompanying visual imagery
US10657444B2 (en) * 2017-03-09 2020-05-19 Thomas Danaher Harvey Devices and methods using machine learning to reduce resource usage in surveillance
JP7332573B2 (ja) 2017-07-18 2023-08-23 エシロール・アンテルナシオナル 人の姿勢及び視覚行動を判定する方法
KR102117050B1 (ko) * 2017-09-08 2020-05-29 삼성전자주식회사 이미지 내 휴먼 분리를 위한 전자 장치 및 방법
DE102017124600A1 (de) * 2017-10-20 2019-04-25 Connaught Electronics Ltd. Semantische Segmentierung eines Objekts in einem Bild
CN108228792B (zh) * 2017-12-29 2020-06-16 深圳云天励飞技术有限公司 图片检索方法、电子设备及存储介质
EP3849299A1 (en) * 2018-04-26 2021-07-21 F. Hoffmann-La Roche AG Method of and system for tracking an animal in a population of animals
US11067448B2 (en) 2018-10-05 2021-07-20 Parsons Corporation Spectral object detection
US10936178B2 (en) 2019-01-07 2021-03-02 MemoryWeb, LLC Systems and methods for analyzing and organizing digital photos and videos
CN110020628B (zh) * 2019-04-10 2021-01-05 刘家祺 基于面部检测的坐姿检测方法、系统、设备及存储介质
CN110163135B (zh) * 2019-05-10 2021-09-07 杭州商警云智能科技有限公司 一种基于动态算法的一人一档人脸聚类的方法及系统
US20230004740A1 (en) * 2021-06-30 2023-01-05 Ubtech North America Research And Development Center Corp Human lying posture detection method and mobile machine using the same
CN114407024B (zh) * 2022-03-15 2024-04-26 上海擎朗智能科技有限公司 一种位置引领方法、装置、机器人及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835616A (en) 1994-02-18 1998-11-10 University Of Central Florida Face detection using templates
US5629752A (en) * 1994-10-28 1997-05-13 Fuji Photo Film Co., Ltd. Method of determining an exposure amount using optical recognition of facial features
US6188777B1 (en) * 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6618490B1 (en) * 1999-09-16 2003-09-09 Hewlett-Packard Development Company, L.P. Method for efficiently registering object models in images via dynamic ordering of features

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7415137B2 (en) 2002-12-13 2008-08-19 Canon Kabushiki Kaisha Image processing method, apparatus and storage medium
JPWO2004066164A1 (ja) * 2003-01-23 2006-05-18 富士通株式会社 話題ネットの生成方法及び装置
US7756897B2 (en) 2003-01-23 2010-07-13 Fujtisu Limited Topic net generation method and apparatus
JP4722467B2 (ja) * 2003-12-09 2011-07-13 ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ 画像において画素を分類する方法、前記方法を使用して肌を検出する方法、前記方法を使用して導出されたデータを使用し、符号化し、送信し、受信し、または復号するように構成される方法および装置、前記方法を実行するように構成される装置、前記方法をコンピュータに実行させるコンピュータプログラム、ならびにコンピュータプログラムを格納するコンピュータ読取可能記憶媒体
JP2005190474A (ja) * 2003-12-09 2005-07-14 Mitsubishi Electric Information Technology Centre Europa Bv 画像において画素を分類する方法、画像信号を処理する方法、前記方法を使用して肌を検出する方法、前記方法を使用して導出されたデータを使用し、符号化し、送信し、受信し、または復号するように構成される方法および装置、前記方法を実行するように構成される装置、前記方法を実行するコンピュータプログラム、およびコンピュータプログラムを格納するコンピュータ読取可能記憶媒体
JP2008500640A (ja) * 2004-05-27 2008-01-10 シーメンス　コーポレイト　リサーチ　インコーポレイテツド 検出および追跡のためのグラフィカルオブジェクトモデル
JP4886678B2 (ja) * 2004-05-27 2012-02-29 シーメンス コーポレーション 検出および追跡のためのグラフオブジェクトモデル
US7508550B2 (en) 2004-06-17 2009-03-24 Fujifilm Corporation Image correcting apparatus and method, and image correcting program, and look-up table creating apparatus and method, and look-up table creating program
US7688988B2 (en) 2004-06-17 2010-03-30 Fujifilm Corporation Particular image area partitioning apparatus and method, and program for causing computer to perform particular image area partitioning processing
US8035871B2 (en) 2004-06-17 2011-10-11 Fujifilm Corporation Determining target luminance value of an image using predicted noise amount
US7599093B2 (en) 2004-09-30 2009-10-06 Fujifilm Corporation Image processing apparatus, method and program
JP2008192138A (ja) * 2007-02-01 2008-08-21 Toshiba Corp 画像の顔領域を修整するシステムおよび方法
CN101930535A (zh) * 2009-06-25 2010-12-29 原相科技股份有限公司 人脸侦测与追踪装置
KR101480065B1 (ko) 2013-05-29 2015-01-09 (주)베라시스 패턴 히스토그램을 이용한 객체검출방법
US11935275B2 (en) 2019-05-30 2024-03-19 Panasonic Intellectual Property Management Co., Ltd. Image processing method, image processing device, and recording medium

Also Published As

Publication number Publication date
US6697502B2 (en) 2004-02-24
EP1215618A3 (en) 2004-09-22
EP1215618A2 (en) 2002-06-19
US20020076100A1 (en) 2002-06-20

Similar Documents

Publication Publication Date Title
US6697502B2 (en) Image processing method for detecting human figures in a digital image
Yow et al. A probabilistic framework for perceptual grouping of features for human face detection
US7215828B2 (en) Method and system for determining image orientation
CN111027549A (zh) 一种针对女上装关键点识别方法
Johnson et al. Sparse coding for alpha matting
CN107273905B (zh) 一种结合运动信息的目标主动轮廓跟踪方法
JP2004086891A (ja) デジタル画像におけるオブジェクト検出方法
KR20160136391A (ko) 정보처리장치 및 정보처리방법
JP4098021B2 (ja) シーン識別方法および装置ならびにプログラム
CN110263768A (zh) 一种基于深度残差网络的人脸识别方法
CN104766065B (zh) 基于多视角学习的鲁棒性前景检测方法
WO2022174523A1 (zh) 一种提取行人的步态特征的方法、步态识别方法及系统
CN111723687A (zh) 基于神经网路的人体动作识别方法和装置
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN111597978B (zh) 基于StarGAN网络模型实现行人重识别图片自动生成的方法
CN115035581A (zh) 面部表情识别方法、终端设备及存储介质
JP2023115104A (ja) 画像処理装置、画像処理方法、及びプログラム
CN111523494A (zh) 一种人体图像检测方法
Marqués et al. Face segmentation and tracking based on connected operators and partition projection
Marqués et al. A morphological approach for segmentation and tracking of human faces
Bourbakis et al. Skin-based face detection-extraction and recognition of facial expressions
Curran et al. The use of neural networks in real-time face detection
Safar et al. Learning shape priors for object segmentation via neural networks
JP7479809B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN114743154A (zh) 一种基于注册形式的工服识别方法及计算机可读介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060404

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060703

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061003

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070620

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070801

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20070824