JP2005099920A - 画像処理装置および画像処理方法ならびにプログラム - Google Patents
画像処理装置および画像処理方法ならびにプログラム Download PDFInfo
- Publication number
- JP2005099920A JP2005099920A JP2003330041A JP2003330041A JP2005099920A JP 2005099920 A JP2005099920 A JP 2005099920A JP 2003330041 A JP2003330041 A JP 2003330041A JP 2003330041 A JP2003330041 A JP 2003330041A JP 2005099920 A JP2005099920 A JP 2005099920A
- Authority
- JP
- Japan
- Prior art keywords
- image
- discriminant function
- dictionary data
- input image
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】入力画像から複数の処理画像を生成し、設定された少なくとも1つの判別関数および各判別関数に対応する少なくとも1つの辞書データを、目的物に応じて組み合わせて各処理画像を処理して入力画像中の目的物を検出し、この検出結果を用いて、入力画像における目的物の位置座標を算出することにより、前記課題を解決する。
【選択図】図1
Description
デジタルフォトプリンタでは、フィルムに撮影された画像を光電的に読み取って、画像をデジタルの画像データとして、画像の処理や感光材料の露光を行う。そのため、フィルムに撮影された画像のみならず、デジタルカメラ等で撮影された画像(画像データ)からも、プリントの作成を行うことができる。
さらに、近年では、デジタルカメラで撮影した画像を記憶したスマートメディアTMやコンパクトTMフラッシュなどの記憶媒体から、直接的に画像データを読み取り、所定の画像処理を施して、プリント(ハードコピー)を出力するプリンタも実用化されている。
従来のフィルムから直接的に露光を行うフォトプリンタでは、赤目の補正は非常に困難であるが、デジタルフォトプリンタ等のデジタルの画像処理であれば、画像処理(画像解析)によって赤目を検出し、この赤目領域の画像データの変換や色/濃度補正によって、赤目の補正を行うことができる。そのため、画像処理によって画像中の赤目を検出する方法が、各種、提案されている。
例えば、撮影距離によって画像中の被写体の大きさは大きく変動する。また、天候や地域に応じた光の当たり具合によっては、顔など被写体の色や濃度や輝度が変動する。さらに、人種や撮影光の色によって、被写体の色も変動する。
ところが、前述のように、自然物の場合には、処理対象の状態は様々である。そのため、従来の赤目検出方法では、このような様々な状態の処理対象に対応して、適正に赤目の検出を行うことはできない。
また、本発明のプログラムにおいては、インストールされた装置の能力を検出するステップを実行させ、かつ、前記検出した装置能力に応じて、前記処理画像の生成数もしくは前記入力画像の処理回数を選択するステップ、および、前記判別関数による処理を調整するステップの少なくとも一方を実行させるのが好ましい。
また、装置能力やシステムに要求される能力等に応じて、処理画像の生成数の変更や判別関数内のパラメータ変更等を行うことにより、高速化と高信頼化とのバランスを取ることもできる。
図1の画像処理装置10は、入力画像(入力画像データ)から赤目を検出して、画像中の赤目の位置座標(位置座標データ)を出力するもので、処理画像生成手段12と、判別手段14と、座標算出手段16とを有して構成される。このような画像処理装置10は、一例として、パーソナルコンピュータ、ワークステーションなどのコンピュータや、DSP(Digital Signal Processor)等を利用して構成される。
図示例においては、入力画像を拡大/縮小してなる画像、および、この拡大/縮小画像を回転してなる画像を、処理画像として生成し、順次、後段の判別手段14に送る。
また、拡大画像および縮小画像の生成に応じて、入力画像を0°(標準画像)とし、+30°〜−30°の範囲で、0°→+5°→−5°→+10°→−10°……と、入力画像、ならびに、先に生成した拡大画像および縮小画像を5°ピッチ°で回転した画像を生成して、処理画像として、順次、判別手段14に送る。
図示例においては、入力画像、各拡大画像および縮小画像に対して、この2種の回転画像を生成して、処理画像として、順次、判別手段14に送る。
このようなパラメータ制御は、オペレータによる入力指示に応じて行ってもよく、あるいは、後述するように本発明のプログラムがインストールされた際に処理装置10の能力を検出して、自動的に制御してもよく、両制御を可能にして何れかを選択できるようにしてもよい。また、各パラメータの制御を組み合わせて、通常処理モード、高速処理モード、高精度処理モード等のモードを設定しておき、オペレータが、適宜、選択できるようにしてもよい。
なお、赤目領域の表現は、上記のようなマスク画像でもよいが、これ以外にも、例えば「データ1」部分のリスト(座標値リスト)によって赤目領域を表現してもよい。また、赤目領域の表現は、上記のような「0」および「1」の2値データに限定もはされず、例えば、8ビット(0〜255)などの多値データとして、赤目である可能性の高さを表現してもよい。
ここで、判別手段14は、各対象物の検出に対応する1〜n個の公知の判別関数(公知の目的物検出アルゴリズム)と、各判別関数に対応する少なくとも1つ(1〜n個)の辞書データ(参照データ)とを有しており、検出対象に応じて、判別関数と辞書データを、適宜、組み合わせ、判別関数は辞書データを参照して、目的物の検出を行う。
判別手段14は、まず、判別関数1と辞書データ1とを組み合わせて顔検出を行い、次いで、判別関数2と辞書データ2とを組み合わせて、検出した顔領域から目の検出を行い、さらに、判別関数3と辞書データ3とを組み合わせて、検出した目の領域から赤目領域を検出し、赤目領域を示すマスク画像を座標算出手段16に供給する。
例えば、前記顔の検出器である判別関数1に対応して、辞書データ1−1として、大人の顔画像群から機械学習により得られた大人の顔の辞書データ、および、辞書データ1−2として、子供の顔画像群から機械学習により得られた子供の顔の辞書データを有してもよい。この際には、大人の顔を選択的に検出する場合には辞書データ1−1を、子供の顔を選択的に検出する場合には辞書データ1−2を、それぞれ用いて判別関数1で顔検出を行えばよい。
年齢に対応する各種の辞書データは、顔検出を行う判別関数以外にも、目の検出の検出を行う判別関数や、後述する目じりの検出を行う判別関数等に対応して有してもよいのは、もちろんである。
例えば、前記目の検出器である判別関数2に対応して、辞書データ2−1として、日本人の目の顔画像群から機械学習により得られた日本人の目の辞書データ、および、辞書データ2−2として、欧州人の目の画像群から機械学習により得られた欧州人の目の辞書データを有してもよい。この際には、日本人の目を選択的に検出する場合には辞書データ2−1を、欧州人の目を選択的に検出する場合には辞書データ2−2を、それぞれ用いて判別関数2で目の検出を行えばよい。
先と同様、人種に対応する辞書データも、目の検出を行う判別関数以外にも、顔の検出の検出を行う判別関数等に対応して有してもよいのは、もちろんである。
例えば、通常の赤目検出では、目じりを赤目として誤検出し易い。これに対応して、目じりの検出器を判別関数(便宜的に、判別関数4とする)として有し、かつ、辞書データ4−1として内側の目じりの画像群から機械学習により得られた内側目じり辞書データ、および、辞書データ4−2として、外側の目じりの画像群から機械学習により得られた外側目じり辞書データを有してもよい。
この際には、例えば前述のように判別関数2を用いて目の検出を行った後、判別関数4と辞書データ4−1とを用いて内側目じりの検出を行い、さらに、判別関数4と辞書データ4−2とを用いて外側目じりの検出を行って、検出した目じり位置を除外して、後段の赤目検出を行えばよい。
なお、画像処理に使用する辞書データは、オペレータ等による入力指示に応じて選択/設定してもよく、あるいは、デフォルトで設定しておいてもよい。
さらに、辞書を変更あるいは更新するだけで高性能化やカスタマイズを行うことができ、従って、バージョンアップへの対応も容易である。
一例として、判別関数は、画像中における或る画素(あるいは領域)が目的物か否かを判定するのに、例えば200のルール(検出対象か否かの判定方法)を有し、所定の順番で各ルールに応じた判定を、順次、行い、検出対象では無いと判定された時点で判別を終了し、全ルールで検出対象であると判定された画素が目的物として検出するとする。判別手段14においては、このルールの幾つまで判定を行うかがパラメータとして設定可能となっている。また、各ルール毎に、判定を行うための閾値(判定基準)が設定されるが、この閾値も、各ルール毎にパラメータとして制御可能となっている。
座標算出手段16は、判別手段14が検出した入力画像の赤目領域を、位置座標に変換して、所定の部位、例えば後段に配置される赤目補正を行う部位に出力する。なお、領域データから位置座標値への変換は、公知の方法で行えばよい。
ここで、本発明のプログラムは、コンピュータ等にインストールされた際に、例えばベンチマークを行うソフトウエアのように、ハードウエアの能力(CPUの性能やメモリ容量等)を検出して、前述の生成手段12や判別手段14におけるパラメータを制御するのが好ましい。例えば、ハードウエアの能力が低い場合には、処理画像の生成数を減らす、判別関数で実施するルール数を減らす等、演算量を低減して処理時間を短縮するようにパラメータを制御し、逆に、ハードウエアの能力が十分である場合には、十分な演算を行って、TP重視やFP重視などの要求性能を満たすようにパラメータを制御する。
全ての処理画像の赤目検出が終了したら、判別手段14は、全処理画像の検出結果を統合して、入力画像の赤目領域を検出して、検出結果を座標算出手段16に供給する。赤目領域の検出結果は、例えば、赤目領域に1を立て、それ以外を0としたマスク画像として、座標算出手段16に供給する。
この態様では、例えば、判別手段に、入力画像(標準画像)に対応する判別関数、マスクサイズやパラメータ等を変更した入力画像が95%変倍した画像と同等となるような判別関数、同105%画像となるような判別関数、同90%画像となるような判別関数……のように、前述の各処理画像に対応するような処理を行う判別関数を用意しておき、それぞれの判別関数で入力画像を処理して、目的物の検出を行う。
この態様によれば、判別手段に多数の判別関数や辞書データが必要となるが、処理画像の生成が不要となるので、生成手段12を不要として、かつ、処理時間の短縮も図ることができる。
例えば、図示例では、顔検出、目の検出および赤目の検出を行ったが、本発明は、これに限定はされず、人物の検出、鼻の検出、口の検出、犬や猫などの動物の検出、花の検出等、各種の物を目的物として、検出を行ってもよい。すなわち、本発明は、各種の認識系の画像処理に、好適に利用可能である。
12 (処理画像)生成手段
14 判別手段
16 座標算出手段
Claims (10)
- 1つの入力画像から複数の処理画像を生成する処理画像生成手段と、
少なくとも1つの判別関数、および、各判別関数に対応する少なくとも1つの辞書データを有し、目的物に対応する前記判別関数と辞書データとを組み合わせて用いて前記処理画像生成手段が生成した各処理画像を処理して、前記入力画像中の目的物を検出する判別手段と、
前記判別手段による目的物の検出結果を用いて、入力画像における前記目的物の位置座標を算出する座標算出手段とを有することを特徴とする画像処理装置。 - 画像を幾何学的に変形してなる複数の画像の個々に対応して設定された、少なくとも1つの判別関数、および、各判別関数に対応する少なくとも1つの辞書データを有し、目的物に対応する前記判別関数と辞書データとを組み合わせて用いて入力画像を処理して、前記入力画像中の目的物を検出する判別手段と、
前記判別手段による目的物の検出結果を用いて、入力画像における前記目的物の位置座標を算出する座標算出手段とを有することを特徴とする画像処理装置。 - 前記処理画像および前記入力画像を変形してなる画像とは、前記入力画像の拡大画像、前記入力画像の縮小画像、および前記入力画像を回転してなる画像の少なくとも1つである請求項1または2に記載の画像処理装置。
- 前記判別関数として、顔を検出する判別関数および目を検出する判別関数の少なくとも1つを有し、前記辞書データは、人種に対応する辞書データ、性別に対応する辞書データ、年齢に対応する辞書データ、気候に対応する辞書データ、生物種に対応する辞書データ、および特定被写体に対応する辞書データの少なくとも1つである請求項1〜3のいずれかに記載の画像処理装置。
- 前記処理画像の生成数の変更手段、および、前記判別関数による処理を調整する手段の少なくとも一方を有する請求項1〜4のいずれかに記載の画像処理装置。
- 1つの入力画像から複数の処理画像を生成し、予め設定された少なくとも1つの判別関数および各判別関数に対応する少なくとも1つの辞書データのうち、目的物に応じた判別関数と辞書データとの組み合わせて前記処理画像を処理して、前記入力画像中の目的物を検出し、この検出結果から前記入力画像における前記目的物の座標位置を算出することを特徴とする画像処理方法。
- 画像を幾何学的に変形してなる複数の画像の個々に対応して予め設定された、少なくとも1つの判別関数、および、各判別関数に対応する少なくとも1つの辞書データのうち、目的物に応じた判別関数と辞書データとを組み合わせて前記入力画像を処理して、前記入力画像中の目的物を検出し、この検出結果から前記入力画像における前記目的物の座標位置を算出することを特徴とする画像処理方法。
- 1つの入力画像から複数の処理画像を生成するステップ、
予め設定された少なくとも1つの判別関数および各判別関数に対応する少なくとも1つの辞書データのうち、目的物に対応する判別関数と辞書データとを組み合わせて用いて前記生成した各処理画像を処理して、前記入力画像中の目的物を検出するステップ、
および、前記目的物の検出結果を用いて、前記入力画像における前記目的物の位置座標を算出するステップ、を実行させるプログラム。 - 画像を幾何学的に変形してなる複数の画像の個々に対応して予め設定された、少なくとも1つの判別関数および各判別関数に対応する少なくとも1つの辞書データのうち、目的物に対応する判別関数と辞書データとを組み合わせて用いて前記入力画像を処理して、前記入力画像中における目的物を検出するステップ、
および、前記目的物の物検出結果を用いて、前記入力画像における前記目的物の位置座標を算出するステップ、を実行させるプログラム。 - インストールされた装置の能力を検出するステップを実行させ、
かつ、前記検出した装置能力に応じて、前記処理画像の生成数もしくは前記入力画像の処理回数を選択するステップ、および、前記判別関数による処理を調整するステップの少なくとも一方を実行させる請求項8または9に記載のプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003330041A JP2005099920A (ja) | 2003-09-22 | 2003-09-22 | 画像処理装置および画像処理方法ならびにプログラム |
US10/946,075 US20050094894A1 (en) | 2003-09-22 | 2004-09-22 | Image processing device, image processing method, and program therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003330041A JP2005099920A (ja) | 2003-09-22 | 2003-09-22 | 画像処理装置および画像処理方法ならびにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005099920A true JP2005099920A (ja) | 2005-04-14 |
Family
ID=34459128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003330041A Pending JP2005099920A (ja) | 2003-09-22 | 2003-09-22 | 画像処理装置および画像処理方法ならびにプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20050094894A1 (ja) |
JP (1) | JP2005099920A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008146650A (ja) * | 2006-12-12 | 2008-06-26 | Xerox Corp | 適応赤目補正 |
JP2009266052A (ja) * | 2008-04-28 | 2009-11-12 | Hitachi Ltd | 異常行動検知装置 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005309409A (ja) * | 2004-03-25 | 2005-11-04 | Fuji Photo Film Co Ltd | 赤目防止装置、プログラムおよびプログラムを記録した記録媒体 |
US8374403B2 (en) * | 2005-05-16 | 2013-02-12 | Cisco Technology, Inc. | Methods and apparatus for efficient, automated red eye detection |
US7831067B2 (en) * | 2005-05-16 | 2010-11-09 | Cisco Technology, Inc. | Methods and apparatus for automated, multi-level red eye correction |
US20100007726A1 (en) * | 2006-10-19 | 2010-01-14 | Koninklijke Philips Electronics N.V. | Method and apparatus for classifying a person |
JP5040734B2 (ja) * | 2008-03-05 | 2012-10-03 | ソニー株式会社 | 画像処理装置、画像記録方法およびプログラム |
JP4983684B2 (ja) * | 2008-03-26 | 2012-07-25 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6980691B2 (en) * | 2001-07-05 | 2005-12-27 | Corel Corporation | Correction of “red-eye” effects in images |
JP2003036438A (ja) * | 2001-07-25 | 2003-02-07 | Minolta Co Ltd | 画像中の赤目を特定するプログラム、記録媒体、画像処理装置及び赤目特定方法 |
US7035461B2 (en) * | 2002-08-22 | 2006-04-25 | Eastman Kodak Company | Method for detecting objects in digital images |
US6987520B2 (en) * | 2003-02-24 | 2006-01-17 | Microsoft Corporation | Image region filling by exemplar-based inpainting |
US7257310B2 (en) * | 2003-03-24 | 2007-08-14 | Afzal Hossain | Method and apparatus for processing digital images files to a digital video disc |
US7224850B2 (en) * | 2003-05-13 | 2007-05-29 | Microsoft Corporation | Modification of red-eye-effect in digital image |
US7269292B2 (en) * | 2003-06-26 | 2007-09-11 | Fotonation Vision Limited | Digital image adjustable compression and resolution using face detection information |
JP2005044330A (ja) * | 2003-07-24 | 2005-02-17 | Univ Of California San Diego | 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置 |
-
2003
- 2003-09-22 JP JP2003330041A patent/JP2005099920A/ja active Pending
-
2004
- 2004-09-22 US US10/946,075 patent/US20050094894A1/en not_active Abandoned
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008146650A (ja) * | 2006-12-12 | 2008-06-26 | Xerox Corp | 適応赤目補正 |
JP2009266052A (ja) * | 2008-04-28 | 2009-11-12 | Hitachi Ltd | 異常行動検知装置 |
JP4663756B2 (ja) * | 2008-04-28 | 2011-04-06 | 株式会社日立製作所 | 異常行動検知装置 |
Also Published As
Publication number | Publication date |
---|---|
US20050094894A1 (en) | 2005-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2005092759A (ja) | 画像処理装置、画像処理方法、および赤目検出方法ならびにプログラム | |
JP4373828B2 (ja) | 特定領域検出方法、特定領域検出装置、およびプログラム | |
JP4320272B2 (ja) | 特定領域検出方法、特定領域検出装置、およびプログラム | |
JP4709147B2 (ja) | デジタル画像から赤目現象を除去するシステム及びその方法 | |
JP4966021B2 (ja) | 赤目フィルターの性能を最適化する方法及びその装置 | |
JP4431949B2 (ja) | 赤目補正方法及びこの方法を実施する装置 | |
US7756343B2 (en) | Image processing method, image processing apparatus, and computer-readable recording medium storing image processing program | |
US8971628B2 (en) | Face detection using division-generated haar-like features for illumination invariance | |
US7751640B2 (en) | Image processing method, image processing apparatus, and computer-readable recording medium storing image processing program | |
JP4248812B2 (ja) | 明度調整のためのデジタル画像の処理方法 | |
JP4708909B2 (ja) | デジタル画像の対象物検出方法および装置並びにプログラム | |
JP4078334B2 (ja) | 画像処理装置および画像処理方法 | |
JP4769847B2 (ja) | 画像処理装置及び画像処理方法、プログラム、並びに、コンピュータ読み取り可能な記憶媒体 | |
JP2003344021A (ja) | 画像中の人の顔の寸法を計算する方法及び顔を検出する方法 | |
US20070071346A1 (en) | Method and apparatus for judging direction of blur and computer-readable recording medium storing a program therefor | |
JP2008234623A (ja) | カテゴリー識別装置、カテゴリー識別方法、及び、プログラム | |
US20150003681A1 (en) | Image processing apparatus and image processing method | |
JP2005322220A (ja) | 特定領域検出方法、特定領域検出装置、およびプログラム | |
JP2007094840A (ja) | 画像処理装置、及び画像処理方法 | |
JP2005099920A (ja) | 画像処理装置および画像処理方法ならびにプログラム | |
JP2007066227A (ja) | 画像処理装置および方法並びにプログラム | |
JP2007011970A (ja) | 画像処理装置および画像処理方法ならびにプログラム | |
US7355754B2 (en) | Method, apparatus, and program for image processing | |
JP2005286830A (ja) | 画像処理方法、画像処理装置、およびプログラム | |
JP2007281847A (ja) | 赤目補正処理システム、赤目補正処理方法、および赤目補正処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060511 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061212 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080711 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090519 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090929 |