JP2005309971A - 赤目補正方法、プログラム、及びこの方法を実施する装置 - Google Patents

赤目補正方法、プログラム、及びこの方法を実施する装置 Download PDF

Info

Publication number
JP2005309971A
JP2005309971A JP2004128482A JP2004128482A JP2005309971A JP 2005309971 A JP2005309971 A JP 2005309971A JP 2004128482 A JP2004128482 A JP 2004128482A JP 2004128482 A JP2004128482 A JP 2004128482A JP 2005309971 A JP2005309971 A JP 2005309971A
Authority
JP
Japan
Prior art keywords
red
degree
eye
eye correction
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004128482A
Other languages
English (en)
Other versions
JP4496465B2 (ja
Inventor
Noriyuki Nishi
規之 西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Noritsu Koki Co Ltd
Original Assignee
Noritsu Koki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Noritsu Koki Co Ltd filed Critical Noritsu Koki Co Ltd
Priority to JP2004128482A priority Critical patent/JP4496465B2/ja
Priority to CNB2005100638812A priority patent/CN100366047C/zh
Priority to DE602005004195T priority patent/DE602005004195T2/de
Priority to EP05008512A priority patent/EP1589481B1/en
Priority to US11/112,448 priority patent/US7460707B2/en
Publication of JP2005309971A publication Critical patent/JP2005309971A/ja
Application granted granted Critical
Publication of JP4496465B2 publication Critical patent/JP4496465B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B27/00Photographic printing apparatus
    • G03B27/72Controlling or varying light intensity, spectral composition, or exposure time in photographic printing apparatus
    • G03B27/73Controlling exposure by variation of spectral composition, e.g. multicolor printers
    • G03B27/735Controlling exposure by variation of spectral composition, e.g. multicolor printers in dependence upon automatic analysis of the original
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/624Red-eye correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30216Redeye defect

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】タングステン照明等の赤系照明下で不十分なストロボ光による撮影のため顔全体が赤味がかった撮影画像に対しても、顔全体との色バランスを維持した赤目補正を施すことができる赤目補正技術を提供する。
【解決手段】赤目処理手段90には、顔検出ユニット80から得られる顔領域に含まれる画素の画素値から顔領域の赤系色かぶり度を演算する色かぶり度演算部91と、求められた色かぶり度に基づいて赤目補正の補正度を決定する赤目補正度決定部92と、顔検出ユニット80から得られる顔領域から瞳領域を抽出する瞳抽出部93と、赤目補正度決定部92で決定された赤目補正度に基づいて瞳領域に対する赤目補正を行う赤目補正部94が構築されている。
【選択図】 図4

Description

本発明は、撮影画像に生じている赤目を補正する方法、赤目補正プログラム、及びこの赤目補正方法を実施する画像処理装置に関する。
人物や動物などを被写体としてストロボ撮影した場合、ストロボ光の一部が眼球内の血管等で反射してカメラ側に戻ってくることで、撮影画像において瞳の中央が赤色ないしは実際とは異なる色となる、いわゆる赤目現象を生じることがある。デジタルカメラの普及や写真フィルムの撮影画像をデジタル化するフィルムスキャナの普及により、この赤目問題を画像処理技術で解決することが数多く提案されている。もちろん、赤目部分の画素をモニタを通じて目で確認しながらその画素の色合いを実際の色合いに修正していくという職人的技術によってもこの補正作業が可能であるが、その補正作業に頻雑さや熟練さが要求される等を考慮すると一般的ではない。このため、パターン認識技術等を利用して瞳孔位置を抽出し、あるいは画像内の赤色部分を抽出して、この部分を色変換するといった自動化技術も考えられているが、正確に赤目を認識することは困難であり、それを行ったとしてもその画像処理技術が極めて複雑となり、装置自体も高価なものとなってしまう。
例えば、色調不良となった目領域を含む領域をまず指定し、その領域において、明度や赤味を組み合わせた特徴量を用いて、赤目部とその隣接する白目及び肌部との間に谷間ができることを利用し、前記特徴量の山毎に領域分割することで赤目部を白目及び肌部と分離する技術がある(例えば、特許文献1参照。)。この技術は、赤目部分は瞳孔部の中心程網膜からの反射が強いため、明度は中央から周辺部に向けて低下する傾向を持つことからキャッチライトも含めて明度が山状に分布すること、及び虹彩部が青目系瞳では赤みの値の大きさについて赤目となった瞳孔部との谷間となることを利用している。つまり、赤味という色に関する目領域の強度分布から赤目、白目及び肌部を区分けしようとしている。このため、ストロボ光が不十分で例えば、室内照明のタングステン光の影響が強い顔写真の場合には瞳部分だけではなく顔全体が赤みを帯びることになるにもかかわらず、通常の赤目補正が施されることになり、赤目補正された瞳の色味が顔全体の色味との違和感を生じ、人物写真としての品質はかえって悪化することにもなりかねない。
また、顔面特有の複数の色成分画像を抽出して被写体人物の赤目位置を検出する技術、つまり撮像画像内から低彩度領域及び低照度領域の少なくとも一方の領域と肌色領域とが抽出され、これらの抽出信号を用いて、例えば論理積をとることで、人物の眼を含む領域が抽出され、更に、抽出された赤色部信号を用いて、目を含む領域から、赤目が発生しているときは、当該赤目位置が検出され、このようにして得られた赤目位置データに基づいて赤目位置の赤色が別の色に、例えば一般的な黒目に補正する技術もある(例えば、特許文献2参照。)。この技術では予め目領域を自動的に選択することから、上記従来技術に較べ、さらに、ストロボ光以外の要因で瞳を含む顔全体が赤みがかった場合においても赤目補正を施す可能性が高いにもかかわらず、特にタングステン照明下での撮影で生じやすい顔全体が赤味がかった撮影画像に対して赤目補正を回避することが考慮されていないので、赤目補正が思わない失敗を引き起こす可能性がある。
特開2000−76427号公報(段落番号0009−0011、0058−0071、第10図) 特開平6−258732号公報(段落番号0006−0009、0019−0023、第6図)
上記実状に鑑み、本発明の課題は、タングステン照明といった赤系照明下での不十分なストロボ光による撮影のため得られた撮影画像の顔全体が赤味がかっている場合において、顔全体との色バランスを維持した赤目補正を施すか、あるいは赤目補正そのものを中止するといったことが可能な赤目補正技術を提供することである。
上記課題を解決するため、本発明による撮影画像に生じている赤目を補正する赤目補正方法は、撮影画像から選択された顔領域に含まれる画素の画素値から顔領域の赤系色かぶり度を演算する色かぶり度演算ステップと、前記色かぶり度に基づいて赤目補正の補正度を決定する赤目補正度決定ステップと、前記顔領域から瞳領域を抽出する瞳抽出ステップと、前記赤目補正度に基づいて前記瞳領域に対する赤目補正を行う赤目補正ステップとから構成されている。
この構成では、赤目補正に先だって顔領域を構成する画素の画素値から顔領域がタングステン照明などの影響で赤系の色かぶりをしているかどうかチェックされ、得られた色かぶり度に基づいて赤目補正の補正度(補正強度)を決定してから、よく知られた抽出アルゴリズムに基づいて抽出された瞳領域に対する必要に応じた赤目補正を行う。このため、タングステン照明下で不十分なストロボ光による撮影のため顔全体が赤味がかった撮影画像では、弱められた補正度によって赤目補正を行うか、あるいは色かぶり度が強い場合にはむしろ赤目補正自体を断念することで、不要な赤目補正による人物(顔)写真の不具合を回避することができる。
前述した色かぶり度を求める簡単で高速な演算法として、本発明では、前記顔領域に含まれる画素の赤色成分濃度値の平均値と青色成分濃度値の平均値の差分値を前記色かぶり度とすることが提案される。種々の条件で撮影された多数の顔領域の撮影画像に対する統計的考察により、顔領域に含まれる画素の赤色成分の平均値と青色成分濃度値の平均値の差分値が、赤系色かぶりの度合いに密接に関係していることが明らかになり、この差分値をパラメータとする赤系色かぶりの確率関数が作り出すことが可能となった。つまり、この差分値が下限値より小さいとその顔領域がほぼ100%の確率で赤系色かぶりが生じていないとみなすことができるので、もし瞳領域が赤味を帯びていれば積極的に(つまり強い補正度でもって)赤目補正を行うようにし、この差分値が上限値より大きいとその顔領域がほぼ100%の確率で赤系色かぶりが生じている(タングステン照明などの影響による)とみなすことができるので、もはや赤目補正は逆に写真品質を低下させるとして赤目補正を断念し、この差分値が下限値と上限値の間では、その微妙な確率に合わせて決定された補正度でもって赤目補正を行うことで適正な写真を作製することが可能となる。
なお、1つの撮影画像には複数の顔(領域)が含まれていることがあるが、そのようなケースでは2つの処理方法が提案される。その1つは、各顔領域毎に赤目補正度を決定して各顔領域の赤目補正を行うことであり、時間はかかるが最も確実な処理となる。他の1つは、1つの顔領域によって決定された赤目補正度を用いて全ての顔領域の赤目補正を行うことであり、タングステン照明などの影響による赤系かぶりは撮影画像全体に及んでいると考えられ、1つの顔の色かぶり度を全ての顔にも適用することで、若干の信頼性が犠牲になるかもしれないが処理の高速化が得られる。このような処理の選択は要求される写真品質に基づくものなので、その2つの処理方法を任意に選択可能に構成することが好ましい。
また、本発明は、上述した赤目補正方法をコンピュータに実行させるプログラムやそのプログラムを記録した媒体も権利の対象とするものである。
本発明では、さらに、上述した赤目補正方法を実施する画像処理装置も権利の対象としており、そのような画像処理装置は、撮影画像から選択された顔領域に含まれる画素の画素値から顔領域の赤系色かぶり度を演算する色かぶり度演算部と、前記色かぶり度に基づいて赤目補正の補正度を決定する赤目補正度決定部と、前記顔領域から瞳領域を抽出する瞳抽出部と、前記赤目補正度に基づいて前記瞳領域に対する赤目補正を行う赤目補正部とを備えている。当然ながら、このような画像処理装置も上述した赤目補正方法におけるすべての作用効果を得ることができる。
本発明によるその他の特徴及び利点は、以下図面を用いた実施形態の説明により明らかになるだろう。
本発明の実施の形態について、図面に基づいて説明する。
図1は本発明による赤目補正技術を採用した写真プリント装置を示す外観図であり、この写真プリント装置は、印画紙Pに対して露光処理と現像処理とを行う写真プリンタとしてのプリントステーション1Bと、現像済み写真フィルム2aやデジタルカメラ用メモリカード2bなどの画像入力メディアから取り込んだ撮影画像を処理してプリントステーション1Bで使用されるプリントデータの生成・転送などを行う操作ステーション1Aとから構成されている。
この写真プリント装置はデジタルミニラボとも称せられるものであり、図2からよく理解できるように、プリントステーション1Bは2つの印画紙マガジン11に納めたロール状の印画紙Pを引き出してシートカッター12でプリントサイズに切断すると共に、このように切断された印画紙Pに対し、バックプリント部13で色補正情報やコマ番号などのプリント処理情報を印画紙Pの裏面に印字するとともに、プリント露光部14で印画紙Pの表面に撮影画像の露光を行い、この露光後の印画紙Pを複数の現像処理槽を有した処理槽ユニット15に送り込んで現像処理する。乾燥の後に装置上部の横送りコンベア16からソータ17に送られた印画紙P、つまり写真プリントPは、このソータ17の複数のトレイにオーダ単位で仕分けられた状態で集積される(図1参照)。
上述した印画紙Pに対する各種処理に合わせた搬送速度で印画紙Pを搬送するために印画紙搬送機構18が敷設されている。印画紙搬送機構18は、印画紙搬送方向に関してプリント露光部14の前後に配置されたチャッカー式印画紙搬送ユニット18aを含む複数の挟持搬送ローラ対から構成されている。
プリント露光部14には、副走査方向に搬送される印画紙Pに対して、主走査方向に沿って操作ステーション1Aからのプリントデータに基づいてR(赤)、G(緑)、B(青)の3原色のレーザ光線の照射を行うライン露光ヘッドが設けられている。処理槽ユニット15は、発色現像処理液を貯留する発色現像槽15aと、漂白定着処理液を貯留する漂白定着槽15bと、安定処理液を貯留する安定槽15cを備えている。
前記操作ステーション1Aのデスク状コンソールの上部位置には、写真フィルム2aの撮影画像コマから撮影画像データ(以下特別な場合を除いて単に撮影画像と略称する)を取得するフィルムスキャナ20が配置されており、デジタルカメラ等に装着される撮影画像記録媒体2bとして用いられている各種半導体メモリやCD−Rなどから画像データを取得するメディアリーダ21は、この写真プリント装置のコントローラ3として機能する汎用パソコンに組み込まれている。この汎用パソコンには、さらに各種情報を表示するモニタ23、各種設定や調整を行う際に用いる操作入力部として利用される操作入力デバイスとしてのキーボード24やマウス25も接続されている。
この写真プリント装置のコントローラ3は、CPUを中核部材として、写真プリント装置の種々の動作を行うための機能部をハードウエア又はソフトウエアあるいはその両方で構築しているが、図3に示されているように、本発明に特に関係する機能部としては、スキャナ20やメディアリーダ21によって読み取られた撮影画像を取り込んで次の処理のために必要な前処理を行う画像入力部31と、各種ウインドウや各種操作ボタンなどを含むグラフィック操作画面の作成やそのようなグラフィック操作画面を通じてのユーザ操作入力(キーボード24やマウス25などによる)から制御コマンドを生成するグラフィックユーザインターフェース(以下GUIと略称する)を構築するGUI部33と、GUI部33から送られてきた制御コマンドや直接キーボード24等から入力された操作命令に基づいて所望のプリントデータを生成するために画像入力部31からメモリ30に転送された撮影画像に対する画像処理等を行うプリント管理部32と、色補正等のプレジャッジプリント作業時にプリントソース画像や予想仕上がりプリント画像としてのシミュレート画像さらにはGUI部33から送られてきたグラフィックデータをモニタ23に表示させるためのビデオ信号を生成するビデオ制御部35と、画像処理が完了した処理済み撮影画像に基づいてプリントステーション1Bに装備されているプリント露光部14に適したプリントデータを生成するプリントデータ生成部36と、顧客の要望に応じて生の撮影画像データや画像処理が完了した処理済み撮影画像データなどをCD−Rに書き込むための形式にフォーマットするフォーマッタ部37などが挙げられる。
画像入力部31は、撮影画像記録媒体がフィルム2aの場合プレスキャンモードと本スキャンモードとのスキャンデータを別々にメモリ30に送り込み、それぞれの目的に合わせた前処理を行う。また、撮影画像記録媒体がメモリカード2bの場合取り込んだ撮影画像にサムネイル画像データ(低解像度データ)が含まれている場合はモニタ23での一覧表示などの目的で使用するため撮影画像の本データ(高解像度データ)とは別にメモリ30に送り込むが、もしサムネイル画像データが含まれていない場合は本データから縮小画像を作り出してサムネイル画像データとしてメモリ30に送り込む。また、この画像入力部31には、写真プリント受付装置と呼ばれているセルフサービスで写真プリントを受け付ける装置も接続されており、この写真プリント受付装置から、プリントサイズやプリント枚数を記録しているプリント注文データと撮影条件などを記録している画像属性データと撮影画像データとを受け取ると、撮影画像データをメモリ30に転送し、プリント注文データや画像属性データをプリント管理部32に転送する。通常の写真プリント注文の場合には、プリントサイズやプリント枚数などのプリント注文データ及び必要の場合ストロボ撮影の有無や被写体情報やカメラ機種などの属性データは、キーボード24を通じてオペレータの操作入力によってプリント管理部32に与えられる。
プリント管理部32は、プリントサイズやプリント枚数などを管理するプリント注文処理ユニット60、メモリ30に展開された撮影画像に対して色補正やフィルタリング(ぼかしやシャープネスなど)などのフォトレタッチ処理を施す画像処理ユニット70、及びこの実施の形態ではメモリ30に展開された撮影画像から顔領域を検出して、その座標位置や向きなどの顔検出情報を与える顔検出ユニット80も備えられている。この顔検出ユニット80は汎用的なものを使用することが可能であるが、ここでは、顔検出アルゴリズムに基づいて撮影画像中の顔と見なされる領域を検出してその顔位置とサイズ(顔位置を基点とした矩形画素領域の縦横サイズ)からなる顔領域データ、及び顔の正立・倒立といった構図姿勢を顔角度として表している顔姿勢データが顔検出情報として出力されるものが使われている。画像データから顔を検出する顔検出アルゴリズムは数多く知られているが、例えば、特開平11−339084号公報、特開2000−99722号公報、特開2000−22929号公報が参照される。
画像処理ユニット70には、上述した機能以外に、本発明を特徴づけている赤目補正処理を実行する赤目処理手段90が備えられており、この赤目処理手段90には、図4に示すように、顔検出ユニット80から得られる顔領域に含まれる画素の画素値から顔領域の赤系色かぶり度を演算する色かぶり度演算部91と、求められた色かぶり度に基づいて赤目補正の補正度を決定する赤目補正度決定部92と、顔検出ユニット80から得られる顔領域から瞳領域を抽出する瞳抽出部93と、赤目補正度決定部92で決定された赤目補正度に基づいて瞳領域に対する赤目補正を行う赤目補正部94が構築されている。
色かぶり度演算部91は、顔検出ユニット80から与えられる顔領域データに基づいてメモリ30に展開されている撮影画像の顔領域の全画素(R・G・Bのカラー画素値を持つカラー画素)における赤色成分の濃度値:Rの平均値:Raveと青色成分の濃度値:Bの平均値:Baveを求め、その差分値:D=Rave−Baveを赤系色かぶり度とする。もちろん、この色かぶり度として差分値:Dを最大値や濃度平均値などで正規化することも好ましいが、ここでは説明を簡単にするため、差分値:Dを色かぶり度としておく。赤目補正度決定部92は、色かぶり度演算部91で得られた色かぶり度:Dに基づいて、例えば図5に示すようなグラフで表される色かぶり度:Dに応じて変化する赤目補正の補正度(補正強度):δを決定する。図5の例では、色かぶり度:Dと補正度:δの関係を示す関数:Fは、色かぶり度の下限値:d1以下の領域で補正度:δは1、つまり最大強度となり、色かぶり度上限値:d2以上の領域で補正度:δは0、つまり赤目補正は行わないとなっている。この下限値:d1と上限値:d2は統計的かつ経験的な考察から求められるが、例えば8ビットカラーの場合その差分値は0〜255の値をとることができるので、その数パーセント程度の値が基準となる。
赤目補正を行う前に赤目としての瞳の領域に含まれる画素を抽出する必要があるが、これは瞳抽出部93で行われる。この実施形態では、顔検出ユニット80によって撮影画像から顔領域の位置や顔角度(顔姿勢)が知らされているので、比較的簡単なアルゴリズムで瞳領域画素を抽出することができる。典型的には、各色成分での濃度値に基づく肌色検出条件を用いて肌色画素を抽出するとともに、抽出された肌色画素の濃度値に依存して決定される白色検出条件を用いて白色(白目)画素を抽出し、後は、瞳の幾何形状的特性を考慮して瞳領域画素を決定するとよいが、その他適切な公知の瞳検出アルゴリズムを用いてもよい。瞳抽出部93は瞳領域画素の決定に準じて瞳画素に位置を規定する瞳画素マップ93aを作成する。
このようにして、撮像画像における瞳画素の位置を規定している瞳画素マップ93aが作成されると、後は、適切な赤目補正アルゴリズムを実装している赤目補正部94によって瞳領域が赤目と判定された場合その瞳領域に含まれる画素つまり赤目画素が補正される。瞳領域が赤目であるかどうかは、前述した赤系色かぶりと同様な判定条件で、好ましくはさらに厳しくした判定条件で行うことが可能である。
この赤目補正部94での赤目補正に関しては、この実施の形態では、赤目画素の彩度を下げることで赤目補正されることになるが、その彩度減少の計算式は、先に決定された補正度:δを用いて以下に示されている;
d=(R+G+B)/3、
R'=δ×d+(1−δ)×R、
G'=δ×d+(1−δ)×G、
B'=δ×d+(1−δ)×B。
つまり、赤目と判定された瞳画素の濃度値(R,G,B)が(R',G',B')に変更されることで、赤目が低彩度の瞳色となる(彩度の低下度合いは当然δの値によって異なる)。この計算式では、補正度:δが「1」の時、補正がなしとなり、補正度:δが「0」の時、補正の度合いが最大、つまりその色はグレーとなる。補正度:δが「1」や「0」及びその周辺の値をとるのは極端なケースであり、通常の赤目補正では、補正度:δは、0.45〜0.55程度となる。
なお、赤目画素の彩度を下げることで赤目補正することは、実際の瞳色が明るいブルーやグリーンの場合では必ずしも良い結果を生み出さない。このようなケースにおいては、オプションで備えられる瞳色設定部によって設定入力された瞳色がもつ輝度値に赤目画素の輝度値を近づけるような処理を赤目補正処理として採用すると良い。
このように構成された赤目処理手段90を用いて赤目補正の手順を以下に説明する。図6のフローチャートに示されているように、まずメモリ30に展開されている撮影画像を用いて、顔検出ユニット80が顔検出処理を行い、顔検出情報を赤目処理手段90に出力する(#01)。赤目処理手段90は、受け取った顔検出情報から処理対象となっている撮影画像に顔が含まれていないことが把握されるとこの撮影画像に対する赤目補正処理を終了し(#02No分岐)、撮影画像から顔を検出されていると(#02Yes分岐)、その顔領域をメモリ30上の撮影画像に対して設定する(#03)。この実施形態では、1つの撮影画像において複数の顔が検出された場合は、顔サイズと顔位置とから主となる1つの顔を選択してこの顔領域に基づく以下の補正度の決定ステップを行い、そこで決定された補正度でもって、全ての顔の瞳に対する赤目処理を行うとしているが、もちろん、検出された顔全てに対して、独立して以下に述べる補正度決定から瞳検出及び赤目補正を行ってもよい。
顔領域が設定されると、色かぶり度演算部91が顔領域に含まれている画素を用いてその赤色成分の濃度値:Rの平均値:Raveと青色成分の濃度値:Bの平均値:Baveを求め、その差分値:D=Rave−Baveを赤系色かぶり度として算出する(#04)。続いて、赤目補正度決定部92が図5で示されたような関数を用いて、色かぶり度:Dから補正度:δを決定する(#05)。補正度が決定されると、この補正度の値が「0」の場合少なくとも顔領域が高い確率で赤味がかった色かぶりであると判断されるので、瞳が赤目となっていてもそれに対する赤目補正を行うと、かえって瞳の色味が顔全体の色味との違和感を生じ写真全体のバランスが崩れてしまうことを考慮して、赤目補正を中止すべく、このルーチンを終了する(#06Yes分岐)。補正度の値が「0」以外の場合、瞳が赤目であればその補正度に応じて強弱の赤目補正を行えばよいので、次のステップに移行して、瞳抽出部93による瞳抽出処理が行われる(#07)。瞳検出が完了すると瞳領域の位置が瞳画素マップ93aに書き込まれるので、この瞳画素マップ93aを参照しながら、赤目判定すべき瞳領域を順次指定して処理していくが、まず処理すべき瞳領域が存在しているかをチェックして(#08)、まだ処理されていない瞳領域が存在している場合(#08Yes分岐)、その瞳領域を指定して赤目判定を行う(#09)。赤目判定は、指定された瞳領域の画素における赤成分の割合が所定値を超えていることを判定条件として行われる。指定された瞳領域が赤目とはみなされなかった場合(#09No分岐)、ステップ#08にジャンプしてまだ処理されていない瞳領域が存在しているかをチェックする。指定された瞳領域が赤目とはみなされた場合(#09Yes分岐)、赤目補正部94によってステップ#05で決定されている補正度:δが用いられ、上述した補正式を用いて赤目補正が行われる(#10)。ステップ#08〜#10までの処理が瞳領域がなくなるまで(検出された顔が1つの場合通常2回)繰り返される。
なお、このステップ#01〜#10までにおける画像処理において、処理速度を早めるため、顔検出から補正度決定までの処理を低解像度データで行い、瞳検出から赤目補正までの処理を高解像度データで行うようにすることも本発明では提案される。
適当な度合いで赤目補正処理を施された撮影画像及び赤目補正処理を回避した撮影画像は、いずれにせよ、その他の必要な画像処理を施された後、プリントデータに変換されて、プリント露光部14に転送され、プリント露光部14によりプリントデータに基づいて最終的に写真プリントとなる印画紙Pが露光される。
上述した実施形態では、撮影画像からの顔検出を顔検出ユニット80によって自動的に行っていたが、撮影画像をモニタに表示してオペレータによりマニュアルで顔領域を設定してもよい。
本発明による赤目補正技術を採用した写真プリント装置の外観図 写真プリント装置のプリントステーションの構成を模式的に示す模式図 写真プリント装置のコントローラ内に構築される機能要素を説明する機能ブロック図 赤目処理手段の機能構成を示す機能ブロック図 色かぶり度に基づいて補正度を決定する関数を説明する説明図 赤目処理のフローチャート
符号の説明
60:プリント注文処理ユニット
70:画像処理ユニット
80:顔検出ユニット
90:赤目処理手段
91:色かぶり度演算部
93:瞳抽出部
93a:瞳画素マップ
94:赤目補正部

Claims (7)

  1. 撮影画像に生じている赤目を補正する赤目補正方法において、
    撮影画像から選択された顔領域に含まれる画素の画素値から顔領域の赤系色かぶり度を演算する色かぶり度演算ステップと、
    前記色かぶり度に基づいて赤目補正の補正度を決定する赤目補正度決定ステップと、
    前記顔領域から瞳領域を抽出する瞳抽出ステップと、
    前記赤目補正度に基づいて前記瞳領域に対する赤目補正を行う赤目補正ステップとから構成されていることを特徴とする赤目補正方法。
  2. 前記色かぶり度演算ステップにおいて、前記顔領域に含まれる画素の赤色成分濃度値の平均値と青色成分濃度値の平均値の差分値を前記色かぶり度とすることを特徴とする請求項1に記載の赤目補正方法。
  3. 前記赤目補正度決定ステップにおいて、所定の色かぶり度を超える顔領域に対しては赤目補正を中止することを特徴とする請求項1又は2に記載の赤目補正方法。
  4. 前記撮影画像に複数の顔領域が含まれている場合、各顔領域毎に赤目補正度を決定して各顔領域の赤目補正を行うことを特徴とする請求項1〜3のいずれか1項に記載の赤目補正方法。
  5. 前記撮影画像に複数の顔領域が含まれている場合、1つの顔領域によって決定された赤目補正度を用いて全ての顔領域の赤目補正を行うことを特徴とする請求項1〜3のいずれか1項に記載の赤目補正方法。
  6. 撮影画像に生じている赤目を補正するために、
    撮影画像から選択された顔領域に含まれる画素の画素値から顔領域の赤系色かぶり度を演算する色かぶり度演算機能と、
    前記色かぶり度に基づいて赤目補正の補正度を決定する赤目補正度決定機能と、
    前記顔領域から瞳領域を抽出する瞳抽出機能と、
    前記赤目補正度に基づいて前記瞳領域に対する赤目補正を行う赤目補正機能とをコンピュータに実行させる赤目補正プログラム。
  7. 撮影画像に生じている赤目を補正する画像処理装置において、
    撮影画像から選択された顔領域に含まれる画素の画素値から顔領域の赤系色かぶり度を演算する色かぶり度演算部と、
    前記色かぶり度に基づいて赤目補正の補正度を決定する赤目補正度決定部と、
    前記顔領域から瞳領域を抽出する瞳抽出部と、
    前記赤目補正度に基づいて前記瞳領域に対する赤目補正を行う赤目補正部とから構成されていることを特徴とする画像処理装置。
JP2004128482A 2004-04-23 2004-04-23 赤目補正方法、プログラム、及びこの方法を実施する装置 Expired - Fee Related JP4496465B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2004128482A JP4496465B2 (ja) 2004-04-23 2004-04-23 赤目補正方法、プログラム、及びこの方法を実施する装置
CNB2005100638812A CN100366047C (zh) 2004-04-23 2005-04-08 红眼修正方法及实施该方法的装置
DE602005004195T DE602005004195T2 (de) 2004-04-23 2005-04-19 Verfahren und Vorrichtung der Bildverarbeitung zur rote-Augen-Korrekur
EP05008512A EP1589481B1 (en) 2004-04-23 2005-04-19 Image processing method and apparatus for red eye correction
US11/112,448 US7460707B2 (en) 2004-04-23 2005-04-22 Image processing method and apparatus for red eye correction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004128482A JP4496465B2 (ja) 2004-04-23 2004-04-23 赤目補正方法、プログラム、及びこの方法を実施する装置

Publications (2)

Publication Number Publication Date
JP2005309971A true JP2005309971A (ja) 2005-11-04
JP4496465B2 JP4496465B2 (ja) 2010-07-07

Family

ID=34935376

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004128482A Expired - Fee Related JP4496465B2 (ja) 2004-04-23 2004-04-23 赤目補正方法、プログラム、及びこの方法を実施する装置

Country Status (5)

Country Link
US (1) US7460707B2 (ja)
EP (1) EP1589481B1 (ja)
JP (1) JP4496465B2 (ja)
CN (1) CN100366047C (ja)
DE (1) DE602005004195T2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008160474A (ja) * 2006-12-22 2008-07-10 Canon Inc 画像処理装置およびその方法
US8106958B2 (en) 2008-01-17 2012-01-31 Canon Kabushiki Kaisha Image processing apparatus and image processing method and image capturing apparatus

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5074777B2 (ja) * 2006-05-22 2012-11-14 キヤノン株式会社 撮像機能付表示装置、画像処理装置、画像処理方法、および、画像表示システム
US8315463B2 (en) * 2006-11-14 2012-11-20 Eastman Kodak Company User interface for face recognition
US20080310712A1 (en) * 2007-06-12 2008-12-18 Edgar Albert D Method and system to detect and correct whiteness with a digital image
JP5144487B2 (ja) * 2008-12-15 2013-02-13 キヤノン株式会社 主顔選択装置、その制御方法、撮像装置及びプログラム
US9721160B2 (en) 2011-04-18 2017-08-01 Hewlett-Packard Development Company, L.P. Manually-assisted detection of redeye artifacts
JP5719223B2 (ja) * 2011-04-25 2015-05-13 オリンパスイメージング株式会社 画像記録装置、記録方法およびプログラム
JP5273208B2 (ja) * 2011-06-07 2013-08-28 オムロン株式会社 画像処理装置、画像処理方法、および制御プログラム
US9041954B2 (en) 2011-06-07 2015-05-26 Hewlett-Packard Development Company, L.P. Implementing consistent behavior across different resolutions of images
US8970902B2 (en) 2011-09-19 2015-03-03 Hewlett-Packard Development Company, L.P. Red-eye removal systems and method for variable data printing (VDP) workflows
US9256927B2 (en) * 2012-07-06 2016-02-09 Yissum Research Development Companyof The Hebrew University of Jerusalem Ltd. Method and apparatus for enhancing a digital photographic image
TWI707307B (zh) * 2018-11-08 2020-10-11 瑞昱半導體股份有限公司 影像調整方法
CN110648296B (zh) * 2019-09-24 2022-10-11 Oppo广东移动通信有限公司 一种瞳孔颜色修正方法、修正装置、终端设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322192A (ja) * 1996-05-29 1997-12-12 Nec Corp 赤目検出補正装置
JP2000348170A (ja) * 1999-06-03 2000-12-15 Nikon Corp 画像補正装置及び画像補正プログラムを記録した記録媒体。
JP2001148780A (ja) * 1999-09-07 2001-05-29 Fuji Photo Film Co Ltd 赤目修正対象領域の設定方法および赤目修正方法
JP2002281333A (ja) * 2001-03-16 2002-09-27 Canon Inc 画像処理装置およびその方法
JP2004112494A (ja) * 2002-09-19 2004-04-08 Ricoh Co Ltd 画像処理装置、画像処理方法および記録媒体
JP2004158917A (ja) * 2002-11-01 2004-06-03 Canon Inc 画像処理方法
JP2004242141A (ja) * 2003-02-07 2004-08-26 Nikon Corp 色不良領域補正方法、色不良領域補正処理プログラム、画像処理装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3036285B2 (ja) 1993-03-05 2000-04-24 ミノルタ株式会社 赤目位置検出装置
JPH10322580A (ja) * 1997-05-20 1998-12-04 Minolta Co Ltd 電子スチルカメラ
US6292574B1 (en) * 1997-08-29 2001-09-18 Eastman Kodak Company Computer program product for redeye detection
US6407777B1 (en) * 1997-10-09 2002-06-18 Deluca Michael Joseph Red-eye filter method and apparatus
US6016354A (en) * 1997-10-23 2000-01-18 Hewlett-Packard Company Apparatus and a method for reducing red-eye in a digital image
US6631208B1 (en) * 1998-05-29 2003-10-07 Fuji Photo Film Co., Ltd. Image processing method
JP3590265B2 (ja) * 1998-06-11 2004-11-17 富士写真フイルム株式会社 画像処理方法
JP4050842B2 (ja) * 1998-06-15 2008-02-20 富士フイルム株式会社 画像処理方法
JP2000134486A (ja) * 1998-10-22 2000-05-12 Canon Inc 画像処理装置及び画像処理方法及び記憶媒体
US6728401B1 (en) * 2000-08-17 2004-04-27 Viewahead Technology Red-eye removal using color image processing
US7289664B2 (en) * 2002-01-17 2007-10-30 Fujifilm Corporation Method of detecting and correcting the red eye
US7035462B2 (en) * 2002-08-29 2006-04-25 Eastman Kodak Company Apparatus and method for processing digital images having eye color defects
US7397969B2 (en) * 2002-08-30 2008-07-08 Fujifilm Corporation Red eye compensation method, image processing apparatus and method for implementing the red eye compensation method, as well as printing method and printer

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322192A (ja) * 1996-05-29 1997-12-12 Nec Corp 赤目検出補正装置
JP2000348170A (ja) * 1999-06-03 2000-12-15 Nikon Corp 画像補正装置及び画像補正プログラムを記録した記録媒体。
JP2001148780A (ja) * 1999-09-07 2001-05-29 Fuji Photo Film Co Ltd 赤目修正対象領域の設定方法および赤目修正方法
JP2002281333A (ja) * 2001-03-16 2002-09-27 Canon Inc 画像処理装置およびその方法
JP2004112494A (ja) * 2002-09-19 2004-04-08 Ricoh Co Ltd 画像処理装置、画像処理方法および記録媒体
JP2004158917A (ja) * 2002-11-01 2004-06-03 Canon Inc 画像処理方法
JP2004242141A (ja) * 2003-02-07 2004-08-26 Nikon Corp 色不良領域補正方法、色不良領域補正処理プログラム、画像処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008160474A (ja) * 2006-12-22 2008-07-10 Canon Inc 画像処理装置およびその方法
US8106958B2 (en) 2008-01-17 2012-01-31 Canon Kabushiki Kaisha Image processing apparatus and image processing method and image capturing apparatus

Also Published As

Publication number Publication date
US7460707B2 (en) 2008-12-02
JP4496465B2 (ja) 2010-07-07
EP1589481B1 (en) 2008-01-09
CN1691743A (zh) 2005-11-02
CN100366047C (zh) 2008-01-30
DE602005004195T2 (de) 2009-01-15
DE602005004195D1 (de) 2008-02-21
EP1589481A1 (en) 2005-10-26
US20050254725A1 (en) 2005-11-17

Similar Documents

Publication Publication Date Title
JP4431949B2 (ja) 赤目補正方法及びこの方法を実施する装置
US7460707B2 (en) Image processing method and apparatus for red eye correction
US7298380B2 (en) Image processing method and apparatus for white eye correction
JP2006302023A (ja) 粒状ノイズ抑制のための画像処理方法及びプログラム及びこの方法を実施する粒状抑制処理モジュール
JP2006011685A (ja) 写真画像処理方法及びその装置
JP4655210B2 (ja) 濃度補正曲線生成方法と濃度補正曲線生成モジュール
JP2005141477A (ja) 画像鮮鋭化処理方法とこの方法を実施する画像処理装置
JP2005148915A (ja) 適正顔判別方法及びこの方法を実施する装置
JP4441876B2 (ja) 撮影画像処理方法と撮影画像処理プログラムと撮影画像処理装置
JP4798446B2 (ja) 撮影画像補正方法及び撮影画像補正モジュール
JP4441853B2 (ja) 濃度補正のための顔選別方法及びこの方法を実施する装置
JP2005159387A (ja) 濃度特性曲線を決定する方法及びこの方法を実施する濃度補正管理装置
JP2006059162A (ja) 歯画像補正方法及び装置
JP4793648B2 (ja) 画像補正ユニットと画像補正プログラム
JP4284604B2 (ja) コントラスト調整方法及びこの方法を実施するコントラスト調整装置
JP2006072743A (ja) キャッチライト合成方法及び装置
JP4731202B2 (ja) 色補正処理方法及びこれを用いた色補正処理装置
JP2006074742A (ja) 撮影シーン補正方法、プログラム、及びこの方法を実施する撮影シーン補正処理システム
JP4655211B2 (ja) コントラスト補正に用いられる補正特性の生成方法と生成プログラムと生成モジュール
JP2007200069A (ja) 写真画像処理方法及びその装置
JP2006059092A (ja) キャッチライト合成方法
JP2008160704A (ja) 濃度補正曲線生成方法と濃度補正曲線生成モジュール
JP2006146646A (ja) 写真画像処理方法及びその装置
JP2006072742A (ja) キャッチライト合成方法及び装置
JP2008079196A (ja) 画像補正方法と画像補正プログラムと画像補正モジュール

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100318

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100331

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140423

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees