JP2007094487A - 画像補正方法および画像補正システム - Google Patents

画像補正方法および画像補正システム Download PDF

Info

Publication number
JP2007094487A
JP2007094487A JP2005279451A JP2005279451A JP2007094487A JP 2007094487 A JP2007094487 A JP 2007094487A JP 2005279451 A JP2005279451 A JP 2005279451A JP 2005279451 A JP2005279451 A JP 2005279451A JP 2007094487 A JP2007094487 A JP 2007094487A
Authority
JP
Japan
Prior art keywords
image
correction amount
correction
face
face area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005279451A
Other languages
English (en)
Other versions
JP4718952B2 (ja
Inventor
Masahiro Kubo
雅裕 久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2005279451A priority Critical patent/JP4718952B2/ja
Priority to US11/527,626 priority patent/US20070071316A1/en
Publication of JP2007094487A publication Critical patent/JP2007094487A/ja
Application granted granted Critical
Publication of JP4718952B2 publication Critical patent/JP4718952B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • G06T5/90
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/628Memory colours, e.g. skin or sky
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Abstract

【課題】複数の人物が撮影された画像について、人物の顔色に差がある場合であっても、全体の顔色を適正な範囲にするとともに、ユーザや顧客の要望を反映して適切な顔色に補正された画像を得ることのできる画像補正方法および画像補正システムを提供する。
【解決手段】画像中の人物の顔領域を抽出し、抽出された顔領域を表示装置において画像上に示して、画像全体の補正量の算出に使用する1以上の顔領域の選択指示を受け付ける。また、画像中の抽出された顔領域ごとに、予め定められた目標色に対する補正量を算出しておき、選択された顔領域の補正量を合成して画像全体の補正量を得る。得られた画像全体の補正量により画像全体の色濃度を補正することにより上記課題を解決する。
【選択図】図3

Description

本発明は、画像処理の技術分野に属し、詳しくは、人物が撮影された画像を人物の顔が適切な色濃度となるように補正する補正装置および方法に関する。
デジタルカメラでの撮影によって取得されたデジタル画像データや、写真フィルムに撮影された画像を光電的に読み取って得られたデジタル画像データから写真プリントを作成する際には、撮影画像が適正な色や濃度で再生されるように、画像(画像データ)に対して補正が施される。特に、人物を撮影した画像の場合には、人物の肌色がきれいに再生されることが重要である。
人物の肌色に着目した画像処理方法としては、例えば、画像データから人物の顔領域を自動的に抽出し、抽出した顔領域が目標濃度範囲または目標色度になるように補正する方法がある。
また、従来の、写真フィルムに撮影された画像を感光材料(印画紙)に投影して露光する、いわゆる直接露光による写真焼付においては、人物の顔の濃度データを抽出し、抽出した人物の顔の濃度データに基づいて、顔の濃度が目標濃度で再現されるように露光量を決定する技術が知られている。
これらの方法において、1画像中に複数の顔が撮影されていた場合には、全ての顔の濃度の平均値を目標値に合わせることが考えられる。
しかし、人物の顔の色や濃度には個人差や人種間差によってばらつきがあるため、1画像中に色濃度の大きく異なる顔が撮影されていた場合には、複数の顔の濃度の単純平均を全体の顔濃度として補正を行うと、何れの顔の濃度も適正な濃度に仕上がらないという問題がある。
この問題に対し、人物の顔の領域と判断した領域について、その領域の濃度の最大値と最小値との差が所定値を超えた場合には、求めた濃度に基づいて人物の顔の領域を類似した濃度群に分類し、分類された濃度群の少なくとも1つを自動的に選択して、選択された濃度群に基づいて複写材料への露光量を決定する方法が提案されている(特許文献1参照)。
特開平6−160994号公報
しかしながら、特許文献1の方法では、顔色を適正に仕上げるべき主要人物が、選択された濃度群に含まれるとは限らず、ユーザや顧客の希望に沿う画像を出力できない場合がある。
また、特許文献1の方法では、濃度群の分類を、画像の色相値のヒストグラムの山ごとに分割することで行っているため、黒色人種と白色人種のように色相値がはっきりと異なる顔画像を分類することはできるが、同一人種中の個人差のような細かな分類をすることはできず、花嫁のようにおしろいを塗った顔や、日焼けにより黒くなった顔など、標準的な肌色からずれた顔が一部に混ざっていた場合に、そのうちの主要人物について適切な色濃度で仕上げることや、標準的な顔色を適切な色濃度で仕上げることはできない。
さらに、特許文献1の方法では、例えば、黒色人種の人物だけが写っている画像と、白色人種の人物だけが写っている画像との区別ができないため、全ての画像を常に適切に仕上げることができない。
本発明の目的は、上記従来技術の問題点を解消し、複数の人物が撮影された画像について、人物の顔色に差がある場合であっても、全体の顔色を適正な範囲にするとともに、ユーザや顧客の要望を反映して適切な顔色に補正された画像を得ることのできる画像補正方法および画像補正システムを提供することにある。
上記課題を解決するために、本発明は、入力された1の画像について、前記画像中の人物の顔領域を抽出し、
抽出された前記顔領域ごとに、予め定められた目標色に対する補正量を算出し、
前記画像を表示装置に表示するとともに、抽出された前記顔領域を前記画像中に示し、
画像全体の補正量の算出に使用する1以上の前記顔領域の選択指示を受け付けて、
選択された前記顔領域の前記補正量を単独でまたは合成して前記画像全体の補正量を得て、
得られた前記画像全体の補正量により前記画像の色濃度を補正する画像補正方法を提供する。
ここで、抽出した前記顔領域を、前記顔領域ごとに算出した前記補正量に基づいてグループに分類し、
前記表示装置における前記画像の表示の際に、前記顔領域を前記グループごとに示し、
前記画像全体の補正量の算出に使用する1以上の前記顔領域の選択指示を、前記グループ単位で受け付けるのが好ましい。
また、さらに、選択された前記顔領域についての重要度の指定を受け付けて、
指定された前記顔領域の重要度に応じて、選択された前記顔領域の前記補正量を重み付けして合成するのが好ましい。
また、さらに、選択された前記顔領域に対する顔再現目標色の指定を受け付けて、
指定された顔再現目標色に応じて、前記顔領域ごとの補正量または前記画像全体の補正量を調整するのが好ましい。
また、上記課題を解決するために、本発明は、入力された画像について画像中の顔領域が適切な色濃度となるように補正する画像補正装置、前記画像補正装置に入力された前記画像を表示する表示装置および前記画像補正装置に指示を入力する指示入力装置を備える画像補正システムであって、
前記画像補正装置は、
入力された画像について、前記画像中の人物の顔領域を抽出する顔領域抽出部と、
抽出された前記顔領域ごとに、予め定められた目標色に対する補正量を算出する補正量算出部と、
前記顔領域抽出部で抽出された前記顔領域を示して前記表示装置に表示された前記画像について、前記指示入力装置から、画像全体の補正量の算出に使用する1以上の前記顔領域の選択指示が入力され、選択された前記顔領域の前記補正量を単独でまたは合成して前記画像全体の補正量を得る補正量合成部と、
前記補正量合成部で得られた前記画像全体の補正量により前記画像の色濃度を補正する画像補正部と、を有する画像補正システムを提供する。
ここで、前記画像補正装置は、さらに、前記顔領域抽出部が抽出した前記顔領域を、前記補正量算出部が算出した前記補正量に基づいてグループに分類するグループ化処理部を有し、
前記表示装置は、前記画像の表示の際に、前記顔領域を前記グループごとに表示し、
前記指示入力装置は、前記画像全体の補正量の算出に使用する1以上の前記顔領域の選択指示を、前記グループ単位で前記画像補正装置に入力するのが好ましい。
本発明によれば、上記構成により、複数の人物が撮影された画像について、人物の顔色に差がある場合であっても、全体の顔色を適正な範囲にするとともに、ユーザや顧客の要望を反映して適切な顔色に補正された画像を得ることができる。
本発明に係る画像補正方法および画像補正システムを添付の図面に示す好適実施例に基づいて以下に詳細に説明する。
図1は、本発明の画像補正方法を実施する本発明の画像補正システムの一実施形態を示すブロック図である。
図1に示す画像補正システム10は、入力された画像について人物の顔領域を検出し、顔領域が適切な色濃度となるような補正を行って、補正後の画像を、デジタル露光を行う写真プリンタ等に出力するものである。
画像補正システム10は、入力された画像について画像中の顔領域が適切な色濃度となるように補正する画像補正装置12、画像補正装置12に入力された画像を表示する表示装置14および画像補正装置12に指示を入力する指示入力装置16を備えている。
表示装置14は、モニタを備える画像表示装置である。また、指示入力装置16は、表示装置14と、キーボードやマウス、表示装置14に組み込まれたタッチパネル等の指示入力器とから構成されるGUI(Graphical User Interface)や、専用の指示入力ボード等を用いることができる。
画像補正装置12は、顔領域抽出部18と、補正量算出部20と、補正量合成部22と、画像補正部24とを有している。これらの画像補正装置12の構成要素は、所定の演算処理を実行するハードウェアまたはソフトウェアにより構成することができる。
画像補正装置12には、画像入力機やプリント注文受付機など(以下、まとめて画像入力機と呼ぶ)が直接的または間接的に接続される。この画像入力機は、デジタルカメラ等での撮影によって取得された画像データが記録された各種メディアから画像データを読み出すためのメディアドライバ、インターネット等の通信回線を通じて画像データを取得するためのネットワーク接続装置、デジタルカメラやカメラ付き携帯電話等のデジタル撮像機器と直接接続するための端子、写真フィルムに撮影された画像を光電的に読み取って画像データを得るスキャナ等を備えるものであって、取得した画像(画像データ)を画像補正装置12に入力する。
画像入力機によって取得された画像データがデジタルカメラ等からの画像データである場合は、通常、そのまま再生するために必要な最小限の画像処理がそのデジタルカメラ等において施されているので、その画像データが直接画像補正装置10に入力されてもよい。一方、写真フィルムから読み取って得られた画像データの場合等には、画像全体がほぼ適正に再生されるような通常の画像処理が行われた後、画像補正装置10に入力される。
画像補正システム10に入力された画像は、まず顔領域抽出部18に送られる。
顔領域抽出部18は、入力された1の画像について、その画像中の人物の顔領域を抽出する。顔領域の抽出方法には、特に制限はなく、肌色の範囲にある画素群の領域を顔領域として抽出する方法や、形状パターン検索による方法等、各種の公知技術を利用することができる。
また、画像補正システム10に入力された画像は、表示装置14のモニタに表示されるとともに、その表示画像上に、顔領域抽出部18で抽出された顔領域が明示される。
図2は、表示装置14の表示画面の一例を示す図である。図示例の表示画面26において、画像表示領域28に入力画像が表示され、表示された画像上に、抽出された顔領域が顔表示枠34で囲まれて表示されている。
補正量算出部20は、顔領域抽出部18で抽出された顔領域ごとに、予め定められた目標色に対する補正量を算出する。
この目標色は、写真プリントやディプレイへの表示画像として再生するのに好ましいとされる肌色の目標値である。再生するのに好ましいとされる肌色は、被写体の人種や、性別、年齢、その他個人差や化粧の有無や照明といった各種の要素により異なるが、補正量算出部20においては、デフォルトとして、そのうちの1つ、例えば、画像補正システム10が用いられる地域の標準的な人物の肌色が、目標色として設定されている。
補正量算出部20は、その目標色に近付けるための補正量を各顔領域について算出し、算出した結果を補正量合成部22へ送る。
一方、指示入力装置16からは、ユーザの操作によって、表示装置14に表示された画像に対して、その画像中で検出された顔領域のうち、どの顔を画像全体の補正量の算出に使用するか、またはどの顔を使用しないか、の選択指示が入力される。
補正量合成部22は、指示入力装置16から入力された選択指示に応じて、補正量算出部20から送られた各顔領域の補正量のうち、画像全体の補正量の算出に使用する顔として選択されたものの補正量を合成して、画像全体の補正量を得る。
得られた画像全体の補正量は、画像補正部24に送られる。
画像補正部24は、補正量合成部22で得られた画像全体の補正量によりその画像の色濃度を補正し、補正後の画像を出力する。
次に、画像補正システム10において実施される画像補正処理を、図3に示すフローチャートに沿って説明する。
まず、画像補正システム10の画像補正装置12に画像が入力されると(ステップS101)、画像補正装置12は、顔領域抽出部18で、その画像中の人物の顔領域を抽出することにより、撮影されている人物の顔を可能な限り全て検出し、(ステップS102)補正量算出部20で、顔領域抽出部18で抽出された顔領域のそれぞれについて、予め定められた肌色の目標値を基準に色濃度の補正量を自動算出し(ステップS103)、算出された補正量を、補正量合成部22へ送る。
ステップS102で検出した顔領域の位置や大きさのデータ、およびステップS103で算出された各顔領域についての補正量は、後の処理を効率的に実施するために、その画像を出力するまでの一定期間、画像補正システム10に設けられた記憶部(図示せず)に保持するのが好ましい。
また、画像補正装置12は、入力された画像と、その画像中で顔領域抽出部18によって検出された顔を示す図(枠など)を画像合成して、表示装置14のモニタに表示する(ステップS104)。例えば、図2に示すように、表示画面26の画像表示領域28に入力された画像を表示し、その画像中に、検出された顔のそれぞれを囲むように顔表示枠34を表示する。
これにより、ユーザ(オペレータ)に対し、画像中のどの顔が検出されたのかを示すことができる。
表示装置14に表示された表示画面26を見たユーザは、指示入力装置16を操作して、画像全体の補正量算出に使用する1以上の画像を選択する。
図2の例において、表示画面26には、画像表示領域28の脇に選択指示欄30および確定ボタン32が設けられている。ユーザは、画像表示領域28に表示された画像の複数の顔のうち、予め設定されている目標色に一致させたい顔、すなわち顔色を適正に仕上げるべき主要人物に対して、選択指示欄30の枠1を設定する。この枠1は、1以上、複数の顔に対して設定することができる。
なお、図示例のように、選択指定枠として枠2、枠3のように複数種類設け、各顔の重要度をランク付けして指定できるようにしてもよい。
また、上記とは逆に、画像全体の補正量算出に使用しない顔を選択するようにしてもよい。例えば、目標色として黄色人種の肌色が設定されている場合であって、黄色人種が多く写っている画像に、平均的な肌色から相当量離れた日焼けした顔や、ペイントした顔、人種の異なる顔(白色人種や黒色人種の顔など)といった、画像全体から見て異質な顔が少数写っていた場合に、その顔を画像全体の補正量算出から除外するように指定する。
上記の指定が終わると、確定ボタン32が押されることにより入力された指示が確定して、それらの指示が、指示入力装置16から補正量合成部22へ入力される(ステップS105)。
次に、補正量合成部22で、各補正量をユーザの指示に従って合成(マージ)する。すなわち、補正量合成部22は、指示入力装置16からの指示を受け付けて、その指示に応じて、補正量算出部20から送られた各顔領域の補正量のうち、画像全体の補正量算出に用いることが指定された顔領域の補正量のデータを用い、それらを合成して画像全体の補正量を算出する(ステップS106)。
具体的には、指示入力装置16によって選択された複数の顔の補正量の平均値を算出して、画像全体の補正量とする。ステップS105において、画像全体の補正量算出に用いる顔が選択される、または、使わない顔が除外されることにより、異質な顔を除外することができるので、それ以外の顔の補正量については、単純に平均処理を行うことによって、その画像についての適正な補正量を算出することができる。
また、画像全体の補正量算出に用いる顔として選択された顔に、重要度が指定されている場合には、指定された顔領域の重要度に応じて、選択された顔領域の補正量を重み付けして合成する。既に重み付けが設定されている場合には、その重み付けを変更する。これにより、顔色のさらに細かな調整が可能となる。
なお、画像全体の補正量の算出に使用する顔として、1つの顔だけが選択されていた場合には、その補正量をもって画像全体の補正量とすればよい。
画像全体の補正量が算出されると、画像補正部24で、その補正量によって、画像の色濃度を補正して(ステップS107)、補正済みの画像を写真プリンタ等に出力する(ステップS108)。
画像補正装置12から出力された補正済み画像は、デジタルの写真プリンタに送られてプリント作成に供される。また、表示装置やメディアドライバ等の記録装置に送られて画像表示や画像データの保管が行われてもよい。
なお、ステップS107の補正後に、ステップS104へ戻って補正後の画像を表示装置14で再表示して、ステップS105で指示入力装置16からの指示入力を受付可能として、上記選択指示の変更を行えるようにしてもよい。
このように、本発明の画像補正システム10によれば、入力画像中、どの顔が検出されたのかを表示装置14のモニタに表示し、検出された顔に対する選択指示を受け付けることにより、画像全体の補正量算出に使用する画像または使用しない画像を、ユーザが選択することができるので、ユーザや顧客の希望に沿う画像を出力することができる。
次に、本発明の画像補正システムの他の実施形態について説明する。
上述の実施形態では、画像補正装置12において、予め顔色の目標色が定められており、指示入力装置16によって選択された顔について算出された補正量を合成することにより、結果として、選択された顔が一定の目標値に近付くように補正した。
これに対し、本実施形態は、図1の画像補正システム10において、表示装置14に表示された画像に対して指示入力装置16からの顔領域の選択指示を受け付ける際に、さらに、選択された顔領域に対する顔再現目標色の指定を受け付けて、指定された顔再現目標色に応じて補正量を調整するものである。
すなわち、図2のステップS104において、表示装置14に入力画像および検出された顔の表示をし、選択された顔の隣に代表的な顔色のサンプル画像を表示する。このサンプル画像は、複数の顔色の顔画像であってもよいし、複数の肌色のカラーパレットであってもよい。サンプル画像を表示することにより、ユーザは好ましい肌色を容易に選択することができる。
ユーザは、表示装置14に表示された表示画面26を見て、サンプル画像から目標値として設定する顔またはカラーパレット上の色を選択するとともに、処理対象の画像上で検出された顔のうち目標に合わせたい顔を選択する。ステップS105において、指示入力装置16からは、その選択指示に応じた指示が補正量合成部22に入力される。
これにより、顔再現の目標を対象に応じて変更することができる。例えば、画像中のメインに仕上げたい対象人物(主人公)の人種、性別、年齢や、化粧の色見、その画像が撮影された環境(季節、光源、日陰など)に応じて、顔色の目標値を適切な値に変更することができる。
ステップS106では、補正量合成部22で、選択された処理対象の顔が目標とする顔色になるように、画像全体の補正量を決める。すなわち、選択された顔の補正量を合成した後、選択された顔領域の色濃度の平均値(または重み付き平均値)が指定された目標色に近付くように、合成して得られた画像全体の補正量を調整する。
あるいは、ステップS105における指示入力装置16からの指示入力の後、ステップS103に戻り、補正量算出部20で算出された各顔についての補正量を、指示入力装置16から入力された目標値に応じて調整し、続いてステップS106へ進んで調整後の各顔の補正量を合成するようにしてもよい。
以上のようにして画像全体の補正量を得たら、以下上述の例と同様にして、その画像を補正して出力する。
なお、ステップS107の補正後に、ステップS104へ戻って補正後の画像を表示装置14で再表示して、ステップS105で指示入力装置16からの指示入力を受付可能として、上記選択指示の変更を行えるようにしてもよいのは、上述の例と同様である。
このように、本実施形態では、補正対象人物とその人物に対する顔再現の目標をユーザが選択することができるので、主要人物の人種、性別、化粧の色味などにより、予め設定された目標色(例えば、標準的な肌色)から離れた色味であっても、その主要人物の顔を適切な色濃度に仕上げることができる。また、例えば、異なる顔色の人物ばかりが撮影された画像についても、適切な色濃度に仕上げることができる。
次に、本発明の画像補正システムのさらに異なる実施形態について説明する。
図4は、本発明の他の実施形態に係る画像補正システム40の構成を示すブロック図であり、図5は、図4の画像補正システム40における表示画面の例であり、図6は、図4の画像補正システム40において実施される画像補正処理のフローチャートである。
図4に示す画像補正システム40が、図1の画像補正システム10と異なる主な点は、画像補正装置42において、補正量算出部20と補正量合成部22との間にグループ化処理部44が設けられている点であり、その他の構成は、図1の画像補正システム10と基本的に同様であるので、同一の構成要素には同一の符号を付してその詳細な説明を省略し、主として異なる点について説明する。
画像補正システム10は、画像補正装置42に画像が入力される(ステップS201)と、顔領域抽出部18で、その画像中の人物の顔領域を抽出し(ステップS202)、補正量算出部20で、抽出した顔領域のそれぞれについて、予め定められた肌色の目標値を基準に色濃度の補正量を自動算出する(ステップS203)。
グループ化処理部44は、顔領域抽出部18が抽出した顔領域を、補正量算出部20が算出した補正量に基づいて1以上のグループに分類する(ステップ204)。具体的には、補正量が近いもの顔同士をグループ化する。
画像補正システム40は、顔のグループ化を行った後、入力された画像と、その画像中で検出された顔を示す図(枠など)を画像合成して表示装置14のモニタに表示するが、このとき、顔領域をグループごとに表示する(ステップS205)。
例えば、大別して黄色人種、黒色人種および白色人種の人物が混在する集合写真の場合に、グループ化処理部44は、複数の顔を、黄色人種、黒色人種および白色人種のグループに分類する。表示装置14は、図5に示すように、表示画面46の画像表示領域28に画像を表示し、検出された顔を囲む顔表示枠34として、各顔のグループごとに異なる色や異なる線種の枠を表示する。
表示装置14に表示された表示画面46を見たユーザは、指示入力装置16を操作して、画像全体の補正量算出に使用する画像をグループ単位で選択する。
複数のグループが設定されていた場合には、各顔の重要度をグループ単位でランク付けして指定できるようにしてもよい。
また、画像全体の補正量算出に使用しない顔をグループ単位で選択するようにしてもよい。
グループの選択が終わると、確定ボタン32が押されることにより入力された指示が確定して、それらの指示が、指示入力装置16から補正量合成部22へ入力される(ステップS206)。
補正量合成部22では、上述の例と同様に、補正量算出部20で算出された各顔の補正量を、指示入力装置16からのユーザの指示に従って合成(マージ)する(ステップS207)。本実施形態では、グループ単位で顔が選択されているので、選択されたグループの1または複数の顔の補正量を用いて、画像全体の補正量を上述のようにして算出すればよい。
画像全体の補正量が算出されると、画像補正部24で、その補正量によって、画像の色濃度を補正して(ステップS208)、補正済みの画像を写真プリンタ等に出力する(ステップS209)。
このように、本実施形態においては、1つの画像に撮影された複数の顔について、補正量の近いもの、すなわち顔の色濃度が類似するものをグループ化して表示するので、それにより、それぞれの顔色の関係が分かり易く、補正の基準とする顔を選択するのを容易にすることができる。
なお、上記の説明では、画像補正システム10、40において、1画像ずつ補正処理する場合について説明したが、本発明はこれには限定されず、上記各種の実施形態において、複数の画像について補正量を合成して、それらの複数画像を同じ補正量で補正するようにしてもよい。
この場合には、上記と同様にして、各画像の顔を抽出してそれぞれの補正量を算出し、1画像内の複数の顔についての補正量を合成した後、さらに複数画像のそれぞれについての補正量を合成して、合成した補正量を全画像に適用することができる。
また、本発明の画像補正システム10、40において、上述の、顔領域のみに着目して算出した顔領域を適切に仕上げるための画像全体の補正量を、画像から抽出した顔領域を除いた領域または画像全体について通常の手法により算出した補正量と比較し、両者の差が規定値よりも大きい場合には、その旨を表示装置14への表示や画像補正装置12からの音声発信等によって発信し、ユーザに告知して、顔領域の補正量と顔領域以外の領域の補正量とのどちらの補正量を採用するかを、ユーザに選択させるようにしてもよい。
上記2つの補正量が大幅に異なる場合は、顔色のばらつきや偏りが極端な画像など、特異な画像である可能性があり、顔領域だけに着目した補正量では適正に補正できない場合がある。このような場合には、ユーザの判断を促すことにより、背景の色濃度を標準的な値とするように補正する補正量を採用するなどの処置によって、画像に誤った補正がされるのを防ぐことができる。
以上、本発明に係る画像補正方法および画像補正システムについて詳細に説明したが、本発明は上記種々の実施例に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
本発明の画像補正システムの一実施形態を示すブロック図である。 表示画面の一例を示す図である。 図1の画像補正システムにおいて実施される画像補正処理のフローチャートである。 本発明の画像補正システムの他の実施形態を示すブロック図である。 表示画面の一例を示す図である。 図3の画像補正システムにおいて実施される画像補正処理のフローチャートである。
符号の説明
10、40 画像補正システム
12、42 画像補正装置
14 表示装置
16 指示入力装置
18 顔領域抽出部
20 補正量算出部
22 補正量合成部
24 画像補正部
26、46 表示画面
28 画像表示領域
30 選択指示欄
32 確定ボタン
34 顔表示枠
44 グループ化処理部

Claims (6)

  1. 入力された1の画像について、前記画像中の人物の顔領域を抽出し、
    抽出された前記顔領域ごとに、予め定められた目標色に対する補正量を算出し、
    前記画像を表示装置に表示するとともに、抽出された前記顔領域を前記画像中に示し、
    画像全体の補正量の算出に使用する1以上の前記顔領域の選択指示を受け付けて、
    選択された前記顔領域の前記補正量を単独でまたは合成して前記画像全体の補正量を得て、
    得られた前記画像全体の補正量により前記画像の色濃度を補正する画像補正方法。
  2. 抽出した前記顔領域を、前記顔領域ごとに算出した前記補正量に基づいてグループに分類し、
    前記表示装置における前記画像の表示の際に、前記顔領域を前記グループごとに示し、
    前記画像全体の補正量の算出に使用する1以上の前記顔領域の選択指示を、前記グループ単位で受け付ける請求項1に記載の画像補正方法。
  3. さらに、選択された前記顔領域についての重要度の指定を受け付けて、
    指定された前記顔領域の重要度に応じて、選択された前記顔領域の前記補正量を重み付けして合成する請求項1または2に記載の画像補正方法。
  4. さらに、選択された前記顔領域に対する顔再現目標色の指定を受け付けて、
    指定された顔再現目標色に応じて、前記顔領域ごとの補正量または前記画像全体の補正量を調整する請求項1〜3のいずれかに記載の画像補正方法。
  5. 入力された画像について画像中の顔領域が適切な色濃度となるように補正する画像補正装置、前記画像補正装置に入力された前記画像を表示する表示装置および前記画像補正装置に指示を入力する指示入力装置を備える画像補正システムであって、
    前記画像補正装置は、
    入力された画像について、前記画像中の人物の顔領域を抽出する顔領域抽出部と、
    抽出された前記顔領域ごとに、予め定められた目標色に対する補正量を算出する補正量算出部と、
    前記顔領域抽出部で抽出された前記顔領域を示して前記表示装置に表示された前記画像について、前記指示入力装置から、画像全体の補正量の算出に使用する1以上の前記顔領域の選択指示が入力され、選択された前記顔領域の前記補正量を単独でまたは合成して前記画像全体の補正量を得る補正量合成部と、
    前記補正量合成部で得られた前記画像全体の補正量により前記画像の色濃度を補正する画像補正部と、を有する画像補正システム。
  6. 前記画像補正装置は、さらに、前記顔領域抽出部が抽出した前記顔領域を、前記補正量算出部が算出した前記補正量に基づいてグループに分類するグループ化処理部を有し、
    前記表示装置は、前記画像の表示の際に、前記顔領域を前記グループごとに表示し、
    前記指示入力装置は、前記画像全体の補正量の算出に使用する1以上の前記顔領域の選択指示を、前記グループ単位で前記画像補正装置に入力する請求項5に記載の画像補正システム。
JP2005279451A 2005-09-27 2005-09-27 画像補正方法および画像補正システム Active JP4718952B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005279451A JP4718952B2 (ja) 2005-09-27 2005-09-27 画像補正方法および画像補正システム
US11/527,626 US20070071316A1 (en) 2005-09-27 2006-09-27 Image correcting method and image correcting system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005279451A JP4718952B2 (ja) 2005-09-27 2005-09-27 画像補正方法および画像補正システム

Publications (2)

Publication Number Publication Date
JP2007094487A true JP2007094487A (ja) 2007-04-12
JP4718952B2 JP4718952B2 (ja) 2011-07-06

Family

ID=37894023

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005279451A Active JP4718952B2 (ja) 2005-09-27 2005-09-27 画像補正方法および画像補正システム

Country Status (2)

Country Link
US (1) US20070071316A1 (ja)
JP (1) JP4718952B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009217506A (ja) * 2008-03-10 2009-09-24 Seiko Epson Corp 画像処理装置及び画像処理方法
JP2009237632A (ja) * 2008-03-25 2009-10-15 Seiko Epson Corp オブジェクト検出方法、オブジェクト検出装置、オブジェクト検出プログラムおよび印刷装置
JP2009290822A (ja) * 2008-06-02 2009-12-10 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2010041607A (ja) * 2008-08-07 2010-02-18 Canon Inc 撮像装置、その制御方法及びプログラム
JP2011029710A (ja) * 2009-07-21 2011-02-10 Nikon Corp 画像処理装置、画像処理プログラムおよび撮像装置
JP2013138407A (ja) * 2011-11-30 2013-07-11 Ricoh Co Ltd 画像処理装置、画像処理システム、画像処理方法、プログラム及び記憶媒体
US8665347B2 (en) 2009-07-21 2014-03-04 Nikon Corporation Image processing device, image processing program, and imaging device computing brightness value and color phase value

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4750520B2 (ja) * 2005-09-21 2011-08-17 富士フイルム株式会社 人物画像補正装置および方法
US8068697B2 (en) * 2006-10-19 2011-11-29 Broadcom Corporation Real time video stabilizer
US10021291B2 (en) * 2006-11-16 2018-07-10 Samsung Electronics Co., Ltd Portable device enabling a user to manually adjust locations of focusing and photometry and method for taking images
US20100265385A1 (en) * 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
US8559705B2 (en) 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
JP2008245055A (ja) * 2007-03-28 2008-10-09 Fujifilm Corp 画像表示装置、撮影装置および画像表示方法
JP4289420B2 (ja) * 2007-05-10 2009-07-01 セイコーエプソン株式会社 画像処理装置および画像処理方法
JP2009237977A (ja) * 2008-03-27 2009-10-15 Seiko Epson Corp 画像出力制御装置、画像出力制御方法、画像出力制御プログラムおよび印刷装置
JP5164692B2 (ja) * 2008-06-27 2013-03-21 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
JP5213620B2 (ja) * 2008-10-01 2013-06-19 キヤノン株式会社 画像処理装置及び画像処理方法
KR20100056270A (ko) * 2008-11-19 2010-05-27 삼성전자주식회사 색 보정 처리를 행하는 디지털 영상 신호 처리 방법 및 상기 방법을 실행하는 디지털 영상 신호 처리 장치
US8279325B2 (en) 2008-11-25 2012-10-02 Lytro, Inc. System and method for acquiring, editing, generating and outputting video data
WO2010077625A1 (en) 2008-12-08 2010-07-08 Refocus Imaging, Inc. Light field data acquisition devices, and methods of using and manufacturing same
US8908058B2 (en) * 2009-04-18 2014-12-09 Lytro, Inc. Storage and transmission of pictures including multiple frames
US8339506B2 (en) * 2009-04-24 2012-12-25 Qualcomm Incorporated Image capture parameter adjustment using face brightness information
US20110026818A1 (en) * 2009-07-30 2011-02-03 Jonathan Yen System and method for correction of backlit face images
US20110116689A1 (en) * 2009-11-19 2011-05-19 Jonathan Yen System and method for classification of digital images containing human subjects characteristics
US8558331B2 (en) * 2009-12-08 2013-10-15 Qualcomm Incorporated Magnetic tunnel junction device
US8749620B1 (en) 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
US8634649B2 (en) * 2010-04-15 2014-01-21 Kabushiki Kaisha Toshiba Backlit scene type detection
US8768102B1 (en) 2011-02-09 2014-07-01 Lytro, Inc. Downsampling light field images
KR101743520B1 (ko) * 2011-04-09 2017-06-08 에스프린팅솔루션 주식회사 색상 변환 장치 및 그 방법
US9184199B2 (en) 2011-08-01 2015-11-10 Lytro, Inc. Optical assembly including plenoptic microlens array
US9420276B2 (en) 2012-02-28 2016-08-16 Lytro, Inc. Calibration of light-field camera geometry via robust fitting
US8831377B2 (en) 2012-02-28 2014-09-09 Lytro, Inc. Compensating for variation in microlens position during light-field image processing
US8948545B2 (en) 2012-02-28 2015-02-03 Lytro, Inc. Compensating for sensor saturation and microlens modulation during light-field image processing
US8995785B2 (en) 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
US8811769B1 (en) 2012-02-28 2014-08-19 Lytro, Inc. Extended depth of field and variable center of perspective in light-field processing
US10129524B2 (en) 2012-06-26 2018-11-13 Google Llc Depth-assigned content for depth-enhanced virtual reality images
US9607424B2 (en) 2012-06-26 2017-03-28 Lytro, Inc. Depth-assigned content for depth-enhanced pictures
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US8997021B2 (en) 2012-11-06 2015-03-31 Lytro, Inc. Parallax and/or three-dimensional effects for thumbnail image displays
US9001226B1 (en) 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
DE112014005866B4 (de) 2013-12-24 2018-08-02 Lytro, Inc. Verbesserung der plenoptischen Kameraauflösung
EP3185747A1 (en) 2014-08-31 2017-07-05 Berestka, John Systems and methods for analyzing the eye
US9635332B2 (en) 2014-09-08 2017-04-25 Lytro, Inc. Saturated pixel recovery in light-field images
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US9639945B2 (en) 2015-08-27 2017-05-02 Lytro, Inc. Depth-based application of image effects
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06160994A (ja) * 1992-11-25 1994-06-07 Fuji Photo Film Co Ltd 露光量決定方法
JP2001251531A (ja) * 1999-12-27 2001-09-14 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
JP2005051407A (ja) * 2003-07-31 2005-02-24 Canon Inc 画像処理方法および装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3298072B2 (ja) * 1992-07-10 2002-07-02 ソニー株式会社 ビデオカメラシステム
US5420630A (en) * 1992-09-11 1995-05-30 Canon Kabushiki Kaisha Image pickup apparatus performing white balance control based on data from regions of a frame
US5461457A (en) * 1992-11-25 1995-10-24 Fuji Photo Film Co., Ltd. Method of determining amount of exposure
US5629752A (en) * 1994-10-28 1997-05-13 Fuji Photo Film Co., Ltd. Method of determining an exposure amount using optical recognition of facial features
US6445819B1 (en) * 1998-09-10 2002-09-03 Fuji Photo Film Co., Ltd. Image processing method, image processing device, and recording medium
US6940545B1 (en) * 2000-02-28 2005-09-06 Eastman Kodak Company Face detecting camera and method
TW505892B (en) * 2001-05-25 2002-10-11 Ind Tech Res Inst System and method for promptly tracking multiple faces
US7324246B2 (en) * 2001-09-27 2008-01-29 Fujifilm Corporation Apparatus and method for image processing
US6975759B2 (en) * 2002-06-25 2005-12-13 Koninklijke Philips Electronics N.V. Method and system for white balancing images using facial color as a reference signal
KR100474848B1 (ko) * 2002-07-19 2005-03-10 삼성전자주식회사 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법
US7110575B2 (en) * 2002-08-02 2006-09-19 Eastman Kodak Company Method for locating faces in digital color images
JP4277534B2 (ja) * 2003-02-12 2009-06-10 オムロン株式会社 画像編集装置および画像編集方法
US20040207743A1 (en) * 2003-04-15 2004-10-21 Nikon Corporation Digital camera system
US7609908B2 (en) * 2003-04-30 2009-10-27 Eastman Kodak Company Method for adjusting the brightness of a digital image utilizing belief values
WO2005006072A1 (ja) * 2003-07-15 2005-01-20 Omron Corporation 対象決定装置及び撮像装置
US8209172B2 (en) * 2003-12-16 2012-06-26 Canon Kabushiki Kaisha Pattern identification method, apparatus, and program
JP2007219815A (ja) * 2006-02-16 2007-08-30 Seiko Epson Corp 印刷装置、画像処理装置、印刷方法、および画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06160994A (ja) * 1992-11-25 1994-06-07 Fuji Photo Film Co Ltd 露光量決定方法
JP2001251531A (ja) * 1999-12-27 2001-09-14 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
JP2005051407A (ja) * 2003-07-31 2005-02-24 Canon Inc 画像処理方法および装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009217506A (ja) * 2008-03-10 2009-09-24 Seiko Epson Corp 画像処理装置及び画像処理方法
JP2009237632A (ja) * 2008-03-25 2009-10-15 Seiko Epson Corp オブジェクト検出方法、オブジェクト検出装置、オブジェクト検出プログラムおよび印刷装置
JP2009290822A (ja) * 2008-06-02 2009-12-10 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2010041607A (ja) * 2008-08-07 2010-02-18 Canon Inc 撮像装置、その制御方法及びプログラム
JP2011029710A (ja) * 2009-07-21 2011-02-10 Nikon Corp 画像処理装置、画像処理プログラムおよび撮像装置
US8665347B2 (en) 2009-07-21 2014-03-04 Nikon Corporation Image processing device, image processing program, and imaging device computing brightness value and color phase value
JP2013138407A (ja) * 2011-11-30 2013-07-11 Ricoh Co Ltd 画像処理装置、画像処理システム、画像処理方法、プログラム及び記憶媒体

Also Published As

Publication number Publication date
JP4718952B2 (ja) 2011-07-06
US20070071316A1 (en) 2007-03-29

Similar Documents

Publication Publication Date Title
JP4718952B2 (ja) 画像補正方法および画像補正システム
US8068645B2 (en) Apparatus, method, and program for image processing
US7106887B2 (en) Image processing method using conditions corresponding to an identified person
JP5477177B2 (ja) 証明写真撮影装置、証明写真撮影方法
US20040123131A1 (en) Image metadata processing system and method
JP2007087253A (ja) 画像補正方法および装置
JP2004246456A (ja) 画像編集装置および画像編集方法
US7251054B2 (en) Method, apparatus and recording medium for image processing
JP2005176230A (ja) 画像処理装置およびプリントシステム
US20070252906A1 (en) Perceptually-derived red-eye correction
TW201202828A (en) Image-processing apparatus and method, and program
JP2010211497A (ja) デジタルカメラおよび画像処理プログラム
JP2007094623A (ja) 画像補正方法および装置並びにプログラム
JP2010199720A (ja) デジタルカメラ
US8203772B2 (en) Image output method, apparatus, and program using one or more attention levels
JP2006350936A (ja) 画像作成装置、及び画像作成用プログラム
JP5545316B2 (ja) 印画物作製装置及び印画物作製方法
JP2008059534A (ja) 画像トリミング装置、画像トリミング方法およびそのプログラム
JP2005065048A (ja) 画像処理方法および装置、並びに画像処理プログラム
JP2008244996A (ja) 画像処理システム
JP2008140107A (ja) 画像処理装置、画像処理方法、制御プログラム及び記録媒体
JP2007133560A (ja) 近赤外線顔画像作成装置、近赤外線顔画像作成方法、及び顔画像照合装置
JP2006350462A (ja) アルバム画像作成装置、及びアルバム画像作成プログラム
JP2016092430A (ja) 撮影システム、情報処理装置、撮影方法、プログラム、記憶媒体
JP2012003324A (ja) 画像処理装置、撮像装置、画像処理プログラム及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080128

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101227

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110401

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250