JP2004153683A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2004153683A JP2004153683A JP2002318479A JP2002318479A JP2004153683A JP 2004153683 A JP2004153683 A JP 2004153683A JP 2002318479 A JP2002318479 A JP 2002318479A JP 2002318479 A JP2002318479 A JP 2002318479A JP 2004153683 A JP2004153683 A JP 2004153683A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- supplementary information
- mode
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 abstract description 33
- 238000003702 image correction Methods 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 238000010191 image analysis Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Abstract
【課題】デジタルカメラの設定を誤って撮影した場合であっても、撮影された画像データを補正して、最適な明るさ及び色再現で出力することができる画像処理装置を提供する。
【解決手段】デジタルカメラ2によって、第1及び第2の画像データが撮影され、撮影条件に関するそれぞれの付属情報とともに記録媒体5に記録される。画像処理装置1では、画像取得部11により第1の画像データが取得され、付属情報取得部12により第1及び第2の付属情報が取得される。そして、設定変更検出部13で撮影条件の変更の有無が検出される。さらに、判定部14で第1の付帯情報に誤りがないかどうかが判定される。その結果、撮影条件の変更が検出されず、かつ、第1の付帯情報に誤りがあると判定された場合、画像補正部15では、第1の画像データが補正され、CRT表示或いはプリンタ印刷される。
【選択図】 図1
【解決手段】デジタルカメラ2によって、第1及び第2の画像データが撮影され、撮影条件に関するそれぞれの付属情報とともに記録媒体5に記録される。画像処理装置1では、画像取得部11により第1の画像データが取得され、付属情報取得部12により第1及び第2の付属情報が取得される。そして、設定変更検出部13で撮影条件の変更の有無が検出される。さらに、判定部14で第1の付帯情報に誤りがないかどうかが判定される。その結果、撮影条件の変更が検出されず、かつ、第1の付帯情報に誤りがあると判定された場合、画像補正部15では、第1の画像データが補正され、CRT表示或いはプリンタ印刷される。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、デジタルカメラ等により撮影した画像の階調・色再現特性を補正して、ディスプレイ表示又はプリンタ印刷を行う画像処理装置に関する。
【0002】
【従来の技術】
従来、デジタルカメラ等で撮影した画像をPC(Personal Computer)等の内部に取り込み、そのままCRT等のディスプレイに表示したり、インクジェットプリンタ等のプリンタで印刷したりする場合に、撮影された画像を最適な明るさや色再現で出力できない場合があった。
【0003】
例えば、デジタルカメラの色再現においては、撮影したシーンの光源によって画像に色かぶりが生じるという問題点がある。例えば、屋内の白熱電球の光源下で被写体を撮影した場合に屋外の太陽光の下で撮影した状況を想定した処理を行うと被写体を照明する光源の色温度の違いにより画像全体が赤かぶりする。このような問題に対応し、各光源に適したホワイトバランスの調整を行うために太陽光、曇天、蛍光灯、白熱灯、等の撮影状況(ホワイトバランスのモード)を指定する手段を設け、各状況に最適な色処理を行うデジタルカメラもある。
【0004】
しかしながら、ユーザが撮影時にホワイトバランスのモードの設定を誤って撮影を行った場合には、所望の色再現の画像が得られないといった問題点がある。このような問題点に対して、撮影された画像全体の色の分布から、色かぶり補正を自動的に行うような画像処理システムも提案されている(例えば、特許文献1参照)。
【0005】
また、他の例として、デジタル写真の階調再現において、被写体に応じて最適な階調再現特性が異なり、特に、人物を被写体としたポートレートと風景画像では好ましさの傾向が異なることが知られている。これに対応し、人物、風景等の撮影モードに従って、画像に表示、または印刷時に各被写体に最適な階調再現処理を行う画像処理システムも提案されている(例えば、特許文献2参照)。
【0006】
さらに、撮影された画像から人物を検出し、人物が検出された場合に人物写真に適した階調再現処理を自動的に行うような画像処理システムも提案されている(例えば、特許文献2参照)。
【0007】
【特許文献1】
特開2000−013616号公報
【0008】
【特許文献2】
特開平11−239629号公報
【0009】
【発明が解決しようとする課題】
しかしながら、上記特許文献1で提案されているような画像処理システムを用いた場合であっても、カメラのモードの設定の結果、得られた画像の色分布の偏りがユーザの意図するものであった場合、補正処理の結果がユーザの意図に反するものとなってしまうといった問題点があった。
【0010】
また、上記参考文献2で提案されているような画像処理システムを用いた場合であっても、ユーザが撮影時に撮影モードの設定を誤って撮影を行った場合には、所望の階調再現特性が得られないといった問題点がある。このような問題点に対して、上記特許文献3に記載の画像処理システムが提案されているが、もともと風景シーンを撮影したが誤って人物を検出してしまった場合の副作用等、補正処理の結果が検出の信頼性に依存するといった問題点があった。
【0011】
本発明は、このような事情を考慮してなされたものであり、デジタルカメラの設定を誤って撮影した場合であっても、撮影された画像データを補正して、最適な明るさ及び色再現で出力することができる画像処理装置を提供することを目的とする。
【0012】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る画像処理装置は、同一の撮影装置によって撮影された第1の画像データと該第1の画像データよりも過去に撮影された第2の画像データとを取得する画像データ取得手段と、前記第1の画像データに関する第1の付帯情報と前記第2の画像データに関する第2の付属情報とを取得する付帯情報取得手段と、前記第1の付帯情報と前記第2の付帯情報とを比較して、前記撮影装置における撮影条件の変更の有無を検出する検出手段と、前記第1の画像データを解析して前記第1の付帯情報に誤りがないかどうかを判定する判定手段と、前記検出手段が撮影条件の変更を検出せず、かつ、前記判定手段が前記第1の付帯情報に誤りがあると判定した場合、前記第1の画像データを補正する補正手段とを備えることを特徴とする。
【0013】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について説明する。
【0014】
<第1の実施形態>
本実施形態では、被写体をデジタルカメラで撮影、記録した画像データをPC等の画像処理装置におけるアプリケーションプログラムで処理し、処理後の画像データをCRT表示又はプリンタ印刷する画像処理システムを想定する。図7は、本発明の第1の実施形態に係る画像処理システムの構成を示すブロック図である。図7に示すように、本実施形態に係る画像処理システムは、PC等の画像処理装置1に、デジタルカメラ2、CRT3及びプリンタ4が接続されており、これらは着脱可能である。また、デジタルカメラ2で撮影された画像データは、デジタルカメラ2自身及び画像処理装置1等に直接接続可能な記録媒体5に記録される。尚、使用するデジタルカメラ2は、自動のほかに、太陽光、白熱灯のホワイトバランスモードを設定する手段を具備しているものとする。
【0015】
まず、本実施形態では、白熱電球の光源下の被写体を、ホワイトバランスモードを誤って太陽光に設定して撮影した場合の処理を例として説明する。図1は、本発明の第1の実施形態に係る画像処理システムで用いられる画像処理アルゴリズムの詳細を説明するためのフローチャートである。
【0016】
まず、被写体をデジタルカメラ2で撮影し、記録媒体5に画像データと、撮影情報として付帯情報とを記録する。このとき、上述した前提から、デジタルカメラ2は、被写体を白熱電球の光源の下で太陽光のホワイトバランスのモードで撮影しているため、実際の光源よりも想定した光源の色温度が高い。そのため、デジタルカメラ2では、画像データ中の青色成分を抑制する処理が行われており、結果的に撮影した画像データに赤かぶりが生じている。また、記録される撮影情報には、カメラ機種名、撮影日時、撮影レンズの焦点距離、絞り値、露光時間、露出モード、ホワイトバランスモード、フラッシュ発光ON/OFF、撮影モード等である。尚、本実施形態の想定では、ホワイトバランスモードは太陽光である。
【0017】
記録媒体5に記録された画像データのファイルがアプリケーションプログラムによって指定されると、画像データが画像取得部11により取得され、また、画像データに関する撮影条件等の付帯情報が付帯情報取得部12により取得され、PC等の画像処理装置1のメモリ内に記憶される(ステップS101)。このとき記録媒体5に記録されている画像データは、通常、JPEG形式等で圧縮されているので、当該圧縮方式に対応したアルゴリズムによって伸長され、RGB3チャンネルの二次元画素配列からなる画像データに展開される。
【0018】
次に、画像データと共に記録媒体5に記録されている撮影情報(付帯情報)を解析し、ホワイトバランスモードの情報を取得する。本実施形態では、ホワイトバランスモードの設定が太陽光であることが検出される。そして、取得したホワイトバランスモードの設定が自動か否かを判定する(ステップS102)。その結果、ホワイトバランスモードの設定が自動の場合には、光源特有のホワイトバランス処理がデジタルカメラによって行われず、誤設定が生じないので補正処理を行わないでステップS106に移る。
【0019】
一方、ホワイトバランスモードの設定が自動でない場合は、さらに、記録媒体5に処理する画像の一つ前に撮影された画像(前画像)のホワイトバランスモードの情報を取得する。そのため、例えば、記録媒体5に記録されている全ての画像データの撮影情報を解析し、撮影日時の情報の比較により前画像を選ぶ。但し、処理する画像が最初に撮影された画像である場合には、前画像のホワイトバランスモードは取得できないので、代わりに最初の画像データであることを記憶しておく。
【0020】
次に、取得した2つのホワイトバランスモードの情報から設定変更検出部13はモードの変更が行われたかどうかの判定を行う(ステップS103)。その結果、ホワイトバランスモードの変更が行われた場合(Yes)、ユーザは意図してホワイトバランスモードを設定したと想定されるので、デジタルカメラ2で行ったホワイトバランスモードを優先させ、補正処理は行わないでステップS106に移る。
【0021】
一方、ホワイトバランスモードの変更が行われなかった場合(No)、ユーザは誤って前画像で設定したホワイトバランスモードを変更せず撮影を行った可能性があるので、補正処理を行うべくステップS104に移る。但し、処理する画像データが最初の画像データの場合には意図して設定を行ったと想定されるので、変更が行われたものとして補正処理は行わないでステップS106に移る。
【0022】
次に、画像データを解析し、色かぶりの検出を行う。まず、画像データの輝度値のヒストグラムを作成する。画像データの輝度値Yは、例えば、
Y=0.299×pR+0.587×pG+0.114×pB (1)
(但し、pR、pG、pBは画像データのRGB各成分の画素値)
により計算する。また、RGB各成分の平均値で近似しても良い。
【0023】
図2は、輝度値Yを0から255の8ビットデータとして縦軸に頻度をとったときのヒストグラムの一例を示す図である。本実施形態では、図2に示すように、ヒストグラムから画像のハイライトとシャドウに相当する画素値範囲がそれぞれ設定される。すなわち、図2において、輝度値の高い方から足し合わせて画像の総画素数に対して所定の比率の頻度になる輝度値(図2のYh)を算出し、Yhから255までの範囲を画像のハイライト範囲とする。同様に、輝度値の低い方から足し合わせて画像の総画素数に対して所定の比率の頻度になる輝度値(図2のYl)を算出し、0からYlまでの範囲を画像のシャドウ範囲とする。
【0024】
次に、画像データのうち、輝度値がハイライト範囲及びシャドウ範囲に属する画素のRGB各成分の平均値をそれぞれ求める。そして、計算したハイライト範囲およびシャドウ範囲のRGB各成分の平均値に基づいて、判定部14は色かぶりの検出を行う。例えば、本実施形態の場合はホワイトバランスモードの誤設定によって赤かぶりが生じると想定されるので、以下では赤かぶりの検出する場合について説明する。
【0025】
赤かぶりの検出においては、例えば、
El=2×Rla−(Gla+Bla)、Eh=2×Rha−(Gha+Bha) (2)
(但し、Rla、Gla、Blaはシャドウ範囲、Rha、Gha、Bhaはハイライト範囲のRGB各成分の平均値)
を計算し、El及びEhが所定の閾値以上の場合には赤かぶりであると判断する。
【0026】
ここで、色かぶりを検出する処理は画像のホワイトバランスモードに応じて切り替えて行う方がよい。例えば、本実施形態で説明したような太陽光の設定では、赤かぶりの可能性があるので赤かぶり検出を行い、逆に、白熱灯の設定では青かぶりの可能性があるので青かぶり検出を行う。以上の処理で判定部14では、色かぶりが検出されたか否かが判断される(ステップS104)。その結果、色かぶりが検出された場合、すなわち付帯情報に誤りがあると判定された場合(Yes)、ステップS105に移って色かぶり補正を行う。一方、色かぶりが検出されなかった場合(No)、補正処理を行わないでステップS106に移る。
【0027】
次に、ステップS105では、画像のハイライト範囲及びシャドウ範囲のRGB各成分の平均値に基づいて、画像補正部15により、それぞれの範囲の彩度を下げるように色かぶりの補正処理が行われる。本実施形態では、画像データのR及びB成分の画素値をルックアップテーブル処理により変換することで色かぶり補正を行う。
【0028】
まず、ハイライト範囲及びシャドウ範囲のRGB各成分の平均値をもとにして画素値を変換するルックアップテーブルを作成する。図3は、本発明の第1の実施形態で作成されるルックアップテーブルの一例を示す図である。図3における点線は、(0,0)、(255,255)を通る直線で、G成分の変換を示しているが、G成分の画素値変換は行わない。また、図3の実線は、(0,0)、(255,255)、(Rla,Gla)、(Rha,Gha)を通る曲線(例えば、3次曲線やスプライン曲線)で、R成分の変換を示しており、図3ではR成分を抑制するような曲線を示しており、赤かぶり補正を行うことに対応する。
【0029】
また、図3の破線は、(0,0)、(255,255)、(Bla,Gla)、(Bha,Gha)を通る曲線(例えば、3次曲線やスプライン曲線)であって、B成分の変換を示しており、図3ではハイライト範囲及びシャドウ範囲でB成分を微妙にG成分の画素値合せこむような処理を行うことに対応する。
【0030】
そして、作成したルックアップテーブルにより画像データ(ここでは、R、B成分のみ)の画素値の変換により色かぶり補正を行う(ステップS105)。
【0031】
最後に、画像補正後の画像データをCRT3等のディスプレイに表示し、明るさや色等を確認した後、プリンタ4で印刷する(ステップS106)。
【0032】
上述したように、本発明に係る画像処理システムでは、デジタルカメラ2(撮影手段)によって、第1の画像データとそれよりも過去の第2の画像データとが撮影され、当該2つの画像データは記録媒体5に記録される。また、第1の画像データの撮影時の撮影条件に関する第1の付帯情報と第2の画像データの撮影時の撮影条件に関する第2の付属情報も記録媒体5に記録される。画像処理装置1では、画像取得部11(画像データ取得手段)により第1の画像データが取得され、付属情報取得部12(付属情報取得手段)により第1及び第2の付属情報が取得される。そして、設定変更検出部13(検出手段)で、第1の付帯情報と第2の付帯情報とを比較して、デジタルカメラ2における撮影条件の変更の有無が検出される。さらに、判定部14(判定手段)で、第1の画像データを解析して第1の付帯情報に誤りがないかどうかが判定される。その結果、設定変更検出部13で撮影条件の変更が検出されず、かつ、判定部14で第1の付帯情報に誤りがあると判定された場合、画像補正部15では、第1の画像データが補正される。その後、補正された第1の画像データが出力手段で出力される。すなわち、CRT表示或いはプリンタ印刷されることを特徴とする。
【0033】
また、第1の実施形態に係る画像処理システムでは、第1の付帯情報が、デジタルカメラ2のホワイトバランスモードであって、画像処理装置1の画像補正部15が、第1の画像データの色かぶりを補正することを特徴とする。
【0034】
以上、第1の本実施形態においては、色かぶり補正を行う前に、前画像とのホワイトバランスモードの変更の判定を行っているので、デジタルカメラのホワイトバランスモードを前画像の設定のまま誤って設定して撮影した場合においても自動的に画像データを補正して最適な色再現の画像を出力できる。また、画像解析の結果をもとに行う画像補正とユーザの意図とが矛盾する場合にも、ホワイトバランスモードの変更が行われた場合には色かぶり補正を行わないので、誤った補正処理による副作用を事前に排除することができる。
【0035】
さらに、本実施形態においては、自動/太陽光/白熱灯のホワイトバランスモードを具備するデジタルカメラについて色かぶり補正を行うことを対象として説明したが、本発明は、さらにその他の蛍光灯/曇天等のモードを持つデジタルカメラにも同様にして適用することが可能である。
【0036】
<第2の実施形態>
第2の実施形態では第1の実施形態と同様に、デジタルカメラ2で撮影し、記録媒体5に記録した画像データをPC等の画像処理装置1におけるアプリケーションプログラムで処理し、CRT3で画像データを表示、プリンタ4で印刷する画像処理システムを想定する。デジタルカメラ2は、人物、風景の撮影モードを設定する手段を持っており、本実施形態では、風景シーンの撮影時に撮影モードを誤って人物モードのまま撮影した場合の処理を例として説明する。図4は、本発明の第2の実施形態に係る画像処理システムで用いられる画像処理アルゴリズムの詳細を説明するためのフローチャートである。
【0037】
まず、被写体をデジタルカメラで撮影し、記録媒体5に画像データとともに撮影情報を付帯情報として記録する。このとき記録された画像データは、風景シーンに対して、人物シーンに最適な処理を適用して得られたものである。前述したように人物と風景シーンでは好まれる階調再現特性が異なるといわれている。図5は、第2の実施形態における各モードに最適な階調再現性の例を示す図である。本実施形態では、図5に示すように、デジタルカメラ2の内部処理においては、撮影する被写体の輝度に対する階調再現特性が人物モードの場合にはP、風景モードの場合にはLの特性になるように処理が行われるものとする。また、記録される撮影情報は、カメラ機種名、撮影日時、撮影レンズの焦点距離、絞り値、露光時間、露出モード、ホワイトバランスモード、フラッシュ発光ON/OFF、撮影モード等であり、本実施形態の想定では、撮影モードは人物である。
【0038】
アプリケーションプログラムにおいて記録媒体5に記録された画像データのファイルを指定すると、撮影条件のデータとともに画像データが取得され、PC等の画像処理装置1のアプリケーションプログラムのメモリ内に記憶される(ステップS201)。このとき記録媒体5に記録されている画像データは、通常、JPEG形式等で圧縮されているので、圧縮方式に対応したアルゴリズムによって伸長され、RGB3チャンネルの二次元画素配列からなる画像データに展開される。
【0039】
次に、記録媒体5に画像データとともに記録されている撮影情報を解析し、撮影モードの情報を取得する(ステップS202)。本実施形態では、ここで撮影モードの設定が人物であることが検出される。さらに、記録媒体5に記録されている処理対象画像の一つ前に撮影された画像(前画像)の撮影モードの情報を取得する。そのためには、例えば、記録媒体5に記録されている全ての画像データの撮影情報を解析し、撮影日時の情報の比較により前画像を選ぶ。本実施形態では、ここでも撮影モードの設定が人物であることが検出される。但し、処理する画像が最初に撮影された画像である場合には、前画像の撮影モードは取得できないので代わりに最初の画像データであることを記憶しておく。
【0040】
次に、取得した2つの撮影モードの情報からモードの変更が行われたかどうかの判定を行う(ステップS203)。その結果、撮影モードの変更が行われた場合(Yes)、ユーザは意図して撮影モードを設定したと想定されるのでカメラで行った撮影モードを優先させ、補正処理は行わないでステップS207に移る。一方、撮影モードの変更が行われなかった場合(No)、ユーザが誤って前画像で設定した撮影モードを変更せず撮影を行った可能性があるので、補正処理を行うべくステップS204に移る。但し、処理する画像データが最初の画像データの場合には意図して設定を行ったと想定されるので、変更が行われたものとして、補正処理は行わないでステップS207に移るものとする。
【0041】
ステップS204では、画像データから顔の検出を行う。図6は、本発明の第2の実施形態における顔検出の処理内容を説明するための図である。まず、画像データを所定の画像サイズにローパスフィルタ処理を行うと同時に縮小する。例えば、デジタルカメラ2で取得した1280×960画素程度の画像を640×480画素の画像に2×2の平均値処理により縮小する。そして、縮小された画像データの画素値で局所的にRGB各成分が小さい領域を目の画像領域の候補として抽出する。さらに、抽出された候補を2つずつ組にして領域の大きさの均等性、輝度の差、水平に対する角度等から組にした2つの領域が目かどうかを判定する。
【0042】
その結果、図6(a)に示されるように、目と判定された組について、その2つの位置からあらかじめ設定された所定の位置関係のパラメータに基づき矩形領域を設定する。また、図6(b)に示されるように、矩形領域の境界付近のエッジおよび領域内の色情報から矩形領域の確定を行う。さらに、図6(c)に示されるように、エッジについては境界付近の所定幅の領域に所定強度を超えるエッジ成分が所定比率以上占有するかで判定する。また、色情報については矩形領域内の画素値の平均値を計算し、あらかじめ設定した肌色領域内に平均値が入っているかで判定する。そしてエッジ、色情報の条件が両立して満たされている場合、顔領域と判定する。
【0043】
次に、処理する画像の撮影モードの情報と顔領域の検出結果から撮影モードの判定を行う(ステップS205)。その結果、撮影モードが人物で、画像から顔領域が検出された場合(No)、撮影モードの有効性が検証されたのでステップS207に処理を移す。同様に、撮影モードが風景で、画像から顔領域が検出されなかった場合(Yes)、撮影モードの有効性が検証されたのでステップS207に処理を移す。
【0044】
尚、撮影モードが人物で、画像から顔領域が検出されなかった場合は、撮影モードと画像解析の結果に矛盾が生じており、ユーザが撮影モードの変更を行わずに撮影を行ったと想定されるのでステップS206の処理で風景モードの階調再現特性に画像を補正するようにする。
【0045】
また、撮影モードが風景で、画像から顔領域が検出された場合は、撮影モードと画像解析の結果に矛盾が生じており、ユーザが撮影モードの変更を行わずに撮影を行ったと想定されるのでステップS206の処理で人物モードの階調再現特性に画像を補正するようにする。本実施形態の想定では、人物モードの撮影で画像中から顔が検出されないので人物モードの階調再現特性に画像を補正する場合が適用される。
【0046】
ステップS206では、図5に示したようなあらかじめ設定された人物、風景それぞれの最適な階調再現特性の情報をもとに画像の階調再現特性の補正処理を行う。本実施形態では、図5に示したような同一の被写体の輝度Yiに対する各モードでの最適出力輝度値Yp、Ylの対応をもとに、あらかじめ人物モードでの最適な階調再現特性(図5のP)を風景モードでの最適な階調再現特性(図5のL)に変換するルックアップテーブル、風景モードでの最適な階調再現特性(図5のL)を人物モードでの最適な階調再現特性(図5のP)に変換するルックアップテーブルが用意されているものとする。
【0047】
そして、本実施形態での想定のように風景シーンを誤って人物モードで撮影したと判定した場合には、画像データのRGB成分の画素値から、例えば、
Y=0.299×pR+0.587×pG+0.114×pB (3)
Cb=−0.1687×pR−0.3312×pG+0.5×pB
Cr=0.5×pR−0.4187×pG−0.0813×pB
(但し、pR、pG、pBは画像データのRGB各成分の画素値)
に従って輝度値Yを計算する。
【0048】
さらに、人物モードでの最適な階調再現特性を風景モードでの最適な階調再現特性に変換するルックアップテーブルを用いてY値を変換した後、Cb,Crの値は(式3)の値をそのまま用いて、
pR=Y+1.402×Cr (4)
pG=Y−0.3441×Cb−0.7141×Cr
pB=Y+1.772×Cb
に従って画像データのRGB各成分の画素値を求める。以上の処理により風景シーンに最適な階調再現特性を有する画像に変換できる。
【0049】
最後に、画像補正後の画像データをCRT3に表示、色や明るさ等を確認した後、プリンタ4に印刷する(ステップS207)。
【0050】
すなわち、第2の実施形態に係る画像処理システムでは、第1の付帯情報が、デジタルカメラ2の撮影モードであって、画像処理装置1の画像補正部15が、第1の画像データの階調再現特性を補正することを特徴とする。
【0051】
以上、第2の実施形態においては、色かぶり補正を行う前に、前画像との撮影モードの変更の判定を行っているので、カメラの撮影モードを前画像の設定のまま誤って設定して撮影した場合においても自動的に画像データを補正して最適な階調再現の画像を出力できる。また、画像データを補正するために行う画像解析の結果と撮影モードの設定に矛盾が生じた場合にも、撮影モードの変更が行われた場合には階調補正を行わないので、誤った補正処理による副作用を事前に排除することができる。
【0052】
第2の実施形態においては、人物/風景の撮影モードをもつデジタルカメラについて階調補正を行うことを対象として説明したが、さらにその他の夜景/マクロなどのモードを持つデジタルカメラにも本発明は適用できる。
【0053】
<その他の実施形態>
また、上述した実施形態においては、デジタルカメラで撮影、記録した画像データをPCのアプリケーションプログラムで処理する場合について説明したが、例えば、記録媒体の画像データを読み込み可能なプリンタにおいて、図1または図4に示したような一連の画像処理をプリンタ内で自動的に行い、出力画像を印刷するようにしてもよいし、デジタルカメラ内で自動的に行い、出力画像を記録媒体に記録するようにしてもよい。
【0054】
尚、本発明は、複数の機器(例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置等)に適用してもよい。
【0055】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0056】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0057】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【0058】
本発明の実施態様の例を以下に列挙する。
【0059】
【実施態様1】同一の撮影装置によって撮影された第1の画像データと該第1の画像データよりも過去に撮影された第2の画像データとを取得する画像データ取得手段と、
前記第1の画像データに関する第1の付帯情報と前記第2の画像データに関する第2の付属情報とを取得する付帯情報取得手段と、
前記第1の付帯情報と前記第2の付帯情報とを比較して、前記撮影装置における撮影条件の変更の有無を検出する検出手段と、
前記第1の画像データを解析して前記第1の付帯情報に誤りがないかどうかを判定する判定手段と、
前記検出手段が撮影条件の変更を検出せず、かつ、前記判定手段が前記第1の付帯情報に誤りがあると判定した場合、前記第1の画像データを補正する補正手段と
を備えることを特徴とする画像処理装置。
【0060】
【実施態様2】前記第1の付帯情報が、前記撮影装置のホワイトバランスモードであって、
前記画像補正手段が、前記第1の画像データの色かぶりを補正する
ことを特徴とする実施態様1記載の画像処理装置。
【0061】
【実施態様3】前記第1の付帯情報が、前記撮影装置の撮影モードであって、
前記画像補正手段が、前記第1の画像データの階調再現特性を補正する
ことを特徴とする実施態様1記載の画像処理装置。
【0062】
【実施態様4】前記撮影装置により撮影された前記第1及び第2の画像データと前記第1及び第2の付属情報とを記憶する該撮影装置に対して着脱可能な記憶手段をさらに備え、
前記画像データ取得手段が、前記記憶手段から前記第1の画像データを取得し、
前記付属情報取得手段が、前記記憶手段から前記第1及び第2の付属情報を取得する
ことを特徴とする実施態様1から3までのいずれか1項に記載の画像処理装置。
【0063】
【実施態様5】第1の画像データと第2の画像データとを撮影する撮影手段と、
前記第1の画像データに関する第1の付帯情報と前記第2の画像データに関する第2の付属情報とを取得する付帯情報取得手段と、
前記第1及び第2の画像データと前記第1及び第2の付属情報とを記憶する記憶手段と、
前記第1の付帯情報と前記第2の付帯情報とを比較して、前記撮影装置における撮影条件の変更の有無を検出する検出手段と、
前記第1の画像データを解析して前記第1の付帯情報に誤りがないかどうかを判定する判定手段と、
前記検出手段が撮影条件の変更を検出せず、かつ、前記判定手段が前記第1の付帯情報に誤りがあると判定した場合、前記第1の画像データを補正する補正手段と、
補正された前記第1の画像データを出力する出力手段と
を備えることを特徴とする画像処理システム。
【0064】
【実施態様6】前記第1の付帯情報が、前記撮影手段のホワイトバランスモードであって、
前記画像補正手段が、前記第1の画像データの色かぶりを補正する
ことを特徴とする実施態様5記載の画像処理システム。
【0065】
【実施態様7】前記第1の付帯情報が、前記撮影手段の撮影モードであって、
前記画像補正手段が、前記第1の画像データの階調再現特性を補正する
ことを特徴とする実施態様5記載の画像処理システム。
【0066】
【実施態様8】同一の撮影装置によって撮影された第1の画像データと該第1の画像データよりも過去に撮影された第2の画像データとを取得する画像データ取得工程と、
前記第1の画像データに関する第1の付帯情報と前記第2の画像データに関する第2の付属情報とを取得する付帯情報取得工程と、
前記第1の付帯情報と前記第2の付帯情報とを比較して、前記撮影装置における撮影条件の変更の有無を検出する検出工程と、
前記第1の画像データを解析して前記第1の付帯情報に誤りがないかどうかを判定する判定工程と、
前記検出工程で撮影条件の変更が検出されず、かつ、前記判定工程で前記第1の付帯情報に誤りがあると判定された場合、前記第1の画像データを補正する補正工程と
を有することを特徴とする画像処理方法。
【0067】
【実施態様9】コンピュータに、
同一の撮影装置によって撮影された第1の画像データと該第1の画像データよりも過去に撮影された第2の画像データとを取得する画像データ取得手順と、前記第1の画像データに関する第1の付帯情報と前記第2の画像データに関する第2の付属情報とを取得する付帯情報取得手順と、
前記第1の付帯情報と前記第2の付帯情報とを比較して、前記撮影装置における撮影条件の変更の有無を検出する検出手順と、
前記第1の画像データを解析して前記第1の付帯情報に誤りがないかどうかを判定する判定手順と、
前記検出手順で撮影条件の変更が検出されず、かつ、前記判定手順で前記第1の付帯情報に誤りがあると判定された場合、前記第1の画像データを補正する補正手順と
を実行させるためのプログラム。
【0068】
【実施態様10】実施態様9記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【0069】
【発明の効果】
以上説明したように、本発明によれば、デジタルカメラの設定を誤って撮影した場合であっても、撮影された画像データを補正して、最適な明るさ及び色再現で出力することができる。
【0070】
また、撮影時のカメラの設定と画像を解析した結果が矛盾するが、その矛盾がユーザの意図を反映したものであった場合や、画像データを補正するために行う画像解析の結果が誤った場合に生じる補正処理による副作用を事前に排除することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る画像処理システムで用いられる画像処理アルゴリズムの詳細を説明するためのフローチャートである。
【図2】輝度値Yを0から255の8ビットデータとして縦軸に頻度をとったときのヒストグラムの一例を示す図である。
【図3】本発明の第1の実施形態で作成されるルックアップテーブルの一例を示す図である。
【図4】本発明の第2の実施形態に係る画像処理システムで用いられる画像処理アルゴリズムの詳細を説明するためのフローチャートである。
【図5】第2の実施形態における各モードに最適な階調再現性の例を示す図である。
【図6】本発明の第2の実施形態における顔検出の処理内容を説明するための図である。
【図7】本発明の第1の実施形態に係る画像処理システムの構成を示すブロック図である。
【符号の説明】
1 画像処理装置
2 デジタルカメラ
3 CRT
4 プリンタ
5 記録媒体
11 画像取得部
12 付帯情報取得部
13 設定変更検出部
14 判定部
15 画像補正部
【発明の属する技術分野】
本発明は、デジタルカメラ等により撮影した画像の階調・色再現特性を補正して、ディスプレイ表示又はプリンタ印刷を行う画像処理装置に関する。
【0002】
【従来の技術】
従来、デジタルカメラ等で撮影した画像をPC(Personal Computer)等の内部に取り込み、そのままCRT等のディスプレイに表示したり、インクジェットプリンタ等のプリンタで印刷したりする場合に、撮影された画像を最適な明るさや色再現で出力できない場合があった。
【0003】
例えば、デジタルカメラの色再現においては、撮影したシーンの光源によって画像に色かぶりが生じるという問題点がある。例えば、屋内の白熱電球の光源下で被写体を撮影した場合に屋外の太陽光の下で撮影した状況を想定した処理を行うと被写体を照明する光源の色温度の違いにより画像全体が赤かぶりする。このような問題に対応し、各光源に適したホワイトバランスの調整を行うために太陽光、曇天、蛍光灯、白熱灯、等の撮影状況(ホワイトバランスのモード)を指定する手段を設け、各状況に最適な色処理を行うデジタルカメラもある。
【0004】
しかしながら、ユーザが撮影時にホワイトバランスのモードの設定を誤って撮影を行った場合には、所望の色再現の画像が得られないといった問題点がある。このような問題点に対して、撮影された画像全体の色の分布から、色かぶり補正を自動的に行うような画像処理システムも提案されている(例えば、特許文献1参照)。
【0005】
また、他の例として、デジタル写真の階調再現において、被写体に応じて最適な階調再現特性が異なり、特に、人物を被写体としたポートレートと風景画像では好ましさの傾向が異なることが知られている。これに対応し、人物、風景等の撮影モードに従って、画像に表示、または印刷時に各被写体に最適な階調再現処理を行う画像処理システムも提案されている(例えば、特許文献2参照)。
【0006】
さらに、撮影された画像から人物を検出し、人物が検出された場合に人物写真に適した階調再現処理を自動的に行うような画像処理システムも提案されている(例えば、特許文献2参照)。
【0007】
【特許文献1】
特開2000−013616号公報
【0008】
【特許文献2】
特開平11−239629号公報
【0009】
【発明が解決しようとする課題】
しかしながら、上記特許文献1で提案されているような画像処理システムを用いた場合であっても、カメラのモードの設定の結果、得られた画像の色分布の偏りがユーザの意図するものであった場合、補正処理の結果がユーザの意図に反するものとなってしまうといった問題点があった。
【0010】
また、上記参考文献2で提案されているような画像処理システムを用いた場合であっても、ユーザが撮影時に撮影モードの設定を誤って撮影を行った場合には、所望の階調再現特性が得られないといった問題点がある。このような問題点に対して、上記特許文献3に記載の画像処理システムが提案されているが、もともと風景シーンを撮影したが誤って人物を検出してしまった場合の副作用等、補正処理の結果が検出の信頼性に依存するといった問題点があった。
【0011】
本発明は、このような事情を考慮してなされたものであり、デジタルカメラの設定を誤って撮影した場合であっても、撮影された画像データを補正して、最適な明るさ及び色再現で出力することができる画像処理装置を提供することを目的とする。
【0012】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る画像処理装置は、同一の撮影装置によって撮影された第1の画像データと該第1の画像データよりも過去に撮影された第2の画像データとを取得する画像データ取得手段と、前記第1の画像データに関する第1の付帯情報と前記第2の画像データに関する第2の付属情報とを取得する付帯情報取得手段と、前記第1の付帯情報と前記第2の付帯情報とを比較して、前記撮影装置における撮影条件の変更の有無を検出する検出手段と、前記第1の画像データを解析して前記第1の付帯情報に誤りがないかどうかを判定する判定手段と、前記検出手段が撮影条件の変更を検出せず、かつ、前記判定手段が前記第1の付帯情報に誤りがあると判定した場合、前記第1の画像データを補正する補正手段とを備えることを特徴とする。
【0013】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について説明する。
【0014】
<第1の実施形態>
本実施形態では、被写体をデジタルカメラで撮影、記録した画像データをPC等の画像処理装置におけるアプリケーションプログラムで処理し、処理後の画像データをCRT表示又はプリンタ印刷する画像処理システムを想定する。図7は、本発明の第1の実施形態に係る画像処理システムの構成を示すブロック図である。図7に示すように、本実施形態に係る画像処理システムは、PC等の画像処理装置1に、デジタルカメラ2、CRT3及びプリンタ4が接続されており、これらは着脱可能である。また、デジタルカメラ2で撮影された画像データは、デジタルカメラ2自身及び画像処理装置1等に直接接続可能な記録媒体5に記録される。尚、使用するデジタルカメラ2は、自動のほかに、太陽光、白熱灯のホワイトバランスモードを設定する手段を具備しているものとする。
【0015】
まず、本実施形態では、白熱電球の光源下の被写体を、ホワイトバランスモードを誤って太陽光に設定して撮影した場合の処理を例として説明する。図1は、本発明の第1の実施形態に係る画像処理システムで用いられる画像処理アルゴリズムの詳細を説明するためのフローチャートである。
【0016】
まず、被写体をデジタルカメラ2で撮影し、記録媒体5に画像データと、撮影情報として付帯情報とを記録する。このとき、上述した前提から、デジタルカメラ2は、被写体を白熱電球の光源の下で太陽光のホワイトバランスのモードで撮影しているため、実際の光源よりも想定した光源の色温度が高い。そのため、デジタルカメラ2では、画像データ中の青色成分を抑制する処理が行われており、結果的に撮影した画像データに赤かぶりが生じている。また、記録される撮影情報には、カメラ機種名、撮影日時、撮影レンズの焦点距離、絞り値、露光時間、露出モード、ホワイトバランスモード、フラッシュ発光ON/OFF、撮影モード等である。尚、本実施形態の想定では、ホワイトバランスモードは太陽光である。
【0017】
記録媒体5に記録された画像データのファイルがアプリケーションプログラムによって指定されると、画像データが画像取得部11により取得され、また、画像データに関する撮影条件等の付帯情報が付帯情報取得部12により取得され、PC等の画像処理装置1のメモリ内に記憶される(ステップS101)。このとき記録媒体5に記録されている画像データは、通常、JPEG形式等で圧縮されているので、当該圧縮方式に対応したアルゴリズムによって伸長され、RGB3チャンネルの二次元画素配列からなる画像データに展開される。
【0018】
次に、画像データと共に記録媒体5に記録されている撮影情報(付帯情報)を解析し、ホワイトバランスモードの情報を取得する。本実施形態では、ホワイトバランスモードの設定が太陽光であることが検出される。そして、取得したホワイトバランスモードの設定が自動か否かを判定する(ステップS102)。その結果、ホワイトバランスモードの設定が自動の場合には、光源特有のホワイトバランス処理がデジタルカメラによって行われず、誤設定が生じないので補正処理を行わないでステップS106に移る。
【0019】
一方、ホワイトバランスモードの設定が自動でない場合は、さらに、記録媒体5に処理する画像の一つ前に撮影された画像(前画像)のホワイトバランスモードの情報を取得する。そのため、例えば、記録媒体5に記録されている全ての画像データの撮影情報を解析し、撮影日時の情報の比較により前画像を選ぶ。但し、処理する画像が最初に撮影された画像である場合には、前画像のホワイトバランスモードは取得できないので、代わりに最初の画像データであることを記憶しておく。
【0020】
次に、取得した2つのホワイトバランスモードの情報から設定変更検出部13はモードの変更が行われたかどうかの判定を行う(ステップS103)。その結果、ホワイトバランスモードの変更が行われた場合(Yes)、ユーザは意図してホワイトバランスモードを設定したと想定されるので、デジタルカメラ2で行ったホワイトバランスモードを優先させ、補正処理は行わないでステップS106に移る。
【0021】
一方、ホワイトバランスモードの変更が行われなかった場合(No)、ユーザは誤って前画像で設定したホワイトバランスモードを変更せず撮影を行った可能性があるので、補正処理を行うべくステップS104に移る。但し、処理する画像データが最初の画像データの場合には意図して設定を行ったと想定されるので、変更が行われたものとして補正処理は行わないでステップS106に移る。
【0022】
次に、画像データを解析し、色かぶりの検出を行う。まず、画像データの輝度値のヒストグラムを作成する。画像データの輝度値Yは、例えば、
Y=0.299×pR+0.587×pG+0.114×pB (1)
(但し、pR、pG、pBは画像データのRGB各成分の画素値)
により計算する。また、RGB各成分の平均値で近似しても良い。
【0023】
図2は、輝度値Yを0から255の8ビットデータとして縦軸に頻度をとったときのヒストグラムの一例を示す図である。本実施形態では、図2に示すように、ヒストグラムから画像のハイライトとシャドウに相当する画素値範囲がそれぞれ設定される。すなわち、図2において、輝度値の高い方から足し合わせて画像の総画素数に対して所定の比率の頻度になる輝度値(図2のYh)を算出し、Yhから255までの範囲を画像のハイライト範囲とする。同様に、輝度値の低い方から足し合わせて画像の総画素数に対して所定の比率の頻度になる輝度値(図2のYl)を算出し、0からYlまでの範囲を画像のシャドウ範囲とする。
【0024】
次に、画像データのうち、輝度値がハイライト範囲及びシャドウ範囲に属する画素のRGB各成分の平均値をそれぞれ求める。そして、計算したハイライト範囲およびシャドウ範囲のRGB各成分の平均値に基づいて、判定部14は色かぶりの検出を行う。例えば、本実施形態の場合はホワイトバランスモードの誤設定によって赤かぶりが生じると想定されるので、以下では赤かぶりの検出する場合について説明する。
【0025】
赤かぶりの検出においては、例えば、
El=2×Rla−(Gla+Bla)、Eh=2×Rha−(Gha+Bha) (2)
(但し、Rla、Gla、Blaはシャドウ範囲、Rha、Gha、Bhaはハイライト範囲のRGB各成分の平均値)
を計算し、El及びEhが所定の閾値以上の場合には赤かぶりであると判断する。
【0026】
ここで、色かぶりを検出する処理は画像のホワイトバランスモードに応じて切り替えて行う方がよい。例えば、本実施形態で説明したような太陽光の設定では、赤かぶりの可能性があるので赤かぶり検出を行い、逆に、白熱灯の設定では青かぶりの可能性があるので青かぶり検出を行う。以上の処理で判定部14では、色かぶりが検出されたか否かが判断される(ステップS104)。その結果、色かぶりが検出された場合、すなわち付帯情報に誤りがあると判定された場合(Yes)、ステップS105に移って色かぶり補正を行う。一方、色かぶりが検出されなかった場合(No)、補正処理を行わないでステップS106に移る。
【0027】
次に、ステップS105では、画像のハイライト範囲及びシャドウ範囲のRGB各成分の平均値に基づいて、画像補正部15により、それぞれの範囲の彩度を下げるように色かぶりの補正処理が行われる。本実施形態では、画像データのR及びB成分の画素値をルックアップテーブル処理により変換することで色かぶり補正を行う。
【0028】
まず、ハイライト範囲及びシャドウ範囲のRGB各成分の平均値をもとにして画素値を変換するルックアップテーブルを作成する。図3は、本発明の第1の実施形態で作成されるルックアップテーブルの一例を示す図である。図3における点線は、(0,0)、(255,255)を通る直線で、G成分の変換を示しているが、G成分の画素値変換は行わない。また、図3の実線は、(0,0)、(255,255)、(Rla,Gla)、(Rha,Gha)を通る曲線(例えば、3次曲線やスプライン曲線)で、R成分の変換を示しており、図3ではR成分を抑制するような曲線を示しており、赤かぶり補正を行うことに対応する。
【0029】
また、図3の破線は、(0,0)、(255,255)、(Bla,Gla)、(Bha,Gha)を通る曲線(例えば、3次曲線やスプライン曲線)であって、B成分の変換を示しており、図3ではハイライト範囲及びシャドウ範囲でB成分を微妙にG成分の画素値合せこむような処理を行うことに対応する。
【0030】
そして、作成したルックアップテーブルにより画像データ(ここでは、R、B成分のみ)の画素値の変換により色かぶり補正を行う(ステップS105)。
【0031】
最後に、画像補正後の画像データをCRT3等のディスプレイに表示し、明るさや色等を確認した後、プリンタ4で印刷する(ステップS106)。
【0032】
上述したように、本発明に係る画像処理システムでは、デジタルカメラ2(撮影手段)によって、第1の画像データとそれよりも過去の第2の画像データとが撮影され、当該2つの画像データは記録媒体5に記録される。また、第1の画像データの撮影時の撮影条件に関する第1の付帯情報と第2の画像データの撮影時の撮影条件に関する第2の付属情報も記録媒体5に記録される。画像処理装置1では、画像取得部11(画像データ取得手段)により第1の画像データが取得され、付属情報取得部12(付属情報取得手段)により第1及び第2の付属情報が取得される。そして、設定変更検出部13(検出手段)で、第1の付帯情報と第2の付帯情報とを比較して、デジタルカメラ2における撮影条件の変更の有無が検出される。さらに、判定部14(判定手段)で、第1の画像データを解析して第1の付帯情報に誤りがないかどうかが判定される。その結果、設定変更検出部13で撮影条件の変更が検出されず、かつ、判定部14で第1の付帯情報に誤りがあると判定された場合、画像補正部15では、第1の画像データが補正される。その後、補正された第1の画像データが出力手段で出力される。すなわち、CRT表示或いはプリンタ印刷されることを特徴とする。
【0033】
また、第1の実施形態に係る画像処理システムでは、第1の付帯情報が、デジタルカメラ2のホワイトバランスモードであって、画像処理装置1の画像補正部15が、第1の画像データの色かぶりを補正することを特徴とする。
【0034】
以上、第1の本実施形態においては、色かぶり補正を行う前に、前画像とのホワイトバランスモードの変更の判定を行っているので、デジタルカメラのホワイトバランスモードを前画像の設定のまま誤って設定して撮影した場合においても自動的に画像データを補正して最適な色再現の画像を出力できる。また、画像解析の結果をもとに行う画像補正とユーザの意図とが矛盾する場合にも、ホワイトバランスモードの変更が行われた場合には色かぶり補正を行わないので、誤った補正処理による副作用を事前に排除することができる。
【0035】
さらに、本実施形態においては、自動/太陽光/白熱灯のホワイトバランスモードを具備するデジタルカメラについて色かぶり補正を行うことを対象として説明したが、本発明は、さらにその他の蛍光灯/曇天等のモードを持つデジタルカメラにも同様にして適用することが可能である。
【0036】
<第2の実施形態>
第2の実施形態では第1の実施形態と同様に、デジタルカメラ2で撮影し、記録媒体5に記録した画像データをPC等の画像処理装置1におけるアプリケーションプログラムで処理し、CRT3で画像データを表示、プリンタ4で印刷する画像処理システムを想定する。デジタルカメラ2は、人物、風景の撮影モードを設定する手段を持っており、本実施形態では、風景シーンの撮影時に撮影モードを誤って人物モードのまま撮影した場合の処理を例として説明する。図4は、本発明の第2の実施形態に係る画像処理システムで用いられる画像処理アルゴリズムの詳細を説明するためのフローチャートである。
【0037】
まず、被写体をデジタルカメラで撮影し、記録媒体5に画像データとともに撮影情報を付帯情報として記録する。このとき記録された画像データは、風景シーンに対して、人物シーンに最適な処理を適用して得られたものである。前述したように人物と風景シーンでは好まれる階調再現特性が異なるといわれている。図5は、第2の実施形態における各モードに最適な階調再現性の例を示す図である。本実施形態では、図5に示すように、デジタルカメラ2の内部処理においては、撮影する被写体の輝度に対する階調再現特性が人物モードの場合にはP、風景モードの場合にはLの特性になるように処理が行われるものとする。また、記録される撮影情報は、カメラ機種名、撮影日時、撮影レンズの焦点距離、絞り値、露光時間、露出モード、ホワイトバランスモード、フラッシュ発光ON/OFF、撮影モード等であり、本実施形態の想定では、撮影モードは人物である。
【0038】
アプリケーションプログラムにおいて記録媒体5に記録された画像データのファイルを指定すると、撮影条件のデータとともに画像データが取得され、PC等の画像処理装置1のアプリケーションプログラムのメモリ内に記憶される(ステップS201)。このとき記録媒体5に記録されている画像データは、通常、JPEG形式等で圧縮されているので、圧縮方式に対応したアルゴリズムによって伸長され、RGB3チャンネルの二次元画素配列からなる画像データに展開される。
【0039】
次に、記録媒体5に画像データとともに記録されている撮影情報を解析し、撮影モードの情報を取得する(ステップS202)。本実施形態では、ここで撮影モードの設定が人物であることが検出される。さらに、記録媒体5に記録されている処理対象画像の一つ前に撮影された画像(前画像)の撮影モードの情報を取得する。そのためには、例えば、記録媒体5に記録されている全ての画像データの撮影情報を解析し、撮影日時の情報の比較により前画像を選ぶ。本実施形態では、ここでも撮影モードの設定が人物であることが検出される。但し、処理する画像が最初に撮影された画像である場合には、前画像の撮影モードは取得できないので代わりに最初の画像データであることを記憶しておく。
【0040】
次に、取得した2つの撮影モードの情報からモードの変更が行われたかどうかの判定を行う(ステップS203)。その結果、撮影モードの変更が行われた場合(Yes)、ユーザは意図して撮影モードを設定したと想定されるのでカメラで行った撮影モードを優先させ、補正処理は行わないでステップS207に移る。一方、撮影モードの変更が行われなかった場合(No)、ユーザが誤って前画像で設定した撮影モードを変更せず撮影を行った可能性があるので、補正処理を行うべくステップS204に移る。但し、処理する画像データが最初の画像データの場合には意図して設定を行ったと想定されるので、変更が行われたものとして、補正処理は行わないでステップS207に移るものとする。
【0041】
ステップS204では、画像データから顔の検出を行う。図6は、本発明の第2の実施形態における顔検出の処理内容を説明するための図である。まず、画像データを所定の画像サイズにローパスフィルタ処理を行うと同時に縮小する。例えば、デジタルカメラ2で取得した1280×960画素程度の画像を640×480画素の画像に2×2の平均値処理により縮小する。そして、縮小された画像データの画素値で局所的にRGB各成分が小さい領域を目の画像領域の候補として抽出する。さらに、抽出された候補を2つずつ組にして領域の大きさの均等性、輝度の差、水平に対する角度等から組にした2つの領域が目かどうかを判定する。
【0042】
その結果、図6(a)に示されるように、目と判定された組について、その2つの位置からあらかじめ設定された所定の位置関係のパラメータに基づき矩形領域を設定する。また、図6(b)に示されるように、矩形領域の境界付近のエッジおよび領域内の色情報から矩形領域の確定を行う。さらに、図6(c)に示されるように、エッジについては境界付近の所定幅の領域に所定強度を超えるエッジ成分が所定比率以上占有するかで判定する。また、色情報については矩形領域内の画素値の平均値を計算し、あらかじめ設定した肌色領域内に平均値が入っているかで判定する。そしてエッジ、色情報の条件が両立して満たされている場合、顔領域と判定する。
【0043】
次に、処理する画像の撮影モードの情報と顔領域の検出結果から撮影モードの判定を行う(ステップS205)。その結果、撮影モードが人物で、画像から顔領域が検出された場合(No)、撮影モードの有効性が検証されたのでステップS207に処理を移す。同様に、撮影モードが風景で、画像から顔領域が検出されなかった場合(Yes)、撮影モードの有効性が検証されたのでステップS207に処理を移す。
【0044】
尚、撮影モードが人物で、画像から顔領域が検出されなかった場合は、撮影モードと画像解析の結果に矛盾が生じており、ユーザが撮影モードの変更を行わずに撮影を行ったと想定されるのでステップS206の処理で風景モードの階調再現特性に画像を補正するようにする。
【0045】
また、撮影モードが風景で、画像から顔領域が検出された場合は、撮影モードと画像解析の結果に矛盾が生じており、ユーザが撮影モードの変更を行わずに撮影を行ったと想定されるのでステップS206の処理で人物モードの階調再現特性に画像を補正するようにする。本実施形態の想定では、人物モードの撮影で画像中から顔が検出されないので人物モードの階調再現特性に画像を補正する場合が適用される。
【0046】
ステップS206では、図5に示したようなあらかじめ設定された人物、風景それぞれの最適な階調再現特性の情報をもとに画像の階調再現特性の補正処理を行う。本実施形態では、図5に示したような同一の被写体の輝度Yiに対する各モードでの最適出力輝度値Yp、Ylの対応をもとに、あらかじめ人物モードでの最適な階調再現特性(図5のP)を風景モードでの最適な階調再現特性(図5のL)に変換するルックアップテーブル、風景モードでの最適な階調再現特性(図5のL)を人物モードでの最適な階調再現特性(図5のP)に変換するルックアップテーブルが用意されているものとする。
【0047】
そして、本実施形態での想定のように風景シーンを誤って人物モードで撮影したと判定した場合には、画像データのRGB成分の画素値から、例えば、
Y=0.299×pR+0.587×pG+0.114×pB (3)
Cb=−0.1687×pR−0.3312×pG+0.5×pB
Cr=0.5×pR−0.4187×pG−0.0813×pB
(但し、pR、pG、pBは画像データのRGB各成分の画素値)
に従って輝度値Yを計算する。
【0048】
さらに、人物モードでの最適な階調再現特性を風景モードでの最適な階調再現特性に変換するルックアップテーブルを用いてY値を変換した後、Cb,Crの値は(式3)の値をそのまま用いて、
pR=Y+1.402×Cr (4)
pG=Y−0.3441×Cb−0.7141×Cr
pB=Y+1.772×Cb
に従って画像データのRGB各成分の画素値を求める。以上の処理により風景シーンに最適な階調再現特性を有する画像に変換できる。
【0049】
最後に、画像補正後の画像データをCRT3に表示、色や明るさ等を確認した後、プリンタ4に印刷する(ステップS207)。
【0050】
すなわち、第2の実施形態に係る画像処理システムでは、第1の付帯情報が、デジタルカメラ2の撮影モードであって、画像処理装置1の画像補正部15が、第1の画像データの階調再現特性を補正することを特徴とする。
【0051】
以上、第2の実施形態においては、色かぶり補正を行う前に、前画像との撮影モードの変更の判定を行っているので、カメラの撮影モードを前画像の設定のまま誤って設定して撮影した場合においても自動的に画像データを補正して最適な階調再現の画像を出力できる。また、画像データを補正するために行う画像解析の結果と撮影モードの設定に矛盾が生じた場合にも、撮影モードの変更が行われた場合には階調補正を行わないので、誤った補正処理による副作用を事前に排除することができる。
【0052】
第2の実施形態においては、人物/風景の撮影モードをもつデジタルカメラについて階調補正を行うことを対象として説明したが、さらにその他の夜景/マクロなどのモードを持つデジタルカメラにも本発明は適用できる。
【0053】
<その他の実施形態>
また、上述した実施形態においては、デジタルカメラで撮影、記録した画像データをPCのアプリケーションプログラムで処理する場合について説明したが、例えば、記録媒体の画像データを読み込み可能なプリンタにおいて、図1または図4に示したような一連の画像処理をプリンタ内で自動的に行い、出力画像を印刷するようにしてもよいし、デジタルカメラ内で自動的に行い、出力画像を記録媒体に記録するようにしてもよい。
【0054】
尚、本発明は、複数の機器(例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置等)に適用してもよい。
【0055】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0056】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0057】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【0058】
本発明の実施態様の例を以下に列挙する。
【0059】
【実施態様1】同一の撮影装置によって撮影された第1の画像データと該第1の画像データよりも過去に撮影された第2の画像データとを取得する画像データ取得手段と、
前記第1の画像データに関する第1の付帯情報と前記第2の画像データに関する第2の付属情報とを取得する付帯情報取得手段と、
前記第1の付帯情報と前記第2の付帯情報とを比較して、前記撮影装置における撮影条件の変更の有無を検出する検出手段と、
前記第1の画像データを解析して前記第1の付帯情報に誤りがないかどうかを判定する判定手段と、
前記検出手段が撮影条件の変更を検出せず、かつ、前記判定手段が前記第1の付帯情報に誤りがあると判定した場合、前記第1の画像データを補正する補正手段と
を備えることを特徴とする画像処理装置。
【0060】
【実施態様2】前記第1の付帯情報が、前記撮影装置のホワイトバランスモードであって、
前記画像補正手段が、前記第1の画像データの色かぶりを補正する
ことを特徴とする実施態様1記載の画像処理装置。
【0061】
【実施態様3】前記第1の付帯情報が、前記撮影装置の撮影モードであって、
前記画像補正手段が、前記第1の画像データの階調再現特性を補正する
ことを特徴とする実施態様1記載の画像処理装置。
【0062】
【実施態様4】前記撮影装置により撮影された前記第1及び第2の画像データと前記第1及び第2の付属情報とを記憶する該撮影装置に対して着脱可能な記憶手段をさらに備え、
前記画像データ取得手段が、前記記憶手段から前記第1の画像データを取得し、
前記付属情報取得手段が、前記記憶手段から前記第1及び第2の付属情報を取得する
ことを特徴とする実施態様1から3までのいずれか1項に記載の画像処理装置。
【0063】
【実施態様5】第1の画像データと第2の画像データとを撮影する撮影手段と、
前記第1の画像データに関する第1の付帯情報と前記第2の画像データに関する第2の付属情報とを取得する付帯情報取得手段と、
前記第1及び第2の画像データと前記第1及び第2の付属情報とを記憶する記憶手段と、
前記第1の付帯情報と前記第2の付帯情報とを比較して、前記撮影装置における撮影条件の変更の有無を検出する検出手段と、
前記第1の画像データを解析して前記第1の付帯情報に誤りがないかどうかを判定する判定手段と、
前記検出手段が撮影条件の変更を検出せず、かつ、前記判定手段が前記第1の付帯情報に誤りがあると判定した場合、前記第1の画像データを補正する補正手段と、
補正された前記第1の画像データを出力する出力手段と
を備えることを特徴とする画像処理システム。
【0064】
【実施態様6】前記第1の付帯情報が、前記撮影手段のホワイトバランスモードであって、
前記画像補正手段が、前記第1の画像データの色かぶりを補正する
ことを特徴とする実施態様5記載の画像処理システム。
【0065】
【実施態様7】前記第1の付帯情報が、前記撮影手段の撮影モードであって、
前記画像補正手段が、前記第1の画像データの階調再現特性を補正する
ことを特徴とする実施態様5記載の画像処理システム。
【0066】
【実施態様8】同一の撮影装置によって撮影された第1の画像データと該第1の画像データよりも過去に撮影された第2の画像データとを取得する画像データ取得工程と、
前記第1の画像データに関する第1の付帯情報と前記第2の画像データに関する第2の付属情報とを取得する付帯情報取得工程と、
前記第1の付帯情報と前記第2の付帯情報とを比較して、前記撮影装置における撮影条件の変更の有無を検出する検出工程と、
前記第1の画像データを解析して前記第1の付帯情報に誤りがないかどうかを判定する判定工程と、
前記検出工程で撮影条件の変更が検出されず、かつ、前記判定工程で前記第1の付帯情報に誤りがあると判定された場合、前記第1の画像データを補正する補正工程と
を有することを特徴とする画像処理方法。
【0067】
【実施態様9】コンピュータに、
同一の撮影装置によって撮影された第1の画像データと該第1の画像データよりも過去に撮影された第2の画像データとを取得する画像データ取得手順と、前記第1の画像データに関する第1の付帯情報と前記第2の画像データに関する第2の付属情報とを取得する付帯情報取得手順と、
前記第1の付帯情報と前記第2の付帯情報とを比較して、前記撮影装置における撮影条件の変更の有無を検出する検出手順と、
前記第1の画像データを解析して前記第1の付帯情報に誤りがないかどうかを判定する判定手順と、
前記検出手順で撮影条件の変更が検出されず、かつ、前記判定手順で前記第1の付帯情報に誤りがあると判定された場合、前記第1の画像データを補正する補正手順と
を実行させるためのプログラム。
【0068】
【実施態様10】実施態様9記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【0069】
【発明の効果】
以上説明したように、本発明によれば、デジタルカメラの設定を誤って撮影した場合であっても、撮影された画像データを補正して、最適な明るさ及び色再現で出力することができる。
【0070】
また、撮影時のカメラの設定と画像を解析した結果が矛盾するが、その矛盾がユーザの意図を反映したものであった場合や、画像データを補正するために行う画像解析の結果が誤った場合に生じる補正処理による副作用を事前に排除することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る画像処理システムで用いられる画像処理アルゴリズムの詳細を説明するためのフローチャートである。
【図2】輝度値Yを0から255の8ビットデータとして縦軸に頻度をとったときのヒストグラムの一例を示す図である。
【図3】本発明の第1の実施形態で作成されるルックアップテーブルの一例を示す図である。
【図4】本発明の第2の実施形態に係る画像処理システムで用いられる画像処理アルゴリズムの詳細を説明するためのフローチャートである。
【図5】第2の実施形態における各モードに最適な階調再現性の例を示す図である。
【図6】本発明の第2の実施形態における顔検出の処理内容を説明するための図である。
【図7】本発明の第1の実施形態に係る画像処理システムの構成を示すブロック図である。
【符号の説明】
1 画像処理装置
2 デジタルカメラ
3 CRT
4 プリンタ
5 記録媒体
11 画像取得部
12 付帯情報取得部
13 設定変更検出部
14 判定部
15 画像補正部
Claims (1)
- 同一の撮影装置によって撮影された第1の画像データと該第1の画像データよりも過去に撮影された第2の画像データとを取得する画像データ取得手段と、
前記第1の画像データに関する第1の付帯情報と前記第2の画像データに関する第2の付属情報とを取得する付帯情報取得手段と、
前記第1の付帯情報と前記第2の付帯情報とを比較して、前記撮影装置における撮影条件の変更の有無を検出する検出手段と、
前記第1の画像データを解析して前記第1の付帯情報に誤りがないかどうかを判定する判定手段と、
前記検出手段が撮影条件の変更を検出せず、かつ、前記判定手段が前記第1の付帯情報に誤りがあると判定した場合、前記第1の画像データを補正する補正手段と
を備えることを特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002318479A JP2004153683A (ja) | 2002-10-31 | 2002-10-31 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002318479A JP2004153683A (ja) | 2002-10-31 | 2002-10-31 | 画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004153683A true JP2004153683A (ja) | 2004-05-27 |
Family
ID=32461605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002318479A Withdrawn JP2004153683A (ja) | 2002-10-31 | 2002-10-31 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004153683A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7605850B2 (en) | 2003-08-15 | 2009-10-20 | Fujifilm Corporation | Image processing apparatus, method and program for verifying a setting of an image processing mode |
JP2015079443A (ja) * | 2013-10-18 | 2015-04-23 | 株式会社リコー | 画像処理装置、画像処理システム、画像処理方法、プログラム及び記録媒体 |
-
2002
- 2002-10-31 JP JP2002318479A patent/JP2004153683A/ja not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7605850B2 (en) | 2003-08-15 | 2009-10-20 | Fujifilm Corporation | Image processing apparatus, method and program for verifying a setting of an image processing mode |
JP2015079443A (ja) * | 2013-10-18 | 2015-04-23 | 株式会社リコー | 画像処理装置、画像処理システム、画像処理方法、プログラム及び記録媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8106958B2 (en) | Image processing apparatus and image processing method and image capturing apparatus | |
EP1834302B1 (en) | Automatic white balancing of colour gain values | |
JP4006347B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム | |
US8488015B2 (en) | Camera using preview image to select exposure | |
US8160310B2 (en) | Image processing method and apparatus for processing an image by using a face detection result | |
US8391646B2 (en) | Image processing device and method that performs image quality adjustment and resize processing on image data | |
US20040233301A1 (en) | Digital camera | |
EP2076054A2 (en) | White balance control device and white balance control method | |
US20050062856A1 (en) | Camera equipped with red-eye correction feature | |
US20040095478A1 (en) | Image-capturing apparatus, image-processing apparatus, image-recording apparatus, image-processing method, program of the same and recording medium of the program | |
JP5693271B2 (ja) | 画像処理装置及び方法 | |
JP2008527852A (ja) | ディジタル・カメラの画像のホワイト・バランス補正 | |
JPWO2006059573A1 (ja) | 色彩調整装置及び方法 | |
JP2003204459A (ja) | デジタルカメラ、及び画像再生装置 | |
JP2004088345A (ja) | 画像形成方法、画像処理装置、プリント作成装置及び記憶媒体 | |
JP2007259411A (ja) | 露出判別装置およびその方法 | |
JP2002077625A (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体 | |
JP2004153683A (ja) | 画像処理装置 | |
JP2003283849A (ja) | 赤目検出および修正方法 | |
JP3817371B2 (ja) | 画像処理方法、装置および記録媒体 | |
JP2004328534A (ja) | 画像形成方法、画像処理装置及び画像記録装置 | |
JP2004274367A (ja) | デジタルカメラ | |
JP4235592B2 (ja) | 画像処理方法および画像処理装置 | |
JPH11346303A (ja) | 画像処理方法 | |
JP2010226365A (ja) | ホワイトバランス処理装置、ホワイトバランス処理方法およびホワイトバランス処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060110 |