JPWO2003085989A1 - Image processing apparatus, image processing program, and image processing method - Google Patents

Image processing apparatus, image processing program, and image processing method Download PDF

Info

Publication number
JPWO2003085989A1
JPWO2003085989A1 JP2003583033A JP2003583033A JPWO2003085989A1 JP WO2003085989 A1 JPWO2003085989 A1 JP WO2003085989A1 JP 2003583033 A JP2003583033 A JP 2003583033A JP 2003583033 A JP2003583033 A JP 2003583033A JP WO2003085989 A1 JPWO2003085989 A1 JP WO2003085989A1
Authority
JP
Japan
Prior art keywords
color
gradation
image processing
information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003583033A
Other languages
Japanese (ja)
Other versions
JP3801177B2 (en
Inventor
英康 国場
英康 国場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2003085989A1 publication Critical patent/JPWO2003085989A1/en
Application granted granted Critical
Publication of JP3801177B2 publication Critical patent/JP3801177B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本発明は、複数の画素のデータを含む画像データを処理して、画像データの撮影光源に関する情報を求める画像処理装置であって、次の分類部および判定部を備える。まず、分類部は、画素が有する色情報および階調情報を基準にして、階調情報の度数分布を色情報の区分ごとに求める。ここでは、このように求めた度数分布を『色単位の階調分布』という。一方、判定部は、この色単位の階調分布から階調のバリエーションを色単位に判定し、階調バリエーションの多い色情報を撮影光源の影響を反映した色情報と判定する。このような処理により、撮影光源に関する情報を適切に得ることができる。The present invention is an image processing apparatus that processes image data including data of a plurality of pixels and obtains information related to the imaging light source of the image data, and includes the following classification unit and determination unit. First, the classification unit obtains the frequency distribution of the gradation information for each color information category based on the color information and gradation information of the pixels. Here, the frequency distribution thus obtained is referred to as “tone distribution in color units”. On the other hand, the determination unit determines a gradation variation for each color from the gradation distribution of the color unit, and determines color information with many gradation variations as color information reflecting the influence of the photographing light source. By such processing, information regarding the imaging light source can be obtained appropriately.

Description

技術分野
本発明は、画像処理装置、画像処理プログラム、および画像処理方法に関する。特に、本発明は、画像データの撮影光源に関する情報を求める技術に関する。
背景技術
電子カメラで画像データを撮影すると、撮影光源の種類によって画像データに色の偏りが生じる。従来、この色の偏りを補正するため、電子カメラは、画像データにホワイトバランス補正を行っていた。このホワイトバランス補正では、撮影光源による色の偏りを、「画面全体の色平均」、「高頻度の出現色」、または「高輝度箇所の色」から求めていた（例えば、特開２０００−１４８９７８号公報）。
一方、撮影光源の色温度を画像データから推定する手法として、文献『Ｓｈｏｊｉ Ｔｏｍｉｎａｇａ，Ｓａｔｏｒｕ Ｅｂｉｓｕｉ，ａｎｄ Ｂｒｉａｎ Ａ．Ｗａｎｄｅｌｌ：Ｃｏｌｏｒ Ｔｅｍｐｅｒａｔｕｒｅ Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｓｃｅｎｅ Ｉｌｌｕｍｉｎａｔｉｏｎ，Ｐｒｏｃ．Ｔｈｅ Ｓｅｖｅｎｔｈ Ｃｏｌｏｒ Ｉｍａｇｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ：Ｃｏｌｏｒ Ｓｃｉｅｎｃｅ，Ｓｙｓｔｅｍｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，ｐｐ．４２−４７，Ｓｃｏｔｔｓｄａｌｅ，Ａｒｉｚｏｎａ，Ｎｏｖ．１９９９．』が知られている。
図１８は、この文献から引用した『ＲＢ色空間にプロットした分布』と『撮影光源の色温度』との関係を示す図である。
図１８に示されるように、撮影光源の色温度上昇に伴って、ＲＢ色空間上の分布はＲ軸方向からＢ軸方向へと位置が移動する。上記文献の推定方法は、このＲＢ色空間の分布が、どの色温度の分布域（色温度ごとに図１８に示す枠）に収まるかに基づいて、撮影光源の色温度を推定している。
発明の開示
本発明の目的は、撮影光源に関する情報を正確に得るために、画像データの新しい解析技術を提供することである。
以下、本発明について説明する。
（１）
本発明の画像処理装置は、複数の画素のデータを含む画像データを処理して、画像データの撮影光源に関する情報を求める画像処理装置であって、分類部および判定部を備える。
この分類部は、画素が有する色情報および階調情報から、色情報の区分ごとに、階調情報の度数分布を求める。ここでは、このように求めた度数分布を『色単位の階調分布』という。
一方、判定部は、この色単位の階調分布から、階調のバリエーション（言い換えると、階調のバラツキ具合、階調の多様性、階調の豊かさ、ほぼ連続していると見なせる階調の幅）を色情報の区分単位に評価する。そして、判定部は、この階調バリエーションが多いと評価された色情報を、撮影光源の影響を反映した色情報と判定する。
例えば、上記の『画素が有する色情報』とは、その画素のデータなどから得られる『画素の色に関する情報』である。
（２）
なお好ましくは、本発明の画像処理装置は、上記の判定部が、色単位の階調分布について度数の積を算出し、この積の値に基づいて階調バリエーションを判定する。
さらに好ましくは、上記の判定部が、この積の値が大きい色情報ほど、階調バリエーションが多いと評価する。
（３）
なお好ましくは、本発明の画像処理装置は、上記の分類部が、次のような空間分類部および正規化部を有する。
この空間分類部は、画素の色情報および階調情報を基準にして、色−階調空間上の度数分布を求める。すなわち、色および階調を座標軸にした空間上において、画素の度数分布を得る。
一方、正規化部は、この度数分布を階調情報の区分ごとに正規化して、階調情報の値の違いによる度数バラツキを抑制する。
この場合、分類部は、この正規化部で正規化された度数分布から、色単位の階調分布を得る。
（４）
なお好ましくは、本発明の画像処理装置は、上記の正規化部が、正規化に際して、度数分布の全体傾向を損なわない小さな値を、度数分布の度数ゼロの箇所に補填する。
（５）
なお好ましくは、本発明の画像処理装置は、上記の分類部において、次のような前処理を実施する。すなわち、分類部は、画像データから複数の画像領域を抽出し、これら画像領域ごとに平均色を求める。
さらに、これら画像領域の平均色が、予め定められた無彩色範囲に収まるか否かを判定し、無彩色範囲に収まる画像領域を選抜する。
分類部は、この前処理によって選抜された画像領域について、上述した色単位の階調分布を求める。
（６）
なお好ましくは、本発明の画像処理装置では、分類部と判定部が、画像データから部分的に抽出した複数の画像領域ごとに、上記処理を実行する。
すなわち、分類部は、個々の画像領域それぞれについて、色単位の階調分布を求める。一方、判定部は、個々の画像領域それぞれについて、階調バリエーションの多い色情報を求める。
さらに、判定部は、これら画像領域ごとに求めた『階調バリエーションの多い色情報』から代表となる値を算出し、この代表値を前記撮影光源の影響を反映した色情報とする。
（７）
なお好ましくは、本発明の画像処理装置は、上記の判定部が、撮影光源の影響を反映すると判定された色情報に基づいて、画像データのホワイトバランス補正を行う。
さらに好ましくは、上記の判定部は、この撮影光源の影響を反映すると判定された色情報を無彩色に変換するように、画像データのホワイトバランス補正を行う。
（８）
本発明の画像処理プログラムは、コンピュータを、上記（１）〜（７）のいずれか１つに記載の分類部および判定部として機能させることを特徴とする。
（９）
本発明の画像処理方法は、複数の画素のデータを含む画像データを処理して、画像データの撮影光源に関する情報を求める画像処理方法であって、分類ステップおよび判定ステップを有する。
この分類ステップでは、画素が有する色情報および階調情報を基準にして、階調情報の度数分布を色情報の区分ごとに求める。
一方、判定ステップでは、この色単位の階調分布から階調のバリエーションを色単位に評価し、階調バリエーションが多いと評価された色情報を、撮影光源の影響を反映した色情報と判定する。
発明を実施するための最良の形態
以下、図面に基づいて本発明にかかる実施形態を説明する。
《第１の実施形態》
第１の実施形態は、請求項１，３，７，および９に対応する実施形態である。
［第１の実施形態の構成］
図１は、電子カメラ１１（画像処理装置を含む）の構成を示す図である。
図１において、電子カメラ１１には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１３の受光面が配置される。
この撮像素子１３で生成される画像データは、Ａ／Ｄ変換部１４を介してデジタル化された後、画像メモリ１５に一時記憶される。
画像処理部１６は、画像メモリ１５内の画像データに対して、ホワイトバランス補正などの画像処理を実施する。
圧縮記録部１７は、画像処理の完了した画像データを、記録媒体１８に圧縮記録する。
［発明との対応関係］
以下、発明と第１の実施形態との対応関係について説明する。なお、ここでの対応関係は、発明の理解を容易にするために例示するものであり、発明をこの対応関係に限定するものではない。
請求項記載の分類部は、画像処理部１６の『画像データから色単位の階調分布を求める部分』に対応する。
請求項記載の判定部は、画像処理部１６の『色単位の階調分布に基づいて、撮影光源の影響を反映する色情報を求める部分』に対応する。
［第１の実施形態の動作説明］
図２は、第１の実施形態におけるホワイトバランス補正を説明する流れ図である。以下、図２に示すステップ番号に沿って、ホワイトバランス補正の処理動作を説明する。
ステップＳ０： 画像処理部１６は、画像メモリ１５内の画像データから、撮影光源の推定材料とするＲＧＢデータを取得する。
この段階でのＲＧＢデータは、画像データの絵柄の違いによって、明るさや色の信号レベルが一定しない。そこで、画像処理部１６は、下式の規格化を実施し、ＲＧＢデータの信号レベルを揃える。

Figure 2003085989
ステップＳ１： 画像処理部１６は、規格化後のＲ′Ｇ′Ｂ′成分に基づいて、色情報を算出する。
ここで、色情報として採用する指標値は、撮影光源の特性（例えば色温度）と一対一に対応する値が好ましい。さらには、撮影光源の違いに敏感に反応する値が好ましい。
第１の実施形態では、色温度とよく対応するという観点から、次のような色情報を採用する。
Figure 2003085989
図３は、撮影光源の色温度を変えながら、無彩色被写体について色情報（Ｂ′／Ｒ′）の変化を求めたデータである。この図３に示されるように、色情報（Ｂ′／Ｒ′）は、撮影光源の色温度とほぼ一対一に対応し、かつ撮影光源の色温度の変化に敏感に反応する。
ステップＳ２： 続いて、画像処理部１６は、各画素のＲ′Ｇ′Ｂ′成分に基づいて、階調情報を算出する。
第１の実施形態では、次のような階調情報を採用する。
Figure 2003085989
ステップＳ３： 画像処理部１６は、このように求めた色情報および階調情報を基準にして各画素を分類し、図６に示すような度数分布を求める。
以下、この図６の度数分布を求めるまでの処理手順を具体的に説明する。
図４は、画像データの一例である。この画像データは、晴天時に撮影されたもので、撮影光源の色温度はおおよそ６０００Ｋである。
画像処理部１６は、上述した式３および式４を用いて、色情報および階調情報を算出する。
図５は、この色情報および階調情報を、色−階調空間上にプロットした画素分布である。ここでの色−階調空間は、色および階調を座標軸にとった空間である。
画像処理部１６は、この色−階調空間上に複数の領域を設ける。これら領域のサイズは、撮影光源の推定精度に実用上影響のない程度の大きさであればよい。また、領域の形状は、矩形や円形など、何でもよい。
第１の実施形態では、これら複数の領域として、下記の条件式で規定される領域を採用する。
Figure 2003085989
ただし、σ＝０．２５，ｋｍａｘ＝１０である。
この条件式に、
階調区分ｋ＝１，２，３・・・１０
色区分（Ｂ′／Ｒ′）０＝０．０，０．２，０．４・・・４．８
の値を組み合わせて代入することにより、複数の領域が規定される。
画像処理部１６は、各画素の色情報および階調情報をこの条件式に代入し、条件式が成立する領域（すなわち、条件式を満足する階調区分および色区分の値）を探索する。画像処理部１６は、条件式が成立する領域が見つかるたびに、その領域の度数を『１』増やす。
このようなカウント処理により、図６に示すような度数分布が得られる。
ステップＳ４： 画像処理部１６は、求めた度数分布を、階調区分ｋごとに正規化する。ここでは、階調区分ｋの度数の最大値が『１０００』になるように、正規化を行う。このような正規化により、階調区分ｋごとの度数バラツキが抑制される。
図７は、このような正規化後の度数分布を示す図である。
この正規化後の度数分布を、色区分ごとに分割したものが、第１の実施形態における『色単位の階調分布』に該当する。
ステップＳ５： 画像処理部１６は、これら色単位の階調分布ごとに、度数の総和を算出する。ステップＳ４において階調区分ｋごとの度数バラツキを抑制しているため、この度数の総和は、階調バリエーションの度合いをよく反映する。そこで、画像処理部１６は、この度数の総和が大きい色情報ほど、階調バリエーションが多く、撮影光源の影響を反映した色情報であると判定する。
図８は、色情報の値を横軸にして、この度数の総和をプロットしたグラフである。図８に示したグラフの場合、色情報２．０が、撮影光源の影響を一番反映した色情報と判断される。図３に示した対応グラフから、このときの撮影光源の色温度は、おおよそ６９００Ｋとなる。
ステップＳ６： 画像処理部１６は、撮影光源の影響を反映すると判定された色情報に基づいて、画像データの色の偏りを補正する係数（ホワイトバランス補正値）をテーブル参照などによって得る。すなわち、上記の図８のケースでは、画像処理部１６は、色温度６９００Ｋのカラーバランスを補正するホワイトバランス補正値を得る。
ステップＳ７： 画像処理部１６は、得られたホワイトバランス補正値を使って、画像メモリ１５内の画像データに対して、ホワイトバランス補正を実施する。
［第１の実施形態の効果など］
第１の実施形態における色温度の推定値６９００Ｋは、実際の色温度６０００Ｋに比べて若干高めである。しかしながら、今回の画像データ（図４）の大部分が青空であるため、本来はもっと高めの色温度と推定されるおそれがあった。そのことを考慮すると、本実施形態では、大面積部分（青空）の影響を適度に抑えた良好な推定結果を得ていることが分かる。
例えば、図１８に示した従来技術では、大面積の青空を含む場合、Ｂ軸の近くに度数分布が集中する。その結果、この従来技術では、もっと高い色温度と推定されるおそれがあった。
ところが、本実施形態は、図５に示すように度数分布をとる。そのため、青空の微妙な色変化を反映して、青空の度数分布Ｓは色情報の軸方向に広く分散する。そのため、上述した処理では、青空の度数分布Ｓが、色情報の区分に細分化される。その結果、色情報の区分ごとの評価では、青空の階調バリエーションは少なく評価される。したがって、本実施形態では、大面積の青空に惑わされることなく、良好な推定結果を得ることができる。
すなわち、このような良好な推定結果は、色単位の階調バリエーションを尺度とした結果である。通常、被写界には、様々な反射率や反射角度を有する被写体や、種々の陰影が存在する。撮影光源の光は、これらによって明暗方向に変調されるため、多様な階調を生じる確率が高い。
一方、撮影光源の影響を素直に反映しない固有色や空色などは、その色自体の限られた階調範囲や、その色自体の色変化を含んで、画像データ中に現れる。
そこで、色単位の階調バリエーションを尺度にすることにより、これら固有色の影響を排除して、撮影光源の影響を反映した色情報を的確に推定できる。
さらに、第１の実施形態では、ステップＳ４の正規化処理により、階調区分ｋごとの度数バラツキを抑制している。通常、画像データの絵柄の違いによって、階調区分ごとの度数はばらつく。このバラツキにより、階調バリエーションを統一的な尺度で判定することが困難になる。しかしながら、本発明では、上述した正規化処理により、この度数バラツキを低減させ、階調方向の度数をなるべく均等化する。そのため、階調バリエーションを、絵柄の違いに係わらず、統一的な尺度で判定することが容易になる。
次に、別の実施形態について説明する。
《第２の実施形態》
第２の実施形態は、請求項１，２，３，４，７，および９に対応する実施形態である。
なお、「第２の実施形態の構成」および「発明との対応関係」については、第１の実施形態と同様であるため、ここでの説明を省略する。
［第２の実施形態の動作説明］
図９は、第２の実施形態におけるホワイトバランス補正を説明する流れ図である。以下、図９に示すステップ番号に沿って、ホワイトバランス補正の処理動作を説明する。
ステップＳ１０： 第１の実施形態のステップＳ０と同様の処理。
ステップＳ１１： 第１の実施形態のステップＳ１と同様の処理。
ステップＳ１２： 第１の実施形態のステップＳ２と同様の処理。
ステップＳ１３： 第１の実施形態のステップＳ３と同様の処理。
ステップＳ１４： 画像処理部１６は、ステップＳ１３で求めた度数分布の全体傾向を損なわない程度の小さな値を、度数分布の度数ゼロの箇所に補填する。この実施形態では、度数分布（図６参照）の全体に最小度数『１』を一様に加算している。
ステップＳ１５： 画像処理部１６は、色−階調空間の度数分布を、階調区分ｋごとに正規化する。ここでは、階調区分ｋにおける度数の最大値が『１０００』になるように、正規化を行う。このような正規化により、階調区分ｋごとの度数バラツキが抑制される。
図１１は、この正規化後の度数分布を示す図である。
この正規化後の度数分布を、色区分ごとに分割したものが、第２の実施形態における『色単位の階調分布』である。
ステップＳ１６： 画像処理部１６は、これら色単位の階調分布ごとに、度数の積を算出する。この度数の積は、階調バリエーションの度合いをよく反映する。すなわち、画像処理部１６は、この度数の積が大きい色情報ほど、階調バリエーションが多く、撮影光源の影響を反映した色情報であると判定する。
図１０は、色情報の値を横軸にして、この度数の積をプロットしたグラフである。図１０に示したグラフの場合、色情報１．８が、撮影光源の影響を一番反映した色情報と判断される。図３に示した対応グラフから、このときの撮影光源の色温度は、おおよそ６２００Ｋと推定される。
ステップＳ１７： 第１の実施形態のステップＳ６と同様の処理。
ステップＳ１８： 第１の実施形態のステップＳ７と同様の処理。
［第２の実施形態の効果など］
第２の実施形態における色温度の推定値６２００Ｋは、青空の影響をよく抑制した良好な推定結果である。このような良好な推定結果は、階調バリエーションを尺度にして、撮影光源を推定した結果である。
特に、第２の実施形態では、色単位の階調分布について度数の積を算出し、その積の値により階調バリエーションを判定している。この積の演算では、階調バリエーションの違いが数値の大小として顕著に現れるため、階調バリエーションを明確に判定することが可能になる。
また、第２の実施形態では、ステップＳ１３の正規化処理により、階調区分ｋごとの度数バラツキを抑制している。その結果、絵柄による階調分布の違いを補正して、階調バリエーションをより的確に判定することが可能になる。
さらに、第２の実施形態では、度数分布の全体傾向を損なわない程度の小さな値（ここでは最小度数『１』）で度数ゼロの箇所を補填している。したがって、度数の積の演算に際して、度数ゼロをわざわざ排除する必要がなく、演算処理を単純化することが可能になる。
ちなみに、このような度数ゼロの箇所は、絵柄によってばらつく。このバラツキは、階調バリエーションを判定する際に弊害となる。しかしながら、本実施形態では、この度数ゼロの箇所を補填した後で、正規化処理を実行する。その結果、度数ゼロの箇所は、一様かつ適当な度数値（図１１に示すｋ＝８〜１０の列など）で包括的に埋められる。この包絡的な度数分布を用いて階調バリエーションを判定することにより、絵柄（特に階調欠落）による度数ゼロの発生バラツキを排除し、階調バリエーションを的確かつ容易に判定することが可能になる。
次に、別の実施形態について説明する。
《第３の実施形態》
第３の実施形態は、請求項１，２，３，４，７，および９に対応する実施形態である。
なお、「第３の実施形態の構成」および「発明との対応関係」については、第１の実施形態と同様であるため、ここでの説明を省略する。
［第３の実施形態の動作説明］
図１２は、第３の実施形態におけるホワイトバランス補正を説明する流れ図である。以下、図１２に示すステップ番号に沿って、ホワイトバランス補正の処理動作を説明する。
ステップＳ２０： 第２の実施形態のステップＳ１０と同様の処理。
ステップＳ２１： 第２の実施形態のステップＳ１１と同様の処理。
ステップＳ２２： 第２の実施形態のステップＳ１２と同様の処理。
ステップＳ２３： 第２の実施形態のステップＳ１３と同様の処理。
ステップＳ２４： 第２の実施形態のステップＳ１４と同様の処理。
ステップＳ２５： 画像処理部１６は、色−階調空間の度数分布度を、階調区分ｋごとに正規化する。ここでは、階調区分ｋにおける度数の総和が『１０００』になるように、正規化を行う。このような正規化により、階調区分ｋごとの度数バラツキが抑制される。
図１４は、この正規化後の度数分布を示す図である。
この正規化後の度数分布を、色区分ごとに分割したものが、第３の実施形態における『色単位の階調分布』である。
ステップＳ２６： 画像処理部１６は、これら色単位の階調分布ごとに、度数の積を算出する。この度数の積は、階調バリエーションの度合いをよく反映する。画像処理部１６は、この度数の積が大きい色情報ほど、階調バリエーションが多く、撮影光源の影響を反映した色情報であると判定する。
図１３は、色情報の値を横軸にして、この度数の積をプロットしたグラフである。図１３に示したグラフの場合、色情報１．８が、撮影光源の影響を一番反映した色情報と判断される。図３に示した対応グラフから、この場合の撮影光源の色温度は、おおよそ６２００Ｋと推定される。
ステップＳ２７： 第２の実施形態のステップＳ１７と同様の処理。
ステップＳ２８： 第２の実施形態のステップＳ１８と同様の処理。
［第３の実施形態の効果など］
第３の実施形態においても、第２の実施形態とほぼ同様の効果を得ることができる。
《第４の実施形態》
第４の実施形態は、請求項１〜７，および９に対応する実施形態である。
なお、「第４の実施形態の構成」および「発明との対応関係」については、第１の実施形態と同様であるため、ここでの説明を省略する。
［第４の実施形態の動作説明］
図１５は、第４の実施形態におけるホワイトバランス補正を説明する流れ図である。以下、図１５に示すステップ番号に沿って、ホワイトバランス補正の処理動作を説明する。
ステップＳ３１： 画像処理部１６は、画像メモリ１５内の画像データを、複数の画像領域に区分する。例えば、画像データを縦４分割、横６分割して、２４個の画像領域を作成する。なお、ここでの画像領域の区分サイズを、画像データにおける色パターンの細かさや複雑さなどに応じて変更することが好ましい。また、ここでの画像領域の区分線の位置を、画面内における色パターンの位置関係などに応じて変更することが好ましい。
ステップＳ３２： 画像処理部１６は、画像領域の一つ一つについて、画素値をＲＧＢごとに平均化して、平均色を求める。
ステップＳ３３： 画像処理部１６は、画像領域の一つ一つについて、平均色のＲＧＢデータから（Ｂ／Ｇ）および（Ｒ／Ｂ）を求める。画像処理部１６は、求めた（Ｂ／Ｇ）および（Ｒ／Ｂ）を尺度にして、予め定められた無彩色範囲に平均色が収まるか否かを判定する。
図１６は、一例として、無彩色範囲Ａ（図１６中の斜線範囲）を示す図である。ここでの無彩色範囲Ａは、次のように決定される。
まず、（Ｂ／Ｇ）および（Ｒ／Ｂ）を座標軸とした色度空間を設定し、その色度空間上に黒体軌跡Ｂのカーブをプロットする。この黒体軌跡Ｂは、撮影光源として通常予想される色温度範囲に予め制限される。すなわち、撮影光源の色温度の上限域（例えば１４０００Ｋ以上）および下限域（例えば２０００Ｋ以下）については、黒体軌跡Ｂから予め除かれる。この色度空間上において、（１）黒体軌跡Ｂに近接し、かつ（２）被写体固有の色の影響をさほど受けずに撮影光源の色を反映していると判断できる範囲を定めて、無彩色範囲Ａとする。
具体的な無彩色範囲Ａは、色度空間上の各点が無彩色に近いか否かといった主観テストに基づいて決定することが好ましい。
画像処理部１６は、ステップＳ３２で求めた平均色それぞれについて、無彩色範囲に収まるか否かを判定する。この判定結果から、画像処理部１６は、複数の画像領域から、平均色が無彩色範囲に収まるものを選別する。
図１７中に数字を示した画像領域は、このように選別された画像領域である。一方、図１７中に『−』で示した画像領域は、平均色が無彩色範囲Ａから外れたために、選抜されなかった画像領域である。
ちなみに、この図１７の元画像は、遊園地で撮影された画像であり、遊園地に特有の有彩色が局所的に配置された画像である。
ステップＳ３４： 画像処理部１６は、選抜された画像領域の数をカウントする。
ここで、選抜された画像領域の数が所定数以下であり、撮影光源の色情報を求めるのに狭すぎると判断される場合、画像処理部１６はステップＳ３５に動作を移行する。
一方、選抜された画像領域の数が所定数より多く、撮影光源の色情報を求めるのに十分であると判断される場合、画像処理部１６はステップＳ３６に動作を移行する。
ステップＳ３５： ここでは、選抜された画像領域の数が少ないために、画像データ全体を有彩色が占めているなどの状況が予想される。この場合、画像処理部１６は、画像データから撮影光源を推定することを諦め、予め設定された標準的なホワイトバランス補正値（予めプリセット設定された値など）を選択する。画像処理部１６は、この標準的なホワイトバランス補正値に従った調整を実施するため、ステップＳ４０に動作を移行する。
ステップＳ３６： ここでは、選抜された画像領域の数が所定数よりも多いため、撮影光源の推定を続行する。すなわち、画像処理部１６は、選抜した画像領域の一つ一つについて、色単位の階調分布を求める。なお、この処理の詳細については、個々の画像領域ごとに実施する点を除けば、第１〜第３の実施形態と同様であるため、ここでの説明を省略する。
ステップＳ３７： 画像処理部１６は、選抜した画像領域の一つ一つにおいて、色単位の階調分布から、階調バリエーションが多い色情報を求める。なお、この処理の詳細については、個々の画像領域ごとに実施する点を除けば、第１〜第３の実施形態と同様であるため、ここでの説明を省略する。
図１７において、画像領域ごとに示す数値は、その画像領域において階調バリエーションが最大となる色情報の（Ｂ／Ｒ）値である。
ステップＳ３８： 画像処理部１６は、ステップＳ３７で求めた色情報の中から最大値および最小値を、極端な値として除く。画像処理部１６は、残った色情報について平均をとって、色情報の代表値とする。画像処理部１６は、この色情報の代表値を、撮影光源の影響を反映する色情報と判断する。
図１７のケースでは、色情報から最大値３．９および最小値０．７が除かれ、残りの色情報について平均を取ることにより、代表値（Ｂ／Ｒ）＝１．５６となる。この値は、５５００Ｋ程度の色温度に該当する。
なお、ここでの代表値を求める演算は、平均演算だけに限定されるものではない。例えば、メディアン演算や多数決演算などによって、代表値を求めてもよい。
また、各画像領域の画面内位置に応じて重みを変えた加重平均演算により、代表値を求めてもよい。この場合、画面中央の重みを増やしたり、焦点検出エリアの選択箇所の重みを増やすなどしてもよい。
ステップＳ３９： 画像処理部１６は、色情報の代表値に基づいて、画像データの色の偏りを補正する係数（ホワイトバランス補正値）をテーブル参照などによって得る。
ステップＳ４０： 画像処理部１６は、得られたホワイトバランス補正値を使って、画像メモリ１５内の画像データに対して、ホワイトバランス補正を実施する。
［第４の実施形態の効果など］
上述したように、第４の実施形態では、平均色が無彩色範囲に収まる画像領域に範囲限定して、撮影光源の推定を行う。この場合、画像データ中から特定色に偏った画像領域を予め除くため、特定色の影響をあまり受けず、的確に撮影光源を推定できるという利点がある。
さらに、第４の実施形態では、画像領域ごとに撮影光源の状況を個別に解析し、最終的に、これら個別の解析結果から代表値を求める。したがって、画面内の局所的な色の影響は、その局所的な画像領域に閉じこめることができる。その結果、局所的な有彩色の影響が、その他の画像領域の解析結果まで波及することがない。
さらに、この局所的な有彩色の影響は、ステップＳ３８における代表値の算出過程において、排除できる。その結果、撮影光源の推定をより正確に実施できるという利点がある。
以下、他のホワイトバランス調整と比較した実験結果から、第４の実施形態の効果を示す。
まず、屋外および屋内の６０シーンの画像データについて、下記のホワイトバランス調整をそれぞれ実施した。
（Ａ）画面全体の平均色を無彩色に変換するホワイトバランス調整
（Ｂ）画像データから平均色が無彩色に近い領域のみを選別し、その領域の平均色を無彩色に変換するホワイトバランス調整
（Ｃ）第４の実施形態のホワイトバランス調整
これら３通りの方法で得たホワイトバランス補正値Ｗｂ，Ｗｒと、本来の撮影光源から求めたホワイトバランス補正値Ｗｂｏ，Ｗｒｏとの誤差δを、
Figure 2003085989
により算出する。すると、６０シーン分の誤差δの平均は、
（Ａ）の方法・・・０．４３２
（Ｂ）の方法・・・０．２８２
（Ｃ）の方法・・・０．２０２
であった。この結果から、第４の実施形態である（Ｃ）が、３通りの方法の中で、一番正解に近いホワイトバランス補正となった。
《実施形態の補足事項》
なお、上述した実施形態では、電子カメラ１１について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、上述した処理動作をプログラムコード化することにより、画像処理プログラム（請求項８に対応）を作成してもよい。このような画像処理プログラムを使用することにより、コンピュータは、本実施形態のホワイトバランス補正を実行することが可能になる。
また、本実施形態の画像処理方法を、インターネット等の通信回線を介して、サービス提供することも好ましい。例えば、画像アルバムやプリントサービスなどのサーバーにおいて、クライアントからアップロードされた画像データに対して、上述した撮影光源の解析や、ホワイトバランス調整などの画像処理サービスを提供することができる。
また、上述した実施形態では、度数の和または積によって階調バリエーションを判定している。しかしながら、本発明はこれに限定されるものではない。色単位の階調分布の広がり具合を求めることよって、階調バリエーションを判定することができる。例えば、色単位の階調分布の分散値（標準偏差）から、階調バリエーションを判定してもよい。
なお、上述した実施形態では、階調バリエーションが最も多い色情報を選択して、撮影光源の影響を反映した色情報としている。しかしながら、本発明はこれに限定されるものではない。例えば、ピーク付近の階調バリエーションを補間した後にピーク位置を検出することにより、最も階調バリエーションが多い色情報を正確に求めてもよい。このような処理により、撮影光源の違いを正確に判別することができるようになる。
また、上述した実施形態では、小さな値『１』を度数ゼロの箇所に補填した後に、正規化処理を実施している。しかしながら、本発明はこれに限定されるものではない。例えば、正規化処理、補填の順番で処理を行ってもよい。
なお、上述した実施形態では、色情報として（Ｂ／Ｒ）を採用している。しかしながら、本発明はこれに限定されるものではない。一般に、色情報としては、撮影光源の違いによって変化する色の指標値，色の尺度，または色の特性であることが好ましい。例えば、色情報として、（Ｂ−Ｒ），色相，色度，または色度座標などを採用してもよい。
Figure 2003085989
しながら、本発明はこれに限定されるものではない。一般に、階調情報としては、撮影光源の光が、被写界の陰影や反射率や照射面の角度などによって変調された際に、多様なバリエーションを派生する階調の指標値、階調の尺度、階調の特性であることが好ましい。例えば、輝度値や色成分値などを階調情報として採用してもよい。
なお、上述した実施形態では、階調バリエーションのみを尺度にして、撮影光源を推定している。しかしながら、本発明はこれに限定されるものではない。その他の推定技術と本発明とを組み合わせることにより、撮影光源をより厳密に推定しても勿論よい。
なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。
産業上の利用可能性
以上説明したように、本発明では、色単位に階調バリエーションを求め、この階調バリエーションが多い色情報ほど、撮影光源の影響が強いと判定する。
本願発明者は、撮影光源の影響を反映する色情報は階調バリエーションが多く、撮影光源の影響の少ない色情報は階調バリエーションが限られることを発見した。本発明は、この知見を利用することで、撮影光源の影響を反映する色情報を的確に検出することを可能にした。
【図面の簡単な説明】
なお、本発明における上述した目的およびそれ以外の目的は、以下の説明と添付図面とによって容易に確認することができる。
図１は、電子カメラ１１（画像処理装置を含む）の構成を示す図である。
図２は、第１の実施形態におけるホワイトバランス補正を説明する流れ図である。
図３は、撮影光源の色温度を変えながら、無彩色被写体の色情報（Ｂ′／Ｒ′）の軌跡を求めたグラフである。
図４は、画像データの絵柄の一例を示すため、画像データにディザ化を施して作成した図である。
図５は、画素単位の色情報および階調情報を、色−階調空間上にプロットした分布図である。
図６は、色−階調空間上の度数分布である。
図７は、正規化後の度数分布である。
図８は、度数の総和を示すグラフである。
図９は、第２の実施形態におけるホワイトバランス補正を説明する流れ図である。
図１０は、度数の積を示すグラフである。
図１１は、正規化後の度数分布である。
図１２は、第３の実施形態におけるホワイトバランス補正を説明する流れ図である。
図１３は、度数の積を示すグラフである。
図１４は、正規化後の度数分布を示す図である。
図１５は、第４の実施形態におけるホワイトバランス補正を説明する流れ図である。
図１６は、画像領域の選抜に使用される無彩色範囲の一例を示す図である。
図１７は、画像領域の単位に、階調バリエーションの多い色情報を求めた結果を示す図である。
図１８は、『ＲＢ色空間にプロットした画素分布』と『撮影光源の色温度』との関係を示す図である。Technical field
The present invention relates to an image processing apparatus, an image processing program, and an image processing method. In particular, the present invention relates to a technique for obtaining information related to a photographing light source of image data.
Background art
When image data is captured with an electronic camera, color deviation occurs in the image data depending on the type of imaging light source. Conventionally, in order to correct this color deviation, an electronic camera performs white balance correction on image data. In this white balance correction, the color deviation due to the photographic light source is obtained from “color average of the entire screen”, “high-frequency appearance color”, or “color of a high-luminance portion” (for example, Japanese Patent Laid-Open No. 2000-148978). Issue gazette).
On the other hand, as a technique for estimating the color temperature of a photographic light source from image data, documents “Shoji Tominaga, Satoru Ebisui, and Brian A. Wandell: Color Temperature Estimation of Scene Illumination, Proc. The Seventh Color Imaging Conference: Color Science, Systems and Applications, pp. 42-47, Scottsdale, Arizona, Nov. 1999. "It has been known.
FIG. 18 is a diagram showing the relationship between “distribution plotted in the RB color space” and “color temperature of photographing light source” cited from this document.
As shown in FIG. 18, the position of the distribution in the RB color space moves from the R-axis direction to the B-axis direction as the color temperature of the imaging light source increases. The estimation method of the above document estimates the color temperature of the photographing light source based on which color temperature distribution range (frame shown in FIG. 18 for each color temperature) the distribution of the RB color space falls within.
Disclosure of the invention
An object of the present invention is to provide a new analysis technique for image data in order to accurately obtain information relating to a photographing light source.
The present invention will be described below.
(1)
An image processing apparatus according to the present invention is an image processing apparatus that processes image data including data of a plurality of pixels and obtains information regarding a photographing light source of the image data, and includes a classification unit and a determination unit.
This classification unit obtains a frequency distribution of gradation information for each color information classification from the color information and gradation information of the pixel. Here, the frequency distribution thus obtained is referred to as “tone distribution in color units”.
On the other hand, the determination unit determines the gradation variation (in other words, gradation variation, gradation diversity, gradation richness, gradation that can be considered to be almost continuous from the gradation distribution of each color unit. Is evaluated in units of color information. Then, the determination unit determines that the color information evaluated as having many gradation variations is color information reflecting the influence of the photographing light source.
For example, the above “color information of a pixel” is “information about the color of the pixel” obtained from the data of the pixel.
(2)
Preferably, in the image processing apparatus of the present invention, the determination unit calculates a product of the frequencies for the gradation distribution in color units, and determines a gradation variation based on the product value.
More preferably, the determination unit evaluates that the color information having a larger product value has more gradation variations.
(3)
Preferably, in the image processing apparatus of the present invention, the classification unit includes a spatial classification unit and a normalization unit as follows.
This space classification unit obtains a frequency distribution in the color-gradation space with reference to the color information and gradation information of the pixel. That is, a frequency distribution of pixels is obtained on a space having color and gradation as coordinate axes.
On the other hand, the normalization unit normalizes this frequency distribution for each gradation information section, and suppresses frequency variation due to a difference in gradation information values.
In this case, the classification unit obtains a gradation distribution in color units from the frequency distribution normalized by the normalization unit.
(4)
Preferably, in the image processing apparatus of the present invention, the normalizing unit compensates a small value that does not impair the overall tendency of the frequency distribution at the frequency zero point of the frequency distribution.
(5)
Preferably, the image processing apparatus of the present invention performs the following preprocessing in the above classification unit. That is, the classification unit extracts a plurality of image areas from the image data, and obtains an average color for each of these image areas.
Further, it is determined whether or not the average color of these image areas falls within a predetermined achromatic color range, and image areas that fall within the achromatic color range are selected.
The classification unit obtains the above-described tone distribution in color units for the image region selected by the preprocessing.
(6)
Preferably, in the image processing apparatus of the present invention, the classification unit and the determination unit execute the above-described processing for each of a plurality of image regions partially extracted from the image data.
That is, the classification unit obtains a gradation distribution in color units for each image region. On the other hand, the determination unit obtains color information with many gradation variations for each image area.
Further, the determination unit calculates a representative value from “color information with many gradation variations” obtained for each image area, and sets the representative value as color information reflecting the influence of the photographing light source.
(7)
Preferably, in the image processing apparatus of the present invention, the determination unit performs white balance correction of the image data based on the color information determined to reflect the influence of the photographing light source.
More preferably, the determination unit performs white balance correction on the image data so as to convert color information determined to reflect the influence of the photographing light source into an achromatic color.
(8)
The image processing program of the present invention causes a computer to function as the classification unit and the determination unit described in any one of (1) to (7) above.
(9)
An image processing method according to the present invention is an image processing method for processing image data including data of a plurality of pixels and obtaining information relating to a photographing light source of the image data, and includes a classification step and a determination step.
In this classification step, the frequency distribution of the gradation information is obtained for each color information category based on the color information and gradation information of the pixels.
On the other hand, in the determination step, the gradation variation is evaluated for each color from the gradation distribution of the color unit, and the color information evaluated as having many gradation variations is determined as the color information reflecting the influence of the photographing light source. .
BEST MODE FOR CARRYING OUT THE INVENTION
Embodiments according to the present invention will be described below with reference to the drawings.
<< First Embodiment >>
The first embodiment is an embodiment corresponding to claims 1, 3, 7 and 9.
[Configuration of First Embodiment]
FIG. 1 is a diagram illustrating a configuration of an electronic camera 11 (including an image processing apparatus).
In FIG. 1, a photographing lens 12 is attached to the electronic camera 11. In the image space of the photographic lens 12, the light receiving surface of the image sensor 13 is arranged.
Image data generated by the image sensor 13 is digitized via the A / D converter 14 and then temporarily stored in the image memory 15.
The image processing unit 16 performs image processing such as white balance correction on the image data in the image memory 15.
The compression recording unit 17 compresses and records the image data for which image processing has been completed on the recording medium 18.
[Correspondence with Invention]
The correspondence relationship between the invention and the first embodiment will be described below. Note that the correspondence relationship here is illustrated to facilitate understanding of the invention, and the invention is not limited to this correspondence relationship.
The classifying unit described in the claims corresponds to the “part for obtaining tone distribution of color units from image data” of the image processing unit 16.
The determination unit described in the claims corresponds to “a portion for obtaining color information that reflects the influence of the photographing light source based on the gradation distribution in color units” of the image processing unit 16.
[Description of Operation of First Embodiment]
FIG. 2 is a flowchart for explaining white balance correction in the first embodiment. The white balance correction processing operation will be described below in the order of step numbers shown in FIG.
Step S <b> 0: The image processing unit 16 acquires RGB data as an estimation material of the photographing light source from the image data in the image memory 15.
The RGB data at this stage does not have constant brightness and color signal levels due to differences in the pattern of the image data. Therefore, the image processing unit 16 standardizes the following formula to align the signal levels of RGB data.
Figure 2003085989
Step S1: The image processing unit 16 calculates color information based on the normalized R′G′B ′ component.
Here, the index value employed as the color information is preferably a value that has a one-to-one correspondence with the characteristics (for example, color temperature) of the photographing light source. Furthermore, a value that reacts sensitively to a difference in photographing light source is preferable.
In the first embodiment, the following color information is adopted from the viewpoint of well corresponding to the color temperature.
Figure 2003085989
FIG. 3 shows data obtained by obtaining a change in color information (B ′ / R ′) for an achromatic subject while changing the color temperature of the photographing light source. As shown in FIG. 3, the color information (B ′ / R ′) has a one-to-one correspondence with the color temperature of the photographing light source and is sensitive to changes in the color temperature of the photographing light source.
Step S2: Subsequently, the image processing unit 16 calculates gradation information based on the R′G′B ′ component of each pixel.
In the first embodiment, the following gradation information is adopted.
Figure 2003085989
Step S3: The image processing unit 16 classifies each pixel based on the color information and the gradation information obtained in this way, and obtains a frequency distribution as shown in FIG.
Hereinafter, the processing procedure until the frequency distribution of FIG. 6 is obtained will be specifically described.
FIG. 4 is an example of image data. This image data is taken in fine weather, and the color temperature of the photographing light source is approximately 6000K.
The image processing unit 16 calculates color information and gradation information using the above-described Expression 3 and Expression 4.
FIG. 5 shows a pixel distribution in which the color information and gradation information are plotted on a color-gradation space. The color-gradation space here is a space having the color and gradation as coordinate axes.
The image processing unit 16 provides a plurality of regions on this color-gradation space. The size of these regions may be a size that does not practically affect the estimation accuracy of the photographing light source. The shape of the region may be anything such as a rectangle or a circle.
In the first embodiment, an area defined by the following conditional expression is adopted as the plurality of areas.
Figure 2003085989
However, σ = 0.25 and kmax = 10.
In this conditional expression,
Tone classification k = 1, 2, 3... 10
Color classification (B '/ R') 0 = 0.0, 0.2, 0.4 ... 4.8
A plurality of areas are defined by combining and substituting the values of.
The image processing unit 16 substitutes the color information and gradation information of each pixel into this conditional expression, and searches for an area where the conditional expression is satisfied (that is, a value of gradation classification and color classification that satisfies the conditional expression). Each time the image processing unit 16 finds a region that satisfies the conditional expression, the image processing unit 16 increases the frequency of the region by “1”.
By such a counting process, a frequency distribution as shown in FIG. 6 is obtained.
Step S4: The image processing unit 16 normalizes the obtained frequency distribution for each gradation division k. Here, normalization is performed so that the maximum value of the frequency of the gradation classification k is “1000”. By such normalization, the frequency variation for each gradation division k is suppressed.
FIG. 7 is a diagram showing the frequency distribution after such normalization.
The normalized frequency distribution divided for each color classification corresponds to the “tone distribution in color units” in the first embodiment.
Step S5: The image processing unit 16 calculates the sum of the frequencies for each gradation distribution of the color units. Since the frequency variation for each gradation classification k is suppressed in step S4, the sum of the frequencies well reflects the degree of gradation variation. Therefore, the image processing unit 16 determines that the color information having a larger sum of the frequencies has more gradation variations and reflects the influence of the photographing light source.
FIG. 8 is a graph in which the sum of the frequencies is plotted with the value of the color information as the horizontal axis. In the case of the graph shown in FIG. 8, the color information 2.0 is determined as the color information that most reflects the influence of the photographing light source. From the correspondence graph shown in FIG. 3, the color temperature of the imaging light source at this time is approximately 6900K.
Step S6: The image processing unit 16 obtains a coefficient (white balance correction value) for correcting the color deviation of the image data by referring to the table based on the color information determined to reflect the influence of the photographing light source. That is, in the case of FIG. 8 described above, the image processing unit 16 obtains a white balance correction value for correcting the color balance of the color temperature 6900K.
Step S7: The image processing unit 16 performs white balance correction on the image data in the image memory 15 using the obtained white balance correction value.
[Effects of First Embodiment]
The estimated color temperature value 6900K in the first embodiment is slightly higher than the actual color temperature 6000K. However, since most of the current image data (FIG. 4) is a blue sky, there was a risk that it was originally estimated to be a higher color temperature. Considering this, it can be seen that in the present embodiment, a good estimation result is obtained in which the influence of the large area portion (blue sky) is moderately suppressed.
For example, in the prior art shown in FIG. 18, when a large area of blue sky is included, the frequency distribution is concentrated near the B axis. As a result, in this prior art, there is a possibility that a higher color temperature is estimated.
However, the present embodiment takes a frequency distribution as shown in FIG. Therefore, the frequency distribution S of the blue sky is widely dispersed in the axial direction of the color information, reflecting the subtle color change of the blue sky. Therefore, in the above-described processing, the blue sky frequency distribution S is subdivided into color information categories. As a result, in the evaluation for each color information category, the gradation variation of the blue sky is evaluated to be small. Therefore, in this embodiment, a good estimation result can be obtained without being confused by a large area of the blue sky.
That is, such a good estimation result is a result obtained by using gradation variations in color units as a scale. Usually, an object having various reflectances and reflection angles and various shadows exist in the object scene. Since the light from the imaging light source is modulated in the light and dark directions by these, there is a high probability that various gradations will be generated.
On the other hand, a unique color or sky blue that does not directly reflect the influence of the photographing light source appears in the image data including a limited gradation range of the color itself and a color change of the color itself.
Therefore, by using gradation variations in color units as a scale, it is possible to accurately estimate color information reflecting the influence of the photographing light source by eliminating the influence of these unique colors.
Furthermore, in the first embodiment, the frequency variation for each gradation section k is suppressed by the normalization process in step S4. Usually, the frequency for each gradation section varies depending on the pattern of the image data. This variation makes it difficult to determine gradation variations on a uniform scale. However, in the present invention, the frequency variation is reduced by the normalization process described above, and the frequency in the gradation direction is made as uniform as possible. Therefore, it becomes easy to determine the gradation variation on a uniform scale regardless of the difference in the design.
Next, another embodiment will be described.
<< Second Embodiment >>
The second embodiment is an embodiment corresponding to claims 1, 2, 3, 4, 7, and 9.
Note that the “configuration of the second embodiment” and the “correspondence with the invention” are the same as those of the first embodiment, and thus the description thereof is omitted here.
[Description of Operation of Second Embodiment]
FIG. 9 is a flowchart for explaining white balance correction in the second embodiment. The white balance correction processing operation will be described below in the order of step numbers shown in FIG.
Step S10: The same process as step S0 of the first embodiment.
Step S11: The same process as step S1 of the first embodiment.
Step S12: The same process as step S2 of the first embodiment.
Step S13: The same process as step S3 of the first embodiment.
Step S <b> 14: The image processing unit 16 compensates a small value that does not impair the overall tendency of the frequency distribution obtained in Step S <b> 13 at a frequency zero location of the frequency distribution. In this embodiment, the minimum frequency “1” is uniformly added to the entire frequency distribution (see FIG. 6).
Step S15: The image processing unit 16 normalizes the frequency distribution in the color-gradation space for each gradation division k. Here, normalization is performed so that the maximum value of the frequency in the gradation classification k is “1000”. By such normalization, the frequency variation for each gradation division k is suppressed.
FIG. 11 is a diagram showing the frequency distribution after this normalization.
The normalized frequency distribution divided for each color classification is the “tone distribution in color units” in the second embodiment.
Step S16: The image processing unit 16 calculates the product of the frequencies for each gradation distribution of these color units. The product of the frequencies well reflects the degree of gradation variation. That is, the image processing unit 16 determines that the color information having a larger frequency product has more gradation variations and reflects the influence of the photographing light source.
FIG. 10 is a graph in which the product of the frequency is plotted with the value of the color information as the horizontal axis. In the case of the graph shown in FIG. 10, the color information 1.8 is determined as the color information that most reflects the influence of the photographing light source. From the correspondence graph shown in FIG. 3, the color temperature of the photographing light source at this time is estimated to be approximately 6200K.
Step S17: The same process as step S6 of the first embodiment.
Step S18: The same process as step S7 of the first embodiment.
[Effects of Second Embodiment, etc.]
The estimated color temperature value 6200K in the second embodiment is a good estimation result in which the influence of the blue sky is well suppressed. Such a good estimation result is a result of estimating the photographing light source on the basis of the gradation variation.
In particular, in the second embodiment, the product of the frequencies is calculated for the gradation distribution in color units, and the gradation variation is determined based on the product value. In the calculation of this product, the difference in the gradation variation appears notably as the numerical value, so that the gradation variation can be clearly determined.
Further, in the second embodiment, the frequency variation for each gradation division k is suppressed by the normalization process in step S13. As a result, it is possible to more accurately determine the gradation variation by correcting the difference in gradation distribution depending on the pattern.
Furthermore, in the second embodiment, the zero frequency portion is compensated with a small value (here, the minimum frequency “1”) that does not impair the overall tendency of the frequency distribution. Therefore, when calculating the product of the frequencies, there is no need to bother to eliminate the frequency zero, and the calculation process can be simplified.
By the way, the places with zero frequency vary depending on the design. This variation is harmful when determining gradation variations. However, in this embodiment, the normalization process is executed after the zero frequency portion is compensated. As a result, the zero-frequency locations are comprehensively filled with uniform and appropriate power values (such as a column of k = 8 to 10 shown in FIG. 11). By determining the gradation variation using this envelope frequency distribution, it is possible to eliminate the occurrence of frequency zero due to the pattern (particularly, lack of gradation) and to determine the gradation variation accurately and easily. .
Next, another embodiment will be described.
<< Third Embodiment >>
The third embodiment is an embodiment corresponding to claims 1, 2, 3, 4, 7, and 9.
Note that the “configuration of the third embodiment” and the “correspondence with the invention” are the same as those of the first embodiment, and thus the description thereof is omitted here.
[Description of Operation of Third Embodiment]
FIG. 12 is a flowchart for explaining white balance correction in the third embodiment. The white balance correction processing operation will be described below in the order of step numbers shown in FIG.
Step S20: The same process as step S10 of the second embodiment.
Step S21: The same process as step S11 of the second embodiment.
Step S22: The same process as step S12 of the second embodiment.
Step S23: The same process as step S13 of the second embodiment.
Step S24: The same process as step S14 of the second embodiment.
Step S25: The image processing unit 16 normalizes the frequency distribution degree in the color-gradation space for each gradation division k. Here, normalization is performed so that the sum of the frequencies in the gradation classification k is “1000”. By such normalization, the frequency variation for each gradation division k is suppressed.
FIG. 14 is a diagram showing the frequency distribution after this normalization.
The normalized frequency distribution divided for each color classification is “tone distribution in color units” in the third embodiment.
Step S26: The image processing unit 16 calculates the product of the frequencies for each gradation distribution of the color units. The product of the frequencies well reflects the degree of gradation variation. The image processing unit 16 determines that the color information having a larger frequency product has more gradation variations and reflects the influence of the photographing light source.
FIG. 13 is a graph in which the product of this frequency is plotted with the value of the color information as the horizontal axis. In the case of the graph shown in FIG. 13, the color information 1.8 is determined as the color information that most reflects the influence of the photographing light source. From the correspondence graph shown in FIG. 3, the color temperature of the imaging light source in this case is estimated to be approximately 6200K.
Step S27: The same process as step S17 of the second embodiment.
Step S28: The same process as step S18 of the second embodiment.
[Effects of the third embodiment, etc.]
Also in the third embodiment, substantially the same effect as in the second embodiment can be obtained.
<< Fourth Embodiment >>
The fourth embodiment is an embodiment corresponding to claims 1 to 7 and 9.
Note that the “configuration of the fourth embodiment” and the “correspondence with the invention” are the same as those of the first embodiment, and thus the description thereof is omitted here.
[Description of Operation of Fourth Embodiment]
FIG. 15 is a flowchart for explaining white balance correction in the fourth embodiment. The white balance correction processing operation will be described below in the order of step numbers shown in FIG.
Step S31: The image processing unit 16 divides the image data in the image memory 15 into a plurality of image areas. For example, the image data is divided into four vertical parts and six horizontal parts to create 24 image areas. Here, it is preferable to change the segment size of the image area according to the fineness and complexity of the color pattern in the image data. In addition, it is preferable to change the position of the dividing line of the image area in accordance with the positional relationship of the color pattern in the screen.
Step S32: The image processing unit 16 averages the pixel values for each RGB for each of the image areas to obtain an average color.
Step S33: The image processing unit 16 obtains (B / G) and (R / B) from the average color RGB data for each of the image regions. The image processing unit 16 uses the obtained (B / G) and (R / B) as a scale to determine whether or not the average color falls within a predetermined achromatic color range.
FIG. 16 is a diagram showing an achromatic color range A (a hatched range in FIG. 16) as an example. The achromatic color range A here is determined as follows.
First, a chromaticity space having (B / G) and (R / B) as coordinate axes is set, and a curve of the black body locus B is plotted on the chromaticity space. This black body locus B is limited in advance to a color temperature range normally expected as a photographing light source. That is, the upper limit range (for example, 14000K or more) and the lower limit range (for example, 2000K or less) of the color temperature of the photographing light source are previously removed from the black body locus B. On this chromaticity space, (1) a range close to the black body locus B and (2) a range in which it can be determined that the color of the photographing light source is reflected without being greatly affected by the subject-specific color, Achromatic color range A.
The specific achromatic color range A is preferably determined based on a subjective test such as whether each point on the chromaticity space is close to an achromatic color.
The image processing unit 16 determines whether or not each average color obtained in step S32 falls within the achromatic color range. From this determination result, the image processing unit 16 selects a plurality of image areas that have an average color within the achromatic color range.
The image areas indicated by numbers in FIG. 17 are image areas selected in this way. On the other hand, the image region indicated by “−” in FIG. 17 is an image region that was not selected because the average color was out of the achromatic color range A.
Incidentally, the original image in FIG. 17 is an image taken at an amusement park, and is an image in which chromatic colors peculiar to the amusement park are locally arranged.
Step S34: The image processing unit 16 counts the number of selected image areas.
Here, when it is determined that the number of selected image areas is equal to or less than the predetermined number and is too narrow to obtain the color information of the photographing light source, the image processing unit 16 shifts the operation to step S35.
On the other hand, if it is determined that the number of selected image areas is larger than the predetermined number and sufficient for obtaining the color information of the photographing light source, the image processing unit 16 shifts the operation to step S36.
Step S35: Here, since the number of selected image areas is small, a situation in which chromatic colors occupy the entire image data is expected. In this case, the image processing unit 16 gives up estimating the photographing light source from the image data, and selects a preset standard white balance correction value (a preset value or the like). The image processing unit 16 shifts the operation to step S40 in order to perform the adjustment according to the standard white balance correction value.
Step S36: Here, since the number of selected image regions is larger than the predetermined number, the photographing light source estimation is continued. That is, the image processing unit 16 obtains a gradation distribution in color units for each selected image area. Note that the details of this processing are the same as those in the first to third embodiments except that the processing is performed for each individual image region, and thus description thereof is omitted here.
Step S37: The image processing unit 16 obtains color information with a large number of gradation variations from the gradation distribution in color units in each of the selected image areas. Note that the details of this processing are the same as those in the first to third embodiments except that the processing is performed for each individual image region, and thus description thereof is omitted here.
In FIG. 17, the numerical value shown for each image area is the (B / R) value of the color information that gives the maximum gradation variation in the image area.
Step S38: The image processing unit 16 removes the maximum value and the minimum value from the color information obtained in Step S37 as extreme values. The image processing unit 16 takes the average of the remaining color information and sets it as a representative value of the color information. The image processing unit 16 determines that the representative value of the color information is color information that reflects the influence of the photographing light source.
In the case of FIG. 17, the maximum value 3.9 and the minimum value 0.7 are removed from the color information, and the average value is taken for the remaining color information, so that the representative value (B / R) = 1.56. This value corresponds to a color temperature of about 5500K.
Note that the calculation for obtaining the representative value here is not limited only to the average calculation. For example, the representative value may be obtained by median calculation or majority calculation.
Further, the representative value may be obtained by a weighted average calculation in which the weight is changed according to the position in the screen of each image area. In this case, the weight at the center of the screen may be increased, or the weight of the selected portion of the focus detection area may be increased.
Step S39: The image processing unit 16 obtains a coefficient (white balance correction value) for correcting the color deviation of the image data based on the representative value of the color information by referring to the table.
Step S40: The image processing unit 16 performs white balance correction on the image data in the image memory 15 using the obtained white balance correction value.
[Effects of Fourth Embodiment]
As described above, in the fourth embodiment, the photographing light source is estimated by limiting the range to an image region in which the average color is within the achromatic color range. In this case, since the image area biased to the specific color is previously removed from the image data, there is an advantage that the photographing light source can be accurately estimated without being affected by the specific color.
Furthermore, in the fourth embodiment, the state of the photographing light source is individually analyzed for each image region, and finally, a representative value is obtained from these individual analysis results. Therefore, the influence of the local color in the screen can be confined to the local image area. As a result, the influence of local chromatic colors does not affect the analysis results of other image areas.
Further, the influence of this local chromatic color can be eliminated in the process of calculating the representative value in step S38. As a result, there is an advantage that the photographing light source can be estimated more accurately.
Hereinafter, the effects of the fourth embodiment will be shown from the experimental results compared with other white balance adjustments.
First, the following white balance adjustments were performed for image data of 60 scenes outdoors and indoors.
(A) White balance adjustment that converts the average color of the entire screen to an achromatic color
(B) White balance adjustment that selects only areas where the average color is close to an achromatic color from the image data and converts the average color of the area to an achromatic color
(C) White balance adjustment of the fourth embodiment
An error δ between the white balance correction values Wb and Wr obtained by these three methods and the white balance correction values Wbo and Wro obtained from the original photographing light source is represented by:
Figure 2003085989
Calculated by Then, the average of the error δ for 60 scenes is
Method (A): 0.432
Method (B) ... 0.282
Method (C) ... 0.202
Met. From this result, (C) which is the fourth embodiment is the white balance correction closest to the correct answer among the three methods.
<< Additional items of embodiment >>
In the embodiment described above, the electronic camera 11 has been described. However, the present invention is not limited to this. For example, an image processing program (corresponding to claim 8) may be created by converting the above-described processing operation into a program code. By using such an image processing program, the computer can execute the white balance correction of the present embodiment.
It is also preferable to provide a service for the image processing method of the present embodiment via a communication line such as the Internet. For example, a server such as an image album or print service can provide image processing services such as the above-described analysis of the photographic light source and white balance adjustment for image data uploaded from a client.
In the above-described embodiment, the gradation variation is determined by the sum or product of the frequencies. However, the present invention is not limited to this. The gradation variation can be determined by obtaining the degree of spread of the gradation distribution in color units. For example, the gradation variation may be determined from the dispersion value (standard deviation) of the gradation distribution in color units.
In the above-described embodiment, the color information with the largest gradation variation is selected and used as the color information reflecting the influence of the photographing light source. However, the present invention is not limited to this. For example, the color information with the most gradation variations may be accurately obtained by detecting the peak position after interpolating the gradation variations near the peak. Such a process makes it possible to accurately determine the difference between the photographing light sources.
In the above-described embodiment, the normalization process is performed after the small value “1” is compensated for in the portion of the frequency zero. However, the present invention is not limited to this. For example, the processing may be performed in the order of normalization processing and compensation.
In the embodiment described above, (B / R) is adopted as the color information. However, the present invention is not limited to this. In general, the color information is preferably a color index value, a color scale, or a color characteristic that varies depending on a difference in photographing light source. For example, (BR), hue, chromaticity, or chromaticity coordinates may be employed as the color information.
Figure 2003085989
However, the present invention is not limited to this. In general, the gradation information includes gradation index values and gradation values that derive various variations when the light from the photographic light source is modulated by the shadow or reflectance of the object scene or the angle of the illuminated surface. It is preferable to have scale and gradation characteristics. For example, a luminance value, a color component value, etc. may be adopted as the gradation information.
In the above-described embodiment, the photographing light source is estimated using only the gradation variation as a scale. However, the present invention is not limited to this. Of course, the photographic light source may be estimated more precisely by combining the present invention with other estimation techniques.
The present invention can be implemented in various other forms without departing from the spirit or main features thereof. For this reason, the above-described embodiments are merely examples in all respects and should not be interpreted in a limited manner. The scope of the present invention is indicated by the scope of claims, and is not restricted by the text of the specification. Further, all modifications and changes belonging to the equivalent scope of the claims are within the scope of the present invention.
Industrial applicability
As described above, according to the present invention, gradation variations are obtained for each color unit, and it is determined that the color information having more gradation variations has a stronger influence of the photographing light source.
The inventor of the present application has found that the color information reflecting the influence of the photographing light source has many gradation variations, and the color information with little influence of the photographing light source has limited gradation variations. The present invention makes it possible to accurately detect color information that reflects the influence of the photographing light source by utilizing this knowledge.
[Brief description of the drawings]
The above-described object and other objects in the present invention can be easily confirmed by the following description and the accompanying drawings.
FIG. 1 is a diagram illustrating a configuration of an electronic camera 11 (including an image processing apparatus).
FIG. 2 is a flowchart for explaining white balance correction in the first embodiment.
FIG. 3 is a graph showing the locus of the color information (B ′ / R ′) of the achromatic object while changing the color temperature of the photographing light source.
FIG. 4 is a diagram created by dithering the image data in order to show an example of the pattern of the image data.
FIG. 5 is a distribution diagram in which color information and gradation information for each pixel are plotted on a color-gradation space.
FIG. 6 shows a frequency distribution in the color-gradation space.
FIG. 7 shows a frequency distribution after normalization.
FIG. 8 is a graph showing the sum of frequencies.
FIG. 9 is a flowchart for explaining white balance correction in the second embodiment.
FIG. 10 is a graph showing the product of frequencies.
FIG. 11 shows a frequency distribution after normalization.
FIG. 12 is a flowchart for explaining white balance correction in the third embodiment.
FIG. 13 is a graph showing the product of the frequencies.
FIG. 14 is a diagram illustrating the frequency distribution after normalization.
FIG. 15 is a flowchart for explaining white balance correction in the fourth embodiment.
FIG. 16 is a diagram illustrating an example of an achromatic color range used for selecting an image region.
FIG. 17 is a diagram illustrating a result of obtaining color information with many gradation variations in units of image areas.
FIG. 18 is a diagram illustrating a relationship between “pixel distribution plotted in the RB color space” and “color temperature of the imaging light source”.

Claims (9)

複数の画素のデータを含む画像データを処理して、前記画像データの撮影光源に関する情報を求める画像処理装置であって、
前記画素が有する色情報および階調情報を基準にして、前記色情報の区分ごとに前記階調情報の度数分布（以下『色単位の階調分布』という）を求める分類部と、
前記色単位の階調分布から階調のバリエーションを色単位に評価し、前記階調バリエーションが多いと評価された色情報を、前記撮影光源の影響を反映した色情報と判定する判定部と
を備えたことを特徴とする画像処理装置。An image processing apparatus that processes image data including data of a plurality of pixels and obtains information on a photographing light source of the image data,
A classification unit that obtains a frequency distribution of the gradation information (hereinafter referred to as “gradation distribution in color units”) for each classification of the color information on the basis of color information and gradation information that the pixel has;
A determination unit that evaluates gradation variations from the gradation distribution of the color units in color units, and determines color information that is evaluated as having a large number of gradation variations as color information that reflects the influence of the imaging light source; An image processing apparatus comprising the image processing apparatus. 請求項１に記載の画像処理装置において、
前記判定部は、
前記色単位の階調分布について度数の積を算出し、前記積の値に基づいて前記階調バリエーションを評価する
ことを特徴とする画像処理装置。The image processing apparatus according to claim 1.
The determination unit
An image processing apparatus, comprising: calculating a product of frequencies with respect to the gradation distribution of each color unit; and evaluating the gradation variation based on the value of the product. 請求項１ないし請求項２のいずれか１項に記載の画像処理装置において、
前記分類部は、
前記画素の前記色情報および前記階調情報を基準にして、色−階調空間上の度数分布を求める空間分類部と、
前記度数分布を前記階調情報の区分ごとに正規化して、前記階調情報の値の違いによる度数バラツキを抑制する正規化部とを備え、
前記分類部は、前記正規化部により正規化された前記度数分布から、前記色単位の階調分布を得る
ことを特徴とする画像処理装置。The image processing apparatus according to claim 1, wherein:
The classification unit includes:
A space classification unit for obtaining a frequency distribution in a color-gradation space on the basis of the color information and the gradation information of the pixel;
A normalization unit that normalizes the frequency distribution for each section of the gradation information and suppresses frequency variation due to a difference in the value of the gradation information;
The image processing apparatus according to claim 1, wherein the classification unit obtains the tone distribution of the color unit from the frequency distribution normalized by the normalization unit. 請求項３に記載の画像処理装置において、
前記正規化部は、
前記正規化に際して、前記度数分布の全体傾向を損なわない小さな値を、前記度数分布の度数ゼロの箇所に補填する
ことを特徴とする画像処理装置。The image processing apparatus according to claim 3.
The normalization unit includes:
An image processing apparatus characterized in that a small value that does not impair the overall tendency of the frequency distribution is compensated at the frequency zero point of the frequency distribution during the normalization. 請求項１ないし請求項４のいずれか１項に記載の画像処理装置において、
前記分類部は、
前記画像データを区分して得た複数の画像領域ごとに平均色を求め、予め定められた無彩色範囲に前記平均色が収まる画像領域を選抜し、選抜された前記画像領域について前記色単位の階調分布を求める
ことを特徴とする画像処理装置。The image processing apparatus according to any one of claims 1 to 4,
The classification unit includes:
An average color is obtained for each of a plurality of image areas obtained by dividing the image data, an image area in which the average color falls within a predetermined achromatic color range is selected, and the color unit is selected for the selected image area. An image processing apparatus characterized by obtaining a gradation distribution. 請求項１ないし請求項５のいずれか１項に記載の画像処理装置において、
前記分類部は、
前記画像データから部分的に抽出した複数の画像領域ごとに、前記色単位の階調分布を求め、
前記判定部は、
前記画像領域ごとに求めた前記色単位の階調分布に基づいて、個々の前記画像領域ごとに『階調バリエーションの多い色情報』を求め、これら『階調バリエーションの多い色情報』から代表値を算出して、前記撮影光源の影響を反映した色情報と判定する
ことを特徴とする画像処理装置。The image processing apparatus according to any one of claims 1 to 5,
The classification unit includes:
For each of a plurality of image regions partially extracted from the image data, obtain a gradation distribution of the color unit,
The determination unit
Based on the gradation distribution of the color unit obtained for each image area, “color information with many gradation variations” is obtained for each of the image areas, and representative values are obtained from these “color information with many gradation variations”. And determining the color information reflecting the influence of the photographic light source. 請求項１ないし請求項６のいずれか１項に記載の画像処理装置において、
前記判定部は、前記撮影光源の影響を反映すると判定された前記色情報に基づいて、前記画像データのホワイトバランス補正を行う
ことを特徴とする画像処理装置。The image processing apparatus according to any one of claims 1 to 6,
The image processing apparatus according to claim 1, wherein the determination unit performs white balance correction of the image data based on the color information determined to reflect the influence of the photographing light source. コンピュータを、請求項１ないし請求項７のいずれか１項に記載の前記分類部および前記判定部として機能させる
ことを特徴とする画像処理プログラム。An image processing program causing a computer to function as the classification unit and the determination unit according to any one of claims 1 to 7. 複数の画素のデータを含む画像データを処理して、前記画像データの撮影光源に関する情報を求める画像処理方法であって、
前記画素が有する色情報および階調情報を基準にして、前記色情報の区分ごとに前記階調情報の度数分布（以下『色単位の階調分布』という）を求める分類ステップと、
前記色単位の階調分布から階調のバリエーションを色単位に評価し、前記階調バリエーションが多いと評価された色情報を、前記撮影光源の影響を反映した色情報と判定する判定ステップと
を有することを特徴とする画像処理方法。An image processing method for processing image data including data of a plurality of pixels to obtain information on a photographing light source of the image data,
A classification step for obtaining a frequency distribution of the gradation information (hereinafter referred to as “gradation distribution in color units”) for each classification of the color information on the basis of color information and gradation information of the pixel;
A determination step of evaluating gradation variations from the gradation distribution of the color units in color units, and determining color information evaluated as having a large number of gradation variations as color information reflecting the influence of the photographing light source. An image processing method comprising:
JP2003583033A 2002-04-04 2003-04-04 Image processing apparatus, image processing program, and image processing method Expired - Lifetime JP3801177B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2002102902 2002-04-04
JP2002102902 2002-04-04
PCT/JP2003/004327 WO2003085989A1 (en) 2002-04-04 2003-04-04 Image processing device, image processing program, and image processing method

Publications (2)

Publication Number Publication Date
JPWO2003085989A1 true JPWO2003085989A1 (en) 2005-08-18
JP3801177B2 JP3801177B2 (en) 2006-07-26

Family

ID=28786277

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003583033A Expired - Lifetime JP3801177B2 (en) 2002-04-04 2003-04-04 Image processing apparatus, image processing program, and image processing method

Country Status (3)

Country Link
JP (1) JP3801177B2 (en)
AU (1) AU2003221024A1 (en)
WO (1) WO2003085989A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4947624B2 (en) * 2006-04-21 2012-06-06 株式会社メガチップス White balance adjustment method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3052592B2 (en) * 1992-08-21 2000-06-12 松下電器産業株式会社 Light source estimation device
JP2000148978A (en) * 1998-11-10 2000-05-30 Fuji Photo Film Co Ltd Method and device for estimating photographic light source, method and device for processing image and recording medium
JP4288395B2 (en) * 1999-01-20 2009-07-01 株式会社ニコン Electronic camera with white balance adjustment function
JP4081213B2 (en) * 1999-10-04 2008-04-23 イーストマン コダック カンパニー Auto white balance apparatus and method

Also Published As

Publication number Publication date
AU2003221024A1 (en) 2003-10-20
WO2003085989A1 (en) 2003-10-16
JP3801177B2 (en) 2006-07-26

Similar Documents

Publication Publication Date Title
US8265420B2 (en) Digital image exposure correction
CN110022469B (en) Image processing method, image processing device, storage medium and electronic equipment
US7916173B2 (en) Method for detecting and selecting good quality image frames from video
JP3264273B2 (en) Automatic color correction device, automatic color correction method, and recording medium storing control program for the same
JP4478155B2 (en) Image correction apparatus and method, and image correction program
JP5056780B2 (en) Image processing device
US20150097985A1 (en) Compensating for sensor saturation and microlens modulation during light-field image processing
WO2004045219A1 (en) Light source estimating device, light source estimating method, and imaging device and image processing method
JP4045645B2 (en) Interpolation processing apparatus and recording medium recording interpolation processing program
US20090309998A1 (en) Electronic image capture with reduced noise
CN108668093A (en) The generation method and device of HDR image
JP2001141569A (en) Illumination chromaticity estimating/converting device with recognized light source and highlight used, its method, and computer-readable recording medium with program recorded for it
TWI549511B (en) Image sensing apparatus and color-correction matrix correcting method and look-up table establishing method
US9978128B2 (en) Image processing appartatus and method, recording medium storing image processing program readable by computer, and imaging apparatus
US20040196383A1 (en) Image pickup device, white balance processing method, program, and storage medium
JP2005277981A (en) Target image selection for image processing
US20040234155A1 (en) Image-processing device, electronic camera, image-processing program, and image-processing method
JPH11331738A (en) Method and device for processing image
JP4774757B2 (en) Image processing apparatus, image processing program, electronic camera, and image processing method
JP4356376B2 (en) Signal processing apparatus, signal processing program, and electronic camera
US8026954B2 (en) System and computer-readable medium for automatic white balancing
JP3673092B2 (en) Image quality adjusting apparatus, image quality adjusting method, and recording medium recording image adjusting program
JP3801177B2 (en) Image processing apparatus, image processing program, and image processing method
JP4950582B2 (en) Video signal processing device
JP2006114006A (en) Gradation conversion apparatus, program, electronic camera, and method therefor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060424

R150 Certificate of patent or registration of utility model

Ref document number: 3801177

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120512

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150512

Year of fee payment: 9

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150512

Year of fee payment: 9

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150512

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term