JP2000311243A - 画像色補正方法及び装置 - Google Patents
画像色補正方法及び装置Info
- Publication number
- JP2000311243A JP2000311243A JP11122734A JP12273499A JP2000311243A JP 2000311243 A JP2000311243 A JP 2000311243A JP 11122734 A JP11122734 A JP 11122734A JP 12273499 A JP12273499 A JP 12273499A JP 2000311243 A JP2000311243 A JP 2000311243A
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- neural network
- electronic camera
- color correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Abstract
(57)【要約】
【課題】 電子カメラの特性に適合した逆写像を生成し
て高精度な色再現を可能とし、また、どのような光源で
撮像した画像に対しても常に適切な逆写像を与えること
を可能とする。 【解決手段】 電子カメラによって撮像されたカラー画
像の色誤差の補正を行う画像色補正装置であり、電子カ
メラにより撮像されたカラー画像データから、代表的な
複数の光源＃１，＃２，＃３，・・・のそれぞれに対応
した別個のニューラルネットワークを用いて色変換逆写
像を求めるニューラルネットワークモジュール２１，２
２，２３，・・・と、それら各ニューラルネットワーク
モジュールの出力信号から所望の信号を出力する出力処
理モジュール１１とを備え、当該出力処理モジュール１
１から出力された色変換逆写像に対して色誤差の補正を
行う。
て高精度な色再現を可能とし、また、どのような光源で
撮像した画像に対しても常に適切な逆写像を与えること
を可能とする。 【解決手段】 電子カメラによって撮像されたカラー画
像の色誤差の補正を行う画像色補正装置であり、電子カ
メラにより撮像されたカラー画像データから、代表的な
複数の光源＃１，＃２，＃３，・・・のそれぞれに対応
した別個のニューラルネットワークを用いて色変換逆写
像を求めるニューラルネットワークモジュール２１，２
２，２３，・・・と、それら各ニューラルネットワーク
モジュールの出力信号から所望の信号を出力する出力処
理モジュール１１とを備え、当該出力処理モジュール１
１から出力された色変換逆写像に対して色誤差の補正を
行う。
Description
【０００１】
【発明の属する技術分野】本発明は、例えば電子カメラ
等により得られるカラー画像データの色補正を行う画像
色補正方法及び装置に関する。
等により得られるカラー画像データの色補正を行う画像
色補正方法及び装置に関する。
【０００２】
【従来の技術】従来より、例えば電子カメラによって撮
像したカラー画像に対して高精度な色再現性が求められ
る場合は、一般に、画像データを取り扱うコンピュータ
上においてＩＣＣプロファイルフォーマットに即した方
式、すなわちカラー画像データを一旦元の測色空間（Ｘ
ＹＺ又はＬ*ａ*ｂ）へ変換する手続きを経た後、色補正
を行うようになされている。このような色補正を行うた
めには、電子カメラが撮像したカラー画像の色情報をど
のような出力信号に変換しているのかを示す色変換写像
の逆写像を求める必要がある。
像したカラー画像に対して高精度な色再現性が求められ
る場合は、一般に、画像データを取り扱うコンピュータ
上においてＩＣＣプロファイルフォーマットに即した方
式、すなわちカラー画像データを一旦元の測色空間（Ｘ
ＹＺ又はＬ*ａ*ｂ）へ変換する手続きを経た後、色補正
を行うようになされている。このような色補正を行うた
めには、電子カメラが撮像したカラー画像の色情報をど
のような出力信号に変換しているのかを示す色変換写像
の逆写像を求める必要がある。
【０００３】従来は、このような電子カメラの色補正に
必要な色変換の逆写像の生成のために、イメージスキャ
ナで使用されている方式を応用するのが一般的である。
必要な色変換の逆写像の生成のために、イメージスキャ
ナで使用されている方式を応用するのが一般的である。
【０００４】図４には、多くの電子カメラやイメージス
キャナに採用されている信号処理のための基本的な構成
例を示す。
キャナに採用されている信号処理のための基本的な構成
例を示す。
【０００５】この図４において、端子１０１〜１０３は
被写体光のＸＹＺ色空間に対応するデータであり、これ
らデータが画像センサ（イメージセンサ）１０４に入力
されるものとしてモデル化している。当該画像センサ１
０４からは色変換後のＲＧＢのデータが出力され、これ
らＲＧＢのデータはそれぞれ対応する１次元ルックアッ
プテーブル（１Ｄ−ＬＵＴ）１５１〜１５３からなるガ
ンマ補正回路１０５にてガンマ補正される。ガンマ補正
回路１０５から出力されたＲＧＢのデータは、それぞれ
対応する端子１０６〜１０８より出力される。なお、出
力色空間を輝度と色差、すなわちＹＣＣにする場合に
は、これら端子１０６〜１０８より出力されたＲＧＢの
データを、３×３マトリクス回路１０９にてマトリクス
演算することにより、ＹＣＣのデータに変換する。これ
らＹＣＣのデータはそれぞれ対応する端子１１０〜１１
２より出力される。
被写体光のＸＹＺ色空間に対応するデータであり、これ
らデータが画像センサ（イメージセンサ）１０４に入力
されるものとしてモデル化している。当該画像センサ１
０４からは色変換後のＲＧＢのデータが出力され、これ
らＲＧＢのデータはそれぞれ対応する１次元ルックアッ
プテーブル（１Ｄ−ＬＵＴ）１５１〜１５３からなるガ
ンマ補正回路１０５にてガンマ補正される。ガンマ補正
回路１０５から出力されたＲＧＢのデータは、それぞれ
対応する端子１０６〜１０８より出力される。なお、出
力色空間を輝度と色差、すなわちＹＣＣにする場合に
は、これら端子１０６〜１０８より出力されたＲＧＢの
データを、３×３マトリクス回路１０９にてマトリクス
演算することにより、ＹＣＣのデータに変換する。これ
らＹＣＣのデータはそれぞれ対応する端子１１０〜１１
２より出力される。
【０００６】一方、上記図４の構成により得られたＲＧ
Ｂ或いはＹＣＣのデータに対して、電子カメラの色変換
特性の逆写像を生成する場合には、図５に示すような構
成が用いられる。
Ｂ或いはＹＣＣのデータに対して、電子カメラの色変換
特性の逆写像を生成する場合には、図５に示すような構
成が用いられる。
【０００７】この図５において、端子１１０〜１１２に
は、図４の構成にて出力色空間をＹＣＣとしたときのＹ
ＣＣのデータが入力される。これらＹＣＣのデータは、
３×３マトリクス回路１２２にてマトリクス演算されて
ＲＧＢのデータに変換される。このＲＧＢのデータはそ
れぞれ対応する端子１１６〜１１８に送られる。また、
図４の構成にてＲＧＢのデータを出力する場合には、当
該端子１１６〜１１８に直接ＲＧＢのデータが入力され
る。端子１１６〜１１８に入力されたＲＧＢのデータ
は、それぞれ対応する１次元ルックアップテーブル（１
Ｄ−ＬＵＴ）１６１〜１６３にて補正処理された後、３
×３マトリクス回路１２４によるマトリクス演算により
ＸＹＺのデータに変換される。これらＸＹＺのデータ
は、それぞれ対応する端子１１９〜１２１より出力され
る。
は、図４の構成にて出力色空間をＹＣＣとしたときのＹ
ＣＣのデータが入力される。これらＹＣＣのデータは、
３×３マトリクス回路１２２にてマトリクス演算されて
ＲＧＢのデータに変換される。このＲＧＢのデータはそ
れぞれ対応する端子１１６〜１１８に送られる。また、
図４の構成にてＲＧＢのデータを出力する場合には、当
該端子１１６〜１１８に直接ＲＧＢのデータが入力され
る。端子１１６〜１１８に入力されたＲＧＢのデータ
は、それぞれ対応する１次元ルックアップテーブル（１
Ｄ−ＬＵＴ）１６１〜１６３にて補正処理された後、３
×３マトリクス回路１２４によるマトリクス演算により
ＸＹＺのデータに変換される。これらＸＹＺのデータ
は、それぞれ対応する端子１１９〜１２１より出力され
る。
【０００８】これら図４及び図５から明らかなように、
図５は図４の逆方向モデルである。また、図５の構成で
は、図４の画像センサ１０４の色変換特性（ＸＹＺ→Ｒ
ＧＢ）の逆変換が、線形変換で近似されている。ここ
で、電子カメラの色信号処理理論によれば、電子カメラ
の色変換特性はＣＩＥ（国際照明委員会）で定めるｘｙ
ｚ等色関数の線形結合で表されるのが理想であるとさ
れ、画像センサや色分解プリズムの色特性設計指標とな
っている。したがって、通常ならば画像センサの色変換
特性を線形変換で近似することは妥当であり、誤差も少
ないものと考えてよい。
図５は図４の逆方向モデルである。また、図５の構成で
は、図４の画像センサ１０４の色変換特性（ＸＹＺ→Ｒ
ＧＢ）の逆変換が、線形変換で近似されている。ここ
で、電子カメラの色信号処理理論によれば、電子カメラ
の色変換特性はＣＩＥ（国際照明委員会）で定めるｘｙ
ｚ等色関数の線形結合で表されるのが理想であるとさ
れ、画像センサや色分解プリズムの色特性設計指標とな
っている。したがって、通常ならば画像センサの色変換
特性を線形変換で近似することは妥当であり、誤差も少
ないものと考えてよい。
【０００９】
【発明が解決しようとする課題】しかしながら、実際に
は、図５のような逆写像生成のための構成を適用するこ
とが妥当でなくなるケースも存在する。これは主に、次
の２つケースの場合である。
は、図５のような逆写像生成のための構成を適用するこ
とが妥当でなくなるケースも存在する。これは主に、次
の２つケースの場合である。
【００１０】第１のケースとして、画像センサの色変換
特性が等色関数ｘｙｚの線形変換に十分近くないときで
ある。これは、比較的低精度な民生用の電子カメラ画像
を色補正して、比較的高精度な色再現性を要求する場合
などに問題となる。
特性が等色関数ｘｙｚの線形変換に十分近くないときで
ある。これは、比較的低精度な民生用の電子カメラ画像
を色補正して、比較的高精度な色再現性を要求する場合
などに問題となる。
【００１１】第２のケースとして、電子カメラ内部の信
号処理方式が、図４に示したような処理方式と異なると
きである。その一例として、図６に示すような補色ＣＣ
Ｄカラーカメラの信号処理のための構成が考えられる。
号処理方式が、図４に示したような処理方式と異なると
きである。その一例として、図６に示すような補色ＣＣ
Ｄカラーカメラの信号処理のための構成が考えられる。
【００１２】この図６において、端子１０１〜１０３は
被写体光のＸＹＺ色空間に対応するデータであり、これ
らデータが画像センサ（イメージセンサ）１３１に入力
されるものとしている。当該画像センサ１３１からは色
変換後のシアン、マゼンタ、イエロー、グリーン（ＣＭ
ＹＧ）のデータが出力され、これらＣＭＹＧのデータは
４×３マトリクス回路１３２と３×３マトリクス回路１
３３にてマトリクス演算された後、１次元ルックアップ
テーブル（１Ｄ−ＬＵＴ）１７１〜１７３からなるガン
マ補正回路１３４にてガンマ補正される。当該ガンマ補
正回路１３４から出力されたデータは、さらに２×３マ
トリクス回路１３５にてマトリクス演算され、ＵＶのデ
ータとしてそれぞれ対応する端子１３７〜１３８より出
力される。なお、ＹＣＣのＹのデータについては、４×
３マトリクス回路１７４の出力から１Ｄ−ＬＵＴ１７４
を介して生成され、端子１３６より出力される。
被写体光のＸＹＺ色空間に対応するデータであり、これ
らデータが画像センサ（イメージセンサ）１３１に入力
されるものとしている。当該画像センサ１３１からは色
変換後のシアン、マゼンタ、イエロー、グリーン（ＣＭ
ＹＧ）のデータが出力され、これらＣＭＹＧのデータは
４×３マトリクス回路１３２と３×３マトリクス回路１
３３にてマトリクス演算された後、１次元ルックアップ
テーブル（１Ｄ−ＬＵＴ）１７１〜１７３からなるガン
マ補正回路１３４にてガンマ補正される。当該ガンマ補
正回路１３４から出力されたデータは、さらに２×３マ
トリクス回路１３５にてマトリクス演算され、ＵＶのデ
ータとしてそれぞれ対応する端子１３７〜１３８より出
力される。なお、ＹＣＣのＹのデータについては、４×
３マトリクス回路１７４の出力から１Ｄ−ＬＵＴ１７４
を介して生成され、端子１３６より出力される。
【００１３】上記第２のケースの例として挙げた上記図
６のような構成は、現在多くの民生用電子カメラに使用
されている補色方式カメラの構成であるが、図５の逆変
換モデルとは構造的に一致しておらず、したがって図５
の構成では高精度な逆写像を発生することはできない。
また、この図６の構成の場合は、図４と図５の関係に相
当するような、新たな補色カメラ用逆方向モデルを簡単
に構成することはできない。すなわちそれは、内部処理
で色空間の次元が一旦一つ増加するという理由による。
６のような構成は、現在多くの民生用電子カメラに使用
されている補色方式カメラの構成であるが、図５の逆変
換モデルとは構造的に一致しておらず、したがって図５
の構成では高精度な逆写像を発生することはできない。
また、この図６の構成の場合は、図４と図５の関係に相
当するような、新たな補色カメラ用逆方向モデルを簡単
に構成することはできない。すなわちそれは、内部処理
で色空間の次元が一旦一つ増加するという理由による。
【００１４】さらに、電子カメラ特有の課題として、光
源の変化の問題がある。すなわち、電子カメラの中で
は、撮像時の光源にかかわらず、白が白として記録され
るように、ＲＧＢの信号に与えるゲインを調整する、い
わゆるホワイトバランス（ＷＢ）調整と呼ばれる機能が
ある。電子カメラの色変換特性に含まれる理想からの誤
差は、このホワイトバランスの設定によって変化するの
が普通である。したがって、ある一つの光源に対して精
度の良い逆写像を求めたとしても、別の光源においては
それとは別の逆写像が必要とされる。
源の変化の問題がある。すなわち、電子カメラの中で
は、撮像時の光源にかかわらず、白が白として記録され
るように、ＲＧＢの信号に与えるゲインを調整する、い
わゆるホワイトバランス（ＷＢ）調整と呼ばれる機能が
ある。電子カメラの色変換特性に含まれる理想からの誤
差は、このホワイトバランスの設定によって変化するの
が普通である。したがって、ある一つの光源に対して精
度の良い逆写像を求めたとしても、別の光源においては
それとは別の逆写像が必要とされる。
【００１５】既存方式では、色の逆変換用プロファイル
データ（逆写像を実現するためのデータで、実際に色補
正を行う画像処理ソフトウェアがアクセスして使用する
もの）を、代表的な光源数種類について準備し、ユーザ
が色補正を行いたい画像に対して、それを撮像したとき
の光源の記憶知識をもとに、最も適合すると思われるも
のをセレクトする方式が採られている。この方式では、
ユーザに負担を強いるばかりか、プロファイルデータの
選択が不適切であったり、用意されたプロファイルデー
タの中に撮像時の光源にうまく適合するものが存在しな
い場合に、適切な補正が行われないという問題が生ず
る。
データ（逆写像を実現するためのデータで、実際に色補
正を行う画像処理ソフトウェアがアクセスして使用する
もの）を、代表的な光源数種類について準備し、ユーザ
が色補正を行いたい画像に対して、それを撮像したとき
の光源の記憶知識をもとに、最も適合すると思われるも
のをセレクトする方式が採られている。この方式では、
ユーザに負担を強いるばかりか、プロファイルデータの
選択が不適切であったり、用意されたプロファイルデー
タの中に撮像時の光源にうまく適合するものが存在しな
い場合に、適切な補正が行われないという問題が生ず
る。
【００１６】上述したように、従来方式の逆写像生成方
法では、イメージスキャナのそれを応用したものが主流
であり、この方式では、電子カメラ方式やカメラの特性
によっては十分な精度が得られないことがある。また、
常に、光源が一定であるイメージスキャナに対し、撮像
時の光源が特定できない電子カメラにおいて、どのよう
な光源で撮像した画像に対しても常に適切な逆写像を与
える方式は、現在のところ提案されていない。
法では、イメージスキャナのそれを応用したものが主流
であり、この方式では、電子カメラ方式やカメラの特性
によっては十分な精度が得られないことがある。また、
常に、光源が一定であるイメージスキャナに対し、撮像
時の光源が特定できない電子カメラにおいて、どのよう
な光源で撮像した画像に対しても常に適切な逆写像を与
える方式は、現在のところ提案されていない。
【００１７】そこで、本発明はこのような状況に鑑みて
なされたものであり、電子カメラの特性に適合した逆写
像を生成して高精度な色再現を可能とし、また、どのよ
うな光源で撮像した画像に対しても常に適切な逆写像を
与えることを可能とする、画像色補正方法及び装置を提
供することを目的とする。
なされたものであり、電子カメラの特性に適合した逆写
像を生成して高精度な色再現を可能とし、また、どのよ
うな光源で撮像した画像に対しても常に適切な逆写像を
与えることを可能とする、画像色補正方法及び装置を提
供することを目的とする。
【００１８】
【課題を解決するための手段】本発明の画像色補正方法
は、電子カメラによって撮像されたカラー画像の色誤差
の補正を行う画像色補正方法であり、電子カメラにより
撮像されたカラー画像データからニューラルネットワー
クを用いて色変換逆写像を求め、当該ニューラルネット
ワークを用いて求めた色変換逆写像に対して色誤差の補
正を行うことにより、上述した課題を解決する。
は、電子カメラによって撮像されたカラー画像の色誤差
の補正を行う画像色補正方法であり、電子カメラにより
撮像されたカラー画像データからニューラルネットワー
クを用いて色変換逆写像を求め、当該ニューラルネット
ワークを用いて求めた色変換逆写像に対して色誤差の補
正を行うことにより、上述した課題を解決する。
【００１９】本発明の画像色補正装置は、電子カメラに
よって撮像されたカラー画像の色誤差の補正を行う画像
色補正装置であり、電子カメラにより撮像されたカラー
画像データからニューラルネットワークを用いて色変換
逆写像を求める逆写像生成手段を備え、当該ニューラル
ネットワークを用いて求めた色変換逆写像に対して色誤
差の補正を行うことにより、上述した課題を解決する。
よって撮像されたカラー画像の色誤差の補正を行う画像
色補正装置であり、電子カメラにより撮像されたカラー
画像データからニューラルネットワークを用いて色変換
逆写像を求める逆写像生成手段を備え、当該ニューラル
ネットワークを用いて求めた色変換逆写像に対して色誤
差の補正を行うことにより、上述した課題を解決する。
【００２０】また、本発明の画像色補正方法及び装置で
は、代表的な複数の光源のそれぞれに対応した別個のニ
ューラルネットワーク或いはそれら各ニューラルネット
ワークの組み合わせを用いて、色変換逆写像を求めるこ
とにより、上述した課題を解決する。
は、代表的な複数の光源のそれぞれに対応した別個のニ
ューラルネットワーク或いはそれら各ニューラルネット
ワークの組み合わせを用いて、色変換逆写像を求めるこ
とにより、上述した課題を解決する。
【００２１】
【発明の実施の形態】本発明の好ましい実施の形態につ
いて、図面を参照しながら説明する。
いて、図面を参照しながら説明する。
【００２２】本発明が適用される一実施の形態の画像色
補正装置の構成を、図１に示す。
補正装置の構成を、図１に示す。
【００２３】この図１に示す本実施の形態の画像色補正
装置は、前述した色再現補正精度の問題を解決するた
め、電子カメラにおける色変換の逆写像の生成にいわゆ
るニューラルネットワークを導入している。
装置は、前述した色再現補正精度の問題を解決するた
め、電子カメラにおける色変換の逆写像の生成にいわゆ
るニューラルネットワークを導入している。
【００２４】すなわち、図１において、端子１〜３には
例えば前記図４の構成にて出力色空間をＹＣＣとしたと
きのＹＣＣのデータや、前記図６の構成にて出力された
ＹＣＣのデータが入力される。これらＹＣＣのデータ
は、ニューラルネット回路４によりＸＹＺのデータに変
換され、端子５〜７より出力される。なお、本実施の形
態のニューラルネット回路４にて行われる色補正方式
は、例えばプリンタなど、非線形性が強く簡単に図５の
ような逆構造モデルが作れない画像装置の色補正に関し
ては既に使用例があり、その具体的構成の図示は行わな
いが、現在のところ、電子カメラにこの方式を適用した
技術については存在していない。
例えば前記図４の構成にて出力色空間をＹＣＣとしたと
きのＹＣＣのデータや、前記図６の構成にて出力された
ＹＣＣのデータが入力される。これらＹＣＣのデータ
は、ニューラルネット回路４によりＸＹＺのデータに変
換され、端子５〜７より出力される。なお、本実施の形
態のニューラルネット回路４にて行われる色補正方式
は、例えばプリンタなど、非線形性が強く簡単に図５の
ような逆構造モデルが作れない画像装置の色補正に関し
ては既に使用例があり、その具体的構成の図示は行わな
いが、現在のところ、電子カメラにこの方式を適用した
技術については存在していない。
【００２５】ここで、電子カメラの色補正にニューラル
ネットワークの技術を適用した場合、当該ニューラルネ
ットの教示データ対としては、補正しようとする電子カ
メラにおいて色空間内に適度に均一に分布する色の組み
合わせ（以下、例えばカラーチャートとする）を撮像
し、その結果得られた電子カメラからの出力信号を入力
し、当該カラーチャートの測色値（ＸＹＺ）を所望する
出力とするようなデータセットを用いれば良い。ニュー
ラルネットワークの構成は、入出力層それぞれ３ノード
を持ち、層数、隠れ層のノード数は、要求される補正精
度などによって決定すればよい。また、ニューラルネッ
トワークの学習アルゴリズムも、例えばいわゆる最急降
下法や、最急降下法に慣性項を加えたもの、共役勾配法
その他、要求される精度や収束時間、計算量によって使
い分ければよい。
ネットワークの技術を適用した場合、当該ニューラルネ
ットの教示データ対としては、補正しようとする電子カ
メラにおいて色空間内に適度に均一に分布する色の組み
合わせ（以下、例えばカラーチャートとする）を撮像
し、その結果得られた電子カメラからの出力信号を入力
し、当該カラーチャートの測色値（ＸＹＺ）を所望する
出力とするようなデータセットを用いれば良い。ニュー
ラルネットワークの構成は、入出力層それぞれ３ノード
を持ち、層数、隠れ層のノード数は、要求される補正精
度などによって決定すればよい。また、ニューラルネッ
トワークの学習アルゴリズムも、例えばいわゆる最急降
下法や、最急降下法に慣性項を加えたもの、共役勾配法
その他、要求される精度や収束時間、計算量によって使
い分ければよい。
【００２６】次に、本発明実施の形態では、上記色再現
補正精度の問題を解決することに加え、さらに光源変化
に対する問題を解決するために、図２に示すように、入
力層５ノード、出力層３ノードのニューラルネットワー
クからなるニューラルネット回路１０を用いている。
補正精度の問題を解決することに加え、さらに光源変化
に対する問題を解決するために、図２に示すように、入
力層５ノード、出力層３ノードのニューラルネットワー
クからなるニューラルネット回路１０を用いている。
【００２７】すなわち、図２において、端子１〜３には
ＹＣＣのデータが、また、端子８，９には後述するＲＧ
Ｂ信号の比率（例えばＲ／Ｇ，Ｂ／Ｇ）のデータが入力
される。これらのデータは、ニューラルネット回路１０
によりＸＹＺのデータに変換され、端子５〜７より出力
される。
ＹＣＣのデータが、また、端子８，９には後述するＲＧ
Ｂ信号の比率（例えばＲ／Ｇ，Ｂ／Ｇ）のデータが入力
される。これらのデータは、ニューラルネット回路１０
によりＸＹＺのデータに変換され、端子５〜７より出力
される。
【００２８】ここで、この図２の例にて使用するニュー
ラルネットワークについては、例えば以下の方法を用い
て教育を行うようにする。
ラルネットワークについては、例えば以下の方法を用い
て教育を行うようにする。
【００２９】第１のステップとして、上記カラーチャー
トに対して、電子カメラからの出力信号と測色値の組に
よる教示データセットを、代表的な幾つかの光源＃１，
＃２，＃３，・・・に対して生成する。
トに対して、電子カメラからの出力信号と測色値の組に
よる教示データセットを、代表的な幾つかの光源＃１，
＃２，＃３，・・・に対して生成する。
【００３０】第２のステップとして、それぞれの光源＃
１，＃２，＃３，・・・について、ホワイトバランスを
合わせるために必要とされたゲインの情報、或いはその
光源における白を撮像した時の画像センサ出力における
ＲＧＢ信号の比率、例えばＲ／Ｇ，Ｂ／Ｇを教示データ
セットに加える。
１，＃２，＃３，・・・について、ホワイトバランスを
合わせるために必要とされたゲインの情報、或いはその
光源における白を撮像した時の画像センサ出力における
ＲＧＢ信号の比率、例えばＲ／Ｇ，Ｂ／Ｇを教示データ
セットに加える。
【００３１】第３のステップとして、単一光源と同様に
ニューラルネットワークを教育するが、教示データとし
て光源＃１撮像時のカラーチャートデータを提示してい
るときは、同時にニューラルネットの残る２つの入力ノ
ードに対し、その光源＃１におけるＲ／Ｇ，Ｂ／Ｇのデ
ータを同様に提示する。以下、光源＃２，＃３，・・・
でも同様に繰り返す。
ニューラルネットワークを教育するが、教示データとし
て光源＃１撮像時のカラーチャートデータを提示してい
るときは、同時にニューラルネットの残る２つの入力ノ
ードに対し、その光源＃１におけるＲ／Ｇ，Ｂ／Ｇのデ
ータを同様に提示する。以下、光源＃２，＃３，・・・
でも同様に繰り返す。
【００３２】以上の方法によって、光源に依存する色変
換特性の変化がニューラルネットワーク内に記憶され、
色補正時に撮像した時のホワイトバランスデータを参照
することで、自動的にその光源に適切な逆写像が生成さ
れることになる。なお、教示データに含まれていた光源
の何れにも一致しない光源においては、教示データに含
まれていた代表的な光源間の特性を補間した形で逆写像
を生成すれば、適切な逆写像を保つことができる。
換特性の変化がニューラルネットワーク内に記憶され、
色補正時に撮像した時のホワイトバランスデータを参照
することで、自動的にその光源に適切な逆写像が生成さ
れることになる。なお、教示データに含まれていた光源
の何れにも一致しない光源においては、教示データに含
まれていた代表的な光源間の特性を補間した形で逆写像
を生成すれば、適切な逆写像を保つことができる。
【００３３】本実施の形態では、上述したことを実現す
るために、以上の操作とともに、電子カメラに撮像され
た画像データ（例えばいわゆるＪＰＥＧ形式などのフォ
ーマットによるデータ）のコメント領域などに、撮像時
のホワイトバランスデータを書き込むこととする。ホワ
イトバランスデータは、通常数バイト以内で表現できる
データなので、ファイルの大きさに与える影響は無視で
きる。また、後述するように、画像の色補正時にホワイ
トバランスの高精度化を同時に行おうとするような場合
には、他に撮像時の露出データなど、光源推定の精度を
向上させるのに役立つデータを付加してもよい。
るために、以上の操作とともに、電子カメラに撮像され
た画像データ（例えばいわゆるＪＰＥＧ形式などのフォ
ーマットによるデータ）のコメント領域などに、撮像時
のホワイトバランスデータを書き込むこととする。ホワ
イトバランスデータは、通常数バイト以内で表現できる
データなので、ファイルの大きさに与える影響は無視で
きる。また、後述するように、画像の色補正時にホワイ
トバランスの高精度化を同時に行おうとするような場合
には、他に撮像時の露出データなど、光源推定の精度を
向上させるのに役立つデータを付加してもよい。
【００３４】図３には、代表的な幾つかの光源＃１，＃
２，＃３，・・・を用いたモジュラーニューラルネット
ワークによる電子カメラの多種光源補正のための具体的
な一構成例を示す。
２，＃３，・・・を用いたモジュラーニューラルネット
ワークによる電子カメラの多種光源補正のための具体的
な一構成例を示す。
【００３５】この図３の構成は、代表的な幾つかの光源
＃１，＃２，＃３，・・・に対する逆写像を全て別々の
モジュールで独立させて行い、より高精度な補正の実現
を目指すようにした構成例である。
＃１，＃２，＃３，・・・に対する逆写像を全て別々の
モジュールで独立させて行い、より高精度な補正の実現
を目指すようにした構成例である。
【００３６】この図３において、端子１〜３にはＹＣＣ
のデータが入力され、端子８，９にはＲＧＢ信号の比率
（Ｒ／Ｇ，Ｂ／Ｇ）のデータが入力される。ＹＣＣのデ
ータは、代表的な各光源＃１，＃２，＃３，・・・をそ
れぞれ単一光源とした場合の各単一光源に対する逆写像
を生成するための各ニューラルネットワークモジュール
２１，２２，２３，２４，・・・・に入力する。各ニュ
ーラルネットワークモジュール２１，２２，２３，２
４，・・・・の出力データは、一旦出力処理モジュール
１１に集められる。
のデータが入力され、端子８，９にはＲＧＢ信号の比率
（Ｒ／Ｇ，Ｂ／Ｇ）のデータが入力される。ＹＣＣのデ
ータは、代表的な各光源＃１，＃２，＃３，・・・をそ
れぞれ単一光源とした場合の各単一光源に対する逆写像
を生成するための各ニューラルネットワークモジュール
２１，２２，２３，２４，・・・・に入力する。各ニュ
ーラルネットワークモジュール２１，２２，２３，２
４，・・・・の出力データは、一旦出力処理モジュール
１１に集められる。
【００３７】出力処理モジュール１１は、端子８，９か
らのＲ／Ｇ，Ｂ／Ｇデータ、すなわちホワイトバランス
情報も入力される。当該出力処理モジュール１１では、
光源情報に基づいてどのモジュール２１，２２，２３，
２４，・・・・からの出力データを採用するか判断した
後、最終出力を行い、これら最終出力がＸＹＺのデータ
として端子５〜７より出力される。なおここで、当該判
断の方式としては、最も簡単には例えばあるニューラル
ネットワークモジュール一つの結果をセレクトする方法
でもよいが、例えば出力処理モジュール１１にニューラ
ルネットや例えばファジイメンバーシップ関数のセット
など、補間能力を持つユニットを使用するようにすれ
ば、当該出力処理モジュール１１からは、代表的な光源
以外の光源データが入力されたときにも適切に補間され
た逆写像が得られるような出力が得られることになる。
らのＲ／Ｇ，Ｂ／Ｇデータ、すなわちホワイトバランス
情報も入力される。当該出力処理モジュール１１では、
光源情報に基づいてどのモジュール２１，２２，２３，
２４，・・・・からの出力データを採用するか判断した
後、最終出力を行い、これら最終出力がＸＹＺのデータ
として端子５〜７より出力される。なおここで、当該判
断の方式としては、最も簡単には例えばあるニューラル
ネットワークモジュール一つの結果をセレクトする方法
でもよいが、例えば出力処理モジュール１１にニューラ
ルネットや例えばファジイメンバーシップ関数のセット
など、補間能力を持つユニットを使用するようにすれ
ば、当該出力処理モジュール１１からは、代表的な光源
以外の光源データが入力されたときにも適切に補間され
た逆写像が得られるような出力が得られることになる。
【００３８】また、この図３の全体のシステムを教育す
る方法としては、次のどの方式を用いてもよい。
る方法としては、次のどの方式を用いてもよい。
【００３９】第１の教育方式として、各光源に対応する
各ニューラルネットワークモジュールを、前述した図１
の単一光源の場合と同様に独立して教育する方式を用い
ることができる。この場合、出力処理モジュール１１
は、開発者の知見に基づき、Ｒ／Ｇ，Ｂ／Ｇ平面上にお
いて２次元のファジイメンバーシップ関数を、代表光源
の周りに分布させる形で設計する。
各ニューラルネットワークモジュールを、前述した図１
の単一光源の場合と同様に独立して教育する方式を用い
ることができる。この場合、出力処理モジュール１１
は、開発者の知見に基づき、Ｒ／Ｇ，Ｂ／Ｇ平面上にお
いて２次元のファジイメンバーシップ関数を、代表光源
の周りに分布させる形で設計する。
【００４０】第２の教育方式として、第１の教育方式と
同様であるが、出力処理モジュール１１に、入力された
Ｒ／Ｇ，Ｂ／Ｇデータに対してどのニューラルネットワ
ークモジュールからの出力をどの程度採用すべきかを教
育したニューラルネットワークを用いる。
同様であるが、出力処理モジュール１１に、入力された
Ｒ／Ｇ，Ｂ／Ｇデータに対してどのニューラルネットワ
ークモジュールからの出力をどの程度採用すべきかを教
育したニューラルネットワークを用いる。
【００４１】第３の教育方式として、構造は上記と同じ
であるが、全体のシステムをいわゆるＡＮＦＩＳなどの
Ｎｅｕｒｏ−Ｆｕｚｚｙアルゴリズムによって同時に教
育する。
であるが、全体のシステムをいわゆるＡＮＦＩＳなどの
Ｎｅｕｒｏ−Ｆｕｚｚｙアルゴリズムによって同時に教
育する。
【００４２】なお、この方式を適用する電子カメラの出
力画像データに付加する情報は、前述の図２で説明した
ものとと同様である。
力画像データに付加する情報は、前述の図２で説明した
ものとと同様である。
【００４３】また、応用例として、ニューラルネットワ
ークの入力部にタスク分配ユニット（モジュール）を配
し、入力されたＲ／Ｇ，Ｂ／Ｇのデータによって予めそ
の結果が最終出力に関係しないニューラルネットワーク
モジュールの計算を停止し、計算速度向上を図る方式を
用いても良い。
ークの入力部にタスク分配ユニット（モジュール）を配
し、入力されたＲ／Ｇ，Ｂ／Ｇのデータによって予めそ
の結果が最終出力に関係しないニューラルネットワーク
モジュールの計算を停止し、計算速度向上を図る方式を
用いても良い。
【００４４】これまでの説明では、ニューラルネットワ
ークの出力色空間は、ＸＹＺを用いているが、出力色空
間はＬ*ａ*ｂ*であっても良い。また、一旦測色空間へ
変換する必要のない色補正を行う場合、ＲＧＢ、ＹＣＣ
何れの空間を出力としても良い。これらは教示データの
出力色空間を変更するだけで簡単に可能である。なお、
輝度と色差信号による色空間をＹＣＣと総称しており、
このＹＣＣにはＹＣRＣB，ＹＰbＰr，ＹＵＶなどを全て
含む。
ークの出力色空間は、ＸＹＺを用いているが、出力色空
間はＬ*ａ*ｂ*であっても良い。また、一旦測色空間へ
変換する必要のない色補正を行う場合、ＲＧＢ、ＹＣＣ
何れの空間を出力としても良い。これらは教示データの
出力色空間を変更するだけで簡単に可能である。なお、
輝度と色差信号による色空間をＹＣＣと総称しており、
このＹＣＣにはＹＣRＣB，ＹＰbＰr，ＹＵＶなどを全て
含む。
【００４５】また、出力色空間をＸＹＺと定めた場合、
その空間は原画像の光源の色度情報で正規化したもので
はない。したがって、補正時の処理で、撮像時には行え
ないような光源推定方式を新たに導入することで、最終
的な色補正画像の白色点精度（ホワイトバランス精度）
を改善した画像を得るシステムを構築することも可能で
ある。
その空間は原画像の光源の色度情報で正規化したもので
はない。したがって、補正時の処理で、撮像時には行え
ないような光源推定方式を新たに導入することで、最終
的な色補正画像の白色点精度（ホワイトバランス精度）
を改善した画像を得るシステムを構築することも可能で
ある。
【００４６】次に、上述したようなニューラルネットワ
ークにおいて教示する入出力データ対の出力側データと
しては、光源にかかわらず、例えばいわゆるＤ６５００
光源におけるカラーチャートの測色値を用いるようにす
る。これにより、測色的に正しい色再現に補正するので
はなく、被写体の分光反射率特性を再現する特性（colo
r constancy）に補正したカラー画像を得るシステムを
構成することが可能である。また、何れの場合において
も、記憶色や人間の色に対する好みを考慮して教示デー
タに変更を加え、より好まれる色再現に補正するシステ
ムの構築が可能となる。
ークにおいて教示する入出力データ対の出力側データと
しては、光源にかかわらず、例えばいわゆるＤ６５００
光源におけるカラーチャートの測色値を用いるようにす
る。これにより、測色的に正しい色再現に補正するので
はなく、被写体の分光反射率特性を再現する特性（colo
r constancy）に補正したカラー画像を得るシステムを
構成することが可能である。また、何れの場合において
も、記憶色や人間の色に対する好みを考慮して教示デー
タに変更を加え、より好まれる色再現に補正するシステ
ムの構築が可能となる。
【００４７】以上のように、本実施の形態の画像色補正
装置では、ニューラルネットワーク、モジュラーニュー
ラルネットワーク又はファジーニューラルネットワーク
の形式で実現されるが、実際の画像の色補正処理におい
ては以下の何れの方式を用いても良い。
装置では、ニューラルネットワーク、モジュラーニュー
ラルネットワーク又はファジーニューラルネットワーク
の形式で実現されるが、実際の画像の色補正処理におい
ては以下の何れの方式を用いても良い。
【００４８】第１の処理方式として、上述したような画
像色補正のための処理工程をそのままの形で画像ソフト
ウェア上に実装して計算を行うような処理方式を用い
る。
像色補正のための処理工程をそのままの形で画像ソフト
ウェア上に実装して計算を行うような処理方式を用い
る。
【００４９】第２の処理方式として、上述したような画
像色補正のための処理工程がソフトウェアとして実装起
動され、撮像時の光源に依存する逆写像が特定される時
点で、ＩＣＣプロファイルフォーマットに適合する３次
元ルックアップテーブルデータを発生させ、汎用の画像
ソフトウェアで実際の色変換処理を行わせるような処理
方式を用いる。
像色補正のための処理工程がソフトウェアとして実装起
動され、撮像時の光源に依存する逆写像が特定される時
点で、ＩＣＣプロファイルフォーマットに適合する３次
元ルックアップテーブルデータを発生させ、汎用の画像
ソフトウェアで実際の色変換処理を行わせるような処理
方式を用いる。
【００５０】第３の処理方式として、上記第２の処理方
式と同様であるが、ＩＣＣプロファイルを添付すること
を許容する画像フォーマットにおいては、上述したよう
な画像色補正のための処理にて生成したＩＣＣプロファ
イルを画像ファイルに添付するような処理方式を用い
る。
式と同様であるが、ＩＣＣプロファイルを添付すること
を許容する画像フォーマットにおいては、上述したよう
な画像色補正のための処理にて生成したＩＣＣプロファ
イルを画像ファイルに添付するような処理方式を用い
る。
【００５１】第４の処理方式として、アナログ或いはデ
ィジタルＬＳＩによってハードウェアで実現するような
処理方式を用いる。この方式によれば、ディジタルスチ
ルカメラなどの内部で記録前に処理を行わせることも可
能である。
ィジタルＬＳＩによってハードウェアで実現するような
処理方式を用いる。この方式によれば、ディジタルスチ
ルカメラなどの内部で記録前に処理を行わせることも可
能である。
【００５２】以上説明したように、本発明実施の形態に
よれば、電子カメラの色変換逆写像を求めるために、い
わゆるニューラルネットワークの技術を導入しているこ
といより、従来方式では十分な色補正精度が得られなか
ったような電子カメラについても高精度な色補正が可能
となる。
よれば、電子カメラの色変換逆写像を求めるために、い
わゆるニューラルネットワークの技術を導入しているこ
といより、従来方式では十分な色補正精度が得られなか
ったような電子カメラについても高精度な色補正が可能
となる。
【００５３】また、本実施の形態によれば、ニューラル
ネットワークによる色逆写像モジュールの入力に、更に
撮像時に電子カメラ内部で行われたホワイトバランス情
報を付け加えることにより、色補正処理時に、より高度
な自動ホワイトバランス機能を再適用可能な色空間で画
像データを出力できることになる。
ネットワークによる色逆写像モジュールの入力に、更に
撮像時に電子カメラ内部で行われたホワイトバランス情
報を付け加えることにより、色補正処理時に、より高度
な自動ホワイトバランス機能を再適用可能な色空間で画
像データを出力できることになる。
【００５４】また、本実施の形態によれば、ニューラル
ネットワークによる逆写像モジュールを、代表的な数種
類の光源に対して生成し、それらを組み合わせてモジュ
ーラニューラルネット、或いはファジイニューラルネッ
トと呼ばれる構成を作るようにし、さらに、ニューラル
ネットワークに教示データを与える際に、色変換データ
と共に撮像時に電子カメラ内部で行われたホワイトバラ
ンスの情報を与えて、電子カメラの色変換特性の光源に
よる変化を記憶させることにより、従来は手動方式しか
なかった光源変化に対応して補正写像を変化させるため
の操作を自動化でき、如何なる光源に対しても適切な逆
写像を発生可能としている。
ネットワークによる逆写像モジュールを、代表的な数種
類の光源に対して生成し、それらを組み合わせてモジュ
ーラニューラルネット、或いはファジイニューラルネッ
トと呼ばれる構成を作るようにし、さらに、ニューラル
ネットワークに教示データを与える際に、色変換データ
と共に撮像時に電子カメラ内部で行われたホワイトバラ
ンスの情報を与えて、電子カメラの色変換特性の光源に
よる変化を記憶させることにより、従来は手動方式しか
なかった光源変化に対応して補正写像を変化させるため
の操作を自動化でき、如何なる光源に対しても適切な逆
写像を発生可能としている。
【００５５】また、本実施の形態によれば、上述のよう
な電子カメラ画像の色補正を目的とする撮像時の光源の
変化に対応した逆写像生成処理において、出力色空間を
光源の色度座標によって正規化しない空間、例えばＸＹ
Ｚ色空間とすることで、適切な後処理の導入によって
は、より高精度にホワイトバランスのとれた画像へ色補
正することを可能としている。
な電子カメラ画像の色補正を目的とする撮像時の光源の
変化に対応した逆写像生成処理において、出力色空間を
光源の色度座標によって正規化しない空間、例えばＸＹ
Ｚ色空間とすることで、適切な後処理の導入によって
は、より高精度にホワイトバランスのとれた画像へ色補
正することを可能としている。
【００５６】さらに、本実施の形態によれば、上述のよ
うな電子カメラ画像の色補正を目的とする撮像時の光源
の変化に対応した逆写像生成処理において、教示するタ
ーゲットデータを撮像時の光源下での測色値とするので
はなく標準光源下での測色値とすることにより、結果と
して光源の変化にかかわらず、物体色の正確な再生を可
能としている。すなわち、本実施の形態によれば、教示
データ対の選択によって、補正後の画像を、原画像の色
に対して、その測色値、分光反射特性、好まれる色、い
ずれにも指向させることができる。
うな電子カメラ画像の色補正を目的とする撮像時の光源
の変化に対応した逆写像生成処理において、教示するタ
ーゲットデータを撮像時の光源下での測色値とするので
はなく標準光源下での測色値とすることにより、結果と
して光源の変化にかかわらず、物体色の正確な再生を可
能としている。すなわち、本実施の形態によれば、教示
データ対の選択によって、補正後の画像を、原画像の色
に対して、その測色値、分光反射特性、好まれる色、い
ずれにも指向させることができる。
【００５７】
【発明の効果】以上の説明で明らかなように、本発明に
おいては、電子カメラにより撮像されたカラー画像デー
タからニューラルネットワークを用いて色変換逆写像を
求め、その色変換逆写像に対して色誤差の補正を行うこ
とにより、電子カメラの特性に適合した逆写像を生成し
て高精度な色再現が可能となり、また、代表的な複数の
光源のそれぞれに対応した別個のニューラルネットワー
ク或いはそれら各ニューラルネットワークの組み合わせ
を用いて色変換逆写像を求めることにより、どのような
光源で撮像した画像に対しても常に適切な逆写像を与え
ることが可能となる。
おいては、電子カメラにより撮像されたカラー画像デー
タからニューラルネットワークを用いて色変換逆写像を
求め、その色変換逆写像に対して色誤差の補正を行うこ
とにより、電子カメラの特性に適合した逆写像を生成し
て高精度な色再現が可能となり、また、代表的な複数の
光源のそれぞれに対応した別個のニューラルネットワー
ク或いはそれら各ニューラルネットワークの組み合わせ
を用いて色変換逆写像を求めることにより、どのような
光源で撮像した画像に対しても常に適切な逆写像を与え
ることが可能となる。
【図１】電子カメラにおける色変換の逆写像の生成にニ
ューラルネットワークの技術を導入した本実施の形態の
画像色補正装置の概略構成を示す図である。
ューラルネットワークの技術を導入した本実施の形態の
画像色補正装置の概略構成を示す図である。
【図２】ニューラルネットワークにより光源変化に対応
可能とした本実施の形態の画像色補正装置の概略構成を
示す図である。
可能とした本実施の形態の画像色補正装置の概略構成を
示す図である。
【図３】モジュラーニューラルネットワークによって光
源変化に対応可能とした本実施の形態の画像色補正装置
の概略構成を示す図である。
源変化に対応可能とした本実施の形態の画像色補正装置
の概略構成を示す図である。
【図４】電子カメラやイメージスキャナに採用されてい
る信号処理のための基本的な構成例を示す図である。
る信号処理のための基本的な構成例を示す図である。
【図５】図４の構成により得られたＲＧＢ或いはＹＣＣ
のデータに対して、電子カメラの色変換特性の逆写像を
生成するための構成例を示す図である。
のデータに対して、電子カメラの色変換特性の逆写像を
生成するための構成例を示す図である。
【図６】電子カメラ内部の信号処理方式が図４に示した
処理方式と異なる信号処理方式の例を説明するための構
成を示す図である。
処理方式と異なる信号処理方式の例を説明するための構
成を示す図である。
４，１０ ニューラルネット回路、 ２１〜２４ 光源
＃１〜＃４に対応するニューラルネットワークモジュー
ル、 １１ 出力処理モジュール
＃１〜＃４に対応するニューラルネットワークモジュー
ル、 １１ 出力処理モジュール
フロントページの続き Ｆターム(参考） 5B057 CA01 CA08 CB01 CB08 CE17 CH08 5C066 AA01 BA13 CA08 CA17 DA01 EA13 EC01 EE04 EF02 FA02 GA02 GA05 GA32 GA33 KA11 KD06 KE07 KM01 5C077 LL19 MP08 NP01 PP32 PP37 PQ15 TT09 5C079 HB01 HB05 HB11 LA23 LB02 MA13 NA03
Claims (12)
- 【請求項１】 電子カメラによって撮像されたカラー画
像の色誤差の補正を行う画像色補正方法において、 上記電子カメラにより撮像されたカラー画像データか
ら、ニューラルネットワークを用いて色変換逆写像を求
め、 当該ニューラルネットワークを用いて求めた色変換逆写
像に対して色誤差の補正を行うことを特徴とする画像色
補正方法。 - 【請求項２】 上記ニューラルネットワークに教示デー
タを与える際に、上記電子カメラの撮像時に行われたホ
ワイトバランス情報を付加することを特徴とする請求項
１記載の画像色補正方法。 - 【請求項３】 代表的な複数の光源のそれぞれに対応し
た別個のニューラルネットワーク或いはそれら各ニュー
ラルネットワークの組み合わせを用いて、色変換逆写像
を求めることを特徴とする請求項１記載の画像色補正方
法。 - 【請求項４】 上記各ニューラルネットワークに教示デ
ータを与える際に、上記電子カメラの撮像時に行われた
ホワイトバランス情報を付加することを特徴とする請求
項３記載の画像色補正方法。 - 【請求項５】 上記色変換逆写像の出力色空間を、光源
の色度座標により正規化しない空間として出力すること
を特徴とする請求項３記載の画像色補正方法。 - 【請求項６】 上記各ニューラルネットワークの教示デ
ータを、標準光源下での測色値とすることを特徴とする
請求項３記載の画像色補正方法。 - 【請求項７】 電子カメラによって撮像されたカラー画
像の色誤差の補正を行う画像色補正装置において、 上記電子カメラにより撮像されたカラー画像データか
ら、ニューラルネットワークを用いて色変換逆写像を求
める逆写像生成手段を備え、 当該ニューラルネットワークを用いて求めた色変換逆写
像に対して色誤差の補正を行うことを特徴とする画像色
補正方法。 - 【請求項８】 上記逆写像生成手段では、上記ニューラ
ルネットワークに教示データを与える際に、上記電子カ
メラの撮像時に行われたホワイトバランス情報を付加す
ることを特徴とする請求項７記載の画像色補正装置。 - 【請求項９】 上記逆写像生成手段は、代表的な複数の
光源のそれぞれに対応した別個のニューラルネットワー
ク或いはそれら各ニューラルネットワークの組み合わせ
を用いて、色変換逆写像を求めることを特徴とする請求
項７記載の画像色補正装置。 - 【請求項１０】 上記逆写像生成手段では、上記各ニュ
ーラルネットワークに教示データを与える際に、上記電
子カメラの撮像時に行われたホワイトバランス情報を付
加することを特徴とする請求項９記載の画像色補正装
置。 - 【請求項１１】 上記逆写像生成手段は、上記色変換逆
写像の出力色空間を、光源の色度座標により正規化しな
い空間として出力することを特徴とする請求項９記載の
画像色補正装置。 - 【請求項１２】 上記逆写像生成手段では、上記各ニュ
ーラルネットワークの教示データを、標準光源下での測
色値とすることを特徴とする請求項９記載の画像色補正
装置。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11122734A JP2000311243A (ja) | 1999-04-28 | 1999-04-28 | 画像色補正方法及び装置 |
| EP00928545A EP1092323B1 (en) | 1999-04-28 | 2000-04-28 | Methods and apparatus for color device characterization |
| PCT/US2000/011504 WO2000065847A1 (en) | 1999-04-28 | 2000-04-28 | Methods and apparatus for color device characterization |
| DE60045363T DE60045363D1 (de) | 1999-04-28 | 2000-04-28 | Verfahren und vorrichtung zur charakterisierung von farbgeräten |
| JP2000614670A JP2002543695A (ja) | 1999-04-28 | 2000-04-28 | カラー機器の特性付け方法及び装置、画像色補正方法及び装置、カラー画像データ伝送及び／又は記録方法及び記録媒体 |
| US09/719,950 US7180629B1 (en) | 1999-04-28 | 2000-04-28 | Methods and apparatus for color device characterization |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11122734A JP2000311243A (ja) | 1999-04-28 | 1999-04-28 | 画像色補正方法及び装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000311243A true JP2000311243A (ja) | 2000-11-07 |
Family
ID=14843277
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11122734A Pending JP2000311243A (ja) | 1999-04-28 | 1999-04-28 | 画像色補正方法及び装置 |
| JP2000614670A Pending JP2002543695A (ja) | 1999-04-28 | 2000-04-28 | カラー機器の特性付け方法及び装置、画像色補正方法及び装置、カラー画像データ伝送及び／又は記録方法及び記録媒体 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000614670A Pending JP2002543695A (ja) | 1999-04-28 | 2000-04-28 | カラー機器の特性付け方法及び装置、画像色補正方法及び装置、カラー画像データ伝送及び／又は記録方法及び記録媒体 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7180629B1 (ja) |
| EP (1) | EP1092323B1 (ja) |
| JP (2) | JP2000311243A (ja) |
| DE (1) | DE60045363D1 (ja) |
| WO (1) | WO2000065847A1 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6899431B2 (en) | 2001-03-26 | 2005-05-31 | Seiko Epson Corporation | Image processing system, projector, information storage medium, and image processing method |
| WO2005074302A1 (ja) * | 2004-01-29 | 2005-08-11 | Olympus Corporation | 色再現システム及び色再現方法 |
| JP2007242050A (ja) * | 2007-05-21 | 2007-09-20 | Seiko Epson Corp | 画像データの出力調整 |
| US20090018732A1 (en) * | 2007-07-12 | 2009-01-15 | Jordon Choby | Systems and methods for shift control for vehicular transmission |
| JP2020129241A (ja) * | 2019-02-08 | 2020-08-27 | 株式会社ダイヘン | 移動体、画像補正装置、及び学習器 |
| CN113537154A (zh) * | 2021-08-20 | 2021-10-22 | 中国美术学院 | 无人机建筑航拍图神经网络自动校色方法 |
| US11379955B2 (en) | 2018-02-20 | 2022-07-05 | Samsung Electronics Co., Ltd. | Electronic device, image processing method thereof, and computer-readable recording medium |
Families Citing this family (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6804390B2 (en) | 2001-02-07 | 2004-10-12 | Basf Corporation | Computer-implemented neural network color matching formulation applications |
| US6714924B1 (en) | 2001-02-07 | 2004-03-30 | Basf Corporation | Computer-implemented neural network color matching formulation system |
| WO2002065756A1 (fr) | 2001-02-09 | 2002-08-22 | Seiko Epson Corporation | Procede et appareil de reglage d'une image de sortie a partir de donnees d'image |
| JP4491988B2 (ja) * | 2001-04-09 | 2010-06-30 | パナソニック株式会社 | カラー画像処理方式及びカラー画像処理装置 |
| US6892194B2 (en) * | 2001-06-05 | 2005-05-10 | Basf Corporation | System and method for organizing color values using an artificial intelligence based cluster model |
| US6993512B2 (en) | 2001-06-05 | 2006-01-31 | Basf Corporation | System and method for converting a color formula using an artificial intelligence based conversion model |
| US6999615B2 (en) | 2001-06-05 | 2006-02-14 | Basf Corporation | Color management and solution distribution system and method |
| US6973211B2 (en) | 2001-06-05 | 2005-12-06 | Basf Corporation | Color management and solution distribution system and method |
| US6587793B2 (en) * | 2001-09-17 | 2003-07-01 | Xerox Corporation | Systems and methods for determining spectra using fuzzy inference algorithms with measurements from LED color sensor |
| JP4324404B2 (ja) * | 2003-04-22 | 2009-09-02 | 富士フイルム株式会社 | 固体撮像装置及びデジタルカメラ |
| US8055063B2 (en) * | 2003-09-30 | 2011-11-08 | Sharp Laboratories Of America, Inc. | Methods and systems for improving robustness of color balance correction |
| CN1951101A (zh) * | 2004-05-11 | 2007-04-18 | 皇家飞利浦电子股份有限公司 | 用于处理彩色图像数据的方法 |
| US7570809B1 (en) * | 2004-07-03 | 2009-08-04 | Hrl Laboratories, Llc | Method for automatic color balancing in digital images |
| US7576889B2 (en) * | 2004-10-26 | 2009-08-18 | Xerox Corporation | Cascade of matrix-LUT for color transformation |
| JP4247639B2 (ja) * | 2006-06-14 | 2009-04-02 | セイコーエプソン株式会社 | 印刷用色変換プロファイルの生成 |
| US7991226B2 (en) * | 2007-10-12 | 2011-08-02 | Pictometry International Corporation | System and process for color-balancing a series of oblique images |
| US7940423B2 (en) * | 2007-11-30 | 2011-05-10 | Canon Kabushiki Kaisha | Generating a device independent interim connection space for spectral data |
| US8229215B2 (en) | 2007-12-03 | 2012-07-24 | Omnivision Technologies, Inc. | Image sensor apparatus and method for scene illuminant estimation |
| JP5676906B2 (ja) * | 2010-04-13 | 2015-02-25 | 日本放送協会 | 色補正装置 |
| US10346710B2 (en) * | 2016-09-29 | 2019-07-09 | Datacolor Inc. | Multi-agent training of a color identification neural network |
| US10692245B2 (en) * | 2017-07-11 | 2020-06-23 | Datacolor Inc. | Color identification in images |
| CN113850371A (zh) * | 2017-11-23 | 2021-12-28 | 北京嘀嘀无限科技发展有限公司 | 估计到达时间的系统和方法 |
| CN108253938B (zh) * | 2017-12-29 | 2020-01-24 | 武汉大学 | Tbm破岩矿渣数字近景摄影测量识别及反演方法 |
| JP6696095B1 (ja) * | 2018-11-07 | 2020-05-20 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
| US10509991B1 (en) | 2019-03-18 | 2019-12-17 | Capital One Services, Llc | Detection of images in relation to targets based on colorspace transformation techniques and utilizing infrared light |
| US10496911B1 (en) | 2019-03-18 | 2019-12-03 | Capital One Services, Llc | Detection of images in relation to targets based on colorspace transformation techniques and utilizing ultraviolet and infrared light |
| US10534948B1 (en) | 2019-03-18 | 2020-01-14 | Capital One Services, Llc | Optimizing detection of images in relation to targets based on colorspace transformation techniques |
| US10496862B1 (en) | 2019-03-18 | 2019-12-03 | Capital One Services, Llc | Detection of images in relation to targets based on colorspace transformation techniques and utilizing ultraviolet light |
| US10614635B1 (en) | 2019-07-25 | 2020-04-07 | Capital One Services, Llc | Augmented reality system with color-based fiducial marker |
| US10833852B1 (en) | 2019-10-03 | 2020-11-10 | Capital One Services, Llc | Encoded data along tape based on colorspace schemes |
| US10715183B1 (en) | 2019-10-25 | 2020-07-14 | Capital One Services, Llc | Data encoding with error-correcting code pursuant to colorspace schemes |
| US10867226B1 (en) | 2019-11-04 | 2020-12-15 | Capital One Services, Llc | Programmable logic array and colorspace conversions |
| US10762371B1 (en) | 2019-11-14 | 2020-09-01 | Capital One Services, Llc | Object detection techniques using colorspace conversions |
| TWI768282B (zh) * | 2020-01-15 | 2022-06-21 | 宏碁股份有限公司 | 光源資訊預測模型建立方法與系統 |
| JPWO2021199367A1 (ja) * | 2020-03-31 | 2021-10-07 | ||
| US11302036B2 (en) * | 2020-08-19 | 2022-04-12 | Capital One Services, Llc | Color conversion between color spaces using reduced dimension embeddings |
| CN112270721A (zh) * | 2020-10-15 | 2021-01-26 | 西安工程大学 | 一种基于人眼颜色灵敏度函数的颜色感知方法 |
| KR20220077730A (ko) | 2020-12-02 | 2022-06-09 | 삼성전자주식회사 | 이미지 처리 방법 및 장치 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5018017A (en) * | 1987-12-25 | 1991-05-21 | Kabushiki Kaisha Toshiba | Electronic still camera and image recording method thereof |
| JPH04208928A (ja) * | 1990-11-30 | 1992-07-30 | Olympus Optical Co Ltd | カメラの色補正装置 |
| US5376963A (en) | 1993-03-31 | 1994-12-27 | Panasonic Technologies, Inc. | Neural network video image processor |
| US5559604A (en) * | 1993-09-27 | 1996-09-24 | Toyo Ink Manufacturing Co., Ltd. | Color matching apparatus for reproducing the same color under different illuminants |
| JP3525353B2 (ja) * | 1994-09-28 | 2004-05-10 | 株式会社リコー | デジタル電子スチル・カメラ |
| US5548697A (en) * | 1994-12-30 | 1996-08-20 | Panasonic Technologies, Inc. | Non-linear color corrector having a neural network and using fuzzy membership values to correct color and a method thereof |
| JPH09163382A (ja) * | 1995-12-07 | 1997-06-20 | Toyo Ink Mfg Co Ltd | 色ずれ修正方法及び装置 |
-
1999
- 1999-04-28 JP JP11122734A patent/JP2000311243A/ja active Pending
-
2000
- 2000-04-28 US US09/719,950 patent/US7180629B1/en not_active Expired - Fee Related
- 2000-04-28 DE DE60045363T patent/DE60045363D1/de not_active Expired - Lifetime
- 2000-04-28 EP EP00928545A patent/EP1092323B1/en not_active Expired - Lifetime
- 2000-04-28 WO PCT/US2000/011504 patent/WO2000065847A1/en active Application Filing
- 2000-04-28 JP JP2000614670A patent/JP2002543695A/ja active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6899431B2 (en) | 2001-03-26 | 2005-05-31 | Seiko Epson Corporation | Image processing system, projector, information storage medium, and image processing method |
| WO2005074302A1 (ja) * | 2004-01-29 | 2005-08-11 | Olympus Corporation | 色再現システム及び色再現方法 |
| KR100848757B1 (ko) * | 2004-01-29 | 2008-07-25 | 올림푸스 가부시키가이샤 | 색 재현 시스템 및 색 재현 방법 |
| JP2007242050A (ja) * | 2007-05-21 | 2007-09-20 | Seiko Epson Corp | 画像データの出力調整 |
| JP4518102B2 (ja) * | 2007-05-21 | 2010-08-04 | セイコーエプソン株式会社 | 画像データの出力調整 |
| US20090018732A1 (en) * | 2007-07-12 | 2009-01-15 | Jordon Choby | Systems and methods for shift control for vehicular transmission |
| US8370032B2 (en) * | 2007-07-12 | 2013-02-05 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for shift control for vehicular transmission |
| US11379955B2 (en) | 2018-02-20 | 2022-07-05 | Samsung Electronics Co., Ltd. | Electronic device, image processing method thereof, and computer-readable recording medium |
| JP2020129241A (ja) * | 2019-02-08 | 2020-08-27 | 株式会社ダイヘン | 移動体、画像補正装置、及び学習器 |
| JP7237625B2 (ja) | 2019-02-08 | 2023-03-13 | 株式会社ダイヘン | 移動体、及び画像補正装置 |
| CN113537154A (zh) * | 2021-08-20 | 2021-10-22 | 中国美术学院 | 无人机建筑航拍图神经网络自动校色方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE60045363D1 (de) | 2011-01-27 |
| EP1092323A1 (en) | 2001-04-18 |
| EP1092323B1 (en) | 2010-12-15 |
| US7180629B1 (en) | 2007-02-20 |
| WO2000065847A1 (en) | 2000-11-02 |
| JP2002543695A (ja) | 2002-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2000311243A (ja) | 画像色補正方法及び装置 | |
| US5929906A (en) | Color correcting method and apparatus | |
| US7450281B2 (en) | Image processing apparatus and information processing apparatus, and method thereof | |
| JP3624604B2 (ja) | 撮像装置の色再現補正装置および補正方法 | |
| JP2005117612A (ja) | 画像処理方法および装置 | |
| JP2002051231A (ja) | 選択的な色マッピング及びシーン依存階調尺度構成法を用いたシーンのカラー画像再現方法 | |
| JPH0420072A (ja) | カラー画像処理装置 | |
| JPH099083A (ja) | カラー画像処理装置 | |
| JPH1084487A (ja) | 画像処理装置および方法 | |
| JP2001128191A (ja) | 画像処理方法および装置並びに記録媒体 | |
| JPH11331738A (ja) | 画像処理方法および装置 | |
| WO2006020632A2 (en) | Digital color fidelity | |
| JP2978615B2 (ja) | カラーバランス調整装置及び方法 | |
| US20050174440A1 (en) | Color reproduction apparatus and method for display device | |
| JP2005354372A (ja) | 画像記録装置、画像記録方法、画像処理装置、画像処理方法、及び画像処理システム | |
| JPH06121159A (ja) | カラー画像処理装置 | |
| JP5288702B2 (ja) | 色補正計算方法 | |
| JP2006222783A (ja) | 色変換テーブルの作成 | |
| Garud et al. | A fast color constancy scheme for automobile video cameras | |
| JP4037036B2 (ja) | カラーバランス調整方法および装置並びに記録媒体 | |
| JP2010124168A (ja) | 色変換マトリクス算出方法 | |
| JP3912196B2 (ja) | 色変換表作成装置、色変換表作成方法、色変換表作成プログラムを記録した記録媒体、および、上記装置または方法によって作成された色変換表に基づいてプロファイルを作成するプロファイル作成装置 | |
| JP2001036762A (ja) | 色修正定義作成方法および色修正定義作成装置 | |
| JP2000261825A (ja) | 画像処理方法および装置並びに記録媒体 | |
| JP2001078224A (ja) | 画像変換方法 |