JP2003102031A - 画像処理方法、画像処理装置、撮影装置評価方法、画像情報保存方法、画像処理システム、および画像データファイルにおけるデータ構造 - Google Patents

Abstract

(57)【要約】 【課題】 色恒常の考えに基づいて、画像のカラーバラ
ンスをとれるようにする。 【解決手段】 画像処理装置の画像処理部４は、三刺激
値変換部４１、プライマリ変換部４２、ゲイン調整部４
３、プライマリ逆変換部４４により構成される変換手段
を備える。変換手段は、異種光源下において有彩色を含
む色票を画像処理装置の撮影部により実際に撮影して得
られた撮影出力値を、前記色票の標準光源下における色
合いに合わせるように変換可能である。画像処理装置に
おいては、撮影部の撮影により得られた画像信号を、変
換手段により変換して、画像のカラーバランスを調整す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理方法、画
像処理装置、撮影装置評価方法、画像情報保存方法、画
像処理システム、および画像データファイルにおけるデ
ータ構造に係り、詳細には、撮影装置により撮影された
画像を処理してカラーバランスをとる画像処理方法およ
び画像処理装置、前記画像処理方法によって画像を処理
する場合に用いる撮影装置を評価する撮影装置評価方
法、画像情報を保存する画像情報保存方法、および画像
処理システム、画像データが記録された画像データファ
イルにおけるデータ構造に関する。

【０００２】

【従来の技術】従来より、人間の色順応を想定して、画
像のカラーバランスをとる方法が知られている。例え
ば、特開平１０−１２６８１０号公報には、von Kries
タイプの順応を想定して、画像データを人間の網膜レベ
ルの３刺激値（Ｌ、Ｍ、Ｓ）に変換し、これを調整して
ホワイトバランスが合うように処理する方法が例示され
ている。この方法により、人間の色順応を考慮して、自
然なカラーバランスが得られるようになっている。

【０００３】

【発明が解決しようとする課題】ところで、晴れた日の
日陰などの色温度の高い光源下で、人の肌の色に違和感
を感じたり、タングステン光の下で、人の肌が赤っぽく
見えたりすることがある。このように、人間の目では、
観察対象物の色を自然な色（例えば、観察対象物が人の
肌であれば、肌色）に感じられない場合があり、このこ
とは、人間の色順応機構の不完全さを示している。

【０００４】一方、従来より、色恒常と呼ばれる機能が
知られている。色恒常機能は、標準的な光源（例えば、
昼光色など）とは異なる種類の異種光源（例えば、晴れ
た日の日陰や、タングステン光など）の下で観察された
対象物の色を元にして、この対象物が標準的な光源の下
でどのような色に見えるのかを推定する、というもので
ある。

【０００５】以上のことをふまえると、カメラなどの入
力機器により撮影した画像のカラーバランスをとる場合
には、人間の色順応の機能に基づいて画像のカラーバラ
ンスをとるよりも、色恒常の機能に従って画像のカラー
バランスをとる方が、標準的な光源の下で認識される色
を効果的に再現でき、より自然な色合いになると予測さ
れる。

【０００６】本発明の課題は、色恒常の考えに基づい
て、画像のカラーバランスをとれるようにすることであ
る。

【０００７】

【課題を解決するための手段】以上の課題を解決するた
め、請求項１記載の発明は、撮影装置により撮影された
画像を処理してカラーバランスをとる画像処理方法であ
って、前記撮影装置の分光感度に関わる情報に基づいて
得られる、標準光源とは異なる種類の異種光源下におけ
る有彩色を含む色票の色情報である異種光源下色情報
を、前記色票の標準光源下における色情報である標準光
源下色情報に合わせるように変換可能な変換手段によ
り、前記画像の色情報を変換することを特徴とする。

【０００８】請求項１記載の発明によれば、撮影装置に
より撮影された画像の色情報を、前記変換手段により変
換するので、撮影装置の分光感度に関わる情報に基づい
て得られる、有彩色を含む色票の異種光源下における色
情報（異種光源下色情報）を、前記色票の標準光源下に
おける色情報（標準光源下色情報）に合わせるようにし
て、前記画像の色情報が変換される。すなわち、前記画
像の色情報は、変換手段により、標準光源下における色
情報に合うように変換される。したがって、撮影装置に
より撮影された画像の色合いが、まるで標準光源下で撮
影したかのような色合いになるよう、カラーバランスを
とることができる。すなわち、色恒常の考えに基づい
て、画像のカラーバランスをとることができる。

【０００９】請求項２記載の発明は、請求項１記載の画
像処理方法において、異種光源下色情報を、標準光源下
色情報との色差を最小化するように変換可能な色差最小
化変換手段を、変換手段として用いることを特徴とす
る。

【００１０】請求項２記載の発明によれば、変換手段と
して前記色差最小化変換手段を用いるので、標準光源下
色情報との色差が最小化されるように異種光源下色情報
を変換するようにして、撮影装置により撮影された画像
の色情報が変換される。すなわち、色差最小化変換手段
によって、前記画像の色情報が、標準光源下における色
情報との色差が最小化されるように変換される。したが
って、より高い精度で、色恒常の考えに基づく画像処理
を行うことができる。

【００１１】請求項３記載の発明は、請求項１または２
記載の画像処理方法において、異種光源下色情報は、有
彩色を含む色票を異種光源下において撮影装置により実
際に撮影して得られた撮影出力値であることを特徴とす
る。

【００１２】請求項３記載の発明によれば、異種光源下
色情報は前記撮影出力値であるので、変換手段の特定を
容易に行うことが可能となる。このことを詳しく説明す
ると、前記変換手段は、請求項１に記載されているよう
に、異種光源下色情報を標準光源下色情報に合わせるよ
うに変換可能な手段である。このことを逆に言えば、変
換手段は、異種光源下色情報を標準光源下色情報に合わ
せるように変換できるよう、異種光源下色情報と標準光
源下色情報とに基づいて特定される手段である。

【００１３】ここで、異種光源下色情報は、請求項１に
記載されているように、撮影装置の分光感度に関わる情
報に基づいて得られるものである。すなわち、異種光源
下色情報は、異種光源に関わる情報（例えば、光源の分
光分布など）、色票に関わる情報（例えば、色票の分光
反射率など）に加え、撮影装置の分光感度に関わる情報
を含めた各情報に基づいて特定される情報である。した
がって、異種光源下色情報の特定のためには、撮影装置
の分光感度を測定する必要が生じる。

【００１４】これに対し、請求項３記載の発明では、異
種光源下色情報は実際に撮影して得られた撮影出力値で
あるので、この撮影出力値により、異種光源、色票、撮
影装置の分光感度、のそれぞれに関わる情報を含んだ形
の色情報が特定される。よって、異種光源下色情報の特
定のために撮影装置の分光感度を測定する必要がない。
また、異種光源下色情報を求めるための演算処理等を行
う必要がないので、異種光源下色情報そのものである実
際の撮影出力値に基づいて、変更手段を容易に特定する
ことができる。

【００１５】請求項４記載の発明は、請求項１〜３のい
ずれかに記載の画像処理方法において、変換手段は、色
情報を変換する色情報変換手段と、前記色情報を前記色
情報変換手段によって変換して得られた変換後色情報を
変換して、ホワイトバランスを調整するホワイトバラン
ス調整手段と、を含んで構成されることを特徴とする。

【００１６】請求項４記載の発明によれば、変換手段
は、前記色情報変換手段と前記ホワイトバランス調整手
段とを含んで構成されるので、ホワイトバランス調整手
段により、色情報を色情報変換手段によって変換して得
られた変換後色情報が変換されて、ホワイトバランスが
調整される。したがって、変換手段により、画像のホワ
イトバランスをとることができる。

【００１７】請求項５記載の発明は、請求項４記載の画
像処理方法において、ホワイトバランス調整手段は、変
換後色情報をゲイン調整してホワイトバランスをとるこ
とを特徴とする。請求項５記載の発明によれば、ホワイ
トバランス調整手段による変換後色情報のゲイン調整に
よって、画像のホワイトバランスがとられることにな
る。したがって、複雑な処理を施すことなく、容易に画
像のホワイトバランスをとることができる。

【００１８】請求項６記載の発明は、請求項４または５
記載の画像処理方法において、色情報変換手段は、線形
マトリクスにより色情報を変換することを特徴とする。
請求項６記載の発明によれば、色情報が線形マトリクス
により変換される。したがって、色情報変換手段による
色情報の変換処理において複雑な演算処理等を必要とせ
ず、容易に色情報を変換することができる。

【００１９】請求項７記載の発明は、撮影装置により撮
影された画像を処理してカラーバランスをとる画像処理
装置であって、前記撮影装置の分光感度に関わる情報に
基づいて得られる、標準光源とは異なる異種光源下にお
ける有彩色を含む色票の色情報である異種光源下色情報
を、前記色票の標準光源下における色情報である標準光
源下色情報に合わせるように変換可能な変換手段を備
え、この変換手段により、前記画像の色情報を変換する
ことを特徴とする。

【００２０】請求項７記載の発明によれば、画像処理装
置は前記変換手段を備え、この変換手段により前記画像
の色情報を変換するので、異種光源下色情報を標準光源
下色情報に合わせるようにして、前記画像の色情報が変
換手段によって変換される。すなわち、前記画像の色情
報は、変換手段により、標準光源下における色情報に合
うように変換される。したがって、撮影装置により撮影
された画像の色合いが、まるで標準光源下で撮影したか
のような色合いになるよう、カラーバランスをとること
ができる。すなわち、色恒常の考えに基づいて、画像の
カラーバランスをとることができる。

【００２１】請求項８記載の発明は、請求項２記載の画
像処理方法によって画像を処理する場合に用いる撮影装
置を評価する撮影装置評価方法であって、異種光源下色
情報を色差最小化変換手段によって変換して得られる色
情報と、標準光源下色情報と、の色差に基づいて、前記
撮影装置を評価することを特徴とする。

【００２２】請求項８記載の発明によれば、前記色差に
基づいて撮影装置を評価するので、この評価結果によ
り、どの撮影装置を用いれば、色恒常の考えに基づく画
像処理をより高い精度で行えるか、を知ることができ
る。よって、撮影装置の評価結果に基づき撮影装置を取
捨選択して、色恒常の考えに基づく、より高い精度のカ
ラーバランス調整を行うことができ、また、好ましい撮
影システムを選定できる。

【００２３】請求項９記載の発明は、請求項１〜６のい
ずれかに記載の画像処理方法によって画像を処理する場
合に画像情報を保存する画像情報保存方法であって、撮
影装置の撮影により得られた撮影画像情報と、前記画像
処理方法により画像を処理して得られた処理後画像情報
と、のうちの少なくとも一方の画像情報とともに、変換
手段による色情報の変換方法を特定可能な変換情報と、
この変換情報の居所を示す居所情報と、のうちの少なく
とも一方の情報を保存することを特徴とする。

【００２４】請求項９記載の発明によれば、前記撮影画
像情報と、前記処理後画像情報と、のうちの少なくとも
一方の画像情報とともに、前記変換情報と、前記居所情
報と、のうちの少なくとも一方の情報が保存されること
になる。したがって、変換情報が画像情報とともに保存
されている場合には、変換情報に基づいて変換手段によ
る色情報の変換方法を特定できるので、特定した色情報
の変換方法に従って、撮影画像情報の色情報を変換した
り、処理後画像情報から変換前の画像情報を求めて、変
換前の画像情報の色情報を再度変換したりすることがで
きる。よって、撮影した画像や、画像処理後の画像につ
いて、色恒常の考えに基づいてカラーバランスをとるこ
とができる。また、居所情報が画像情報とともに保存さ
れている場合には、居所情報に基づいて変換情報を探し
当てて、探し当てた変換情報に基づいて変換方法を特定
することができるので、変換情報が保存されている場合
と同様に、撮影した画像や、画像処理後の画像につい
て、色恒常の考えに基づいてカラーバランスをとること
ができる。

【００２５】請求項１０記載の発明は、請求項９記載の
画像情報保存方法において、変換手段は、線形マトリク
スにより色情報を変換する色情報変換手段と、前記色情
報を前記色情報変換手段によって変換して得られた変換
後色情報を変換して、ホワイトバランスを調整するホワ
イトバランス調整手段と、を含んで構成され、前記変換
手段による色情報の変換方法を特定可能な変換情報は、
撮影装置の分光感度と、前記線形マトリクスと、のうち
の少なくとも一方の情報であることを特徴とする。

【００２６】請求項１０記載の発明によれば、前記変換
情報は、撮影装置の分光感度と、線形マトリクスと、の
うちの少なくとも一方の情報であるので、変換手段によ
る色情報の変換方法を、撮影装置の分光感度や線形マト
リクスの情報に基づいて特定できる。したがって、最小
限の明確な情報に基づき、撮影した画像や、画像処理後
の画像について、カラーバランスをとる処理を容易に行
うことができる。

【００２７】請求項１１記載の発明は、請求項１０記載
の画像情報保存方法により保存された画像情報を処理す
る画像処理方法であって、前記画像情報保存方法により
保存された変換情報、および、居所情報に基づき探し当
てられた変換情報、のうちの少なくとも一方の変換情報
に含まれる、分光感度、および、線形マトリクスの少な
くとも一方の情報に基づいて、変換手段による色情報の
変換方法を特定し、特定した色情報の変換方法に従っ
て、前記画像情報保存方法により保存された撮影画像情
報、および、処理後画像情報、のうちの少なくとも一方
の画像情報の色情報を変換することを特徴とする。

【００２８】請求項１１記載の発明によれば、変換情報
に含まれる、分光感度、および線形マトリクスの少なく
とも一方の情報に基づいて、変換手段による色情報の変
換方法が特定され、この変換方法に従って、撮影画像情
報、および処理後画像情報のうちの少なくとも一方の画
像情報の色情報が変換される。したがって、最小限の明
確な情報に基づき、撮影した画像や、画像処理後の画像
について、色恒常の考えに基づいてカラーバランスを容
易にとることができる。

【００２９】請求項１２記載の発明は、請求項１〜６の
いずれかに記載の画像処理方法によって画像を処理する
画像処理装置であって、撮影装置の撮影により得られた
撮影画像情報と、前記画像処理方法により画像を処理し
て得られた処理後画像情報と、のうちの少なくとも一方
の画像情報とともに、変換手段による色情報の変換方法
を特定可能な変換情報と、この変換情報の居所を示す居
所情報と、のうちの少なくとも一方の情報を保存する情
報保存手段を備えることを特徴とする。

【００３０】請求項１２記載の発明によれば、画像処理
装置は前記情報保存手段を備えるので、この情報保存手
段に前記変換情報が前記画像情報とともに保存されてい
る場合には、変換情報に基づいて変換手段による色情報
の変換方法を特定でき、特定した色情報の変換方法に従
って、撮影画像情報の色情報を変換したり、処理後画像
情報から変換前の画像情報を求めて、変換前の画像情報
の色情報を再度変換したりすることができる。よって、
撮影した画像や、画像処理後の画像について、色恒常の
考えに基づいてカラーバランスをとることができる。ま
た、情報保存手段に前記居所情報が前記画像情報ととも
に保存されている場合には、居所情報に基づいて変換情
報を探し当てて、探し当てた変換情報に基づいて変換方
法を特定することができるので、変換情報が保存されて
いる場合と同様に、撮影した画像や、画像処理後の画像
について、色恒常の考えに基づいてカラーバランスをと
ることができる。

【００３１】請求項１３記載の発明は、請求項９または
１０記載の画像情報保存方法により画像情報が保存され
る情報保存手段を備える第１の画像処理装置と、請求項
１〜６のいずれかに記載の画像処理方法によって画像を
処理可能な第２の画像処理装置と、前記第１の画像処理
装置と前記第２の画像処理装置との間で情報をやりとり
するための伝送媒体と、を備え、前記情報保存手段に保
存された撮影画像情報と処理後画像情報とのうちの少な
くとも一方の画像情報とともに、前記情報保存手段に前
記画像情報とともに保存された変換情報と居所情報との
うちの少なくとも一方の情報を、前記伝送媒体を介し
て、前記第１の画像情報処理装置から、前記第２の画像
処理装置へ送信することを特徴とする画像処理システム
である。

【００３２】請求項１３記載の発明によれば、第１の画
像処理装置の情報保存手段に保存された撮影画像情報と
処理後画像情報とのうちの少なくとも一方の画像情報と
ともに、前記情報保存手段に前記画像情報とともに保存
された変換情報と居所情報とのうちの少なくとも一方の
情報が、伝送媒体を介して、第１の画像情報処理装置か
ら第２の画像処理装置へ送信される。したがって、変換
情報が画像情報とともに送信される場合には、第２の画
像処理装置側において、変換情報に基づいて変換手段に
よる色情報の変換方法を特定できるので、特定した色情
報の変換方法に従って、撮影画像情報の色情報を変換し
たり、処理後画像情報から変換前の画像情報を求めて、
変換前の画像情報色情報を再度変換したりすることがで
きる。よって、撮影した画像や、画像処理後の画像につ
いて、色恒常の考えに基づいてカラーバランスをとるこ
とができる。また、居所情報が画像情報とともに送信さ
れる場合には、第２の画像処理装置側において、居所情
報に基づいて変換情報を探し当てて、探し当てた変換情
報に基づいて変換方法を特定することができるので、変
換情報が画像情報とともに送信される場合と同様に、撮
影した画像や、画像処理後の画像について、色恒常の考
えに基づいてカラーバランスをとることができる。

【００３３】請求項１４記載の発明は、画像データが記
録された画像データファイルにおけるデータ構造であっ
て、画像データファイルには前記画像データからなる第
１のデータ領域および、画像処理装置によって参照可能
であり、色情報の変換のための変換情報または変換情報
の居所に対応する第２のデータ領域、を設けたことを特
徴とする。

【００３４】請求項１４記載の発明によれば、画像デー
タファイルには、前記第１のデータ領域と前記第２のデ
ータ領域を設けているので、第２のデータ領域に対応し
た前記変換情報または変換情報の居所を画像処理装置に
より参照して、参照した変換情報、または参照した居所
に基づき探し当てられた変換情報に基づいて、画像処理
装置により第１のデータ領域の画像データの色情報を適
宜に変換することができる。

【００３５】請求項１５記載の発明は、請求項１４記載
の画像データファイルにおけるデータ構造において、前
記変換情報は、撮影装置の分光感度に関わる情報に基づ
いて得られる、標準光源とは異なる種類の異種光源下に
おける有彩色を含む色票の色情報である異種光源下色情
報を、前記色票の標準光源下における色情報である標準
光源下色情報に合わせるように変換するためのデータで
あることを特徴とする。

【００３６】請求項１５記載の発明によれば、変換情報
は、前記異種光源下色情報を前記標準光源下色情報に合
わせるように変換するためのデータであるので、このデ
ータに基づいて、画像処理装置により、色恒常の考えに
基づき、第１のデータ領域の画像データのカラーバラン
スをとることができる。

【００３７】請求項１６記載の発明は、請求項１５記載
の画像データファイルにおけるデータ構造において、前
記異種光源下色情報は有彩色を含む色票を異種光源下に
おいて撮影装置により実際に撮影して得られた撮影出力
値であることを特徴とする。請求項１６記載の発明によ
れば、請求項３記載の発明と同様の効果が得られる。

【００３８】

【発明の実施の形態】以下、この発明の実施の形態につ
いて、図面を参照しながら説明する。

【００３９】＜第１の実施の形態＞本発明の第１の実施
の形態である画像処理方法は、例えば、図１に示す画像
処理装置１により画像を処理する方法である。画像処理
装置１は、具体的には、例えばデジタルカメラやビデオ
カメラ等のカメラである。画像処理装置１は、この画像
処理装置１全体の制御を行う制御部２、被写体を撮影し
て画像信号（画像撮影出力値）を出力する撮影装置であ
る撮影部３、この撮影部３により撮影された画像を処理
する画像処理部４、各種の制御プログラムやデータ等を
記憶する記憶部５、外部機器との間で信号を送受信する
ための外部インターフェース（以下、外部Ｉ／Ｆと略称
する）６を備えて構成されている。

【００４０】記憶部５は、内部記憶装置としてのＲＡＭ
（Random Access Memory）や、外部記憶装置としてのハ
ードディスク装置、着脱自在に設けられるフロッピー
（登録商標）ディスク等により構成されている。記憶部
５には、例えば、画像処理装置１全体の制御プログラム
や制御データ、撮影部３により出力された画像信号で構
成される画像データ画像処理部４による画像処理を行う
ための画像処理プログラムや制御データ、画像処理部４
の画像処理による画像処理後の画像データ等が記憶され
るようになっている。なお、これらの各種プログラムや
データは、異なる記憶部（ディスク）に記憶されていて
も良いし、あるいは、同一の記憶部（ディスク）に記憶
されていても良く、その記憶形態は特に限定されるもの
ではない。

【００４１】制御部２は画像処理装置１のメイン処理を
行うものであり、具体的には、例えば、撮影部３により
撮影された画像の画像データや、画像処理部４の画像処
理による画像処理後の画像データを記憶部５に記憶させ
る処理、記憶部５に記憶されたデータを外部Ｉ／Ｆ６を
介して外部機器へ送信する処理、外部機器から外部Ｉ／
Ｆ６を介して受信したデータを記憶部５に記憶させる処
理等を実行する。外部Ｉ／Ｆ６は、例えば、ＵＳＢ（Un
iversal Serial Bus）やＳＣＳＩ（Small Computer Sys
tem Interface）などにより、外部機器との間で画像デ
ータや制御データ等の送受信を行うものである。

【００４２】撮影部３は、例えば、ＣＣＤ（Charge Cou
pled Device）などの受光素子を備えて構成されてい
る。受光素子は、図示しないレンズを通過して入射した
被写体からの光を、積層して配置された各種フィルタ
（図示略）を介して受光し、この受光量に応じて、ＲＧ
Ｂ（Red-Green-Blue）信号やＣＭＹ（Cyan-Magenta-Yel
low）信号等の画像信号を出力するようになっている。
積層して配置されるフィルタの例としては、例えば、三
板式フィルタや、単板式のモザイクフィルタ等が挙げら
れる。

【００４３】画像処理部４は、記憶部５に記憶されてい
る画像処理プログラムに基づいて、撮影部３により出力
された画像信号を処理し、標準光源下の色に合うようカ
ラーバランスをとる処理を行う。画像処理部４の内部構
成の例を図２に示す。

【００４４】図２（ａ）に示す例においては、画像処理
部４は、三刺激値変換部４１、プライマリ変換部４２、
ゲイン調整部４３、プライマリ逆変換部４４、および色
変換部４５を備えて構成されている。ここで、三刺激値
変換部４１、プライマリ変換部４２、ゲイン調整部４
３、およびプライマリ逆変換部４４は、本発明の変換手
段（色差最小化変換手段）を構成するものである。ここ
で、「プライマリ変換」とは、撮影部３の出力値を別の
座標系に変換することを意味しており、「プライマリ逆
変換」とは、別の座標系に変換された値を元の座標系に
戻すことを意味している。

【００４５】三刺激値変換部４１は、画像信号を三刺激
値へ近似させる三刺激値近似マトリクスＢ（以下、マト
リクスＢと略称する）により、撮影部３が出力した画像
信号を三刺激値に変換する処理を行う。なお、図２にお
いては図示を省略しているが、撮影部３のフィルタが単
板式である場合には、三刺激値変換部４１により画像信
号を変換する前に、画像処理部４により色補間処理が行
われるようになっている（この手法については、例え
ば、特開平１０−１７８６５０号公報等に記載有）。ま
た、三刺激値変換部４１により画像信号を変換する前に
は、画像処理部４により黒レベル調整が行われるように
なっている。

【００４６】また、プライマリ変換部４２は、三刺激値
変換部４１の変換処理により得られた三刺激値を、線形
マトリクスであるプライマリ変換マトリクスＡ（後述す
る。以下、マトリクスＡと略称する）により変換して、
仮のＲＧＢ値（本発明の変換後色情報に相当）を算出す
る処理を行う。すなわち、三刺激値変換部４１とプライ
マリ変換部４２は、撮影部３により撮影された画像の色
情報である画像信号を変換する色情報変換手段である。

【００４７】ゲイン調整部４３は、プライマリ変換部４
２の変換処理により得られた仮のＲＧＢ値を、対角行列
Ｍにより線形変換する処理を行う。ここで、対角行列Ｍ
は、異種光源下の無彩色が、標準的な光源下の無彩色に
合致するよう、ＲＧＢ値をゲイン調整し、これによりホ
ワイトポイントを調整するものである。すなわち、ゲイ
ン調整部４３は、変換後色情報である仮のＲＧＢ値をゲ
イン調整してホワイトバランスをとるホワイトバランス
調整手段である。ここで、ホワイトポイントは、例え
ば、画像の総平均をホワイトポイントとする方法や、最
大値をホワイトポイントとする方法により検出される
が、ホワイトポイントの検出方法は特にこれらの例に限
定されるものではなく、従来より周知の方法を適用可能
である。

【００４８】プライマリ逆変換部４４は、ゲイン調整部
４３のゲイン調整処理により得られた仮のＲＧＢ値を、
プライマリ変換部４２で用いられるマトリクスＡの逆行
列Ａ ^-1により逆変換して、三刺激値に戻す処理を行う。
色変換部４５は、プライマリ逆変換部４４の逆変換処理
により得られた三刺激値を、ＣＲＴ（Cathode Ray Tub
e）等の出力系のプライマリ（例えば、IEC 61966-2-1で
規定されているｓＲＧＢなど）やＹＣＣに変換する処理
を行う。

【００４９】画像処理部４の画像処理により得られた処
理後の画像データは、画像処理部４によりＪＰＥＧ等の
圧縮形式で画像圧縮された状態で、記憶部５に記憶され
るようになっている。ここで、画像処理装置１に表示装
置等の出力部（図示略）が設けられている場合には、上
述のように画像圧縮された画像データに基づいて、出力
部により画像が出力されるようになっている。また、表
示装置等の出力部を備えた外部機器が、外部Ｉ／Ｆ６を
介して画像処理装置１と接続され、画像圧縮された画像
データを画像処理装置１から外部機器が受信した場合に
は、受信した画像データに基づいて、外部機器の出力部
により画像が出力されるようになっている。

【００５０】図２（ｂ）に示す例においては、画像処理
部４は、図２（ａ）に示す三刺激値変換部４１、プライ
マリ変換部４２、ゲイン調整部４３、プライマリ逆変換
部４４の代わりに、プライマリ変換部４６、ゲイン調整
部４７、プライマリ逆変換部４８、三刺激値変換部４９
を備えて構成されている。ここで、プライマリ変換部４
６、ゲイン調整部４７、およびプライマリ逆変換部４８
は、本発明の変換手段を構成するものである。

【００５１】プライマリ変換部４６（色情報変換部に相
当）は、撮影部３が出力した画像信号を、マトリクスＡ
により直接プライマリ変換する処理を行う。なお、図２
（ａ）と同様に、色補間処理、黒レベル調整については
図示を省略している。また、ゲイン調整部４７（ホワイ
トバランス調整手段に相当）は、プライマリ変換部４６
の変換処理により得られた仮の画像信号を、対角行列Ｍ
によりゲイン調整する処理を行う。プライマリ逆変換部
４８は、ゲイン調整部４７のゲイン調整処理により得ら
れたゲイン調整後の仮の画像信号を、プライマリ変換部
４６で用いられるマトリクスＡの逆行列Ａ^-1により逆変
換する処理を行う。

【００５２】また、三刺激値変換部４９は、プライマリ
逆変換部４８の逆変換処理により得られた処理後の画像
信号を三刺激値に変換する処理を行うようになってい
る。また、図２（ｂ）に示す色変換部４５は、三刺激値
変換部４９の変換処理により得られた三刺激値を出力系
のプライマリに変換する処理を行うようになっている。

【００５３】上述のマトリクスＡとマトリクスＢには、
最適化処理（後述する）により最適化して求められたデ
ータが用いられる。これらのマトリクスＡ、Ｂは、画像
処理データとして予め記憶部５に記憶されている。以
上、図２（ａ）および図２（ｂ）を参照して画像処理部
４の内部構成例を二つ説明したが、いずれの構成の画像
処理部４の画像処理によっても、最終的に同様の画像デ
ータが得られるようになっている。

【００５４】ここで、画像処理方法の説明をする前に、
最適化処理について説明する。最適化処理は、予め選択
された各種データに基づき、従来より周知のパーソナル
コンピュータ等の演算装置により実行される。なお、後
述する式（１）〜（５）に示される各記号は、それぞれ
ベクトル行列を意味しており、また、転置行列の区別は
省略している。

【００５５】最適化処理においては、予め、最適化に必
要な各種データを選択しておく。まず、画像処理装置１
のカラーバランスの目標となる光源の種類を一つ選択し
て、これを標準光源に設定する。標準光源の例として
は、例えば、Ｄ５５（相対色温度５５００Ｋ）、Ｄ６５
（６５００Ｋ）などの昼光色や、人工的に作られたシミ
ュレータ光源であるＣ光源などが挙げられる。

【００５６】また、標準光源以外の種類の光源を一つも
しくは複数選択して、これを異種光源に設定する。異種
光源としては、撮影部３による撮影に用いられる代表的
な光源の種類を選択するのが好ましいが、これに限らず
任意の種類の光源を選択可能である。異種光源の例とし
ては、例えば、室内光を想定したＡ光源（タングステン
光源）、晴れた日の日陰を想定した黒体放射の光源（色
温度７５００〜１００００度程度）、室内の蛍光灯を想
定したＦ１〜１２光源などが挙げられる。

【００５７】また、有彩色を含む色票を選択する。ここ
で、色票としては、撮影部３の被写体（例えば、人間の
肌や、景色など）の色に近似する分光反射率を有するも
のが望ましいが、これに限らず任意の種類の色票を選択
可能である。色票の例としては、例えば、マクベスカラ
ーチェッカー、マンセル色票（マンセルブック）、CIE1
3.3で規定される分光反射率色票、SOCS(JIS-TR X 001
2、色再現評価用標準物体色分光データベース(SOCS)(19
98))で規定される分光反射率色票などが挙げられる。た
だし、分光データのみで規定され、実在色票が存在しな
い色票（上述の分光反射率色票など）は、撮影部３の分
光感度が既知である場合にのみ選択可能である。

【００５８】最適化に必要な各種データを選択した後、
次に、標準光源、異種光源、それぞれの光源下におい
て、選択した色票を実際に撮影部３により撮影して得ら
れる画像信号の出力値Ｏ（本発明の撮影出力値に相
当）、もしくは、これに相当する値を取得する。

【００５９】色票として実在色票を選択した場合には、
画像処理装置１の撮影部３により実在色票を撮影し、こ
れにより得られた出力値Ｏのデータを、画像処理装置１
が外部Ｉ／Ｆ６を介して演算装置に送信し、送信された
出力値Ｏのデータを演算装置側で受信する。なお、フィ
ルタが単板式の場合には色補間済の値、また、黒レベル
補正済の値を出力値Ｏとする。

【００６０】分光データで規定された分光反射率色票を
色票として選択した場合には、撮影部３の分光感度Ｓ_i
と、光源分光強度Ｌ、色票分光反射率Ｒの各データに基
づいて、出力値Ｏに相当する値を演算装置により算出す
る。具体的には、例えば、標準光源としてＤ６５を、異
種光源としてＡ光源、９３００Ｋの黒体放射分光強度の
光源とをそれぞれ選択した場合には、各光源下における
出力値Ｏを、下記式（１）によりそれぞれ算出する。こ
こで、添え字のiは、撮影部３の種類を示している。

【数１】 なお、分光感度Ｓ_iは、例えば、IEC61966-9で規定され
ている分光感度の測定方法に従って計測できる。

【００６１】次に、以上のようにして選択・取得された
各種データに基づき、演算装置により各マトリクスＡ、
Ｂの最適化を行う。

【００６２】＜三刺激値近似マトリクスＢの最適化＞例
えば、標準光源としてＤ６５を選択した場合には、標準
光源下における色票の三刺激値Ｔ_D65は、等色関数Ｆを
用いて、下記式（２）により求められる。

【数２】 また、各色票の色差△Ｅ^*ａｂの平均をＥ^*ａｂ（α,
β）、Ｌ^*ａ^*ｂ^*表色系への変換をＬａｂ（Ｔ）と表記
すると、撮影部３の測色色再現誤差Ｅcolは、下記式
（３）により表される。

【数３】 前記の式（２）、（３）（実在色票が存在しない色票を
選択した場合には、式（１）〜式（３））に基づいて、
測色色再現誤差Ｅcolを最小化するよう、マトリクスＢ
を最適化する。

【００６３】＜プライマリ変換マトリクスＡの最適化＞
ここでは、画像処理部４が図２（ｂ）に示す内部構成を
している場合に適用するマトリクスＡの最適化処理につ
いて説明する。例えば、標準光源としてＤ６５を、異種
光源としてＡ光源と、９３００Ｋの黒体放射分光強度の
光源とをそれぞれ選択した場合には、色恒常予測誤差Ｅ
mcc_iは、下記式（４）により表される。ここで、色恒常
予測誤差Ｅmcc_iは、標準光源下における色票のＬ^*ａ^*ｂ
^*値（標準光源下色情報）と、異種光源下における色票
の出力値Ｏをプライマリ変換部４６、ゲイン調整部４
７、プライマリ逆変換部４８、及び三刺激値変換部４９
により変換して得られるＬ^*ａ^*ｂ^*値（異種光源下色情
報）と、の色差を示している。また、下記式（４）は、
それぞれの異種光源について同じ重み付けをした場合の
例を示している。

【数４】 最適化されたマトリクスＢと、前記式（２）、（４）
（実在色票が存在しない色票を選択した場合には、式
（１）、式（２）、式（４））に基づいて、色恒常予測
誤差Ｅmcc_iを最小化するよう、繰り返し演算により、マ
トリクスＡを最適化する。

【００６４】なお、色恒常予測誤差Ｅmcc_iは、異種光源
の種類をｊ、異種光源の種類の数をＮ、任意の重み平均
をｗとすると、下記式（５）により一般化できる。

【数５】 以上の最適化処理により最適化されたマトリクスＡ、マ
トリクスＢのデータが、画像処理装置１の記憶部５にそ
れぞれ予め記憶されている。

【００６５】次に、上述の画像処理装置１により画像を
処理する画像処理方法について説明する。ここでは、画
像処理部４が図２（ａ）に示す内部構成をしている場合
における画像処理を説明する。

【００６６】まず、撮影部３が、被写体の光を、レン
ズ、フィルタを介して、受光素子により受光し、このと
きの受光量に基づき画像信号を出力する。フィルタが単
板式の場合には、画像処理部４が画像信号の色補間処理
を行い、また、黒レベル調整処理を行う。

【００６７】次に、画像処理部４の三刺激値変換部４１
が、最適化されたマトリクスＢにより画像信号を変換し
て、三刺激値を算出する。次に、プライマリ変換部４２
が、三刺激値変換部４１により算出された三刺激値を、
最適化されたマトリクスＡにより変換して、仮のＲＧＢ
値を算出する。

【００６８】次に、ゲイン調整部４３が、プライマリ変
換部４２により算出された仮のＲＧＢ値を対角行列Ｍに
よりゲイン調整して、標準光源下の無彩色に合致するよ
うホワイトバランスをとる。次に、プライマリ逆変換部
４４が、ゲイン調整部４３にのゲイン調整処理により得
られた変換後の仮のＲＧＢ値を、最適化されたマトリク
スＡの逆行列Ａ^-1により逆変換して、三刺激値に戻す。

【００６９】次に、色変換部４５が、プライマリ逆変換
部４４の逆変換処理により得られた三刺激値を、出力系
のプライマリに変換する。次に、以上のようにして画像
処理部４により処理された処理後の画像データを画像圧
縮し、記憶部５に記憶する。

【００７０】以上のように、本発明の第１の実施の形態
の画像処理方法、およびこの画像処理方法の実施に使用
する画像処理装置１によれば、有彩色を含む色票の異種
光源下における出力値Ｏ、もしくはこれに相当する値
を、前記色票の標準光源下における色合いに合うように
変換できるよう最適化されたプライマリ変換マトリクス
Ａを用いて、撮影画像の画像信号が、図２（ａ）に示す
三刺激値変換部４１、プライマリ変換部４２、ゲイン調
整部４３、プライマリ逆変換部４４（もしくは、図２
（ｂ）に示すプライマリ変換部４６、ゲイン調整部４
７、プライマリ逆変換部４８）により変換される。これ
により、撮影部３により撮影された画像が、まるで標準
光源下で撮影したかのような色合いになるよう、カラー
バランスがとられることになる。したがって、第１の実
施の形態の画像処理方法、画像処理装置１により、色恒
常の考えに基づいて、画像のカラーバランスをとること
ができる。

【００７１】また、撮影部３の分光感度に基づいて決ま
る撮影部３の出力値Ｏ、もしくはこれに相当する値に基
づいてマトリクスＡを最適化し、このマトリクスＡを用
いて画像データを処理するので、撮影部３そのもの分光
特性、すなわち、撮影部３の分光感度に適応した画像処
理を行うことができる。

【００７２】また、マトリクスＡとして、色恒常予測誤
差が最小化されるように最適化されたものを用いるの
で、撮影部３により撮影された画像の画像信号が、標準
光源下における色合いとの色差が最小化されるように変
換されることになる。したがって、色恒常の考えに基づ
く画像処理を高い精度で行うことができる。

【００７３】また、画像データの変換処理は、最適化さ
れたマトリクスＡと対角行列Ｍ（ゲイン調整）を用いて
行われるので、これにより、撮影部３による撮影時の光
源の種類に関わらず、適切なカラーバランス調整を行う
ことが可能となる。よって、撮影時の光源ごとにマトリ
クスＡを設定しなくても、撮影時の光源の色温度の変化
に対応した画像処理を行うことができる。

【００７４】また、最適化処理において、色票に実在色
票を選択した場合には、撮影部３により実在色票を撮影
して、これにより得られた出力値Ｏを用いてマトリクス
Ａの最適化が行われる。また、分光データで規定された
分光反射率色票を色票として選択した場合には、撮影部
３の分光感度に基づき前記出力値Ｏに相当する値を演算
装置により算出して、これに基づいてマトリクスＡの最
適化が行われる。したがって、実在色票を選択した場合
には、分光反射率色票を選択した場合と異なり、撮影部
３の分光感度を測定する必要がなく、また、出力値Ｏに
相当する値を算出する処理を行う必要がない。よって、
分光データで規定された分光反射率色票を選択した場合
に比べ、マトリクスＡの最適化処理をより容易に行うこ
とができる。

【００７５】また、画像処理部４にはゲイン調整部４３
・４７が設けられているので、プライマリ変換部４２・
４６の変換処理により得られた仮のＲＧＢ値のホワイト
バランスが調整される。したがって、画像処理部４によ
り、画像のホワイトバランスをとることができる。ま
た、ホワイトバランス調整はゲイン調整により行われる
ので、複雑な処理を施すことなく、容易に画像のホワイ
トバランスをとることができる。

【００７６】また、画像処理部４の三刺激値変換部４１
・４９、プライマリ変換部４２・４６、ゲイン調整部４
３・４７、プライマリ逆変換部４４・４８は、線形マト
リクスにより画像信号を線形変換してデータ処理を行う
構成となっているので、画像処理において複雑な演算処
理等を必要とせず、容易に画像信号の変換処理を行うこ
とができる。

【００７７】なお、第１の実施の形態においては、異種
光源としてタングステン光源、高色温度光源（９３００
Ｋの黒体放射）を選択し、同じ重み付けをして式（４）
によりマトリクスＡを最適化する場合の例を説明した
が、これに限らず、式（５）により、代表的な蛍光灯光
源などを含めて適当に重み付けして、マトリクスＡを最
適化するものとしても良い。

【００７８】また、撮影部３を備える画像処理装置１に
対してマトリクスＡを一つだけ設定する場合に限らず、
標準光源よりも低色温度の異種光源、高色温度の異種光
源について、それぞれ重み平均を変化させた場合に最適
化して得られる複数のマトリクスＡや、一部の演色性の
低い蛍光灯（例えば、Ｆ２光源）のみを異種光源に設定
して最適化されたマトリクスＡ等、複数種類のマトリク
スＡを記憶部５に記憶させておき、撮影環境によって画
像処理に用いるマトリクスＡを切り替える構成としても
良い。このとき、例えば、フリッカーや輝線を検出した
り、ストロボやカバーなどの装置の取り付けを検出した
り、特定の色票の彩度や色相を認識したりすることによ
って、撮影時の光源を判断をする光源判定手段や、撮影
時の光源をマニュアルで入力する入力部などを画像処理
装置１に設ける構成としてもよい。この構成とすれば、
検出あるいは入力された撮影時の光源の種類に基づい
て、自動的にマトリクスＡを切り替えて、撮影時の環境
に合った適切な画像処理を行うことができる。また、撮
影時の光源の種類を判断して、これに基づいて適宜重み
平均してマトリクスＡを算出し直し、算出し直したマト
リクスＡに基づいて画像処理を行う構成としても良い。

【００７９】また、画像処理部４の内部構成例を図２に
二つ示したが、撮影部３が４色以上の分光感度を持つ場
合には、図２（ｂ）に示す内部構成の方がより好まし
い。例えば、撮影部３のセンサ（受光素子）がＮ種類
（ch１〜chＮ）まで存在し、画像処理部４の内部構成が
図２（ｂ）に示す構成である場合には、画像処理装置１
により以下の（１）〜（６）の処理が行われる。 （１）センサch１〜chＮにより、image１〜imageＮの画
像を取得する。 （２）プライマリ変換部４６により、Ｎ×Ｎの最適化マ
トリクスＡを用いて、適切なプライマリに変換する。 （３）（２）の処理により得られたimage１'〜imageＮ'
に基づき、白色点（分光反射率が一定の被写体（グレ
ー）に対する画像値）を検出し、この値をＷ１〜ＷＮと
する。なお、これに限らず、例えば、被写体を撮影する
センサとは別のセンサを設け、このセンサにより照明光
を直接測定し、このときの出力値に基づいてＷ１〜ＷＮ
を算出しても良い。 （４）ゲイン調整部４７により、Ｎ×Ｎの対角行列Ｍで
あるＤＭＴ（diagonal matrix transform）を用いて、
標準光源下で撮影されるときのバランスになるよう、画
像データをゲイン調整する。 （５）プライマリ逆変換部４８により、（４）で得られ
た結果を逆プライマリ変換する。 （６）三刺激値変換部４９により、（５）で得られた結
果を三刺激値へ最適化する。なお、上述の（１）〜
（６）の処理は、照明光成分を取り除いて、物体の分光
反射率を計測する処理を行うのと略同様の処理である。

【００８０】上述のように、処理（４）においては、Ｎ
×Ｎの対角行列Ｍによりゲイン調整が行われる。これに
対し、図２（ａ）に示す内部構成の場合には、撮影部３
が４色以上の分光感度を持っていたとしても、三刺激値
変換部４１により三つのパラメータに変換されてしまう
ため、３×３の対角行列Ｍによりゲイン調整が行われ
る。したがって、図２（ａ）に示す内部構成に比べ、図
２（ｂ）に示す内部構成の方が、より対角行列Ｍで調整
できる範囲が広がり、より高精度なホワイトバランス調
整を行うことができる。

【００８１】また、本発明の「色情報」は、色を特定す
るための情報全般を意味し、具体的には、例えば、上述
した出力値Ｏ、三刺激値Ｔ、Ｌ^*ａ^*ｂ^*値などが挙げら
れるが、これらの例に限らず、例えば、他の表色系の刺
激値等を用いても良い。

【００８２】また、マトリクスＡは、色恒常予測誤差Ｅ
mcc_iを最小化するように最適化されるものとしたが、必
ずしも色恒常予測誤差Ｅmcc_iを最小化するようにマトリ
クスＡを定める必要はない。例えば、色恒常予測誤差Ｅ
mcc_iがある程度小さくなるようにマトリクスＡを設定す
る構成としても、色恒常の考えに基づいたカラーバラン
ス調整を行うことができる。

【００８３】また、画像処理装置１は、デジタルカメラ
等のカメラであるものとしたが、撮影された画像を処理
する装置であれば特にカメラに限定されるものではな
い。また、撮影部３を画像処理装置１に設けずに、他の
装置に設ける構成としても良い。具体的には、例えば、
撮影部３を、画像処理を行わないデジタルカメラに設
け、画像処理装置１の画像処理部４を、パーソナルコン
ピュータなどに設ける構成としても良い。その他、画像
処理装置１の構成、画像処理方法の各処理の内容を、本
発明の特許請求の範囲内で適宜変更しても良いのは勿論
である。

【００８４】［実施例１］次に、上述の最適化処理の実
施例について説明する。図３（ａ）のグラフに示す分光
感度を有するデジタルカメラ（以下、感度Ａのカメラと
略称する）と、図３（ｂ）のグラフに示す分光感度を有
するテレビカメラ（以下、感度Ｂのカメラと略称する）
と、について、最適化処理を行った。

【００８５】最適化処理においては、標準光源として、
図４のグラフに示す光源のうち、Ｄ６５を選択した。ま
た、異種光源として、図４のグラフに示す光源のうち、
Ａ（Ａ光源）と、Ｌ９３００（９３００Ｋの黒体放射）
を選択した。また、色票として、図５のグラフに示すマ
クベスカラーチェッカーを選択した。

【００８６】次に、Ｄ６５光源、Ａ光源、および９３０
０Ｋの黒体放射の各光源下で、感度Ａのカメラ、および
感度Ｂのカメラにより、それぞれマクベスカラーチェッ
カーの実在色票を撮影し、出力値Ｏを得た。この出力値
Ｏを用いて、測色色再現誤差Ｅcolを最小化するよう、
式（２）、式（３）に基づき、三刺激値近似マトリクス
Ｂを最適化した。また、色恒常予測誤差Ｅmcc_iを最小化
するよう、式（２）、式（４）に基づき、プライマリ変
換マトリクスＡを最適化した。

【００８７】以上の最適化処理の結果により、画像信号
の変換に用いられる各線形変換係数が得られた。以下
に、一例として、感度Ｂのカメラの画像信号を変換する
線形変換式（６）〜（９）を示す。下記式（６）は、最
適化されたマトリクスＡにより画像信号（ch1〜ch3）を
変換する式である。

【数６】

【００８８】下記式（７）は、式（６）により得られた
プライマリ変換後の画像信号（ch1'〜ch3'）を、対角行
列Ｍによりゲイン調整する式である。ここで、式（６）
内に示す対角行列は、Ａ光源からＤ６５光源のホワイト
ポイントに合致させるための対角行列Ｍである。

【数７】

【００８９】下記式（８）は、式（７）により得られた
ゲイン調整後の画像信号（ch1''〜ch3''）を、最適化さ
れたマトリクスＡの逆行列Ａ^-1により逆変換する式であ
る。

【数８】

【００９０】下記式（９）は、式（８）により得られた
逆変換後の画像信号（ch1'''〜ch3'''）を、最適化され
たマトリクスＢにより三刺激値に変換する式である。

【数９】

【００９１】また、最適化処理の結果に基づき、図３
（ａ）、（ｂ）のグラフに示す各カメラの分光感度をプ
ライマリ変換し、最適化された分光感度を求めた。この
結果をそれぞれ図６（ａ）、（ｂ）に示す。

【００９２】＜第２の実施の形態＞本発明の第２の実施
の形態である撮影装置評価方法は、画像処理装置１の撮
影部３を、（１）測色色再現誤差、（２）最小化色恒常
予測誤差、および（３）ノイズ量に基づいて評価する方
法である。本発明は、特に（２）最小化色恒常予測誤差
に基づいて撮影部３を評価する点を特徴としている。ま
ず、評価対象となる撮影部３について、測色色再現誤
差、最小化色恒常予測誤差、ノイズ量をそれぞれ演算装
置等により算出する。

【００９３】（１）測色色再現誤差 第１の実施の形態で記述した三刺激値近似マトリクスＢ
の最適化処理により、最小化された測色色再現誤差Ｅco
lを算出する。 （２）最小化色恒常予測誤差 第１の実施の形態で記述したプライマリ変換マトリクス
Ａの最適化処理により、最小化された色恒常予測誤差Ｅ
mcc_i（最小化色恒常予測誤差）を算出する。 （３）ノイズ量 Ｌ^*＝５０に相当する入力値（０．１８４）に対して、
各色微少範囲振れ、各色±ａだけ動いたときのＬ^*ａ^*ｂ
^*の標準偏差（計８点）を、Ｌ^*、ａ^*、ｂ^*の各方向につ
いて計算し、このＲＭＳ（Root mean square）をノイズ
量とする。ここで、ａの値としては、入力最大値を１と
したとき、例えば、０．００５を用いる。また、ノイズ
量は、Estevez-Hunt-Pointerプライマリを１００％とし
たときの比率で示す。Estevez-Hunt-Pointerプライマリ
を基準としたのは、これが人間の目の錐体感度に近いと
考えられるためである。上述のようにして算出された測
色色再現誤差、最小化色恒常予測誤差、およびノイズ量
に基づいて、撮影部３を評価する。

【００９４】以上のように、第２の実施の形態の撮影装
置評価方法によれば、上述の測色色再現誤差、最小化色
恒常予測誤差、およびノイズ量に基づいて撮影部３を評
価するので、この評価結果により、測色色再現誤差、最
小化色恒常予測誤差、ノイズ量が小さい撮影部３ほど、
より高い精度で画像処理できる、と判断できる。よっ
て、評価結果に基づき撮影部３を取捨選択することがで
きる。ここで、測色色再現誤差による評価結果と、色恒
常予測誤差による評価結果は、相反する場合がある。こ
のとき、評価結果に基づいて、色恒常予測誤差が最小で
ある撮影部３を選択すると、色恒常の考えに基づき、よ
り高い精度のカラーバランス調整を行うことができる。

【００９５】なお、第２の実施の形態においては、測色
色再現誤差、最小化色恒常予測誤差、ノイズ量の三つの
値をそれぞれ算出し、これらの算出値を比較するものと
したが、必ずしも三つの値全てを算出する必要はない。
少なくとも最小化色恒常予測誤差を算出して、この算出
値を比較すれば、色恒常の考えに基づく画像処理を行う
際に適切な撮影部３はどれか、を知ることができる。

【００９６】［実施例２］上述の実施例１の最適化処理
の結果に基づいて、感度Ａのカメラ、感度Ｂのカメラに
ついて、それぞれ測色色再現誤差、最小化色恒常予測誤
差、およびノイズ量を算出した。また、比較例として、
図７（ａ）のグラフに示す錐体の分光感度（Estevez-Hu
nt-Pointerプライマリ）についても実施例１と同様の最
適化処理を行い、測色色再現誤差、最小化色恒常予測誤
差、ノイズ量を算出した。なお、図７（ｂ）は、錐体の
分光感度をプライマリ変換して最適化した分光感度を示
すグラフである。

【００９７】また、参考例として、感度Ａのカメラ、感
度Ｂのカメラ、および錐体の分光感度それぞれについ
て、最適化されていないそのままの分光感度によるプラ
イマリでカラーバランス（ホワイトバランス）をとった
場合の色恒常予測誤差を算出した。具体的には、マトリ
クスＡを単位行列とした場合の色恒常予測誤差を、上記
式（４）に基づいて算出した。

【００９８】図８に、算出結果を示す。分光感度を最適
化しない場合に得られた色恒常予測誤差（参考）に対す
る、分光感度を最適化した場合に得られた最小化色恒常
予測誤差の比率は、感度Ａのカメラでは６６％、感度Ｂ
のカメラでは６０％である。このことから、感度Ｂのカ
メラの方が、感度Ａのカメラに比べ、第１の実施の形態
の画像処理方法によって異種光源下の色から標準光源下
の色ををより高精度で再現でき、より高精度で画像のカ
ラーバランスをとれる、ということがわかる。

【００９９】また、感度Ａのカメラ、感度Ｂのカメラに
ついて、測色色再現誤差、ノイズ比を比較すると、いず
れも感度Ｂのカメラの方が低い値を示している。したが
って、感度Ａのカメラよりも、感度Ｂのカメラを選択し
た方が、より高精度の画像処理を行える、と判断でき
る。

【０１００】＜第３の実施の形態＞本発明の第３の実施
の形態である画像情報保存方法は、画像処理システム
（図示略）を構成する画像処理装置１により、画像デー
タを保存する方法である。画像処理システムは、第１の
実施の形態の画像処理装置１（第１の画像処理装置）
と、外部機器（第２の画像処理装置）と、画像処理装置
１と外部機器との間で情報をやりとりするための伝送媒
体と、を備えて構成されている。

【０１０１】ここで、画像処理装置１の制御部２は、画
像処理部４により画像圧縮された画像データ（本発明の
処理後画像情報に相当）を、例えば、図９に示すファイ
ル構造７（本発明の画像データファイルにおけるデータ
構造に相当）のフォーマットで記憶部５（本発明の情報
保存手段に相当）に記憶させるようになっている。ファ
イル構造７は、ファイルヘッダ部７１、画像データに関
する共通な情報を記憶するメタデータ部７２、画像デー
タそのものを記憶する画像データ記憶部７３（本発明の
第１のデータ領域に相当）を備えて構成されている。メ
タデータ部７２には変換データ記憶部７２ａ（本発明の
第２のデータ領域に相当）が設けられており、変換デー
タ記憶部７２ａには、最適化されたプライマリ変換マト
リクスＡのデータや、画像撮影時における撮影部３の分
光感度のデータなど（本発明の変換情報に相当）が記憶
されるようになっている。また、制御部２は、記憶部５
に記憶されたファイル構造７に含まれるデータ全てを、
一緒に外部機器へ伝送媒体を介して送信できるようにな
っている。

【０１０２】また、画像処理システムを構成する外部機
器には、第１の実施の形態の画像処理部４と同様の構成
の画像処理部が設けられている。また、外部機器には、
画像処理部により画像処理を行うための画像処理プログ
ラムや画像処理データ等を記憶する記憶部が設けられて
いる。また、前記伝送媒体は、例えば、ケーブルや、Ｌ
ＡＮ（Local Area Network）、電話回線、インターネッ
ト等から構成されるものである。

【０１０３】上記の画像処理装置１による画像情報保存
方法について、説明する。第１の実施の形態で述べたよ
うにして画像処理部４による画像処理が施された後、制
御部２は、圧縮された画像データを、図９に示すファイ
ル構造７のフォーマットで記憶させる。このとき、記憶
部５に予め記憶されている、最適化されたマトリクスＡ
のデータや、画像撮影時における撮影部３の分光感度の
データを、変換データ記憶部７２ａに記憶させる。

【０１０４】次に、外部機器が画像処理装置１からファ
イル構造７のデータを伝送媒体を介して受信した場合
に、外部機器により行う画像処理方法について、説明す
る。外部機器は、画像処理装置１から受信したファイル
構造７の変換データ記憶部７２ａから、マトリクスＡの
データを読み出す。次に、このマトリクスＡのデータに
基づき、外部機器の画像処理部が、ファイル構造７に含
まれる処理後の画像データを逆変換して、ゲイン調整処
理後のデータを算出する。具体的には、色変換部４５の
変換処理の逆変換と、プライマリ逆変換部４４の変換処
理の逆変換（または三刺激値変換部４９の変換処理の逆
変換、およびプライマリ逆変換部４８の変換処理の逆変
換）を行う。次に、得られたゲイン調整後のデータを、
ゲイン調整部４３（またはゲイン調整部４７）によりゲ
イン調整して、ホワイトバランスをとりなおす。その
後、プライマリ逆変換部４４（または三刺激値変換部４
９とプライマリ逆変換部４８）と、色変換部４５によ
り、ホワイトバランスを取り直した画像データの変換処
理を行う。

【０１０５】もしくは、外部機器は、画像処理装置１か
ら受信したファイル構造７の変換データ記憶部７２ａか
ら、撮影部３の分光感度のデータを読み出す。次に、こ
の分光感度のデータに基づき、外部機器において第１の
実施の形態で記述したマトリクスＡの最適化処理を行
う。次に、マトリクスＡが変換データ記憶部７２ａに記
憶されている場合と同様にして、最適化処理により算出
したマトリクスＡに基づいて、画像データの逆変換、ホ
ワイトバランス調整、および変換処理を行う。

【０１０６】以上のように、第３の実施の形態の画像情
報保存方法、画像処理装置１、画像処理システム、およ
びファイル構造７によれば、外部機器において、変換デ
ータ記憶部７２ａに記憶されたマトリクスＡや分光感度
のデータを読みとり、このデータに基づき、画像圧縮さ
れた画像データを、色恒常を最適化して再処理すること
ができる。特に、画像処理装置１側で自動的にホワイト
バランスを調整している場合には、処理後の画像に誤差
が含まれている可能性がある。このような場合に、外部
機器において再度ホワイトバランスをとることができる
ので、より高画質化された画像を得ることができる。

【０１０７】また、変換データ記憶部７２ａにマトリク
スＡや分光感度のデータが記憶されているので、最小限
の明確な情報に基づき、画像データを再処理できる。よ
って、画像データを再処理する際の演算処理にかかる負
担を軽減できる。また、ファイル構造７全体のデータ量
を少なく抑えることができる。

【０１０８】なお、第３の実施の形態において、ファイ
ル構造７の画像データ記憶部７３に記憶させる画像デー
タを、出力段で使われるビット数（例えば、８ビット）
を上回るビット数（例えば、１０〜１６ビット）を持つ
ように構成すれば、再計算によるビット落ちを避けるこ
とができる。

【０１０９】また、画像データ記憶部７３に画像処理後
の画像データを記憶させる構成としたが、これに限ら
ず、画像データ記憶部７３に、撮影部３による撮影によ
って得られた画像信号の生データや、この生データを三
刺激値に変換したデータなどの画像処理前のデータ（本
発明の撮影画像情報に相当）を記憶させる構成としても
よい。この場合には、外部機器の画像処理部により、変
換データ記憶部７２ａに記憶されたマトリクスＡや撮影
部３の分光感度のデータに基づいて、画像処理前のデー
タを処理して、色恒常の考えに基づくカラーバランス調
整を行える。

【０１１０】また、変換データ記憶部７２ａにはマトリ
クスＡや撮影部３の分光感度のデータが記憶されるもの
としたが、これに限らず、例えば、マトリクスＡや分光
感度のデータをインターネット上の任意の場所に予め記
憶しておき、この居所を示すデータ（本発明の居所情報
に相当。具体的には、例えば、ＵＲＬ（Uniform Resour
ce Locator）など）を変換データ記憶部７２ａに記憶さ
せておく構成としてもよい。この構成とすれば、外部機
器側において、居所データに基づきマトリクスＡや分光
感度のデータを探し当てることができるので、探し当て
たデータに基づいて画像データの変換処理や、処理後の
画像データの再変換処理を行える。

【０１１１】また、画像処理装置１側において、画像デ
ータのファイル構造７が記憶されている記憶部５が、例
えば、フロッピー（登録商標）ディスクなどの着脱可能
な記憶媒体である場合には、この着脱可能な記憶媒体を
外部機器に装着し、外部機器において記憶媒体からファ
イル構造７のデータを読みとって、読みとったデータに
基づき画像処理を行うことができる。なお、この場合に
は、外部機器は、必ずしも伝送媒体を介して画像処理装
置１と接続されている必要はない。

【０１１２】また、第３の実施の形態における画像処理
装置１は、必ずしも画像処理部４を備えている必要はな
い。これは、外部機器側において、最適化されたマトリ
クスＡを用いて、色恒常の考えに基づきカラーバランス
をとることができるためである。

【０１１３】

【発明の効果】請求項１、７記載の発明によれば、変換
手段により、異種光源下色情報を標準光源下色情報に合
わせるようにして、撮影装置により撮影された画像の色
情報が変換される。したがって、画像の色合いが、まる
で標準光源下で撮影したかのような色合いになるよう、
カラーバランスをとることができる。すなわち、色恒常
の考えに基づいて、画像のカラーバランスをとることが
できる。

【０１１４】請求項２記載の発明によれば、色差最小化
変換手段により、標準光源下色情報との色差が最小化さ
れるように異種光源下色情報を変換するようにして、撮
影装置により撮影された画像の色情報が変換される。す
なわち、画像の色情報が、標準光源下における色情報と
の色差が最小化されるように変換されるので、より高い
精度で、色恒常の考えに基づく画像処理を行える。

【０１１５】請求項３、１６記載の発明によれば、異種
光源下色情報は撮影出力値であるので、異種光源下色情
報の特定に必要な撮影装置の分光感度を測定する必要が
なく、異種光源下色情報を求めるための演算処理等を行
う必要もない。よって、異種光源下色情報そのものであ
る撮影出力値に基づいて、変更手段を容易に特定でき
る。

【０１１６】請求項４記載の発明によれば、変換手段は
ホワイトバランス調整手段を含んで構成されるので、変
換手段により画像のホワイトバランスをとることができ
る。請求項５記載の発明によれば、変換後色情報のゲイ
ン調整によって、画像のホワイトバランスがとられるの
で、複雑な処理を施すことなく、容易にホワイトバラン
スをとることができる。請求項６記載の発明によれば、
色情報が線形マトリクスにより変換されるので、色情報
の変換処理において複雑な演算処理等を必要とせず、容
易に色情報を変換できる。

【０１１７】請求項８記載の発明によれば、撮影装置の
評価結果により、どの撮影装置を用いれば、色恒常の考
えに基づく画像処理をより高い精度で行えるか、を知る
ことができる。よって、撮影装置の評価結果に基づき撮
影装置を取捨選択して、色恒常の考えに基づき、より高
い精度のカラーバランス調整を行え、また、好ましい撮
影システムを選定できる。

【０１１８】請求項９、１２記載の発明によれば、画像
情報とともに保存されている変換情報や居所情報に基づ
き、変換手段による色情報の変換方法を特定でき、特定
した色情報の変換方法に従って、撮影画像情報の色情報
を変換したり、処理後画像情報から変換前の画像情報を
求めて、変換前の画像情報の色情報を再度変換したりす
ることができる。よって、撮影した画像や、画像処理後
の画像について、色恒常の考えに基づいてカラーバラン
スをとることができる。

【０１１９】請求項１０記載の発明によれば、変換手段
による色情報の変換方法を、撮影装置の分光感度や線形
マトリクスの情報に基づいて特定できるので、最小限の
明確な情報に基づき、撮影した画像や、画像処理後の画
像について、カラーバランスをとる処理を容易に行うこ
とができる。請求項１１記載の発明によれば、変換手段
による色情報の変換方法が、撮影装置の分光感度や線形
マトリクスの情報に基づいて特定され、この変換方法に
従って、撮影画像情報、および処理後画像情報のうちの
少なくとも一方の画像情報の色情報が変換される。よっ
て、最小限の明確な情報に基づき、撮影した画像や、画
像処理後の画像について、カラーバランスをとる処理を
容易に行うことができる。

【０１２０】請求項１３記載の発明によれば、画像情報
とともに送信される変換情報や居所情報に基づき、変換
手段による色情報の変換方法を特定でき、特定した色情
報の変換方法に従って、撮影画像情報の色情報を変換し
たり、処理後画像情報から変換前の画像情報を求めて、
変換前の画像情報の色情報を再度変換したりすることが
できる。よって、撮影した画像や、画像処理後の画像に
ついて、色恒常の考えに基づいてカラーバランスをとる
ことができる。

【０１２１】請求項１４記載の発明によれば、第２のデ
ータ領域に対応した前記変換情報または変換情報の居所
を画像処理装置により参照して、参照した変換情報、ま
たは参照した居所に基づき探し当てられた変換情報に基
づいて、画像処理装置により第１のデータ領域の画像デ
ータの色情報を適宜に変換することができる。請求項１
５記載の発明によれば、異種光源下色情報を標準光源下
色情報に合わせるように変換するためのデータである変
換情報に基づいて、画像処理装置により、色恒常の考え
に基づき、第１のデータ領域の画像データのカラーバラ
ンスをとることができる。

【図面の簡単な説明】

【図１】第１の実施の形態の画像処理装置の構成を示す
概略ブロック図である。

【図２】図１中の画像処理部の内部構成例を示す概略図
である。

【図３】（ａ）は、実施例１の最適化処理に用いた感度
Ａのカメラの分光感度を示すグラフであり、（ｂ）は、
実施例１の最適化処理に用いた感度Ｂのカメラの分光感
度を示すグラフである。

【図４】実施例１の最適化処理において選択した光源の
分光分布を示すグラフである。

【図５】実施例１の最適化処理において選択したマクベ
スカラーチェッカーの分光反射率を示すグラフである。

【図６】（ａ）は、図３（ａ）に示す分光感度の最適化
結果を示すグラフであり、（ｂ）は、図３（ｂ）に示す
分光感度の最適化結果を示すグラフである。

【図７】（ａ）は、実施例２において比較例として用い
た錐体の分光感度を示すグラフであり、（ｂ）は、
（ａ）に示す分光感度の最適化結果を示すグラフであ
る。

【図８】実施例２の算出結果を示す表である。

【図９】第３の実施の形態の画像保存方法により保存さ
れる画像データのファイル構造を示す概念図である。

【符号の説明】

１ 画像処理装置（第１の画像処理装置） ３ 撮影部（撮影装置） ５ 記憶部（情報保存手段） ７ ファイル構造（画像データファイルにおけるデータ
構造） ４１ 三刺激値変換部（変換手段、色差最小化変換手
段、色情報変換手段） ４２、４６ プライマリ変換部（変換手段、色差最小化
変換手段、色情報変換手段） ４３、４７ ゲイン調整部（変換手段、色差最小化変換
手段、ホワイトバランス調整手段） ４４、４８ プライマリ逆変換部（変換手段、色差最小
化変換手段） ７２ａ 変換データ記憶部（第２のデータ領域） ７３ 画像データ記憶部（第１のデータ領域）

フロントページの続き Ｆターム(参考） 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE17 5C066 AA01 CA08 EA14 KA12 KE04 KM02 5C072 AA01 BA19 EA05 EA08 QA16 UA13 XA10 5C077 MM03 MM27 MP08 PP32 PP37 PQ22 5C079 HA03 HB01 JA23 JA25 LA02 LA23 LB11 MA01 MA10 NA03

Claims (16)

【特許請求の範囲】
1. 【請求項１】 撮影装置により撮影された画像を処理し
   てカラーバランスをとる画像処理方法であって、 前記撮影装置の分光感度に関わる情報に基づいて得られ
   る、標準光源とは異なる種類の異種光源下における有彩
   色を含む色票の色情報である異種光源下色情報を、前記
   色票の標準光源下における色情報である標準光源下色情
   報に合わせるように変換可能な変換手段により、前記画
   像の色情報を変換することを特徴とする画像処理方法。
2. 【請求項２】 異種光源下色情報を、標準光源下色情報
   との色差を最小化するように変換可能な色差最小化変換
   手段を、変換手段として用いることを特徴とする請求項
   １記載の画像処理方法。
3. 【請求項３】 異種光源下色情報は、有彩色を含む色票
   を異種光源下において撮影装置により実際に撮影して得
   られた撮影出力値であることを特徴とする請求項１また
   は２記載の画像処理方法。
4. 【請求項４】 変換手段は、色情報を変換する色情報変
   換手段と、前記色情報を前記色情報変換手段によって変
   換して得られた変換後色情報を変換して、ホワイトバラ
   ンスを調整するホワイトバランス調整手段と、を含んで
   構成されることを特徴とする請求項１〜３のいずれかに
   記載の画像処理方法。
5. 【請求項５】 ホワイトバランス調整手段は、変換後色
   情報をゲイン調整してホワイトバランスをとることを特
   徴とする請求項４記載の画像処理方法。
6. 【請求項６】 色情報変換手段は、線形マトリクスによ
   り色情報を変換することを特徴とする請求項４または５
   記載の画像処理方法。
7. 【請求項７】 撮影装置により撮影された画像を処理し
   てカラーバランスをとる画像処理装置であって、 前記撮影装置の分光感度に関わる情報に基づいて得られ
   る、標準光源とは異なる異種光源下における有彩色を含
   む色票の色情報である異種光源下色情報を、前記色票の
   標準光源下における色情報である標準光源下色情報に合
   わせるように変換可能な変換手段を備え、 この変換手段により、前記画像の色情報を変換すること
   を特徴とする画像処理装置。
8. 【請求項８】 請求項２記載の画像処理方法によって画
   像を処理する場合に用いる撮影装置を評価する撮影装置
   評価方法であって、 異種光源下色情報を色差最小化変換手段によって変換し
   て得られる色情報と、標準光源下色情報と、の色差に基
   づいて、前記撮影装置を評価することを特徴とする撮影
   装置評価方法。
9. 【請求項９】 請求項１〜６のいずれかに記載の画像処
   理方法によって画像を処理する場合に画像情報を保存す
   る画像情報保存方法であって、 撮影装置の撮影により得られた撮影画像情報と、前記画
   像処理方法により画像を処理して得られた処理後画像情
   報と、のうちの少なくとも一方の画像情報とともに、変
   換手段による色情報の変換方法を特定可能な変換情報
   と、この変換情報の居所を示す居所情報と、のうちの少
   なくとも一方の情報を保存することを特徴とする画像情
   報保存方法。
10. 【請求項１０】 変換手段は、線形マトリクスにより色
    情報を変換する色情報変換手段と、前記色情報を前記色
    情報変換手段によって変換して得られた変換後色情報を
    変換して、ホワイトバランスを調整するホワイトバラン
    ス調整手段と、を含んで構成され、 前記変換手段による色情報の変換方法を特定可能な変換
    情報は、撮影装置の分光感度と、前記線形マトリクス
    と、のうちの少なくとも一方の情報であることを特徴と
    する請求項９記載の画像情報保存方法。
11. 【請求項１１】 請求項１０記載の画像情報保存方法に
    より保存された画像情報を処理する画像処理方法であっ
    て、 前記画像情報保存方法により保存された変換情報、およ
    び、居所情報に基づき探し当てられた変換情報、のうち
    の少なくとも一方の変換情報に含まれる、分光感度、お
    よび、線形マトリクスの少なくとも一方の情報に基づい
    て、変換手段による色情報の変換方法を特定し、 特定した色情報の変換方法に従って、前記画像情報保存
    方法により保存された撮影画像情報、および、処理後画
    像情報、のうちの少なくとも一方の画像情報の色情報を
    変換することを特徴とする画像処理方法。
12. 【請求項１２】 請求項１〜６のいずれかに記載の画像
    処理方法によって画像を処理する画像処理装置であっ
    て、 撮影装置の撮影により得られた撮影画像情報と、前記画
    像処理方法により画像を処理して得られた処理後画像情
    報と、のうちの少なくとも一方の画像情報とともに、変
    換手段による色情報の変換方法を特定可能な変換情報
    と、この変換情報の居所を示す居所情報と、のうちの少
    なくとも一方の情報を保存する情報保存手段を備えるこ
    とを特徴とする画像処理装置。
13. 【請求項１３】 請求項９または１０記載の画像情報保
    存方法により画像情報が保存される情報保存手段を備え
    る第１の画像処理装置と、請求項１〜６のいずれかに記
    載の画像処理方法によって画像を処理可能な第２の画像
    処理装置と、前記第１の画像処理装置と前記第２の画像
    処理装置との間で情報をやりとりするための伝送媒体
    と、を備え、 前記情報保存手段に保存された撮影画像情報と処理後画
    像情報とのうちの少なくとも一方の画像情報とともに、
    前記情報保存手段に前記画像情報とともに保存された変
    換情報と居所情報とのうちの少なくとも一方の情報を、
    前記伝送媒体を介して、前記第１の画像情報処理装置か
    ら、前記第２の画像処理装置へ送信することを特徴とす
    る画像処理システム。
14. 【請求項１４】 画像データが記録された画像データフ
    ァイルにおけるデータ構造であって、 画像データファイルには前記画像データからなる第１の
    データ領域および、 画像処理装置によって参照可能であり、色情報の変換の
    ための変換情報または変換情報の居所に対応する第２の
    データ領域、を設けたことを特徴とする画像データファ
    イルにおけるデータ構造。
15. 【請求項１５】 前記変換情報は、撮影装置の分光感度
    に関わる情報に基づいて得られる、標準光源とは異なる
    種類の異種光源下における有彩色を含む色票の色情報で
    ある異種光源下色情報を、前記色票の標準光源下におけ
    る色情報である標準光源下色情報に合わせるように変換
    するためのデータであることを特徴とする請求項１４記
    載の画像データファイルにおけるデータ構造。
16. 【請求項１６】 前記異種光源下色情報は有彩色を含む
    色票を異種光源下において撮影装置により実際に撮影し
    て得られた撮影出力値であることを特徴とする請求項１
    ５記載の画像データファイルにおけるデータ構造。