JP2011124954A - 画像処理方法及び画像処理装置 - Google Patents

Abstract

【課題】デジタルカメラで原画を撮影しプリンタで出力し複製画像を作成する場合、一定量の光量を照射するフラッシュ撮影画像に比べ、観察光源撮影画像は照明ムラが生じ、精度の高い色変換が算出できない場合があった。
【解決手段】まず、フラッシュ撮影画像より同じ色を示す画素を複数位置から選択する。次に、観察光源撮影画像から対応する画素の位置を選択し、その画素位置の色が違う場合は観察光源の照明ムラの影響がある為、観察光源撮影画像のシェーディング補正データを作成する。さらに、そのシェーディング補正データを用いて観察光源撮影画像のシェーディングを除く。
【選択図】 図１

Description

本発明は画像処理方法及び画像処理装置に関し、特に、デジタルカメラとプリンタを組み合わせた文化財や美術品、絵画等の複製を作成する際に有効なシェーディング処理方法とその方法を適用した画像処理装置に関する。

襖や屏風、絵画等の文化遺産は温度や湿度、太陽光等の影響を受け年々老朽化していくのが避けられない状況になっている。そこで、貴重な文化遺産を後世に伝える為に老朽化した文化遺産の修復を進めると共に、文化遺産を大切に保管し通常の展示は高精度な複製画に置換する試みが活発になっている。そして、文化遺産に対する人々の認識を高めることを目的として、作成された複製画は学校やイベントなどに貸し出し、身近に文化遺産に触れてもらう機会を提供している。

従来、複製画を製作するには職人によって手書きで模写をする方法が行われていた。しかしながら、手書きでの模写は製作に日数がかかり複製画の質も職人の腕に依存するものであった。一方、製作日数が少なく高画質な複製画作成手法としてデジタルカメラとプリンタを用いた方法がある。例えば、特許文献１には、その手順を開示している。

その手順は次の通りである。即ち、（１）デジタルカメラで原画とカラーチャートを同一条件で撮影する。（２）カラーチャートの画像データから取得したＲ（赤）、Ｇ（緑）、Ｂ（青）の画像信号とカラーチャートの入力ＲＧＢ色信号よりカメラの色空間からプリンタの色空間へのカラーマッチング用の色変換テーブルを作成する。（３）原画の画像データに対し色変換テーブルを用いて色変換を行うことで原画と同じ色合いの画像出力を得る。（４）色変換した原画撮影画像をカラープリンタで出力する。

ところで、非常に高精細な複製画を作成するためには、原画の撮影時に十分な照明光量で、かつ照明ムラなく原画に照射して撮影する必要がある。照明光量が少ないと撮影時の露出時間が長くなり画像データに電気的ノイズが増加するからである。また、露出時間が長くなると、非常に高い画素数のデジタルカメラを用いる場合には、わずかな振動も画像のブレとして現れてしまう。従って、撮影画像の鮮鋭度を維持するには、十分な照明光量を確保する必要がある。

また照明ムラがある状態で、作品の撮影を行うとそのムラは撮影画像に反映され、そのまま複製画の明度ムラとして現れてしまう。これを画像編集ソフトなどを用いて修正する作業は、時間もかかる上、作業者に高いスキルを要求する。従って、作品を撮影する際には照明を工夫してできるだけムラがない状態で撮影するのが望ましい。例えば、人工太陽灯などの照明を多数用意し、複数方向から作品に照射することで照明の光量と均一性を確保する方法もある。しかし、歴史的価値の高い文化財や絵画は作品保護のために、強い照明を照射することが禁じられていたり、展示場所の奥行きが狭く機材設置の自由度も少ないことが多いため、実際には人工太陽灯などの強い照明を均一にあてて撮影することは現実的でなはない。

そこで、ほとんどの場合には、フラッシュを多灯で照射して撮影する。フラッシュ光は数万分の１秒から数千分の１秒の照射時間で十分な光量を得ることができるため、作品を痛めることがなく、かつ奥行きのない場所でも機材の設置が容易で、ムラなく均一に照明することが可能であるからである。ところがフラッシュを照射して撮影した撮影画像を用いて作成した複製画はフラッシュ光源下でしか原画と複製画の色味が一致しない。フラッシュ光で作品を観察することは実際上はあり得ず、実際の観察光源下で複製画を観察した場合、原画と複製画の色味は一致しない。

一方、仮にフラッシュを照射せずに実際の観察光源でカラーチャート及び原画を撮影し複製画を作成すれば観察光源下で原画と複製画の色味は一致する。しかしながら、前述の通りフラッシュを使用しないで撮影して得られた原画の画像データは、撮影時のブレ、照明ムラなどのため、画像データにノイズが多くなってしまい高詳細な複製画にならない。

従って、上記の問題を解決する為に従来は次のような撮影が行われている。

図１０は撮影の様子を模式的に示す図である。

図１０に示すように、同じ原画に対して「フラッシュを当てて撮影した画像（フラッシュ撮影画像）」と「フラッシュ光を当てずに撮影した画像（観察光源撮影画像）」の２枚の画像を撮影する。撮影した２枚の画像からフラッシュ撮影画像を観察光源での色味に変換する光源変換用の色変換パラメータを作成する。作成された色変換パラメータを使用してフラッシュ撮影画像を観察光源での色味になるように変換する。

このような光源変換を行うことにより観察光源撮影画像のノイズやブレの問題を解消することができる。しかし、このような光源変換の方法では観察光源撮影画像の照明ムラの問題が依然として残される。従って、観察光源撮影画像に照明ムラがあるまま光源変換用パラメータを作成すると光源変換を行う際に照明ムラの影響で精度良く変換できない。

このため、図１０に示すように、撮影画像の一部のみを切り出して、観察光源撮影画像の照明ムラを補正する。観察光源撮影画像には照明ムラが発生するが、その一部のみを切り出すと画像全体の照明ムラに比べて影響は少ない。従って、フラッシュ撮影画像と観察光源撮影画像の一部のみを切り出し、切り出し画像から光源変換用の色変換パラメータを作成する。このようにして作成された色変換パラメータを使用してフラッシュ撮影画像を観察光源に最適化した色に色変換を行う。このように観察光源に最適化されたフラッシュ撮影画像を使用して複製画を作成すると照明ムラの問題が解消される。

また、照明ムラを補正する他の方法として白板を使用したシェーディング補正が知られている。例えば、特許文献２にはデジタルカメラで被写体を撮影する前に白い紙等を撮影して照度補正データを作成し、被写体を撮影する際に照度補正データを適用することでシェーディングを補正する方法が開示されている。

特開平５−１０３３３６号公報 特開平６−０１２２０４号公報

しかしながら上記従来の方法では以下のような問題があった。

撮影画像の一部のみを切り出す方法の場合、切り出した画像内に原画に存在する色の殆どが入っている必要がある。従って、例えば、図１０に示すように切り出した画像内に入っていない色（画像左上の丸）については光源変換が行われずフラッシュ光源での色味のまま複製画が作成されてしまう。このように、照明ムラの影響がほとんどない領域で、原画全体の色がほとんど存在するような領域を見つけることは大変困難であるという問題がある。

一方、白板を使用したシェーディング補正では原画と同じ場所に白板を置き、白板を撮影した画像からシェーディング補正データを作成することで観察光源撮影画像の照明ムラを補正する事ができる。しかし、美術品のような高価な作品を取り扱う場合、美術品の損傷の恐れがある為移動する事が難しい。また美術品と同じ位置に白板を置く事も難しく、美術品と原画の位置あわせが困難であるという問題がある。

本発明は上記従来例に鑑みてなされたもので、光源変換において問題となる観察光源撮影画像の照明ムラを好適にシェーディング補正する画像処理方法と画像処理装置を提供することを目的とする。

上記目的を達成するために本発明の画像処理方法は次のような構成からなる。

即ち、第１光源の下で原画を撮影することにより得られた画像データにシェーディング補正を施して第２光源の下での観察に適した複製画像データを生成するための画像処理方法であって、前記原画を前記第１光源の下で撮影し、原画の第１光源撮影画像データを取得する工程と、前記原画を前記第２光源の下で撮影し、原画の第２光源撮影画像データを取得する工程と、前記第１光源撮影画像データから、予め設定された閾値の範囲に入り、略同一の色とみなされる画素と該画素の位置を抽出する工程と、前記第２光源撮影画像データから、前記第１光源撮影画像データから抽出された画素の位置に対応する画素の色を抽出する工程と、前記第１光源撮影画像データと前記第２光源撮影画像データそれぞれから抽出された対応する画素の色の違いからシェーディング補正データを生成する生成工程と、前記生成されたシェーディング補正データを用いて前記第２光源撮影画像データに対してシェーディング補正を施す工程とを有することを特徴とする。

また他の発明によれば、その方法を適用した画像処理装置を備える。

また、この画像処理装置の各手段はコンピュータプログラムにより実現しても良い。

従って本発明によれば、第１光源下の撮影画像と観察光源となる第２光源下の撮影画像からシェーディング補正データを作成し、このデータを用いて第２光源下の撮影画像にシェーデイング補正を施すことができる。これにより、シェーディング補正が施された第２光源下の撮影画像から照明ムラによる影響を除去することができる。

本発明の代表的な実施例である画像処理システムの全体概略構成とそのシステムに適用される複製画作成方法の概要を示す図である。 画像処理装置１００とプリンタ１０３とデジタルカメラ１０５の構成を示すブロック図である。 複製画作成処理の全体の流れを示すフローチャートである。 一般的な撮影および印刷の流れを示すフローチャートである。 色変換パラメータ生成処理を示すフローチャートとその処理を模式的に説明した図である。 シェーディング補正データ生成処理を示すフローチャートである。 シェーディング補正データの生成処理を模式的に説明する図である。 シェーディング補正データの生成処理を模式的に説明する図である。 光源変換パラメータ生成処理を示すフローチャートとその処理を模式的に説明した図である。 従来の複製画生成のための撮影の様子を模式的に示す図である。

以下添付図面を参照して本発明の好適な実施例について、さらに具体的かつ詳細に説明する。なお、以下の実施例で開示する構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

図１は本発明の代表的な実施例である画像処理システムの全体概略構成とそのシステムに適用される複製画作成方法の概要を示す図である。

この画像処理システムはパーソナルコンピュータなどのＣＰＵを搭載しコンピュータプログラムを実行できる画像処理装置１００とプリンタ１０３とデジタルカメラ１０５とから構成される。図１において、画像処理装置１００内に示された部分はＣＰＵで実行される画像処理部分である。

画像処理装置１００の内部には、オリジナルのカラーチャートデータ１０１とカラーチャート画像データ１０２が対応づけて不揮発性メモリ（ＥＥＰＲＯＭ、ＦｅＲＡＭなどの半導体ディスクやハードディスク）に記憶されている。なお、カラーチャート画像データ１０２は、色変換用パラメータを生成するための複数のカラーパッチがレイアウトされている。また、オリジナルのカラーチャートデータ１０１には、カラーチャート画像データ１０２にレイアウトされた複数のパッチのＲＧＢ値が記憶されている。

図２は、画像処理装置１００とプリンタ１０３とデジタルカメラ１０５の構成を示すブロック図である。なお、以下の説明では本発明を説明するのに必要な構成要素のみを記載しているが、図示以外の構成であっても各装置としての一般的な構成要素が含まれていることは言うまでもない。

図２（ａ）に示すように、画像処理装置１００はＲＯＭ１１、ＲＡＭ１２、ＤＤＣ（ディスクドライブコントローラ）１３、ＣＰＵ１４を含む。さらに、画像処理装置１００はＰＩＦ１５（周辺機器インタフェース）、ＶＩＦ１６（ビデオインタフェース）、ＮＩＣ１７（ネットワークインタフェースカード）を含む。これらの構成要素はバス（不図示）を介して相互にデータをやり取りすることができる。また、ＶＩＦ１６は画像処理装置１００の外部に接続されたモニタ１８とのデータの入出力を行い、ＶＩＦ１６を介してＣＰＵ１４はモニタ１８を制御することが可能である。

ＤＤＣ１３は、フレキシブルディスク、コンパクトディスク、ＵＳＢメモリ、ＨＤＤ（ハードディスクドライブ）といった各種記憶媒体とのデータ入出力を制御する。ＮＩＣ１７はネットワークを介して接続される各種外部機器とデータ入出力を制御する。ＰＩＦ１５は画像処理装置に接続される各種周辺機器とのデータ入出力を制御する。この実施例では、ＰＩＦ１５にプリンタ１０３とカメラ１０５が接続されてデータ入出力を行う。なお、ＰＩＦ１５と各種周辺機器を接続する形態は専用ケーブルなどに限定されるものではなく、無線接続やＵＳＢ接続など他の接続形態を用いても良い。

また、データはＮＩＣ１７及びＤＤＣ１３を介して他の機器に入出力を行うことも可能である。なお、この実施例の画像処理装置は一般的な構成を備えたパーソナルコンピュータであるが、データの入出力及びデータの演算・記憶の機能を備えた機器であれば幅広く適用可能である。例えば、データ演算・記憶機能を備えたプリンタやカメラであれば、画像処理装置１００と同様の処理を実現可能である。このような場合、画像処理装置は各周辺機器の一部で置き換えることが可能である。

図２（ｂ）に示すように、プリンタ１０３はインタフェース（Ｉ／Ｆ）部２１、制御部２２、記憶部２３、画像処理部２４、印刷部２５から構成される。Ｉ／Ｆ部２１は外部機器より画像データを受信する。制御部２２はジョブの管理や画像処理、印刷の制御などプリンタ１０３に関係するデータ処理の制御を行う。記憶部２３はファームウェアや印刷パラメータの記憶、中間バッファとして中間データを記憶する。画像処理部２４は画像データの色変換、Ｎ値化等の画像処理を行う。印刷部２５は画像処理部２４で処理された画像データの所定の記録方式に従って記録処理を行う。なお、この実施例におけるプリンタ１０３はインクジェットプリンタとするが、この他にも電子写真方式や昇華型方式などを採用した他のプリンタを用いても良い。

図２（ｃ）に示すように、デジタルカメラ１０５は撮像部３１、画像処理部３２、制御部３３、記憶部３４、インタフェース（Ｉ／Ｆ）部３５から構成される。撮像部３１ではＣＣＤ（或いはＣＭＯＳセンサ）により撮像された画像信号を得る。その画像信号は画像処理部３２において色変換処理、フィルタ処理等の画像処理が施され画像データへと変換され記憶部３４へ記憶される。制御部３３は各処理の制御を行う。また、制御部３３はＩ／Ｆ部３５を介して画像処理装置１００へ画像データを送信する。なお、この実施例におけるデジタルカメラ１０５は画像をデジタル画像に変換する機器を幅広く含むものである。従って、フィルム等のアナログ形式の記録媒体に記録した画像であっても、その後、デジタル画像に変換可能な場合、そのデジタル画像から得られる画像データは画像処理装置１００で処理可能である。

図３は、複製画作成処理の全体の流れを示すフローチャートである。図３において、図３（ａ）は全体概要を示すフローチャートであり、図３（ｂ）はオペレータによる事前準備の詳細を示すフローチャートであり、図３（ｃ）は複製画像生成処理の詳細を示すフローチャートである。

図３（ａ）に示すように、ステップＳ１００では、オペレータによる事前準備が行われる。ここでは、カラーチャートの出力や、チャートの撮影、作品の撮影、コンピュータへのデータ入力などが行われる。次に、ステップＳ２００では、画像処理装置１００の内部で本発明を適用した複製画像生成の処理が行われ複製画の画像データ１１９が生成される。最後のステップＳ３００では、画像処理装置１００からプリンタ１０３に複製画像データ送出され、複製画が印刷される。

図４は一般的な撮影および印刷の流れを示すフローチャートである。

図４（ａ）に示すように撮影では、ステップＳ６０１でユーザによるデジタルカメラ１０５を用いた撮影操作が行われる。次にステップＳ６０２で撮影された画像データをデジタルカメラ１０５の記憶部３４に保存する。図４（ｂ）に示すように印刷では、ステップＳ７０１で印刷画像データを取得し、ステップＳ７０２で印刷画像データに画像処理を施す。この画像処理は一般的な印刷する前の画像処理であり、方法は問わない。最後に、ステップＳ７０３で画像処理済の画像データを印刷する。以下の説明では、このような撮影と印刷の説明は省略する。

再び図３（ｂ）に戻って説明を続ける。ステップＳ１００におけるオペレータによる事前準備では、まず、ステップＳ１０１において、オペレータが画像処理装置１００を操作して、カラーチャート画像データ１０２をカラープリンタ１０３に送信して、カラーチャート１０４を出力する。ここでカラーチャートを印刷する用紙や様々な印刷条件は、後に作品の複製画を印刷する条件と同じにするのが望ましい。

ステップＳ１０２では、オペレータがフラッシュを使用しない状態（観察光源下）でデジタルカメラ１０５を用いてカラーチャート１０４を撮影する。撮影により得られたカラーチャート撮影画像データ１０７は一旦デジタルカメラ１０５内部に記憶される。この撮影では複製画像の観察光源下にカラーチャートを設置して撮影を行う。これにより、カラーチャート撮影画像データ１０７から得られる画像の色味は観察光源のスペクトルに準じたものとなる。観察光源は第２光源ともいう。

ステップＳ１０３では、オペレータが観察光源１２３の下でのデジタルカメラ１０５を用いて原画１１０を撮影する。この撮影により得られた観察光源下での原画の画像データ１１１は一旦デジタルカメラ１０５内部に記憶される。この撮影では原画の観察光源下で撮影を行う。これにより、観察光源撮影画像データ１１１から得られる画像の色味は観察光源のスペクトルに準じたものとなる。ただし、観察光源の光量が不足している場合には、露光時間が長くなりノイズの多い画像となっている可能性がある。また、多少のブレも含んでいる可能性がある。観察光源撮影画像データは第２光源撮影画像データともいう。

ステップＳ１０４では、オペレータがフラッシュ１２４を使用した状態（フラッシュ光源下）でデジタルカメラ１０５を用いて原画１１０を撮影する。撮影により得られたフラッシュＯＮでのフラッシュ光源撮影画像データ１１２は一旦デジタルカメラ１０６内部に記憶される。フラッシュ光源撮影画像データ１１２から得られる画像の色味はフラッシュ光源に準じたものとなる。フラッシュ１２４を使用できるため、観察光源の光量が十分確保でき、ノイズの少ない画像が得られる。また、ブレを含むこともない。なお、フラッシュ１２４を使用した撮影では外付けのフラッシュを多灯で用いて照明ムラの少なく、かつ全反射の悪影響を受けにくい撮影を行う。フラッシュ光源は第１光源ともいう。フラッシュ光源撮影画像データは第１光源撮影画像データともいう。

次に、ステップＳ１０５では、撮影したカラーチャート撮影データ１０７、原画を観察光源１２３で撮影した観察光源撮影画像データ１１１、原画をフラッシュ１２４を使用して撮影したフラッシュ光源撮影画像データ１１２を画像処理装置１００に入力する。ここで、デジタルカメラ１０５と画像処理装置１００とは、ＵＳＢやワイヤレスＬＡＮなどで接続し、撮影の直後に自動的に画像データが画像処理装置１００に取り込まれるようになっているのが望ましい。もちろん、コンパクトフラッシュ（登録商標）カードのような小型の記憶媒体をデジタルカメラ１０５から画像処理装置１００に差し替え、画像処理装置１００に画像データをコピーするようになっていても良い。

以上のようにして、図３（ａ）のステップＳ１００におけるオペレータによる事前準備が完了する。

この事前準備が終了した時点で、画像処理装置１００には、カラーチャートのオリジナルデータ１０１、カラーチャート撮影画像データ１０７、観察光源撮影画像１１１、フラッシュ光源撮影画像１１２が入力されている状態となる。

次に、図３（ｃ）を参照して、ステップＳ２００における複製画像生成処理について説明する。

ステップＳ２０１では、画像処理装置１００により色変換パラメータを生成する。ここで生成する色変換パラメータはデジタルカメラで撮影されたＲＧＢ値（以下、カメラＲＧＢ値）を、プリンタに入力するＲＧＢ値（以下、プリンタＲＧＢ値）に色変換する３次元色変換ルックアップテーブル１０９（以下、色変換３Ｄ ＬＵＴ）である。色変換３Ｄ ＬＵＴ １０９がデジタルカメラで撮影する原画と、プリンタで印刷する複製画像をカラーマッチングさせるためのデータとなる。色変換パラメータは、カラーチャートオリジナルデータ１０１とカラーチャート撮影画像データ１０７に基づいて生成される。

ここで、ステップＳ２０１で行われる色変換３Ｄ ＬＵＴ１０９の生成の詳細を図５を参照して説明する。図５（ａ）は色変換３Ｄ ＬＵＴ１０９の生成処理を示すフローチャートであり、図５（ｂ）は３ＤＬＵＴの詳細な内容を示す図である。

ステップＳ３０１では、プリンタＲＧＢ値とカメラＲＧＢ値の取得する。プリンタＲＧＢとはプリンタ１０３でカラーチャート１０２を印刷した際に、プリンタに入力したＲＧＢ値、即ち、カラーチャートオリジナルデータ１０１そのものである。

図５（ｂ）の左側には、７２９（＝９×９×９）個パッチを印刷した際に用いたＲＧＢデータが示されており、これはパッチ印刷にあたりプリンタに入力したＲＧＢ値であることからプリンタＲＧＢという。一方、図５（ｂ）の右側には、カラーチャート撮影画像データ１０７から抽出した各パッチ（９×９×９＝７２９個）のＲＧＢ値からなるカメラＲＧＢが示されている。カラーチャート撮影画像１０７の中で１つのパッチは複数画素で構成され、ある１つのパッチを構成する複数画素のＲＧＢ値を平均化した値をそのパッチのカメラＲＧＢとする。この処理を全てのパッチに対して行うことにより、カラーチャート中の全パッチのＲＧＢ値をカメラＲＧＢとして求める。このようにして、図５（ｂ）の右側の表に示すように、各パッチに対応づけて、パッチのＲＧＢデータがカメラＲＧＢ値として取得される。

なお、カラーチャート撮影ではフラッシュを用いないため、カラーチャート撮影画像データ１０７にはノイズ成分や多少のブレの影響が含まれている可能性がある。しかし、パッチ単位で複数画素を平均化処理するため、ノイズやブレの影響を大幅に低減することができる。また、カラーチャートはＡ４からＡ３程度のサイズで十分であるので、照明ムラの影響も少ない。従って、カラーチャートは観察光源下で撮影しても十分実用的なデータを得ることが可能である。

ステップＳ３０２では、プリンタＲＧＢからカメラＲＧＢへの色変換３Ｄ ＬＵＴを生成する。図５（ｂ）には、プリンタＲＧＢ値をカメラＲＧＢ値に変換するのに用いられる３Ｄ ＬＵＴが概念的に図示されている。プリンタＲＧＢ値は等間隔に値が並んでいるため、プリンタＲＧＢ値を格子点とし、その格子点の変換値としてカメラＲＧＢ値を持つ３Ｄ ＬＵＴを作成する。例えば、３Ｄ ＬＵＴはプリンタＲＧＢの各ＲＧＢ値が０，３２，６４，９６，……，２５５となるように格子点を構成すると、合計で７２９個（＝９×９×９）の格子点からなる３Ｄ ＬＵＴを構成できる。

ステップＳ３０３では、ステップＳ３０２で作成した３Ｄ ＬＵＴを用いて、カメラＲＧＢ値からプリンタＲＧＢ値に逆変換する逆３Ｄ ＬＵＴを作成する。

さて、図５（ｂ）の右側のカメラＲＧＢから分かるように、ステップＳ３０１でカラーチャート撮影画像データ１０７から取得したカメラＲＧＢ値はプリンタＲＧＢ値と違って値が等間隔に並んでいない。そこで、３Ｄ ＬＵＴを用いて逆３Ｄ ＬＵＴの格子点に対応する変換値を算出する。具体的には、逆３Ｄ ＬＵＴを補間して格子点間の値を算出し、逆３Ｄ ＬＵＴの格子点に相当する変換値を求める。この処理により、逆３Ｄ ＬＵＴの格子点に対応する変換値が求まり、カメラＲＧＢをプリンタＲＧＢに変換する逆３Ｄ ＬＵＴを作成できる。逆３Ｄ ＬＵＴの格子点数は任意の数で良いが、精度良くカラーマッチングを行うにはできるだけ格子点数を多くした方が好ましい。なお、３Ｄ ＬＵＴの補間方法には四面体補間、立方体補間など各種補間方法を利用することができる。

以上の処理により、カメラＲＧＢ値からプリンタＲＧＢに変換する色変換３Ｄ ＬＵＴが生成される。このＬＵＴがデジタルカメラで撮影した被写体の色味とプリンタで出力する出力物の色味を一致させるための色変換パラメータとなる。ただし、色味が最も一致するのはカラーチャートを撮影したのと同じ光源下で出力物を観察した場合であることに注意されたい。生成された色変換パラメータ（色変換３Ｄ ＬＵＴ）は図１において、参照番号１０９として示されている。

次に、図３（ｃ）のステップＳ２０２では、シェーディング補正データを生成する。この生成の詳細については、図６〜図８を参照して説明する。

図６はシェーディング補正データの生成処理の詳細を示すフローチャートである。

まず、ステップＳ４０１では原画１１０を観察光源下で撮影した観察光源撮影画像データ１１１を取得し、ステップＳ４０２では原画１１０をフラッシュ光源で撮影したフラッシュ光源撮影画像データ１１２を取得する。ここで、観察光源撮影画像データ１１１の観察光源１２３はフラッシュを使用しない状態の光源であり、指定することは出来ない。例えば、美術品などの撮影の場合、美術品が展示されている展示室や神社等が該当し、その場所での光源が観察光源となる。当然起こりうる問題として前述の美術品に対する照明量の低下や照明ムラが発生する。逆にフラッシュ光源撮影画像データ１１２は美術品が展示されている環境で可能な限りフラッシュ１２４を調整する事が出来る。具体的には、複数のフラッシュ光源を用いて四方より作品に対して光を当てる事が可能であり、十分な光量と照明ムラの少ない状態で作品が撮影できる。

ステップＳ４０３ではフラッシュ光源撮影画像で略同一とみなす色の閾値を設定する。Ｒ値、Ｇ値、Ｂ値にそれぞれ±２の閾値を設定したとすると閾値の範囲（同一色±２）に入る色を略同一とみなす。同一色はステップＳ４０４で探索する値とする。ステップＳ４０４ではフラッシュ光源撮影画像データ１１２から略同一の画素のＲＧＢ値及び画像内の位置（Ｘ値，Ｙ値）を取得する。Ｘ値、Ｙ値はそれぞれ撮影画像の左上の画素を基点（原点）とした時の横方向の座標位置、縦方向の座標位置を指す。

図７（ａ）はフラッシュ光源撮影画像データ１１２を構成する画素のＲＧＢ値をＲＧＢ空間上にプロットしたものである。精度の高いシェーディング補正データを作成する為には取得する略同一の画素が多い方が良い為、図７（ａ）において、Ａで示される領域（略同一の色の値の頻度が高い領域）を略同一の画素とみなしＲＧＢ値とその位置（Ｘ値，Ｙ値）を取得する。また、精度の高いシェーディング補正データを作成する為の略同一画素の取得の他の方法としては画像内で略同一の色が拡散している画素を取得する方法もある。画像内で拡散している色を取得することで画像全体に対するシェーディングを補正する事ができる。複製画像の原画物や作品に応じて最適な画素の取得方法は変化する。

ステップＳ４０５では、観察光源撮影画像データ１１１からステップＳ４０４において取得した位置（Ｘ値，Ｙ値）と同じ場所のＲＧＢ値を取得する。図７（ｂ）に示すように位置Ｐ１、Ｐ２、Ｐ３、Ｐ４に対応するフラッシュ光源撮影画像データ１１２のＲＧＢ値は略同一の色の範囲に収まっている。しかしながら、観察光源撮影画像上の対応位置Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’に対応する観察光源撮影画像データ１１１のＲＧＢ値では照明ムラの影響により値に違いが出る。この色の違いを利用して、シェーディング補正データを作成する為の照明ムラデータを作成する。

ステップＳ４０４で選択した略同一の色が画像全体に拡散している場合は照明ムラデータの作成は比較的容易である。しかしながら、略同一の色が画像全体に存在しない場合もある。ここで、図８（ａ）を参照して画像の一部に略同一の色が存在しない場合の照明ムラデータ作成方法を説明する。

図８（ａ）の左側の画像は色毎に図８（ａ）右側の領域に分ける事が出来る。つまり、領域αで多く使用されている色は領域β、領域γには存在しない。領域βの場合も同様に領域βで多く使用されている色は領域α、領域γには存在しない。領域γの場合も同様に領域γで多く使用されている色は領域α、領域γには存在しない。このような画像の複製画を作成する場合、一番領域が広い領域βの略同一の色を用いてシェーディング補正用のデータを作成する。

しかし、領域βの略同一の色のみでは図８（ａ）の位置Ｐ４、Ｐ６、Ｐ７、Ｐ９、Ｐ１０、Ｐ１１、Ｐ１２の色値は取得できるが、位置Ｐ１、Ｐ２、Ｐ３、Ｐ５、Ｐ８の色値は取得できずシェーディング補正用のデータも作成できない。そこで、位置Ｐ１、Ｐ２、Ｐ３、Ｐ５、Ｐ８の色値をＰ４、Ｐ６、Ｐ７、Ｐ９、Ｐ１０、Ｐ１１、Ｐ１２の色値を元に補間して求める。図８（ａ）に示す画像の場合、観察光源が画像上方からのみ照射されている。照明ムラの傾向として画像上方は明るく、画像下方は暗くなる。例えば、（Ｒ、Ｇ、Ｂ）値がＰ４で（１００、１００、１００）、Ｐ７（９０、９０、９０）、Ｐ１０（８０、８０、８０）の値の場合、Ｐ１のＲ値（Ｒ１）は以下の式で算出される。即ち、
Ｒ１＝（Ｒ４−Ｒ７）×（Ｐ１〜Ｐ７間の距離）／（Ｐ１〜Ｐ４間の距離）＋Ｒ７
となる。

位置Ｐ３のＲ値（Ｒ３）も同様に算出する。一方、位置Ｐ５のＲ値（Ｒ５）はその位置がＰ４とＰ６の中間点にあたる為、位置Ｐ４のＲ値（Ｒ４）とＰ６のＲ値（Ｒ６）を用いて以下の式で算出される。即ち、
Ｒ５＝Ｒ４＋（Ｒ６−Ｒ４）／２
である。位置Ｐ２のＲ値（Ｒ２）と位置Ｐ８のＲ値（Ｒ８）についても同様に算出する。また、Ｇ成分とＢ成分の値についても同様に算出する。このようにして求めた位置Ｐ１〜Ｐ１２の色値から画像全体の色値を補間計算して算出する。以上の計算を行うことにより画像上の略同一の色が存在しない領域においても照明ムラデータを作成する事ができる。

ステップＳ４０６ではシェーディング補正の目標値を決定する。ここでは、図８（ｂ）を参照して目標値を選択するいくつかの方法について説明する。

図８（ｂ）において、横軸が縦方向の画素位置を、縦軸が色値を示している。目標値を決定する一つ目の方法は、観察光源撮影画像データ１１１から取得した色値を平均する方法である。つまり、ステップＳ４０５で取得した観察光源撮影画像データ１１１のＲＧＢ値を平均値も求め、これをシェーディング補正目標値に設定する。これは、観察光源の方向の特定が難しい場合、即ち、観察光源が多数存在する場合など目標値を設定する事が難しい場合に有効である。目標値を決定する二つ目の方法は、中心値を設定する方法である。例えば、観察光源が蛍光灯で上から照射する場合、原画に照射される照明量の中間値は画像の中心位置に近い位置となる。従って、目標値を中心位置とすることで照明量の中間点に合わせる事ができる。目標値を決定する三つ目の方法は、色値の最大値に設定する方法がある。色値が最大になるところは観察光源の照明量が一番の多いところとみなせる。従って、照明量の多いところが原画上で一番の注目領域である場合、この方法が有効である。シェーディング補正の目標値の設定方法は前記に挙げる方法に限定されているわけではなく、他の方法により目標値を設定することも可能である。

ステップＳ４０７ではシェーディング補正データ１１４を生成する。シェーディング補正データはステップＳ４０６で得られたシェーディング目標値とステップＳ４０５で得られた照明ムラデータで構成される。

再び図３（ｃ）に戻り、ステップＳ２０３ではステップＳ２０２で作成されたシェーディング補正データを使用して観察光源撮影画像データ１１１に対しシェーディング補正処理を行う。このステップにより照明ムラの影響の少ないシェーディング補正済み観察光源撮影画像データ１１６が作成される。例えば、ＲＧＢ値を使用する場合は、以下のようにシェーディング補正、即ち、観察光源撮影画像の各画素のＲＧＢ成分データの各値のシェーディング補正を行う。各色成分に対して、
補正後色値＝補正前色値×シェーディング目標値／照明ムラデータ
となる。ここで、補正前色値は観察光源撮影画像の各画素の値を示す。また、照明ムラデータはステップＳ４０４で説明した照明ムラデータの対応する画素の色値を使用する。シェーディング目標値はステップＳ４０５で設定した値を示す。上記計算をＲＧＢ各成分の各画素のデータに関し、観察光源撮影画像データの全画素に対して行うことで観察光源撮影画像のシェーディング補正を行うことができる。

なお、この実施例ではＲＧＢ空間の各色成分にシェーディング補正を行ったが、他の色空間を使用しても構わない。例えば、ＲＧＢデータをＹＣｂＣｒの輝度を含む色空間に変更し、輝度Ｙに対してシェーディング補正を行ったとしても同様の効果がある。また、シェーディング補正の計算はこの実施例で説明した方法に限定されるわけではなく、他の公知の方法を用いても良い。

ステップＳ２０４では、シェーディング補正済み観察光源撮影画像データ１１６とフラッシュ光源撮影画像データ１１２から光源変換パラメータを生成する。

ここで、光源変換パラメータの生成方法を図９を参照して説明する。繰り返すが光源変換パラメータはフラッシュ光源撮影画像を観察光源下での画像の色味に合わせる変換パラメータである。観察光源撮影画像データ１１１は光量低下、ノイズや撮影ブレの問題があり、フラッシュ光源撮影画像はフラッシュ光源での色味しか再現できないので、フラッシュ光源撮影画像データを観察光源下での観察のために最適化する光源変換を行う。

まず、ステップ５０１ではシェーディング補正済み観察光源撮影画像データ１１６を取得する。ステップ５０２ではフラッシュ光源撮影画像データ１１２を取得する。ステップ５０３でシェーディング補正済み観察光源撮影画像データ１１６とフラッシュ光源撮影画像データ１１２から光源変換パラメータ１１８を生成する。

変換の方法としてＮ×Ｍの行列変換を用いるが、一般的には図９（ｂ）に示すように３×３の行列変換であれば十分な精度の変換が可能である。また、更に精度を求めるのであれば色変換テーブルに使用する３Ｄ ＬＵＴを使用しても構わない。このようにして、光源変換パラメータを生成する。

ステップＳ２０５では、ステップＳ２０４で作成した光源変換パラメータ１１８を元に図９（ｂ）に示すように光源変換処理を行い、観察光源に最適化されたフラッシュ光源撮影画像データ１１９を作成する。ステップＳ２０６ではステップＳ２０１で作成した色変換パラメータ１０９を使用して観察光源に最適化されたフラッシュ光源撮影画像データ１１９に色変換処理を施し、色変換済み画像データ１２１を生成する。

以上説明した処理により複製画像データが終了する。

最後に、図３（ａ）のステップＳ３で説明したように、色変換済み画像データをプリンタ１０３に転送し、複製画像出力処理を行うことにより観察光源１２３で原画１１０と色味が合った複製画１２２が生成される。

以上の処理をまとめると、次のようになる。フラッシュ光を均一に照射して撮影した画像は照明ムラの影響が少なく、フラッシュ光を照射しないで観察光源で撮影した画像は照明ムラの影響が多い。この影響を除去するために、フラッシュ撮影画像より略同一の色を示す画素を複数位置から選択し、観察光源撮影画像においてフラッシュ撮影画像で選択された画素と同じ位置を示す画素の色が違いから観察光源撮影画像のシェーディング補正データを作成する。そして、そのシェーディング補正データを使用して観察光源撮影画像のシェーディングを補正する。さらに、フラッシュ撮影画像とシェーディング補正済み観察光源撮影画像から光源変換パラメータを作成する。最後に、この光源変換パラメータを使用してフラッシュ撮影画像を観察光源に最適化した色に変換する光源変換を行い、光源変換された画像データを用いて複製画像をプリントする。このようにして、観察光源下で原画と色味が一致する複製画像を作成する事ができる。

従って以上説明した実施例に従えば、フラッシュ光源撮影画像データと観察光源撮影画像データの２枚の画像データを用いて観察光源撮影画像データのシェーディングを補正する。そして、フラッシュ光源撮影画像データとシェーディング補正済み観察光源撮影画像データを使用してフラッシュ光源撮影画像を観察光源下での観察に最適となるように光源変換を行う。このようにして、低ノイズかつ高精細で、明度ムラが少なく、観察光源下でも原画に近い色味の複製画を生成することができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或は装置に供給し、そのシステム或は装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 第１光源の下で原画を撮影することにより得られた画像データにシェーディング補正を施して第２光源の下での観察に適した複製画像データを生成するための画像処理方法であって、
   前記原画を前記第１光源の下で撮影し、原画の第１光源撮影画像データを取得する工程と、
   前記原画を前記第２光源の下で撮影し、原画の第２光源撮影画像データを取得する工程と、
   前記第１光源撮影画像データから、予め設定された閾値の範囲に入り、略同一の色とみなされる画素と該画素の位置を抽出する工程と、
   前記第２光源撮影画像データから、前記第１光源撮影画像データから抽出された画素の位置に対応する画素の色を抽出する工程と、
   前記第１光源撮影画像データと前記第２光源撮影画像データそれぞれから抽出された対応する画素の色の違いからシェーディング補正データを生成する生成工程と、
   前記生成されたシェーディング補正データを用いて前記第２光源撮影画像データに対してシェーディング補正を施す工程とを有することを特徴とする画像処理方法。
2. 前記シェーディング補正が施されたシェーディング補正済み画像データを用いて、前記第１光源撮影画像データに前記第２光源の下での観察のため光源変換を施す工程をさらに有することを特徴とする請求項１に記載の画像処理方法。
3. 予め定められたカラーチャートデータを用いてカラーチャートをプリンタから印刷し、該印刷されたカラーチャートを前記第２光源の下で撮影し、カラーチャート撮影画像データを取得し、前記カラーチャートデータと前記カラーチャート撮影画像データとを用いて色変換ルックアップテーブルを生成する工程と、
   前記光源変換が施された前記第１光源撮影画像データを前記生成された色変換ルックアップテーブルを用いて色変換を施す工程とをさらに有することを特徴とする請求項２に記載の画像処理方法。
4. 前記色変換が施された前記第１光源撮影画像データを前記プリンタに出力して、前記原画の複製画像を出力する工程をさらに有することを特徴とする請求項３に記載の画像処理方法。
5. 前記第１光源撮影画像データから、前記略同一の色の値の頻度が高い画素を抽出することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理方法。
6. 前記第２光源撮影画像データから抽出された、前記第１光源撮影画像データから抽出された画素の位置に対応する画素の色の値の平均値、或いは、中心値、或いは、最大値を前記シェーディング補正の目標値とすることを特徴とする請求項５に記載の画像処理方法。
7. 第１光源の下で原画を撮影することにより得られた画像データにシェーディング補正を施して第２光源の下での観察に適した複製画像データを生成する画像処理装置であって、
   デジタルカメラにより前記原画を前記第１光源の下で撮影し、原画の第１光源撮影画像データを取得する手段と、
   前記デジタルカメラにより前記原画を前記第２光源の下で撮影し、原画の第２光源撮影画像データを取得する手段と、
   前記第１光源撮影画像データから、予め設定された閾値の範囲に入り、略同一の色とみなされる画素と該画素の位置を抽出する手段と、
   前記第２光源撮影画像データから、前記第１光源撮影画像データから抽出された画素の位置に対応する画素の色を抽出する手段と、
   前記第１光源撮影画像データと前記第２光源撮影画像データそれぞれから抽出された対応する画素の色の違いからシェーディング補正データを生成する生成手段と、
   前記生成されたシェーディング補正データを用いて前記第２光源撮影画像データに対してシェーディング補正を施す手段とを有することを特徴とする画像処理装置。
8. コンピュータを請求項７に記載の画像処理装置の各手段として機能させるためのプログラム。