JP2009105846A

JP2009105846A - 画像処理装置、画像処理システムおよび画像処理プログラム

Info

Publication number: JP2009105846A
Application number: JP2007278020A
Authority: JP
Inventors: Koichi Sugiyama; 晃一杉山
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2007-10-25
Filing date: 2007-10-25
Publication date: 2009-05-14

Abstract

【課題】演算処理を効率よく削減しつつ、被写体に照射される照明の分光分布および、被写体の分光反射率に基づいた動画像を得ることが可能な画像処理装置、画像処理システムおよび画像処理プログラムを提供する。
【解決手段】被写体の撮像データを、順次受信し、被写体に照射される照明の分光分布データである被写体光データを、順次取得し、被写体光データおよび被写体の分光反射率に基づいた画像データを算出するための変換関数であって、被写体光取得手段により取得された被写体光データを含む変換関数を使用して、受信した撮像データを、表示装置に表示するための画像データに変換する被写体光使用変換処理を、撮像データを受信する毎に行ない、順次取得される、被写体光データの変化量が、所定のしきい値以上となった場合、取得された最新の被写体光データに基づいて、変換関数を更新し、変換関数が更新された場合、更新された変換関数を使用して、被写体光使用変換処理を行なう。
【選択図】図２

Description

本発明は、画像処理装置、画像処理システムおよび画像処理プログラムに関し、特に、被写体に照射される照明の分光分布および被写体の分光反射率に基づく画像処理を行なう画像処理装置、画像処理システムおよび画像処理プログラムに関する。

近年、様々な環境下において撮像された被写体の色を、表示装置もしくは印刷装置などの出力装置において、正確に再現するための多くの技術が提案されている。

その一つの技術として、被写体に照射される照明の分光分布（以下、分光放射輝度、分光放射照度、もしくはスペクトルともいう）、被写体の分光反射率に基づくカラーマネジメント技術がある。本技術は、被写体の色をスペクトルとして扱うことに相当し、正確な色再現を行なうことが可能である。

本技術は、“三宅洋一編「分光画像処理入門」財団法人東京大学出版会、２００６年２月２４日”（非特許文献１）（以下、第１の先行技術ともいう）に開示されている。

また、特開平１１−０８５９５２号公報（特許文献１）には、撮像時の照明の分光分布に基づいて、被写体の色を正確に再現するための技術（以下、第２の先行技術ともいう）が開示されている。

また、特開２００４−１４５７７３号公報（特許文献２）には、異なる照明環境下での物体の正確な色再現を行なうための技術（以下、第３の先行技術ともいう）が開示されている。
特開平１１−０８５９５２号公報特開２００４−１４５７７３号公報三宅洋一編「分光画像処理入門」財団法人東京大学出版会、２００６年２月２４日

第１〜第３の先行技術のように、被写体に照射される照明の分光分布および、被写体の分光反射率に基づいた画像を得るためには、多くの演算処理が必要となる。また、第１〜第３の先行技術は、主に静止画像を対象にした技術である。

なお、被写体に照射される照明の分光分布を常に一定に保つことは難しく、当該照明の分光分布は、時間経過に応じて、変化するのが一般的である。そのため、被写体に照射される照明の分光分布および、被写体の分光反射率に基づいた動画像を得るために、第１〜第３の先行技術を、そのまま適用すると、演算処理量が膨大となり、撮像から表示にいたる遅延の少ない実時間処理を行なうためには、非常に高速な処理が可能なプロセッサ等を有する演算処理装置が必要となる。したがって、実用的なシステムを構築するためには、上述の演算処理を効率よく削減しなければならない。

本発明は、上述の問題点を解決するためになされたものであって、その目的は、演算処理を効率よく削減しつつ、被写体に照射される照明の分光分布および、被写体の分光反射率に基づいた動画像を得ることが可能な画像処理装置、画像処理システムおよび画像処理プログラムを提供することである。

上述の課題を解決するために、この発明のある局面に従うと、撮像装置で撮像された被写体の撮像データを受けて、表示装置に被写体を表示するための画像データを生成する画像処理装置は、撮像装置により順次撮像される被写体の撮像データを、所定時間経過毎に、順次受信する受信手段と、被写体に照射される照明の分光分布データである被写体光データを、所定時間経過毎に、順次取得する被写体光取得手段と、被写体光データおよび被写体の分光反射率に基づいた画像データを算出するための変換関数であって、被写体光取得手段により取得された被写体光データを含む変換関数を使用して、受信した撮像データを、表示装置に表示するための画像データに変換する被写体光使用変換処理を、撮像データを受信する毎に行なう被写体光使用変換処理実行手段と、被写体光取得手段により順次取得される、被写体光データの変化量が、所定のしきい値以上となった場合、取得された最新の被写体光データに基づいて、変換関数を更新する被写体光変化時更新手段とを備え、被写体光使用変換処理実行手段は、変換関数が更新された場合、更新された変換関数を使用して、被写体光使用変換処理を行なう。

好ましくは、被写体光使用変換処理は、受信された撮像データを、撮像装置の撮像特性に基づいた撮像特性関数により変換する撮像特性変換処理を含む。

好ましくは、被写体光データは、光の波長毎のエネルギー量を示す分光放射輝度もしくは分光放射照度のデータである。

好ましくは、表示装置を観察する利用者に照射される照明の分光分布データである観察光データを、所定時間経過毎に、順次取得する観察光取得手段と、観察光データおよび被写体の分光反射率に基づいた画像データを算出するためのデータ変換関数であって、観察光取得手段により取得された観察光データを含むデータ変換関数を使用して、受信した撮像データを、表示装置に表示するための画像データに変換する観察光使用変換処理を、撮像データを受信する毎に行なう観察光使用変換処理実行手段と、観察光取得手段により順次取得される、観察光データの変化量が、所定のしきい値以上となった場合、取得された最新の観察光データに基づいて、データ変換関数を更新する観察光変化時更新手段とをさらに備え、観察光変換処理実行手段は、データ変換関数が更新された場合、更新されたデータ変換関数を使用して、観察光使用変換処理を行なう。

好ましくは、観察光データは、光の波長毎のエネルギー量を示す分光放射輝度もしくは分光放射照度のデータである。

この発明の他の局面に従う画像処理システムは、被写体を撮像する撮像装置と、表示装置と、画像処理装置とを含む。画像処理装置は、撮像装置により順次撮像される被写体の撮像データを、所定時間経過毎に、順次受信する受信手段と、被写体に照射される照明の分光分布データである被写体光データを、所定時間経過毎に、順次取得する被写体光取得手段と、被写体光データおよび被写体の分光反射率に基づいた画像データを算出するための変換関数であって、被写体光取得手段により取得された被写体光データを含む変換関数を使用して、受信した撮像データを、表示装置に表示するための画像データに変換する被写体光使用変換処理を、撮像データを受信する毎に行なう被写体光使用変換処理実行手段と、被写体光取得手段により順次取得される、被写体光データの変化量が、所定のしきい値以上となった場合、取得された最新の被写体光データに基づいて、変換関数を更新する被写体光変化時更新手段とを備え、被写体光使用変換処理実行手段は、変換関数が更新された場合、更新された変換関数を使用して、被写体光使用変換処理を行なう。

この発明のさらに他の局面に従うと、撮像装置で撮像された被写体の撮像データを受けて、表示装置に被写体を表示するための画像データを生成するコンピュータにより実行される画像処理プログラムは、撮像装置により順次撮像される被写体の撮像データを、所定時間経過毎に、順次受信するステップと、被写体に照射される照明の分光分布データである被写体光データを、所定時間経過毎に、順次取得するステップと、被写体光データおよび被写体の分光反射率に基づいた画像データを算出するための変換関数であって、取得するステップにより取得された被写体光データを含む変換関数を使用して、受信した撮像データを、表示装置に表示するための画像データに変換する被写体光使用変換処理を、撮像データを受信する毎に行なうステップと、順次取得される、被写体光データの変化量が、所定のしきい値以上となった場合、取得された最新の被写体光データに基づいて、変換関数を更新するステップとを備え、被写体光使用変換処理を行なうステップは、変換関数が更新された場合、更新された変換関数を使用して、被写体光使用変換処理を行なうステップを含む。

本発明に係る画像処理装置は、被写体の撮像データを、順次受信し、被写体に照射される照明の分光分布データである被写体光データを、順次取得し、被写体光データおよび被写体の分光反射率に基づいた画像データを算出するための変換関数であって、被写体光取得手段により取得された被写体光データを含む変換関数を使用して、受信した撮像データを、表示装置に表示するための画像データに変換する被写体光使用変換処理を、撮像データを受信する毎に行ない、順次取得される、被写体光データの変化量が、所定のしきい値以上となった場合、取得された最新の被写体光データに基づいて、変換関数を更新し、変換関数が更新された場合、更新された変換関数を使用して、被写体光使用変換処理を行なう。

したがって、順次取得される、被写体光データの変化量が、所定のしきい値以上でない場合は、変換関数を更新する処理は行なわれない。また、被写体に照射される照明の分光分布データである被写体光データにより、受信した撮像データを、表示装置に表示するための画像データに変換する被写体光使用変換処理が、撮像データを受信する毎に行なわれる。その結果、演算処理を効率よく削減しつつ、被写体に照射される照明の分光分布および、被写体の分光反射率に基づいた動画像を得ることができるという効果を奏する。

本発明に係る画像処理システムは、撮像装置と、表示装置と、画像処理装置とを含む。画像処理装置は、被写体の撮像データを、順次受信し、被写体に照射される照明の分光分布データである被写体光データを、順次取得し、被写体光データおよび被写体の分光反射率に基づいた画像データを算出するための変換関数であって、被写体光取得手段により取得された被写体光データを含む変換関数を使用して、受信した撮像データを、表示装置に表示するための画像データに変換する被写体光使用変換処理を、撮像データを受信する毎に行ない、順次取得される、被写体光データの変化量が、所定のしきい値以上となった場合、取得された最新の被写体光データに基づいて、変換関数を更新し、変換関数が更新された場合、更新された変換関数を使用して、被写体光使用変換処理を行なう。

本発明に係る画像処理プログラムは、被写体の撮像データを、順次受信し、被写体に照射される照明の分光分布データである被写体光データを、順次取得し、被写体光データおよび被写体の分光反射率に基づいた画像データを算出するための変換関数であって、被写体光取得手段により取得された被写体光データを含む変換関数を使用して、受信した撮像データを、表示装置に表示するための画像データに変換する被写体光使用変換処理を、撮像データを受信する毎に行ない、順次取得される、被写体光データの変化量が、所定のしきい値以上となった場合、取得された最新の被写体光データに基づいて、変換関数を更新し、変換関数が更新された場合、更新された変換関数を使用して、被写体光使用変換処理を行なう。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

＜第１の実施の形態＞
まず、照明スペクトル測定装置が一つの場合の処理について説明する。これは、被写体、カメラ、モニタおよび利用者が同じ場所に位置する場合、すなわち、被写体光Ｅ_１と観察光Ｅ_２が同一の照明条件（Ｅ＝Ｅ_１＝Ｅ_２）である場合に有効な実施の形態である。

（システムの構成）
図１は、本実施の形態における画像処理システム１０００の構成を示す図である。図１を参照して、画像処理システム１０００は、カメラ１００と、画像処理装置２００と、照明スペクトル測定装置３００と、モニタ４００とを含む。

画像処理装置２００は、カメラ１００、照明スペクトル測定装置３００およびモニタ４００の各々とデータ通信可能である。照明スペクトル測定装置とは、分光のためのプリズムとＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）もしくは、フォトアレイ等の受光素子によって構成され、照明の分光分布（分光放射輝度もしくは分光放射照度）の測定が可能な装置のことである。分光分布および照明スペクトル測定装置の配置については後述する。

カメラ１００は、３バンドのカメラであるとする。なお、カメラ１００は、３バンドに限定されることなく、たとえば、３バンドを越えるマルチバンドカメラであってもよい。カメラ１００は、動画像を撮像する機能を有する。以下においては、カメラが被写体を撮像することにより得られた被写体のデータを撮像データともいう。なお、カメラ１００は、静止画像を撮像する機能を有してもよい。

カメラ１００は、被写体を撮像することにより得られた動画像データを、画像処理装置２００へ送信する。なお、カメラ１００は、１秒間に、３０フレームを撮像する機能を有するとする。この場合、カメラ１００は、１／３０秒毎に、１フレームとしての画像データｇを、画像処理装置２００へ送信する。画像データｇは、複数の画素を含む。たとえば、カメラ１００により撮像される画像のサイズが、たとえば、横１９２０ドット、縦１０８０ドットである場合、画像データｇは、２０７３６００個の画素を含む。

なお、画像データｇは、画像データｇに含まれる複数の画素毎に、Ｒ，Ｇ，Ｂの各々の値を含むデータである。この場合、画像データｇは、各画素に対応する３行１列の行列で表すものとする。画像データｇのＲ，Ｇ，Ｂの値は、１２ビットで表される値（０〜４０９５）であるとする。なお、画像データｇのＲ，Ｇ，Ｂの値は、１２ビットに限定されることなく、たとえば、８ビットで表される値であってもよい。

一般的に、モニタは、入力データと実際に表示する輝度との間に非線形な特性を有しており、このような非線形な特性はガンマ特性と呼ばれる。カメラは、このようなモニタのガンマ特性を打ち消して、人間の目に合った線形な特性とするための特性（以下、補正ガンマ特性もしくは逆ガンマ特性ともいう）を有している。したがって、カメラから出力される画像データｇの値は、逆ガンマ特性を有するものとする。なお、カメラから出力される画像データｇの値は、逆ガンマ特性を有しないもの（ガンマが１である線形な特性）であっても良い。

照明の分光分布のことを分光放射輝度もしくは分光放射照度ともいう。ここで、分光放射輝度とは、単位面積、単位立体角当たりにおける、光の波長毎のエネルギー量である。また、分光放射照度とは、単位面積当たりにおける、光の波長毎のエネルギー量である。分光放射輝度を取得する場合は、分光反射率が既知である標準白色板を別途用意し、そこに反射した光（反射光）を照明スペクトル測定装置３００で測定する構成となる。

分光放射照度を取得する場合は、照明スペクトル測定装置３００の受光部に分光透過率が既知である乳化白色の拡散板（コサインコレクタ、コサインディフューザ、コサインレセプタ等とも呼ぶ）が装着され、撮像対象被写体に照射される光（直接光）を測定する構成となる。以下においては、分光放射照度を取得する構成で、その詳細を述べるものとする。撮像対象被写体とは、カメラが撮像する被写体のことである。

照明スペクトル測定装置３００は、カメラ１００が撮像する被写体（以下、撮像対象被写体ともいう）に照射される照明の分光放射照度を測定可能なように、撮像対象被写体の位置もしくはその近傍に配置される。撮像対象被写体の近傍とは、カメラ１００により照明スペクトル測定装置３００が撮像されない程度で、かつ、被写体に照射される照明の分光分布を測定可能な位置である。

照明スペクトル測定装置３００は、画像処理装置２００からの要求に応じて、撮像対象被写体に照射される照明の分光放射照度を測定し、測定した照明の分光放射照度を示す被写体光データＥ_１を、画像処理装置２００へ送信する。照明スペクトル測定装置３００は、撮像対象被写体の位置もしくはその近傍に配置されるので、撮像対象被写体に照射される照明の分光分布が変化すると、被写体光データＥ_１の値も変化する。

被写体光データＥ_１は、可視光の波長領域（３８０〜７８０ナノメートル）において、１ナノメートル毎にサンプリングした場合（以下、場合Ａともいう）、４０１個のデータとなる。以下においては、被写体光データＥ_１は、一例として、４０１個の被写体光データを用いるものとする。

画像処理装置２００は、演算部２１０と、記憶部２４０と、制御部２５０とを備える。演算部２１０は、演算処理および各種処理を行なう機能を有する。演算部２１０は、カメラ１００およびモニタ４００の各々とデータ通信可能である。

記憶部２４０は、データを記憶するメモリである。制御部２５０は、後述する各種処理、演算処理等を行なう機能を有するＣＰＵ（Central Processing Unit）である。なお、制御部２５０は、ＣＰＵに限定されることなく、演算機能を有するその他の回路であってもよい。制御部２５０は、記憶部２４０にデータアクセス可能である。また、制御部２５０は、照明スペクトル測定装置３００および演算部２１０の各々とデータ通信可能である。

演算部２１０は、カメラＬＵＴ（LookUp Table）演算部２１１と、線形画像演算部２１２と、モニタＬＵＴ演算部２１３とを含む。ここでＬＵＴとは、予め用意したテーブルを参照することによって、ある入力値に対応する変換値に読替えるものであり、後述する各種演算を高速に処理するための回路である。

カメラＬＵＴ演算部２１１およびモニタＬＵＴ演算部２１３の各々は、後述する各種処理、演算処理等を行なう機能を有するハードウェアである。線形画像演算部２１２は後述する各種処理、演算処理等を行なう機能を有するハードウェアである。なお、カメラＬＵＴ演算部２１１、線形画像演算部２１２およびモニタＬＵＴ演算部２１３は、一体化されたハードウェアで構成されていてもよい。また、演算部２１０および制御部２５０は、一体化されたハードウェアで構成されていてもよい。

カメラＬＵＴ演算部２１１は、記憶部２１１Ｍを有する。記憶部２１１Ｍは、データを記憶するメモリである。カメラＬＵＴ演算部２１１は、カメラ１００および線形画像演算部２１２の各々とデータ通信可能である。

線形画像演算部２１２は、記憶部２１２Ｍを有する。記憶部２１２Ｍは、データを記憶するメモリである。制御部２５０は、記憶部２１２Ｍにデータアクセス可能である。線形画像演算部２１２は、カメラＬＵＴ演算部２１１およびモニタＬＵＴ演算部２１３の各々とデータ通信可能である。

モニタＬＵＴ演算部２１３は、記憶部２１３Ｍを有する。記憶部２１３Ｍは、データを記憶するメモリである。モニタＬＵＴ演算部２１３は、線形画像演算部２１２およびモニタ４００の各々とデータ通信可能である。なお、記憶部２１１Ｍ、記憶部２１２Ｍおよび記憶部２１３Ｍの全てまたは一部は、１つの記憶部であってもよく、演算部２１０の外部に設けられていてもよい。

詳細は後述するが、画像処理装置２００は、画像データｇおよび被写体光データＥ_１を受信し、画像データｇと、被写体光データＥ_１とを使用して、画像データｇを、画像データｇ_ｄに変換する。そして、画像処理装置２００は、画像データｇ_ｄを、モニタ４００へ送信する。

モニタ４００は、文字や画像等を表示する機能を有する装置である。モニタ４００は、ＬＣＤパネル（Liquid Crystal Display Panel）を使用した装置である。なお、モニタ４００は、上記以外の表示方式のパネル（たとえば、ＰＤＰ（Plasma Display Panel））を使用した装置であってもよい。また、モニタ４００は、ＣＲＴ（Cathode Ray Tube）を利用した表示装置、ＳＥＤ（Surface-conduction Electron-emitter Display）、ＦＥＤ（Field Emission Display）、プロジェクター等であってもよい。

ここで、モニタ４００は、ガンマ特性（非線形な入出力特性）を有するものとする。以下においては、モニタ４００のガンマ値を、γｄと表す。一例として、γｄ＝２．２であるとする。モニタ４００は、受信した画像データｇ_ｄを表示する。

（色再現処理方法）
次に、本発明において使用される色再現処理方法について説明する。

ここで、カメラ１００が、撮像対象被写体を撮像することにより得られる画像データに含まれる複数の画素の１つをｇ_ｉ（ｘ，ｙ）とする。画素ｇ_ｉ（ｘ，ｙ）において、ｉは、カメラのバンド数を示し、ｘ，ｙは、各画素の２次元位置座標を示す。カメラ１００が３バンドカメラである場合、ｉ＝３となる。また、カメラ１００の分光感度をＳ_ｉ（λ）とする。

また、撮像対象被写体に照射される照明の分光分布（分光放射輝度もしくは分光放射照度）をＥ（λ）とする。Ｅ（λ）は照明スペクトル測定装置３００により得られる。また、撮像対象被写体の分光反射率をｆ（ｘ，ｙ；λ）とする。また、画像に加わる加法性ノイズをｎ_ｉ（ｘ，ｙ）とする。ここで、加法性ノイズとは、カメラ内部のセンサ特性や、レンズ特性、照明条件などによって起因する信号である。この場合、非特許文献１に記述されているように、以下の式（１）が成立する。

式（１）において、λは波長（単位：ナノメートル）を示す。また、式（１）において、Ｓ_ｉ（λ）、Ｅ（λ）、ｆ（ｘ，ｙ；λ）、ｎ_ｉ（ｘ，ｙ）は、行列を示す。

簡略化のため、加法性ノイズｎ_ｉ（ｘ，ｙ）は殆ど無視しても良いレベルであるとする。

以下においては、式（１）に示される、Ｓ_ｉ（λ）、Ｅ（λ）、ｆ（ｘ，ｙ；λ）およびｎ_ｉ（ｘ，ｙ）を、それぞれ、Ｓ、Ｅ、ｆおよびｎとも表す。非特許文献１に記述されているように、式（１）中の分光反射率ｆを算出するために、ウィナー推定を用いるものとする。なお、分光反射率ｆの算出は、ウィナー推定に限定されず、主成分分析によって求めるようにしても良い。分光反射率ｆをウィナー推定により求める式を、以下の式（２）に示す。

ｆ＝Ｗ・ｇ_ｃ・・・（２）
式（２）において、Ｗは、分光反射率推定行列である。分光反射率推定行列Ｗは、以下の式（３）で表される。カメラ１００が３バンドの場合、分光反射率推定行列Ｗは、３行３列の行列となる。

式（３）において、Ａは自己相関行列を示す。自己相関行列Ａとは、撮像対象被写体と同等と想定される分光反射率の統計データを用いる。例えば、ＩＳＯ（International Organization for Standardization）で標準化された分光反射率のデータベース（ＳＯＣＳ（Standard Object Color Sample））などを用いるとよい。もしくは、撮像対象被写体が予め分かっている場合においては、被写体そのものの分光反射率を測定しておき、自己相関行列Ａを作成してもよい。可視光領域（３８０〜７８０ナノメートル）において、１ナノメートル毎にサンプリングした場合（以下、場合Ａともいう）、自己相関行列Ａは、４０１行１列の行列となる。

また、式（３）において、Ｈはシステム行列である。システム行列Ｈは、以下の式（４）で表される。なお、式（３）において、行列Ｈ^ｔは、システム行列Ｈの転置行列を意味する。

Ｈ＝Ｓ・Ｅ・・・（４）
前述したように、式（４）において、Ｓは、カメラ１００の分光感度である。場合Ａにおいて、分光感度Ｓは、Ｒ，Ｇ，Ｂの各々に対して値がとられるため、４０１行３列の行列となる。また、Ｅは、撮像対象被写体に照射される照明の分光放射照度すなわち被写体光Ｅ_１と等価（Ｅ＝Ｅ_１）であるとする。場合Ａにおいて、Ｅは、４０１行１列の行列となる。式（４）において、システム行列Ｈは、Ｒ，Ｇ，Ｂの各々に対して値がとられるため、４０１行３列の行列となる。

式（２）において、ｇ_ｃは、逆ガンマ特性に基づく画像データｇを、線形特性を有するデータに変換した画像データである。この場合、画像データｇ_ｃは、以下の式（５）で表される。

ｇ_ｃ＝Ｔ_ｃ（ｇ）＝ｇ^1/γｃ・・・（５）
式（５）において、γｃは、カメラ１００のガンマ値である。なお、画像データｇ_ｃは、画像データｇに含まれる複数の画素の各々に対応するＲ，Ｇ，Ｂの各々の値を１／γｃ乗することに相当する。上述のようにモニタのガンマ値γｄ＝２．２の場合、カメラのガンマ値γｃ＝１／γｄ＝１／２．２＝０．４５となる。式（５）の演算を高速に処理するため、カメラＬＵＴ演算部２１１の記憶部２１１Ｍには、入力値ｇに対して変換値ｇ_ｃを出力するテーブルが記憶されている。このようなテーブル参照による演算処理のことをＴ_c（）と表すことにする。

ここで、人間の視覚感度特性に基づく関数を、等色関数ｈとする。等色関数ｈは、ＣＩＥ（国際照明委員会）にて規定されている。場合Ａにおいて、等色関数ｈは、後述する三刺激値Ｘ，Ｙ，Ｚの各々に対して値を示す関数の行列であって、４０１行３列の行列となる。

非特許文献１に示される技術に基づいて、分光反射率ｆに、等色関数ｈおよび分光放射照度Ｅを乗算することにより、画像データｇを、画像データｇ’に変換することができる。式（２）の両辺に、等色関数ｈおよび分光放射照度Ｅを乗算すると、以下の式（６）となる。

ｇ’＝ｈ・Ｅ・Ｗ・ｇ_ｃ・・・（６）
画像データｇ’は、分光反射率ｆに、等色関数ｈおよび分光放射照度Ｅを乗算した値である。また式（６）において、Ｅは、表示装置を観察する利用者に照射される照明の分光放射照度すなわち観察光Ｅ_２と等価（Ｅ＝Ｅ_２）であるとする。もし、前述の被写体光Ｅ_１と観察光Ｅ_２が異なる照明条件（Ｅ_１≠Ｅ_２）である場合は、式（４）のＥをＥ_１、式（６）のＥをＥ_２と置き換えて区別する必要がある。

式（６）において、ｈ・Ｅ・Ｗの項をＭと表し、線形画像演算行列と呼ぶことにする。すなわち、画像データｇ’は三刺激値に相当する物理量である。ここで、三刺激値とは、人間の目の色に対する特性を考慮し、光の三原色に対応する仮想の原色Ｘ，Ｙ，Ｚである。三刺激値は、ＣＩＥ（国際照明委員会）において規定されている。

線形画像演算行列Ｍは、以下の式（７）で表される。なお、線形画像演算行列Ｍは、分光反射率推定行列Ｗと同じ次元の行列であり、カメラ１００が３バンドカメラの場合、線形画像演算行列Ｍは、３行３列の行列となる。ここで、線形画像演算行列Ｍは、分光放射照度Ｅおよび撮像対象被写体の分光反射率に基づいた画像データｇ’を算出するための変換行列（変換関数）である。

Ｍ＝ｈ・Ｅ・Ｗ・・・（７）
式（６）を、式（７）を用いて変形すると、以下の式（８）となる。

ｇ’＝Ｍ・ｇ_ｃ・・・（８）
式（８）において、線形画像演算行列Ｍは、画像データｇ_ｃを、画像データｇ’に変換するための行列である。画像データｇ’は、分光放射照度Ｅおよび被写体の分光反射率ｆに基づいて、色を正確に再現する画像データである。ここで、分光放射照度Ｅは、前述の通り、照明スペクトル測定装置３００により得られる被写体光データＥ_１である。この場合、画像データｇ’は、被写体に照射される照明の分光分布（分光放射照度）および、被写体の分光反射率に基づき、当該被写体の色を正確に再現する画像データとなる。

（画像処理装置における演算処理）
次に、前述した色再現処理方法に基づいて、画像処理装置２００において行なわれる演算処理について説明する。

まず、制御部２５０が行なう、線形画像演算行列Ｍを算出するための処理（以下、線形画像演算行列算出処理ともいう）について説明する。ここで、照明スペクトル測定装置３００は、前述したように、画像処理装置２００からの要求に応じて、被写体光データＥ_１を、画像処理装置２００へ送信するとする。また、記憶部２４０には、カメラ１００の分光感度Ｓのデータ、式（３）に示される自己相関行列Ａのデータ、および、式（６）に示される等色関数ｈのデータが予め記憶されているとする。

なお、線形画像演算行列算出処理が行なわれるのと同時に、制御部２５０は、経過時間測定処理を実行する。経過時間測定処理は、他の処理とは独立して実行される処理である。経過時間測定処理では、制御部２５０が、線形画像演算行列算出処理が開始されてからの経過時間を測定する。

図２は、線形画像演算行列算出処理のフローチャートを示す図である。図２を参照して、線形画像演算行列算出処理では、まず、ステップＳ１１１の処理が行なわれる。

ステップＳ１１１では、所定時間（たとえば、１分）が経過したか否かが判定される。具体的には、制御部２５０が、経過時間測定処理により測定されている経過時間が所定時間になったか否かを判定する。ここで、所定時間は、カメラ１００が１フレーム（静止画像）を撮像する時間（１／３０秒）より、十分に長い時間（たとえば、１分）であるとする。

ステップＳ１１１において、ＹＥＳならば、制御部２５０が、経過時間測定処理により測定されている経過時間を“０”にして、ステップＳ１１２に進む。一方、ステップＳ１１１において、ＮＯならば、再度、ステップＳ１１１の処理が行なわれる。ここでは、経過時間測定処理により測定されている経過時間が所定時間になったとして、制御部２５０が、経過時間測定処理により測定されている経過時間を“０”にして、ステップＳ１１２に進む。この場合、経過時間測定処理は、ステップＳ１１１でＹＥＳと判定されてからの経過時間を測定することになる。

ステップＳ１１２では、制御部２５０が、照明スペクトル測定装置３００に対し被写体光データ（分光放射照度）を要求する。そして、制御部２５０は、照明スペクトル測定装置３００から被写体光データＥ_１を受信する。ここで、受信された被写体光データＥ_１は、４０１個の可視光領域（波長３８０〜７８０ナノメートル）における分光放射照度データであるとする。そして、制御部２５０は、受信した被写体光データＥ_１を、記憶部２４０に記憶させる。なお、制御部２５０が、記憶部２４０に記憶させる被写体光データＥ_１は、所定個数までとする。当該所定個数は、一例として、１０個とする。

制御部２５０は、記憶部２４０に１０個の被写体光データＥ_１が記憶されている場合、制御部２５０は、記憶部２４０に記憶されている１０個の被写体光データＥ_１のうち、最も古いデータを削除して、受信した最新のデータを、記憶部２４０に記憶させる。そして、ステップＳ１１２Ｎに進む。なお、受信した被写体光データＥ_１は、前述した分光放射照度Ｅであり、４０１行１列の行列である。

ステップＳ１１２Ｎでは、被写体光データＥ_１の変化量が所定のしきい値以上であるか否かが判定される。ステップＳ１１２Ｎにおいて、ＹＥＳならば、ステップＳ１１３に進む。一方、ステップＳ１１２Ｎにおいて、ＮＯならば、再度、ステップＳ１１１の処理が行なわれる。

具体的には、まず、制御部２５０が、記憶部２４０に２個以上の被写体光データＥ_１が記憶されているか否かを判定する。記憶部２４０に２個以上の被写体光データＥ_１が記憶されていない場合（たとえば、受信した最新の１個の被写体光データＥ_１のみが記憶されている場合）、制御部２５０は、被写体光データＥ_１の変化量が所定のしきい値以上であると判定する。この場合、ステップＳ１１３に進む。すなわち、初めて、ステップＳ１１２Ｎの処理が行なわれる場合は、ステップＳ１１３に進む。

一方、記憶部２４０に２個以上の被写体光データＥ_１が記憶されている場合、制御部２５０は、以下の判定処理Ａを行なう。以下においては、被写体光データＥ_１に含まれる４０１個のデータの平均値を、被写体光平均値Ｅ_１ａｖｅともいう。

判定処理Ａでは、制御部２５０が、記憶部２４０に記憶されている２個以上の被写体光データＥ_１のうち、受信した最新の１個の被写体光データＥ_１を除いた被写体光データＥ_１の各々の被写体光平均値Ｅ_１ａｖｅを算出する。記憶部２４０に記憶されている被写体光データＥ_１が、例えば１０個の場合、算出される被写体光平均値Ｅ_１ａｖｅは９個となる。また、制御部２５０は、受信した最新の被写体光データＥ_１から被写体光平均値Ｅ_１ａｖｅ（以下、最新被写体光平均値Ｅ_１ａｖｅ’ともいう）を算出する。

そして、制御部２５０は、さらに、算出したｎ個の被写体光平均値Ｅ_１のうち、最新被写体光平均値Ｅ_１ａｖｅ’との差の絶対値が最も大きい被写体光平均値Ｅ_１ａｖｅ’を、被写体光判定値Ｅ_１ｄｅｔとする。なお、算出された被写体光平均値Ｅ_１ａｖｅが１個の場合、被写体光判定値Ｅ_１ｄｅｔは、１個の被写体光平均値Ｅ_１ａｖｅそのものの値となる。そして、制御部２５０は、被写体光判定値Ｅ_１ｄｅｔと、最新被写体光平均値Ｅ_１ａｖｅ’との差の絶対値が、所定値以上であるか否かを判定する。当該所定値は、被写体光判定値Ｅ_１ｄｅｔを算出する元となった被写体光データにより示される照明光と、最新被写体光平均値Ｅ_１ａｖｅ’を算出する元となった被写体光データにより示される照明光との違いが、人間の目で知覚できる程度の値とする。

被写体光判定値Ｅ_１ｄｅｔと、最新被写体光平均値Ｅ_１ａｖｅ’との差の絶対値が、所定値以上である場合、制御部２５０は、被写体光データＥ_１の変化量が所定のしきい値以上であると判定する。この場合、ステップＳ１１３に進む。一方、被写体光判定値Ｅ_１ｄｅｔと、最新被写体光平均値Ｅ_１ａｖｅ’との差の絶対値が、所定値以上でない場合、制御部２５０は、被写体光データＥ_１の変化量が所定のしきい値以上でないと判定する。この場合、再度、ステップＳ１１１の処理が行なわれる。

なお、被写体光データＥ_１の変化量の判定は、上記方法に限定されない。たとえば、前述した被写体光平均値Ｅ_１ａｖｅの代わりに、被写体光データＥ_１に含まれる４０１個のデータの合計値（積分値）を使用して判定してもよい。また、判定の対象とするデータは、被写体光データ（分光放射照度）に限定されることなく、分光放射輝度のデータであってもよい。

ステップＳ１１３では、システム行列Ｈが算出される。具体的には、制御部２５０が、記憶部２４０に記憶されている、カメラ１００の分光感度Ｓと、分光放射照度Ｅ（被写体光データＥ_１）とを使用して、式（４）により、システム行列Ｈを算出する。そして、ステップＳ１１４に進む。

ステップＳ１１４では、分光反射率推定行列Ｗが算出される。具体的には、制御部２５０が、記憶部２４０に記憶されている自己相関行列Ａと、算出されたシステム行列Ｈとを使用して、式（３）により、分光反射率推定行列Ｗを算出する。そして、ステップＳ１１５に進む。

ステップＳ１１５では、線形画像演算行列Ｍが算出される。具体的には、制御部２５０が、記憶部２４０に記憶されている等色関数ｈと、受信した最新の被写体光データＥ_１と、算出された分光反射率推定行列Ｗとを使用して、式（７）により、線形画像演算行列Ｍを算出する。前述したように、線形画像演算行列Ｍは、画像データｇを、画像データｇ’に変換するための行列である。また、前述したように、線形画像演算行列Ｍは、分光放射照度Ｅ（＝被写体光Ｅ_１）および撮像対象被写体の分光反射率に基づいた画像データｇ’を算出するための変換行列（変換関数）である。画像データｇ’は、分光放射照度Ｅおよび撮像対象被写体の分光反射率ｆに基づいて、色を正確に再現する画像データである。

ここで、算出された線形画像演算行列Ｍは、照明スペクトル測定装置３００から送信された被写体光データＥ_１を使用して算出された値である。被写体光データＥ_１は、カメラ１００が撮像する撮像対象被写体に照射される照明の分光放射照度のデータである。したがって、算出された線形画像演算行列Ｍは、画像データｇ_ｃを、カメラ１００が撮像する撮像対象被写体の色を正確に再現する画像データｇ’に変換するための行列である。そして、ステップＳ１１６に進む。

ステップＳ１１６では、制御部２５０が、算出した線形画像演算行列Ｍを、記憶部２１２Ｍに記憶させる。なお、記憶部２１２Ｍに線形画像演算行列Ｍが既に記憶されている場合は、算出した線形画像演算行列Ｍを、記憶部２１２Ｍに上書き記憶させる。すなわち、記憶部２１２Ｍに記憶されている線形画像演算行列Ｍを、最新の線形画像演算行列Ｍに更新する。そして、再度、ステップＳ１１１の処理が行なわれる。

以上の線形画像演算行列算出処理により、制御部２５０は、被写体光データＥ_１の変化量が所定のしきい値以上でない場合、ステップＳ１１３〜Ｓ１１５の演算処理を行なわない。したがって、被写体光データＥ_１の変化量が所定のしきい値以上でない場合、制御部２５０の演算処理量を大幅に削減することができる。

ここで、被写体光データＥ_１の変化量が所定のしきい値以上であるか否かの判定は、前述した被写体光判定値Ｅ_１ｄｅｔと、前述した最新被写体光平均値Ｅ_１ａｖｅ’との差の絶対値が、所定値以上であるか否かの判定である。当該所定値は、前述したように、被写体光判定値Ｅ_１ｄｅｔを算出する元となった被写体光データにより示される照明光と、最新被写体光平均値Ｅ_１ａｖｅ’を算出する元となった被写体光データにより示される照明光との違いが、人間の目で知覚できる程度の値である。

また、被写体光データＥ_１の変化量が所定のしきい値以上である場合、すなわち、被写体光判定値Ｅ_１ｄｅｔと、最新被写体光平均値Ｅ_１ａｖｅ’との差の絶対値が所定値以上である場合にのみ、画像処理装置２００は、最新の被写体光データＥ_１の値を反映した線形画像演算行列Ｍを、記憶部２１２Ｍに記憶させることになる。ここで、被写体光データＥ_１の値は、撮像対象被写体に照射される照明の分光分布に応じて変化する。すなわち、被写体光データＥ_１の値は一定ではない。したがって、被写体光データＥ_１の変化量が所定のしきい値以上である場合においても、線形画像演算行列Ｍの値は、変化した最新の被写体光データＥ_１の値を反映した値となる。

（画像の表示）
次に、モニタ４００に、カメラ１００が撮像することにより得られた画像データｇに基づく画像を表示するための処理（以下、画像表示処理ともいう）について説明する。ここで、カメラ１００は、１／３０秒毎に、１フレームとしての画像データｇを、画像処理装置２００へ送信する。前述したように、画像データｇは、画像データｇに含まれる複数の画素毎に、Ｒ，Ｇ，Ｂの各々の値を含むデータである。この場合、画像データｇは、各画素に対応する３行１列の行列を含む。

ここで、カメラＬＵＴ演算部２１１の記憶部２１１Ｍには、１２ビットで表される０〜４０９５の各々に対応付けて、各値を１／γｃ乗した値が規定されたカメラＬＵＴが予め記憶されているとする。また、モニタＬＵＴ演算部２１３の記憶部２１３Ｍには、線形画像演算部２１２の処理の結果得られる三刺激値ＸＹＺをモニタ特性に応じて線形ＲＧＢに変換し、かつ、１２ビットで表される０〜４０９５の各々に対応付けて、線形ＲＧＢの各値を１／γｄ乗した値となるように規定されたモニタＬＵＴが予め記憶されているとする。

図３は、画像表示処理のフローチャートを示す図である。画像表示処理は、前述した線形画像演算行列算出処理とは独立して行なわれる処理である。図３を参照して、画像表示処理では、まず、ステップＳ２１１の処理が行なわれる。

ステップＳ２１１では、画像処理装置２００のカメラＬＵＴ演算部２１１が、画像データｇを受信したか否かを判定する。ステップＳ２１１において、ＹＥＳならば、ステップＳ２１２に進む。一方、ステップＳ２１１において、ＮＯならば、再度、ステップＳ２１１の処理が行なわれる。ここでは、画像データｇを受信したとして、ステップＳ２１２に進む。

ステップＳ２１２では、カメラＬＵＴ演算処理が行なわれる。カメラＬＵＴ演算処理は、前述した、カメラ１００の非線形な逆ガンマ特性に基づく画像データの特性を、線形特性に変換する処理である。カメラＬＵＴ演算処理では、カメラＬＵＴ演算部２１１が、画像データｇに含まれる各画素のＲ，Ｇ，Ｂの値をそれぞれ１／γｃ乗することに相当する画像データｇ_ｃ（式（５）参照）を算出し、線形画像演算部２１２へ送信する。γｃは、前述したように、カメラ１００のガンマ値である。

具体的には、カメラＬＵＴ演算部２１１が、受信した画像データｇに含まれる各画素のＲ，Ｇ，Ｂの値の各々に対応する値を、記憶部２１１Ｍに記憶されるカメラＬＵＴを参照することによって、線形特性を有する画像データｇ_ｃを取得し、画像データｇ_ｃを線形画像演算部２１２へ送信する。そして、ステップＳ２１３に進む。

ステップＳ２１３では、線形画像演算処理が行なわれる。線形画像演算処理は、前述の被写体光データおよび被写体の分光反射率に基づいて、色を正確に再現するように、受信した画像データの色を補正する処理である。

線形画像演算処理では、線形画像演算部２１２が、受信した画像データｇ_ｃと、記憶部２１２Ｍに記憶されている線形画像演算行列Ｍとを使用して、式（８）により、画像データｇ’を算出する。前述したように、記憶部２１２Ｍに記憶されている線形画像演算行列Ｍは、画像データｇ_ｃを、カメラ１００が撮像する撮像対象被写体の色を正確に再現する画像データｇ’に変換するための行列である。

したがって、算出された画像データｇ’は、カメラ１００が撮像する撮像対象被写体の色を正確に再現する画像データである。そして、線形画像演算部２１２は、算出した画像データｇ’を、モニタＬＵＴ演算部２１３へ送信する。そして、ステップＳ２１４に進む。

ステップＳ２１４では、モニタＬＵＴ演算処理が行なわれる。モニタＬＵＴ演算処理は、線形特性を有する画像データｇ’を、モニタ４００の特性に応じたデータに補正する処理である。モニタＬＵＴ演算処理では、モニタＬＵＴ演算部２１３が、画像データｇ’に含まれる各画素（三刺激値）Ｘ，Ｙ，Ｚそれぞれの値を、モニタの特性に応じた線形ＲＧＢに変換（以下、ＸＹＺ−線形ＲＧＢ変換と呼ぶ）し、１／γｄ乗することに相当する画像データｇ_ｄを算出し、画像データｇ_ｄを、モニタ４００へ送信する。γｄは、前述したように、モニタ４００のガンマ値である。画像データｇ’を、モニタ４００の特性に応じたデータに補正する処理を前述の式（５）に準じて以下の式（９）のように表す。

ｇ_ｄ＝Ｔ_ｄ（ｇ’）・・・（９）
式（５）と同様、演算を高速に処理するため、モニタＬＵＴ演算部２１３の記憶部２１３Ｍには、入力値ｇ’に対して変換値ｇ_ｄを出力するテーブルが記憶されている。このようなテーブル参照による演算処理のことをＴ_ｄ（）と表すことにする。

具体的には、モニタＬＵＴ演算部２１３が、受信した画像データｇ’に含まれる各画素Ｘ，Ｙ，Ｚの値を、記憶部２１３Ｍに記憶されるモニタＬＵＴを参照することにより、ＸＹＺ−線形ＲＧＢ変換し、モニタ４００のガンマ特性に応じた画像データｇ_ｄに変換し、モニタ４００へ送信する。そして、ステップＳ２１５に進む。

ステップＳ２１５では、モニタ４００が、受信した画像データｇ_ｄを表示する。そして、再度、ステップＳ２１１の処理が行なわれる。

前述したように、カメラ１００は、１／３０秒毎に、１フレームとしての画像データｇを、画像処理装置２００へ送信する。そのため、ステップＳ２１２〜Ｓ２１５の処理も、１／３０秒毎に行なわれる。

前述したように、被写体光データＥ_１の変化量が所定のしきい値以上でない場合、制御部２５０の演算処理量を大幅に削減することができる。ここで、被写体光データＥ_１の変化量が所定のしきい値以上であるか否かの判定は、前述した被写体光判定値Ｅ_１ｄｅｔと、前述した最新被写体光平均値Ｅ_１ａｖｅ’との差の絶対値が、所定値以上であるか否かの判定である。当該所定値は、前述したように、被写体光判定値Ｅ_１ｄｅｔを算出する元となった被写体光データにより示される照明光と、最新被写体光平均値Ｅ_１ａｖｅ’を算出する元となった被写体光データにより示される照明光との違いが、人間の目で知覚できる程度の値である。

また、被写体光データＥ_１の変化量が所定のしきい値以上である場合、すなわち、被写体光判定値Ｅ_１ｄｅｔと、最新被写体光平均値Ｅ_１ａｖｅ’との差の絶対値が所定値以上である場合にのみ、画像処理装置２００は、最新の被写体光データＥ_１の値を反映した線形画像演算行列Ｍを、記憶部２１２Ｍに記憶させることになる。ここで、前述したように、被写体光データＥ_１の値は、撮像対象被写体に照射される照明の分光分布に応じて変化する。すなわち、被写体光データＥ_１の値は一定ではない。したがって、被写体光データＥ_１の変化量が所定のしきい値以上である場合においても、線形画像演算行列Ｍの値は、変化した最新の被写体光データＥ_１の値を反映した値となる。

したがって、本実施の形態においては、撮像対象被写体に照射される照明の被写体光データＥ_１の変化量が所定のしきい値以上である場合においても、カメラ１００が撮像する撮像対象被写体の色を正確に再現した動画像を、モニタ４００に表示することができる。

以上により、演算処理を効率よく削減しつつ、被写体に照射される照明の分光分布および、被写体の分光反射率に基づいた動画像を得ることができるという効果を奏する。

＜第２の実施の形態＞
次に、照明スペクトル測定装置が複数ある場合の処理について説明する。これは、被写体とカメラ、モニタと利用者が別の場所に位置する場合、すなわち被写体光Ｅ_１と観察光Ｅ_２が異なる照明条件（Ｅ_１≠Ｅ_２）である場合に有効な実施の形態である。

図４は、本実施の形態における画像処理システム１０００Ａの構成を示す図である。図４を参照して、画像処理システム１０００Ａは、図１の画像処理システム１０００と比較して、画像処理装置２００の代わりに画像処理装置２００Ａを含む点と、照明スペクトル測定装置３００Ａをさらに含む点が異なる。それ以外は、画像処理システム１０００と同様なので詳細な説明は繰り返さない。

画像処理装置２００Ａは、図１の画像処理装置２００と比較して、さらに、照明スペクトル測定装置３００Ａとデータ通信可能な点が異なる。それ以外は、画像処理装置２００と同様なので詳細な説明は繰り返さない。

照明スペクトル測定装置３００Ａは、照明スペクトル測定装置３００と同様な機能を有する装置なので詳細な説明は繰り返さない。照明スペクトル測定装置３００Ａは、モニタ４００を観察する利用者に照射される照明の分光放射照度を測定可能なように、利用者の近傍に配置される。利用者の近傍とは、照明スペクトル測定装置３００Ａが測定する照明光のスペクトルと、利用者の目が知覚する照明光のスペクトルとが等価となるような位置である。利用者がモニタ４００を至近距離から観察する場合や、利用者およびモニタ４００に照射される照明が一様で、複数の照明が混在しないような場合であれば、照明スペクトル測定装置３００Ａは、モニタ４００の上部などに設置しても良い。照明スペクトル測定装置３００Ａは、画像処理装置２００Ａの制御部２５０とデータ通信可能である。

照明スペクトル測定装置３００Ａは、画像処理装置２００Ａからの要求に応じて、モニタ４００を観察する利用者に照射される照明の分光放射照度を測定し、測定した分光放射照度を示す観察光データＥ_２を、制御部２５０へ送信する。前述したように、照明スペクトル測定装置３００Ａは、モニタ４００を観察する利用者の近傍に配置されるので、利用者の近傍の光が変化すると、観察光データＥ_２の値も変化する。

前述した場合Ａにおいて、観察光データＥ_２は、４０１個のデータとなる。以下においては、観察光データＥ_２は、一例として、４０１個の観察光データであるとする。なお、照明スペクトル測定装置３００と、照明スペクトル測定装置３００Ａは、各々、異なる照明条件（分光分布）となる位置に配置されるとする。

（画像処理装置における演算処理）
次に、本実施の形態において、画像処理装置２００Ａにおいて行なわれる演算処理について説明する。

まず、制御部２５０が行なう、線形画像演算行列Ｍを算出するための処理（以下、線形画像演算行列算出処理Ａ）について説明する。ここで、照明スペクトル測定装置３００は、第１の実施の形態と同様に、画像処理装置２００Ａからの要求に応じて、分光放射輝度データＥ_１を、画像処理装置２００Ａへ送信するとする。また、照明スペクトル測定装置３００Ａは、画像処理装置２００Ａからの要求に応じて、観察光データＥ_２を、制御部２５０へ送信するとする。

また、記憶部２４０には、カメラ１００の分光感度Ｓのデータ、式（３）に示される自己相関行列Ａのデータ、および、式（７）に示される等色関数ｈのデータが予め記憶されているとする。

なお、線形画像演算行列算出処理Ａが行なわれるのと同時に、制御部２５０は、経過時間測定処理Ａを実行する。経過時間測定処理Ａは、他の処理とは独立して実行される処理である。経過時間測定処理Ａでは、制御部２５０が、線形画像演算行列算出処理Ａが開始されてからの経過時間を測定する。

図５は、線形画像演算行列算出処理Ａのフローチャートを示す図である。図５において、図２の線形画像演算行列算出処理と同じステップ番号の処理は、第１の実施の形態で説明した処理と同様なので詳細な説明は繰り返さない。図５を参照して、線形画像演算行列算出処理Ａでは、まず、ステップＳ１１１Ａの処理が行なわれる。

ステップＳ１１１Ａでは、所定時間（たとえば、１分）が経過したか否かが判定される。具体的には、制御部２５０が、経過時間測定処理Ａにより測定されている経過時間が所定時間になったか否かを判定する。ここで、所定時間は、カメラ１００が１フレーム（静止画像）を撮像する時間（１／３０秒）より、十分に長い時間（たとえば、１分）であるとする。

ステップＳ１１１Ａにおいて、ＹＥＳならば、制御部２５０が、経過時間測定処理Ａにより測定されている経過時間を“０”にして、ステップＳ１１２Ａに進む。一方、ステップＳ１１１Ａにおいて、ＮＯならば、再度、ステップＳ１１１Ａの処理が行なわれる。ここでは、経過時間測定処理Ａにより測定されている経過時間が所定時間になったとして、制御部２５０が、経過時間測定処理Ａにより測定されている経過時間を“０”にして、ステップＳ１１２Ａに進む。この場合、経過時間測定処理Ａは、ステップＳ１１１ＡでＹＥＳと判定されてからの経過時間を測定することになる。

ステップＳ１１２Ａでは、制御部２５０が、照明スペクトル測定装置３００に対し被写体光データＥ_１を要求し、照明スペクトル測定装置３００Ａに対し観察光データＥ_２を要求する。そして、制御部２５０は、照明スペクトル測定装置３００から被写体光データＥ_１を受信し、照明スペクトル測定装置３００Ａから観察光データＥ_２を受信する。そして、ステップＳ１１３に進む。なお、受信した被写体光データＥ_１および観察光データＥ_２は、前述した分光放射照度であり、４０１行１列の行列である。

被写体光データＥ_１および観察光データＥ_２の各々は、４０１個のデータであるとする。そして、制御部２５０は、受信した観察光データＥ_２を、記憶部２４０に記憶させる。なお、制御部２５０が、記憶部２４０に記憶させる観察光データＥ_２は、所定個数までとする。当該所定個数は、一例として、１０個とする。そして、ステップＳ１１２ＮＡに進む。

ステップＳ１１２ＮＡでは、観察光データＥ_２の変化量が所定のしきい値以上であるか否かが判定される。ステップＳ１１２ＮＡにおいて、ＹＥＳならば、ステップＳ１１３に進む。一方、ステップＳ１１２ＮＡにおいて、ＮＯならば、再度、ステップＳ１１１Ａの処理が行なわれる。

具体的には、まず、制御部２５０が、記憶部２４０に２個以上の観察光データＥ_２が記憶されているか否かを判定する。記憶部２４０に２個以上の観察光データＥ_２が記憶されていない場合（たとえば、受信した最新の１個の観察光データＥ_２のみが記憶されている場合）、制御部２５０は、観察光データＥ_２の変化量が所定のしきい値以上であると判定する。この場合、ステップＳ１１３に進む。すなわち、初めて、ステップＳ１１２ＮＡの処理が行なわれる場合は、ステップＳ１１３に進む。

一方、記憶部２４０に２個以上の観察光データＥ_２が記憶されている場合、制御部２５０は、以下の判定処理ＡＢを行なう。以下においては、観察光データＥ_２に含まれる４０１個の輝度データの平均値を、観察光平均値Ｅ_２ａｖｅともいう。

判定処理ＡＢでは、制御部２５０が、記憶部２４０に記憶されている２個以上の観察光データＥ_２のうち、受信した最新の１個の観察光データＥ_２を除いた観察光データＥ_２の各々の観察光平均値Ｅ_２ａｖｅを算出する。記憶部２４０に記憶されている観察光データＥ_２が、例えば１０個の場合、算出される観察光平均値Ｅ_２ａｖｅは９個となる。また、制御部２５０は、受信した最新の観察光データＥ_２から観察光平均値Ｅ_２ａｖｅ（以下、最新観察光平均値Ｅ_２ａｖｅ’ともいう）を算出する。

そして、制御部２５０は、さらに、算出したｎ個の観察光平均値Ｅ_２のうち、最新観察光平均値Ｅ_２ａｖｅ’との差の絶対値が最も大きい観察光平均値Ｅ_２ａｖｅを、観察光判定値Ｅ_２ｄｅｔとする。なお、算出された観察光平均値Ｅ_２ａｖｅが１個の場合、観察光判定値Ｅ_２ｄｅｔは、１個の観察光平均値Ｅ_２ａｖｅそのものの値となる。そして、制御部２５０は、観察光判定値Ｅ_２ｄｅｔと、最新観察光平均値Ｅ_２ａｖｅ’との差の絶対値が、所定値以上であるか否かを判定する。当該所定値は、観察光判定値Ｅ_２ｄｅｔを算出する元となった観察光データにより示される照明光と、最新観察光平均値Ｅ_２ａｖｅ’を算出する元となった観察光データにより示される照明光との違いが、人間の目で知覚できる程度の値とする。

観察光判定値Ｅ_２ｄｅｔと、最新観察光平均値Ｅ_２ａｖｅ’との差の絶対値が、所定値以上である場合、制御部２５０は、観察光データＥ_２の変化量が所定のしきい値以上であると判定する。この場合、ステップＳ１１３に進む。一方、観察光判定値Ｅ_２ｄｅｔと、最新観察光平均値Ｅ_２ａｖｅ’との差の絶対値が、所定値以上でない場合、制御部２５０は、観察光データＥ_２の変化量が所定のしきい値以上でないと判定する。この場合、再度、ステップＳ１１１Ａの処理が行なわれる。

なお、観察光データＥ_２の変化量の判定は、上記方法に限定されない。たとえば、前述した観察光平均値Ｅ_２ａｖｅの代わりに、観察光データＥ_２に含まれる４０１個のデータの合計値（積分値）を使用して判定してもよい。また、判定の対象とするデータは、観察光データ（分光放射照度）に限定されることなく、分光放射輝度のデータであってもよい。

ステップＳ１１３では、第１の実施の形態と同様にシステム行列Ｈが算出されるので詳細な説明は繰り返さない。この処理では、制御部２５０が、カメラ１００の分光感度Ｓと、分光放射輝度Ｅ（被写体光データＥ_１）とを使用して、式（４）により、システム行列Ｈを算出する。

ステップＳ１１４では、第１の実施の形態と同様に分光反射率推定行列Ｗが算出されるので詳細な説明は繰り返さない。この処理により、分光反射率推定行列Ｗが算出される。分光反射率推定行列Ｗは、システム行列Ｈを使用して算出される。システム行列Ｈおよび分光反射率推定行列Ｗは、被写体光データＥ_１を使用して算出された値となる。そして、ステップＳ１１５Ａに進む。

ステップＳ１１５Ａでは、線形画像演算行列Ｍ’が算出される。具体的には、制御部２５０が、記憶部２４０に記憶されている等色関数ｈと、受信した最新の観察光データＥ_２と、算出された分光反射率推定行列Ｗとを使用して、式（７）により、線形画像演算行列Ｍ’を算出する。分光反射率推定行列Ｗは、被写体光データＥ_１を使用して算出された値なので、線形画像演算行列Ｍ’は、被写体光データＥ_１および観察光データＥ_２の値を反映した行列となる。

ここで、算出された線形画像演算行列Ｍ’は、照明スペクトル測定装置３００Ａから送信された最新の観察光データＥ_２を使用して算出された値である。観察光データＥ_２は、モニタ４００を観察する利用者に照射される照明の分光放射照度のデータである。画像データｇに基づく画像は、カメラ１００が撮像する撮像対象被写体を表示する画像である。撮像対象被写体は、モニタ４００を観察する利用者とは異なる照明条件（分光分布）となる位置にある。したがって、以下においては、上記条件における撮像対象被写体を、遠隔被写体ともいう。

したがって、線形画像演算行列Ｍ’は、画像データｇ_ｃを、モニタ４００を観察する利用者に照射される照明の分光分布および、遠隔被写体の分光反射率に基づき、遠隔被写体の色を正確に再現する画像データｇ’に変換するための行列である。すなわち、線形画像演算行列Ｍ’は、モニタ４００を観察する利用者に照射される照明条件（分光分布）において、遠隔被写体を見たのと同様に、遠隔被写体の色を再現するための行列である。また、線形画像演算行列Ｍ’は、モニタ４００を観察する利用者に照射される照明の分光放射照度（分光分布）および被写体の分光反射率に基づいた画像データｇ’を算出するための変換行列（変換関数）である。

そして、ステップＳ１１６Ａに進む。
ステップＳ１１６Ａでは、制御部２５０が、算出した線形画像演算行列Ｍ’を、記憶部２１２Ｍに記憶させる。なお、記憶部２１２Ｍに線形画像演算行列Ｍ’が既に記憶されている場合は、算出した線形画像演算行列Ｍ’を、記憶部２１２Ｍに上書き記憶させる。すなわち、記憶部２１２Ｍに記憶されている線形画像演算行列Ｍ’を、最新の線形画像演算行列Ｍ’に更新する。そして、再度、ステップＳ１１１Ａの処理が行なわれる。

以上の線形画像演算行列算出処理Ａにより、制御部２５０は、観察光データＥ_２の変化量が所定のしきい値以上でない場合、ステップＳ１１３、Ｓ１１４、Ｓ１１５Ａの演算処理を行なわない。したがって、観察光データＥ_２の変化量が所定のしきい値以上でない場合、制御部２５０の演算処理量を大幅に削減することができる。

ここで、観察光データＥ_２の変化量が所定のしきい値以上であるか否かの判定は、観察光データＥ_２に基づく前述した観察光判定値Ｅ_２ｄｅｔと、観察光データＥ_２に基づく前述した最新観察光平均値Ｅ_２ａｖｅ’との差の絶対値が、所定値以上であるか否かの判定である。当該所定値は、前述したように、観察光判定値Ｅ_２ｄｅｔを算出する元となった観察光データにより示される照明光と、最新観察光平均値Ｅ_２ａｖｅ’を算出する元となった観察光データにより示される照明光との違いが、人間の目で知覚できる程度の値である。

また、観察光データＥ_２の変化量が所定のしきい値以上である場合、すなわち、観察光判定値Ｅ_２ｄｅｔと、最新観察光平均値Ｅ_２ａｖｅ’との差の絶対値が所定値以上である場合にのみ、画像処理装置２００は、被写体光データＥ_１および観察光データＥ_２の値を反映した線形画像演算行列Ｍ’を、記憶部２１２Ｍに記憶させることになる。ここで、被写体光データＥ_１の値は、撮像対象被写体に照射される照明光に応じて変化する。また、観察光データＥ_２の値は、モニタ４００を観察する利用者に照射される照明光に応じて変化する。すなわち、被写体光データＥ_１および観察光データＥ_２の値は、同一条件で変化するとは限らない。したがって、線形画像演算行列Ｍ’の値は、被写体光データＥ_１および観察光データＥ_２の両方の変化を反映するか、どちらか一方の変化を反映させるかを切り替えられるように構成しても良い。

（画像の表示）
次に、本実施の形態において、モニタ４００に、カメラ１００が撮像することにより得られた画像データｇに基づく画像を表示するための処理（以下、画像表示処理Ａともいう）について説明する。ここで、カメラ１００は、１／３０秒毎に、１フレームとしての画像データｇを、画像処理装置２００へ送信する。前述したように、画像データｇは、画像データｇに含まれる複数の画素毎に、Ｒ，Ｇ，Ｂの各々の値を含むデータである。この場合、画像データｇは、各画素に対応する３行１列の行列を含む。

図６は、画像表示処理Ａのフローチャートを示す図である。画像表示処理Ａは、前述した線形画像演算行列算出処理Ａとは独立して行なわれる処理である。図６において、図３の画像表示処理と同じステップ番号の処理は、第１の実施の形態で説明した処理と同様なので詳細な説明は繰り返さない。

ステップＳ２１１では、第１の実施の形態で説明したのと同様な処理が行なわれるので詳細な説明は繰り返さない。ここでは、画像データｇを受信したとして、ステップＳ２１２に進む。

ステップＳ２１２では、第１の実施の形態で説明したのと同様にカメラＬＵＴ演算処理が行なわれるので詳細な説明は繰り返さない。この処理により、線形特性を有する画像データｇ_ｃが、線形画像演算部２１２へ送信される。そして、ステップＳ２１３Ａに進む。

ステップＳ２１３Ａでは、線形画像演算処理Ａが行なわれる。線形画像演算処理Ａは、受信した画像データを使用して、モニタ４００を観察する利用者に照射される照明の分光分布（観察光）および遠隔被写体の分光反射率に基づき、遠隔被写体の色を正確に再現するよう補正する処理である。

線形画像演算処理Ａでは、線形画像演算部２１２が、受信した画像データｇ_ｃと、記憶部２１２Ｍに記憶されている線形画像演算行列Ｍ’とを使用して、式（８）により、画像データｇ’を算出する。前述したように、線形画像演算行列Ｍ’は、画像データｇ_ｃを、モニタ４００を観察する利用者に照射される照明の分光分布（観察光）および遠隔被写体の分光反射率に基づき、遠隔被写体の色を正確に再現する画像データｇ’に変換するための行列である。すなわち、線形画像演算行列Ｍ’は、モニタ４００を観察する利用者に照射される照明の条件（分光分布）において、遠隔被写体を見たのと同様に、遠隔被写体の色を再現するための行列である。また、線形画像演算行列Ｍ’は、モニタ４００を観察する利用者に照射される観察光データおよび、遠隔被写体の分光反射率に基づいた画像データｇ’を算出するための変換行列（変換関数）である。

したがって、算出された画像データｇ’は、モニタ４００を観察する利用者に照射される照明条件（観察光）下において遠隔被写体の色を正確に再現する画像データである。そして、線形画像演算部２１２は、算出した画像データｇ’を、モニタＬＵＴ演算部２１３へ送信する。そして、ステップＳ２１４に進む。

ステップＳ２１４では、第１の実施の形態で説明したのと同様にモニタＬＵＴ演算処理が行なわれるので詳細な説明は繰り返さない。この処理により、モニタ４００のガンマ特性に応じた画像データｇ_ｄが、モニタ４００へ送信される。

ステップＳ２１５では、第１の実施の形態で説明したのと同様な処理が行なわれるので詳細な説明は繰り返さない。この処理により、モニタ４００が、受信した画像データｇ_ｄに基づく画像を表示する。そして、再度、ステップＳ２１１の処理が行なわれる。

前述したように、カメラ１００は、１／３０秒毎に、１フレームとしての画像データｇを、画像処理装置２００へ送信する。そのため、図６のステップＳ２１２〜Ｓ２１５の処理も、１／３０秒毎に行なわれる。

前述したように、観察光データＥ_２の変化量が所定のしきい値以上でない場合、制御部２５０の演算処理量を大幅に削減することができる。ここで、観察光データＥ_２の変化量が所定のしきい値以上であるか否かの判定は、前述した観察光判定値Ｅ_２ｄｅｔと、前述した最新観察光平均値Ｅ_２ａｖｅ’との差の絶対値が、所定値以上であるか否かの判定である。当該所定値は、前述したように、観察光判定値Ｅ_２ｄｅｔを算出する元となった観察光データにより示される照明光と、最新観察光平均値Ｅ_２ａｖｅ’を算出する元となった観察光データにより示される照明光との違いが、人間の目で知覚できる程度の値である。

また、観察光データＥ_２の変化量が所定のしきい値以上である場合、すなわち、観察光判定値Ｅ_２ｄｅｔと、最新観察光平均値Ｅ_２ａｖｅ’との差の絶対値が所定値以上である場合にのみ、画像処理装置２００Ａは、被写体光データＥ_１および観察光データＥ_２の値を反映した線形画像演算行列Ｍ’を、記憶部２１２Ｍに記憶させることになる。被写体光データＥ_１の値は、撮像対象被写体に照射される照明光に応じて変化する。また、観察光データＥ_２の値は、モニタ４００を観察する利用者に照射される照明光に応じて変化する。すなわち、被写体光データＥ_１および観察光データＥ_２の値は、同一条件で変化するとは限らない。したがって、線形画像演算行列Ｍ’の値は、被写体光データＥ_１および観察光データＥ_２の両方の変化を反映するか、どちらか一方の変化を反映させるかを切り替えられるように構成しても良い。

したがって、本実施の形態においては、観察光データＥ_２の変化量が所定のしきい値以上である場合においても、被写体光データＥ_１および観察光データＥ_２に基づいて、遠隔被写体の色を正確に再現した画像を、モニタ４００に表示することができる。すなわち、モニタ４００を観察する利用者に照射される照明条件（分光分布）において、遠隔被写体を見たのと同様に、遠隔被写体の色を再現することができる。すなわち、モニタ４００を観察する利用者が、目の前で遠隔被写体を見たのと同様な色を再現することができる。

以上により、演算処理を効率よく削減しつつ、モニタを観察する利用者に照射される照明の分光分布および、被写体の分光反射率に基づいた動画像を得ることができるという効果を奏する。

＜第３の実施の形態＞
図７は、本実施の形態における画像処理システム１０００Ｂの構成を示す図である。図７を参照して、画像処理システム１０００Ｂは、図１の画像処理システム１０００と比較して、画像処理装置２００の代わりに画像処理装置２００Ｂを含む点と、モニタ４００の代わりにモニタ４００Ｎを含む点が異なる。それ以外は、画像処理システム１０００と同様なので詳細な説明は繰り返さない。

画像処理装置２００Ｂは、図１の画像処理装置２００と比較して、さらに、モニタ４００Ｎとデータ通信可能な点が異なる。それ以外は、画像処理装置２００と同様なので詳細な説明は繰り返さない。

モニタ４００Ｎは、図１のモニタ４００と比較して、通信インタフェース（Ｉ／Ｆ）４６０を含む点が異なる。通信インタフェース４６０は、画像処理装置２００Ｂとデータ通信するための機能を有し、代表的にＲＳ２３２ＣやＵＳＢ（Universal Serial Bus）などの通信規格に準じたものを用いることができる。それ以外の構成および機能は、モニタ４００と同様なので詳細な説明は繰り返さない。

通信インタフェース４６０は、画像処理装置２００Ｂの制御部２５０とデータ通信可能であり、モニタ４００Ｎの表示特性の変更、代表的にガンマ特性（ガンマ値γｄ）やダイナミックレンジの変更を画像処理装置２００Ｂの制御部２５０へ送信する。すなわち、ガンマ特性を変更可能に構成されたモニタ４００Ｎに対して、利用者がそのガンマ値を所望の値に変更された場合などに、変更後の値が通信インタフェース４６０から画像処理装置２００Ｂの制御部２５０へ通知される。

もしくは、ダイナミックレンジ（輝度階調のレベル数）を変更可能に構成されたモニタ４００Ｎに対して、利用者がそのダイナミックレンジを所望の値（たとえば、１２ビットから１６ビット）に変更した場合などに、変更後の値が通信インタフェース４６０から画像処理装置２００Ｂの制御部２５０へ通知される。

画像処理装置２００Ｂの制御部２５０は、通信インタフェース４６０から通知された表示特性の変更に応じて、モニタＬＵＴ演算部２１３の記憶部２１３Ｍに記憶されているモニタＬＵＴを更新する。

具体的には、制御部２５０は、モニタ４００Ｎのガンマ値γｄの変更が通知されると、当該変更後のガンマ値γｄを用いて、前述の線形ＲＧＢデータ（１２ビットの場合には０〜４０９５）の各値を１／γｄ乗することに相当する変換値を順次算出することで、新たなモニタＬＵＴを生成する。そして、制御部２５０は、記憶部２１３Ｍに記憶されているモニタＬＵＴを最新のモニタＬＵＴに更新する。

また、制御部２５０は、モニタ４００Ｎのダイナミックレンジの変更が通知されると、線形画像演算部２１２に入力される画像データｇ’のデータ範囲（たとえば、１２ビットであれば０〜４０９５）を、線形画像演算部２１２からモニタ４００Ｎへ送信される画像データｇ_ｄのデータ範囲（たとえば、１６ビットであれば０〜６５５３５）に適合するようにモニタＬＵＴを更新する。具体的には、制御部２５０は、記憶部２１３Ｍに記憶されているモニタＬＵＴの各値に、変更前と変更後とのダイナミックレンジの比（１２ビットから１６ビットへの変更であれば１６倍）を乗じて、新たなモニタＬＵＴを生成する。そして、制御部２５０は、記憶部２１３Ｍに記憶されているモニタＬＵＴを最新のモニタＬＵＴに更新する。

（画像処理装置における演算処理）
次に、本実施の形態において、画像処理装置２００Ｂにおいて行なわれる演算処理について説明する。

本実施の形態においては、制御部２５０が、線形画像演算行列Ｍを算出するための処理（線形画像演算行列算出処理）と、モニタ４００Ｎの表示特性の変更に応答してモニタＬＵＴを更新するための処理（以下、モニタＬＵＴ更新処理ともいう）とを実行する。なお、これらの処理は互いに実行されることが好ましい。なお、これらの処理のうち線形画像演算行列算出処理については、第１の実施の形態で説明した処理と同様なので詳細な説明は繰り返さない。

以下、モニタＬＵＴ更新処理について説明する。ここで、通信インタフェース４６０は、前述したように、利用者操作などによってモニタ４００Ｎの表示特性が変更されたときに、変更後のガンマ特性（ガンマ値γｄ）またはダイナミックレンジを画像処理装置２００Ｂの制御部２５０へ送信する。

図８は、モニタＬＵＴ更新処理のフローチャートを示す図である。図８を参照して、モニタＬＵＴ更新処理では、まず、ステップＳ３１１の処理が行なわれる。

ステップＳ３１１では、制御部２５０が、通信インタフェース４６０からモニタ４００Ｎの表示特性の変更値（ガンマ値またはダイナミックレンジ）を受信したか否かを判定する。ステップＳ３１１において、ＹＥＳならば、ステップＳ３１２に進む。一方、ステップＳ３１１において、ＮＯならば、再度、ステップＳ３１１の処理が行なわれる。ここでは、モニタ４００Ｎの表示特性の変更値を受信したとして、ステップＳ３１２に進む。

ステップＳ３１２では、受信した表示特性の変更値に応じて、新たなモニタＬＵＴが生成される。具体的には、制御部２５０が、変更後のガンマ値またはダイナミックレンジに基づいて、モニタＬＵＴを構成する各値を順次算出する。そして、ステップＳ３１３に進む。

ステップＳ３１３では、モニタＬＵＴ演算部２１３の記憶部２１３Ｍに記憶されているモニタＬＵＴが更新される。具体的には、制御部２５０が、モニタＬＵＴ演算部２１３の記憶部２１３Ｍに記憶されているモニタＬＵＴを、最新のモニタＬＵＴに更新する。そして、再度、ステップＳ３１１の処理が行なわれる。

以上のモニタＬＵＴ更新処理により、画像処理装置２００Ｂは、利用者がモニタ４００Ｎの表示特性を変更する毎に、変更後の表示特性の値を反映したモニタＬＵＴを、記憶部２１３Ｍに記憶させることになる。したがって、利用者がモニタ４００Ｎの表示特性を変更した場合においても、モニタＬＵＴ演算部２１３の記憶部２１３Ｍに記憶されているモニタＬＵＴを最新の状態に維持できる。

（画像の表示）
次に、本実施の形態において、モニタ４００Ｎに、カメラ１００が撮像することにより得られた画像データｇに基づく画像を表示するための処理（画像表示処理）について説明する。ここで、カメラ１００は、１／３０秒毎に、１フレームとしての画像データｇを、画像処理装置２００Ｂへ送信する。前述したように、画像データｇは、画像データｇに含まれる複数の画素毎に、Ｒ，Ｇ，Ｂの各々の値を含むデータである。この場合、画像データｇは、各画素に対応する３行１列の行列を含む。

ここで、カメラＬＵＴ演算部２１１の記憶部２１１Ｍには、１２ビットで表される０〜４０９５の各々に対応付けて、各値を１／γｃ乗した値が規定されたカメラＬＵＴが予め記憶されているとする。また、モニタＬＵＴ演算部２１３の記憶部２１３Ｍには、前述のモニタＬＵＴ更新処理によって最新の状態に維持されたモニタＬＵＴが記憶されている。

本実施の形態における画像表示処理は、前述した線形画像演算行列算出処理とは独立して行なわれる処理である。また、本実施の形態における画像表示処理は、第１の実施の形態で説明した処理と同様なので詳細な説明は繰り返さない。

したがって、本実施の形態においては、第１の実施の形態と同様、被写体光データＥ_１の変化量が所定のしきい値以上でない場合、制御部２５０の演算処理量を大幅に削減することができる。また、被写体光データＥ_１の変化量が所定のしきい値以上である場合においても、カメラ１００が撮像する撮像対象被写体の色を正確に再現した動画像を、モニタ４００に表示することができる。すなわち、演算処理を効率よく削減しつつ、被写体に照射される照明の分光分布および、被写体の分光反射率に基づいた動画像を得ることができるという効果を奏する。

また、本実施の形態においては、利用者がモニタ４００Ｎの表示特性を変更した場合においても、モニタＬＵＴ演算部２１３の記憶部２１３Ｍに記憶されているモニタＬＵＴを最新の状態に維持できる。すなわち、モニタ４００Ｎの表示特性の変更に関わらず、正確な色再現を可能とするという効果を奏する。

＜第４の実施の形態＞
図９は、本実施の形態における画像処理システム１０００Ｃの構成を示す図である。図９を参照して、画像処理システム１０００Ｃは、図７の画像処理システム１０００Ｂと比較して、画像処理装置２００Ｂの代わりに画像処理装置２００Ｃを含む点と、照明スペクトル測定装置３００Ａをさらに含む点が異なる。それ以外は、画像処理システム１０００Ｂと同様なので詳細な説明は繰り返さない。

画像処理装置２００Ｃは、図７の画像処理装置２００Ｂと比較して、さらに、照明スペクトル測定装置３００Ａとデータ通信可能な点が異なる。それ以外は、画像処理装置２００と同様なので詳細な説明は繰り返さない。また、照明スペクトル測定装置３００Ａは、図４に示す照明スペクトル測定装置３００Ａと同様なので詳細な説明は繰り返さない。

（画像処理装置における演算処理）
次に、本実施の形態において、画像処理装置２００Ｃにおいて行なわれる演算処理について説明する。

本実施の形態においては、制御部２５０が、線形画像演算行列Ｍ’を算出するための処理（線形画像演算行列算出処理Ａ）と、モニタ４００Ｎの表示特性の変更に応答してモニタＬＵＴを更新するための処理（モニタＬＵＴ更新処理）とを実行する。これらの処理は互いに実行されることが好ましい。なお、これらの処理のうち線形画像演算行列算出処理Ａについては、第２の実施の形態で説明した処理と同様なので詳細な説明は繰り返さない。また、モニタＬＵＴ更新処理については、第３の実施の形態で説明した処理と同様なので詳細な説明は繰り返さない。

本実施の形態における画像表示処理は、前述した線形画像演算行列算出処理とは独立して行なわれる処理である。また、本実施の形態における画像表示処理は、第２の実施の形態で説明した処理と同様なので詳細な説明は繰り返さない。

したがって、本実施の形態においては、第２の実施の形態と同様の効果を奏する。すなわち、観察光データＥ_２の変化量が所定のしきい値以上でない場合、制御部２５０の演算処理量を大幅に削減することができる。また、観察光データＥ_２の変化量が所定のしきい値以上である場合においても、被写体光データＥ_１および観察光データＥ_２に基づいて、前述した遠隔被写体の色を正確に再現した画像を、モニタ４００Ｎに表示することができる。すなわち、モニタ４００Ｎを観察する利用者に照射される照明条件（分光分布）において、遠隔被写体を見たのと同様に、遠隔被写体の色を再現することができる。すなわち、モニタ４００Ｎを観察する利用者が、目の前で遠隔被写体を見たのと同様な色を再現することができる。以上により、演算処理を効率よく削減しつつ、モニタを観察する利用者に照射される照明の分光分布および、被写体の分光反射率に基づいた動画像を得ることができるという効果を奏する。

＜第５の実施の形態＞
図１０は、本実施の形態における画像処理システム１０００Ｄの構成を示す図である。図１０を参照して、画像処理システム１０００Ｄは、図１の画像処理システム１０００と比較して、画像処理装置２００の代わりに画像処理装置２００Ｄを含む点と、カメラ１００の代わりにカメラ１００Ｎを含む点が異なる。それ以外は、画像処理システム１０００と同様なので詳細な説明は繰り返さない。

画像処理装置２００Ｄは、図１の画像処理装置２００と比較して、さらに、カメラ１００Ｎとデータ通信可能な点が異なる。それ以外は、画像処理装置２００と同様なので詳細な説明は繰り返さない。

カメラ１００Ｎは、図１のカメラ１００と比較して、通信インタフェース１６０を含む点が異なる。通信インタフェース１６０は、画像処理装置２００Ｄとデータ通信するための機能を有し、代表的にＲＳ２３２ＣやＵＳＢなどの通信規格に準じたものを用いることができる。それ以外の構成および機能は、カメラ１００と同様なので詳細な説明は繰り返さない。

通信インタフェース１６０は、画像処理装置２００Ｄの制御部２５０とデータ通信可能であり、カメラ１００Ｎの撮像特性の変更、代表的にガンマ特性（ガンマ値γｃ）の変更を画像処理装置２００Ｄの制御部２５０へ送信する。すなわち、ガンマ特性を変更可能に構成されたカメラ１００Ｎに対して、利用者がそのガンマ値を所望の値に変更した場合などに、変更後の値が通信インタフェース１６０から画像処理装置２００Ｄの制御部２５０へ通知される。

なお、利用者によるＩＳＯ感度や絞りの調整、レンズ交換等によっても、カメラ１００Ｎの撮像特性（ガンマ特性）は変化する。この場合、ＩＳＯ感度調整を例にすれば、カメラ１００Ｎは、たとえば、各受光感度（ＩＳＯ感度）に対応付けてガンマ特性（ガンマ値γｃ）をテーブルとして予め記憶しており、利用者などによる受光感度の変更に応じて、対応するガンマ特性（ガンマ値γｃ）を通信インタフェース１６０を介して画像処理装置２００Ｄへ出力する。

また、レンズ交換を例にすれば、カメラ１００Ｎは、たとえば、各レンズを特定するためのレンズの型番に対応付けてガンマ特性（ガンマ値γｃ）をテーブルとして予め記憶しており、利用者などによるレンズ交換に応じて、交換されたレンズの型番に対応するガンマ特性（ガンマ値γｃ）を通信インタフェース１６０を介して画像処理装置２００Ｄへ出力する。

画像処理装置２００Ｄの制御部２５０は、通信インタフェース１６０から通知された表示特性の変更に応じて、カメラＬＵＴ演算部２１１の記憶部２１１Ｍに記憶されているカメラＬＵＴを更新する。

具体的には、制御部２５０は、カメラ１００Ｎのガンマ値γｃの変更が通知されると、当該変更後のガンマ値γｃを用いて、カメラＬＵＴの入力データ（１２ビットの場合には０〜４０９５）の各値を１／γｃ乗することに相当する変換値を順次算出することで、新たなカメラＬＵＴを生成する。そして、制御部２５０は、記憶部２１１Ｍに記憶されているカメラＬＵＴを最新のカメラＬＵＴに更新する。

（画像処理装置における演算処理）
次に、本実施の形態において、画像処理装置２００Ｄにおいて行なわれる演算処理について説明する。

本実施の形態においては、制御部２５０が、線形画像演算行列を算出するための処理（線形画像演算行列算出処理）と、カメラ１００Ｎの撮像特性の変更に応答してカメラＬＵＴを更新するための処理（カメラＬＵＴ更新処理）とを実行する。なお、これらの処理は互いに実行されることが好ましい。なお、これらの処理のうち線形画像演算行列算出処理については、第１の実施の形態で説明した処理と同様なので詳細な説明は繰り返さない。

以下、カメラＬＵＴ更新処理について説明する。ここで、通信インタフェース１６０は、前述したように、利用者操作などによってカメラ１００Ｎの撮像特性が変更されたときに、変更後のガンマ特性（ガンマ値γｃ）を画像処理装置２００Ｄの制御部２５０へ送信する。

図１１は、カメラＬＵＴ更新処理のフローチャートを示す図である。図１１を参照して、カメラＬＵＴ更新処理では、まず、ステップＳ４１１の処理が行なわれる。

ステップＳ４１１では、制御部２５０が、通信インタフェース１６０からカメラ１００Ｎの撮像特性の変更値（ガンマ値）を受信したか否かを判定する。ステップＳ４１１において、ＹＥＳならば、ステップＳ４１２に進む。一方、ステップＳ４１１において、ＮＯならば、再度、ステップＳ４１１の処理が行なわれる。ここでは、カメラ１００Ｎの表示特性の変更値を受信したとして、ステップＳ４１２に進む。

ステップＳ４１２では、受信した撮像特性の変更値に応じて、新たなカメラＬＵＴが生成される。具体的には、制御部２５０が、変更後のガンマ値に基づいて、カメラＬＵＴを構成する各値を順次算出する。そして、ステップＳ４１３に進む。

ステップＳ４１３では、カメラＬＵＴ演算部２１１の記憶部２１１Ｍに記憶されているカメラＬＵＴが更新される。具体的には、制御部２５０が、カメラＬＵＴ演算部２１１の記憶部２１１Ｍに記憶されているカメラＬＵＴを、最新のカメラＬＵＴに更新する。そして、再度、ステップＳ４１１の処理が行なわれる。

以上のカメラＬＵＴ更新処理により、画像処理装置２００Ｄは、利用者がカメラ１００Ｎの撮像特性を変更する毎に、変更後の撮像特性の値を反映したカメラＬＵＴを、記憶部２１１Ｍに記憶させることになる。したがって、利用者がカメラ１００Ｎの撮像特性を変更した場合においても、カメラＬＵＴ演算部２１１の記憶部２１１Ｍに記憶されているカメラＬＵＴを最新の状態に維持できる。

（画像の表示）
次に、本実施の形態において、モニタ４００に、カメラ１００Ｎが撮像することにより得られた画像データｇに基づく画像を表示するための処理（画像表示処理）について説明する。ここで、カメラ１００Ｎは、１／３０秒毎に、１フレームとしての画像データｇを、画像処理装置２００Ｄへ送信する。前述したように、画像データｇは、画像データｇに含まれる複数の画素毎に、Ｒ，Ｇ，Ｂの各々の値を含むデータである。この場合、画像データｇは、各画素に対応する３行１列の行列を含む。

ここで、カメラＬＵＴ演算部２１１の記憶部２１１Ｍには、前述のカメラＬＵＴ更新処理によって最新の状態に維持されたカメラＬＵＴが記憶されている。また、モニタＬＵＴ演算部２１３の記憶部２１３Ｍには、線形画像演算部２１２の処理の結果得られる三刺激値ＸＹＺをモニタ特性に応じて線形ＲＧＢに変換し、かつ、１２ビットで表される０〜４０９５の各々に対応付けて、線形ＲＧＢの各値を１／γｄ乗した値となるように規定されたモニタＬＵＴが記憶されている。

また、本実施の形態においては、利用者がカメラ１００Ｎの撮像特性を変更した場合においても、カメラＬＵＴ演算部２１１の記憶部２１１Ｍに記憶されているカメラＬＵＴを最新の状態に維持できる。すなわち、カメラ１００Ｎの撮像特性の変更に関わらず、正確な色再現を可能とするという効果を奏する。

（カメラの撮像特性の変更に係る第１の変形例）
前述したような通信インタフェース１６０から変更後のガンマ特性（ガンマ値γｃ）が画像処理装置２００Ｄの制御部２５０へ送信される構成に代えて、制御部２５０がカメラの状態値に基づいてガンマ値γｃを動的に変更してもよい。

一般的に、カメラの受光素子は温度依存特性を有しているので、本実施の形態の第１の変形例では、カメラの状態値として温度を取得して、カメラのガンマ値を補正（変更）する構成について例示する。なお、カメラの状態値は、ＩＳＯ感度、絞り、レンズの型番等であってもよい。

図１２は、本実施の形態の第１の変形例における画像処理システム１０００ＤＡの構成を示す図である。図１２を参照して、画像処理システム１０００ＤＡは、図１０の画像処理システム１０００Ｄと比較して、カメラ１００Ｎの代わりにカメラ１００ＮＡを含む点と、記憶部２４０にガンマ値補正テーブル２４２Ａが記憶される点とが異なる。それ以外は、画像処理システム１０００Ｄと同様なので詳細な説明は繰り返さない。

カメラ１００ＮＡは、図１０のカメラ１００Ｎと比較して、さらに、温度測定部１７０を含む点が異なる。それ以外は、カメラ１００Ｎと同様なので詳細な説明は繰り返さない。温度測定部１７０は、カメラ１００ＮＡの内部もしくはカメラ１００ＮＡの近傍に配置されて温度を測定し、その測定結果をカメラ温度ｔｃとして出力する。代表的に、温度測定部１７０は測温抵抗体や熱電対などからなる。

一方、記憶部２４０に格納されるガンマ値補正テーブル２４２Ａは、カメラ温度ｔｃに対応付けて複数のガンマ値γｃを格納している。一例として、ガンマ値補正テーブル２４２Ａには、カメラ温度ｔｃの所定温度（たとえば、２０℃）毎に、対応するガンマ値γｃが規定される。なお、ガンマ値γｃの温度依存性は、カメラ１００ＮＡを構成する撮像素子や画像処理回路などの種類に応じて定まるので、ガンマ値補正テーブル２４２Ａはカメラ毎に予め実験的に求めることが好ましい。

画像処理装置２００Ｄの制御部２５０は、通信インタフェース１６０を介してカメラ１００ＮＡからカメラ温度ｔｃを受信し、受信したカメラ温度ｔｃに応じて、カメラＬＵＴ演算部２１１の記憶部２１１Ｍに記憶されているカメラＬＵＴを更新する。

具体的には、制御部２５０は、カメラ１００ＮＡからカメラ温度ｔｃを受信すると、記憶部２４０に格納されるガンマ値補正テーブル２４２Ａを参照して、受信したカメラ温度ｔｃに対応するガンマ値γｃを取得する。そして、制御部２５０は、この取得したガンマ値γｃを用いて、カメラＬＵＴの入力データ（１２ビットの場合には０〜４０９５）の各値を１／γｃ乗した値を順次算出することで、新たなカメラＬＵＴを生成する。さらに、制御部２５０は、記憶部２１１Ｍに記憶されているカメラＬＵＴを最新のカメラＬＵＴに更新する。

本実施の形態の第１の変形例においては、制御部２５０が、上述のカメラＬＵＴ更新処理に代えて、カメラ１００ＮＡのカメラ温度ｔｃに応じてカメラＬＵＴを更新するための処理（カメラＬＵＴ更新処理Ａ）を実行する。

以下、カメラＬＵＴ更新処理Ａについて説明する。
図１３は、カメラＬＵＴ更新処理Ａのフローチャートを示す図である。図１３を参照して、カメラＬＵＴ更新処理Ａでは、まず、ステップＳ５１１の処理が行なわれる。

ステップＳ５１１では、制御部２５０が、制御部２５０が、所定期間（たとえば、３０秒）が経過したか否かを判定する。ステップＳ５１１において、ＹＥＳならば、ステップＳ５１２に進む。一方、ステップＳ５１１において、ＮＯならば、再度、ステップＳ５１１の処理が行なわれる。ここでは、所定期間（たとえば、３０秒）が経過したとして、ステップＳ５１２に進む。

ステップＳ５１２では、制御部２５０が、カメラ１００ＮＡの通信インタフェース１６０からカメラ温度ｔｃを受信する。そして、ステップＳ５１３に進む。

ステップＳ５１３では、記憶部２４０に格納されるガンマ値補正テーブル２４２Ａを参照して、受信したカメラ温度ｔｃに対応するガンマ値γｃを取得する。そして、ステップＳ５１４に進む。

ステップＳ５１４では、取得したガンマ値γｃに応じて、新たなカメラＬＵＴが生成される。具体的には、制御部２５０が、取得したガンマ値γｃに基づいて、カメラＬＵＴを構成する各値を順次算出する。そして、ステップＳ５１５に進む。

ステップＳ５１５では、カメラＬＵＴ演算部２１１の記憶部２１１Ｍに記憶されているカメラＬＵＴが更新される。具体的には、制御部２５０が、カメラＬＵＴ演算部２１１の記憶部２１１Ｍに記憶されているカメラＬＵＴを、最新のカメラＬＵＴに更新する。そして、再度、ステップＳ５１１の処理が行なわれる。

また、本実施の形態の第１の変形例においては、カメラ１００ＮＡにおける温度環境の変化によって撮像特性が変化した場合においても、カメラＬＵＴ演算部２１１の記憶部２１１Ｍに記憶されているカメラＬＵＴを最新の状態に維持できる。すなわち、カメラ１００ＮＡの撮像特性の変化に関わらず、正確な色再現できるという効果を奏する。

なお、上述の例では、カメラ温度ｔｃに対応付けて複数のガンマ値γｃをガンマ値補正テーブル２４２Ａに格納する構成について説明したが、カメラ温度ｔｃに対応付けてカメラＬＵＴを構成するデータ群自体を格納してもよい。

なお、カメラの状態値を、ＩＳＯ感度とする場合、記憶部２４０に、各ＩＳＯ感度にガンマ特性（ガンマ値γｃ）を対応づけたテーブルを予め記憶させておく。そして、利用者がＩＳＯ感度を変更することにより、変更後のＩＳＯ感度が通信インタフェース１６０から画像処理装置２００Ｄの制御部２５０へ通知される。制御部２５０は、受信したＩＳＯ感度に対応するガンマ値γｃを取得し、図１３のステップＳ５１４、Ｓ５１５と同様な処理をすることにより、記憶部２１１Ｍに記憶されているカメラＬＵＴを更新する。

また、カメラの状態値を、レンズの型番とする場合、記憶部２４０に、各レンズの型番に対応づけて、ガンマ特性（ガンマ値γｃ）をテーブルとして予め記憶させておく。そして、利用者がレンズ交換することにより、変更後のレンズの型番が通信インタフェース１６０から画像処理装置２００Ｄの制御部２５０へ通知される。制御部２５０は、受信したレンズの型番に対応するガンマ値γｃを取得し、図１３のステップＳ５１４、Ｓ５１５と同様な処理をすることにより、記憶部２１１Ｍに記憶されているカメラＬＵＴを更新する。

（カメラの撮像特性の変更に係る他の処理例２）
前述したように、線形画像演算行列算出処理または線形画像演算行列算出処理Ａによれば、線形画像演算行列Ｍの算出過程においてカメラの分光感度Ｓが使用される。上述の実施の形態によれば、カメラの分光感度Ｓは予め記憶部２４０に記憶されている構成について例示したが、カメラの分光感度Ｓがカメラの撮像特性によって変化する場合には、この変化した後の分光感度Ｓを用いることが好ましい。

そこで、本実施の形態の第２の変形例では、カメラの分光感度Ｓを動的に変更する構成について例示する。

図１４は、本実施の形態の第２の変形例における画像処理システム１０００ＤＢの構成を示す図である。図１４を参照して、画像処理システム１０００ＤＢは、図１０の画像処理システム１０００Ｄと比較して、カメラ１００Ｎの代わりにカメラ１００ＮＢを含む点が異なる。それ以外は、画像処理システム１０００Ｄと同様なので詳細な説明は繰り返さない。

カメラ１００ＮＢは、図１０のカメラ１００Ｎと比較して、さらに、分光感度特性格納部１８０を含む点が異なる。それ以外は、カメラ１００Ｎと同様なので詳細な説明は繰り返さない。分光感度特性格納部１８０は、カメラ１００ＮＢの撮像特性の変更に応じて複数の分光感度特性を格納する。カメラ１００ＮＢの撮像特性の代表例として、ズーム調整による倍率の値を変更可能である場合には、当該倍率の値の変更に応じて分光感度Ｓも変化する。そのため、分光感度特性格納部１８０は、各倍率の値に、各倍率の値で測定された分光感度Ｓを対応づけたテーブルを予め記憶している。そして、利用者などによるズーム調整に応じて、当該ズーム調整による倍率の値に対応する分光感度Ｓを通信インタフェース１６０を介して画像処理装置２００Ｄへ出力する。

なお、カメラ１００ＮＢの撮像特性は、利用者によるレンズ交換、ＩＳＯ感度調整等によっても変更される。レンズ交換を例にすると、分光感度特性格納部１８０は、各レンズの型番に、各型番のレンズを使用して測定された分光感度Ｓを対応づけたテーブルを予め記憶している。そして、利用者が、レンズ交換することにより、変更後のレンズの型番に対応する分光感度Ｓを通信インタフェース１６０を介して画像処理装置２００Ｄへ出力する。

また、ＩＳＯ感度調整を例にすると、分光感度特性格納部１８０は、各ＩＳＯ感度に、各ＩＳＯ感度で測定された分光感度Ｓを対応づけたテーブルを予め記憶している。そして、利用者が、ＩＳＯ感度を変更することにより、変更後のＩＳＯ感度に対応する分光感度Ｓを通信インタフェース１６０を介して画像処理装置２００Ｄへ出力する。

画像処理装置２００Ｄの制御部２５０は、通信インタフェース１６０を介してカメラ１００ＮＢから分光感度Ｓを受信すると、受信した分光感度Ｓを用いて線形画像演算行列を算出するための処理（以下、線形画像演算行列算出処理Ｂ）を実行する。

以下、線形画像演算行列算出処理Ｂについて説明する。
図１５は、線形画像演算行列算出処理Ｂのフローチャートを示す図である。図１５において、図２の線形画像演算行列算出処理と同じステップ番号の処理は、第１の実施の形態で説明した処理と同様なので詳細な説明は繰り返さない。図１５を参照して、線形画像演算行列算出処理Ｂでは、まず、ステップＳ６１１の処理が行なわれる。

ステップＳ６１１では、画像処理装置２００ＮＢの制御部２５０が、カメラ１００ＮＢから変更された分光感度Ｓを受信したか否かを判定する。ステップＳ６１１において、ＹＥＳならば、ステップＳ６１２に進む。一方、ステップＳ６１１において、ＮＯならば、再度、ステップＳ６１１の処理が行なわれる。ここでは、変更後の分光感度Ｓを受信したとして、ステップＳ６１２に進む。

ステップＳ６１２では、制御部２５０が、受信した分光感度Ｓを、記憶部２４０に記憶させる。なお、記憶部２４０に分光感度Ｓが既に記憶されている場合は、受信した分光感度Ｓを、記憶部２４０に上書き記憶させる。すなわち、記憶部２４０に記憶されている分光感度Ｓを、最新の分光感度Ｓに更新する。そして、ステップＳ１１２に進む。

ステップＳ１１２では、第１の実施の形態と同様な処理が行なわれるので詳細な説明は繰り返さない。この処理により、被写体光データＥ_１が受信される。そして、ステップＳ１１３に進む。

ステップＳ１１３では、第１の実施の形態と同様にシステム行列Ｈが算出されるので詳細な説明は繰り返さない。この処理では、制御部２５０が、カメラ１００ＮＢから受信した変更後の分光感度Ｓと、分光放射照度Ｅ（被写体光データＥ_１）とを使用して、式（４）により、システム行列Ｈを算出する。

ステップＳ１１４では、第１の実施の形態と同様に分光反射率推定行列Ｗが算出されるので詳細な説明は繰り返さない。そして、ステップＳ１１５に進む。

ステップＳ１１５では、第１の実施の形態と同様に線形画像演算行列Ｍが算出されるので詳細な説明は繰り返さない。そして、ステップＳ１１６に進む。

ステップＳ１１６では、第１の実施の形態と同様に、算出した線形画像演算行列Ｍが記憶部２１２Ｍに記憶される。そして、再度、ステップＳ６１１の処理が行なわれる。

以上の線形画像演算行列算出処理Ｂにより、画像処理装置２００Ｄは、利用者がカメラ１００ＮＢの撮像特性（受光感度）を変更する毎に、変更後の撮像特性の値を反映した線形画像演算行列Ｍを、線形画像演算部２１２の記憶部２１２Ｍに記憶させることになる。したがって、本実施の形態の第２の変形例においては、カメラ１００ＮＢの撮像特性が変更された場合においても、カメラ１００ＮＢが撮像する撮像対象被写体の色を正確に再現した画像をモニタ４００に表示することができる。

なお、分光感度特性格納部１８０に記憶されている、ある値と、分光感度Ｓとが対応付けられた前述したテーブルは、記憶部２４０に記憶されていてもよい。この場合、カメラ１００ＮＢから、ズーム調整による倍率の値、レンズの型番、ＩＳＯ感度等が、画像処理装置２００Ｄへ送信される。そして、制御部２５０は、受信した値（たとえば、倍率の値）に対応する分光感度Ｓを、記憶部２４０から取得してもよい。

＜第６の実施の形態＞
図１６は、本実施の形態における画像処理システム１０００Ｅの構成を示す図である。図１６を参照して、画像処理システム１０００Ｅは、図１０の画像処理システム１０００Ｄと比較して、画像処理装置２００Ｄの代わりに画像処理装置２００Ｅを含む点と、照明スペクトル測定装置３００Ａをさらに含む点が異なる。それ以外は、画像処理システム１０００Ｅと同様なので詳細な説明は繰り返さない。

画像処理装置２００Ｅは、図１０の画像処理装置２００Ｄと比較して、さらに、照明スペクトル測定装置３００Ａとデータ通信可能な点が異なる。それ以外は、画像処理装置２００Ｄと同様なので詳細な説明は繰り返さない。また、照明スペクトル測定装置３００Ａは、図４に示す照明スペクトル測定装置３００Ａと同様なので詳細な説明は繰り返さない。

（画像処理装置における演算処理）
次に、本実施の形態において、画像処理装置２００Ｅにおいて行なわれる演算処理について説明する。

本実施の形態においては、制御部２５０が、線形画像演算行列を算出するための処理（線形画像演算行列算出処理Ａ）と、カメラ１００Ｎの表示特性の変更に応答してカメラＬＵＴを更新するための処理（カメラＬＵＴ更新処理）とを実行する。これらの処理は互いに実行されることが好ましい。なお、これらの処理のうち線形画像演算行列算出処理Ａについては、第２の実施の形態で説明した処理と同様なので詳細な説明は繰り返さない。また、カメラＬＵＴ更新処理については、第５の実施の形態で説明した処理と同様なので詳細な説明は繰り返さない。

（画像の表示）
次に、本実施の形態において、モニタ４００に、カメラ１００Ｎが撮像することにより得られた画像データｇに基づく画像を表示するための処理（画像表示処理）について説明する。ここで、カメラ１００Ｎは、１／３０秒毎に、１フレームとしての画像データｇを、画像処理装置２００Ｅへ送信する。前述したように、画像データｇは、画像データｇに含まれる複数の画素毎に、Ｒ，Ｇ，Ｂの各々の値を含むデータである。この場合、画像データｇは、各画素に対応する３行１列の行列を含む。

本実施の形態における画像表示処理は、前述した線形画像演算行列算出処理Ａとは独立して行なわれる処理である。また、本実施の形態における画像表示処理は、第２の実施の形態で説明した処理と同様なので詳細な説明は繰り返さない。

したがって、本実施の形態においては、第２の実施の形態と同様の効果を奏する。すなわち、観察光データＥ_２の変化量が所定のしきい値以上でない場合、制御部２５０の演算処理量を大幅に削減することができる。また、観察光データＥ_２の変化量が所定のしきい値以上である場合においても、被写体光データＥ_１および観察光データＥ_２に基づいて、前述した遠隔被写体の色を正確に再現した画像を、モニタ４００に表示することができる。

すなわち、モニタ４００を観察する利用者に照射される照明条件（分光分布）において、遠隔被写体を見たのと同様に、遠隔被写体の色を再現することができる。すなわち、モニタ４００を観察する利用者が、目の前で遠隔被写体を見たのと同様な色を再現することができる。以上により、演算処理を効率よく削減しつつ、モニタを観察する利用者に照射される照明の分光分布および、被写体の分光反射率に基づいた動画像を得ることができるという効果を奏する。

なお、カメラＬＵＴ更新処理に代えて、前述した第５の実施の形態の第１の変形例において説明したカメラＬＵＴ更新処理Ａを用いてもよい。また、線形画像演算行列算出処理Ａに加えて、第５の実施の形態の第２の変形例において説明した線形画像演算行列算出処理Ｂを並列的に実行するようにしてもよい。

＜第７の実施の形態＞
図１７は、本実施の形態における画像処理システム１０００Ｆの構成を示す図である。図１７を参照して、画像処理システム１０００Ｆは、図１６の画像処理システム１０００Ｅと比較して、画像処理装置２００Ｅの代わりに画像処理装置２００Ｆを含む点と、カメラ１００の代わりにカメラ１００ＮＣを含む点と、モニタ４００の代わりにモニタ４００Ｎを含む点が異なる。それ以外は、画像処理システム１０００と同様なので詳細な説明は繰り返さない。

画像処理装置２００Ｆは、画像処理装置２００Ｅと比較して、さらに、モニタ４００Ｎとデータ通信可能な点が異なる。それ以外は、画像処理装置２００Ｅと同様なので詳細な説明は繰り返さない。カメラ１００ＮＣは、図１４のカメラ１００ＮＢと比較して、ガンマ値γｃを、さらに、画像処理装置２００Ｆへ送信する点が異なる。それ以外は、カメラ１００ＮＢと同様なので詳細な説明は繰り返さない。ガンマ値γｃを送信する処理は、第５の実施の形態で説明したので詳細な説明は繰り返さない。

（画像処理装置における演算処理）
次に、本実施の形態において、画像処理装置２００Ｆにおいて行なわれる演算処理について説明する。

本実施の形態においては、制御部２５０が、線形画像演算行列を算出するための処理（線形画像演算行列算出処理Ａ）と、カメラ１００ＮＣの表示特性の変更に応答してカメラＬＵＴを更新するための処理（カメラＬＵＴ更新処理）と、モニタ４００Ｎの表示特性の変更に応答してモニタＬＵＴを更新するための処理（モニタＬＵＴ更新処理）とを実行する。これらの処理は互いに実行されることが好ましい。なお、これらの処理のうち線形画像演算行列算出処理Ａについては、第２の実施の形態で説明した処理と同様なので詳細な説明は繰り返さない。また、カメラＬＵＴ更新処理については、第５の実施の形態で説明した処理と同様なので詳細な説明は繰り返さない。また、モニタＬＵＴ更新処理については、第３の実施の形態で説明した処理と同様なので詳細な説明は繰り返さない。

（画像の表示）
次に、本実施の形態において、モニタ４００Ｎに、カメラ１００Ｎが撮像することにより得られた画像データｇに基づく画像を表示するための処理（画像表示処理）について説明する。ここで、カメラ１００Ｎは、１／３０秒毎に、１フレームとしての画像データｇを、画像処理装置２００Ｆへ送信する。前述したように、画像データｇは、画像データｇに含まれる複数の画素毎に、Ｒ，Ｇ，Ｂの各々の値を含むデータである。この場合、画像データｇは、各画素に対応する３行１列の行列を含む。

ここで、カメラＬＵＴ演算部２１１の記憶部２１１Ｍには、前述のカメラＬＵＴ更新処理によって最新の状態に維持されたカメラＬＵＴが記憶されている。また、モニタＬＵＴ演算部２１３の記憶部２１３Ｍには、前述のモニタＬＵＴ更新処理によって最新の状態に維持されたモニタＬＵＴが記憶されている。

また、本実施の形態においては、利用者がカメラ１００ＮＣの撮像特性を変更した場合においても、カメラＬＵＴ演算部２１１の記憶部２１１Ｍに記憶されているカメラＬＵＴを最新の状態に維持できる。すなわち、カメラ１００ＮＣの撮像特性の変更に関わらず、正確な色再現を可能とするという効果を奏する。

＜第８の実施の形態＞
第１〜第７の実施の形態に記載の処理は、ＰＣ（Personal Computer）等のコンピュータにおいても実施可能である。

（コンピュータの構成）
次に、コンピュータの構成について説明する。

図１８は、コンピュータ５００の内部構成を示したブロック図である。なお、図１８には、説明のために、記録媒体５５５も示している。記録媒体５５５には、後述するプログラム１８０が記録されている。すなわち、プログラム１８０は、媒体等に記録されてプログラム製品として流通される。また、記録媒体５５５もプログラム製品として流通される。

図１８を参照して、コンピュータ５００には、前述したモニタ４００が接続される。コンピュータ５００は、制御部５１０と、一時記憶部５２２と、記憶部５２０とを備える。

記憶部５２０は、データを不揮発的に記憶する機能を有する。記憶部５２０は、制御部５１０によってデータアクセスされる。記憶部５２０は、大容量のデータを記憶可能なハードディスクである。なお、記憶部５２０は、ハードディスクに限定されることなく、電源を供給されなくてもデータを不揮発的に保持可能な媒体（たとえば、フラッシュメモリ）であってもよい。記憶部５２０には、プログラム１８０、その他の各種データ等が記憶されている。

制御部５１０は、記憶部５２０に記憶されたプログラム１８０に従って、コンピュータ５００内の各部に対する各種処理や、演算処理等を行なう機能を有する。制御部５１０は、ＣＰＵ（Central Processing Unit）である。なお、制御部５１０は、ＣＰＵに限定されることなく、演算機能を有するその他の回路であってもよい。

一時記憶部５２２は、制御部５１０によってデータアクセスされ、一時的にデータを記憶するワークメモリとして使用される。一時記憶部５２２は、ＤＲＡＭ（Dynamic Random Access Memory）である。なお、一時記憶部５２２は、ＤＲＡＭに限定されることなく、データを揮発的に記憶可能なその他の回路であってもよい。

コンピュータ５００は、さらに、ＶＤＰ５３２と、ＶＲＡＭ（Video Random Access Memory）５３６とを備える。

ＶＲＡＭ５３６は、画像データを一時的に記憶する機能を有する。
制御部５１０は、記憶部５２０に記憶されたプログラム１８０に従って、ＶＤＰ５３２に対し、描画指示を出す。描画指示とは、画像を生成し、当該画像をモニタ４００に表示させる指示である。

ＶＤＰ５３２はモニタ４００と接続されている。ＶＤＰ５３２は、制御部５１０からの描画指示に応じて、記憶部５２０内の後述するプログラム１８０からフォントデータ、図形データ等を読出し、ＶＲＡＭ５３６を利用して画像を生成する。そして、ＶＤＰ５３２は、ＶＲＡＭ５３６に記憶された画像データを読出し、モニタ４００に、当該画像データに基づく画像を表示させる。すなわち、制御部５１０は、ＶＤＰ５３２を利用して、画像を生成し、当該画像をモニタ４００に表示させる。

コンピュータ５００は、さらに、入力部５４０と、記録媒体アクセス部５５０とを備える。

入力部５４０には、マウス５４２と、キーボード５４４とが接続されている。利用者は、マウス５４２またはキーボード５４４を利用して、コンピュータ５００に指示を与える。マウス５４２またはキーボード５４４からの入力指示は、入力部５４０を介して制御部５１０へ送信される。制御部５１０は、入力部５４０からの入力指示に基づいて所定の処理を行なう。

記録媒体アクセス部５５０は、記録媒体５５５が、図示しない記録媒体挿入部からコンピュータ５００に挿入（装着）されると、記録媒体５５５にデータアクセス可能となる。これにより、記録媒体アクセス部５５０は、プログラム１８０が記録された記録媒体５５５から、プログラム１８０を読出すことが可能となる。

記録媒体５５５に記憶されているプログラム１８０は、制御部５１０のインストール処理により、記録媒体アクセス部５５０により読み出され、制御部５１０が、プログラム１８０を、記憶部５２０に記憶させる。このインストール処理用プログラムは、予め、記憶部５２０に格納されており、インストール処理は、制御部５１０が、インストール処理用プログラムに基づいて行なう。

なお、記憶部５２０には、プログラム１８０がインストールされていなくてもよい。この場合、制御部５１０は、記録媒体アクセス部５５０を介して、記録媒体５５５に記憶されたプログラム１８０を読み出して、プログラム１８０に基づいた所定の処理を行なう。

記録媒体５５５は、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）である。なお、記録媒体５５５は、ＣＤ−ＲＯＭに限定されることなく、データを不揮発的に記録可能なその他の媒体であってもよい。その他の媒体は、たとえば、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＤＶＤ−Ｒ（Digital Versatile Disk Recordable）、ＳＤ（Secure Digital）メモリーカード、フレキシブルディスク等である。

コンピュータ５００は、さらに、通信部５６０と、通信部５６２とを備える。
通信部５６０は、制御部５１０とデータの送受信を行なう。また、通信部５６０は、カメラ１００、照明スペクトル測定装置３００およびモニタ４００の各々と、有線または無線で、データ通信を行なう機能を有する。

通信部５６２は、制御部５１０と、データの送受信を行なう。通信部５６２は、無線ＬＡＮの規格である、ＩＥＥＥ８０２．１１ｇに基づく無線技術を利用してデータ通信を行なう機能を有する。なお、無線技術は、ＩＥＥＥ８０２．１１ｇに基づく技術に限定されることはなく、その他の無線技術であってもよい。したがって、通信部５６２は、無線により、ネットワーク７０とデータ通信を行なうことができる。ネットワーク７０は、インターネットなどの外部のネットワークである。

また、通信部５６２は、さらに、イーサネット（登録商標）を利用した通信用インターフェースの機能を有する。したがって、通信部５６２は、たとえば、ＬＡＮケーブルを介して、ネットワーク７０とデータ通信を行なうことができる。

コンピュータ５００は、制御部５１０および通信部５６２の処理により、ネットワーク７０からプログラムのダウンロード処理を行ない、記憶部５２０に格納することもできる。この場合、当該ダウンロードしたプログラムは、プログラム１８０である。

制御部５１０は、ネットワーク７０からダウンロードしたプログラム（プログラム１８０）に従って、所定の処理を行なう。このダウンロード用プログラムは、予め、記憶部５２０に格納されており、ダウンロード処理は、制御部５１０が、ダウンロード用プログラムに基づいて行なう。

（コンピュータによる処理）
次に、第１の実施の形態で説明した処理を、コンピュータ５００で行なう場合の処理について説明する。

ここで、照明スペクトル測定装置３００は、コンピュータ５００からの要求に応じて、被写体光データＥ_１を、コンピュータ５００へ送信するとする。また、記憶部５２０には、カメラ１００の分光感度Ｓのデータ、式（３）に示される自己相関行列Ａのデータ、および、式（７）に示される等色関数ｈのデータが予め記憶されているとする。

そして、コンピュータ５００の制御部５１０は、プログラム１８０を実行することにより、図２の線形画像演算行列算出処理において、制御部２５０および記憶部２４０を、それぞれ、制御部５１０および記憶部５２０に置き換えた処理（以下、線形画像演算行列算出処理Ｐともいう）を行なう。この処理により、所定時間毎に、線形画像演算行列Ｍが算出され、算出された線形画像演算行列Ｍが記憶部５２０に記憶される。

ここで、カメラ１００は、１／３０秒毎に、１フレームとしての画像データｇを、コンピュータ５００へ送信するとする。また、記憶部５２０には、１２ビットで表される０〜４０９５の各々に対して、１／γｃ乗した複数の値が規定されたカメラＬＵＴが予め記憶されているとする。また、記憶部５２０には、線形画像演算部２１２の処理の結果得られる三刺激値ＸＹＺをモニタ特性に応じて線形ＲＧＢに変換し、かつ、１２ビットで表される０〜４０９５の各々に対応付けて、線形ＲＧＢの各値を１／γｄ乗した値となるように規定されたモニタＬＵＴが予め記憶されているとする。

そして、コンピュータ５００の制御部５１０は、プログラム１８０を実行することにより、図３の画像表示処理において、カメラＬＵＴ演算部２１１、記憶部２１１Ｍ、線形画像演算部２１２、記憶部２１２Ｍ、モニタＬＵＴ演算部２１３および記憶部２１３Ｍを、それぞれ、制御部５１０、記憶部５２０、制御部５１０、記憶部５２０、制御部５１０および記憶部５２０に置き換えた処理（以下、画像表示処理Ｐともいう）を行なう。

なお、線形画像演算行列算出処理Ｐと、画像表示処理Ｐとは、互いに独立して行なわれる。

以上の処理が、コンピュータ５００において行なわれることにより、コンピュータ５００においても、第１の実施の形態で得られる効果を奏することができる。すなわち、被写体光データＥ_１の変化量が所定のしきい値以上である場合においても、カメラ１００が撮像する撮像対象被写体の色を正確に再現した動画像を、モニタ４００に表示することができる。

（コンピュータによる処理の他の例１）
次に、第２の実施の形態で説明した処理を、コンピュータ５００で行なう場合の処理について説明する。ここで、コンピュータ５００は、さらに、照明スペクトル測定装置３００Ａとデータ通信可能であるとする。

ここで、照明スペクトル測定装置３００Ａは、モニタ４００を観察する利用者に照射される照明の分光分布（分光放射輝度もしくは分光放射照度）を測定可能なように、利用者の近傍に配置される。利用者の近傍とは、照明スペクトル測定装置３００Ａが測定する照明光のスペクトルと、利用者の目が知覚する照明光のスペクトルとが等価となるような位置である。なお、照明スペクトル測定装置３００と、照明スペクトル測定装置３００Ａは、各々、異なる照明条件（分光分布）となる位置に配置されるとする。

ここで、照明スペクトル測定装置３００は、コンピュータ５００からの要求に応じて、所定時間（たとえば、１秒）毎に、被写体光データＥ_１を、コンピュータ５００へ送信するとする。また、照明スペクトル測定装置３００Ａは、所定時間（たとえば、１秒）毎に、観察光データＥ_２を、制御部２５０へ送信するとする。また、記憶部５２０には、カメラ１００の分光感度Ｓのデータ、式（３）に示される自己相関行列Ａのデータ、および、式（７）に示される等色関数ｈのデータが予め記憶されているとする。

そして、コンピュータ５００の制御部５１０は、プログラム１８０を実行することにより、図５の線形画像演算行列算出処理Ａにおいて、制御部２５０および記憶部２４０を、それぞれ、制御部５１０および記憶部５２０に置き換えた処理（以下、線形画像演算行列算出処理ＰＡともいう）を行なう。この処理により、所定時間毎に、線形画像演算行列Ｍ’が算出され、算出された線形画像演算行列Ｍ’が記憶部５２０に記憶される。

ここで、カメラ１００は、１／３０秒毎に、１フレームとしての画像データｇを、コンピュータ５００へ送信するとする。また、記憶部５２０には、１２ビットで表される０〜４０９５の各々に対して、１／γｃ乗した複数の値からなるカメラＬＵＴが予め記憶されているとする。また、記憶部５２０には、線形画像演算部２１２の処理の結果得られる三刺激値ＸＹＺをモニタ特性に応じて線形ＲＧＢに変換し、かつ、１２ビットで表される０〜４０９５の各々に対応付けて、線形ＲＧＢの各値を１／γｄ乗した値となるように規定されたモニタＬＵＴが予め記憶されているとする。

そして、コンピュータ５００の制御部５１０は、プログラム１８０を実行することにより、図６の画像表示処理Ａにおいて、カメラＬＵＴ演算部２１１、記憶部２１１Ｍ、線形画像演算部２１２、記憶部２１２Ｍ、モニタＬＵＴ演算部２１３および記憶部２１３Ｍを、それぞれ、制御部５１０、記憶部５２０、制御部５１０、記憶部５２０、制御部５１０および記憶部５２０に置き換えた処理（以下、画像表示処理ＰＡともいう）を行なう。

なお、線形画像演算行列算出処理ＰＡと、画像表示処理ＰＡとは、互いに独立して行なわれる。

以上の処理が、コンピュータ５００において行なわれることにより、コンピュータ５００においても、第２の実施の形態で得られる効果を奏することができる。すなわち、モニタ４００を観察する利用者に照射される照明条件（分光分布）において、遠隔被写体を見たのと同様に、遠隔被写体の色を再現することができる。すなわち、モニタ４００を観察する利用者が、目の前で遠隔被写体を見たのと同様な色を再現することができる。

以上により、本実施の形態においても、演算処理を効率よく削減しつつ、モニタを観察する利用者に照射される照明の分光分布および、被写体の分光反射率に基づいた動画像を得ることができるという効果を奏する。

（コンピュータによる処理の他の例２）
次に、第３の実施の形態で説明した処理を、コンピュータ５００で行なう場合の処理について説明する。ここで、コンピュータ５００は、さらに、モニタ４００Ｎとデータ通信可能であるとする。ここで、モニタ４００Ｎは、図７に示すモニタ４００Ｎと同様なので詳細な説明は繰り返さない。

そして、コンピュータ５００の制御部５１０は、プログラム１８０を実行することにより、図２の線形画像演算行列算出処理において、制御部２５０および記憶部２４０を、それぞれ、制御部５１０および記憶部５２０に置き換えた処理（線形画像演算行列算出処理Ｐ）を行なう。この処理により、所定時間毎に、線形画像演算行列Ｍが算出され、算出された線形画像演算行列Ｍが記憶部５２０に記憶される。

また、コンピュータ５００の制御部５１０は、プログラム１８０を実行することにより、図８のモニタＬＵＴ更新処理において、制御部２５０、モニタＬＵＴ演算部２１３および記憶部２１３Ｍを、それぞれ、制御部５１０、制御部５１０および記憶部５２０に置き換えた処理（以下、モニタＬＵＴ更新処理Ｐともいう）を行なう。この処理により、利用者がモニタ４００Ｎの表示特性を変更する毎に、変更後の表示特性の値を反映したモニタＬＵＴが記憶部５２０に記憶される。

さらに、コンピュータ５００の制御部５１０は、プログラム１８０を実行することにより、図３の画像表示処理において、カメラＬＵＴ演算部２１１、記憶部２１１Ｍ、線形画像演算部２１２、記憶部２１２Ｍ、モニタＬＵＴ演算部２１３および記憶部２１３Ｍを、それぞれ、制御部５１０、記憶部５２０、制御部５１０、記憶部５２０、制御部５１０および記憶部５２０に置き換えた処理（画像表示処理Ｐ）を行なう。

なお、線形画像演算行列算出処理Ｐと、モニタＬＵＴ更新処理Ｐと、画像表示処理Ｐとは、互いに独立して行なわれる。

以上の処理が、コンピュータ５００において行なわれることにより、コンピュータ５００においても、第３の実施の形態で得られる効果を奏することができる。被写体光データＥ_１の変化量が所定のしきい値以上でない場合、制御部２５０の演算処理量を大幅に削減することができる。また、被写体光データＥ_１の変化量が所定のしきい値以上である場合においても、カメラ１００が撮像する撮像対象被写体の色を正確に再現した動画像を、モニタ４００に表示することができる。すなわち、演算処理を効率よく削減しつつ、被写体に照射される照明の分光分布および、被写体の分光反射率に基づいた動画像を得ることができるという効果を奏する。

また、利用者がモニタ４００Ｎの表示特性を変更した場合においても、記憶部５２０に記憶されているモニタＬＵＴを最新の状態に維持できる。すなわち、モニタ４００Ｎの表示特性の変更に関わらず、正確な色再現を可能とするという効果を奏する。

（コンピュータによる処理の他の例３）
次に、第４の実施の形態で説明した処理を、コンピュータ５００で行なう場合の処理について説明する。ここで、コンピュータ５００は、さらに、照明スペクトル測定装置３００Ａおよびモニタ４００Ｎとデータ通信可能であるとする。ここで、照明スペクトル測定装置３００Ａは、図４に示す照明スペクトル測定装置３００Ａと同様であり、モニタ４００Ｎは、図７に示すモニタ４００Ｎと同様なので詳細な説明は繰り返さない。

そして、コンピュータ５００の制御部５１０は、プログラム１８０を実行することにより、図５の線形画像演算行列算出処理Ａにおいて、制御部２５０および記憶部２４０を、それぞれ、制御部５１０および記憶部５２０に置き換えた処理（線形画像演算行列算出処理ＰＡ）を行なう。この処理により、所定時間毎に、線形画像演算行列Ｍ’が算出され、算出された線形画像演算行列Ｍ’が記憶部５２０に記憶される。

また、コンピュータ５００の制御部５１０は、プログラム１８０を実行することにより、図８のモニタＬＵＴ更新処理において、制御部２５０、モニタＬＵＴ演算部２１３および記憶部２１３Ｍを、それぞれ、制御部５１０、制御部５１０および記憶部５２０に置き換えた処理（モニタＬＵＴ更新処理Ｐ）を行なう。この処理により、利用者がモニタ４００Ｎの表示特性を変更する毎に、変更後の表示特性の値を反映したモニタＬＵＴが記憶部５２０に記憶される。

さらに、コンピュータ５００の制御部５１０は、プログラム１８０を実行することにより、図６の画像表示処理Ａにおいて、カメラＬＵＴ演算部２１１、記憶部２１１Ｍ、線形画像演算部２１２、記憶部２１２Ｍ、モニタＬＵＴ演算部２１３および記憶部２１３Ｍを、それぞれ、制御部５１０、記憶部５２０、制御部５１０、記憶部５２０、制御部５１０および記憶部５２０に置き換えた処理（画像表示処理ＰＡ）を行なう。

なお、線形画像演算行列算出処理Ｐと、モニタＬＵＴ更新処理Ｐと、画像表示処理ＰＡとは、互いに独立して行なわれる。

以上の処理が、コンピュータ５００において行なわれることにより、コンピュータ５００においても、第４の実施の形態で得られる効果を奏することができる。すなわち、モニタ４００を観察する利用者に照射される照明条件（分光分布）において、遠隔被写体を見たのと同様に、遠隔被写体の色を再現することができる。すなわち、モニタ４００を観察する利用者が、目の前で遠隔被写体を見たのと同様な色を再現することができる。以上により、演算処理を効率よく削減しつつ、モニタを観察する利用者に照射される照明の分光分布および、被写体の分光反射率に基づいた動画像を得ることができるという効果を奏する。

（コンピュータによる処理の他の例４）
次に、第５の実施の形態で説明した処理を、コンピュータ５００で行なう場合の処理について説明する。ここで、コンピュータ５００は、さらに、カメラ１００Ｎとデータ通信可能であるとする。また、カメラ１００Ｎは、図１０に示すカメラ１００Ｎと同様なので詳細な説明は繰り返さない。

また、コンピュータ５００の制御部５１０は、プログラム１８０を実行することにより、図１１のカメラＬＵＴ更新処理において、制御部２５０、カメラＬＵＴ演算部２１１および記憶部２１１Ｍを、それぞれ、制御部５１０、制御部５１０および記憶部５２０に置き換えた処理（以下、カメラＬＵＴ更新処理Ｐともいう）を行なう。この処理により、利用者がカメラ１００Ｎの撮像特性を変更する毎に、変更後の撮像特性の値を反映したモニタＬＵＴが記憶部５２０に記憶される。

なお、線形画像演算行列算出処理Ｐと、カメラＬＵＴ更新処理Ｐと、画像表示処理Ｐとは、互いに独立して行なわれる。

以上の処理が、コンピュータ５００において行なわれることにより、コンピュータ５００においても、第５の実施の形態で得られる効果を奏することができる。すなわち、被写体光データＥ_１の変化量が所定のしきい値以上でない場合、制御部２５０の演算処理量を大幅に削減することができる。また、被写体光データＥ_１の変化量が所定のしきい値以上である場合においても、カメラ１００が撮像する撮像対象被写体の色を正確に再現した動画像を、モニタ４００に表示することができる。すなわち、演算処理を効率よく削減しつつ、被写体に照射される照明の分光分布および、被写体の分光反射率に基づいた動画像を得ることができるという効果を奏する。

また、本実施の形態においては、利用者がカメラ１００Ｎの表示特性を変更した場合においても、記憶部５２０に記憶されているカメラＬＵＴを最新の状態に維持できる。すなわち、カメラ１００Ｎの撮像特性の変更に関わらず、正確な色再現を可能とするという効果を奏する。

また、コンピュータ５００の制御部５１０は、プログラム１８０を実行することにより、第５の実施の形態の第１および第２の変形例で説明した処理を行なうこともできる。

（コンピュータによる処理の他の例５）
次に、第６の実施の形態で説明した処理を、コンピュータ５００で行なう場合の処理について説明する。ここで、コンピュータ５００は、さらに、照明スペクトル測定装置３００Ａおよびカメラ１００Ｎとデータ通信可能であるとする。ここで、照明スペクトル測定装置３００Ａは、図４に示す照明スペクトル測定装置３００Ａと同様であり、カメラ１００Ｎは、図１０に示すカメラ１００Ｎと同様なので詳細な説明は繰り返さない。

また、コンピュータ５００の制御部５１０は、プログラム１８０を実行することにより、図１１のカメラＬＵＴ更新処理において、制御部２５０、カメラＬＵＴ演算部２１１および記憶部２１１Ｍを、それぞれ、制御部５１０、制御部５１０および記憶部５２０に置き換えた処理（カメラＬＵＴ更新処理Ｐ）を行なう。この処理により、利用者がカメラ１００Ｎの撮像特性を変更する毎に、変更後の撮像特性の値を反映したモニタＬＵＴが記憶部５２０に記憶される。

なお、線形画像演算行列算出処理ＰＡと、カメラＬＵＴ更新処理Ｐと、画像表示処理Ｐとは、互いに独立して行なわれる。

以上の処理が、コンピュータ５００において行なわれることにより、コンピュータ５００においても、第６の実施の形態で得られる効果を奏することができる。観察光データＥ_２の変化量が所定のしきい値以上でない場合、制御部２５０の演算処理量を大幅に削減することができる。また、観察光データＥ_２の変化量が所定のしきい値以上である場合においても、被写体光データＥ_１および観察光データＥ_２に基づいて、前述した遠隔被写体の色を正確に再現した画像を、モニタ４００に表示することができる。

（コンピュータによる処理の他の例６）
次に、第７の実施の形態で説明した処理を、コンピュータ５００で行なう場合の処理について説明する。ここで、コンピュータ５００は、さらに、照明スペクトル測定装置３００Ａ、カメラ１００ＮＣおよびモニタ４００Ｎとデータ通信可能であるとする。ここで、照明スペクトル測定装置３００Ａは、図４に示す照明スペクトル測定装置３００Ａと同様であり、カメラ１００ＮＣは、図１７に示すカメラ１００ＮＣと同様であり、モニタ４００Ｎは、図１７に示すモニタ４００Ｎと同様なので詳細な説明は繰り返さない。

また、コンピュータ５００の制御部５１０は、プログラム１８０を実行することにより、図１１のカメラＬＵＴ更新処理において、制御部２５０、カメラＬＵＴ演算部２１１および記憶部２１１Ｍを、それぞれ、制御部５１０、制御部５１０および記憶部５２０に置き換えた処理（カメラＬＵＴ更新処理Ｐ）を行なう。この処理により、利用者がカメラ１００ＮＣの撮像特性を変更する毎に、変更後の撮像特性の値を反映したモニタＬＵＴが記憶部５２０に記憶される。

さらに、コンピュータ５００の制御部５１０は、プログラム１８０を実行することにより、図３の画像表示処理において、カメラＬＵＴ演算部２１１、記憶部２１１Ｍ、線形画像演算部２１２、記憶部２１２Ｍ、モニタＬＵＴ演算部２１３および記憶部２１３Ｍを、それぞれ、制御部５１０、記憶部５２０、制御部５１０、記憶部５２０、制御部５１０および記憶部５２０に置き換えた処理（画像表示処理ＰＡ）を行なう。

なお、線形画像演算行列算出処理ＰＡと、カメラＬＵＴ更新処理Ｐと、モニタＬＵＴ更新処理Ｐと、画像表示処理ＰＡとは、互いに独立して行なわれる。

以上の処理が、コンピュータ５００において行なわれることにより、コンピュータ５００においても、第７の実施の形態で得られる効果を奏することができる。すなわち、観察光データＥ_２の変化量が所定のしきい値以上でない場合、制御部２５０の演算処理量を大幅に削減することができる。また、観察光データＥ_２の変化量が所定のしきい値以上である場合においても、被写体光データＥ_１および観察光データＥ_２に基づいて、前述した遠隔被写体の色を正確に再現した画像を、モニタ４００Ｎに表示することができる。

すなわち、モニタ４００Ｎを観察する利用者に照射される照明条件（分光分布）において、遠隔被写体を見たのと同様に、遠隔被写体の色を再現することができる。すなわち、モニタ４００を観察する利用者が、目の前で遠隔被写体を見たのと同様な色を再現することができる。以上により、演算処理を効率よく削減しつつ、モニタを観察する利用者に照射される照明の分光分布および、被写体の分光反射率に基づいた動画像を得ることができるという効果を奏する。

また、本実施の形態においては、利用者がカメラ１００ＮＣの表示特性を変更した場合においても、記憶部５２０に記憶されているカメラＬＵＴを最新の状態に維持できる。すなわち、カメラ１００ＮＣの撮像特性の変更に関わらず、正確な色再現を可能とするという効果を奏する。

また、利用者がモニタ４００ＮＣの表示特性を変更した場合においても、記憶部５２０に記憶されているモニタＬＵＴを最新の状態に維持できる。すなわち、モニタ４００ＮＣの表示特性の変更に関わらず、正確な色再現を可能とするという効果を奏する。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本実施の形態における画像処理システムの構成を示す図である。線形画像演算行列算出処理のフローチャートを示す図である。画像表示処理のフローチャートを示す図である。本実施の形態における画像処理システムの構成を示す図である。線形画像演算行列算出処理Ａのフローチャートを示す図である。画像表示処理Ａのフローチャートを示す図である。本実施の形態における画像処理システムの構成を示す図である。モニタＬＵＴ更新処理のフローチャートを示す図である。本実施の形態における画像処理システムの構成を示す図である。本実施の形態における画像処理システムの構成を示す図である。カメラＬＵＴ更新処理のフローチャートを示す図である。本実施の形態の第１の変形例における画像処理システムの構成を示す図である。カメラＬＵＴ更新処理Ａのフローチャートを示す図である。本実施の形態の第２の変形例における画像処理システムの構成を示す図である。線形画像演算行列算出処理Ｂのフローチャートを示す図である。本実施の形態における画像処理システムの構成を示す図である。本実施の形態における画像処理システムの構成を示す図である。コンピュータの内部構成を示したブロック図である。

符号の説明

７０ネットワーク、１００，１００Ｎ，１００ＮＡ，１００ＮＢ，１００ＮＣカメラ、１８０プログラム、２００，２００Ａ，２００Ｂ，２００Ｃ，２００Ｄ，２００Ｅ，２００Ｆ画像処理装置、２１０演算部、２１１カメラＬＵＴ演算部、２１２線形画像演算部、２１３モニタＬＵＴ演算部、２１１Ｍ，２１２Ｍ，２１３Ｍ，２４０記憶部、２５０制御部、３００，３００Ａ照明スペクトル測定装置、４００，４００Ｎモニタ、５００コンピュータ、５１０制御部、５５５記録媒体、１０００，１０００Ａ，１０００Ｂ，１０００Ｃ，１０００Ｄ，１０００ＤＡ，１０００ＤＢ，１０００Ｅ，１０００Ｆ画像処理システム。

Claims

撮像装置で撮像された被写体の撮像データを受けて、表示装置に前記被写体を表示するための画像データを生成する画像処理装置であって、
前記撮像装置により順次撮像される前記被写体の撮像データを、所定時間経過毎に、順次受信する受信手段と、
前記被写体に照射される照明の分光分布データである被写体光データを、所定時間経過毎に、順次取得する被写体光取得手段と、
前記被写体光データおよび前記被写体の分光反射率に基づいた画像データを算出するための変換関数であって、前記被写体光取得手段により取得された被写体光データを含む変換関数を使用して、受信した撮像データを、前記表示装置に表示するための画像データに変換する被写体光使用変換処理を、撮像データを受信する毎に行なう被写体光使用変換処理実行手段と、
前記被写体光取得手段により順次取得される、被写体光データの変化量が、所定のしきい値以上となった場合、取得された最新の被写体光データに基づいて、前記変換関数を更新する被写体光変化時更新手段とを備え、
前記被写体光使用変換処理実行手段は、前記変換関数が更新された場合、更新された変換関数を使用して、前記被写体光使用変換処理を行なう、画像処理装置。
前記被写体光使用変換処理は、受信された撮像データを、前記撮像装置の撮像特性に基づいた撮像特性関数により変換する撮像特性変換処理を含む、請求項１に記載の画像処理装置。
前記被写体光データは、光の波長毎のエネルギー量を示す分光放射輝度もしくは分光放射照度のデータである、請求項１または２に記載の画像処理装置。
前記表示装置を観察する利用者に照射される照明の分光分布データである観察光データを、所定時間経過毎に、順次取得する観察光取得手段と、
前記観察光データおよび前記被写体の分光反射率に基づいた画像データを算出するためのデータ変換関数であって、前記観察光取得手段により取得された観察光データを含むデータ変換関数を使用して、受信した撮像データを、前記表示装置に表示するための画像データに変換する観察光使用変換処理を、撮像データを受信する毎に行なう観察光使用変換処理実行手段と、
前記観察光取得手段により順次取得される、観察光データの変化量が、所定のしきい値以上となった場合、取得された最新の観察光データに基づいて、前記データ変換関数を更新する観察光変化時更新手段とをさらに備え、
前記観察光変換処理実行手段は、前記データ変換関数が更新された場合、更新されたデータ変換関数を使用して、前記観察光使用変換処理を行なう、請求項１〜３のいずれかに記載の画像処理装置。
前記観察光データは、光の波長毎のエネルギー量を示す分光放射輝度もしくは分光放射照度のデータである、請求項４に記載の画像処理装置。
被写体を撮像する撮像装置と、表示装置と、画像処理装置とを含む画像処理システムであって、
前記画像処理装置は、
前記撮像装置により順次撮像される前記被写体の撮像データを、所定時間経過毎に、順次受信する受信手段と、
前記被写体に照射される照明の分光分布データである被写体光データを、所定時間経過毎に、順次取得する被写体光取得手段と、
前記被写体光データおよび前記被写体の分光反射率に基づいた画像データを算出するための変換関数であって、前記被写体光取得手段により取得された被写体光データを含む変換関数を使用して、受信した撮像データを、前記表示装置に表示するための画像データに変換する被写体光使用変換処理を、撮像データを受信する毎に行なう被写体光使用変換処理実行手段と、
前記被写体光取得手段により順次取得される、被写体光データの変化量が、所定のしきい値以上となった場合、取得された最新の被写体光データに基づいて、前記変換関数を更新する被写体光変化時更新手段とを備え、
前記被写体光使用変換処理実行手段は、前記変換関数が更新された場合、更新された変換関数を使用して、前記被写体光使用変換処理を行なう、画像処理システム。
撮像装置で撮像された被写体の撮像データを受けて、表示装置に前記被写体を表示するための画像データを生成するコンピュータにより実行される画像処理プログラムであって、
前記画像処理プログラムは、
前記撮像装置により順次撮像される前記被写体の撮像データを、所定時間経過毎に、順次受信するステップと、
前記被写体に照射される照明の分光分布データである被写体光データを、所定時間経過毎に、順次取得するステップと、
前記被写体光データおよび前記被写体の分光反射率に基づいた画像データを算出するための変換関数であって、前記取得するステップにより取得された被写体光データを含む変換関数を使用して、受信した撮像データを、前記表示装置に表示するための画像データに変換する被写体光使用変換処理を、撮像データを受信する毎に行なうステップと、
順次取得される、被写体光データの変化量が、所定のしきい値以上となった場合、取得された最新の被写体光データに基づいて、前記変換関数を更新するステップとを備え、
前記被写体光使用変換処理を行なうステップは、前記変換関数が更新された場合、更新された変換関数を使用して、前記被写体光使用変換処理を行なうステップを含む、画像処理プログラム。