JP2014122847A - 画像補正装置、画像補正プログラム、画像補正方法 - Google Patents

Abstract

【課題】安価で簡単に、環境光の影響を抑制した画像を生成することができる画像補正装置等を提供する。
【解決手段】複数の分光スペクトルの照射光で照射された被写体を撮像した複数の撮像画像と、照射光が照射されていない被写体を撮像した撮像画像と、撮像画像のそれぞれが複数の分光スペクトルの内のどの分光スペクトルの光で照射されたかを示す照射情報と、を記憶する記憶部２と、照射情報に基づいて、照射光に照射されない状態で撮影された被写体の撮像画像を非照射画像として、非照射画像以外の撮像画像を照射画像として、それぞれ特定する画像特定部３と、非照射画像を用いて、照射画像の環境光成分を除去する補正を行う環境光成分除去部４と、を備えた画像補正装置。
【選択図】図１

Description

本発明は、画像における環境光成分の影響を除去する画像補正装置、画像補正プログラム、および画像補正方法に関する。

複数の分光スペクトルの照射光を照射して、複数の撮像画像を取得する技術は従来より提案されていて、例えば測色システム等に利用されている。

具体的に、測色システムは、複数色の発光部を備えている。そして、環境光の影響を受けることがないようにフード等の遮光部材を用いた状態で、複数色の発光部から照明光を被写体に照射して撮像素子等のセンサで受光し光電変換することにより、各色の被写体画像を生成し、生成した画像に基づき測色を行うようになっている。

このような構成の測色システムは、測色計や分光測定器に比べて測定時の光源の影響の補正が不要で、高解像度の画像で被写体の測定したい箇所の色を測定することができ、被写体の撮像画像もセットで撮影可能であるために、測色点が明確である、詳細な部分の側色が可能であるという利点がある。

こうした測色システムの利用分野としては、歯の色測定や、皮膚の色測定等の分野が挙げられる。

例えば、特開２０１１−１３３３３９号公報には、撮像素子のバンド数を超えるマルチバンド画像データを得るための撮像装置が記載されている。具体的に、一般撮影用のデジタルカメラに、専用のＬＥＤ照明を組み合わせることで、撮像装置を構成している。そして、このような一般撮影用のデジタルカメラを用いる構成を採用したために、高解像な画像を安価に取得して測定することができるという利点がある。

特開２０１１−１３３３３９号公報

しかしながら、上記特開２０１１−１３３３３９号公報に記載の技術では、ＬＥＤによる照明光以外の光（環境光）の影響を受けたり、あるいは撮影時の手振れ等により複数の撮影画像の撮影位置が異なってしまったりするために、測定結果に誤差が生じる場合がある。また、照明光以外の光の影響を除去するためには、照明光の光量を大きくしたり、フードをつけるなどの対策が必要となり、高額で大きなシステムとなる。

本発明は上記事情に鑑みてなされたものであり、安価、小型で簡単に、環境光の影響を抑制した画像を生成することができる画像補正装置、画像補正プログラム、画像補正方法を提供することを目的としている。

上記の目的を達成するために、本発明の第１の態様による画像補正装置は、画像を補正する画像補正装置であって、複数の分光スペクトルの照射光の内の、何れかの分光スペクトルの照射光で照射された被写体を撮像した撮像画像が複数と、何れの前記分光スペクトルの照射光にも照射されていない被写体を撮像した撮像画像と、前記撮像画像のそれぞれが複数の前記分光スペクトルの内のどの前記分光スペクトルの光で照射されたかを示す照射情報と、を記憶する記憶部と、前記照射情報に基づいて、前記照射光に照射されない状態で撮影された前記被写体の前記撮像画像を非照射画像として、前記非照射画像以外の前記撮像画像を照射画像として、それぞれ特定する画像特定部と、前記非照射画像を用いて、前記照射画像の環境光成分を除去する補正を行う環境光成分除去部と、を具備している。

また、本発明の第２の態様による画像補正プログラムは、コンピュータに、画像を補正する処理を行わせるための画像補正プログラムであって、コンピュータに、複数の分光スペクトルの照射光の内の、何れかの分光スペクトルの照射光で照射された被写体を撮像した撮像画像が複数と、何れの前記分光スペクトルの照射光にも照射されていない被写体を撮像した撮像画像と、前記撮像画像のそれぞれが複数の前記分光スペクトルの内のどの前記分光スペクトルの光で照射されたかを示す照射情報と、を記憶する記憶ステップと、前記照射情報に基づいて、前記照射光に照射されない状態で撮影された前記被写体の前記撮像画像を非照射画像として、前記非照射画像以外の前記撮像画像を照射画像として、それぞれ特定する画像特定ステップと、前記非照射画像を用いて、前記照射画像の環境光成分を除去する補正を行う環境光成分除去ステップと、を行わせるためのプログラムである。

さらに、本発明の第３の態様による画像補正方法は、画像を補正するための画像補正方法であって、複数の分光スペクトルの照射光の内の、何れかの分光スペクトルの照射光で照射された被写体を撮像した撮像画像が複数と、何れの前記分光スペクトルの照射光にも照射されていない被写体を撮像した撮像画像と、前記撮像画像のそれぞれが複数の前記分光スペクトルの内のどの前記分光スペクトルの光で照射されたかを示す照射情報と、を記憶する記憶ステップと、前記照射情報に基づいて、前記照射光に照射されない状態で撮影された前記被写体の前記撮像画像を非照射画像として、前記非照射画像以外の前記撮像画像を照射画像として、それぞれ特定する画像特定ステップと、前記非照射画像を用いて、前記照射画像の環境光成分を除去する補正を行う環境光成分除去ステップと、を含む方法である。

本発明の画像補正装置、画像補正プログラム、画像補正方法によれば、安価かつ小型で簡単に、環境光の影響を抑制した画像を生成することができる。

本発明の実施形態１における画像補正装置の構成を示すブロック図。 上記実施形態１の画像補正装置における画像補正処理を示すフローチャート。 上記実施形態１において、撮像画像を取得する撮像素子の分光スペクトルの例を示す線図。 上記実施形態１において、被写体に照射される照明光の分光スペクトルの例を、撮像素子の分光スペクトルの例と対比して示す線図。 上記実施形態１において、図１に示した画像補正装置を適用した画像補正システムの第１の構成例を示す図。 上記実施形態１において、図１に示した画像補正装置を適用した画像補正システムの第２の構成例を示す図。 上記実施形態１における多色発光部の構成例を示す図。 上記実施形態１において、多色発光部による発光制御の一例を示すタイミングチャート。 上記実施形態１において、５つの分光スペクトル画像を取得するほぼ中央の時点で環境光画像を取得する例を示す図。 上記実施形態１において、５つの分光スペクトル画像のそれぞれと交互に環境光画像を取得する例を示す図。 上記実施形態１において、５つの分光スペクトル画像を連続的に取得する期間の前および後の時点で環境光画像を取得する例を示す図。 上記実施形態１において、緑色光に対応する第３ＬＥＤ画像を取得する期間の前または後の時点で環境光画像を取得する例を示す図。 上記実施形態１の撮像装置による画像取得の処理を示すフローチャート。 上記実施形態１において、図２のステップＳ２の処理の一例を示すフローチャート。 上記実施形態１において、図２のステップＳ２の処理の他の例を示すフローチャート。 上記実施形態１において、図１５の処理において用いられる添付情報の一例を示す図。 上記実施形態１において、撮像画像を画像入力部から、照明情報を照明情報入力部から、それぞれ記憶部へ記憶させる構成を示すブロック図。 上記実施形態１において、照明情報入力部を構成するモニタに表示される入力画面の例を示す図。 上記実施形態１において、図１８の入力画面における各チェック欄のどれにチェックがなされたかに応じて定まる画像の撮影順序を示す図。 上記実施形態１において、図１に示した画像補正装置を適用した画像補正システムの第３の構成例を示す図。 本発明の実施形態２における画像補正装置の構成を示すブロック図。 上記実施形態２における色度算出の処理を示すフローチャート。 上記実施形態２において、図２２のステップＳ４６において行われる白とび位置検出の処理を示すフローチャート。 上記実施形態２において、図２２のステップＳ４７において行われる環境光成分除去の処理を示すフローチャート。 上記実施形態２において、図２４のステップＳ７０において行われる環境光画像と照射画像の位置ずれ検出の処理の一例を示すフローチャート。 上記実施形態２において、図２４のステップＳ７０において行われる環境光画像と照射画像の位置ずれ検出の処理の他の例を示すフローチャート。 上記実施形態２において、カラー画像作成および色度算出を行う色処理装置の構成を示すブロック図。 上記実施形態２において、ディスプレイに表示するための色再現を行う色処理装置の構成を示すブロック図。 本発明の実施形態３において、モノクロの撮像素子の分光感度特性の例を示す線図。 上記実施形態３において、多色発光部２１から照射される照明光の分光スペクトルの例を、撮像素子の分光感度特性の例と対比して示す線図。 本発明の実施形態４において、ＩＲ画素を有する撮像素子の分光感度特性の例を示す線図。 上記実施形態４において、多色発光部から照射される照明光の分光スペクトルの例を、撮像素子の分光感度特性の例と対比して示す線図。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図２０は本発明の実施形態１を示したものであり、図１は画像補正装置の構成を示すブロック図である。

本実施形態の画像補正装置１は、画像を補正するものであって、記憶部２と、画像特定部３と、環境光成分除去部４と、を備えている。

記憶部２は、複数の分光スペクトルの照射光の内の、何れかの分光スペクトルの照射光で照射された被写体を撮像した撮像画像が複数と、何れの分光スペクトルの照射光にも照射されていない被写体を撮像した撮像画像と、撮像画像のそれぞれが複数の分光スペクトルの内のどの分光スペクトルの光で照射されたかを示す照射情報と、を記憶する。

画像特定部３は、照射情報に基づいて、照射光に照射されない状態で撮影された被写体の撮像画像を非照射画像として、非照射画像以外の撮像画像を照射画像として、それぞれ特定する。

環境光成分除去部４は、非照射画像を用いて、照射画像の環境光成分を除去する補正を行う。

ここに、分光スペクトルは、中心周波数と周波数の幅の情報から特定されることも、通常のグラフから特定されることも可能である。

また、分光スペクトルは、可視光域の分光スペクトルに限定されるものではない。例えば、分光スペクトルの内の１つが、後述するように、赤外光の分光スペクトルを含んでいる場合があっても良い。あるいは、分光スペクトルの内の１つが、紫外光の分光スペクトルを含んでいる場合もあっても構わない。

次に、図２は、画像補正装置１における画像補正処理を示すフローチャートである。

画像補正装置１により処理を開始すると、まず、複数の撮像画像を入力する（ステップＳ１）。

そして、撮像画像を照射情報に関連付けする（ステップＳ２）。これにより、照射情報に関連付けられた撮像画像が、照射画像として特定される。

一方、照射情報との関連付けがない撮像画像を、非照射画像として特定する（ステップＳ３）。この非照射画像は、照明光を照射することなく得られた画像であるために、環境光のみの照明下で得られた環境光画像であることになる。

そこで、この非照射画像を用いることにより、照射画像から環境光成分を除去して（ステップＳ４）、この画像補正処理を終了する。

続いて図３は、撮像画像を取得する撮像素子の分光スペクトルの例を示す線図である。

カラーの撮像素子は、例えば、青（Ｂ）の帯域の受光感度を有する画素（Ｂ画素）と、緑（Ｇ）の帯域の受光感度を有する画素（Ｇ画素）と、赤（Ｒ）の帯域の受光感度を有する画素（Ｒ画素）と、を備えている。Ｂ画素の受光感度は曲線ｆｂに示すような相対分光感度をもち、Ｇ画素の受光感度は曲線ｆｇに示すような相対分光感度をもち、Ｒ画素の受光感度は曲線ｆｒに示すような相対分光感度をもっている。これらの各画素の色情報が、撮像色情報であり、この例ではＲＧＢであるが、これに限るものではない（後述する実施形態４で説明する、赤外光を受光するＩＲ（Infra Red）画素等参照）。

なお、撮像素子はカラーの撮像素子に限るものではなく、いわゆる面順次発光を行う場合には、モノクロの撮像素子であっても構わない（後述する実施形態３参照）。

図４は、被写体に照射される照明光の分光スペクトルの例を、撮像素子の分光スペクトルの例と対比して示す線図である。

ここで照明光には、例えば５つの分光スペクトルの照明光があるものとし、それぞれの照明光は第１〜第５のＬＥＤ（ＬＥＤ１〜ＬＥＤ５）により各発光されて照射されるものとする。これら第１〜第５のＬＥＤの相対発光強度は、曲線Ｌ１〜Ｌ５に各示すようになっている。なお、光源がＬＥＤに限るものでないことは勿論である。

これら第１〜第５のＬＥＤの相対発光強度を、撮像素子の分光スペクトルと対比すると、第１のＬＥＤおよび第２のＬＥＤを発光して得られる画像は、何れもＢ画素から得られるＢ画像を用いれば良いことが分かる。また、第３のＬＥＤを発光して得られる画像は、Ｇ画素から得られるＧ画像を用いれば良いことが分かる。さらに、第４のＬＥＤおよび第５のＬＥＤを発光して得られる画像は、何れもＲ画素から得られるＲ画像を用いれば良いことが分かる。

このように、どのＬＥＤを発光して得られた画像を、どの色の画素から取得するかは、照明光のスペクトルと撮像素子１２の分光感度とに基づいて予め決定しておくことになる。

従って、撮像素子がカラー撮像素子である場合には、最低で２回の撮像動作を行えば、第１〜第５のＬＥＤの照明光に対応する５つの分光スペクトルの画像を得ることが可能である。

具体的に、第１回目の撮像時に、第１ＬＥＤ、第３ＬＥＤ、第５ＬＥＤを同時に発光させて、Ｂ画像として曲線Ｌ１の帯域の画像をｆｂの分光感度の撮像画素から、Ｇ画像として曲線Ｌ３の帯域の画像をｆｇの分光感度の撮像画素から、Ｒ画像として曲線Ｌ５の帯域の画像をｆｒの分光感度の撮像画素から得る。続く第２回目の撮像時に、第２ＬＥＤ、第４ＬＥＤを同時に発光させて、Ｂ画像として曲線Ｌ２の帯域の画像をｆｂの分光感度の撮像画素から、Ｒ画像として曲線Ｌ４の帯域の画像をｆｒの分光感度の撮像画素から得る。こうして、５つの帯域の画像を、２回の撮像で得ることが可能である。

ただし、１回の撮像毎に１つの帯域の画像を順次得るようにしても良いし、その他の態様で各帯域の画像を得るようにしても構わない。

なお、どの照明光色の画像を、どの色画素から取得するかを選定する方法の一例は、照明光の分光スペクトルと、撮像素子の各色画素の分光スペクトルとを乗算して波長に関して積分して得られた値が、最も大きい色画素を選ぶことである。この場合には、照明光を最も高い効率で信号値に変換できる色画素が選択されるために、Ｓ／Ｎ比の点でも有利であり、耐ノイズ性能が高くなる利点がある。ただし、選定方法はこれに限定されるものではなく、照明光の分光スペクトルと撮像素子の各色画素の分光スペクトルとを乗算したスペクトルが、その後に行う各種の検出処理等に都合の良いものとなるように選定しても構わない。

図５は図１に示した画像補正装置１を適用した画像補正システムの第１の構成例を示す図である。

この図５に示す構成例では、画像補正装置１と、撮像部である撮像装置１０とは別体となっている。

すなわち、画像補正システムは、図１に示した構成の画像補正装置１と、撮像装置１０と、照射部である多色発光照明装置２０と、を備えている。

多色発光照明装置２０は、上述した第１〜第５のＬＥＤを有する多色発光部２１と、この多色発光部２１の発光制御を行う発光制御部２２と、を備えている。

撮像装置１０は、被写体の光学像を結像する撮像光学系１１と、撮像光学系１１により結像された光学像を光電変換して撮像画像を生成する撮像素子１２と、この撮像素子１２により生成された撮像画像を信号処理する信号処理部１３と、この撮像装置１０を制御するとともに、発光制御部２２を介して多色発光照明装置２０も制御するカメラ制御部１４と、信号処理部１３により信号処理された撮像画像と、撮像画像が撮像されたときの照明光の照射情報と、を記憶する記録媒体１５と、を備えている。

ここに、撮像素子１２は、図３に示したような分光感度特性をもつＲ画素、Ｇ画素、Ｂ画素を備えている。

記録媒体１５に記録された撮像画像および照射情報は、撮像装置１０から画像補正装置１へ送信されて、画像補正装置１の記憶部２に記憶されるようになっている。

ここに、撮像装置１０から画像補正装置１への情報の送信は、記録媒体等を介して行っても良いし、ネットワーク（いわゆるクラウドも含む）等を介して行っても構わない。

また、図６は、図１に示した画像補正装置１を適用した画像補正システムの第２の構成例を示す図である。

この図６に示す構成例では、画像補正装置１が、撮像部である撮像装置１０に組み込まれて一体となっている。

すなわち、画像補正システムは、図１に示した構成の画像補正装置１を有する撮像装置１０と、照射部である多色発光照明装置２０と、を備えている。

この構成においては、記憶部２が図５の記録媒体１５を兼ねているために、記録媒体１５は省略されている。

画像補正装置１は、図１に示したように記憶部２と画像特定部３と環境光成分除去部４とを備えている必要があるが、その他の構成要件をさらに備えていても構わない。従って、撮像装置１０全体に画像補正装置１が適用されていると考えれば、画像補正装置１がさらに、撮像光学系１１、撮像素子１２、信号処理部１３、およびカメラ制御部１４を備えていると考えても構わない。あるいはさらに、多色発光照明装置２０をも、画像補正装置１が含むと考えても良い。

図７は多色発光部２１の構成例を示す図である。

多色発光部２１は、本実施形態に示す例においては、図４に示したように、曲線Ｌ１の相対発光強度の第１ＬＥＤと、曲線Ｌ２の相対発光強度の第２ＬＥＤと、曲線Ｌ３の相対発光強度の第３ＬＥＤと、曲線Ｌ４の相対発光強度の第４ＬＥＤと、曲線Ｌ５の相対発光強度の第５ＬＥＤと、を備えている。

図８は多色発光部２１による発光制御の一例を示すタイミングチャートである。

撮像装置１０に多色発光部２１が取り付けられると、撮像装置１０は、例えば自動的にマルチスペクトル画像取得モードに設定される。このマルチスペクトル画像取得モードにおいて、撮像装置１０に設けられている図示しないレリーズボタンが押圧されると、レリーズ開始信号が出力され、撮像部である撮像装置１０が、被写体を照射する照射光の分光スペクトルが変わる毎に撮像を行う。

すなわち、発光制御部２２から発光開始信号が出力されて、例えばまず、第１ＬＥＤが発光され、撮像素子１２の露光が行われ、ＬＥＤ１画像が取得される。

ＬＥＤ１画像が取得されると、次に、発光制御部２２から発光開始信号が出力されて、第２ＬＥＤが発光され、撮像素子１２の露光が行われ、ＬＥＤ２画像が取得される。

ＬＥＤ２画像が取得されると、続いて、例えば多色発光部２１による発光を行うことなく撮像素子１２の露光が行われ、環境光画像が取得される。従って、記憶部２に記憶されている光種類情報により示される全ての種類の照射光を合わせて１セットとするとき、照射部である多色発光照明装置２０が１セットの内の最初の種類の照射光を照射した後であって最後の種類の照射光の照射を開始する迄の間に、期間（つまり、照明光を照射しない期間）を有することになる。

環境光画像が取得されると、さらに、発光制御部２２から発光開始信号が出力されて、第３ＬＥＤが発光され、撮像素子１２の露光が行われ、ＬＥＤ３画像が取得される。

ＬＥＤ３画像が取得されると、同様に、発光制御部２２から発光開始信号が出力されて、第４ＬＥＤが発光され、撮像素子１２の露光が行われ、ＬＥＤ４画像が取得される。

ＬＥＤ４画像が取得されると、最後に、発光制御部２２から発光開始信号が出力されて、第５ＬＥＤが発光され、撮像素子１２の露光が行われ、ＬＥＤ５画像が取得される。

このような各ＬＥＤを順に発光させて行う一連の撮影動作（発光照明を替えながら複数枚の画像を自動的に撮影する動作）が、レリーズボタンが１回押圧されると行われるようになっている。

なお、ここでは、マルチスペクトル画像取得モードに設定されているときに、撮影者(ユーザー)がレリーズボタンを１回押圧するだけで一連の撮影が行われる構成としている。しかしこれに限るものではない。例えば、分光スペクトル画像を個別に取得する撮影モード等を設けて、撮影者がレリーズボタンを１回目に押圧すると１番目のＬＥＤが発光されて１枚の画像が撮影され、撮影者がレリーズボタンを２回目に押圧すると２番目のＬＥＤが発光されて次の１枚の画像が撮影され、等が行われるような構成であっても良い。

なお、図８に示す処理においては、発光を開始した後に露光を開始し、露光を終了した後に発光を停止するタイミングとなっている。しかしこれに限るものではなく、例えば、露光を開始した後に発光を開始し、発光を停止した後に露光を終了するようにしても構わない。この制御を行う場合には、光源の発光量をなるべく大きくし、かつ露光時間をなるべく短くするようにすれば、照明光量に対する環境光量の割合が小さくなるために、環境光の影響を低減することが可能となる利点がある。

次に、図９〜図１２を参照して、５つの分光スペクトル画像を取得する際のどの時点で環境光画像を取得するかの例を説明する。この撮影の際の発光順序は、カメラ制御部１４が決定して発光制御部２２に指令しても構わない。あるいは、発光制御部２２自体が発光順序を決定して多色発光部２１を制御するとともに、発光順序の情報をカメラ制御部１４へ送信する構成であっても良い。

まず、図９は、５つの分光スペクトル画像（光源が発光している状態で撮像素子１２により撮影されて取得された画像（照射画像）のことであり、環境光画像（非照射画像）と対になる画像のことを示す）を取得するほぼ中央の時点で環境光画像を取得する例を示す図であり、図８に示したタイミングチャートに対応している。

分光スペクトル画像は５枚であるために、ほぼ中央の時点は、３枚目の分光スペクトル画像を取得する前または後の時点となる。そして、図９に示しているのは、３枚目の分光スペクトル画像を取得する前の時点で環境光画像を取得する例である。

手振れ等による画像のズレは時間差とともに大きくなると考えられるために、中央の時点で環境光画像を取得することにより、手振れの影響を軽減することが可能となる。

図１０は、５つの分光スペクトル画像のそれぞれと交互に環境光画像を取得する例を示す図である。

この図１０に示す例では、１枚目の分光スペクトル画像を取得する前に環境光画像を取得し、その後、各分光スペクトル画像を取得する間の時点で環境光画像を取得し、さらに、５枚目の分光スペクトル画像を取得した後に環境光画像を取得している。

分光スペクトル画像の前後の環境光画像を用いて位置合わせをして、環境光画像に挟まれた時点で取得された分光スペクトル画像の位置を推定することができる。環境光画像は、分光スペクトル画像のような単色画像ではないために、位置合わせし易い利点がある。環境光補正に使用する画像は複数の環境光画像の中から撮影時間の一番近いものを選択し、前述した推定位置をもとに位置ずれ補正してから環境光補正すれば良い。または、分光スペクトル画像の前後の環境光画像の内の、分光スペクトル画像に対する位置ずれが小さい方の環境光画像を選択して環境光補正に用いても良いし、分光スペクトル画像の前後の環境光画像の平均画像を作成して環境光補正に用いても良い。

図１１は、５つの分光スペクトル画像を連続的に取得する期間の前および後の時点で環境光画像を取得する例を示す図である。

この図１１に示す例では、１枚目の分光スペクトル画像を取得する前に環境光画像を取得し、その後、各分光スペクトル画像を連続的に取得し、さらに、５枚目の分光スペクトル画像を取得した後に環境光画像を取得している。環境光補正に使用する画像は複数の環境光画像の中から撮影時間の一番近いものを選択し、位置ずれ補正してから環境光補正すれば良い。または、分光スペクトル画像の前後の環境光画像の内の、分光スペクトル画像に対する位置ずれが小さい方の環境光画像を選択して環境光補正に用いても良いし、分光スペクトル画像の前後の環境光画像の平均画像を作成して環境光補正に用いても良い。

このような時点で環境光画像を取得すれば、手振れの影響を見積もり易くなる。そして、２枚の環境光画像のずれ量が所定値以上である場合には、再撮影を促すようなメッセージを表示するなどすると良い。

図１２は、緑色光に対応する第３ＬＥＤ画像を取得する期間の前または後の時点で環境光画像を取得する例を示す図である。

環境光は、例えば太陽光を例にとれば分かるように、各色成分の内の緑色成分の強度が高い場合がある。従って、分光スペクトル画像との位置合わせを、第３ＬＥＤ画像を基準として行うことにより、他のＬＥＤ画像を基準として行う場合よりも高い精度で行うことが可能になると考えられる。

また、図９〜図１２に示したような各処理において、環境光成分を除去するために用いる環境光画像（非照射画像）は、処理対象の分光スペクトル画像に最も時間的に近接した（照射画像の撮影時間と一番近い撮影時間または撮影順番の）画像を用いれば良い。あるいは、環境光画像が複数存在する場合には、補間処理を行うことにより、処理対象の分光スペクトル画像を取得した時点の環境光画像を推定して、推定した環境光画像を用いるようにしても構わない。これにより、手振れや被写体振れの影響を低減することが可能となる。また、後述の位置ずれ検出を全ての環境光画像と比較して行い、位置ずれの少ない環境光画像を選択しても良い。

なお、図８〜図１２に示した例では、図７に示したように多色発光部２１に設けられている第１〜第５ＬＥＤの全てを１周期に１回は必ず発光させているが、処理に使用するＬＥＤを１周期に１回発光させれば足りるために、分光スペクトル画像の取得に用いないＬＥＤ等が多色発光部２１に存在する場合には、全てのＬＥＤを１周期に１回発光させる必要はない。

図１３は撮像装置１０による画像取得の処理を示すフローチャートである。

この処理を開始すると、分光スペクトル画像の枚数をカウントするためのカウンタｎに１をセットする（ステップＳ１１）。

次に、カウンタｎが、取得しようとしている分光スペクトル画像の総枚数Ｎよりも大きいか否かを判定する（ステップＳ１２）。本実施形態における具体例では、Ｎ＝５である。

ここで、カウンタｎがＮ以下である場合には、非照射画像、すなわち環境光画像を取得するタイミングであるか否かを判定する（ステップＳ１３）。

そして、取得するタイミングであると判定された場合には環境光画像を取得する（ステップＳ１４）。

このステップＳ１４の処理が終了するか、またはステップＳ１３において取得するタイミングでないと判定された場合には、第ｎ照明光を照射して（ステップＳ１５）、第ｎ照射画像を取得する（ステップＳ１６）。

そして、ｎをインクリメントしてから（ステップＳ１７）、ステップＳ１２へ戻る。

一方、ステップＳ１２において、カウンタｎがＮよりも大きいと判定された場合には、非照射画像、すなわち環境光画像を取得するタイミングであるか否かを判定する（ステップＳ１８）。

ここで取得するタイミングであると判定された場合には環境光画像を取得してから（ステップＳ１９）、取得するタイミングでないと判定された場合にはそのまま、この画像取得処理を終了する。

なお、ここでは照明色毎に撮影を行う例を説明しているが、上述したように、ＲＧＢ何れかの色画素の１つで１色の照明光のみを受光する制限の下で、複数のＬＥＤを同一タイミングで点灯して撮影を行っても良い。これにより、測定精度を低下させることなく撮影枚数を削減することができ、手振れの影響も低減することができる。

図１４は図２のステップＳ２の処理の一例を示すフローチャートである。

この図１４に示す例は、撮像画像がどの分光スペクトルの照明光を照射することにより得られた画像であるかを示す添付情報（付随データ）が、撮像画像に添付されていない場合に、解析を行うことによって照射情報との関連付けを行うものとなっている。

この処理を開始すると、照明色と画像枚数、撮影時間の情報を読み出す（ステップＳ２１）。ここに、撮像画像の撮像時間を示す情報も、照射情報の１つである。

次に、撮影時間と画像認識、枚数情報に基づき、同一の被写体を撮影したセット画像の組の情報（セット情報）の特定を行う（ステップＳ２２）。

そして、撮像画像の解析、ここでは例えば色度解析を行う（ステップＳ２３）。色度解析は、撮像画像のＲ画素の値、Ｇ画素の値、およびＢ画素の値を、解析対象の画素範囲について解析し、さらに解析対象の画素範囲の色度平均値（または色度中心値）を算出することにより行う。具体的には、画像から各サンプリング点のＲ／Ｇ、Ｂ／Ｇの分布グラフを作成し、画像の色度平均値（または色度中心値）を算出することにより行う。

画像の色度解析結果である色度平均値（または色度中心値）に基づき、画像特定部３は、予め設定されている各ＬＥＤの照明色を示すテーブルから、どの照明色に相当するか、あるいは何れの照明色にも相当せず環境光であるか、を自動認識し、画像と照明色とを関連付けで照射画像を特定する（ステップＳ２４）。具体的には、画像の色度平均値（または色度中心値）が、各照明の色度に一番近いものを選択することにより、その照明の画像として特定する。

このときには、セット画像の内の照明色との対応がなされなかった画像を、照射画像と対応する非照射画像として選定することも行う（この非照射画像の選定結果に基づき、図２のステップＳ３において非照射画像の特定が行われることになる）。

なお、非照射画像としての特定方法は、その他の例としては、最も暗い被写体の画像を非照射画像としての特定する方法が挙げられる。すなわち、照射画像は（照明光＋環境光）の画像であるのに対して、非照射画像は環境光のみの画像となるために、非照射画像が最も暗くなると考えられる。そこで、セット画像に含まれる各画像の露光条件情報（または露光条件が全ての画像で一定の場合は、画素の輝度情報の平均値や各色の画素レベルの平均値など）を入力して、一番暗い被写体に対応する露光条件の画像を非照射画像として特定すれば良い。

その後、この処理から図２に示した処理にリターンする。

図１５は図２のステップＳ２の処理の他の例を示すフローチャートである。

この図１５に示す例は、撮像画像がどの分光スペクトルの照明光を照射することにより得られた画像であるかを示す添付情報（例えば、点灯ＬＥＤ、環境光画像、セット画像情報、撮影時の露光条件などの付随データ）が、撮像画像に添付されている場合の処理の例となっている。この添付情報は、カメラ制御部１４が撮像画像を記録媒体１５や記憶部２に記録する際に、撮像画像に添付して記録されるようになっている。

この処理を開始すると、各撮像画像の添付情報を読み出す（ステップＳ３１）。

そして、添付情報に基づいて撮像画像と照明色（分光スペクトル）とを関連付けて照射画像を特定し（ステップＳ３２）、この処理から図２に示した処理にリターンする。

図１６は図１５の処理において用いられる添付情報の一例を示す図である。

まず、撮像画像に添付情報を添付するのは適宜の方法を用いれば良いが、例えば、画像ファイルのヘッダにＥＸＩＦとして含めるようにする等が例として挙げられる。

この添付情報にはデータ名称と、データ名称に対応するデータ内容の欄がある。

「絞り」は、撮像光学系１１の絞り値が対応し、データ内容として例えば「Ｆ１１」などの情報が入っている。

「シャッタ」は、撮像素子１２の露光時間が対応し、データ内容として例えば「１／１００（秒）」などのシャッタ速度の情報が入っている。

「ＩＳＯ感度」は、撮像素子１２における、あるいは撮像素子の後段における、アナログ増幅部等を含む撮像系による撮像感度が対応し、データ内容として例えば「ＩＳＯ１６００」などの情報が入っている。

「照射光源有無」は、多色発光照明装置２０の有無が対応し、データ内容として例えば「有」（あるいは「無」）などの情報が入っている。

「照射光源色番号」は、多色発光部２１内の各分光スペクトルの照明光を発光する光源に対してシリアルに付した番号が対応し、データ内容として例えば「３」（この場合には、第３のＬＥＤであることを示す）などの情報が入っている。

「照明光源色」は、照明光源の色が対応し、データ内容として例えば「緑」（あるいは、「赤」、「オレンジ」、「青」、「紫」、など）の情報が入っている。

「照射光源ピーク波長」は、光源（例えば上述したＬＥＤ）の発光強度のピークの波長が対応し、データ内容として例えば「５００（ｎｍ）」などの情報が入っている。

「照射光源半値幅」は、光源（例えば上述したＬＥＤ）の発光強度のピーク値の半値以上の値を取る波長帯域の（上限波長値−下限波長値）の値が対応し、データ内容として例えば「３０（ｎｍ）」などの情報が入っている。

「照射光源スペクトル」は、光源（例えば上述したＬＥＤ）の発光強度のスペクトル分布が対応し、波長（ｎｍ）と相対強度とが対となって記録されており、データ内容として例えば「４００：０、…、４９０：８０、…」などの情報が入っている。ここに例えば、「４００：０」は波長４００（ｎｍ）の相対強度が０、「４９０：８０」は波長４９０（ｎｍ）の相対強度が８０であることを示している。

「セット情報」は、多色発光部２１の光源の組み合わせが予め定められたセットの何れかに該当するかの情報に対応し、データ内容として例えば「セット１」などの情報が入っている。

「撮影時間」は、撮像画像が撮像されて取得された時刻の情報が対応し、データ内容として例えば年月日時分秒（あるいは、さらに詳細な時間単位（小数点以下の秒単位など）が含まれていても良い）で表した時刻の情報が入っている。

画像特定部３は、撮像画像のこのような付随データから、照射画像および非照射画像の特定を行う。

なお、「照射光源有無」、「照射光源色番号」、「照明光源色」、「照射光源ピーク波長」、「照射光源半値幅」、「照射光源スペクトル」、「セット情報」に関して、全部の情報が含まれていても良いが、何れか一部の情報が含まれているだけであっても構わない。ここに、「照射光源色番号」または「照明光源色」のみの情報が含まれている場合には、画像補正装置１は、記憶部２に別途記憶している各番号または各色名に応じたスペクトル情報を参照するようにすれば良い。

図１７は撮像画像を画像入力部５から、照明情報を照明情報入力部６から、それぞれ記憶部２へ記憶させる構成を示すブロック図である。

画像入力部５は、撮像画像を画像補正装置１の記憶部２へ入力するためのものであり、例えば、図５に示した撮像装置１０や、着脱可能な記録媒体、あるいはネットワークの送受信部等が対応する。

照明情報入力部６は、記憶部２に記憶されている撮像画像に対応する照明情報を入力するためのものであり、一例を挙げれば、キーボードやマウス、あるいはモニタ、タッチパネルなどの入力機器が対応する。本構成では撮影者やユーザ自身が、この照明情報入力部６を用いて照明情報（例えば、撮像画像と発光したＬＥＤとの関係）を入力し得るようになっている。

図１８は、照明情報入力部６を構成するモニタに表示される入力画面の例を示す図である。

この図１８に示す例では、マルチスペクトル画像を構成する撮像画像の組（セット）をドラッグ＆ドロップの操作により設定し、さらに、画像の撮影順序をチェック欄にチェックすることで選択するようになっている。ここに、ドラッグ＆ドロップされた１セットの撮像画像は、撮影日時の順にソートしておけば、チェック欄のチェック結果に基づく撮影順序をそのまま対照させることができる。なお、ドラッグ＆ドロップされた画像の数が、チェック欄のチェックから定まる画像数よりも多い場合には、再操作を促すか、あるいは所定の画像数を超える画像は使用しないようにすれば良い。また、チェック欄にチェックするのに代えて、ユーザが撮影順序に対応する照明光色を手動で設定するようにしても構わない。

図１９は図１８の入力画面における各チェック欄のどれにチェックがなされたかに応じて定まる画像の撮影順序を示す図である。

図１８において、第１のチェック欄にチェックがなされた場合には、第１の画像が紫、第２の画像が青、第３の画像が緑、第４の画像が環境光、第５の画像がオレンジ、第６の画像が赤として、照射画像および非照射画像が特定される。

第２のチェック欄にチェックがなされた場合には、第１の画像が赤、第２の画像がオレンジ、第３の画像が環境光、第４の画像が緑、第５の画像が青、第６の画像が紫として、照射画像および非照射画像が特定される。

第３のチェック欄にチェックがなされた場合には、多色発光照明装置２０として、予め特定の順番で撮影するものとして機種や構成が記憶されているユニットＡ−１が用いられたものとして設定される。具体的には、画像の撮影順序と特定の色の順序とが照合されて、第１の画像が紫、第２の画像が環境光、第３の画像が青、第４の画像が環境光、第５の画像が緑、第６の画像が環境光、第７の画像がオレンジ、第８の画像が環境光、第９の画像が赤として、照射画像および非照射画像が特定される。

第４のチェック欄にチェックがなされた場合には、多色発光照明装置２０として、予め特定の順番で撮影するものとして機種や構成が記憶されているユニットＡ−２が用いられたものとして設定される。具体的には、画像の撮影順序と特定の色の順序とが照合されて、第１の画像が環境光、第２の画像が紫、第３の画像が青、第４の画像が緑、第５の画像がオレンジ、第６の画像が赤、第７の画像が環境光として、照射画像および非照射画像が特定される。

上述の内の第１または第２のチェック欄にチェックがなされたケースは、照射情報が、撮像画像の撮像順を示す情報となるケースである。

また、上述の内の第３または第４のチェック欄にチェックがなされたケースは、記憶部２が、被写体を照射する照射光の分光スペクトルの種類を示す光種類情報を記憶し、照射部である多色発光照明装置２０は、記憶部２に記憶されている光種類情報により示される同じ種類の照射光を照射するまでの間に少なくとも１回は、どの種類の照射光も照射しない期間を有し、画像特定部３が、記憶部２に記憶されている光種類情報により示される照射光の種類単位で非照射画像を特定するケースである。

このように本構成では撮影者やユーザ自身が、照明情報入力部６を用いて照明情報（例えば、撮像画像と発光したＬＥＤとの関係）を入力するような構成であるので、特別な専用の機器がなくとも各照明で撮影された画像と環境光画像があれば処理が可能となり、安価で簡単な構成にすることができる。

図２０は、図１に示した画像補正装置１を適用した画像補正システムの第３の構成例を示す図である。

図２０に示す画像補正システムは、撮像光学系１１の図示等を省略しているが、基本的に図５に示した画像補正システムと同様の構成を備えるとともに、さらに例えば、画像補正装置１を、画像補正プログラムを実行するパーソナルコンピュータ（ＰＣ）として構成し、この画像補正プログラムが撮像装置１０および多色発光照明装置２０を制御するようにしたものとなっている。これにより、画像補正装置１内に、画像補正システム全体を制御するためのシステム制御部７が備えられている構成が実質的に実現される。

このシステム制御部７は、発光制御部２２に指令を与えて多色発光部２１を制御し発光させ、カメラ制御部１４に指令を与えて撮像素子１２を制御し露光を行わせる。

撮像素子１２により取得された撮像画像は、上述したように、記録媒体１５を介して記憶部２へ転送される。

一方、画像を特定するための情報は、システム制御部７により生成されて、記憶部２に書き込まれる。

こうして、図２０に示す構成例は、画像を特定するための情報が、撮像画像とは別のデータとして記憶部２に記憶されるものとなっている。

このような実施形態１によれば、環境光の影響を抑制した撮像画像を生成することができる。

また、多色発光照明装置２０を用いれば、撮像装置１０としては一般撮影用のデジタルカメラ等の撮像装置を利用することができる。従来は、マルチバンド画像を撮像するためには、特別な構成（例えば専用の構成）を用いることがあった。例えば、ＬＥＤ以外の環境光の影響を避けるために測定物の周囲を暗黒にして、固定距離で被写体に光を照射できるシステムや撮像素子と照明装置とを一体型にしたシステム等である。しかし、このような専用のシステムは、高価になるだけでなく、測定物として想定された物以外の対象物を測定するには適していないことがあり、専用の機器であるために操作方法も難しいことがあった。これに対して、本実施形態の構成によれば、安価で簡単な構成とすることができ、（特定の対象物に限定されることのない）広範な対象物を測定可能となる利点がある。

そして、近年のデジタルカメラは高解像度であり、ズームレンズを備えていることも多いために、様々な被写体の高精細なマルチバンド画像を手軽に撮影することが可能となる。
［実施形態２］

図２１から図２８は本発明の実施形態２を示したものであり、図２１は画像補正装置１の構成を示すブロック図である。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

図２１に示すように、本実施形態の画像補正装置１は、画像特定部３と、環境光成分除去部４との間に、推定部８を追加したものとなっている。また、環境光成分除去部４は、除去色特定部３１と、ずれ検出部３２と、判断部３３と、を備えている。

また、本実施形態の撮像素子１２は、モノクロの撮像素子ではなく、カラーの撮像素子、つまり複数の色画素を有する撮像素子であるものとする。そして、色画素として、Ｒ画素、Ｇ画素、Ｂ画素の３種類があり、Ｒ画素のみで構成される画像をＲ画像、Ｇ画素のみで構成される画像をＧ画像、Ｂ画素のみで構成される画像をＢ画像と呼ぶことにする。

推定部８は、撮像画像、例えば環境光画像（非照射画像）から、撮像画像を撮像したときの明るさレベルを推定するものである。推定された明るさレベルは、例えば所定の明るさ閾値と比較されて、この明るさ閾値以上であるときに環境光成分除去の処理が行われる。逆に言えば、環境光画像に対して推定された明るさレベルが明るさ閾値未満である場合には、環境光が存在しないかまたは存在しても影響を無視し得るレベルであると判断して、環境光成分除去処理をスキップすることになる。このように、周囲の環境光のレベルが低い場合には、環境光成分除去処理を省略するようにしても構わない。

除去色特定部３１は、環境光成分除去を行う際に、照射光の分光スペクトルに関する情報に基づいて、撮像素子１２が有する各色の画素の内の、環境光除去処理（本実施形態では減算処理）を行う色画素を特定するものである。

ずれ検出部３２は、分割した画像毎に照射画像と非照射画像との画像の位置ずれを検出するものである。環境光成分除去を行う際には、ずれ検出部３２により検出された位置ずれに基づいて、減算する画素同士の位置関係が決定される（つまり、位置ずれが補正された状態で環境光成分除去が行われる）。

判断部３３は、撮像画像（例えば非照射画像）において、白とびしている部分があるか否かを判断するものである。さらに、判断部３３は、各撮像画像の露光条件情報に基づいて、照射画像と非照射画像の露光条件を合わせるか否かを判断する。

環境光成分除去部４は、非照射画像を、基準となる複数の分光スペクトル成分毎（撮像素子１２の色画素毎（撮像色情報））に複数の画像に分割し、除去色特定部３１により特定された分光スペクトル成分の画素値を減算する。ここに、環境光成分除去部４は、照射画像および非照射画像を、同じ分光スペクトル成分の画素値を減算する。例えば、環境光成分除去部４は、上述した撮像色情報が示す色成分の分光スペクトル成分に基づいて分割する。具体的に、環境光成分除去部４は、撮像色情報が示す色成分の内の、照射画像の分光スペクトルに多く含まれる色成分の分光スペクトル成分の画素値で減算する。また、環境光成分除去部４は、分割された画像の内の、照射光の分光スペクトルが占める割合に応じて選択された画像（例えば、割合が高い画像）のみ減算する。

さらに、環境光成分除去部４は、ずれ検出部３２により検出された位置ずれを補正した上で減算する。

環境光成分除去部４は、判断部３３により非照射画像に白とびしている部分があると判断された場合に、その位置情報を取得して、その部分が白とびしていることを示す白とび情報を生成するようになっている。ここで生成された白とび情報は、照射画像と関連付けて例えば記憶部２に記憶される。

そして、環境光成分除去部４は、白とび情報に基づき照射画像を補正する。具体的に、環境光成分除去部４は、判断部３３により検出された白とび部分の環境光成分除去の処理を、他の部分とは異ならせる（例えば、白とび部分については環境光成分除去の処理自体に移行しない、あるいは白とび部分を予め記憶しておいて、環境光成分除去の処理には進むが、処理ルーチン中の環境光成分を除去するための減算処理をスキップする、等である）。

加えて、環境光成分除去部４は、露光条件に相違がある場合には、環境光成分除去の処理を行うに際して、露光条件が一致するように各撮像画像を補正する。

図２２は色度算出の処理を示すフローチャートである。

この処理を開始すると、環境光画像、各照射画像の露光条件を読み出す（ステップＳ４１）。

そして、推定部８により、環境光画像の明るさ推定を行う（ステップＳ４２）。

推定した明るさに基づき、上述したように、環境光成分除去が必要であるか否かを判定する（ステップＳ４３）。ここでは、上述したように、推定した明るさ所定の明るさ閾値と比較して、比較結果に基づき判定を行う。

環境光成分除去が必要であると判定された場合には、ずれ検出部３２により、環境光画像と照射画像との位置ずれを検出する（ステップＳ４４）。

その後、判断部３３により、白とび部分が存在するか否かを判定する（ステップＳ４５）。

ここで、白とび部分が存在すると判定された場合には、判断部３３は、さらに白とび位置を検出する（ステップＳ４６）。

このステップＳ４６の処理が終了するか、またはステップＳ４５において白とび部分が存在しないと判定された場合には、環境光成分除去部４により、環境光成分除去処理を行う（ステップＳ４７）。

このステップＳ４７の処理を行った場合には環境光成分が除去された照射画像を用いて、また、ステップＳ４３において環境光成分除去が不要であると判定された場合には読み出した照射画像をそのまま用いて、被写体の色度を算出する（ステップＳ４８）。従って、環境光成分除去部４は、推定部８により明るさが所定の明るさより明るいと推定された場合のみ、除去することになる。また、色度の算出は、例えば後述する図２７の色処理装置４０により行われるようになっている。

こうして色度の算出が行われたら、この処理を終了する。

なお、上述したステップＳ４３においては、環境光画像の明るさに応じて環境光成分除去の処理を行うか否かを判定しているが、環境光画像の明るさに応じて位置合わせの方法を変えるようにしても良い。例えば、環境光とＬＥＤ照明光の明るさ（例えば平均輝度値）が近い場合には、照明光色に応じたＲ画像、Ｇ画像、Ｂ画像の何れかで環境光成分除去を行う。一方、環境光がＬＥＤ照明光に比してかなり暗い場合には、環境光画像については輝度信号Ｙの画像（Ｙ画像）を作成し、照射画像については照明光色に応じたＲ画像、Ｇ画像、Ｂ画像の何れか１つ用い、何れもグレー画像として取り扱って、位置合わせを行う、等である。また、明るさに関わらず照明光色に応じたＲ画像、Ｇ画像、Ｂ画像の何れかで環境光成分除去を行ったり、環境光画像については輝度信号Ｙの画像（Ｙ画像）を作成し照射画像については照明光色に応じたＲ画像、Ｇ画像、Ｂ画像の何れか１つ用い何れもグレー画像として取り扱って位置合わせを行ったり、全ての画像を輝度信号Ｙの画像（Ｙ画像）に変換して位置合わせを行うなどしても良い。

また、ステップＳ４７の環境光成分除去の処理を行うか否かは、環境光画像の明るさのみを決定要因とするものではない。例えば、撮像装置１０がデジタルカメラ等である場合には、測距機能が備わっていることが一般的である。そこで、被写体までの撮影距離情報を測定して、照射画像の撮影距離と環境光画像の撮影距離との差が所定値以上である場合には、再撮影を促すなどの警告を行うと共に、環境光成分除去の処理を中止するようにしても良い。

さらに、撮影距離情報を測定した場合には、照射画像の撮影距離と環境光画像の撮影距離との差に応じて、少なくとも一方の画像を拡大または縮小することにより位置合わせを行った後に、環境光成分除去の処理を行うようにしても良い。

そして、上述したステップＳ４８においては色度算出を行っているが、これに代えて、画像内の所望の部位のスペクトル推定を行うようにしても良い。この場合には、画像補正装置１は、照射光の波長情報を用いた画像内の所望の部位のスペクトル推定を行う色処理装置（図２７、図２８等参照）をさらに有することになる。

図２３は、図２２のステップＳ４６において行われる白とび位置検出の処理を示すフローチャートである。

この処理に入ると、判断部３３は、環境光画像と照射画像とのそれぞれについて、画像を構成する各画素の画素値を所定値と比較し、所定値以上の画素を正反射部として、環境光成分除去部４内のメモリ（または記憶部２）に記憶し（ステップＳ５１）、この処理から図２２に示した処理にリターンする。

図２４は、図２２のステップＳ４７において行われる環境光成分除去の処理を示すフローチャートである。

この処理に入ると、撮像画像を、Ｒ画素のみで構成されるＲ画像と、Ｇ画素のみで構成されるＧ画像と、Ｂ画素のみで構成されるＢ画像と、に分離する（ステップＳ６１）。

次に、記憶部２から、照射情報であり上述した添付情報などに対応する照明光情報を読み出す（ステップＳ６２）。ここに、記憶部２は、撮像画像を撮像する撮像素子１２の画素の色成分の情報を、上述した撮像色情報（例えば、ＲＧＢなど）と関連して記憶し、さらに、照射画像および非照射画像の露光条件を示す露光条件情報を記憶している。

そして、ＬＥＤ色に応じて処理対象の照射画像を設定する（ステップＳ６３）。

さらに、ＬＥＤ色に対応した色画素の照射画像を読み出し（ステップＳ６４）、図４を参照して前述したようにＬＥＤ色に対応した色画素の環境光画像を読み出す（ステップＳ６５）。

照射画像の露光条件と環境光画像の露光条件とを読み出し、露光条件を検出する（ステップＳ６６）。

続いて、判断部３３は、検出した露光条件に基づき、露光条件の補正が必要であるか否かを判定する（ステップＳ６７）。

ここで露光条件の補正が必要であると判定された場合には、照射画像に対して乗算する露光条件補正用の係数、すなわち露光係数Ｋを、
Ｋ＝２^（照射画像露光条件−環境光画像露光条件）
として算出する（ステップＳ６８）。ここに、記号「^」はべき乗を表している。また、露光条件は、具体的には、ＥＶ値を表している。

一方、露光条件の補正が不要であると判定された場合には、露光係数Ｋに１を設定する（ステップＳ６９）。

続いて、ずれ検出部３２により、環境光画像と照射画像の位置ずれ検出の処理を行う（ステップＳ７０）。

この位置ずれ検出の結果に基づいて、環境光画像と照射画像との位置合わせを行う（ステップＳ７１）。すなわち、環境光成分除去部４は、除去する前に、ずれ検出部３２により検出された位置ずれを補正する。

そして、環境光成分除去部４は、位置合わせ後の画像について、照射画像の各画素値に露光係数Ｋを乗算した後に（つまり、環境光成分除去部４は、照射画像と非照射画像との露光条件を合わせた後に）、環境光画像（非照射画像）の各画素値を減算することにより、照射画像の環境光成分の除去を行う（ステップＳ７２）。従って、環境光成分除去部４は、ステップＳ６７の処理により判断部３３において露光条件を合わせると判断された場合に、照射画像と非照射画像との露光条件を合わせて除去することになる。また、このときに環境光成分除去部４は、判断部３３により非照射画像に白とびしている部分があると判断された場合には、その部分を除いて除去する。

その後、全ての照射画像についての処理が終了したか否かを判定し（ステップＳ７３）、未処理の照射画像がまだ存在する場合にはステップＳ６２へ戻って上述したような処理を繰り返して行い、未処理の照射画像が存在しない場合にはこの処理から図２２に示した処理にリターンする。

なお、上述ではステップＳ６１においてＲ画像、Ｇ画像、Ｂ画像に分離した画像をもちいて、ステップＳ７２における減算処理を行っているが、撮像素子１２がベイヤー配列のカラーフィルタを備えた単板のカラー撮像素子である場合には、ベイヤー配列のままの画像を用いて減算処理を行うようにしても構わない。この場合には、精度がやや低下するものの、処理時間が短い利点が得られる。

また、上述では、露光条件が異なる場合に対応し得るような処理を行っているが、１セットの画像群を撮像するに際して、露光条件を同一にして撮影するようにしても良い。この場合には、露光条件の補正を行う必要がなくなり、処理を簡便化することができる。この場合には、照明色によっては露光量が低い画像が生じることも考えられるために、ノイズの影響を受け易く精度が低下する可能性があるが、露光量が低くても長時間露光になることはないために、手振れし難くなる利点が得られる。

あるいは、露光条件を決定する際に、絞り値（Ｆ値）および露光時間（シャッタ秒時）を共通にして、増幅率（感度）のみを変更するようにすれば、環境光成分を除去し易くすることができる。

図２５は、図２４のステップＳ７０において行われる環境光画像と照射画像の位置ずれ検出の処理の一例を示すフローチャートである。

この処理に入ると、環境光ＲＡＷ画像と各照射ＲＡＷ画像から、位置合わせ用画像を作成する（ステップＳ８１）。位置合わせ用画像としては、例えばベイヤー（BAYER）画像をデモザイキングし、輝度変換処理したＹ画像、またはベイヤー（BAYER）画像から所定の色画素のみを抜き出したＲ画像、Ｂ画像、またはＧ画像などが考えられる。このとき、処理を軽くするためにリサイズした画像などを用いても良い。また、環境光はＹ画像、各照射画像はＲ画像、Ｂ画像、またはＧ画像などとしても良い。

そして、作成した位置合わせ用画像に対してブロックマッチングを行い、位置ずれを検出する（ステップＳ８２）。

その後、検出した位置ずれ情報を、環境光成分除去部４内のメモリ（または記憶部２）に記憶して（ステップＳ８３）、この処理から図２４に示した処理にリターンする。

図２６は、図２４のステップＳ７０において行われる環境光画像と照射画像の位置ずれ検出の処理の他の例を示すフローチャートである。

この処理に入ると、環境光画像と照射画像とに対してブロックマッチングを行い、位置ずれを検出する（ステップＳ９１）。

その後、上述したステップＳ８３において、検出した位置ずれ情報を、環境光成分除去部４内のメモリ（または記憶部２）に記憶して、この処理から図２４に示した処理にリターンする。

図２７は、カラー画像作成および色度算出を行う色処理装置４０の構成を示すブロック図である。なお、この図２７においては色処理装置４０を画像補正装置１と別体に設けているが、画像補正装置１内に一体に設けるようにしても構わない。

色処理装置４０は、画像補正装置１から出力される、環境光成分を除去した照射画像（または、環境光成分の除去が不要な照射画像）を用いて、カラー画像を作成し、被写体の色度を算出するものとなっている。

なお、画像補正装置１は、この図２７においては図１に示した基本構成のものを図示しているが、図２１に示した構成のものであっても構わない。

色処理装置４０は、画像入力／振分部４１と、マルチバンド画像メモリ４２と、スペクトル推定演算部４３と、観察スペクトル演算部４４と、カラー画像作成部４５と、色度値演算部４６と、を備えている。

画像入力／振分部４１は、画像補正装置１から照射画像を入力して、各照明光色毎に振り分けてマルチバンド画像メモリ４２に記憶させる。

スペクトル推定演算部４３は、マルチバンド画像データと、撮像光学系１１を介した撮像素子１２の分光感度データや、多色発光部２１に設けられている各ＬＥＤスペクトルデータ、あるいは被写体（例：歯）の統計データなどに基づき公知の技術により予め作成されたスペクトル推定マトリクスと、を用いて、１セットの照射画像から、スペクトル（例えば、分光反射率のスペクトル）推定処理等を行う。

観察スペクトル演算部４４は、スペクトル推定演算部４３により推定されたスペクトルに、観察環境として想定する照明光のスペクトルを乗算することにより、想定する照明光下での被写体のスペク卜ルを求める。

カラー画像作成部４５は、観察スペクトル演算部４４により求められた想定する照明光下での被写体のスペク卜ルに基づいて、モニタ等に表示するためのＲＧＢ画像を作成する。

色度値演算部４６は、観察スペクトル演算部４４により求められた想定する照明光下での被写体のスペク卜ルに基づいて、色度値を例えば画素毎に算出する。

このように色処理装置４０は、照射画像の複数を用いて画像を生成するものであり、照射画像のスペクトル情報または測色値を生成するものであって、４色以上の色を対象として色処理を実施するものとなっている。

図２８は、ディスプレイ６０に表示するための色再現を行う色処理装置５０の構成を示すブロック図である。なお、この図２７においては色処理装置５０を画像補正装置１と別体に設けているが、画像補正装置１内に一体に設けるようにしても構わない。

色処理装置５０は、画像補正装置１から出力される、環境光成分を除去した照射画像（または、環境光成分の除去が不要な照射画像）を用いて、ディスプレイ６０に表示するための画像データを算出するものとなっている。

なお、画像補正装置１は、この図２８においても図１に示した基本構成のものを図示しているが、図２１に示した構成のものであっても構わない。

色処理装置５０は、上述した画像入力／振分部４１と、上述したマルチバンド画像メモリ４２と、入力プロファイル記憶部５１と、ＸＹＺ推定演算部５２と、ディスプレイプロファイル記憶部５３と、ディスプレイ値変換部５４と、を備えている。

入力プロファイル記憶部５１は、画像特定部３から受信した撮像装置１０に関するプロファイルを記憶する。この入力プロファイル記憶部５１に記憶されている入力プロファイルは、例えば、撮像に用いた撮像光学系１１の分光透過率や撮像素子１２の分光感度、シャッタ速度、絞り値等の撮像装置１０の特性や設定、多色発光照明装置２０により照射する照明光のスペクトルデータ（あるいはさらに、生成した被写体画像を観察するディスプレイ６０が設置されている場所の照明光のスペクトルデータ）等の情報（図１６等参照）に基づき算出されたものである。なお、画像特定部３から受信するプロファイルは、画像入力／振分部４１を介してマルチバンド画像メモリ４２に保存するようにしても良い。

ＸＹＺ推定演算部５２は、マルチバンド画像メモリ４２に記憶された照射画像を読み出して入力プロファイル記憶部５１に記憶されている入力プロファイルと内部に設定された所定の等色関数とを用いて推定演算を行うことによりＸＹＺ三刺激値の画像データを生成する。

ディスプレイプロファイル記憶部５３は、ディスプレイ６０に関するプロファイルを記憶する。ここに、ディスプレイ６０に関するプロファイルは、ディスプレイ６０の表示原色値（例えばディスプレイ６０がＲＧＢモニタである場合にはＲＧＢ原色値）の色度値、ディスプレイ６０のトーンカーブ、等の情報に基づき算出されたものである。なお、ディスプレイは、多原色の色再現が可能なタイプのものであっても構わない。

ディスプレイ値変換部５４は、ＸＹＺ推定演算部５２により推定されたＸＹＺ三刺激値の画像データとディスプレイプロファイル記憶部５３に記憶されているディスプレイプロファイルとを用いて演算を行うことによりディスプレイ６０に出力するためのディスプレイ画像データを生成する。

このような構成により、撮像装置１０や多色発光照明装置２０を異なる個体、機種などのものに変更しても、適応的に、高度な色再現を行うことが可能となる。

なお、環境光にフリッカが含まれている場合には、例えば、次のような処理を行うようにしても良い。まず、露光時間を変更して、例えば、１／１００秒時以下の露光時間に変更する処理が挙げられる。次に、フリッカの発生タイミングを、ＬＥＤを発光させて露光を行うタイミングに合わせる処理が挙げられる。さらに、複数回に渡って連続して撮影を行い、複数回の撮影で得られた画像を平均化することにより、フリッカの影響を低減する処理が挙げられる。

また、本実施形態の構成を、歯や皮膚などの色を測定する測定機器に応用すれば、従来の専用の測定機器に比して、小型で手軽に撮影することが可能となる。このとき、多色発光照明装置２０を被写体に近接させて照明光を照射すれば、環境光の影響も低減することができるために、測定精度を向上することができる。

特に、測定対象の被写体が歯である場合には、正反射が比較的大きい領域で発生し易いために、白とび除去が有効に機能する。また、被写体を歯とする場合には、複数枚の画像の位置ずれを補正し易いために、高精度の測定が可能となる。

一方、測定対象の被写体が皮膚などである場合には、複数枚の画像を取得する際の位置合わせが難しいために、画素毎の位置合わせが有効に機能する。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、環境光成分を除去した画像に基づき、正確な各種の色処理を行うことができる。具体的には、色毎に色処理を行うので、色検出精度（Ｓ／Ｎ等）が良くなる。

例えば、色処理として色度値の演算を行う場合には、環境光成分を影響を受けることなく、正確な色度値を算出することができる。

また、色処理としてマルチバンド画像の生成を行う場合には、環境光成分を影響を排除した正確な色のマルチバンド画像を得ることができる。

さらに、色処理としてディスプレイ画像データの生成を行う場合には、環境光成分を影響を受けることのない正確な画像をディスプレイに表示することができる。

そして、明るさを推定して、推定結果に基づき環境光成分除去を行うか否かを分岐するようにしたために、環境光成分除去が不要な場合の処理負荷を軽減することができる。

加えて、白とびがあるか否かを検出して、白とび部分については環境光成分除去の処理を異ならせる（例えば、白とび部分については環境光成分の除去を行わない）ようにしたために、通常の環境光成分除去を行った場合に白とび部分の除去結果が不正確になるのを防止することができる。

また、環境光画像と照射画像の位置ずれを検出して、位置ずれを補正してから環境光成分を除去するようにしているために、手振れや被写体振れの影響を低減して、より正確な環境光成分の除去を行うことができる。具体的には、色毎に位置ずれの補正を行うので、色処理に直接関与しない色の影響を除くことができ、位置ずれの補正精度が良くなる。

さらに、照射画像と非照射画像の露光条件に相違があるか否かを判断して、相違がある場合には、環境光成分除去の処理を行うに際して露光条件が一致するように各撮像画像を補正するようにしたために、露光条件の相違に左右されることなく環境光成分の除去を正確に行うことができる。
［実施形態３］

図２９および図３０は本発明の実施形態３を示したものであり、図２９はモノクロの撮像素子１２の分光感度特性の例を示す線図、図３０は多色発光部２１から照射される照明光の分光スペクトルの例を、撮像素子の分光感度特性の例と対比して示す線図である。

この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

本実施形態は、撮像素子１２をモノクロ画像を撮像するモノクロ撮像素子とすると共に、多色発光部２１が赤外線も発光し得るように構成したものとなっている。

まず、撮像素子１２に構成されているモノクロ画素は、図２９に示すように、可視光域および赤外（ＩＲ）域（例えば近赤外域）において受光感度を有するものである。

また、多色発光部２１は、曲線Ｌ１の相対発光強度の青色光を発光する第１ＬＥＤと、曲線Ｌ２の相対発光強度の緑色光を発光する第２ＬＥＤと、曲線Ｌ３の相対発光強度の赤色光を発光する第３ＬＥＤと、曲線Ｌ４の相対発光強度の第１の赤外光を発光する第４ＬＥＤと、曲線Ｌ５の相対発光強度の第２の赤外光を発光する第５ＬＥＤと、を備えている。

そして、図３０に示すように、撮像素子１２のモノクロ画素は、第１〜第５ＬＥＤの何れから発光される照射光についても、受光感度を有している。

このような構成において、多色発光照明装置２０は、第１〜第５ＬＥＤを例えば図９〜図１２に示したような順序で発光させ、撮像装置１０が各発光期間のそれぞれに露光を行う、いわゆる面順次撮影を行うようになっている。

こうして、照射部である多色発光照明装置２０は、可視光を照射するに限定されるものではなく、可視領域の分光スペクトルの光に加えて、さらに可視領域以外の分光スペクトルの光も照射することが可能である。従って、多色発光照明装置２０は、赤外光に限らず、紫外光などを照射する構成であっても構わない。

このような実施形態３によれば、モノクロ撮像素子を用いても、上述した実施形態１，２とほぼ同様の効果を奏することができる。さらに、赤外域における画像を取得することができる。そして、取得した赤外域の画像についても、勿論、環境光成分を除去することができる。
［実施形態４］

図３１および図３２は本発明の実施形態４を示したものであり、図３１はＩＲ画素を有する撮像素子１２の分光感度特性の例を示す線図、図３２は多色発光部２１から照射される照明光の分光スペクトルの例を、撮像素子の分光感度特性の例と対比して示す線図である。

この実施形態４において、上述の実施形態１〜３と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

本実施形態は、撮像素子１２をＩＲ画素付きのカラー撮像素子とすると共に、多色発光部２１が赤外線も発光し得るように構成したものとなっている。

まず、多色発光部２１の構成は上述した実施形態３と同様である。

一方、撮像素子１２は、図３１に示すように、曲線ｆｂに示すような青（Ｂ）の帯域の相対受光感度をもつＢ画素と、曲線ｆｇに示すような緑（Ｇ）の帯域の相対受光感度をもつＧ画素と、曲線ｆｒに示すような赤（Ｒ）の帯域の相対受光感度をもつＲ画素と、を備えるだけでなく、さらに、曲線ｆｉに示すような赤外帯域（例えば近赤外帯域）の相対受光感度をもつＩＲ画素と、を備えている。

また、図３２に示すように、第１〜第５のＬＥＤの相対発光強度を、撮像素子の分光スペクトルと対比すると、第１のＬＥＤを発光して得られる画像はＢ画素から得られるＢ画像を用いれば良く、第２のＬＥＤを発光して得られる画像はＧ画素から得られるＧ画像を用いれば良く、第３のＬＥＤを発光して得られる画像はＲ画素から得られるＲ画像を用いれば良いことが分かる。これに対して、第４のＬＥＤを発光して得られる画像、および第５のＬＥＤを発光して得られる画像は、何れもＩＲ画素から得られる画像（ＩＲ画像という）を用いれば良いことが分かる。

従って、最低で２回の撮像動作を行えば、第１〜第５のＬＥＤの照明光に対応する５つの分光スペクトルの画像を得ることが可能である。

具体的に、第１回目の撮像時に、例えば、第１ＬＥＤ、第２ＬＥＤ、第３ＬＥＤ、第５ＬＥＤを同時に発光させて、Ｂ画像として曲線Ｌ１の帯域の画像を、Ｇ画像として曲線Ｌ２の帯域の画像を、Ｒ画像として曲線Ｌ３の帯域の画像を、ＩＲ画像として曲線Ｌ５の帯域の画像をそれぞれ得る。続く第２回目の撮像時に、第４ＬＥＤを発光させて、ＩＲ画像として曲線Ｌ４の帯域の画像を得る。ただし、２回の撮像で５つの分光スペクトルの画像を得る方法はその他にも幾つかあるために、適宜の方法を用いれば良い。また勿論、上述したように、１回の撮像毎に１つの帯域の画像を順次得るようにしても良いし、その他の態様で各帯域の画像を得るようにしても構わない。

このような実施形態４によれば、ＩＲ画素を有するカラー撮像素子を用いることによっても、上述した実施形態１〜３とほぼ同様の効果を奏することができる。さらに、モノクロ撮像素子を用いる実施形態３に比して、撮像回数を削減することができ、手振れや被写体振れの影響を低減することができる利点がある。そして、このような実施形態の場合には、得られた環境光除去済みの各分光スペクトル画像を用いて、特定の光源下でのみ観測される現象を検出するなどに用いることもできる。

なお、上述では主として画像補正装置について説明したが、上述したように画像補正処理を行う画像処理方法であっても良いし、上述したような画像補正処理をコンピュータに行わせるための制御プログラム、該制御プログラムを記録するコンピュータにより読み取り可能な記録媒体（あるいはデバイス（Device））、等であっても構わない。

また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…画像補正装置
２…記憶部
３…画像特定部
４…環境光成分除去部
５…画像入力部
６…照明情報入力部
７…システム制御部
８…推定部
１０…撮像装置
１１…撮像光学系
１２…撮像素子
１３…信号処理部
１４…カメラ制御部
１５…記録媒体
２０…多色発光照明装置（照射部）
２１…多色発光部
２２…発光制御部
３１…除去色特定部
３２…ずれ検出部
３３…判断部
４０，５０…色処理装置
４１…画像入力／振分部
４２…マルチバンド画像メモリ
４３…スペクトル推定演算部
４４…観察スペクトル演算部
４５…カラー画像作成部
４６…色度値演算部
５１…入力プロファイル記憶部
５２…ＸＹＺ推定演算部
５３…ディスプレイプロファイル記憶部
５４…ディスプレイ値変換部
６０…ディスプレイ

Claims (38)

1. 画像を補正する画像補正装置であって、
   複数の分光スペクトルの照射光の内の、何れかの分光スペクトルの照射光で照射された被写体を撮像した撮像画像が複数と、何れの前記分光スペクトルの照射光にも照射されていない被写体を撮像した撮像画像と、前記撮像画像のそれぞれが複数の前記分光スペクトルの内のどの前記分光スペクトルの光で照射されたかを示す照射情報と、を記憶する記憶部と、
   前記照射情報に基づいて、前記照射光に照射されない状態で撮影された前記被写体の前記撮像画像を非照射画像として、前記非照射画像以外の前記撮像画像を照射画像として、それぞれ特定する画像特定部と、
   前記非照射画像を用いて、前記照射画像の環境光成分を除去する補正を行う環境光成分除去部と、
   を具備したことを特徴とする画像補正装置。
2. 前記環境光成分除去部は、前記照射画像の画素値から前記非照射画像の画素値を減算することにより前記照射画像の環境光成分を除去することを特徴とする請求項１に記載の画像補正装置。
3. 前記環境光成分除去部は、前記減算する分光スペクトル成分を特定する除去色特定部を有し、前記非照射画像を、基準となる複数の分光スペクトル成分毎に複数の画像に分割し、前記除去色特定部により特定された分光スペクトル成分の画素値を減算することを特徴とする請求項２に記載の画像補正装置。
4. 前記環境光成分除去部は、前記照射画像および前記非照射画像を、同じ分光スペクトル成分の画素値を減算することを特徴とする請求項３に記載の画像補正装置。
5. 前記記憶部は、前記撮像画像を撮像する撮像素子の画素の色成分の情報を撮像色情報として記憶し、
   前記環境光成分除去部は、前記撮像色情報が示す色成分の分光スペクトル成分に基づいて前記分割することを特徴とする請求項４に記載の画像補正装置。
6. 前記環境光成分除去部は、前記撮像色情報が示す色成分の内の、前記照射画像の分光スペクトルに多く含まれる色成分の分光スペクトル成分の画素値で減算することを特徴とする請求項５に記載の画像補正装置。
7. 前記環境光成分除去部は、前記分割した画像毎に前記照射画像と前記非照射画像との画像の位置ずれを検出するずれ検出部を有し、前記ずれ検出部により検出された位置ずれを補正した上で前記減算することを特徴とする請求項３〜５の何れか一項に記載の画像補正装置。
8. 前記環境光成分除去部は、前記分割された画像の内の、前記照射光の分光スペクトルが占める割合に応じて選択された画像のみ減算することを特徴とする請求項４〜７の何れか一項に記載の画像補正装置。
9. 前記環境光成分除去部は、前記照射画像毎に、複数の前記非照射画像から除去する非照射画像を選択することを特徴とする請求項１〜８の何れか一項に記載の画像補正装置。
10. 前記環境光成分除去部は、前記照射画像の撮影時間と一番近い撮影時間の前記非照射画像で除去することを特徴とする請求項９に記載の画像補正装置。
11. 前記環境光成分除去部は、前記照射画像の前記分光スペクトル毎に除去する前記非照射画像を選択することを特徴とする請求項９に記載の画像補正装置。
12. 前記記憶部は、前記照射画像および前記非照射画像の露光条件を示す露光条件情報を記憶し、
    前記環境光成分除去部は、前記照射画像と前記非照射画像との露光条件を合わせて前記除去することを特徴とする請求項１〜８の何れか一項に記載の画像補正装置。
13. 前記環境光成分除去部は、前記露光条件情報に基づいて、前記照射画像と前記非照射画像の露光条件を合わせるか否かを判断する判断部を有し、前記判断部において露光条件を合わせると判断された場合に、前記照射画像と前記非照射画像との露光条件を合わせて前記除去することを特徴とする請求項１２に記載の画像補正装置。
14. 前記環境光成分除去部は、前記照射画像と前記非照射画像との画像の位置ずれを検出するずれ検出部を有し、前記ずれ検出部により検出された位置ずれを補正した上で前記除去することを特徴とする請求項１〜１３の何れか一項に記載の画像補正装置。
15. 前記環境光成分除去部は、前記非照射画像に白とびしている部分があるか否かを判断する判断部を有し、前記判断部により前記非照射画像に白とびしている部分があると判断された場合に、前記部分を除いて前記除去することを特徴とする請求項１〜１４の何れか一項に記載の画像補正装置。
16. 前記環境光成分除去部は、前記非照射画像に白とびしている部分があるか否かを判断する判断部を有し、前記判断部により前記非照射画像に白とびしている部分があると判断された場合に、前記部分が前記白とびしていることを示す白とび情報を生成することを特徴とする請求項１〜１４の何れか一項に記載の画像補正装置。
17. 前記環境光成分除去部は、前記白とび情報により、前記照射画像を補正することを特徴とする請求項１６に記載の画像補正装置。
18. 前記記憶部は、前記照射画像と関連付けて前記白とび情報を記憶することを特徴とする請求項１６に記載の画像補正装置。
19. 前記非照射画像から撮像時の明るさを推定する推定部をさらに具備し、
    前記環境光成分除去部は、前記推定部により前記明るさが所定の明るさより明るいと推定された場合のみ、前記除去することを特徴とする請求項１〜１８の何れか一項に記載の画像補正装置。
20. 前記記憶部は、前記被写体を照射する照射光の分光スペクトルの種類を示す光種類情報を記憶し、
    前記画像特定部は、前記記憶部に記憶されている前記光種類情報により示される前記照射光の種類単位で前記非照射画像を特定することを特徴とする請求項１に記載の画像補正装置。
21. 前記画像特定部は、前記撮像画像の付随データから特定することを特徴とする請求項１に記載の画像補正装置。
22. 前記画像特定部は、前記撮像画像を解析して特定することを特徴とする請求項１に記載の画像補正装置。
23. 前記照射情報は、前記撮像画像の撮像順を示す情報であることを特徴とする請求項１に記載の画像補正装置。
24. 前記照射情報は、前記撮像画像の撮像時間を示す情報であることを特徴とする請求項１に記載の画像補正装置。
25. 前記照射画像の複数を用いて画像を生成する色処理装置をさらに有することを特徴とする請求項１に記載の画像補正装置。
26. 前記照射画像のスペクトル情報または測色値を生成する色処理装置をさらに有することを特徴とする請求項１に記載の画像補正装置。
27. ４色以上の色を対象として、色処理を実施する色処理装置をさらに有することを特徴とする請求項１に記載の画像補正装置。
28. 前記照射光の波長情報を用いた画像内の所望の部位のスペクトル推定を行う色処理装置をさらに有することを特徴とする請求項１に記載の画像補正装置。
29. 前記記憶部は、前記被写体を照射する照射光の分光スペクトルの種類を示す光種類情報を記憶し、
    前記記憶部に記憶されている前記光種類情報により示される同じ種類の前記照射光を照射するまでの間に少なくとも１回は、どの種類の照射光も照射しない期間を有する照射部をさらに具備することを特徴とする請求項１に記載の画像補正装置。
30. 前記記憶部に記憶されている前記光種類情報により示される全ての種類の前記照射光を合わせて１セットとするとき、
    前記照射部は、前記１セットの内の最初の種類の前記照射光を照射した後であって最後の種類の前記照射光の照射を開始する迄の間に、前記期間を有することを特徴とする請求項２９に記載の画像補正装置。
31. 前記照射部は、可視領域の分光スペクトルの光に加えて、さらに可視領域以外の分光スペクトルの光も照射することを特徴とする請求項１に記載の画像補正装置。
32. 被写体を撮像し、前記撮像画像を生成する撮像部をさらに具備し、
    前記記憶部は、前記撮像部で撮像された前記撮像画像を記憶することを特徴とする請求項１に記載の画像補正装置。
33. 前記撮像部は、前記被写体を照射する照射光の分光スペクトルが変わる毎に撮像することを特徴とする請求項３２に記載の画像補正装置。
34. 前記撮像部は、モノクロ画像を撮像することを特徴とする請求項３２に記載の画像補正装置。
35. コンピュータに、画像を補正する処理を行わせるための画像補正プログラムであって、コンピュータに、
    複数の分光スペクトルの照射光の内の、何れかの分光スペクトルの照射光で照射された被写体を撮像した撮像画像が複数と、何れの前記分光スペクトルの照射光にも照射されていない被写体を撮像した撮像画像と、前記撮像画像のそれぞれが複数の前記分光スペクトルの内のどの前記分光スペクトルの光で照射されたかを示す照射情報と、を記憶する記憶ステップと、
    前記照射情報に基づいて、前記照射光に照射されない状態で撮影された前記被写体の前記撮像画像を非照射画像として、前記非照射画像以外の前記撮像画像を照射画像として、それぞれ特定する画像特定ステップと、
    前記非照射画像を用いて、前記照射画像の環境光成分を除去する補正を行う環境光成分除去ステップと、
    を行わせるための画像補正プログラム。
36. さらにコンピュータに、
    前記被写体を撮像し、前記撮像画像を生成する撮像ステップと、
    撮像ステップで撮像された撮像画像を記憶するとともに、前記被写体を照射する照射光の分光スペクトルの種類を示す光種類情報を記憶する記憶ステップと、
    前記記憶ステップにより記憶された前記光種類情報により示される同じ種類の前記照射光を照射するまでの間に少なくとも１回は、どの種類の照射光も照射しない期間を有する照射ステップと、
    を行わせることを特徴とする請求項３５に記載の画像補正プログラム。
37. 画像を補正するための画像補正方法であって、
    複数の分光スペクトルの照射光の内の、何れかの分光スペクトルの照射光で照射された被写体を撮像した撮像画像が複数と、何れの前記分光スペクトルの照射光にも照射されていない被写体を撮像した撮像画像と、前記撮像画像のそれぞれが複数の前記分光スペクトルの内のどの前記分光スペクトルの光で照射されたかを示す照射情報と、を記憶する記憶ステップと、
    前記照射情報に基づいて、前記照射光に照射されない状態で撮影された前記被写体の前記撮像画像を非照射画像として、前記非照射画像以外の前記撮像画像を照射画像として、それぞれ特定する画像特定ステップと、
    前記非照射画像を用いて、前記照射画像の環境光成分を除去する補正を行う環境光成分除去ステップと、
    を含むことを特徴とする画像補正方法。
38. 前記被写体を撮像し、前記撮像画像を生成する撮像ステップと、
    撮像ステップで撮像された撮像画像を記憶するとともに、前記被写体を照射する照射光の分光スペクトルの種類を示す光種類情報を記憶する記憶ステップと、
    前記記憶ステップにより記憶された前記光種類情報により示される同じ種類の前記照射光を照射するまでの間に少なくとも１回は、どの種類の照射光も照射しない期間を有する照射ステップと、
    をさらに含むことを特徴とする請求項３７に記載の画像補正方法。

Images