JP2005109935A - 画像データ処理装置および画像データ処理プログラム - Google Patents

Abstract

【課題】 人物等を撮影した実写映像と映像合成した場合に、分光特性の不一致による違和感が生じることのない全方位画像を生成することができ、撮像対象に含まれる被写体の正確な反射係数を算出することができる画像データ処理装置、プログラムを提供する。
【解決手段】 任意の波長帯域に分光して撮像対象を撮像する分光カメラと、この分光カメラを全方位に回動させるカメラ雲台とを使用し、当該分光カメラで全方位に亘って前記撮像対象を任意の撮像方向、任意の波長帯域および任意のシャッタースピードによって撮像した画像データに基づいて、全方位に亘って波長帯域を分光した全方位分光画像データを生成処理する画像データ処理装置１であって、制御信号出力手段９と、画像データ領域収納手段１３と、画像データ生成手段１５と、を備えた。
【選択図】 図１

Description

本発明は、画像データを処理する画像データ処理装置および画像データ処理プログラムに係り、特に、画像データを処理し、コンピュータグラフィックスによるバーチャルスタジオに活用するものに関する。

従来、撮像カメラによって全周囲（全方位、全方向）を撮像した画像をつなぎ合わせて、全方位画像を生成するものに、以下の手法がある。なお、この全方位画像は、バーチャルスタジオ（コンピュータグラフィックスによる仮想スタジオ）等に利用されるものである（非特許文献１参照）。

例えば、撮像カメラによって、撮像対象（通常、複数の被写体を含むもの）の全方位画像を単一のシャッタースピードおよびアイリス量（レンズの絞り量）によって、色の三原色である赤、緑、青の３色の分光画像として撮像する手法１がある（特許文献１参照）。

また、他にも全方位のレンジデータとＲＧＢ画像とを計測し、反射係数を推定する手法２がある（非特許文献２参照）。
特開２０００−１４７６４３号公報（段落００１０〜００１６、図１） 映像情報メディア学会誌Ｖｏｌ．５５，Ｎｏ．１，ｐｐ１５９〜１６６（２００１）「超高精細全天周画像を用いた実写ベース仮想スタジオ」 映像情報メディア学会誌Ｖｏｌ．５５，Ｎｏ．５，ｐｐ７１８〜７２４（２００１）「照明の影響を含まない立体映像部品の取得法」

しかしながら、手法１では、全方位に亘って撮像対象をそのまま撮像しているので、撮像対象に含まれている被写体相互の影や反射光が存在する他、当該撮像対象が外乱光によって、照明されているので、当該撮像対象への入射光量が未知になってしまう。この結果、入射光量が未知であると、撮像対象に含まれている被写体上で拡散反射する入射光の拡散反射係数を正確に求めることができなかった。

また、一般に、撮像カメラの画角が広がれば、撮像対象に様々な被写体が含まれることになり、この手法１では、単一のシャッタースピードおよびアイリス量によって全方位を撮像しているので、ダイナミックレンジが狭い状態であり、全ての被写体を良好な状態で撮像できなかった。

例えば、撮像カメラで、全方位画像として屋外を撮像する場合、日向と日陰とでは、光量差がかなりあるため、単一のシャッタースピードおよびアイリス量で撮像すると、日向を撮像した部分が白潰れするか、日陰を撮像した部分が黒潰れするといったことになる。しかも、この手法１では、赤、緑、青の３色の分光画像しか求めていないので、これらの分光画像と、人物等を撮影した実写映像とを映像合成して実写画像を生成する場合に、分光画像の各色の成分のバランスを調整しても、当該分光画像の分光特性が、実写映像側の照明の分光特性に整合しきれない場合があり、この場合に違和感が生じる。

また、全方位画像は、撮像したままの分光画像からなるものであり、この分光画像は、照明（日照等による自然光、照明器具等による人工光）の方向を変更することができないので、当該分光画像から全方位画像を単に映像合成した場合であっても、違和感が生じる場合がある。つまり、映像合成する全方位画像において、照明の方向を変更するためには、予め、撮像対象に含まれる被写体相互の影や反射を含まない画像と、この被写体上で拡散反射する入射光の拡散反射係数とを求めることが必要になる。

さらに、手法２でも、同様に、撮像対象に含まれている被写体間の影や照明による相互反射が除去できないため、映像合成した全方位画像を利用して生成したバーチャスタジオにおいて、照明条件を変更した場合に、本来、被写体の影が生じないところに影が残ってしまうので、映像合成した全方位画像の分光特性と、バーチャスタジオにおける照明の分光特性との整合がとれないため、違和感が生じる。また、手法１と同様に、ダイナミックレンジが狭く、外乱光を除去していないので、正確な拡散反射係数を求めることができない。

そこで、本発明では、前記した問題を解決し、人物等を撮影した実写映像と映像合成した場合に、分光特性の不一致による違和感が生じることのない全方位画像を生成することができ、撮像対象に含まれる被写体の正確な反射係数を算出することができる画像データ処理装置および画像データ処理プログラムを提供することを目的とする。

前記課題を解決するため、請求項１記載の画像データ処理装置は、任意の波長帯域に分光して撮像対象を撮像する分光カメラと、この分光カメラを全方位に回動させるカメラ雲台とを使用し、当該分光カメラで全方位に亘って前記撮像対象を任意の撮像方向、任意の波長帯域および任意のシャッタースピードによって撮像した画像データに基づいて、全方位に亘って波長帯域を分光した全方位分光画像データを生成処理する画像データ処理装置であって、制御信号出力手段と、画像データ領域収納手段と、画像データ生成手段と、を備える構成とした。

かかる構成によれば、画像データ処理装置は、制御信号出力手段によって、分光カメラを制御する分光カメラを制御する分光カメラ制御信号およびカメラ雲台を制御するカメラ雲台制御信号を出力する。分光カメラ制御信号は、分光カメラに備えられているシャッターのシャッタースピードの調整や、当該分光カメラに備えられている特定の波長帯域の入射光を分光する液晶チューナブルフィルタの当該波長帯域の調整等を制御する信号である。カメラ雲台制御信号は、分光カメラを載置した載置台を、一定角度ずつ回転制御する信号である。

続いて、この画像データ処理装置は、画像データ領域収納手段によって、制御信号出力手段で出力された分光カメラ制御信号およびカメラ雲台制御信号に基づき、カメラ雲台の載置台が小刻みの角度に回転し、分光カメラの撮像方向が一時的に固定され、この状態で、分光カメラによって、任意のシャッタースピードおよび任意の波長帯域で取得された画像データを次のように処理する。なお、この分光カメラによる画像データの取得は、分光カメラの仰角も変更して全方位（３６０度、全方向）について行われる。そして、この取得された画像データについて、同じ撮像方向で撮像され、同じ波長帯域の画像データの各画素の画素値に、シャッタースピードをパラメータとして予め設定した算出式による算出値を乗算し、この算出値を乗算した画素値を、予め各画素のデータ量が増加するように設定した画像データ領域の対応する各座標に収納する。なお、この画像データ領域は、画像データから全方位分光画像データを映像合成する場合に各画像データを埋め込むデータ領域である。

そして、この画像データ処理装置は、画像データ生成手段によって、画像データ領域収納手段で画像データ領域の各座標に収納した画素を統合して、全方位分光画像データを生成する。

請求項２記載の画像データ処理装置は、光源および偏光フィルタを有し、任意の波長帯域に分光して撮像対象を撮像する分光カメラおよび当該撮像対象までの距離を測定する測定手段と、これら分光カメラおよび測定手段を全方位に回動させるカメラ雲台とを使用し、前記撮像対象に反射する反射光を算出するための反射係数を推定する画像データ処理装置であって、制御信号出力手段と、差分最小画像データ生成手段と、画像データ領域収納手段と、画像データ生成手段と、距離画像算出手段と、法線ベクトル算出手段と、反射係数算出手段と、を備える構成とした。

かかる構成によれば、画像データ処理装置は、制御信号出力手段によって、分光カメラ制御信号、測定手段制御信号およびカメラ雲台制御信号を出力し、差分画像データ生成手段によって、分光カメラで撮像された画像データから同じ偏光方向、同じ撮像方向、同じ波長帯域および同じシャッタースピードの画像データそれぞれについて、光源点灯時の画像データの各画素の画素値と光源消灯時の画像データの各画素の画素値との差分を算出し、この差分が各偏光方向で最小となる画素を集めた差分最小画像データを生成する。なお、この場合の各画素の差分とは、輝度値の差である。

続いて、この画像データ処理装置は、画像データ領域収納手段によって、差分最小画像データ生成手段で生成した差分最小画像データの各画素の画素値に、シャッタースピードをパラメータとして予め設定した算出式による算出値を乗算し、この算出値を乗算した画素値を、予め各画素のデータ量が増加するように設定した画像データ領域の各座標に収納する。そして、この画像データ処理装置は、画像データ生成手段によって、画像データ領域の各座標に収納した画素を統合し、全方位分光画像データとして生成する。

そして、この画像データ処理装置は、距離画像算出手段によって、測定手段で測定された測定データに基づいて、画像データの各画素の奥行き情報となる距離画像を算出し、法線ベクトル算出手段によって、距離画像から撮像対象の法線方向を示す法線ベクトル情報を算出する。なお、測定手段は、分光カメラ共に、撮像対象を撮像する多眼カメラや、撮像対象に含まれている被写体の形状を計測するレーザレンジセンサ等であればよい。

その後、この画像データ処理装置は、反射係数算出手段によって、法線ベクトル算出手段で算出した法線ベクトル情報と、距離画像算出手段で算出した距離画像と、光源の配光特性から求められる入射光量と、画像データ生成手段で生成した全方位分光画像データとに基づいて、反射係数を算出する。すなわち、この反射係数は、光源から撮像対象に含まれている被写体までの入射角度と、入射光量と、反射光量とが既知となれば求めることができる。つまり、入射角度については、分光カメラの設置位置に関する位置情報と、法線ベクトル情報と、距離画像とによって求めることができ、入射光量については、光源から撮像対象に含まれる被写体への入射光量を一様とみなし、事前に入射光量を計測しておけば求めることができ、反射光量については、全方位分光画像データから得られる反射光に基づいて求めることができ、これらによって、反射係数（拡散反射係数）を算出（推定）することができる。

請求項３記載の画像データ処理装置は、請求項１または請求項２に記載の画像データ処理装置において、画像データ領域収納手段が、画像データ領域設定手段と、算出値出力手段と、画素値置換手段と、を備えることを特徴とする。

かかる構成によれば、画像データ処理装置は、画像データ領域設定手段によって、画像データ領域の各座標におけるデータ量を設定する。この画像データ領域の各座標におけるデータ量は、分光カメラで撮像した際の画像データの各画素のデータ量を増加させるように設定する。

続いて、画像データ処理装置の画像データ領域収納手段は、算出値出力手段によって、シャッタースピードが最小となる最小シャッタースピードと、画像データまたは差分最小画像データの各画素のデータ量および画像データ領域の各画素のデータ量の比率とを基準に、各シャッタースピードをパラメータとして、算出値を出力する。つまり、算出値出力手段で用いられる算出式は、最小シャッタースピードと、画像データの各画素のデータ量および画像データ領域の各画素のデータ量の比率とを定数として扱うと共に、シャッタースピードを変数として扱って算出値を出力する。

そして、この画像データ領域収納手段は、画素値置換手段によって、同じ撮像方向および同じ波長帯域の画像データまたは差分最小画像データ毎に、シャッタースピードが最速となる最速シャッタースピードで撮像された画像データの各画素の画素値が予め設定した閾値以下になる場合、当該閾値以下の画素値に、最速シャッタースピードをパラメータとして算出値出力手段で出力された算出値を乗算し、該当する各座標に代入すると共に、シャッタースピードが２番目に最速となる第二最速シャッタースピードで撮像された画像データの各画素の画素値が予め設定された閾値以下になる場合、第二最速シャッタースピードをパラメータとして算出値出力手段で出力された算出値を乗算し、該当する各座標に代入する。つまり、画像データ領域の各画素に収納される画素値は、最速シャッタースピード、第二最速シャッタースピードをパラメータとした算出式によって得られた算出値を、画像データまたは差分最小画像データの各画素の画素値に乗算したものとなる。

請求項４記載の画像データ処理プログラムは、任意の波長帯域に分光して撮像対象を撮像する分光カメラと、この分光カメラを全方位に回動させるカメラ雲台とを使用し、当該分光カメラで全方位に亘って前記撮像対象を任意の撮像方向、任意の波長帯域および任意のシャッタースピードによって撮像した画像データに基づいて、全方位に亘って波長帯域を分光した全方位分光画像データを生成処理する装置を、制御信号出力手段、画像データ領域収納手段、画像データ生成手段、として機能させる構成とした。

かかる構成によれば、画像データ処理プログラムは、制御信号出力手段によって、分光カメラを制御する分光カメラを制御する分光カメラ制御信号およびカメラ雲台を制御するカメラ雲台制御信号を出力し、画像データ領域収納手段によって、制御信号出力手段で出力された分光カメラ制御信号およびカメラ雲台制御信号に基づき、分光カメラによって、同じ撮像方向および同じ波長帯域の画像データ毎に、当該画像データの各画素の画素値に、シャッタースピードをパラメータとして予め設定した算出式による算出値を乗算し、この算出値を乗算した画素値を、予め各画素のデータ量が増加するように設定した画像データ領域の対応する各座標に収納する。そして、この画像データ処理プログラムは、画像データ生成手段によって、画像データ領域収納手段で画像データ領域の各座標に収納した画素を統合して、全方位画像データを生成する。

請求項５記載の画像データ処理プログラムは、光源および偏光フィルタを有し、任意の波長帯域に分光して撮像対象を撮像する分光カメラおよび当該撮像対象までの距離を測定する測定手段と、これら分光カメラおよび測定手段を全方位に回動させるカメラ雲台とを使用し、前記撮像対象に反射する反射光を算出するための反射係数を推定する装置を、制御信号出力手段、差分最小画像データ生成手段、画像データ領域収納手段、画像データ生成手段、距離画像算出手段、法線ベクトル算出手段、反射係数算出手段、として機能させる構成とした。

かかる構成によれば、画像データ処理プログラムは、制御信号出力手段によって、分光カメラ制御信号、測定手段制御信号およびカメラ雲台制御信号を出力し、差分画像データ生成手段によって、分光カメラで撮像された画像データから同じ偏光方向、同じ撮像方向、同じ波長帯域および同じシャッタースピードの画像データそれぞれについて、光源点灯時の画像データの各画素の画素値と光源消灯時の画像データの各画素の画素値との差分を算出し、この差分が各偏光方向で最小となる画素を集めた差分最小画像データを生成する。

続いて、この画像データ処理プログラムは、画像データ領域収納手段によって、差分最小画像データで生成した差分最小画像データの各画素の画素値に、シャッタースピードをパラメータとして予め設定した算出式による算出値を乗算し、この算出値を乗算した画素値を、予め各画素のデータ量が増加するように設定した画像データ領域の各座標に収納し、画像データ生成手段によって、画像データ領域の各座標に収納した画素を統合し、全方位分光画像データとして生成する。

そして、この画像データ処理プログラムは、距離画像算出手段によって、測定手段で測定された測定データに基づいて、画像データの各画素の奥行き情報となる距離画像を算出し、法線ベクトル算出手段によって、距離画像から撮像対象の法線方向を示す法線ベクトル情報を算出し、反射係数算出手段によって、法線ベクトル情報と、距離画像と、光源の配光特性から求められる入射光量と、全方位分光画像データとに基づいて、反射係数を算出する。

請求項１、４に記載の発明によれば、分光カメラを制御する分光カメラ制御信号およびカメラ雲台を制御するカメラ雲台制御信号を出力し、分光カメラ制御信号およびカメラ雲台制御信号に基づき、カメラ雲台の載置台が小刻みの角度に回転し、分光カメラの撮像方向が一時的に固定され、この状態で、分光カメラによって、任意のシャッタースピードおよび任意の波長帯域で取得された画像データについて、同じ撮像方向で撮像され、同じ波長帯域の画像データの各画素の画素値に、シャッタースピードをパラメータとして予め設定した算出式による算出値を乗算し、この算出値を乗算した画素値を、予め各画素のデータ量が増加するように設定した画像データ領域の対応する各座標に収納する。この結果、画像データ領域の各座標に収納した画素を統合して、全方位画像データを生成することができる。

請求項２、５に記載の発明によれば、分光カメラ制御信号、測定手段制御信号およびカメラ雲台制御信号を出力し、分光カメラで撮像された画像データから同じ偏光方向、同じ撮像方向、同じ波長帯域および同じシャッタースピードの画像データそれぞれについて、光源点灯時の画像データの各画素の画素値と光源消灯時の画像データの各画素の画素値との差分を算出し、この差分が各偏光方向で最小となる画素を集めた差分最小画像データを生成する。この差分最小画像データの各画素の画素値に、シャッタースピードをパラメータとして予め設定した算出式による算出値を乗算し、この算出値を乗算した画素値を、予め各画素のデータ量が増加するように設定した画像データ領域の各座標に収納する。画像データ領域の各座標に収納した画素を統合し、全方位分光画像データとして生成する。そして、測定手段で撮像された測定データに基づいて、画像データの各画素の奥行き情報となる距離画像を算出し、この距離画像から撮像対象の法線方向を示す法線ベクトル情報を算出する。この結果、法線ベクトル情報と、距離画像算出手段で算出した距離画像と、光源の配光特性から求められる入射光量と、全方位分光画像データとに基づいて、反射係数を算出することができる。

請求項３に記載の発明によれば、画像データ領域の各座標におけるデータ量を設定し、シャッタースピードが最小となる最小シャッタースピードと、画像データの各画素のデータ量および画像データ領域の各画素のデータ量の比率とを基準に、各シャッタースピードをパラメータとして、算出値を出力して、同じ撮像方向および同じ波長帯域の画像データまたは差分最小画像データ毎に、シャッタースピードが最速となる最速シャッタースピードで撮像された画像データの各画素の画素値が予め設定した閾値以下になる場合、当該閾値以下の画素値に、最速シャッタースピードをパラメータとして算出値を乗算し、該当する各座標に代入すると共に、シャッタースピードが２番目に最速となる第二最速シャッタースピードで撮像された画像データの各画素の画素値が予め設定された閾値以下になる場合、第二最速シャッタースピードをパラメータとして算出値を乗算し、該当する各座標に代入する。このため、シャッタースピードに基づいて算出値を求め、この算出値を画素値、つまり、各画素の輝度に反映させたことによって、白つぶれ、黒つぶれ、輝度値の量子化誤差を防止して、全方位画像を合成することができる。

次に、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
（画像データ処理システムの概略）
図１に画像データ処理システムの概略を示した概略図を示す。この図１に示すように、画像データ処理システムＡは、周囲の背景や被写体を撮像対象として、当該撮像対象を撮像した画像データをつなぎ合わせて、バーチャルリアリティ、コンピュータグラフィックス等の分野で活用される全方位分光画像データを生成すると共に、当該背景や当該被写体における反射係数を算出するもので、画像データ処理装置１と、分光カメラ３と、多眼カメラ５（５Ａ、５Ｂ）と、カメラ雲台７と、表示装置２とを備えている。

分光カメラ３は、画像データ処理装置１から出力される分光カメラ制御信号に基づいて、撮像対象を撮像して分光した画像データを当該装置１に出力するもので、図示しない、対物レンズと、照明光を照射する光源と、任意の偏光方向に照明光を偏光させる直線偏光フィルタと、被写体で反射した反射光の特定の波長のみ選択透過させる液晶チューナブルフィルタと、直線偏光フィルタの偏向方向を制御する直線偏光フィルタ偏光方向制御モータと、偏光された照明光を分岐するハーフミラーと、ハーフミラーを通過した照明光を吸収する吸収板と、シャッターを有して、反射光の特定の波長（可視域）に感度の高い高感度撮像素子とを有している。

なお、この実施の形態では、分光カメラ３によって撮像される画像データは、液晶チューナブルフィルタ（図示せず）によって、３３色に分光した分光画像を高感度撮像素子（図示せず）で撮像したものである。この３３色の分光画像は液晶チューナブルフィルタの仕様によるものであり、３３色以上の分光画像（画像データ）を画像データ処理装置１で処理することは可能である。また、分光カメラ３の主点と、カメラ雲台７の回転中心点（後記）とは一致している。

測定手段としての多眼カメラ５（５Ａ、５Ｂ）は、画像データ処理装置１から出力される多眼カメラ制御信号に基づいて、撮像対象を撮像した多眼カメラデータを出力するもので、この多眼カメラデータが画像データ処理装置１で処理され、撮像対象に含まれている被写体の形状と、分光カメラ３から当該被写体までの距離の情報（三角測量の原理による）となる距離画像とが求められる。この実施の形態では、多眼カメラ５（５Ａ、５Ｂ）を、分光カメラ３の両脇に２台設置しているが、２台以上備えればよく、台数が多くなるほど、分光カメラ３から被写体までの距離の情報を正確に算出することができる。また、多眼カメラ５（５Ａ、５Ｂ）の代わりに、撮像対象に含まれる被写体の形状を測定する測定手段として、レーザ光切断法やレーザ飛行距離法により被写体の形状を測定するレーザレンジセンサ（図示せず）を使用してもよい。

カメラ雲台７は、画像データ処理装置１から出力されるカメラ雲台制御信号に基づいて駆動し、分光カメラ３および多眼カメラ５の撮像方向を順次変更させるもので、分光カメラ３および多眼カメラ５（５Ａ、５Ｂ）を支持する支持柱７ａと、この支持柱７ａを固定する載置板７ｂと、この載置板７ｂを、当該カメラ雲台７を設置した設置面に対して直交する側面で軸支する支持軸７ｄと、この支持軸７ｄを介して載置板７ｂを昇降自在に支持する支持台７ｃと、この支持台７ｃを所定角度で回動自在に支持する胴体部７ｅと、この胴体部７ｅの設置面からの高さを調整可能に支持する脚部７ｆとを備えている。

つまり、この実施の形態における全方位分光画像データは、分光カメラ３によって、全方向に亘って、撮像対象を分光した色毎（特定の波長毎）に撮像した分光画像（画像データ）を、画像データ処理装置１により処理すること（詳細は後記）によって得られるものである。

表示装置２は、ＣＲＴや液晶等のディスプレイであり、画像データ処理装置１によって処理された処理結果（全方向分光画像データ、反射係数の数値）を表示するためのものである。

（画像データ処理装置の構成）
これより、図１に示した画像データ処理装置１の構成について、図２に示すブロック図を参照して詳細に説明する。
画像データ処理装置１は、分光カメラ３で撮像された画像データおよび多眼カメラ５（５Ａ、５Ｂ）で撮像された多眼カメラデータを画像処理して、全方位分光画像データおよび撮像した撮像対象に含まれる被写体の反射係数を算出するもので、制御信号出力手段９と、差分最小画像データ生成手段１１と、画像データ領域収納手段１３と、画像データ生成手段１５と、距離画像算出手段１７と、法線ベクトル算出手段１９と、反射係数算出手段２１とを備えている。なお、この画像データ処理装置１は、パーソナルコンピュータをベースに構成されており、各手段９〜２１は、当該パーソナルコンピュータに備えられているハードウェアとソフトウェアとが協働して動作する場合の機能を特定したものである。また、この図２では、図示を省略したが、画像データ処理装置１で処理された全方位分光画像データと、反射係数とを蓄積する蓄積手段（図示せず）を、当該装置１の内部または当該装置１の外部に備えてもよく、画像データ処理装置１は、一旦処理した全方位分光画像データと反射係数とを当該蓄積手段（図示せず）に入出力して利用することができる。この蓄積手段（図示せず）に後記する、画像データ（光源点灯時画像データ、光源消灯時画像データ）、差分最小画像データ、距離画像、法線ベクトル情報を蓄積してもよい。

制御信号出力手段９は、分光カメラ３に分光カメラ制御信号、多眼カメラ５（５Ａ、５Ｂ）に多眼カメラ制御信号およびカメラ雲台７にカメラ雲台制御信号を出力するものである。
分光カメラ制御信号は、分光カメラ３に備えられている高感度撮像素子（図示せず）のシャッターのシャッタースピードと、光源（図示せず）の点灯、消灯の制御と、直線偏光フィルタ（図示せず）の偏光方向の調整と、液晶チューナブルフィルタ（図示せず）の透過波長帯域の設定とを行うためのものである。
多眼カメラ制御信号は、多眼カメラ５（５Ａ、５Ｂ）の起動停止と、フォーカスとを行うためのものである。
カメラ雲台制御信号は、カメラ雲台７の支持軸７ｄおよび胴体部７ｅ（カメラ雲台駆動部）を制御して、カメラ雲台７の支持台７ｃを小刻み（この実施の形態では約１０度ずつ）に３６０度回転させると共に、カメラ雲台７の載置板７ｂを上下に昇降させるためのものである。

差分最小画像データ生成手段１１は、同じ撮像方向、同じシャッタースピード、同波長帯域の画像データの中で、分光カメラ３の光源（図示せず）が点灯時に撮像した画像データ（光源点灯時画像データ）と、光源（図示せず）が消灯時に撮像した画像データ（光源消灯時画像データ）との各画素の輝度値について差分をとり、この差分が各偏光方向で最小となる画素を集めて差分最小画像データを生成するものである。そして、この差分最小画像データ生成手段１１は、撮像方向を変更して得られた画像データ、異なるシャッタースピードで得られた画像データおよび異なる波長帯域に分光された画像データそれぞれに対して、つまり、撮像方向、シャッタースピードおよび波長帯域をパラメータとして、差分最小画像データを生成する。この差分最小画像データは、画像データ領域収納手段１３に出力される。

画像データ領域収納手段１３は、分光カメラ３の光源（図示せず）が消灯時に撮像された光源消灯時画像データ、または、差分最小画像データ生成手段１１で生成された差分最小画像データを処理して、光源消灯時画像データまたは差分最小画像データの各画素の画素値に算出値を乗算して画像データ生成手段１５に出力するもので、画像データ領域設定手段１３ａと、算出値出力手段１３ｂと、画素値置換手段１３ｃとを備えている。

画像データ領域設定手段１３ａは、画像データまたは差分最小画像データから全方位分光画像データを生成する場合に、当該画像データに含まれている各画素の画素値を、増加（拡張）して全方位画像データの各画素に収納する任意のデータ量（データサイズ）である画像データ領域を設定するものである。また、この画像データ領域は、複数の画像データを合成して（つなぎあわせて）全方位分光画像データとして、表示装置２の表示画面に表示する際に、白つぶれや黒つぶれを防止するために確保するものである。

算出値出力手段１３ｂは、分光カメラ３が撮像対象を撮像したときの最小のシャッタースピードである最小シャッタースピードと、画像データに含まれる各画素のデータ量と、画像データ領域設定手段１３ａで設定された画像データ領域に含まれる各画素のデータ量とをパラメータとした算出式に基づいて、算出値を出力するものである。この実施の形態では、画像データの各画素が１２ビットで、有効画素５００×３８０であり、画像データ領域の各画素が３２ビットで、有効画素５００×３８０であり、最小シャッタースピードｔとすると、算出式は、（ｔ）×（２³²）／（２¹²）となる。

画素値置換手段１３ｃは、画像データの各画素の画素値に、算出値出力手段１３ｂで出力された算出値を乗算したものに対して、最小シャッタースピードｔ以外のシャッタースピードの中で、速度が最速となる最速シャッタースピードをｔ₁、２番目に最速となる第二最速シャッタースピードをｔ₂とし、各画像データの画素について、閾値（２¹²−１（４０９５））以下の画素値に、（ｔ／ｔ₁）×（２³²）／（２¹²）または（ｔ／ｔ₂）×（２³²）／（２¹²）を乗算し、画像データ領域の画素値に置き換えるものである。

画像データ生成手段１５は、画像データ領域収納手段１３から出力された各画素を統合して、全方位分光画像データを生成するものである。なお、この全方位分光画像データは、光源消灯時画像データに基づくものと、差分最小画像データに基づくものとがあり、光源消灯時画像データに基づく全方位分光画像データは、画像データ処理装置１から出力され、差分最小画像データに基づく全方位分光画像データは、反射係数算出手段２１に出力される。つまり、この画像データ生成手段１５では、画像データ領域に画像データ領域収納手段１３によって収納された（つなぎ合わせた）各画素を、全方位分光画像データとして出力するものである。

距離画像算出手段１７は、分光カメラ３で撮像された画像データ（光源点灯時画像データ）と、多眼カメラ５（５Ａ、５Ｂ）で撮像された多眼カメラデータとに基づいて、これら画像データおよび多眼カメラデータに描写されている（含まれている）撮像対象の被写体の各部位を画像処理し、この画像処理した結果を三角測量の原理に従い、画像データの各画素の奥行き情報となる距離画像を算出するものである。

法線ベクトル算出手段１９は、距離画像算出手段１７で算出された距離画像に基づいて、法線ベクトル情報を算出するものである。つまり、この法線ベクトル算出手段１９では、各画素の奥行き情報である距離画像から各画素の３次元位置情報を得て、撮像時の分光カメラ３および多眼カメラ５の撮像方向と、画像データ上の各画素の位置と、奥行き情報（３次元位置情報）とが用いられて、当該３次元位置情報から外積が求められ、この外積の平均値が当該各画素（注目画素）の法線ベクトルとされる（具体的な例は後記する）。

反射係数算出手段２１は、画像データ生成手段１５で生成された全方位分光画像データと、距離画像算出手段１７で算出された距離画像と、法線ベクトル算出１９で算出された法線ベクトル情報と、分光カメラ３の設置位置に関する位置情報（カメラ雲台７の設置位置）と、分光カメラ３に備えられている光源（図示せず）の入射光量とに基づいて、ランバード（Ｌａｍｂｅｒｔ）の余弦則を利用して撮像対象に含まれる被写体の反射係数を算出するものである。つまり、この反射係数算出手段２１では、反射係数と求めるために、分光カメラ３の設置位置に関する位置情報と、法線ベクトル情報と、距離画像とに基づいて、被写体に入射された入射光の入射角度を求め、光源（図示せず）から被写体への照射される入射光量を求め、全方位分光画像データから得られる反射光に基づいて反射光量を求めることによって、反射係数（拡散反射係数）が算出（推定）される。

この画像データ処理装置１によれば、制御信号出力手段９で、分光カメラ制御信号およびカメラ雲台制御信号が出力され、分光カメラ制御信号およびカメラ雲台制御信号に基づき、カメラ雲台７の載置板７ｂが小刻みの角度（約１０度）に回転し、分光カメラ３の撮像方向が一時的に固定され、この状態で、分光カメラ３によって、任意のシャッタースピードおよび任意の波長帯域で取得された画像データについて、同方向の撮像方向で撮像され、同帯域の波長帯域の画像データの各画素の画素値に、シャッタースピードをパラメータとして予め設定した算出式による算出値が画像データ領域収納手段１３で乗算され、この算出値が乗算された画素値が、予め各画素のデータ量が増加するように設定された画像データ領域の対応する各座標に収納される。この結果、画像データ生成手段１５で、画像データ領域の各座標に収納した画素が統合されて、全方位分光画像データが生成される。この全方位分光画像データを全波長帯域に亘って合成することによって、分光特性の不一致による違和感が生じることのない全方位画像（データ）を生成することができる。

また、この画像データ処理装置１によれば、制御信号出力手段９で、分光カメラ制御信号、多眼カメラ制御信号およびカメラ雲台制御信号を出力し、分光カメラ３で撮像された画像データから入力された同方向の偏光方向、同方向の撮像方向、同帯域の波長帯域および同スピードのシャッタースピードの画像データそれぞれについて、差分最小画像データ生成手段１１で、光源点灯時の画像データの各画素の画素値と光源消灯時の画像データの各画素の画素値との差分が算出され、この差分が各偏光方向で最小となる画素を集めた差分最小画像データが生成される。そして、画像データ領域収納手段１３で、差分最小画像データの各画素の画素値に、シャッタースピードをパラメータとして予め設定した算出式による算出値が乗算され、この算出値が乗算された画素値が、予め各画素のデータ量が増加するように設定した画像データ領域の各座標に収納される。そしてまた、画像データ生成手段１５で、画像データ領域の各座標に収納した画素が統合され、全方位分光画像データとして生成される。また、距離画像算出手段１７で、多眼カメラ５で撮像された多眼カメラデータに基づいて、画像データの各画素の奥行き情報となる距離画像が算出され、法線ベクトル算出手段１９で、距離画像から撮像対象の法線方向を示す法線ベクトル情報が算出される。この結果、反射係数算出手段２１で、法線ベクトル情報と、距離画像と、光源（図示せず）から求められる入射光量と、全方位分光画像データとに基づいて、反射係数が算出される。このため、分光カメラ３による光源点灯時および光源消灯時の画像データと、多眼カメラ５による多眼カメラデータとを入力することで、撮像対象に含まれる被写体の正確な反射係数を算出することができる。

さらに、この画像データ処理装置１によれば、画像データ領域収納手段１３の画像データ領域設定手段１３ａで画像データ領域の各座標におけるデータ量が設定され、算出値出力手段１３ｂでシャッタースピードが最小となる最小シャッタースピードと、画像データの各画素のデータ量および画像データ領域の各画素のデータ量の比率とを基準に、各シャッタースピードをパラメータとして、算出値が出力される。そして、画素値置換手段１３ｃで、同方向の撮像方向および同帯域の波長帯域の画像データまたは差分最小画像データ毎に、シャッタースピードが最速となる最速シャッタースピードで撮像された画像データの各画素の画素値が予め設定した閾値以下になる場合、当該閾値以下の画素値に、最速シャッタースピードをパラメータとして算出値が乗算され、該当する各座標に代入されると共に、シャッタースピードが２番目に最速となる第二最速シャッタースピードで撮像された画像データの各画素の画素値が予め設定された閾値以下になる場合、第二最速シャッタースピードをパラメータとして算出値が乗算され、該当する各座標に代入される。このため、シャッタースピードに基づいて算出値が求められ、この算出値が画素値、つまり、各画素の輝度に反映されたことによって、白つぶれ、黒つぶれ、輝度値の量子化誤差を防止することができる。

（画像データ処理装置の動作１、全方位分光画像データを生成）
次に、図３に示すフローチャートを参照して、画像データ処理装置１の動作１（全方位分光画像データの生成）について説明する（適宜、図１、２参照）。
まず、画像データ処理装置１は、制御信号出力手段９によって、分光カメラ制御信号を分光カメラ３に、カメラ雲台制御信号をカメラ雲台７に出力する（ステップＳ１）。より具体的に説明すると、分光カメラ制御信号によって制御される分光カメラ３のシャッタースピードは、４〜１／４０００秒の１６段階であり、液晶チューナブルフィルタ（図示せず）による波長帯域は４００ｎｍ〜７２０ｎｍ（可視光量域）を１０ｎｍの刻み幅（３２色に分光）であり、光源（図示せず）は消灯であり、カメラ雲台制御信号によって制御されるカメラ雲台７の仰角、方位角（回転角度）は１０度刻みである。

そして、画像データ処理装置１は、分光カメラ３で撮像された光源消灯時画像データを画像データ領域収納手段１３に入力し、同方向の撮像方向、同帯域の波長帯域の画像データについて、シャッタースピードをパラメータとした算出値を、光源消灯時画像データの各画素の画素値に乗算し、画像データ領域の対応する座標に収納する（ステップＳ２）。

その後、画像データ処理装置１は、画像データ生成手段１５によって、各座標に収納した画素を統合して、全方位分光画像データを生成して出力する（ステップＳ３）。

（画像データ処理装置の動作２、反射係数を算出）
次に、図４に示すフローチャートを参照して、画像データ処理装置１の動作２（反射係数の算出）について説明する（適宜、図１、２参照）。
まず、画像データ処理装置１は、制御信号出力手段９によって、分光カメラ制御信号を分光カメラ３に、多眼カメラ制御信号を多眼カメラ５に、カメラ雲台制御信号をカメラ雲台７に出力する（ステップＳ１１）。より具体的に説明すると、分光カメラ制御信号によって制御される分光カメラ３のシャッタースピードは、４〜１／４０００秒の１６段階であり、液晶チューナブルフィルタ（図示せず）による波長帯域は４００ｎｍ〜７２０ｎｍを１０ｎｍの刻み幅（３３色に分光）であり、光源（図示せず）は点灯および消灯であり、多眼カメラ制御信号によって制御される多眼カメラ５は動作は起動停止、フォーカスであり、カメラ雲台制御信号によって制御されるカメラ雲台７の回転角度は１０度刻みである。

続いて、画像データ処理装置１は、分光カメラ３で撮像された光源点灯時画像データおよび光源消灯時画像データを差分最小画像データ生成手段１１に入力し、同方向の撮像方向、同帯域の波長帯域の画像データについて、差分をとって、差分最小画像データを生成する（ステップＳ１２）。

そして、画像データ処理装置１は、画像データ領域収納手段１３によって、差分最小画像データ生成手段１１で生成された差分最小画像データの各画素の画素値に、シャッタースピードをパラメータとした算出値を乗算し、画像データ領域の対応する座標に収納する（ステップＳ１３）。なお、ここで、白つぶれを防ぐために、分光カメラ３に備えられている高感度撮像素子（図示せず）の飽和値より小さい値のみを収納し、それ以上の値は破棄する。

そしてまた、画像データ処理装置１は、画像データ生成手段１５によって、各座標に収納した画素を統合して、全方位分光画像データ（差分最小画像データに基づく）を生成して、反射係数算出手段２１に出力する（ステップＳ１４）。

また、画像データ処理装置１は、距離画像算出手段１７によって、多眼カメラデータおよび光源点灯時画像データから距離画像を算出し（ステップＳ１５）、法線ベクトル算出手段１９および反射係数算出手段２１に出力する。さらに、画像データ処理装置１は、法線ベクトル算出手段１９によって、距離画像から法線ベクトル情報を算出し（ステップＳ１６）、反射係数算出手段２１に出力する。

その後、画像データ処理装置１は、反射係数算出手段２１によって、法線ベクトル情報、分光カメラ３の位置情報、距離画像、光源（図示せず）の入射光量、全方位分光画像データに基づいて、反射係数を算出し（ステップＳ１７）、出力する。

（画像データ処理システムよる画像データの貼り合わせ処理について）
次に、図５〜図７を参照して、画像データ処理システムＡを使用した画像データの貼り合わせ処理について説明する（適宜、図１、図２参照）。
図５は、画像データ処理システムＡによる画像データの撮像を模式的に表した図である。図６は、画像データを貼り合わせる場合の糊代部分の画素値の比例配分について説明した図である。図７は、シャッタースピードの異なる画像データから広ダイナミックレンジの画像データ（全方位分光画像データ）を作成することを説明した図である。

画像データ処理システムＡによる画像データの貼り合わせ処理では、まず、全方向（仰角、方位角）で取得された画像データおよび算出された反射係数に基づいて、画像データの貼り合わせを行う場合、図５に示すように、仮想空間における直径ｒの仮想球を想定する。この仮想球の上側に一辺の長さがｒの正方形の画像をテクスチャ画像Ｔ１として配置し、この仮想球の下側にも一辺の長さがｒの正方形の画像をテクスチャ画像Ｔ２として配置する。ここで、２枚のテクスチャ画像Ｔ１とテクスチャ画像Ｔ２とは、平行に配置する。

次に、貼り合わせ処理では、テクスチャ画像Ｔ１の画素を、当該テクスチャ画像Ｔ１から仮想球に向け垂直に伸ばし、仮想球の球面に交差した点に対応させる。同様に、テクスチャ画像Ｔ２の画素を、当該テクスチャ画像Ｔ１から仮想球に向け垂直に伸ばし、仮想球の球面に交差した点に対応させる。すなわち、この貼り合わせ処理は、コンピュータグラフィックスにおけるテクスチャマッピングの平行投影である。このテクスチャマッピングの平行投影に対して、貼り合わせ処理では、分光カメラ３のレンズ主点を仮想球の中心に設定し、当該分光カメラ３のレンズ歪みを取り除いた上で、撮像した画像データを仰角、方位角に合わせて、仮想球に投影する。この際に、仮想球に投影した画像データの各画素と、テクスチャ画像Ｔ１およびテクスチャ画像Ｔ２の各画素との交点を求め、テクスチャ画像Ｔ１およびテクスチャ画像Ｔ２の各画素に代入していく。

この実施の形態では、カメラ雲台７の動作によって、仰角、方位角１０度ずつ分光カメラ３の撮像方向を変えているが、撮像画角（撮影画角）は１２度以上あるので、図６に示すように、隣り合う画像データ（画像Ｇ、画像Ｈ）は、糊代がある。この糊代部分について、当該糊代部分の画素値は、それぞれの画像データの端からの距離で比例配分して決定している。この図６では、糊代部分ｌ₅に対して、画像Ｇの端からの距離がｌ₇であると共に、画像Ｈの端からの距離がｌ₆である場所の画素値の比例配分について説明している。

また、図７に示すように、画像データ処理システムＡ（主に画像データ処理装置１）では、シャッタースピードｔ、ｔａ、ｔｂ、ｔｃ、・・・（ｔ＜ｔａ＜ｔｂ＜ｔｃ＜・・・）の画像データを処理することによって、統合された広ダイナミックレンジの画像（全方位分光画像データ）が生成される。このため、統合された広ダイナミックレンジの画像（全方位分光画像データ）は、シャッタースピードが長くて画像データの各画素の画素値が飽和した白つぶれ部分を、シャッタースピードが短くて画像データの各画素の画素値が飽和していない部分で補われており、また逆に、シャッタースピードが短くて十分な光量が得られないために画像データの各画素が黒つぶれしたり、量子化誤差が生じたりした部分を、シャッタースピードが長い画像データの各画素で補われている。

（補足１：法線ベクトル情報の求め方について）
次に、図８を参照して、画像データ処理装置１の法線ベクトル算出手段１９における法線ベクトル情報の算出の仕方について、補足説明する。図８は、法線ベクトル情報を算出する対象となる画素（注目画素）と周囲８画素を図示したものである。
法線ベクトル情報の算出の仕方では、図８に示すように、法線ベクトル情報を算出する対象となる画素（注目画素）をＤ₀とし、この画素Ｄ₀の周囲の画素８画素（Ｄ₁〜Ｄ₈）を用いている。それぞれ画素（Ｄ₀〜Ｄ₈）の奥行き情報（距離画像）を３次元位置に換算する。つまり、画像データを撮像時の分光カメラ３および多眼カメラ５の撮像方向と、画像データ上の画素の位置と、奥行き情報（距離画像）とを用いて、３次元位置を求める。そして、この３次元位置の外積を求め、平均値をこの注目画素（Ｄ₀）の法線ベクトル情報とする。

ｎ１＝（Ｄ１−Ｄ０）×（Ｄ２−Ｄ０）
ｎ２＝（Ｄ２−Ｄ０）×（Ｄ３−Ｄ０）
ｎ３＝（Ｄ３−Ｄ０）×（Ｄ４−Ｄ０）
ｎ４＝（Ｄ４−Ｄ０）×（Ｄ５−Ｄ０）
ｎ５＝（Ｄ５−Ｄ０）×（Ｄ６−Ｄ０）
ｎ６＝（Ｄ６−Ｄ０）×（Ｄ７−Ｄ０）
ｎ７＝（Ｄ７−Ｄ０）×（Ｄ８−Ｄ０）
ｎ８＝（Ｄ８−Ｄ０）×（Ｄ１−Ｄ０）
法線ベクトルｎ＝（ｎ１＋ｎ２＋ｎ３＋ｎ４＋ｎ５＋ｎ６＋ｎ７＋ｎ８）／８

（補足２：ランバートの余弦則について）
次に、図９を参照して、ランバートの余弦則について補足説明する。
図９はランバートの余弦則を説明した図である。この図９に示すように、視点αにおける反射光Ｉ₁および視点βにおける反射光Ｉ₂は、入射光Ｉ０が入射角θ₁で拡散反射係数Ｋｄ（反射係数）の被写体表面で反射した場合、Ｉ₁＝Ｉ₂＝Ｉ₀Ｋｄ・ｃｏｓθ₁となる。このランバートの余弦則によって、反射係数は、入射光の入射光量および入射角と、反射光の反射光量とによって求めることができる。

以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、画像データ処理装置１の各構成の処理を汎用的なコンピュータ言語で記述した画像データ処理プログラムとみなすことができる。この場合、画像データ処理装置１と同様の効果を得ることができる。

実施形態に係る画像データ処理システムの概略図である。 実施形態に係る画像データ処理装置のブロック図である。 図２に示した画像データ処理装置の動作を説明したフローチャートである（全方位分光画像データ生成時）。 図２に示した画像データ処理装置の動作を説明したフローチャートである（反射係数算出時）。 画像データ処理システムによる画像データの撮像を模式的に表した図である。 画像データを貼り合わせる場合の糊代部分の画素値の比例配分について説明した図である。 シャッタースピードの異なる画像データから広ダイナミックレンジの画像データ（全方位分光画像データ）を作成することを説明した図である 法線ベクトルの算出の仕方を説明した図である。 ランバートの余弦則について説明した図である。

符号の説明

１ 画像データ処理装置
３ 分光カメラ
５、５Ａ、５Ｂ 多眼カメラ（測定手段）
７ カメラ雲台
９ 制御信号出力手段
１１ 差分最小画像データ生成手段
１３ 画像データ領域収納手段
１３ａ 画像データ領域設定手段
１３ｂ 算出値出力手段
１３ｃ 画素値置換手段
１５ 画像データ生成手段
１７ 距離画像算出手段
１９ 法線ベクトル算出手段
２１ 反射係数算出手段

Claims (5)

1. 任意の波長帯域に分光して撮像対象を撮像する分光カメラと、この分光カメラを全方位に回動させるカメラ雲台とを使用し、当該分光カメラで全方位に亘って前記撮像対象を任意の撮像方向、任意の波長帯域および任意のシャッタースピードによって撮像した画像データに基づいて、全方位に亘って波長帯域を分光した全方位分光画像データを生成処理する画像データ処理装置であって、
   前記分光カメラを制御する分光カメラ制御信号および前記カメラ雲台を制御するカメラ雲台制御信号を出力する制御信号出力手段と、
   この制御信号出力手段で出力された分光カメラ制御信号およびカメラ雲台制御信号に基づき、前記分光カメラおよび前記カメラ雲台によって、同じ撮像方向で撮像され、且つ、前記分光カメラで分光された同じ波長帯域の画像データの各画素の画素値に、前記シャッタースピードをパラメータとして予め設定した算出式による算出値を乗算すると共に、この算出値を乗算した画素値を、予め前記各画素のデータ量が増加するように設定した画像データ領域の対応する各座標に収納させる画像データ領域収納手段と、
   この画像データ領域収納手段で前記画像データ領域の各座標に収納した画素を統合して、前記全方位分光画像データとして生成する画像データ生成手段と、
   を備えることを特徴とする画像データ処理装置。
2. 光源および偏光フィルタを有し、任意の波長帯域に分光して撮像対象を撮像する分光カメラおよび当該撮像対象までの距離を測定する測定手段と、これら分光カメラおよび測定手段を全方位に回動させるカメラ雲台とを使用し、前記撮像対象に反射する反射光を算出するための反射係数を推定する画像データ処理装置であって、
   前記分光カメラを制御する分光カメラ制御信号、前記測定手段を制御する測定手段制御信号および前記カメラ雲台を制御するカメラ雲台制御信号を出力する制御信号出力手段と、
   この制御信号出力手段で出力された分光カメラ制御信号およびカメラ雲台制御信号に基づき、前記カメラ雲台が回動し前記分光カメラで撮像された画像データから、同じ偏光方向、同じ撮像方向、同じ波長帯域および同じシャッタースピードの画像データそれぞれについて、前記光源点灯時の画像データの各画素の画素値と前記光源消灯時の画像データの各画素の画素値との差分を算出し、この差分が各偏光方向で最小となる画素を集めた差分最小画像データを生成する差分最小画像データ生成手段と、
   この差分最小画像データ生成手段で生成した差分最小画像データの各画素の画素値に、前記シャッタースピードをパラメータとして予め設定した算出式による算出値を乗算すると共に、この算出値を乗算した画素値を、予め前記各画素のデータ量が増加するように設定した画像データ領域の対応する各座標に収納させる画像データ領域収納手段と、
   この画像データ領域収納手段で前記画像データ領域の各座標に収納した画素を統合して、前記全方位分光画像データとして生成する画像データ生成手段と、
   前記制御信号出力手段で出力された測定手段制御信号およびカメラ雲台制御信号に基づき、前記カメラ雲台が回動し前記測定手段で測定された測定データに基づいて、前記画像データの各画素の奥行き情報となる距離画像を算出する距離画像算出手段と、
   この距離画像算出手段で算出された距離画像から撮像対象の法線方向を示す法線ベクトル情報を算出する法線ベクトル算出手段と、
   この法線ベクトル算出手段で算出した法線ベクトル情報と、前記分光カメラの設置位置に関する位置情報と、前記距離画像算出手段で算出した距離画像と、前記光源の配光特性から求められる入射光量と、前記画像データ生成手段で生成した全方位分光画像データとに基づいて、前記反射係数を算出する反射係数算出手段と、
   を備えることを特徴とする画像データ処理装置。
3. 前記画像データ領域収納手段は、
   前記画像データ領域の各座標におけるデータ量を設定する画像データ領域設定手段と、
   前記シャッタースピードが最小となる最小シャッタースピードと、前記画像データまたは差分最小画像データの各画素のデータ量および前記画像データ領域の各画素のデータ量の比率とを基準に、各シャッタースピードをパラメータとして、前記算出値を出力する算出値出力手段と、
   同じ撮像方向および同じ波長帯域の前記画像データまたは前記差分最小画像データ毎に、前記シャッタースピードが最速となる最速シャッタースピードで撮像された画像データまたは差分最小画像データの各画素の画素値が予め設定した閾値以下になる場合、当該閾値以下の画素値に、前記最速シャッタースピードをパラメータとして前記算出値出力手段で出力された算出値を乗算し、該当する各座標に代入すると共に、前記シャッタースピードが２番目に最速となる第二最速シャッタースピードで撮像された画像データまたは差分最小画像データの各画素の画素値が予め設定された閾値以下になる場合、前記第二最速シャッタースピードをパラメータとして前記算出値出力手段で出力された算出値を乗算し、該当する各座標に代入する画素値置換手段と、
   を備えることを特徴とする請求項１または請求項２に記載の画像データ処理装置。
4. 任意の波長帯域に分光して撮像対象を撮像する分光カメラと、この分光カメラを全方位に回動させるカメラ雲台とを使用し、当該分光カメラで全方位に亘って前記撮像対象を任意の撮像方向、任意の波長帯域および任意のシャッタースピードによって撮像した画像データに基づいて、全方位に亘って波長帯域を分光した全方位分光画像データを生成処理する装置を、
   前記分光カメラを制御する分光カメラ制御信号および前記カメラ雲台を制御するカメラ雲台制御信号を出力する制御信号出力手段、
   この制御信号出力手段で出力された分光カメラ制御信号およびカメラ雲台制御信号に基づき、前記分光カメラおよび前記カメラ雲台によって、同じ撮像方向で撮像され、且つ、前記分光カメラで分光された同じ波長帯域の画像データの各画素の画素値に、前記シャッタースピードをパラメータとして予め設定した算出式による算出値を乗算すると共に、この算出値を乗算した画素値を、予め前記各画素のデータ量が増加するように設定した画像データ領域の対応する各座標に収納させる画像データ領域収納手段、
   この画像データ領域収納手段で前記画像データ領域の各座標に収納した画素を統合して、前記全方位分光画像データとして生成する画像データ生成手段、
   として機能させることを特徴とする画像データ処理プログラム。
5. 光源および偏光フィルタを有し、任意の波長帯域に分光して撮像対象を撮像する分光カメラおよび当該撮像対象までの距離を測定する測定手段と、これら分光カメラおよび測定手段を全方位に回動させるカメラ雲台とを使用し、前記撮像対象に反射する反射光を算出するための反射係数を推定する装置を、
   前記分光カメラを制御する分光カメラ制御信号、前記測定手段を制御する測定手段制御信号および前記カメラ雲台を制御するカメラ雲台制御信号を出力する制御信号出力手段、
   この制御信号出力手段で出力された分光カメラ制御信号およびカメラ雲台制御信号に基づき、前記カメラ雲台が回動し前記分光カメラで撮像された画像データから、同じ偏光方向、同じ撮像方向、同じ波長帯域および同じシャッタースピードの画像データそれぞれについて、前記光源点灯時の画像データの各画素の画素値と前記光源消灯時の画像データの各画素の画素値との差分を算出し、この差分が各偏光方向で最小となる画素を集めた差分最小画像データを生成する差分最小画像データ生成手段、
   この差分最小画像データ生成手段で生成した差分最小画像データの各画素の画素値に、前記シャッタースピードをパラメータとして予め設定した算出式による算出値を乗算すると共に、この算出値を乗算した画素値を、予め前記各画素のデータ量が増加するように設定した画像データ領域の対応する各座標に収納させる画像データ領域収納手段、
   この画像データ領域収納手段で前記画像データ領域の各座標に収納した画素を統合して、前記全方位分光画像データとして生成する画像データ生成手段、
   前記制御信号出力手段で出力された測定手段制御信号およびカメラ雲台制御信号に基づき、前記カメラ雲台が回動し前記測定手段で測定された測定データに基づいて、前記画像データの各画素の奥行き情報となる距離画像を算出する距離画像算出手段、
   この距離画像算出手段で算出された距離画像から撮像対象の法線方向を示す法線ベクトル情報を算出する法線ベクトル算出手段、
   この法線ベクトル算出手段で算出した法線ベクトル情報と、前記分光カメラの設置位置に関する位置情報と、前記距離画像算出手段で算出した距離画像と、前記光源の配光特性から求められる入射光量と、前記画像データ生成手段で生成した全方位分光画像データとに基づいて、前記反射係数を算出する反射係数算出手段、
   として機能させることを特徴とする画像データ処理プログラム。

Images