JP2007221624A - 照度取得装置、照度取得方法および照度取得プログラム - Google Patents

Abstract

【課題】撮像素子の感知する光の強さを撮像素子で発生するノイズの影響を除去して算出する。
【解決手段】光の強さを電気エネルギに変換して出力する撮像素子が異なる露光時間で撮像して得られた撮像データを用い、撮像素子の出力値における前記撮像素子で発生するノイズの影響をモデル化したノイズモデルデータを算出するノイズモデルデータ算出部１２と、算出されたノイズモデルデータと、撮像素子が所定の画像を撮像した際の前記撮像素子の出力値とから、前記ノイズの影響を考慮した撮像素子の出力値を算出し、そのノイズの影響を考慮した撮像素子の出力値を用いて、撮像素子の出力値と光エネルギ（撮像素子が感知した光の強さ×露光時間）との対応関係から光エネルギを取得し、取得した光エネルギと、前記撮像素子が所定の画像を撮像した際の露光時間とから撮像素子の光の強さを算出する照度算出部（放射照度算出部１３）とを有する。
【選択図】図３

Description

本発明は、光の強さを電気エネルギに変換して出力する撮像素子の感知した光の強さを取得する照度取得装置、照度取得方法および照度取得プログラムに関する

ディスプレイ装置の画質評価を正確に実施し、その評価結果を反映した画質調整処理を実施することで、高品質な映像表示の実現が可能となる。このとき、ディスプレイ装置の表示画面の明るさや色合いを正確かつ高精度に取得できるようにすることが重要であり、このような技術は様々提案されている。

ディスプレイ装置の表示画面の明るさや色合いなどを取得する従来の装置では、正確に校正された輝度計、色度計、ＣＣＤ(Charge Coupled Device）カメラなどの各種センサを用い、実験的に決定される測定条件下でディスプレイ装置が表示している画像を取得し、その出力データを適切に処理して、ディスプレイ装置の表示画面の明るさや色合いを取得する。

しかしながら、このような手法を利用する取得装置では、センサ自体の光強度の分解能やセンサに発生するノイズなどの影響により、人が視覚できる明るさや色合いが高精度に反映された出力データを取得できない場合があり、その出力データの再現性も十分ではないと言われている。

また、より高精度な測定を可能とするために、センサを常温以下に冷却してセンサノイズを抑制した上で表示画面を取得する装置も存在するが、装置が大掛かりとなるとともにきわめて高価であること、装置の動作環境や動作条件の制限が多いことなどの様々な課題がある。

そこで、ディスプレイの表示画面をＣＣＤカメラで露光時間を変更しながら撮像することによって得られる撮像データを用いて、ＣＣＤセンサ出力値とＣＣＤセンサの感知した光の強さと露光時間との積（光の強さ×露光時間＝光エネルギ）との対応関係を表す関係テーブルを用い、露光時間とその露光時間でのＣＣＤセンサ出力値を与えることによって光エネルギを取得し、取得した光エネルギと露光時間からＣＣＤセンサの感知した光の強さ（放射照度という）を計算する手法が従来から提案されている。なお、ＣＣＤセンサ出力値とＣＣＤセンサの感知した光の強さと露光時間との積（光の強さ×露光時間＝光エネルギ）との対応関係を表す関係テーブルを、ＣＣＤセンサ出力値と光エネルギの関係テーブルと呼ぶことにする。

しかし、この種の従来の手法では、ＣＣＤセンサで発生するノイズの影響が考慮されていないＣＣＤセンサ出力値を用いて光エネルギを取得し、取得した光エネルギから放射照度を算出するようにしているので、算出された放射照度にもノイズの影響が含まれてしまい、算出される放射照度が露光時間の設定の仕方によって変化してしまうといった問題がある。

たとえば、特許文献１には、露光条件の異なる複数の画像データを合成して高ダイナミックレンジ画像データを生成することを可能とする技術が開示されている。この特許文献１に開示された技術は、露光条件の異なる複数の画像データを合成して高ダイナミックレンジ画像データを生成するときに、画像データを合成するたびに、画像データから高ダイナミックレンジ画像データへの変換式(倍率)を算出し直すといった処理を行う。

すなわち、特許文献１に開示された技術は、高ダイナミックレンジ画像データの各画素値を、最適露光時間とそのときの画像データの画素値から算出することで、白飛び領域または黒つぶれ領域の無い高ダイナミックレンジ画像データを合成する。このときに、画像データの合成処理のたびに画像データから高ダイナミックレンジ画像データへの変換式(倍率)を算出し直す。

特開平７−１３１７０８号公報

しかしながら、特許文献１に開示された技術では、ＣＣＤセンサなどの撮像素子で発生するノイズについて考慮されていないため、露光時間の設定の仕方によって高ダイナミックレンジ画像データの値が大きく変化してしまうという問題がある。

なお、特許文献１に開示された技術は、ディスプレイ装置の画質評価を行うために表示画面の明るさや色合いなどを取得するためのものではなく、ＣＣＤセンサなどの撮像素子を用いたディジタルカメラなどにおけるダイナミックレンジの拡大を主な目的としているものである。このため、ＣＣＤセンサなどの撮像素子で発生するノイズを考慮する必要性がそれほど大きくないと考えられる。しかし、ディスプレイ装置の画質評価を正確に実施するために表示画面の明るさや色合いなどを取得することを目的とした場合には、ＣＣＤセンサなどの撮像素子で発生するノイズについて考慮することがきわめて重要となる。

そこで本発明は、撮像素子で発生するノイズの影響を考慮することで撮像素子の感知した光の強さを高精度に取得できるようにする照度取得装置、照度取得方法および照度取得プログラムを提供することを目的とする。

（１）本発明の照度取得装置は、感知した光の強さを電気エネルギに変換して出力する撮像素子の出力値と、前記撮像素子が感知した光の強さと露光時間との積で得られる光エネルギとの対応関係を用い、前記撮像素子の出力値に対応する光エネルギを異なる露光時間毎に取得し、前記異なる露光時間で取得した前記光エネルギと前記対応関係から前記撮像素子が感知した光の強さを算出し、算出した前記撮像素子が感知した光の強さを取得する照度取得装置であって、前記撮像素子が異なる露光時間で撮像することによって得られた撮像データを用い、前記撮像素子の出力値における前記撮像素子で発生するノイズの影響をモデル化したノイズモデルデータを算出するノイズモデルデータ算出部と、前記ノイズモデルデータと、前記撮像素子が所定の画像を撮像した際の前記撮像素子の出力値とから、前記ノイズの影響を考慮した撮像素子の出力値を算出し、算出した前記ノイズの影響を考慮した撮像素子の出力値を用いて、前記対応関係から光エネルギを取得し、取得した前記光エネルギと、前記撮像素子が前記所定の画像を撮像した際の露光時間とから前記撮像素子が前記所定の画像を撮像した際に感知した光の強さを算出する照度算出部とを有することを特徴とする。

本発明の照度取得装置によれば、撮像素子で発生するノイズの影響をモデル化したノイズモデルデータを算出し、算出したノイズモデルデータと、前記撮像素子が所定の画像を撮像した際の前記撮像素子の出力値とから、前記ノイズの影響を考慮した撮像素子の出力値を算出し、算出した前記ノイズの影響を考慮した撮像素子の出力値を用いて、前記対応関係から光エネルギを取得し、取得した前記光エネルギと、前記撮像素子が前記所定の画像を撮像した際の露光時間とから前記撮像素子が前記所定の画像を撮像した際に感知した光の強さ（放射照度という）を算出するようにしている。これによって算出された放射照度は、撮像素子で発生するノイズの影響が除去されたものとなり、従来の手法により取得された放射照度に比べて高精度なものとすることができる。したがって、本発明の照度取得装置によって取得された放射照度を、ディスプレイ装置の画質評価に用いることで、ディスプレイ装置の画質評価を正確に行うことができる。

（２）前記（１）に記載の照度取得装置においては、前記撮像データから複数の画素を選択して当該選択した画素を選択画素として設定し、設定した複数の前記選択画素の画素位置を画素位置データとして出力する画素位置データ出力部をさらに有することが好ましい。

このように、画素位置データ出力部は、撮像画像データ中における複数の画素を選択画素として設定し、設定した選択画素の画素位置データを出力するといった動作を行うものであり、この画素位置データ出力部から出力された画素位置データによって、ノイズモデルデータの作成などの処理に必要な撮像素子の出力値を適切に得ることができる。

（３）前記（２）に記載の照度取得装置においては、前記選択画素は、前記撮像データから複数の画素を選択画素候補として設定し、設定した前記複数の選択画素候補の中から、前記撮像素子の出力値が前記異なる露光時間の各露光時間で異なった値を出力する画素を選ぶことによって設定されることが好ましい。

これは、選択画素を設定する際、まずは、撮像データから複数の画素を選択画素候補として設定し、複数の選択画素候補の中から前記撮像素子の出力値が前記異なる露光時間の各露光時間で異なった値を出力する画素を選んで、それを選択画素とするといった動作を行うものである。このように、露光時間の変化に応じてその出力値も変化する画素を選択画素として設定することにより、その選択画素における撮像素子の出力値を用いて、たとえばノイズモデルデータなどを生成したとき、生成されたノイズモデルデータは撮影状況の変化などが適切に反映されたデータとなる。

（４）前記（２）または（３）に記載の照度取得装置においては、前記ノイズモデルデータを算出する際に用いられる前記撮像素子の出力値は、前記画素位置データで指示される画素における前記撮像素子の出力値を用いることが好ましい。

このように、前記ノイズモデルデータを算出する際に用いられる撮像素子の出力値として、前記画素位置データで指示される画素における撮像素子の出力値を用いることにより、ノイズモデルデータの作成を行う際に必要な撮像素子の出力値を適切に得ることができる。

（５）前記（１）〜（４）のいずれかに記載の照度取得装置においては、前記ノイズモデルデータ算出部および前記照度算出部は、前記ノイズモデルデータおよび前記撮像素子が感知した光の強さを算出する際、前記撮像素子の出力値における白飛び領域および黒つぶれ領域の影響を軽減する重み付けを行うことが好ましい。

このように、撮像素子の出力値における白飛び領域および黒つぶれ領域など、撮像素子の出力値として安定しない領域における撮像装置の出力値の影響が軽減されるような重み付けを行うことにより、信頼性の高いノイズモデルデータおよび放射照度を算出することができる。

（６）前記（１）〜（５）のいずれかに記載の照度取得装置においては、前記ノイズモデルデータは、前記露光時間をパラメータとして持つことが好ましい。

これは、露光時間によってノイズの影響の大きさが異なるためであり、ノイズモデルデータが露光時間をパラメータとして持つことにより、露光時間が適切に反映されたノイズモデルデータを設定することができる。

（７）前記（１）〜（６）のいずれかに記載の照度取得装置においては、前記撮像素子は、ＣＣＤセンサであることが好ましい。
このように、撮像素子としてＣＣＤセンサを用いることにより、ＣＣＤセンサを用いたディジタルカメラなどを用いて放射照度を算出することができる。

（８）本発明の照度取得方法は、感知した光の強さを電気エネルギに変換して出力する撮像素子の出力値と、前記撮像素子が感知した光の強さと露光時間との積で得られる光エネルギとの対応関係を用い、前記撮像素子の出力値に対応する光エネルギを異なる露光時間毎に取得し、前記異なる露光時間で取得した前記光エネルギと前記対応関係から前記撮像素子が感知した光の強さを算出し、算出した前記撮像素子が感知した光の強さを取得する照度取得方法であって、前記撮像素子が異なる露光時間で撮像することによって得られた撮像データを用い、前記撮像素子の出力値における前記撮像素子で発生するノイズの影響をモデル化したノイズモデルデータを算出するステップと、前記ノイズモデルデータと、前記撮像素子が所定の画像を撮像した際の前記撮像素子の出力値とから、前記ノイズの影響を考慮した撮像素子の出力値を算出し、算出した前記ノイズの影響を考慮した撮像素子の出力値を用いて、前記対応関係から光エネルギを取得し、取得した前記光エネルギと、前記撮像素子が前記所定の画像を撮像した際の露光時間とから前記撮像素子が前記所定の画像を撮像した際に感知した光の強さを算出するステップと、
を有することを特徴とする。

本発明の照度取得方法においても前記（１）の照度取得装置と同様の効果を得ることができる。なお、本発明の照度取得方法においても前記（２）〜（６）に照度取得装置の特徴と同様の特徴を有することが好ましい。

（９）本発明の照度取得プログラムは、感知した光の強さを電気エネルギに変換して出力する撮像素子の出力値と、前記撮像素子が感知した光の強さと露光時間との積で得られる光エネルギとの対応関係を用い、前記撮像素子の出力値に対応する光エネルギを異なる露光時間毎に取得し、前記異なる露光時間で取得した前記光エネルギと前記対応関係から前記撮像素子が感知した光の強さを算出し、算出した前記撮像素子が感知した光の強さを取得する照度取得プログラムであって、前記撮像素子が異なる露光時間で撮像することによって得られた撮像データを用い、前記撮像素子の出力値における前記撮像素子で発生するノイズの影響をモデル化したノイズモデルデータを算出するステップと、前記ノイズモデルデータと、前記撮像素子が所定の画像を撮像した際の前記撮像素子の出力値とから、前記ノイズの影響を考慮した撮像素子の出力値を算出し、算出した前記ノイズの影響を考慮した撮像素子の出力値を用いて、前記対応関係から光エネルギを取得し、取得した前記光エネルギと、前記撮像素子が前記所定の画像を撮像した際の露光時間とから前記撮像素子が前記所定の画像を撮像した際に感知した光の強さを算出するステップとを有することを特徴とする。

本発明の照度取得プログラムをコンピュータで実行させることによって、前記（１）の照度取得装置と同様、撮像素子の感知した光の強さを高精度に取得することができ、前記（１）の照度取得装置と同様の効果を得ることができる。なお、本発明の照度取得プログラムにおいても前記（２）〜（６）に照度取得装置の特徴と同様の特徴を有することが好ましい。

以下、本発明の実施形態について説明する。なお、本発明の実施形態では、感知した光の強さを電気エネルギに変換して出力する撮像素子としてはＣＣＤセンサを用いるものとする。まず、本発明の概要について説明する。

本発明は、ＣＣＤセンサからの出力値（ＣＣＤセンサ出力値という）と、ＣＣＤセンサが感知した光の強さと露光時間との積で得られる光エネルギとの対応関係を表す関係テーブル用い、ＣＣＤセンサ出力値に対応する光エネルギを異なる露光時間毎に取得し、異なる露光時間で取得した前記光エネルギと前記対応関係から前記ＣＣＤセンサが感知した光の強さを算出する際に、ＣＣＤセンサで異なる露光時間で撮像することによって得られた撮像データを用いて、ＣＣＤセンサ出力値におけるＣＣＤセンサで発生するノイズの影響（ノイズによるＣＣＤセンサ出力値の増分）をモデル化したノイズモデルデータを算出し、算出したノイズモデルデータと、ＣＣＤセンサ出力値とから、ノイズの影響を考慮したＣＣＤセンサ出力値を算出し、このノイズの影響を考慮したＣＣＤセンサ出力値を用いて、ＣＣＤセンサ出力値と光エネルギとの関係テーブルから光エネルギを取得し、取得した光エネルギと、撮像素子が所定の画像を撮像した際の露光時間とから、撮像素子が前記所定の画像を撮像した際に感知した光の強さを算出するものである。

このように、本発明では、ＣＣＤセンサ出力値と光エネルギとの関係テーブルにおいて、異なる露光時間毎に取得したＣＣＤセンサ出力値から光エネルギを取得する際、ノイズの影響を考慮したＣＣＤセンサ出力値で光エネルギを取得し、取得した光エネルギから放射照度を算出することを特徴の１つとしている。

これは、ＣＣＤセンサに発生するノイズの影響が考慮されていないＣＤセンサ出力値を用いて、ＣＣＤセンサ出力値と光エネルギとの関係テーブルから光エネルギを取得し、取得した光エネルギから放射照度を求めると、求められた放射照度にもノイズの影響が含まれることとなるためである。このように、ノイズの影響が含まれた放射照度を用いてディスプレイ装置の画質評価を行うと正確な画質評価を行うことができない。

そこで、本発明では、ディスプレイ装置に表示された、ある同じ表示画面を異なる露光時間により撮像することによって得られる各露光時間に対応する撮像データに基づいて、ＣＣＤセンサ出力値に含まれるノイズの影響（ノイズによるＣＣＤセンサ出力値の増分）をモデル化したノイズモデルデータを算出する。

そして、算出されたノイズモデルデータによって、ＣＣＤセンサ出力値からノイズの影響（ノイズによるＣＣＤセンサ出力値の増分）が除去されたＣＣＤセンサ出力値、すなわち、ノイズの影響を考慮したＣＣＤセンサ出力値を得て、このノイズの影響を考慮したＣＣＤセンサ出力値で光エネルギを取得し、取得した光エネルギから放射照度を算出する。これにより、ノイズの影響を考慮した高精度な放射照度を得ることができる。

図１はノイズの影響を考慮したＣＣＤセンサ出力値を用いて放射照度を求める処理について説明する図である。
図１（ａ）は、ある画素ｉの撮像データにおける露光時間Δｔの変化に対するＣＣＤセンサ出力値を示す図である。図１（ａ）においては、露光時間Δｔを、Δｔ_Ａ，Δｔ_Ｂ，Δｔ_Ｃ（ただし、Δｔ_Ａ＜Δｔ_Ｂ＜Δｔ_Ｃ）と変化させたときのＣＣＤセンサ出力値を示している。なお、図１（ａ）においてハッチングを施した部分は、ＣＣＤセンサに発生するノイズの影響（ノイズによるＣＣＤセンサ出力値の増分）を示している。図１（ａ）からもわかるように、ノイズの影響は露光時間が長いほど大きな値となる。

図１（ａ）において、露光時間Δｔ_ＡのときのＣＣＤセンサ出力はＺ_Ａ、露光時間Δｔ_ＢのときのＣＣＤセンサ出力はＺ_Ｂ、露光時間Δｔ_ＣのときのＣＣＤセンサ出力値はＺ_Ｃであり、これらＺ_Ａ，Ｚ_Ｂ，Ｚ_Ｃは、それぞれの露光時間Δｔ_Ａ，Δｔ_Ｂ，Δｔ_Ｃにおけるノイズの影響（ノイズによるＣＣＤセンサ出力値の増分）δ_Ａ，δ_Ｂ，δ_Ｃが含まれたものとなっている。

本発明では、ＣＣＤセンサで発生するノイズの影響（ノイズによるＣＣＤセンサ出力値の増分）をＣＣＤセンサ出力値から差し引いた値、すなわち、ノイズの影響を考慮したＣＣＤセンサ出力値（Ｚ−δ）で、放射照度Ｅと露光時間Δｔとの積（＝光エネルギＥ・Δｔ）を取得し、取得した光エネルギＥ・Δｔから放射照度Ｅを算出する。

すなわち、ノイズの影響を考慮しない従来のＣＣＤセンサ出力値Ｚは、
Ｚ＝ｆ（Ｅ・Δｔ） ・・・（１）
と表すことができ、この（１）式から、ＣＣＤセンサ出力値と光エネルギとの関係式は、
Ｅ・Δｔ＝ｇ（Ｚ） ・・・（２）
で表すことができる。これに対して、ノイズの影響を考慮したＣＣＤセンサ出力値は、
Ｚ＝ｆ（Ｅ・Δｔ）＋δ ・・・（３）
と表すことができ、この（３）式から、ノイズの影響を考慮したＣＣＤセンサ出力値と光エネルギとの関係式は、
Ｅ・Δｔ＝ｇ（Ｚ−δ） ・・・（４）
と表すことができる。なお、（１）〜（４）式において、ＺはＣＣＤセンサ出力値、Ｅは放射照度、Δｔは露光時間であり、δはノイズによる影響（ノイズによるＣＣＤセンサ出力値の増分）、Ｅ・Δｔは光エネルギ、ｇはｇ＝ｆ^−１である。

本発明では、前述の（４）式、すなわち、ノイズの影響を考慮したＣＣＤセンサ出力値と光エネルギとの関係式において、ノイズの影響を考慮したＣＣＤセンサ出力値によって、光エネルギＥ・Δｔを取得し、取得した光エネルギから放射照度Ｅを算出する。これにより、算出された放射照度Ｅは、ノイズの影響が除去された値となる。

ここで、撮像データの画素マトリクス上のある画素ｉ（ｉは画素のインデクスを表すものとする）における放射照度Ｅ_ｉを、ＣＣＤセンサ出力値に対する重みを考慮した重み付き平均を取った式として表すと、
と表すことができる（図１（ｃ）参照）。なお、（５）式において、Ｗ（Ｚ_ｉ,ｊ）は重み係数であり、この重み係数Ｗ（Ｚ_ｉ,ｊ）については後述する。また、（５）式において、ｊは露光時間のインデクス、Ｎは露光時間のインデクスの総数を表す。

図２はノイズの影響を考慮したＣＣＤセンサ出力値と光エネルギとの関係式から放射照度を算出する手順を概略的に説明する図である。図２に示すように、まず、異なる露光時間により撮像されることによって得られた撮像データＤ_Ａ，Ｄ_Ｂ，Ｄ_Ｃ，・・・と、ＣＣＤセンサ出力値と光エネルギとの関係式、すなわち、前述の（２）式を取得して（ステップＳ１，Ｓ２）、ノイズの影響（ノイズによるＣＣＤセンサ出力値の増分）をモデル化する処理を行う（ステップＳ３）。

そして、ノイズの影響を考慮したＣＣＤセンサ出力値と光エネルギとの関係式すなわち前述の（４）式を求め（ステップＳ４）、この（４）式から放射照度Ｅを求める（ステップＳ５）。この放射照度Ｅは、
Ｅ＝ｇ（Ｚ−δ）／Δｔ ・・・（６）
と表すことができる。（６）式で算出される放射照度Ｅは、ノイズの影響を考慮したＣＣＤセンサ出力値による放射照度、すなわち、ノイズの影響が除去された放射照度となる。

ここで、前述の（４）式を計算しやすい数式とするために以下のような式の変形操作を行う。

（７）式は（４）式における右辺の「ｇ（Ｚ−δ）」の項を−δまわりでテイラー展開したものであり、（８）式は、（７）式の右辺がノイズの影響（ノイズによるＣＣＤセンサ出力値の増分）δの１次式となるように打ち切り、ノイズの影響を近似したものである。

本発明では（８）式に基づいてノイズのモデル化を行う。ここで、（８）式の右辺におけるノイズの影響（ノイズによるＣＣＤセンサ出力値の増分）を表す項（近似した項）は、δが露光時間Δｔの関数、すなわち、δ＝ｈ（Δｔ）と表現することができるので、
と表すことができる。

本発明は、実際に放射照度を算出する際に、（８）式を用いることにより、ＣＣＤセンサに発生するノイズの影響を受けない高精度な放射照度を求めることができる。

次に本発明の具体的な実施形態について説明する。
図３は本発明の実施形態に係る照度取得装置の構成を示す図である。本発明の実施形態に係る照度取得装置は、図３に示すように、ノイズモデルデータを算出する際に使用する複数の画素位置データを画素位置データとして出力する画素位置データ出力部１１、ノイズモデルデータを算出するノイズモデルデータ算出部１２、ＣＣＤセンサが感知する光の強さすなわち放射照度を算出する照度算出部１３（図３では放射照度算出部１３としている）を有している。

また、図３に示す照度取得装置が行う各種の処理に必要なデータ及び各構成要素によって算出されるデータとしては、ディスプレイ装置に表示される同じ表示画面を異なる露光時間で撮像すなわち露光時間を変えて撮像することによって得られた各露光時間に対応する撮像データＤ_Ａ，Ｄ_Ｂ，Ｄ_Ｃ，・・・を有する撮像データＤ１、画素位置データ出力部１１から出力される画素位置データＤ２、前述の（２）式で表されるＣＣＤセンサ出力値と光エネルギとの関係式を表すＣＣＤセンサ出力値と光エネルギとの関係テーブルＤ３、ノイズモデルデータ算出部１２によって算出されるノイズモデルデータＤ４、放射照度算出部１３によって算出される放射照度データＤ５がある。

各露光時間に対応する撮像データＤ_Ａ，Ｄ_Ｂ，Ｄ_Ｃ，・・・は、ＣＣＤセンサを撮像素子として用いたディジタルカメラなどにより、同じ表示画面を幾つかの異なる露光時間で撮像することによって得られるデータであり、これら撮像データＤ_Ａ，Ｄ_Ｂ，Ｄ_Ｃ，・・・から得られる各画素のＣＣＤセンサ出力をＣＣＤセンサ出力値とする。なお、異なる露光時間の設定はャッタースピードの変更で実現できる。

画素位置データ出力部１１は、ノイズモデルデータ算出部１２がノイズモデルデータＤ４を算出する際に用いるＣＣＤセンサ出力値を、撮像データの画素マトリクス上のどの画素位置の画素のものを用いるかを選択し、選択した画素位置データを出力する機能を有し、選択した画素位置データを画素位置データＤ２として出力する。

ＣＣＤセンサ出力値と光エネルギの関係テーブルＤ３は、ＣＣＤセンサ出力値と光エネルギ(放射照度×露光時間)との関係式を表すテーブルである。

また、ノイズモデルデータ算出部１２は、画素位置データＤ２、各露光時間に対応する撮像データＤ_Ａ，Ｄ_Ｂ，Ｄ_Ｃ，・・・、ＣＣＤセンサ出力値と光エネルギとの関係テーブルＤ３に基づいて、ＣＣＤセンサ出力値におけるノイズの影響（ノイズによるＣＣＤセンサ出力値の増分）をモデル化したノイズモデルデータＤ４を算出する機能を有する。

また、放射照度算出部１３は、ノイズモデルデータＤ４、各露光時間に対応する撮像データＤ_Ａ，Ｄ_Ｂ，Ｄ_Ｃ，・・・、ＣＣＤセンサ出力値と光エネルギとの関係テーブルＤ３に基づいて、ノイズモデルデータが含まれるＣＣＤセンサ出力値と光エネルギとの関係式を生成し、ノイズモデルデータが含まれるＣＣＤセンサ出力値と光エネルギとの関係式を用いて光エネルギを取得し、取得した前記光エネルギから放射照度を算出して、それを放射照度データＤ５として取得する機能を有する。

図４は本発明の実施形態に係る照度取得装置の全体的な処理手順を概略的に説明するフローチャートである。図４において、まず、ノイズモデルデータを算出する際に使用する画素を選択し、選択した画素位置を示す画素位置データＤ２を画素位置データ出力部１１から出力する（ステップＳ１１）。次に、画素位置データＤ２、各露光時間に対応する撮像データＤ_Ａ，Ｄ_Ｂ，Ｄ_Ｃ，・・・、ＣＣＤセンサ出力値と光エネルギとの関係テーブルＤ３に基づいて、ＣＣＤセンサ出力値におけるノイズの影響（ノイズによるＣＣＤセンサ出力値の増分）をモデル化したノイズモデルデータＤ４をノイズモデルデータ算出部１２により算出する（ステップＳ１２）。

そして、放射照度算出部１３により放射照度を算出する（ステップＳ１３）。このステップＳ１３の処理は、算出されたノイズモデルデータＤ４が含まれるＣＣＤセンサ出力値と光エネルギとの関係式から光エネルギを取得し、取得した光エネルギから放射照度を算出する。

図５は画素位置データ出力部１１が行う画素位置データ出力処理手順を説明するフローチャートである。図５に示すように、各露光時間に対応する撮像データＤ_Ａ，Ｄ_Ｂ，Ｄ_Ｃ，・・・を受け取り（ステップＳ２１）、撮像データの幅（横）×高さ（縦）に応じて選択すべき画素の候補（選択画素候補という）を撮像データの画素マトリクス上で複数個設定する（ステップＳ２２）。

そして、複数個の選択画素候補の各画素におけるＣＣＤセンサ出力値が各露光時間においてどのように変化するかを調べ、複数個の選択画素候補の中からノイズモデルデータを算出するに当たって適切な画素を所定数選択して、当該選択された画素（選択画素という）の画素位置データを出力する（ステップＳ２３）。なお、選択画素は、撮像データの画素マトリクス上で偏ることなく一応に分布するように選ばれることが好ましい。

図６は図５におけるステップＳ２３の処理を具体的に説明する図である。図６（ａ）は異なる露光時間ごとに撮像されることによって得られた撮像データであり、説明を簡単なものとするために、露光時間ΔｔをΔｔ_Ａ，Δｔ_Ｂ，Δｔ_Ｃ（ただし、Δｔ_Ａ＜Δｔ_Ｂ＜Δｔ_Ｃ）の３種類とし、これら露光時間Δｔ_Ａ，Δｔ_Ｂ，Δｔ_Ｃで得られた撮像データＤ_Ａ，Ｄ_Ｂ，Ｄ_Ｃについて考える。

なお、選択画素候補は、撮像データの画素マトリクス上で偏ることなく一応に分布するように選択され、また、その数は少なくとも１００個以上とすることが好ましいが、撮像データの横×縦の寸法に応じて、適切な数の画素を選択画素候補とする。

ここでは、説明を簡単なものとするため、４個の画素Ｐ１，Ｐ２，Ｐ３，Ｐ４を選択画素候補とする。また、各選択画素候補Ｐ１，Ｐ２，Ｐ３，Ｐ４の画素位置を撮像データにおける座標で表すと、選択画素候補Ｐ１の画素位置は（ｘ_１，ｙ_１）、選択画素候補Ｐ２の画素位置は（ｘ_２，ｙ_１）、選択画素候補Ｐ３の画素位置は（ｘ_１，ｙ_２）、選択画素候補Ｐ４の画素位置は（ｘ_２，ｙ_２）というように表すことができる。

図６（ｂ）は各選択画素候補Ｐ１，Ｐ２，Ｐ３，Ｐ４の露光時間Δｔ_Ａ，Δｔ_Ｂ，Δｔ_Ｃに対するＣＣＤセンサ出力値の関係を示す図である。図６（ｂ）からもわかるように、選択画素候補Ｐ１は、露光時間Δｔ_Ａ，Δｔ_Ｂ，Δｔ_ＣのいずれにおいてもＣＣＤセンサ出力値は高い値（白飛び状態すなわち飽和状態）であり、選択画素候補Ｐ４は、露光時間Δｔ_Ａ，Δｔ_Ｂ，Δｔ_ＣのいずれにおいてもＣＣＤセンサ出力値は低い値（黒つぶれ状態）である。

一方、選択画素候補Ｐ２，Ｐ３は、露光時間が変わると、ＣＣＤセンサ出力値がそれに応じて適度に変化する。したがって、この図６の例では、図６（ｃ）に示すように、選択画素候補Ｐ１，Ｐ２，Ｐ３，Ｐ４のうち、選択画素候補Ｐ２，Ｐ３がノイズモデルデータを算出するに当たって適切な画素として選択され、これらの画素位置が画素位置データＤ２として出力される

このように、本発明の実施形態では、ノイズモデルデータを算出する際に用いられるＣＣＤセンサ出力値は、画素位置データ出力部１１から出力される画素位置データＤ２で指示される画素、すなわち、撮像データの画素マトリクス上で設定された選択画素候補のうち、各露光時間においてＣＣＤセンサ出力値が適度に変化する画素のＣＣＤセンサ出力値が用いられる。

図７はノイズモデルデータ算出部１２が行うノイズモデルデータ算出処理手順を説明するフローチャートである。図７に示すように、まず、画素位置データ出力部１１からの画素位置データＤ２を取得する（ステップＳ３１）。また、撮像データを画素位置データで参照し、当該画素位置データでのＣＣＤセンサ出力値を露光時間と組で取得する（ステップＳ３２）。さらに、ＣＣＤセンサ出力値と光エネルギとの関係テーブルＤ３を取得する（ステップＳ３３）。

そして、ステップＳ３１〜Ｓ３３で取得した各データに基づいて、ノイズの影響を考慮したＣＣＤセンサ出力値と光エネルギとの関係式に適合するノイズモデルデータを算出する（ステップＳ３４）。

次に、ノイズモデルデータの算出について説明する。ノイズの影響（ノイズによるＣＤセンサ出力値の増分）は、前述したように、露光時間をパラメータとして持っている。ここで、ノイズの影響が露光時間の変化に対して線形に変化するものとして考えた場合のノイズの影響δは、
δ＝α・Δｔ ・・・（１０）
と表すことができる。

また、ノイズの影響δが露光時間の変化に対して非線形に変化するものとして考えた場合のδは、一例として、
δ＝α・Δｔ＋β・（Δｔ）^２ ・・・（１１）
と表すことができる。（１０）式および（１１）式において、α，βは定数である。

これら（１０）式または（１１）式のように、ノイズの影響δが露光時間の変化に対して線形または非線形に変化する場合において、（１０）式においては定数α、（１１）式においては定数α，βを求めることにより、ノイズモデルデータを生成することができる。

ここでは、ノイズの影響δが露光時間の変化に対して非線形に変化する場合、すなわち、（１１）式におけるα，βを前述の（８）式を用いて求める例について説明する。
まず、前述の（８）式を、
と変形し、この（１２）式のδに（１１）式を代入して、
を得る。（１３）式において、ｉは画素のインデクス、ｊは露光時間のインデクスを表す。

なお、（１３）式における右辺の分母（微分式）を、
のように、差分式（図８参照）として表すことによって、計算をよりし易くすることができる。

ここで、（１３）式において、各画素位置データの各露光時間でのＣＣＤセンサ出力値を用いて重み付き最小二乗近似を導入し、これにより与えられる連立方程式を計算することによって、αとβを求める。

すなわち、まずは、（１３）式を、
αΔｔ_ｊ＋β（Δｔ_ｊ）^２＝φ_ｉ，ｊ ・・・（１５）
とおく。ここで、φ_ｉ，ｊは、
である。

これを各々の選択画素における画素位置データにおいて、そのときの露光時間Δｔ_ｊにおけるＣＣＤセンサ出力値Ｚ_ｉ，ｊと、そのときの露光時間Δｔ_ｊとから与えられる連立方程式、
を解くことよって、α，βを求める。なお、（１７）式において、ｉは画素位置のインデクス、ｊは露光時間のインデクス、Ｐは画素位置データで表される画素のインデクスの総数、Ｎは露光時間のインデクスの総数である。

また、（１７）式におけるＷ（Ｚ_ｉ,ｊ）は重み係数であり、これは、
で表される。

図９は重み係数Ｗ（Ｚ_ｉ,ｊ）を説明する図である。図９からもわかるように、ＣＣＤセンサ出力値の最小値Ｚ_Ｍｉｎと最大値Ｚ_Ｍａｘでそれぞれ重み係数Ｗ（Ｚ）が０．０となるように設定され、ＣＣＤセンサ出力値の中間値Ｚ_Ｍｉｄで重み係数Ｗ（Ｚ）が１．０となるように設定されている。これは、ＣＣＤセンサ出力値が白飛び領域（飽和領域、Ｚ_Ｍａｘ付近）と黒つぶれ領域（ノイズ領域、Ｚ_Ｍｉｎ付近）は、ＣＣＤセンサの特性上、安定しない領域であるので、この領域の影響を小さくするために当該領域に対する重み係数はできるだけ小さくすることが好ましいからである。なお、ＣＣＤセンサ出力値の中間値Ｚ_Ｍｉｄは、
Ｚ_Ｍｉｄ＝（Ｚ_Ｍａｘ＋Ｚ_Ｍｉｎ）／２ ・・・（１９）
で求められるものとする。

図１０は放射照度算出部１３が行う放射照度の算出処理手順を説明するフローチャートである。図１０に示すように、露光時間の異なる撮像データを露光時間と組で取得する（ステップＳ４１）。また、ＣＣＤセンサ出力値と光エネルギとの関係テーブルＤ３を取得する（ステップＳ４２）。さらに、ノイズモデルデータ算出部１２で算出されたノイズモデルデータＤ４を取得する（ステップＳ４３）。

そして、ステップＳ４１〜Ｓ４３で取得した各データ、すなわち、露光時間の異なる撮像データとその時の露光時間、ＣＣＤセンサ出力値と光エネルギとの関係テーブルＤ３、ノイズモデルデータＤ４を用いてＣＣＤセンサの各画素が感知した光の強さ（放射照度）を算出する（ステップＳ４４）。

なお、ステップＳ４４は、具体的には、ノイズモデルデータＤ４、各露光時間に対応する撮像データＤ_Ａ，Ｄ_Ｂ，Ｄ_Ｃ，・・・、ＣＣＤセンサ出力値と光エネルギとの関係テーブルＤ３に基づいて、ノイズモデルデータが含まれるＣＣＤセンサ出力値と光エネルギとの関係式を生成し、ノイズモデルデータが含まれるＣＣＤセンサ出力値と光エネルギとの関係式を用いて光エネルギを取得し、取得した前記光エネルギから放射照度を算出する。

この際、ＣＣＤセンサにおけるある画素ｉにおける放射照度Ｅ_ｉは、前述の（５）式と同様、ＣＣＤセンサ出力値に対する重みを考慮した重み付き平均を取った式として表わすと、
のように表すことができる。なお、（２０）式において、ｉは画素のインデクス、ｊは露光時間Δｔのインデクスを表す。また、（２０）式の右辺の分子に含まれる微分式は、前述の（１４）式の差分式で表すことができる。また、重み係数Ｗ（Ｚ_ｉ,ｊ）は（１８）式で表されるものである。

ちなみに、ノイズを考慮しない場合の画素ｉ、露光時間Δｔ_ｊにおける放射照度Ｅ_ｉを、前述の（２）式において、重み係数Ｗ（Ｚ_ｉ,ｊ）を考慮した重み付き平均を取った式で表すとすると、
で表すことができる。

（２０）式及び（２１）式を比較すると、（２０）式にはノイズモデルデータ（（１１）式参照）が含まれる。したがって、（２０）式によって求められる放射照度Ｅ_ｉは、撮像データにおけるノイズの影響（ノイズによるＣＣＤセンサ出力値の増分）δが考慮されたものとなる。したがって、（２０）式を用いて、ＣＣＤセンサの各画素が感知した光の強さ（放射照度）を算出することにより、ノイズの影響が除去された放射照度を得ることができる。

以上説明したように本発明の実施形態によれば、異なる露光時間による撮像データに基づいて、ＣＣＤセンサ出力値からノイズの影響（ノイズによるＣＣＤセンサ出力値の増分）をノイズモデルデータとして算出し、そのノイズモデルデータに基づいてＣＣＤセンサ出力値のノイズの影響を抑制するようにしている。これにより、ＣＣＤセンサ出力値の感知した光の強さすなわち放射照度を従来提案されている手法に比べて高精度に取得することができる。

なお、本発明は上述の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。
また、本発明は前述の実施形態において説明した照度取得処理をコンピュータに実行させるためのプログラムとしての照度取得プログラムを各種の記録媒体に記録させておくことも可能である。したがって、本発明は、照度取得プログラムを記録した記録媒体をも含むものである。また、照度取得プログラムはネットワークから取得するようにしてもよい。

ノイズの影響を考慮したＣＣＤセンサ出力値を用いて放射照度を求める処理について説明する図。 ノイズの影響を考慮したＣＣＤセンサ出力値と光エネルギとの関係式から放射照度を算出する手順を概略的に説明する図。 本発明の実施形態に係る照度取得装置の構成を示す図。 本発明の実施形態に係る照度取得装置の全体的な処理手順を概略的に説明するフローチャート。 画素位置データ出力部１１が行う画素位置データ出力処理手順を説明するフローチャート。 図５におけるステップＳ２３の処理を具体的に説明する図。 ノイズモデルデータ算出部１２が行うノイズモデルデータ算出処理手順を説明するフローチャート。 （１３）式における右辺の分母（微分式）を差分式として表す例について説明する図。 重み係数Ｗ（Ｚ_ｉ，ｊ）を説明する図。 放射照度算出部１３が行う放射照度の算出処理手順を説明するフローチャート。

符号の説明

１１・・・画素位置データ出力部、１２・・・ノイズモデルデータ算出部、１３・・・放射照度算出部、Ｐ１，Ｐ２，Ｐ３，Ｐ４・・・選択画素候補、Ｄ２・・・画素位置データ、Ｄ３・・・ＣＣＤセンサ出力値と光エネルギとの関係テーブル、Ｄ４・・・ノイズモデルデータ、Ｄ５・・・放射照度データ、Ｄ_Ａ，Ｄ_Ｂ，Ｄ_Ｃ，・・・各露光時間に対応する撮像データ

Claims (9)

1. 感知した光の強さを電気エネルギに変換して出力する撮像素子の出力値と、前記撮像素子が感知した光の強さと露光時間との積で得られる光エネルギとの対応関係を用い、前記撮像素子の出力値に対応する光エネルギを異なる露光時間毎に取得し、前記異なる露光時間で取得した前記光エネルギと前記対応関係から前記撮像素子が感知した光の強さを算出し、算出した前記撮像素子が感知した光の強さを取得する照度取得装置であって、
   前記撮像素子が異なる露光時間で撮像することによって得られた撮像データを用い、前記撮像素子の出力値における前記撮像素子で発生するノイズの影響をモデル化したノイズモデルデータを算出するノイズモデルデータ算出部と、
   前記ノイズモデルデータと、前記撮像素子が所定の画像を撮像した際の前記撮像素子の出力値とから、ノイズの影響を考慮した撮像素子の出力値を算出し、算出した前記ノイズの影響を考慮した撮像素子の出力値を用いて、前記対応関係から光エネルギを取得し、取得した前記光エネルギと、前記撮像素子が前記所定の画像を撮像した際の露光時間とから前記撮像素子が前記所定の画像を撮像した際に感知した光の強さを算出する照度算出部と、
   を有することを特徴とする照度取得装置。
2. 請求項１に記載の照度取得装置において、
   前記撮像データから複数の画素を選択して、当該選択した画素を選択画素として設定し、設定した複数の前記選択画素の画素位置を画素位置データとして出力する画素位置データ出力部をさらに有することを特徴とする照度取得装置。
3. 請求項２に記載の照度取得装置において、
   前記選択画素は、前記撮像データから複数の画素を選択画素候補として設定し、設定した前記複数の選択画素候補の中から、前記撮像素子の出力値が前記異なる露光時間の各露光時間で異なった値を出力する画素を選ぶことによって設定されることを特徴とする照度取得装置。
4. 請求項２または３に記載の照度取得装置において、
   前記ノイズモデルデータを算出する際に用いられる前記撮像素子の出力値は、前記画素位置データで指示される画素における前記撮像素子の出力値を用いることを特徴とする照度取得装置。
5. 請求項１〜４のいずれかに記載の照度取得装置において、
   前記ノイズモデルデータ算出部および前記照度算出部は、前記ノイズモデルデータおよび前記撮像素子が感知した光の強さを算出する際、前記撮像素子の出力値における白飛び領域および黒つぶれ領域の影響を軽減する重み付けを行うことを特徴とする照度取得装置。
6. 請求項１〜５のいずれかに記載の照度取得装置において、
   前記ノイズモデルデータは、前記露光時間をパラメータとして持つことを特徴とする照度取得装置。
7. 請求項１〜６のいずれかに記載の照度取得装置において、
   前記撮像素子は、ＣＣＤセンサであることを特徴とする照度取得装置。
8. 感知した光の強さを電気エネルギに変換して出力する撮像素子の出力値と、前記撮像素子が感知した光の強さと露光時間との積で得られる光エネルギとの対応関係を用い、前記撮像素子の出力値に対応する光エネルギを異なる露光時間毎に取得し、前記異なる露光時間で取得した前記光エネルギと前記対応関係から前記撮像素子が感知した光の強さを算出し、算出した前記撮像素子が感知した光の強さを取得する照度取得方法であって、
   前記撮像素子が異なる露光時間で撮像することによって得られた撮像データを用い、前記撮像素子の出力値における前記撮像素子で発生するノイズの影響をモデル化したノイズモデルデータを算出するステップと、
   前記ノイズモデルデータと、前記撮像素子が所定の画像を撮像した際の前記撮像素子の出力値とから、ノイズの影響を考慮した撮像素子の出力値を算出し、算出した前記ノイズの影響を考慮した撮像素子の出力値を用いて、前記対応関係から光エネルギを取得し、取得した前記光エネルギと、前記撮像素子が前記所定の画像を撮像した際の露光時間とから前記撮像素子が前記所定の画像を撮像した際に感知した光の強さを算出するステップと、
   を有することを特徴とする照度取得方法。
9. 感知した光の強さを電気エネルギに変換して出力する撮像素子の出力値と、前記撮像素子が感知した光の強さと露光時間との積で得られる光エネルギとの対応関係を用い、前記撮像素子の出力値に対応する光エネルギを異なる露光時間毎に取得し、前記異なる露光時間で取得した前記光エネルギと前記対応関係から前記撮像素子が感知した光の強さを算出し、算出した前記撮像素子が感知した光の強さを取得する照度取得プログラムであって、
   前記撮像素子が異なる露光時間で撮像することによって得られた撮像データを用い、前記撮像素子の出力値における前記撮像素子で発生するノイズの影響をモデル化したノイズモデルデータを算出するステップと、
   前記ノイズモデルデータと、前記撮像素子が所定の画像を撮像した際の前記撮像素子の出力値とから、ノイズの影響を考慮した撮像素子の出力値を算出し、算出した前記ノイズの影響を考慮した撮像素子の出力値を用いて、前記対応関係から光エネルギを取得し、取得した前記光エネルギと、前記撮像素子が前記所定の画像を撮像した際の露光時間とから前記撮像素子が前記所定の画像を撮像した際に感知した光の強さを算出するステップと、
   を有することを特徴とする照度取得プログラム。