JP2021093694A - 情報処理装置およびその制御方法 - Google Patents

Abstract

【課題】より短時間で適切なカメラ設定を可能とする。【解決手段】撮像装置と接続可能に構成された情報処理装置は、ゲインが互いに異なる複数のカメラ設定を使用して撮像装置により撮像して得られた第２の画像群と、絞りが互いに異なる複数のカメラ設定を使用して撮像装置により撮像して得られた第３の画像群と、に基づいて、カメラ設定を露出量に変換する変換関数を作成する関数作成手段と、所与のスコア関数に基づいて、全てのカメラ設定それぞれに対する評価スコアを算出し、ある露出量範囲に対して相対的に高い評価スコアを有するカメラ設定を該ある露出量範囲に対するカメラ設定として規定するルックアップテーブル（ＬＵＴ）を作成するＬＵＴ作成手段と、を有する。【選択図】図４

Description

本発明は、撮像の際のカメラ設定（ゲイン・露光時間・絞り）を決定する技術に関するものである。

近年、監視カメラにより撮像した動画像から、被写体を認識・分析する映像解析技術が急速に発展している。映像解析においては、カメラ設定に起因する画質悪化により、映像解析の精度が低下するケースがある。例えば、ゲイン（撮像センサ感度）増加によるノイズの増加、露光時間の増加による動体ブレの増加、絞りに起因する被写界深度や鮮鋭度の低下などがある。映像解析に適した画像は、高コントラスト、低ノイズ、低ブレである画像である。例えば、非特許文献１に記載のコントラストに類する画像特徴量であるエントロピーは、画像内輝度値の情報量を表している。非特許文献２には、エントロピーを最大化するよう露光時間を制御し、ロボット用途の映像解析に効果があることが示されている。

通常、カメラ設定は、測光センサにより測定した明るさ評価値に対応する所定のカメラ設定に変更するか、所定の明るさ評価値になるよう探索的にカメラ設定（ゲイン・露光時間・絞り）を変更することによって決定される。ただし、撮像シーンによっては、動体ブレやコントラスト低下が発生し、映像解析の精度低下を引き起こす場合がある。

そこで、映像解析の精度低下を軽減するために、撮像シーンでの収集データに基づき、シーンに適したカメラ設定制御を行う種々の技術が提案されている。例えば、特許文献１には、異なるカメラ設定（ゲイン・露光時間・絞り）で撮像された複数画像を学習し、高コントラスト・低ノイズ・低ブレとなるカメラ設定を導出する技術が開示されている。具体的には、カメラ設定と特徴量（ノイズ・ブレ・コントラスト）の関係を学習し、その学習結果から別の照明条件での特徴量を予測・評価スコア化し、適切なカメラ設定を導出している。

国際公開第２０１９／００７９１９号

C. Shannon, "A mathematical theory of communication", Bell System Technical Journal, 27, pp379-423, 623-656 (1948) H. Lu, H. Zhang, S. Yang, Z. Zheng, "Camera parameters autoadjusting technique for robust robot vision", in Proc. IEEE Intl. Conf. on Robot. and Automat., pp1518-1523 (2010)

しかしながら、特許文献１の技術においては、事前の撮像および最適設定の予測計算に時間がかかるという課題があった。例えば、事前の撮像においては、カメラ設定の項目が多いことから全ての組み合わせの撮像を行うには相当の時間を要することになる。また、最適設定の予測計算においてはコントラスト評価が含まれているため、照明条件ごとのコントラスト分布の予測が必要となり、その予測計算に時間を要することになる。

本発明は、このような問題に鑑みてなされたものであり、より短時間で適切なカメラ設定を決定可能とする技術を提供することを目的としている。

上述の問題点を解決するため、本発明に係る情報処理装置は以下の構成を備える。すなわち、撮像を行う際のカメラ設定としてゲイン、露光時間、絞りを変更可能な撮像装置と接続可能に構成された情報処理装置は、
露光時間が互いに異なる複数のカメラ設定を使用して前記撮像装置により撮像して得られた第１の画像群に基づいて、前記撮像装置におけるカメラ応答関数を推定する推定手段と、
ゲインが互いに異なる複数のカメラ設定を使用して前記撮像装置により撮像して得られた第２の画像群と、絞りが互いに異なる複数のカメラ設定を使用して前記撮像装置により撮像して得られた第３の画像群と、に基づいて、カメラ設定を露出量に変換する変換関数を作成する関数作成手段と、
所与のスコア関数に基づいて、全てのカメラ設定それぞれに対する評価スコアを算出し、ある露出量範囲に対して相対的に高い評価スコアを有するカメラ設定を該ある露出量範囲に対するカメラ設定として規定するルックアップテーブル（ＬＵＴ）を作成するＬＵＴ作成手段と、
を有する。

本発明によれば、より短時間で適切なカメラ設定を決定可能とする。

ゲインおよび露光時間の組み合わせにおけるコントラスト分布を示す図である。 第１実施形態に係るカメラシステムの全体構成を示す図である。 画像撮像装置及び情報処理装置の内部構成を示すブロック図である。 情報処理装置が実行する全体の処理を示すフローチャートである。 カメラ設定量を取得する関数を作成する処理（Ｓ４）のフローチャートである。 Ｓ４０３〜Ｓ４０８で作成される各補間関数を説明する図である。 最適設定ＬＵＴを作成する処理（Ｓ５）のフローチャートである。 カメラ設定量を取得する処理（Ｓ７）のフローチャートである。 第１実施形態において撮像に使用されるカメラ設定の範囲を例示的に示す図である。 目標明るさを決定する処理（Ｓ３）のフローチャートである。 第２実施形態において撮像に使用されるカメラ設定の範囲を例示的に示す図である。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでするものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１実施形態）
本発明に係る情報処理装置の第１実施形態として、画像撮像装置と当該画像撮像装置と接続可能に構成された情報処理装置とを含むカメラシステムを例に挙げて以下に説明する。

＜概要＞
背景技術で述べたように、特許文献１の技術においては、事前の撮像および最適設定の予測計算に時間を要するという課題がある。ここで、最適設定とは、高コントラスト、低ノイズ、低ブレとなるカメラ設定（ゲイン、絞り、露光時間の組み合わせ）を意味する。

シーンデータ収集のための事前の撮像においては、最適設定の予測計算における予測計算の精度低下を防ぐため、撮像中の外乱（照明変動や動体侵入など）を少なくする必要がある。一方、特許文献１では、離散的な露光時間配列と明るさ的に同等なゲイン配列・絞り配列を作成し、それら配列の各要素の全組み合わせのカメラ設定（ゲイン・露光時間・絞り）に対して撮像を行っている。このように、撮像に使用するカメラ設定の個数が多いため、外乱の少ない撮像を行うためには時間を要し、ユーザーに負担をかけ、使い勝手の悪いものとなる。

また、最適設定の予測計算においては、最適設定を予測する際の評価スコアにコントラスト評価が含まれている。図１は、照明条件ごとのゲインおよび露光時間の組み合わせにおけるコントラスト分布を例示的に示す図である。図１において、セル内が白いほどコントラスト値が高いことを示しているが、図１に示されるようにコントラスト分布は照明条件によって異なる。そのため、照明条件ごとにコントラスト分布を予測しなければならず、その予測計算に時間を要し、ユーザーに負担をかけ、使い勝手の悪いものとなる。

そこで、第１実施形態では、より少ないカメラ設定の個数で撮像された複数画像に基づいて、カメラ設定量（露出量とも呼ばれる）に対する最適設定を指定するＬＵＴ（ルックアップテーブル）を決定し、撮像制御に利用する形態について説明する。なお、以下の説明において、カメラ設定量とは、ゲイン、露光時間、絞りの組み合わせにより一意に決まる値を意味し、例えば後述の数式（８）により示される量である。

第１実施形態にかかるカメラシステムの動作は、大きく「Ｌｅａｒｎｉｎｇステップ」、「Ｃａｌｉｂｒａｔｉｏｎステップ」，「Ｏｐｅｒａｔｉｏｎステップ」の３つのステップに分けて説明することが出来る。

Ｌｅａｒｎｉｎｇステップでは、画像におけるノイズやブレ、絞り値を評価スコアに変換するための事前に用意した関数の読み込みを行う。評価スコアは、例えばノイズスコアの場合、様々な程度のノイズが載った画像を複数人が主観でスコア付けし、その中央値をそのノイズの評価スコアとするという方法により決定され得る。ただし、評価スコアの決定方法はこの方法に限定されず、公知の他の主観評価スコアもしくは客観評価スコアの決定方法を用いても良い。

Ｃａｌｉｂｒａｔｉｏｎステップでは、互いに異なる複数のカメラ設定を使用して複数画像を撮像し、得られた複数画像に基づいて、カメラ設定量に対する最適設定を指定するＬＵＴ（最適設定ＬＵＴ）を決定する。より具体的には、複数画像に基づいて、カメラ設定制御の目標明るさの決定、カメラ応答関数ｇの取得、カメラ設定量取得関数の取得、特徴量取得関数の取得を行う。そして、それらに基づき最適設定ＬＵＴを決定する。

Ｏｐｅｒａｔｉｏｎステップでは、撮像した画像を目標明るさにするために必要なカメラ設定量（必要カメラ設定量）を、カメラ応答関数ｇを用いて取得する。そして取得した必要カメラ設定量に基づき最適設定ＬＵＴから最適設定を取得し、カメラ設定制御を行う。

＜システムおよび各装置の構成＞
図２は、第１実施形態に係るカメラシステムの全体構成を示す図である。カメラシステムは、画像撮像装置１０と、ネットワーク２０と、情報処理装置３０とを含む。なお、情報処理装置３０の機能を画像撮像装置１０内に内蔵した一体構成としても良い。

画像撮像装置１０は、画像を撮像する装置である。画像撮像装置１０の撮像により得られた画像信号はネットワーク２０を介して情報処理装置３０へ送信される。また、画像撮像装置１０は、情報処理装置３０からカメラ設定制御信号を受信し、撮像のためのカメラ設定を変更可能に構成されている。

図３は、画像撮像装置１０及び情報処理装置３０の内部構成を示すブロック図である。画像撮像装置１０は、撮像部１１と、ＣＣＤコントローラ１２と、Ｉ／Ｆ（インタフェース）部１３とを備える。

撮像部１１は、レンズ１１１と、絞り１１２と、レンズ１１１と絞り１１２を通過した入射光を受け入射光に応じた検出信号を出力するＣＣＤ（Charge Coupled Devices）１１３とを備える。撮像部１１は、ＣＣＤコントローラ１２によって制御され、画像を撮像する。

Ｉ／Ｆ部１３は、ネットワーク２０と通信接続するためのインタフェースである。例えば、Ｉ／Ｆ部１３は、情報処理装置３０からネットワーク２０を介して送信されたカメラ設定制御信号を受信し、そのカメラ設定制御信号をＣＣＤコントローラ１２に送信する。

情報処理装置３０は、Ｉ／Ｆ部３１と、ＣＰＵ（Central Processing Unit）３２と、メモリ３３と、記憶部３４と、データバス３５を備えている。Ｉ／Ｆ部３１、ＣＰＵ３２、メモリ３３、記憶部３４はデータバス３５に接続されている。

Ｉ／Ｆ部３１は、ネットワーク２０と通信接続するためのインタフェースである。例えば、Ｉ／Ｆ部３１は、画像撮像装置１０からネットワーク２０を介して送信された画像信号を受信し、その画像信号をカメラシステムで扱うフォーマットの画像データに変換し、データバス３５を介してメモリ３３に出力する。

ＣＰＵ３２は、メモリ３３に格納された動作プログラムに従って、メモリ３３に保存された画像データの解析を行う。例えば、ＣＰＵ３２は、上記解析の結果、例えば画像撮像装置１０の撮像視野内の輝度値などの情報を得る。そしてＣＰＵ３２は、その情報をメモリ３３に出力し、メモリ３３はこの情報を保持する。

＜装置の動作＞
図４は、情報処理装置３０が実行する全体の処理を示すフローチャートである。

ステップＳ１では、情報処理装置３０は、画像におけるノイズ・ブレ・絞り値それぞれから各評価スコアを取得する評価関数を読み込む。例えばノイズとノイズ評価スコアとの関係は、予め取得（例えば、開発段階で取得）した離散的なノイズ値と対応する評価スコア値のデータを補間することで取得される。この関数は後述するように、最適設定を取得する際の評価スコアの計算に用いられる。

ステップＳ２では、情報処理装置３０は、ピクセル輝度値を撮像センサの蓄積光量に変換するカメラ応答関数ｇを推定する。カメラ応答関数ｇの推定方法は、公知技術であり「P. E. Debevec, J. Malik, "Recovering High Dynamic Range Radiance Maps from Photographs", Computer Graphics, 31, pp369-378 (1997)」（非特許文献３）に記述されている。

ピクセルごとのカメラ応答関数ｇは例えば数式（１）に示されるものである。カメラ応答関数ｇは、具体的には、露光時間の異なる複数画像の選択された各ピクセル輝度値Ｉ_ijを用いて数式（２）のＣを最小化するｇを最小二乗法により求めるためのものである。数式（２）において、ｉは画像内のピクセルを示すインデックス、ｊは画像のインデックスである。Ｉ_ijは、ｊ番目の画像のｉ番目のピクセル輝度値である。Ｅ_iは、ｉ番目のピクセルに届く光量である。Δt_jは、ｊ番目の画像の露光時間である。また、Ｎは計算に用いる総ピクセル数、Ｐは計算に用いる総画像数、Ｉ_minとＩ_maxは画素値の最小値および最大値である。画素値が８ｂｉｔ値である場合、Ｉ_minとＩ_maxはそれぞれ「０」と「２５５」となる。以下の説明では、ピクセルごとのカメラ応答関数ｇである数式（１）の替わりに、数式（３）に示される画像全体のカメラ応答関数ｇを用いる。

ステップＳ３では、情報処理装置３０は、カメラ設定制御の目標明るさを決定する。具体的には、露光時間の異なる複数画像を撮像し、各画像から画像明るさ（Ｉｎｔｅｎｓｉｔｙ）とコントラスト（Ｃｏｎｔｒａｓｔ）を取得する。そしてその中でコントラストが高い画像明るさを取得し、カメラ設定制御の目標明るさとする。

画像明るさは、数式（４）を用いて取得する。Ｉ_iは画像のｉ番目のピクセル輝度値であり、Ｎは画像の総ピクセル数である。なお、画像明るさの取得はこの方法に限定されず、例えば画像中央部に重みづけされた重みマップによる輝度値の加重平均を画像明るさとしても良い。

コントラストは、数式（５）を用いてエントロピー（Ｅｎｔｏｒｏｐｙ）から取得され、エントロピーは非特許文献１に記載の数式（６）により取得する。Ｍａｘ＿ｅｎｔｒｏｐｙは、エントロピーがとりうる最大値である。Ｐ_jは、任意の区間幅で取得した画像輝度値ヒストグラムを全ピクセル数で割ったもののうちｊ番目の区間の高さである。なお、コントラストの取得はこの方法に限定されず、撮像シーンから得られる情報を定量化した画質値であれば良い。

また、例えば、「I. Shim, T.H. Oh, J.Y. Lee, J. Choi, D.G. Choia, I.S. Kweon, "Gradient-based Camera Exposure Control for Outdoor Mobile Platforms", IEEE Trans. Circuits Syst. Video Technol., 1, (2018)」（非特許文献４）で用いられているような、画像の輝度勾配量が高い画像明るさを目標明るさとしても良い。

ステップＳ４では、情報処理装置３０は、カメラ設定からカメラ設定量（露出量）を取得するための変換関数を作成する。具体的には、露光時間・ゲイン・絞りを変更して撮影された画像の明るさを導出し露光時間と画像明るさ的に等価とする係数を求め、それらのカメラ設定からカメラ設定量を取得する関数作成を行う。

ステップＳ５では、情報処理装置３０は、カメラ設定量に対する最適設定を規定するＬＵＴ作成（最適設定ＬＵＴ）を行う。具体的には、まず、カメラ設定の異なる複数画像を撮像し、カメラ設定と特徴量の関係を学習し、カメラ設定から特徴量を取得する所与のスコア関数を取得する。そして、このスコア関数を用いてカメラ設定から特徴量を取得し、Ｓ１で取得した評価関数を用いてカメラ設定ごとの評価スコアを取得する。また、Ｓ４で作成した関数を用い、全カメラ設定それぞれからカメラ設定量を取得する。そして、カメラ設定をカメラ設定量の近いカメラ設定同士でグループ化し、各グループの中で評価スコアが高いカメラ設定を、そのグループの最適設定として決定する。なお「最適設定」と表現しているが必ずしも評価スコアが最高の設定に限定されず相対的に高いものであればよい。上述の処理を全グループに対し行い、カメラ設定量に対する最適設定ＬＵＴを作成する。

ステップＳ６では、情報処理装置３０は、撮影を行い画像を取得する。なお、撮影不可の場合は処理を終了する。

ステップＳ７では、情報処理装置３０は、Ｓ３で取得した目標明るさに対する必要カメラ設定量を取得する。具体的には、Ｓ４で取得したカメラ設定量を取得する関数を用いて、撮像時のカメラ設定からカメラ設定量を取得する。また、Ｓ６で撮像した画像明るさを取得する。そして、取得したカメラ設定量と画像明るさ、Ｓ２で取得したカメラ応答関数ｇを用いて、Ｓ３で取得した目標明るさへの必要カメラ設定量を取得する。

ステップＳ８では、情報処理装置３０は、Ｓ７で取得した必要カメラ設定量に基づいて、Ｓ５で取得した最適設定ＬＵＴを参照し最適設定を取得する。そして、取得した最適設定をカメラ設定に反映する。

図５は、カメラ設定量を取得する関数を作成する処理（Ｓ４）のフローチャートである。また、図６は、ゲインの露光時間換算係数の取得において生成される各補間関数を説明する図である。

ステップＳ４０１では、情報処理装置３０は、露光時間Δtの異なる複数画像（最低２枚）を撮像する。これらの画像の撮像の際、ゲイン・絞りなどの他のパラメータは固定とする。また、これら複数画像（第１の画像群）には、画像全体が白飛びまたは黒つぶれしていない画像を用いる。

ステップＳ４０２では、情報処理装置３０は、Ｓ４０１で取得した露光時間Δtの異なる複数画像それぞれから画像明るさＩ_Δtを算出する。

ステップＳ４０３では、情報処理装置３０は、図６（ａ）に示すようにｌｎ（Δt）と画像明るさＩ_Δtをプロットする。そして、データポイントを補間した関数ｆ_{Δt_to_I}（ｌｎ（Δt））を作成する。

ステップＳ４０４では、情報処理装置３０は、ゲインの異なる複数画像（最低２枚）を撮像する。これらの画像の撮像の際、露光時間・絞りなどの他のパラメータは固定とする。これら複数画像（第２の画像群）には、画像全体が白飛びまたは黒つぶれしていない画像を用いる。

ステップＳ４０５では、情報処理装置３０は、Ｓ４０４で取得したゲインの異なる複数画像それぞれから画像明るさＩ_gainを算出する。

ステップＳ４０６では、情報処理装置３０は、図６（ｂ）に示すようにゲインと画像明るさＩ_gainをプロットする。そして、データポイントを補間した関数ｆ_{I_to_gain}（Ｉ_gain）を作成する。

ステップＳ４０７では、情報処理装置３０は、例えば、「−１０」から「０」へ０．５間隔に生成した仮想ｌｎ（Δt）配列から、ゲイン配列を生成する。具体的には、関数ｆ_{Δt_to_I}（ｌｎ（Δt））と、関数ｆ_{I_to_gain}（Ｉ_gain）とを用いて、数式（７）によりゲイン配列を生成する。

ステップＳ４０８では、情報処理装置３０は、図６（ｃ）に示すように、Ｓ４０７で生成したゲイン配列とｌｎ（Δt）配列とをプロットし、傾きｋ_gainを求める。例えば、一次回帰により求めることが出来る。

ステップＳ４０９では、情報処理装置３０は、絞りの異なる複数画像（最低２枚）を撮像する。これら複数画像（第３の画像群）には、画像全体が白飛びまたは黒つぶれしていない画像を用いる。なお、後述の図９右図から理解されるように、第１の画像群と第２の画像群と第３の画像群とは共通する画像を含み得る。

ステップＳ４１０では、情報処理装置３０は、Ｓ４０９で取得した絞りの異なる複数画像それぞれから各画像明るさＩ_irisを算出する。

ステップＳ４１１では、情報処理装置３０は、図６（ｂ）と同様に、絞りと対応する画像明るさＩ_irisをプロットする。そして、データポイントを補間したｆ_{I_to_iris}（Ｉ_iris）を作成する。

ステップＳ４１２では、情報処理装置３０は、等間隔に生成したΔt配列から、絞り配列を生成する。具体的には、関数Ｉｒｉｓ＝ｆ_{I_to_iris}（ｆ_{Δt_to_I}（ｌｎ（Δt）））により絞り配列を生成する。

ステップＳ４１３では、情報処理装置３０は、図６（ｃ）と同様に、Ｓ４１２で取得した絞り配列と対応するｌｎ（Δt）配列をプロットし、傾きｋ_irisを求める。例えば、一次回帰により求めることが出来る。

ステップＳ４１４では、情報処理装置３０は、カメラ設定（ゲイン・露光時間・絞り）からカメラ設定量Ｒを取得する関数を数式（８）に従って作成する。すなわち、ｋ_gainをゲイン項の係数、ｋ_irisを絞り項の係数として適用する。

図７は、最適設定ＬＵＴを作成する処理（Ｓ５）のフローチャートである。

ステップＳ５０１では、情報処理装置３０は、事前にユーザーが用意した目的被写体が映ったカメラ設置シーンでの撮像動画から、被写体の移動速度ｖを測定する。被写体移動速度は例えばオプティカルフローなど公知の技術を用いて測定する。

ステップＳ５０２では、情報処理装置３０は、Ｓ５０１で取得した被写体移動速度ｖを用いて、露光時間Δtを引数とした数式（９）によりブレを取得するブレ取得関数を作成する。ここで、ブレとは、露光時間Δtの間に被写体が移動するピクセル数を意味する。

ステップＳ５０３では、情報処理装置３０は、ゲインからノイズ値を取得する関数を取得する。具体的には、ゲインの異なるカメラ設定ごとに複数画像を撮像し、撮像した画像からカメラ設定ごとのノイズ値を取得する。そして、取得したノイズ値と撮像時のゲインをプロットし、データポイントを補間し、ゲインからノイズ値を取得する関数を取得する。

この時、各カメラ設定における撮像枚数は例えば５枚から１０枚の連続画像とする。ノイズ値の取得は以下のように行う。まず同じカメラ設定の連続画像から所定の数のピクセル輝度値をそれぞれ収集し、数式（１０）の行列Ｘと数式（１１）を用いて共分散行列Ｃを取得する。数式（１０）において、ｐはピクセル輝度値、Ｎは各画像から取得したピクセルの総数、Ｋは連続画像の枚数である。また数式（１１）において、μはＫ×Ｎの行列であり、各行はＫ番目フレームのＮ個のピクセル輝度値の平均値となっている。そして取得した共分散行列Ｃの最小固有値を特異値分解により求め、その二乗根をノイズ値とする。また、ノイズ計算方法はこの方法に限定されず、他の公知の技術により計算しても良い。

そしてゲイン値とノイズ値をプロットし、データポイントを補間し、ゲインを引数としノイズを取得するノイズを取得するノイズ取得関数を作成する。

ステップＳ５０４では、情報処理装置３０は、ゲイン・露光時間・絞りそれぞれに対して任意の幅の離散値のリストを作成する。

ステップＳ５０５では、情報処理装置３０は、Ｓ５０４で取得したゲイン・露光時間・絞りのリストの全組み合わせ（全カメラ設定）それぞれについて、ブレ・ノイズ値を算出する。具体的には、ブレの算出にはＳ５０２で作成したブレ取得関数を用い、ノイズの算出にはＳ５０３で作成したノイズ取得関数を用いる。

ステップＳ５０６では、情報処理装置３０は、Ｓ５０４で取得したゲイン・露光時間・絞りのリストの全組み合わせそれぞれについて、ブレスコア、ノイズスコア、絞りスコアを算出する。具体的には、ブレスコアとノイズスコアはＳ５０５で取得したノイズとブレから、Ｓ１で取得したスコア化関数に基づきスコア化する。また、絞りスコアは、絞り値に基づき、Ｓ１で取得したスコア化関数に基づきスコア化する。

ステップＳ５０７では、情報処理装置３０は、総合スコアＳｃｏｒｅ_totalを算出する。具体的には、Ｓ５０６で取得した全カメラ設定組み合わせそれぞれのブレスコア、ノイズスコア、絞りスコアから、例えば式（１２）を利用して算出する。

ステップＳ５０８では、情報処理装置３０は、Ｓ５０４で取得したゲイン・露光時間・絞りのリストの全組み合わせそれぞれについて、カメラ設定量Ｒを取得する。具体的には、Ｓ４で取得したカメラ設定量取得関数を用いて取得する。

ステップＳ５０９では、情報処理装置３０は、カメラ設定量Ｒをキーとした最適設定ＬＵＴ（ルックアップテーブル）を作成する。具体的には、Ｓ５０８で取得したカメラ設定量Ｒを所定の値範囲（露出量範囲）ごとにグループ分けし、各グループ内の最大総合スコアとなるカメラ設定を収集し最適設定ＬＵＴを作成する。

図８は、目標明るさに対するカメラ設定量を取得する処理（Ｓ７）のフローチャートである。

ステップＳ７０１では、情報処理装置３０は、Ｓ６での撮像におけるカメラ設定（現カメラ設定）から、Ｓ４で取得したカメラ設定量を取得する関数を用い、現在のカメラ設定量Ｒ₀を算出する。

ステップＳ７０２では、情報処理装置３０は、Ｓ６での撮像により得られた撮像画像（現撮影画像）から現在の画像明るさＩ₀を算出する。

ステップＳ７０３では、情報処理装置３０は、Ｓ２で取得したカメラ応答関数ｇを用いて、目標明るさＩ₁にするために必要なカメラ設定量Ｒ₁（目標露出量）を算出する。

Ｒ₁はカメラ応答関数ｇを用いて式（１５）のように求められる。ここで、Ｉ₀はカメラ設定変更前の画像明るさ、Ｒ₀はカメラ設定変更前のカメラ設定量（現カメラ設定量）である。また、Ｉ₁は目標明るさ、Ｒ₁は必要カメラ設定量である。シーン光量Ｅはカメラ設定変更前後で変化がないとすると、式（１３）、式（１４）を経て、式（１５）により、目標明るさ、現画像明るさ、現カメラ設定量から、目標明るさにするために必要なＲ₁を導くことができる。そして、ステップＳ５０９において作成された最適設定ＬＵＴのうち、カメラ設定量Ｒ₁に対応するカメラ設定（露光時間、ゲイン、絞り）のパラメータを取得する。

図９は、第１実施形態において撮像に使用されるカメラ設定の範囲を例示的に示す図である。左図（特許文献１に挙げた従来手法）による撮像に使用されるカメラ設定の範囲を示しており、ゲイン・露光時間・絞りの全組み合わせ（全カメラ設定）での撮像が必要であることを示している。一方、右図（第１実施形態）では、撮像に使用されるカメラ設定の範囲が大幅に削減されていることが分かる。例えば、図９に関してゲイン・露光時間・絞りそれぞれが５通り存在する場合、従来手法では、１２５枚の撮像が必要であるが、第１実施形態では、１２枚の撮像をすれば良いことが分かる。なお、精度向上のため、いくつかのカメラ設定での撮影を追加で行うよう構成してもよい。

以上説明したとおり第１実施形態によれば、異なる複数のカメラ設定（ゲイン・露光時間・絞り）で撮像した画像に基づき、カメラ設定量を取得する関数を作成し、当該関数に基づき最適設定ＬＵＴを作成する。これにより、従来手法に比較し、事前の撮像に要する時間を大幅に削減することができる。また、コントラストを最適設定予測のスコア計算から除くことで、照明条件ごとのカメラ設定内のコントラスト分布の予測が必要なくなる。そのため、最適設定の決定に要する時間を大幅に削減することができる。そうすることで、撮像時の外乱混入のリスクやユーザーの時間的負担も減少させることができる。

（第２実施形態）
本発明に係る情報処理装置の第２実施形態として、他の形態のカメラシステムを例に挙げて以下に説明する。具体的には、第２実施形態では、第１実施形態に比較し撮像に使用されるカメラ設定の範囲を更に削減可能とする形態について説明する。

なお、カメラシステムの構成（図２、図３）および全体の処理（図４）については第１実施形態と同様であるため説明は省略する。ただし、Ｓ３（目標明るさの決定）の詳細が第１実施形態と異なる。

＜装置の動作＞
第１実施形態のＳ３（目標明るさの決定）では、露光時間の異なる複数画像それぞれからコントラストと画像明るさを取得し、その中から最大コントラストとなる画像明るさをカメラ設定制御の目標明るさとして決定した。

しかしながら、第１実施形態では図９に示されるように、ほぼ全ての露光時間に対して撮像が必要となり、撮像に要する時間が長くなる。そのために、照明変動や動体侵入などの外乱が混入するリスクが高まる。また、離散的な露光時間での撮像結果しかわからず、最高コントラストとなる画像明るさが取得できない可能性がある。

図１０は、第２実施形態における目標明るさを決定する処理（Ｓ３）のフローチャートである。

ステップＳ３０１では、情報処理装置３０は、露光時間の異なる複数画像を撮像する。撮像においては、シーンの光量レンジの大部分をカバーできるような複数の露光時間を選択する。なお、１つの露光時間の撮像でシーン光量の大部分をカバーできる場合は、１枚の画像撮像でも良い。

ステップＳ３０２では、情報処理装置３０は、Ｓ３０１で取得した露光時間の異なる複数画像と、Ｓ２で推定したカメラ応答関数ｇから、シーンの光量マップＥmapを推定により作成する。シーンの光量マップ作成には、例えば非特許文献３に記載の公知の技術を用いることができる。

ステップＳ３０３では、情報処理装置３０は、Ｓ３０２で作成した光量マップＥmapとＳ２で取得したカメラ応答関数ｇを用い、任意の間隔の露光時間に対応する複数の仮想画像（仮想画像群）を作成する。仮想画像の作成は、ピクセルごとに式（１６）を用いて求める。式（１６）において、Ｅmap_iは光量マップのｉ番目ピクセル値、Δtは露光時間、ｇはカメラ応答関数ｇである。

ステップＳ３０４では、情報処理装置３０は、Ｓ３０３で取得した露光時間の異なる仮想画像それぞれから画像明るさとコントラストを取得し、その中で相対的に高い（好適には最大）のコントラストとなる仮想画像の画像明るさを目標明るさとする。

図１１は、第２実施形態において撮像に使用されるカメラ設定の範囲を例示的に示す図である。図から理解されるように、第１実施形態（図９の右図）に比較して、撮像に使用されるカメラ設定の範囲が更に削減されていることが分かる。そのため、事前の撮像に要する時間をより削減することができる。

以上説明したとおり第２実施形態によれば、シーンの光量マップを作成し複数の仮想画像を生成し、その中から相対的に高い（好適には最大）コントラストとなる仮想画像の画像明るさを目標明るさとして選択する。それにより、第１実施形態よりも少ない撮像枚数で目標明るさを決定することが可能となる。そのため、撮像時間が削減されることにより外乱混入のリスクを減少させることができ、任意の露光時間の仮想画像を取得できることから、第１実施形態と同等又はより高精度に目標明るさを決定することが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０ 画像撮像装置； ２０ ネットワーク； ３０ 情報処理装置

Claims (11)

1. 撮像を行う際のカメラ設定としてゲイン、露光時間、絞りを変更可能な撮像装置と接続可能に構成された情報処理装置であって、
   ゲインが互いに異なる複数のカメラ設定を使用して前記撮像装置により撮像して得られた第２の画像群と、絞りが互いに異なる複数のカメラ設定を使用して前記撮像装置により撮像して得られた第３の画像群と、に基づいて、カメラ設定を露出量に変換する変換関数を作成する関数作成手段と、
   所与のスコア関数に基づいて、全てのカメラ設定それぞれに対する評価スコアを算出し、ある露出量範囲に対して相対的に高い評価スコアを有するカメラ設定を該ある露出量範囲に対するカメラ設定として規定するルックアップテーブル（ＬＵＴ）を作成するＬＵＴ作成手段と、
   を有することを特徴とする情報処理装置。
2. 露光時間が互いに異なる複数のカメラ設定を使用して前記撮像装置により撮像して得られた第１の画像群に基づいて、前記撮像装置におけるカメラ応答関数を推定する推定手段と、
   前記第１の画像群に基づいて、目標明るさを決定する第１の決定手段と、
   前記カメラ応答関数と、前記目標明るさと、前記撮像装置の現在のカメラ設定における現在の露出量と現在の画像の明るさと、に基づいて、目標露出量を決定する第２の決定手段と、
   前記目標露出量と前記ＬＵＴとに基づいて、前記撮像装置による撮像に利用するカメラ設定を決定する第３の決定手段と、
   を更に有することを特徴とする請求項１に記載の情報処理装置。
3. 前記第１の決定手段は、前記第１の画像群のうち相対的に高いコントラストである画像の明るさを前記目標明るさとして決定する
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記第１の決定手段は、前記第１の画像群に基づき生成される光量マップと前記カメラ応答関数とに基づき該第１の画像群を補間する仮想画像群を生成し、該仮想画像群のうち相対的に高いコントラストである画像の明るさを前記目標明るさとして決定する
   ことを特徴とする請求項２に記載の情報処理装置。
5. 前記関数作成手段は、前記第２の画像群と前記第３の画像群とに基づいて所与の関数に含まれる係数を決定し、該決定された係数を該所与の関数に適用することにより前記変換関数を作成する
   ことを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記関数作成手段は、前記第２の画像群から前記所与の関数に含まれるゲイン項の係数を決定し、前記第３の画像群から前記所与の関数に含まれる絞り項の係数を決定する
   ことを特徴とする請求項５に記載の情報処理装置。
7. 前記評価スコアは、所与の被写体移動速度に基づいて算出されるブレスコアを含む
   ことを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
8. 前記第２の画像群は２枚の画像から構成され、前記第３の画像群は２枚の画像から構成される
   ことを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記第１の画像群と前記第２の画像群と前記第３の画像群とは共通する画像を含む
   ことを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
10. 撮像を行う際のカメラ設定としてゲイン、露光時間、絞りを変更可能な撮像装置と接続可能に構成された情報処理装置の制御方法であって、
    ゲインが互いに異なる複数のカメラ設定を使用して前記撮像装置により撮像して得られた第２の画像群と、絞りが互いに異なる複数のカメラ設定を使用して前記撮像装置により撮像して得られた第３の画像群と、に基づいて、カメラ設定を露出量に変換する変換関数を作成する関数作成工程と、
    所与のスコア関数に基づいて、全てのカメラ設定それぞれに対する評価スコアを算出し、ある露出量範囲に対して相対的に高い評価スコアを有するカメラ設定を該ある露出量範囲に対するカメラ設定として規定するルックアップテーブル（ＬＵＴ）を作成するＬＵＴ作成工程と、
    を含むことを特徴とする制御方法。
11. コンピュータを、請求項１乃至９の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images