JP2019149621A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】撮像画像に対して適切な露光制御を行うことができる。【解決手段】マッチング部は、撮像画像から抽出された特徴点を、所定の記憶部に記憶されている登録特徴点とマッチングし、登録特徴点に対応する撮像画像の特徴点である対応特徴点を抽出する。制御部は、撮像画像の対応特徴点の近傍領域の画像である領域画像に基づいて露光制御値を設定する。本技術は、例えば、移動体に設けられたカメラの露光制御を行う露光制御装置等に適用できる。【選択図】図１

Description

本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、撮像画像に対して適切な露光制御を行うことができるようにした情報処理装置、情報処理方法、およびプログラムに関する。

ビューイング（鑑賞）を目的として撮像するカメラの露光制御では、画像全体の光量が指定した値となるように露光制御するものや、(経験的に人物などの重要な被写体が映りやすい)画像上の特定領域の光量が指定した値となるように露光制御するものがある。例えば、特許文献１には、撮像領域を複数の小領域に分割し、分割された小領域から選択した特定領域の輝度値に応じて露光を制御する方法が開示されている。

特開２００７−７４１６３号公報

近年、産業用カメラ、監視カメラ、車載カメラといった特定用途カメラ向けに独自の露光制御を行うことも増えてきている。自動車、自律移動ロボット、ドローンなどのような、自律的に移動を制御する移動体には、カメラが搭載されており、カメラで撮像された画像に基づいて自己位置の推定を行っている。例えば、ドローンのような3次元空間上を自由に動き回る装置に搭載されるカメラでは、撮像される被写体とその映り方のバリエーションが膨大となり、特定領域の光量による露光制御では、撮影用途に重要な被写体の露光を制御できず、被写体の追従が出来ないといった問題が発生する。

本技術は、このような状況に鑑みてなされたものであり、位置推定などに撮像画像を用いる場合に、撮像画像に対して適切な露光制御を行うことができるようにするものである。

本技術の一側面の情報処理装置は、撮像画像から抽出された特徴点を、所定の記憶部に記憶されている登録特徴点とマッチングし、前記登録特徴点に対応する前記撮像画像の特徴点である対応特徴点を抽出するマッチング部と、前記撮像画像の前記対応特徴点の近傍領域の画像である領域画像に基づいて露光制御値を設定する制御部とを備える。

本技術の一側面の情報処理方法は、情報処理装置が、撮像画像から抽出された特徴点を、所定の記憶部に記憶されている登録特徴点とマッチングし、前記登録特徴点に対応する前記撮像画像の特徴点である対応特徴点を抽出し、前記撮像画像の前記対応特徴点の近傍領域の画像である領域画像に基づいて露光制御値を設定する。

本技術の一側面のプログラムは、コンピュータを、撮像画像から抽出された特徴点を、所定の記憶部に記憶されている登録特徴点とマッチングし、前記登録特徴点に対応する前記撮像画像の特徴点である対応特徴点を抽出するマッチング部と、前記撮像画像の前記対応特徴点の近傍領域の画像である領域画像に基づいて露光制御値を設定する制御部として機能させるものである。

本技術の一側面においては、撮像画像から抽出された特徴点が、所定の記憶部に記憶されている登録特徴点とマッチングされ、前記登録特徴点に対応する前記撮像画像の特徴点である対応特徴点が抽出され、前記撮像画像の前記対応特徴点の近傍領域の画像である領域画像に基づいて露光制御値が設定される。

なお、本技術の一側面の情報処理装置は、コンピュータにプログラムを実行させることにより実現することができる。

また、本技術の一側面の情報処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本技術の一側面によれば、撮像画像に対して適切な露光制御を行うことができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した情報処理装置の一実施の形態である露光制御装置の構成例を示すブロック図である。 キーフレーム情報を説明する図である。 露光制御装置による露光制御処理を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．露光制御装置の構成例
２．露光制御処理のフローチャート
３．変形例
４．コンピュータ構成例

＜１．露光制御装置の構成例＞
図１は、本技術を適用した情報処理装置の一実施の形態である露光制御装置の構成例を示すブロック図である。

図１の露光制御装置１は、カメラ１１、エッジ・コーナ検出部１２、特徴点抽出部１３、自己位置推定部１４、環境マップ記憶部１５、マッチング部１６、領域重み選択部１７、および、カメラ制御部１８を備え、カメラ１１の撮像画像に基づいてカメラ１１の露光制御を行う。

露光制御装置１は、例えば、自動車、自律移動ロボット、ドローン等の自律的に移動を制御する移動体に組み込まれている。

なお、図１では、露光制御装置１の一部にカメラ１１が含まれているが、カメラ１１は露光制御装置１とは別に設けられてもよい。

カメラ１１は、CCD(Charge Coupled Device)やCMOS（Complementary Metal Oxide Semiconductor）センサ等の撮像素子、メカシャッタ、１以上のレンズ等を含み、所定のフレームレートで被写体を撮像し、その結果得られる画像（撮像画像）をエッジ・コーナ検出部１２に供給する。カメラ１１は、ステレオカメラやTOF(Time Of Flight)カメラ等で構成され、撮像画像の各画素の３次元位置を検出することができる。

カメラ１１では、カメラ制御部１８の制御に従って露光が調整される。例えば、カメラ１１は、カメラ制御部１８から供給される制御信号に基づいて、シャッタ期間やゲインを変更して撮像する。なお、シャッタ期間は、メカシャッタでもよいし、電子シャッタでもよい。

エッジ・コーナ検出部１２は、カメラ１１から供給される撮像画像のエッジまたはコーナの少なくとも一方を検出し、検出結果を、撮像画像とともに特徴点抽出部１３に供給する。エッジおよびコーナの検出には、既知の任意の手法を採用することができる。

特徴点抽出部１３は、エッジ・コーナ検出部１２から供給されるエッジまたはコーナの検出結果を用いて、撮像画像の特徴点を抽出する。特徴点の抽出方法も、ハリスコーナー、SHIFT、SURF、FASTなどの任意の手法を用いることができる。特徴点抽出部１３は、抽出した撮像画像の特徴点と、撮像画像を、自己位置推定部１４に供給する。

自己位置推定部１４は、特徴点抽出部１３から供給される撮像画像の特徴点を用いて、Visual-SLAM（Simultaneous Localization and Mapping）により、露光制御装置１が組み込まれている移動体の位置（自己位置）および姿勢を推定する。より具体的には、自己位置推定部１４は、いま特徴点抽出部１３から供給された現フレームの撮像画像と、それより前のタイミングで特徴点抽出部１３から供給された過去フレームの撮像画像の、特徴点の関係性に基づいて、移動体の自己位置および姿勢を推定する。また、自己位置推定部１４は、撮像画像のモーショントラッキングに失敗し、過去フレームと現フレームの撮像画像の特徴点の関係性に基づく自己位置推定に失敗した場合には、環境マップ記憶部１５に記憶されている、事前に撮像された撮像画像のキーフレーム情報を参照することで、現フレームの撮像画像のトラッキングを行い、自己位置推定を再開（リローカライズ）する。また、自己位置推定に失敗しなかった場合でも、環境マップ記憶部１５の環境マップを用いた自己位置推定結果を参照し、その精度を向上させることもできる。

なお、露光制御装置１またはそれが組み込まれている移動体に、ジャイロセンサ、加速度センサ、磁気センサ、圧力センサ等の慣性計測センサが設けられている場合には、自己位置推定部１４は、それらのセンサ情報も用いて、高精度に自己位置および姿勢を推定することができる。

ここで、環境マップ記憶部１５に記憶されているキーフレーム情報を生成した撮像画像であって、事前に撮像された撮像画像を、カメラ１１から順次撮像されて得られる撮像画像と区別するため、登録画像と称する。

環境マップ記憶部１５には、例えば、移動体の想定される移動経路で事前に撮像された複数枚の登録画像それぞれについてのキーフレーム情報が、環境マップとして記憶されている。１つのキーフレーム情報には、登録画像に含まれる１つの特徴点の３次元位置情報（ｘ，ｙ，ｚ）と、その所定の近傍領域の画像（以下、パッチ画像と称する。）が少なくとも含まれる。

図２は、１枚の登録画像から抽出された複数の特徴点Pcと、その近傍領域のパッチ画像Pgの例を示している。なお、図２では、図が煩雑になるのを防止するため、一部の特徴点Pcとパッチ画像Pgの符号については省略されている。１つのキーフレーム情報は、図２に示されるような、各登録画像で抽出された１以上の特徴点Pcの３次元位置情報（ｘ，ｙ，ｚ）と、その近傍領域のパッチ画像Pgを含む。

なお、１つのキーフレーム情報には、特徴点のセマンティック情報や、特徴点の優先度、特徴点の登録画像を撮像したときの撮像時刻やカメラ位置情報、の少なくとも１つをさらに含めて記憶してもよい。特徴点のセマンティック情報は、例えば、“床”、“机”、“カーテン”などのように、その特徴点の意味づけを行う情報である。

キーフレーム情報に含まれる特徴点を、撮像画像から抽出された特徴点と区別して、登録特徴点と称する。１枚の登録画像に対して複数の登録特徴点が抽出されるので、環境マップ記憶部１５には、１枚の登録画像に対して複数のキーフレーム情報が記憶されている。ただし、環境マップ記憶部１５には、各登録画像から抽出された複数のキーフレーム情報が登録画像単位で記憶されており、登録画像自体は記憶されない。

なお、本実施の形態では、環境マップ記憶部１５に記憶するキーフレーム情報の生成方法については特に言及しないが、露光制御装置１が自ら生成してもよいし、例えば、クラウド上のサーバ装置からダウンロードしてもよい。露光制御装置１が自ら生成する場合には、例えば、マッチング部１６が登録画像からキーフレーム情報を生成する処理を行う。

マッチング部１６には、現フレームの撮像画像と、撮像画像から抽出された、１以上の特徴点に関する特徴点情報が、自己位置推定部１４から供給される。

マッチング部１６は、現フレームの撮像画像の１以上の特徴点を、環境マップ記憶部１５に記憶されているキーフレーム情報の登録特徴点と登録画像単位でマッチングすることにより、環境マップ記憶部１５に記憶されている所定の登録画像に対応する１以上のキーフレーム情報を選択する。例えば、マッチング部１６は、DBoW（Distributed Bag of Words）等の手法を用いて、現フレームの撮像画像に含まれる１以上の特徴点と、キーフレーム情報の登録特徴点とのマッチングを登録画像単位で行い、最も相関の高い（スコアの高い）登録画像を特定して、そのキーフレーム情報を選択する。DBoWの手法については、例えば、“Bags of binary words for fast place recognition in image sequences,” IEEE2012などに開示されている。なお、マッチングの方法は、DBoWに限定されず、例えば、ニューラルネットワークを用いて、現フレームの撮像画像の１以上の特徴点と、キーフレーム情報の登録特徴点とのマッチングを行ってもよい。

さらに、マッチング部１６は、現フレームの撮像画像の特徴点とマッチングすると選択された、所定の登録画像の１以上のキーフレーム情報の登録特徴点それぞれについて、登録特徴点に対応する現フレームの撮像画像の特徴点を抽出する。例えば、マッチング部１６は、登録特徴点と現フレームの撮像画像の特徴点との相関関係を、特徴点のユークリッド距離等を用いて求め、相関が最大となる登録特徴点と現フレームの撮像画像の特徴点とのペアを決定し、登録特徴点に対応する現フレームの撮像画像の特徴点を抽出する。これにより、現フレームの撮像画像に含まれる１以上の登録特徴点に対して、登録特徴点と現フレームの撮像画像の特徴点とが１対１に対応付けられる。登録特徴点に対応する現フレームの特徴点を、以下では、対応特徴点と称する。

マッチング部１６は、抽出された対応特徴点に対応するキーフレーム情報を、撮像画像とともに、領域重み選択部１７に供給する。

なお、抽出された対応特徴点の数が所定値以下である場合、即ち、現フレームの撮像画像の対応特徴点の数が少なく、環境マップ記憶部１５に記憶されている登録画像とマッチしていないと判断される場合には、マッチング部１６は、環境マップを用いた露光制御ではなく、その他の露光制御方式、例えば、撮像画像の全画素の平均輝度値を用いた全画面露光制御に切り替える制御信号をカメラ制御部１８に供給する。これにより、カメラ制御部１８は、露光制御方式を、環境マップを用いた露光制御から全画面露光制御に切り替えることができる。

領域重み選択部１７は、マッチング部１６から供給されるキーフレーム情報に基づいて、現フレームの撮像画像の対応特徴点の近傍領域の画像である領域画像を選択する。領域画像は、キーフレーム情報のパッチ画像に対応する、現フレームの撮像画像のパッチ画像に相当する。現フレームの撮像画像には、複数の対応特徴点が存在するため、領域画像も複数選択される。

また、領域重み選択部１７は、現フレームの撮像画像から選択された各領域画像に対して重みを設定する。各領域画像の重みは、例えば、カメラ１１からの対応特徴点までの距離に応じて決定することができる。カメラ１１からより近い位置にある対応特徴点は、カメラ画像上で相対的により大きく動くことから、自己位置推定を行う際には、より近い位置にある特徴点を信頼すると、より精度が高くなることが知られている。そこで、領域重み選択部１７は、領域画像の重みとして、カメラ１１からより近い位置にある領域画像ほど重みを大きく設定することができる。

また、環境マップ記憶部１５にキーフレーム情報として、特徴点のセマンティック情報が記憶されており、領域重み選択部１７に、露光制御装置１が組み込まれた移動体の制御部等から動作モードが指示された場合には、領域重み選択部１７は、セマンティック情報に基づいて各領域画像の重みを決定することができる。例えば、動作モードとして、“床重視モード”、“道路重視モード”、“看板重視モード”等があり、“床重視モード”が指示された場合、領域重み選択部１７は、動作モードに対応するセマンティック情報である“床”を有する領域画像の重みを大きく設定することができる。

あるいはまた、環境マップ記憶部１５にキーフレーム情報として、特徴点の優先度が記憶されている場合には、領域重み選択部１７は、キーフレーム情報に含まれる特徴点の優先度に基づいて各領域画像の重みを決定することができる。

さらに、領域重み選択部１７は、上述したカメラ１１からの対応特徴点までの距離、対応特徴点のセマンティック情報、対応特徴点に設定された優先度などの重み要素を適宜組み合わせて、各領域画像の重みを決定してもよい。

領域重み選択部１７は、現フレームの撮像画像から選択した各領域画像と、その重みを、カメラ制御部１８に供給する。

カメラ制御部１８は、領域重み選択部１７から供給される各領域画像と重みに基づいて露光制御値を設定する。より具体的には、カメラ制御部１８は、領域重み選択部１７から供給される複数の領域画像の重み付け平均輝度を算出し、算出された重み付け平均輝度に基づいて、露光制御値を設定する。露光制御値は、例えば、カメラ１１のゲイン、シャッタ期間を制御するパラメータであり、算出された重み付け平均輝度が予め設定した目標値に近づくような露光制御値が決定される。

カメラ制御部１８は、各領域画像に基づいて設定した露光制御値に対応する制御信号をカメラ１１に供給する。カメラ１１は、カメラ制御部１８から供給される露光制御値に基づいて、ゲインまたはシャッタ期間を変更する。なお、露光制御装置１が被写体を照明する照明装置を制御可能な場合には、カメラ制御部１８は、算出された重み付け平均輝度に基づいて、照明装置の光量値を制御してもよい。また、例えば、ゲイン、シャッタ、及び、照明を同時に制御する場合、複数の照明装置を制御する場合、カメラ１１が領域毎にゲインを変えられるような場合などでは、複数の装置（カメラ１１、照明装置など）に制御信号を供給したり、複数種類の露光制御値の制御信号を供給する、などしてもよい。

＜２．露光制御処理のフローチャート＞
図３のフローチャートを参照して、露光制御装置１が実行する露光制御処理について説明する。この処理は、例えば、カメラ１１で撮像が行われ、撮像画像が取得されたときに開始される。

初めに、ステップＳ１において、エッジ・コーナ検出部１２は、カメラ１１から供給された撮像画像を取得し、取得した撮像画像のエッジまたはコーナの少なくとも一方を検出する。そして、エッジ・コーナ検出部１２は、エッジまたはコーナの検出結果を、撮像画像とともに特徴点抽出部１３に供給する。

ステップＳ２において、特徴点抽出部１３は、エッジ・コーナ検出部１２から供給されたエッジまたはコーナの検出結果を用いて、撮像画像の特徴点を抽出する。特徴点の抽出方法には、例えば、ハリスコーナー、SHIFT、SURF、FASTなどの手法を用いることができる。特徴点抽出部１３は、抽出した撮像画像の特徴点と、撮像画像を、自己位置推定部１４に供給する。

ステップＳ３において、自己位置推定部１４は、特徴点抽出部１３から供給された撮像画像の特徴点を用いて、Visual-SLAMにより、露光制御装置１が組み込まれている移動体の位置（自己位置）および姿勢を推定する。より具体的には、いま特徴点抽出部１３から供給された現フレームの撮像画像と、それより前のタイミングで特徴点抽出部１３から供給された過去フレームの撮像画像の、特徴点の関係性に基づいて、移動体の自己位置および姿勢を推定する。また、ステップＳ３において、自己位置推定部１４は、現フレームの撮像画像と、１以上の特徴点に関する特徴点情報を、マッチング部１６に供給する。

ステップＳ４において、マッチング部１６は、現フレームの撮像画像の１以上の特徴点を、環境マップ記憶部１５に記憶されているキーフレーム情報の登録特徴点とマッチングすることにより、環境マップ記憶部１５に記憶されている所定の登録画像の１以上のキーフレーム情報を選択する。

ステップＳ５において、マッチング部１６は、選択したキーフレーム情報に対応する現フレームの特徴点（対応特徴点）を抽出する。より詳しくは、マッチング部１６は、現フレームの撮像画像の特徴点とマッチングすると選択された、所定の登録画像の１以上のキーフレーム情報の登録特徴点それぞれについて、登録特徴点に対応する現フレームの撮像画像の特徴点を抽出する。

そして、ステップＳ６において、マッチング部１６は、抽出された対応特徴点の数が所定値より大きいかを判定する。

ステップＳ６で、抽出された対応特徴点の数が所定値より大きいと判定された場合、処理はステップＳ７に進み、マッチング部１６は、抽出された対応特徴点に対応するキーフレーム情報を、撮像画像とともに、領域重み選択部１７に供給する。

ステップＳ８において、領域重み選択部１７は、マッチング部１６から供給されたキーフレーム情報に基づいて、現フレームの撮像画像の対応特徴点の近傍領域の画像である領域画像を選択する。

ステップＳ９において、領域重み選択部１７は、現フレームの撮像画像から選択された各領域画像に対して重みを設定する。各領域画像の重みは、例えば、カメラ１１からの対応特徴点までの距離、対応特徴点のセマンティック情報、対応特徴点に設定された優先度などに応じて設定される。領域重み選択部１７は、現フレームの撮像画像から選択した各領域画像と、その重みを、カメラ制御部１８に供給する。

ステップＳ１０において、カメラ制御部１８は、領域重み選択部１７から供給された各領域画像と重みに基づいて、露光制御値を設定する。より具体的には、カメラ制御部１８は、領域重み選択部１７から供給される複数の領域画像の重み付け平均輝度を算出し、算出された重み付け平均輝度が予め設定した目標値に近づくような露光制御値を決定する。決定された露光制御値は、カメラ１１に供給され、露光制御値に応じてゲインまたはシャッタ期間が変更される。

一方、ステップＳ６で、抽出された対応特徴点の数が所定値以下であると判定された場合、処理はステップＳ１１に進み、マッチング部１６は、撮像画像の全画素の輝度値を用いた全画面露光制御に切り替える制御信号を、現フレームの撮像画像とともに、カメラ制御部１８に供給する。カメラ制御部１８は、露光制御方式を、環境マップを用いた露光制御から全画面露光制御に切り替え、撮像画像の全画素の平均輝度値を算出し、平均輝度値に基づいて露光制御値を決定する。決定された露光制御値は、カメラ１１に供給され、露光制御値に応じてゲインまたはシャッタ期間が変更される。

ステップＳ１２において、カメラ制御部１８は、露光制御を終了するかを判定する。例えば、露光制御装置１が組み込まれている移動体の制御部から、カメラ１１による撮像を終了する命令が供給された場合、露光制御を終了すると判定する。

ステップＳ１２で、まだ露光制御を終了しないと判定された場合、処理はステップＳ１に戻され、上述したステップＳ１乃至Ｓ１２の処理が繰り返される。すなわち、カメラ１１から次に供給される撮像画像を現フレームの撮像画像として、上述した露光制御が実行される。

一方、ステップＳ１２で、露光制御を終了すると判定された場合、露光制御処理は終了する。

露光制御装置１による露光制御処理は、以上のように実行される。

＜３．変形例＞
露光制御処理の変形例について説明する。

上述した露光制御処理では、現フレームの撮像画像に含まれる特徴点にマッチする所定の登録画像の１以上のキーフレーム情報を選択する場合に、マッチング部１６は、環境マップ記憶部１５に記憶されている全てのキーフレーム情報とマッチングを行った。

しかしながら、キーフレーム情報を生成したときの登録画像を撮像したときのカメラ位置情報がキーフレーム情報の一部として環境マップ記憶部１５に記憶されている場合には、マッチング部１６は、自己位置推定部１４が算出した移動体（カメラ１１）の位置を自己位置推定部１４から取得し、移動体（カメラ１１）の位置から一定範囲内のカメラ位置情報を有するキーフレーム情報に限定して、環境マップ記憶部１５に記憶されているキーフレーム情報を検索して選択してもよい。

あるいはまた、キーフレーム情報を生成したときの登録画像を撮像したときの撮像時刻がキーフレーム情報の一部として環境マップ記憶部１５に記憶されている場合には、マッチング部１６は、現在時刻、すなわち現フレームの撮像画像を撮像した時刻に近い（現在時刻から一定時間幅内の）キーフレーム情報に限定して、環境マップ記憶部１５に記憶されているキーフレーム情報を検索して選択してもよい。

以上のように環境マップ記憶部１５に記憶されているキーフレーム情報を検索する検索対象を、カメラ位置情報、撮像時刻情報等に基づいて選択し、選択されたキーフレーム情報を用いてマッチングを行うことにより、マッチングの誤検出を防止するとともに、必要となる計算コストを抑えることができる。

また、上述した露光制御処理において、カメラ制御部１８は、複数の領域画像の重み付け平均輝度を算出し、算出された重み付け平均輝度が予め設定した目標値に近づくように露光制御値を決定した。

露光制御値を決定するその他の方法として、環境マップ記憶部１５に記憶されているキーフレーム情報が適切に露光制御された登録画像から生成したキーフレーム情報である場合には、そのキーフレーム情報に露光制御値を合わせるように、露光制御値を決定してもよい。

この場合、領域重み選択部１７は、現フレームの撮像画像から選択した各領域画像と重みに加えて、マッチング部１６から供給されたキーフレーム情報を、カメラ制御部１８に供給する。カメラ制御部１８は、キーフレーム情報のパッチ画像と、それに対応する領域画像との輝度平均の差分値を領域画像ごとに算出し、さらに、領域画像の重みに応じて重み付けした重み付け平均差分値を算出する。そして、カメラ制御部１８は、算出した重み付け平均差分値に基づいて、露光制御値を設定する。

ドローンなど３次元空間を自由な姿勢で動き回る移動体において、Visual-SLAMのための撮像では、画像によって明るい場所、暗い場所が映る画素位置は様々であり、解決するには何らかの認識により露光を合わせる画素位置を決める必要があるが、自由に動き回る移動体が撮像する全ての認識器を持つことは不可能である。また、全ての画像情報を予め記憶しておくことも現実的ではない。

Visual-SLAMを用いた自己位置推定では、リローカライズのために特徴点の3次元情報であるキーフレーム情報が予め用意されている。

上述した露光制御装置１が実行する露光制御処理によれば、自己位置推定部１４が画像によるモーショントラッキングに失敗した場合に備えて環境マップ記憶部１５に環境マップとして記憶されているキーフレーム情報を露光制御にも用いることで、空間を正確に認識し、適切な露光制御を行うことができる。

自己位置推定で用いられる環境マップ記憶部１５のキーフレーム情報をそのまま用いる方法でもよいし、上述したように、特徴点の優先度、セマンティック情報、カメラ位置情報など、必要最低限の情報を付加してもよい。本来自己位置推定で用いられるキーフレーム情報を利用するので、露光制御に必要な付加情報を追加したとしても、少ない負荷で高精度な露光制御が実現できる。

露光制御が難しい複数の明暗領域が存在する場所においても、事前に撮像して登録画像のキーフレーム情報を環境マップ記憶部１５に記憶しておくことで、正しい露光制御を行うことができる。

上述した露光制御処理は、ドローンなど3次元空間を自由な姿勢で動き回る移動体のカメラの露光制御、屋外から屋内への移動（又はその逆の移動）など輝度が劇的に変化する環境におけるカメラの露光制御に特に有効である。

＜４．コンピュータ構成例＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているマイクロコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図４は、上述した露光制御処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。

入力部１０６は、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部１０７は、ディスプレイ、スピーカ、出力端子などよりなる。記憶部１０８は、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した露光制御処理が行われる。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータでは、プログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。

なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、上述した実施の形態の全てまたは一部を適宜組み合わせた形態を採用することができる。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
撮像画像から抽出された特徴点を、所定の記憶部に記憶されている登録特徴点とマッチングし、前記登録特徴点に対応する前記撮像画像の特徴点である対応特徴点を抽出するマッチング部と、
前記撮像画像の前記対応特徴点の近傍領域の画像である領域画像に基づいて露光制御値を設定する制御部と
を備える情報処理装置。
（２）
前記記憶部に記憶されている複数の前記登録特徴点それぞれに対応する前記撮像画像の前記領域画像を選択し、選択された複数の前記領域画像に対して重みを設定する領域重み選択部をさらに備え、
前記制御部は、複数の前記領域画像の重み付け平均輝度を算出し、前記重み付け平均輝度に基づいて、前記露光制御値を設定する
前記（１）に記載の情報処理装置。
（３）
前記領域重み選択部は、前記撮像画像を撮像したカメラに近い位置の前記領域画像の重みを大きく設定する
前記（２）に記載の情報処理装置。
（４）
前記記憶部は、事前に撮像された登録画像に含まれる前記登録特徴点の３次元位置情報と、その近傍領域の画像であるパッチ画像とを、キーフレーム情報として記憶する
前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
前記記憶部は、事前に撮像された登録画像に含まれる前記登録特徴点の３次元位置情報と、その近傍領域の画像であるパッチ画像と、前記登録特徴点のセマンティック情報とを、キーフレーム情報として記憶し、
前記領域重み選択部は、前記セマンティック情報に基づいて、前記領域画像の重みを設定する
前記（２）に記載の情報処理装置。
（６）
前記領域重み選択部は、動作モードに対応する前記セマンティック情報を有する前記領域画像の重みを大きく設定する
前記（５）に記載の情報処理装置。
（７）
前記記憶部は、事前に撮像された登録画像に含まれる前記登録特徴点の３次元位置情報と、その近傍領域の画像であるパッチ画像と、前記登録特徴点の優先度とを、キーフレーム情報として記憶し、
前記領域重み選択部は、前記優先度に基づいて、前記領域画像の重みを設定する
前記（２）に記載の情報処理装置。
（８）
前記記憶部は、事前に撮像された登録画像に含まれる前記登録特徴点の３次元位置情報と、その近傍領域の画像であるパッチ画像とを、キーフレーム情報として記憶し、
前記制御部は、前記キーフレーム情報の前記登録特徴点の前記パッチ画像と、前記撮像画像の前記対応特徴点の前記領域画像との輝度平均の差分値を、前記領域画像の重みに応じて重み付けした重み付け平均差分値を算出し、前記重み付け平均差分値に基づいて、露光制御値を設定する
前記（１）に記載の情報処理装置。
（９）
前記記憶部は、事前に撮像された登録画像に含まれる前記登録特徴点の３次元位置情報と、その近傍領域の画像であるパッチ画像と、前記登録画像が事前に撮像されたときの撮像位置情報を、キーフレーム情報として記憶し、
前記マッチング部は、前記記憶部に記憶されている前記キーフレーム情報を前記撮像位置情報に基づいて選択し、選択された前記キーフレーム情報の前記登録特徴点とマッチングし、前記撮像画像の前記対応特徴点を抽出する
前記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
前記記憶部は、事前に撮像された登録画像に含まれる前記登録特徴点の３次元位置情報と、その近傍領域の画像であるパッチ画像と、前記登録画像が事前に撮像されたときの撮像時刻情報を、キーフレーム情報として記憶し、
前記マッチング部は、前記記憶部に記憶されている前記キーフレーム情報を前記撮像時刻情報に基づいて選択し、選択された前記キーフレーム情報の前記登録特徴点とマッチングし、前記撮像画像の前記対応特徴点を抽出する
前記（１）乃至（８）のいずれかに記載の情報処理装置。
（１１）
情報処理装置が、
撮像画像から抽出された特徴点を、所定の記憶部に記憶されている登録特徴点とマッチングし、前記登録特徴点に対応する前記撮像画像の特徴点である対応特徴点を抽出し、
前記撮像画像の前記対応特徴点の近傍領域の画像である領域画像に基づいて露光制御値を設定する
情報処理方法。
（１２）
コンピュータを、
撮像画像から抽出された特徴点を、所定の記憶部に記憶されている登録特徴点とマッチングし、前記登録特徴点に対応する前記撮像画像の特徴点である対応特徴点を抽出するマッチング部と、
前記撮像画像の前記対応特徴点の近傍領域の画像である領域画像に基づいて露光制御値を設定する制御部
として機能させるためのプログラム。

１ 露光制御装置， １１ カメラ， １４ 自己位置推定部， １５ 環境マップ記憶部， １６ マッチング部， １７ 領域重み選択部， １８ カメラ制御部， １０１ CPU， １０２ ROM， １０３ RAM， １０６ 入力部， １０７ 出力部， １０８ 記憶部， １０９ 通信部， １１０ ドライブ

Claims (12)

1. 撮像画像から抽出された特徴点を、所定の記憶部に記憶されている登録特徴点とマッチングし、前記登録特徴点に対応する前記撮像画像の特徴点である対応特徴点を抽出するマッチング部と、
   前記撮像画像の前記対応特徴点の近傍領域の画像である領域画像に基づいて露光制御値を設定する制御部と
   を備える情報処理装置。
2. 前記記憶部に記憶されている複数の前記登録特徴点それぞれに対応する前記撮像画像の前記領域画像を選択し、選択された複数の前記領域画像に対して重みを設定する領域重み選択部をさらに備え、
   前記制御部は、複数の前記領域画像の重み付け平均輝度を算出し、前記重み付け平均輝度に基づいて、前記露光制御値を設定する
   請求項１に記載の情報処理装置。
3. 前記領域重み選択部は、前記撮像画像を撮像したカメラに近い位置の前記領域画像の重みを大きく設定する
   請求項２に記載の情報処理装置。
4. 前記記憶部は、事前に撮像された登録画像に含まれる前記登録特徴点の３次元位置情報と、その近傍領域の画像であるパッチ画像とを、キーフレーム情報として記憶する
   請求項１に記載の情報処理装置。
5. 前記記憶部は、事前に撮像された登録画像に含まれる前記登録特徴点の３次元位置情報と、その近傍領域の画像であるパッチ画像と、前記登録特徴点のセマンティック情報とを、キーフレーム情報として記憶し、
   前記領域重み選択部は、前記セマンティック情報に基づいて、前記領域画像の重みを設定する
   請求項２に記載の情報処理装置。
6. 前記領域重み選択部は、動作モードに対応する前記セマンティック情報を有する前記領域画像の重みを大きく設定する
   請求項５に記載の情報処理装置。
7. 前記記憶部は、事前に撮像された登録画像に含まれる前記登録特徴点の３次元位置情報と、その近傍領域の画像であるパッチ画像と、前記登録特徴点の優先度とを、キーフレーム情報として記憶し、
   前記領域重み選択部は、前記優先度に基づいて、前記領域画像の重みを設定する
   請求項２に記載の情報処理装置。
8. 前記記憶部は、事前に撮像された登録画像に含まれる前記登録特徴点の３次元位置情報と、その近傍領域の画像であるパッチ画像とを、キーフレーム情報として記憶し、
   前記制御部は、前記キーフレーム情報の前記登録特徴点の前記パッチ画像と、前記撮像画像の前記対応特徴点の前記領域画像との輝度平均の差分値を、前記領域画像の重みに応じて重み付けした重み付け平均差分値を算出し、前記重み付け平均差分値に基づいて、露光制御値を設定する
   請求項１に記載の情報処理装置。
9. 前記記憶部は、事前に撮像された登録画像に含まれる前記登録特徴点の３次元位置情報と、その近傍領域の画像であるパッチ画像と、前記登録画像が事前に撮像されたときの撮像位置情報を、キーフレーム情報として記憶し、
   前記マッチング部は、前記記憶部に記憶されている前記キーフレーム情報を前記撮像位置情報に基づいて選択し、選択された前記キーフレーム情報の前記登録特徴点とマッチングし、前記撮像画像の前記対応特徴点を抽出する
   請求項１に記載の情報処理装置。
10. 前記記憶部は、事前に撮像された登録画像に含まれる前記登録特徴点の３次元位置情報と、その近傍領域の画像であるパッチ画像と、前記登録画像が事前に撮像されたときの撮像時刻情報を、キーフレーム情報として記憶し、
    前記マッチング部は、前記記憶部に記憶されている前記キーフレーム情報を前記撮像時刻情報に基づいて選択し、選択された前記キーフレーム情報の前記登録特徴点とマッチングし、前記撮像画像の前記対応特徴点を抽出する
    請求項１に記載の情報処理装置。
11. 情報処理装置が、
    撮像画像から抽出された特徴点を、所定の記憶部に記憶されている登録特徴点とマッチングし、前記登録特徴点に対応する前記撮像画像の特徴点である対応特徴点を抽出し、
    前記撮像画像の前記対応特徴点の近傍領域の画像である領域画像に基づいて露光制御値を設定する
    情報処理方法。
12. コンピュータを、
    撮像画像から抽出された特徴点を、所定の記憶部に記憶されている登録特徴点とマッチングし、前記登録特徴点に対応する前記撮像画像の特徴点である対応特徴点を抽出するマッチング部と、
    前記撮像画像の前記対応特徴点の近傍領域の画像である領域画像に基づいて露光制御値を設定する制御部
    として機能させるためのプログラム。