JP2022093913A - 撮像制御装置、撮像制御方法およびプログラム - Google Patents

Abstract

【課題】移動に伴う撮像条件の設定の適正化を図る。【解決手段】１つの態様による撮像制御装置は、撮像部の光軸に対する移動方向に基づいて、１以上の画素を含む撮像領域の撮像条件を設定する画像処理手段と、前記画像処理手段で設定された撮像条件に基づいて、前記撮像領域の撮像を制御する撮像制御手段と、を備える。【選択図】 図１

Description

本発明は、撮像制御装置、撮像制御方法およびプログラムに関する。

特許文献１には、画像保存領域に保存された２画像データを比較（減算処理）して、被写体の移動量を算出し、その時系列の比較結果に基づいて、絞り値及びシャッタスピードを決定する技術が開示されている。

特開２００４－１２０２９８号公報

本発明が解決しようとする課題は、移動に伴う撮像条件の設定の適正化を図ることである。

本発明の１つの態様による撮像制御装置は、撮像部の光軸に対する移動方向に基づいて、１以上の画素を含む撮像領域の撮像条件を設定する画像処理手段と、前記画像処理手段で設定された撮像条件に基づいて、前記撮像領域の撮像を制御する撮像制御手段と、を備える。

移動に伴う撮像条件の設定の適正化を図ることができる。

第１実施形態に係る移動体に搭載された撮像装置の構成例を示すブロック図。 第１実施形態に係る撮像装置が搭載された移動体の一例を示す平面図。 第１実施形態に係る撮像領域の遷移の一例を示す図。 第１実施形態に係る撮像領域の遷移のその他の例を示す図。 第１実施形態に係る撮像領域の遷移のさらにその他の例を示す図。 第１実施形態に係る撮像領域の遷移のさらにその他の例を示す図。 第１実施形態に係る移動体に移動に伴う撮像制御方法を示すフローチャート。 第２実施形態に係る移動体に移動に伴う撮像制御方法を示すフローチャート。 実施形態に係る画像処理部のハードウェア構成例を示すブロック図。

以下、添付図面を参照して本発明の実施形態を詳細に説明する。なお、以下の実施形態は本発明を限定するものではなく、また、実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正または変更され得る。本発明の技術的範囲は、特許請求の範囲によって確定され、以下の個別の実施形態によって限定されない。

＜第１実施形態＞
図１は、第１実施形態に係る移動体に搭載された撮像装置の構成例を示すブロック図である。
図１に示す各機能ブロックのうち、ソフトウェアにより実現される機能については、各機能ブロックの機能を提供するためのプログラムがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリに記憶される。そして、そのプログラムをＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に読み出してＣＰＵＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が実行することにより実現される。ハードウェアにより実現される機能については、例えば、所定のコンパイラを用いることで、各機能ブロックの機能を実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡとは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてゲートアレイ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。なお、図１に示した機能ブロックの構成は一例であり、複数の機能ブロックが１つの機能ブロックを構成するようにしてもよいし、いずれかの機能ブロックが複数の機能を行うブロックに分かれてもよい。

図１において、移動体１１には、撮像装置１２が装着されている。移動体１１は、３次的空間を移動可能なドローン、ヘリコプタ、偵察機または偵察衛星などの飛翔体であってもよいし、地上を２次元的に動く車両またはラジコンカーなどの走行装置であってもよいし、ロボットまたはベルトコンベアなどの搬送装置であってもよい。移動体１１の移動に伴って撮像装置１２も同様に移動する。

撮像装置１２は、移動検出部１３、移動算出部１４、撮像部１５、撮像制御部１６、画像処理部１７、画像配信部１８および画像保存部１９を備える。

移動検出部１３は、撮像部１５の光軸に対する移動体１１の移動を検出する。なお、移動体１１の移動に伴って撮像装置１２も同様に移動するので、移動検出部１３は、撮像部１５の光軸に対する撮像装置１２の移動を検出するようにしてもよい。移動検出部１３は、加速度センサまたは角速度センサ、地磁気センサあるいはこれらのセンサを組み合わせで実現してもよい。ただし、移動検出部１３は、撮像部１５の光軸に対する移動体１１の移動を検出できれば、これらに限定されない。

移動算出部１４は、移動検出部１３による移動の検出結果に基づいて、移動体１１の移動距離および光軸に対する移動方向を算出する。移動算出部１４は、移動体１１の移動速度も算出するようにしてもよい。移動算出部１４は、撮像部１５の移動距離および移動方向を算出するようにしてもよい。

撮像部１５は、被写体からの光を画素ごとに電気信号に変換した画像を生成する。撮像制御部１６は、画像処理部１７で設定された撮像条件に基づいて、１以上の画素を含む撮像領域の撮像を制御する。この撮像条件は露光条件を含む。このとき、撮像制御部１６は、撮像領域ごとに個別に撮像を制御することができる。

撮像領域は、撮像部１５の撮像画面を分割した分割領域から構成することができる。撮像部１５および撮像制御部１６は、イメージセンサ内に設けるようにしてもよいし、撮像部１５をイメージセンサ内に設け、撮像制御部１６をイメージセンサ外に設けるようにしてもよい。イメージセンサは、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサである。

画像処理部１７は、ホワイトバランス、ディベイヤー、ノイズリダクション、シャープネスおよび補正などの現像処理を行う。画像処理部１７は、例えば、現像エンジンである。画像処理部１７は、移動算出部１４にて算出された移動情報に基づいて、画像の各領域の輝度値を算出する。画像処理部１７は、１以上の画素を含む撮像領域ごとに撮像条件を制御することができる。この撮像条件は、露光条件を含む。ここで、画像処理部１７は、撮像部１５の光軸に対する移動方向に基づいて、１以上の画素を含む撮像領域の撮像条件を設定することができる。例えば、画像処理部１７は、光軸に対して垂直方向の移動に対しては前フレームの輝度情報および撮像領域の遷移量に基づいて、撮像領域の露光条件を決定することができる。また、画像処理部１７は、光軸に対して平行方向の移動に対しては前フレームの輝度情報および撮像領域の縮尺率に基づいて、撮像領域の露光条件を決定することができる。移動方向は、光軸に対して平行方向の移動、光軸に対して垂直方向の移動および回転方向の移動のいずれか少なくとも１つを含む。回転方向の移動は、光軸に対して垂直な回転、撮像部１５のチルト方向の回転および撮像部１５のパン方向の回転いずれか少なくとも１つを含む。画像処理部１７は、移動体１１の移動を伴わない輝度値の変化に対しては、撮像領域の輝度情報に基づいて露光時間を制御することができる。

このとき、画像処理部１７は、各撮像領域の輝度値に基づいて、撮像領域ごとに適切な明るさで撮像できるように撮像部１５の露光条件を制御することができる。そして、撮像部１５は、適切な露光条件で撮像された画像を画像処理部１７に出力する。

画像処理部１７は、輝度取得部１７Ａ、変位量取得部１７Ｂ、遷移量算出部１７Ｃおよび縮尺率算出部１７Ｄを備える。

輝度取得部１７Ａは、撮像領域の輝度情報を取得する。また、輝度取得手段１７Ａは、Ｆ（Ｆｏｃａｌ）値が変化するときに撮像領域の輝度値を再取得する。変位量算出部１７Ｂは、移動算出部１４で算出された移動体１１の移動距離および移動方向に基づいて、移動体１１の変位量および変位方向を算出する。遷移量算出部１７Ｃは、移動体１１の変位量および変位方向に基づいて、撮像領域の遷移量および移動方向を算出する。縮尺率算出部１７Ｄは、移動体１１の変位量および変位方向に基づいて、撮像領域の縮尺率を算出する。なお、画像から縮尺率を計算方法は、例えば、いくつかの特徴点を画像から検出し、特徴点の移動から検出する方法を用いてもよいし、測距センサを用いて対象物からの距離から計算する方法を用いてもよい。

画像配信部１８は、映像出力系インタフェースであり、不図示の外部のディスプレイなどの表示装置に映像を出力する。映像出力系インタフェースは、例えば、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）またはコンポジット信号である。映像出力系インタフェースは、映像出力系インタフェースは、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）（登録商標）またはＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）であってもよい。

画像保存部１９は、画像処理部１７にて処理された画像を保存する。画像保存部１９は、撮像装置１２に内蔵されたハードディスクまたはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）であってもよい。画像保存部１９は、撮像装置１２に装着可能なＳＤカードまたはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどの記録媒体であってもよい。

図２は、第１実施形態に係る撮像装置が搭載された移動体の一例を示す平面図である。
図２において、移動体１１が空中を移動している場合、例えば、Ｚ軸が地面方向、Ｘ軸が移動体１１の横移動方向、Ｙ軸が移動体１１の前進方向および後退方向に設定される。また、図２の例では、撮像部１５の光軸ＬＡがＹ軸方向に設定され、撮像部１５は、移動体１１の前進方向を撮像する。ただし、本実施形態の制御は、必ずしもこの方向を撮像している場合に限らない。

図３は、第１実施形態に係る撮像領域の遷移の一例を示す図である。なお、図３では、撮像装置１２が図２の移動体１１の前進方向を撮像しているときに、移動体１１の高さ方向（光軸に対して垂直方向）、すなわちＺ軸方向の移動に伴う制御方法を示す。
図３において、移動体１１がＺ軸方向の負の向きに移動したものとする。Ｚ軸方向の負の向きの移動体１１の移動に伴って、移動体１１の移動前の分割領域２２の被写体は、撮像領域２１内を上にシフトし、分割領域２３に移動する。このとき、分割領域２２、２３の撮像条件が互いに異なる場合、移動体１１の移動に伴って分割領域２２、２３は適切な撮像条件で撮像できなくなる。この撮像条件は、被写体の輝度値から算出された適切な露光条件を含む。

移動体１１の移動に伴って、移動検出部１３にて検出された移動情報は、移動算出部１４に出力される。移動算出部１４は、移動検出部１３からの移動情報に基づいて、移動体１１の移動量を積算し、初期位置からの差分を算出する。そして、画像処理部１７は、移動体１１の変位量に基づいて、分割領域２２の遷移量を算出し、分割領域２２が所定の閾値以上の遷移を行った場合、分割領域２２の撮像条件を分割領域２３に適用する。この閾値は、ユーザが自由に定めることができ、移動体１１の移動によって１つの分割領域の割合、例えば５０％以上が他の分割領域に移動した場合などに設定することができる。この分割領域の割合は５０％としたが、これ以外の設定でもよい。

また、画像処理部１７は、シャッタスピードおよび移動算出部１４からの移動情報に基づいて、１フレーム間における分割領域２２の移動距離を算出する。そして、画像処理部１７は、次フレームにおいて分割領域２２の輝度値に閾値を超える変化があると判断した場合、分割領域２２の撮像条件を分割領域２３に適用する。これにより、撮像装置１２は、移動体１１の移動前に分割領域２２で撮像していた画像を、分割領域２３においても適切な撮像条件で撮像することが可能になる。

図４は、第１実施形態に係る撮像領域の遷移のその他の例を示す図である。なお、図４では、撮像装置１２が図２の移動体１１の前進方向を撮像しているときに、移動体１１の水平方向（光軸に対して垂直方向）、すなわちＸ軸方向の移動に伴う制御方法を示す。
図４において、移動体１１がＸ軸方向の正の向きに移動したものとする。Ｘ軸方向の正の向きの移動体１１の移動に伴って、移動体１１の移動前の分割領域２２の被写体は、撮像領域２１内を右にシフトし、分割領域２４に移動する。このとき、分割領域２２、２４の撮像条件が互いに異なる場合、移動体１１の移動に伴って分割領域２２、２４は適切な撮像条件で撮像できなくなる。

移動体１１の移動に伴って、移動検出部１３にて検出された移動情報は、移動算出部１４に出力される。移動算出部１４は、移動検出部１３からの移動情報に基づいて、移動体１１の移動量を積算し、初期位置からの差分を算出する。そして、画像処理部１７は、移動体１１の変位量に基づいて、分割領域２２の遷移量を算出し、分割領域２２が所定の閾値以上の遷移を行った場合、分割領域２２の撮像条件を分割領域２４に適用する。

また、画像処理部１７は、シャッタスピードおよび移動算出部１４からの移動情報に基づいて、１フレーム間における移動距離を算出する。そして、画像処理部１７は、次フレームにおいて分割領域２２の輝度値に閾値を超える変化があると判断した場合、分割領域２２の撮像条件を分割領域２４に適用する。これにより、撮像装置１２は、移動体１１の移動前に分割領域２２で撮像していた画像を、分割領域２４においても適切な撮像条件で撮像することが可能になる。

図５は、第１実施形態に係る撮像領域の遷移のさらにその他の例を示す図である。なお、図５では、撮像装置１２が図２の移動体１１の前進方向を撮像しているときに、移動体１１の前進方向（光軸に対して平行方向）、すなわちＹ軸方向の移動に伴う制御方法を示す。
図５において、移動体１１がＹ軸方向の正の向き（紙面表から裏へ貫く向き）に移動したものとする。Ｙ軸方向の正の向きの移動体１１の移動に伴って、撮像装置１２が被写体に近づく。このため、移動体１１の移動前の分割領域２２の被写体は、画角内に拡大される。すなわち、画像が分割領域２２から分割領域２５へと同心円状に拡大される。

このとき、分割領域２２、２５の撮像条件が異なる場合、分割領域２２の被写体が適切な撮像条件で撮像されず、視認性が悪化する。視認性に悪化を防止するため、画像処理部１７は、撮像装置１２の移動量に応じて、分割領域２２の撮像条件を分割領域２５に適用する。このとき、画像処理部１７は、画像の縮尺率の算出結果に基づいて分割領域２５の撮像条件を制御する。すなわち、画像処理部１７は、移動体１１の移動に伴う画像の拡大によって分割領域２２から周辺の分割領域２５へ入り込む撮像対象の撮像条件に分割領域２２の撮像条件を適用する。これにより、撮像装置１２は、移動体１１の移動前に分割領域２２で撮像していた画像を、移動体１１の移動後も適切な撮像条件で撮像することが可能になる。

図６は、第１実施形態に係る撮像領域の遷移のさらにその他の例を示す図である。なお、図６では、撮像装置１２が図２の移動体１１の前進方向を撮像しているときに、光軸に対して移動体１１の垂直な回転、すなわちＹ軸周りの回転に伴う制御方法を示す。
図６において、移動体１１の回転には大きく分けて３方向があり、光軸に対して垂直な回転と、カメラのチルト方向、すなわちピッチ方向の回転と、パン方向、すなわちヨー方向の回転がある。

移動体１１の回転に伴う移動体１１の移動量の検出方法および計算方法などは上記した方法と同様である。ただし、光軸に対して垂直な回転については、イメージセンサの中心から同心円状の軌道２６、２７を描いて画像が動く。このため、上記と同様の制御を行うため、画像処理部１７は、回転に伴って同心円が通る軌道２６、２７上で撮像条件を切り替える。

しかしながら、図６に示すように、Ｘ軸方向およびＺ軸方向に沿って格子状に分割された分割領域２２に対しては、光軸に対して垂直な回転は、単純なシフト移動および拡大移動と比較して不向きな分割方法である。その理由は、撮像領域２１内の分割領域によっては、回転後の分割領域の移動方向が互いに異なるからである。そのため、画像処理部１７は、光軸に対して垂直な回転に伴う制御を行うときに、その回転によって描く軌跡２６、２７が通る分割領域を、移動算出部１４が算出した移動情報に基づいて処理し、その分割領域の露光条件を決定する。

一方、画像処理部１７は、ピッチ方向の回転については、Ｚ軸方向の移動と同様の動きをするため、Ｚ軸方向の移動に伴う処理と同様の制御を行う。また、画像処理部１７は、ヨー方向の回転については、Ｘ軸方向の移動と同様の動きをするため、Ｘ軸方向の移動に伴う処理と同様の制御を行う。

３次的空間を移動可能な移動体１１に撮像装置１２が搭載されている場合、画像処理部１７は、上記の移動方向を組み合わせた制御を行う。そのため、移動算出部１４は、移動検出部１３からの移動情報を逐次積算し、移動体１１の移動方向と移動量を計算し、画像処理部１７は、上記の処理を組み合わせて用いる。

また、撮像装置１２が不図示のズームレンズを有している場合、ズーム動作による画像の拡大または縮小も考えられる。この場合、例えば、絞りを開放していると、撮像装置１２の設定によってズーム動作前後でＦ値が切り替わることがある。ズーム前の画像と、ズーム後の画像で同一の対象物を撮像している範囲の領域においても適切な露光時間が変わるため、画像処理部１７は、適切な撮像条件の再計算を行う。ズームなどの動作を行った際でも、Ｆ値の変化が伴わない場合は、画像処理部１７は、撮像条件の再計算は行わない。

ここで、３次的空間を移動可能な移動体１１に撮像装置１２が搭載されている場合、移動体１１の移動に伴って撮像領域２１の画像が激しく変化する。明暗差が大きい場所が存在する環境下では、撮像領域２１の画像の変化に伴って分割領域内の明暗の切り替わりが頻繁に生じる。
例えば、照明または太陽光などが当たる輝度が高い領域と、影になった場所または暗い屋内などの輝度が低い領域とを含む輝度差が大きな環境下で撮像が行われるものとする。このとき、移動体１１の上下移動、左右の移動または回転移動などにより、画角内の明暗の領域が激しく移り変わる。その際、適切な露光条件にて撮像を行うために、分割領域ごとに輝度値から計算して処理を行うと、撮像領域の切り替わりに計算が間に合わない。このため、ＡＥ機能によって画像が明るくなったり暗くなったりするハンチング現象が発生する。また、特許文献１に記載の方法では、画像内に固定箇所がなく、画像全体が移動しているように見えてしまい、露光計算を適切に行うことができない。

これに対し、上述した第１実施形態では、撮像装置１２は、移動体１１の光軸に対する移動方向に基づいて、分割領域２２ごとに撮像条件を制御することができる。このため、適切な露光の設定に入力画像を不要とすることができ、移動するオブジェクトが撮像領域２１にない場合でも、撮像条件の制御の高速化を図ることができる。

また、撮像装置１２は、フィードバック制御ではなくオープンループで撮像条件を制御することができるので、入力画像を基にオート設定を行うＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）制御に比較して処理負荷を減らすことができる。また、撮像装置１２は、移動体１１の移動に基づく撮像条件の制御と、ＡＥ制御を併用することで、ハンチング現象を減らすことができる。

図７は、第１実施形態に係る移動体に移動に伴う撮像制御方法を示すフローチャートである。
なお、図７の各ステップは、図１の撮像装置１２の記憶部に記憶されたプログラムを画像処理部１７が読み出し、実行することで実現される。また、図７に示すフローチャートの少なくとも一部をハードウェアにより実現してもよい。ハードウェアにより実現する場合、例えば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。また、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣにより実現するようにしてもよい。
この場合、図７に示すフローチャートにおける各ブロックは、ハードウェアブロックと見做すことができる。なお、複数のブロックをまとめて１つのハードウェアブロックとして構成してもよく、１つのブロックを複数のハードウェアブロックとして構成してもよい。

図７において、画像処理部１７は、移動前の画像について各分割領域の輝度情報を取得し（Ｓ１１）、分割領域ごとの適切な露光条件を算出し（Ｓ１２）、撮像制御部１６に送信する。そして、撮像制御部１６は、イメージセンサの撮像部１５を制御して撮像を行う。

次に、画像処理部１７は、移動体１１から移動検出部１３に送られる情報に基づいて、移動体１１が空間を移動しているかどうかを判断する（Ｓ１３）。画像処理部１７は、移動体１１が移動していなければ、画像から適切な露光時間を計算するＡＥ制御または露光時間の固定などの制御を行う。

一方、移動算出部１４は、移動体１１が移動していれば、移動体１１の移動量を算出する。そして、画像処理部１７は、移動体１１の移動によって各分割領域に隣接する分割領域との境界を超え、かつ閾値よりも大きな輝度値の変化があるかどうかを判断する（Ｓ１４）。なお、輝度値の閾値はユーザが任意に設定することができ、ユーザの設定後、不図示の画像処理部１７の記憶部に格納する。

ここで、画像処理部１７は、移動体１１の移動によって移動する分割領域の輝度値の変化が閾値以下の場合、制御を行わずに終了する。
一方、移動体１１の移動によって閾値を超える画像の輝度値の変化がある場合、画像処理部１７は、その移動が光軸に対して垂直方向、すなわち画像内の拡大縮小を伴う移動かどうかを判断する（Ｓ１５）。

画像処理部１７は、光軸に対して垂直方向のみの移動の場合、Ｘ軸方向およびＺ軸方向移動の制御方法に基づいて各分割領域の露光条件を決定する（Ｓ１６）。
画像処理部１７は、光軸に対して垂直な回転の場合、上述した同心円状の軌道上の領域移動の際の制御を行う。画像処理部１７は、ピッチ方向またはヨー方向の回転に対しては、上述したように、Ｚ軸方向およびＸ軸方向の移動の制御と同様の制御を行う。

画像処理部１７は、光軸に対して垂直方向以外の移動も伴う場合、つまり画像内の拡大縮小を伴う移動の場合は、縮尺率の算出結果に応じて各分割領域の露光条件を決定する（Ｓ１７）。また、画像処理部１７は、移動量の算出結果に応じて上述のＹ方向の移動の制御も行う（Ｓ１８）。

＜第２実施形態＞
図８は、第２実施形態に係る移動体に移動に伴う撮像制御方法を示すフローチャートである。上述した第１実施形態では、分割領域の輝度値の変化に基づいて、分割領域の露光条件を決定したが、第２実施形態では、分割領域の輝度値の変化および移動体の移動速度に基づいて、分割領域の露光条件を決定する。

図８の処理では、Ｓ２１およびＳ２３からＳ２５の処理が図７の処理に追加されるとともに、図７のＳ１４の処理の代わりにＳ２２の処理が設けられている。Ｓ２３からＳ２５の処理は、ＡＥによる露出制御である。
ここで、Ｓ１３において、画像処理部１７は、移動体１１が移動していれば、移動体１１の移動速度が閾値以上かどうか判断する（Ｓ２１）。なお、移動速度の閾値はユーザが任意に設定することができ、ユーザの設定後、不図示の画像処理部１７の記憶部に格納する。また、本制御に用いる移動速度の閾値および輝度値の閾値は、使用環境または使用用途によってユーザが自由に定めてもよいし、撮像装置１２の持つ処理能力によって一意に定めてもよい。例えば、移動体１１の移動速度が設定値より速いときに輝度値の閾値を上げ、移動体１１の移動速度が設定値よりも遅いときに輝度値の閾値を下げるようにしてもよい。なお、移動速度の閾値は、ＡＥ機能で追随可能な速度範囲の最大値以下に設定することができる。

画像処理部１７は、移動体１１の移動速度が閾値未満の場合、移動算出部１４から受信した移動速度の情報に基づき、入力画像を取得する（Ｓ２３）。
次に、画像処理部１７は、画像エンジンにて各分割領域の輝度値を取得し（Ｓ２４）、その輝度値の情報から各分割領域の露光時間を決定し（Ｓ２５）、ＡＥ機能にて輝度調整を行う。

一方、画像処理部１７は、移動体１１の移動速度が閾値以上の場合（ＡＥ機能の制御では処理が追い付かず、画角内の画像の変化に追随できない高速の移動の場合）、分割領域の輝度値が閾値以上かどうかを判断する（Ｓ２２）。

画像処理部１７は、分割領域の輝度値が閾値未満の場合、その輝度値を持った対象が他の分割領域に移動してもハンチングなどを起こす懸念がないため、ＡＥ制御を行う（Ｓ２３からＳ２５）。
一方、画像処理部１７は、分割領域の輝度値が閾値以上の場合、その輝度値を持った対象が他の分割領域に移動するとハンチングなどを起こす懸念があるため、移動体１１の移動に基づく撮像条件の制御を実施する（Ｓ１５からＳ１８）。

上述した第２実施形態では、第１実施形態の制御に加え、移動速度により、移動体１１の移動に基づく撮像条件の制御を行うかどうか判断することができる。このため、ＡＥを用いることができる速度領域では、ＡＥによって露出の制御ができ、ＡＥを用いることができない高速な速度領域では、移動体１１の移動に基づく撮像条件の制御ができる。このため、実施形態１による制御と比較して、時間による被写体の輝度値の変化がある場合にも対応した制御を行うことができ、視認性の向上が見込める。

＜その他の実施形態＞
図９は、実施形態に係る画像処理部のハードウェア構成例を示すブロック図である。

図９において、画像処理部３０は、プロセッサ３１、通信制御部３２、通信インタフェース３３、主記憶部３４、補助記憶部３５および入出力インタフェース３７を備える。プロセッサ３１、通信制御部３２、通信インタフェース３３、主記憶部３４、補助記憶部３５および入出力インタフェース３７は、内部バス３６を介して相互に接続されている。主記憶部３４および補助記憶部３５は、プロセッサ３１からアクセス可能である。

また、画像処理部３０の外部には、入力装置４０および表示装置４１が設けられている。入力装置４０および表示装置４１は、入出力インタフェース３７を介して内部バス３６に接続されている。入力装置４０は、例えば、キーボード、マウス、タッチパネル、カードリーダ、音声入力装置等である。表示装置４１は、例えば、液晶モニタ、有機ＥＬディスプレイ、マイクロＬＥＤディスプレイである。

プロセッサ３１は、画像処理部３０全体の動作制御を司る。プロセッサ３１は、ＣＰＵであってもよいし、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。プロセッサ３１は、シングルコアプロセッサであってもよいし、マルチコアプロセッサであってもよい。プロセッサ３１は、処理の一部を高速化するアクセラレータなどのハードウェア回路（例えば、ＦＰＧＡまたはＡＳＩＣ）を備えていてもよい。

主記憶部３４は、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）またはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの半導体メモリから構成することができる。主記憶部３４には、プロセッサ３１が実行中のプログラムを格納したり、プロセッサ３１がプログラムを実行するためのワークエリアを設けたりすることができる。

補助記憶部３５は、不揮発性記憶デバイスであり、例えば、ＲＯＭ、ハードディスク装置またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）である。補助記憶部３５は、各種プログラムの実行ファイルやプログラムの実行に用いられるデータを保持することができる。

通信制御部３２は、外部との通信を制御する機能を備えるハードウェアである。通信制御部３２は、通信インタフェース３３を介してネットワーク３９に接続される。ネットワーク３９は、インターネットであってもよいし、ＷＡＮであってもよいし、ＷｉＦｉまたはイーサネット（登録商標）などのＬＡＮであってもよいし、インターネットとＷＡＮとＬＡＮが混在していてもよい。

入出力インタフェース３７は、入力装置４０から入力されるデータをプロセッサ３１が処理可能なデータ形式に変換したり、プロセッサ３１から出力されるデータを表示装置４１が処理可能なデータ形式に変換したりする。

プロセッサ３１は、補助記憶部３５に記憶されたプログラムを主記憶部３４に読み出して実行することにより、図７および図８の処理を実現することができる。
なお、図７および図８の処理を実現するためのプログラムの実行は、複数のプロセッサやコンピュータに分担させてもよい。あるいは、プロセッサ３１は、図７および図８の処理を実現するためのプログラムの全部または一部の実行を、ネットワーク３９を介してクラウドコンピュータなどに指示し、その実行結果を受け取るようにしてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給してもよい。そして、上述の実施形態の１以上の機能は、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＦＰＧＡまたはＡＳＩＣ）でも実現可能である。

１１ 移動体、１２ 撮像装置、１３ 移動検出部、１４ 移動算出部、１５ 撮像部、１６ 撮像制御部、１７ 画像処理部、１８ 画像配信部、１９ 画像保存部

Claims (13)

1. 撮像部の光軸に対する移動方向に基づいて、１以上の画素を含む撮像領域の撮像条件を設定する画像処理手段と、
   前記画像処理手段で設定された撮像条件に基づいて、前記撮像領域の撮像を制御する撮像制御手段と、
   を備えることを特徴とする撮像制御装置。
2. 前記移動方向は、前記光軸に対して平行方向の移動、前記光軸に対して垂直方向の移動および回転方向の移動のいずれか少なくとも１つを含むことを特徴とする請求項１に記載の撮像制御装置。
3. 前記回転方向の移動は、前記光軸に対して垂直な回転、前記撮像部のチルト方向の回転および前記撮像部のパン方向の回転いずれか少なくとも１つを含むことを特徴とする請求項２に記載の撮像制御装置。
4. 前記撮像部を有する撮像装置は、３次元空間を移動可能な移動体に搭載されていることを特徴とする請求項１から３のいずれか１項に記載の撮像制御装置。
5. 前記画像処理手段は、
   前記撮像領域の輝度情報を取得する輝度取得手段と、
   前記移動体の変位量を算出する変位量算出手段と、
   前記移動体の変位量に基づいて、前記撮像領域の遷移量を算出する遷移量算出手段と、
   前記移動体の変位量に基づいて、前記撮像領域の縮尺率を算出する縮尺率算出手段とを備え、
   前記光軸に対して垂直方向の移動に対しては前フレームの輝度情報および前記遷移量に基づいて、前記撮像領域の露光条件を決定し、
   前記光軸に対して平行方向の移動に対しては前フレームの輝度情報および前記縮尺率に基づいて、前記撮像領域の露光条件を決定することを特徴とする請求項４に記載の撮像制御装置。
6. 前記画像処理手段は、前記チルト方向の回転および前記パン方向の回転においては、前記光軸に対して垂直方向の移動に伴う処理と同様の制御を行うことを特徴とする請求項５に記載の撮像制御装置。
7. 前記画像処理手段は、前記光軸に対して垂直な回転においては、前記回転によって描く軌跡が通る領域を処理し、前記領域の露光条件を決定することを特徴とする請求項５または６に記載の撮像制御装置。
8. 前記露光条件を制御する輝度値の閾値を設定する設定手段をさらに備え、
   前記移動体の移動速度が設定値より速いときに前記閾値を上げ、前記移動体の移動速度が前記設定値よりも遅いときに前記閾値を下げることを特徴とする請求項５から７のいずれか１項に記載の撮像制御装置。
9. 前記撮像領域に閾値以上の輝度が存在するかどうか検出する検出手段をさらに備え、
   前記画像処理手段は、前記閾値未満の輝度値のみの画像に対しては前記輝度値から算出した撮像条件を用いることなく、前記撮像領域の露光を制御することを特徴とする請求項５から８のいずれか１項に記載の撮像制御装置。
10. 前記輝度取得手段は、Ｆ（Ｆｏｃａｌ）値が変化するときに前記撮像領域の輝度値を再取得することを特徴とする請求項５から９のいずれか１項に記載の撮像制御装置。
11. 前記画像処理手段は、前記移動体の移動を伴わない輝度値の変化に対しては、前記輝度情報に基づいて露光時間を制御することを特徴とする請求項５から１０のいずれか１項に記載の撮像制御装置。
12. 撮像部の光軸に対する移動方向に基づいて、１以上の画素を含む撮像領域の撮像条件を設定するステップと、
    前記撮像条件に基づいて、前記撮像領域の撮像を制御するステップと、
    を備えることを特徴とする撮像制御方法。
13. コンピュータを請求項１から１１のいずれか１項に記載の撮像制御装置として動作させるためのプログラム。

Images