JP2022011712A - シーン認識装置、撮像装置、シーン認識方法、及びプログラム - Google Patents

Abstract

【課題】画像のシーン認識の精度が低下することを抑制できる、シーン認識装置、撮像装置、シーン認識方法及びプログラムを提供する。【解決手段】シーン認識装置は、測距センサを備える撮像装置により撮像される画像及び測距センサの測距結果に基づく画像の深度マップを取得する回路を備える。回路は、深度マップに基づいて、画像から、被写体までの距離に応じた複数の部分画像をクロップし、複数の部分画像ごとにそれぞれのアルゴリズムに従ってシーン認識を実行し、複数の部分画像のそれぞれのシーン認識の結果に基づいて、画像のシーンを決定する。【選択図】図２

Description

本発明は、シーン認識装置、撮像装置、シーン認識方法、及びプログラムに関する。

特許文献１には、「物体５０の位置を確定する前に、計測データから背景と物体５０との分離を行い、ノイズ処理を行う」と記載されている。
［先行技術文献］
［特許文献］
［特許文献１］ 特開平１１－６３９８９号公報

画像の内容によっては、画像のシーン認識の精度が低下することがある。

本発明の一態様に係るシーン認識装置は、測距センサを備える撮像装置により撮像される画像、及び測距センサの測距結果に基づく画像の深度マップを取得するように構成される回路を備える。回路は、深度マップに基づいて、画像から、被写体までの距離に応じた複数の部分画像をクロップするように構成されてよい。回路は、複数の部分画像ごとにそれぞれのアルゴリズムに従ってシーン認識を実行するように構成されてよい。回路は、複数の部分画像のそれぞれのシーン認識の結果に基づいて、画像のシーンを決定するように構成されてよい。

回路は、深度マップに基づいて、画像から、撮像装置からの距離が予め定められた距離以下である被写体を含む第１部分画像と、撮像装置からの距離が予め定められた距離より遠い被写体を含む第２部分画像とをクロップするように構成される。回路は、第１アルゴリズムに従って第１部分画像に対する第１シーン認識を実行するように構成される。回路は、第２アルゴリズムに従って第２部分画像に対する第２シーン認識を実行するように構成される。回路は、第１シーン認識の結果及び第２シーン認識の結果に基づいて、画像のシーンを決定するように構成される。

それぞれのアルゴリズムは、異なるアルゴリズムでよい。

回路は、複数の部分画像が画像に占めるそれぞれの割合にさらに基づいて、画像のシーンを決定するように構成されてよい。

測距センサは、ＴＯＦセンサでよい。

本発明の一態様に係る撮像装置は、上記シーン認識装置と、測距センサと、イメージセンサとを備えてよい。回路は、決定された画像のシーンに基づいて、撮像条件及び画像処理条件の少なくとも一方を決定するように構成されてよい。

本発明の一態様に係るシーン認識方法は、測距センサを備える撮像装置により撮像される画像、及び測距センサの測距結果に基づく画像の深度マップを取得する段階を備える。シーン認識方法は、深度マップに基づいて、画像から、被写体までの距離に応じた複数の部分画像をクロップする段階を備えてよい。シーン認識方法は、複数の部分画像ごとにそれぞれのアルゴリズムに従ってシーン認識を実行する段階を備えてよい。シーン認識方法は、複数の部分画像のそれぞれのシーン認識の結果に基づいて、画像のシーンを決定する段階を備えてよい。

本発明の一態様に係るプログラムは、上記シーン認識装置としてコンピュータを機能させるためのプログラムでよい。

本発明の一態様によれば、画像の内容によって、画像のシーン認識の精度が低下することを抑制できる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

撮像装置の機能ブロックを示す図である。 画像のクロップ及びシーン認識について説明するための図である。 シーン認識の手順の一例を示すフローチャートである。 無人航空機及び遠隔操作装置の外観の一例を示す図である。 ハードウェア構成の一例を示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。以下の実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。

本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、プログラマブル回路、及び／またはプロセッサによって実装されてよい。専用回路は、デジタル及び／またはアナログハードウェア回路を含んでよい。集積回路（ＩＣ）及び／またはディスクリート回路を含んでよい。プログラマブル回路は、再構成可能なハードウェア回路を含んでよい。再構成可能なハードウェア回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、及び他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等の様なメモリ要素等を含んでよい。

コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよい。その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ（登録商標））、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

コンピュータ可読命令は、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードの何れかを含んでよい。ソースコードまたはオブジェクトコードは、従来の手続型プログラミング言語を含む。従来の手続型プログラミング言語は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語または同様のプログラミング言語でよい。コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供されてよい。プロセッサまたはプログラマブル回路は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

図１は、本実施形態に係る撮像装置１００の機能ブロックの一例を示す。撮像装置１００は、撮像部１０２、ＴＯＦセンサ１６０、及びレンズ部２００を備える。撮像部１０２は、イメージセンサ１２０、撮像制御部１１０、メモリ１７０、表示部１８０、及び操作部１８２を有する。

イメージセンサ１２０は、ＣＣＤまたはＣＭＯＳにより構成されてよい。イメージセンサ１２０は、複数のレンズ１５４を介して結像された光学像の画像データを撮像制御部１１０に出力する。撮像制御部１１０は、ＣＰＵまたはＭＰＵ等のマイクロプロセッサ、ＭＣＵ等のマイクロコントローラ等により構成されてよい。

撮像制御部１１０は、操作部１８２からの撮像装置１００の動作命令に応じて、撮像制御部１１０は、イメージセンサ１２０から出力された画像信号にデモザイク処理を施すことで画像データを生成する。撮像制御部１１０は、画像データをメモリ１７０に格納する。撮像制御部１１０は、ＴＯＦセンサ１６０を制御する。撮像制御部１１０は、回路の一例である。ＴＯＦセンサ１６０は、対象物までの距離を測距する飛行時間型センサである。撮像装置１００は、ＴＯＦセンサ１６０により測距された距離に基づいて、フォーカスレンズの位置を調整することで、合焦制御を実行する。

メモリ１７０は、コンピュータ可読可能な記録媒体でよく、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びＵＳＢメモリ等のフラッシュメモリの少なくとも１つを含んでよい。メモリ１７０は、撮像制御部１１０がイメージセンサ１２０等を制御するのに必要なプログラム等を格納する。メモリ１７０は、撮像装置１００の筐体の内部に設けられてよい。

複数のレンズ１５４は、ズームレンズ、バリフォーカルレンズ、及びフォーカスレンズとして機能してよい。複数のレンズ１５４の少なくとも一部または全部は、光軸に沿って移動可能に配置される。レンズ制御部１５０は、撮像制御部１１０からのレンズ制御命令に従って、レンズ駆動部１５２を駆動して、１または複数のレンズ１５４を光軸方向に沿って移動させる。レンズ制御命令は、例えば、ズーム制御命令、及びフォーカス制御命令である。レンズ駆動部１５２は、複数のレンズ１５４の少なくとも一部または全部を光軸方向に移動させるボイスコイルモータ（ＶＣＭ）を含んでよい。レンズ駆動部１５２は、ＤＣモータ、コアレスモータ、または超音波モータ等の電動機を含んでよい。レンズ駆動部１５２は、電動機からの動力をカム環、ガイド軸等の機構部材を介して複数のレンズ１５４の少なくとも一部または全部に伝達して、複数のレンズ１５４の少なくとも一部または全部を光軸に沿って移動させてよい。本実施形態では、複数のレンズ１５４は、撮像装置１００と一体型の例について説明する。しかし、複数のレンズ１５４は、交換レンズでよく、撮像装置１００とは別体で構成されてもよい。

表示部１８０は、イメージセンサ１２０から出力された画像を表示してよい。表示部１８０は、撮像装置１００の各種の設定情報を表示してよい。表示部１８０は、液晶ディスプレイ、タッチパネルディスプレイなどでよい。表示部１８０は、複数の液晶ディスプレイ、またはタッチパネルディスプレイを含んでよい。

ＴＯＦセンサ１６０は、発光部１６２、受光部１６４、発光制御部１６６、受光制御部１６７、及びメモリ１６８を備える。ＴＯＦセンサ１６０は、測距センサの一例である。撮像装置１００は、ＴＯＦセンサ１６０の代わりに、視差に基づいて測距するステレオカメラなどの他の測距センサを備えてもよい。発光部１６２は、少なくとも１つの発光素子１６３を含む。発光素子１６３は、ＬＥＤまたはレーザ等の高速変調されたパルス光を繰り返し出射するデバイスである。発光素子１６３は、赤外光であるパルス光を出射してよい。発光制御部１６６は、発光素子１６３の発光を制御する。発光制御部１６６は、発光素子１６３から出射されるパルス光のパルス幅を制御してよい。

受光部１６４は、複数の測距領域のそれぞれに関連する被写体までの距離を測距する複数の受光素子１６５を含む。複数の受光素子１６５は、複数の測距領域のそれぞれに対応する。受光素子１６５は、対象物からのパルス光の反射光を繰り返し受光する。受光制御部１６７は、受光素子１６５の受光を制御する。受光制御部１６７は、予め定められた受光期間に受光素子１６５が繰り返し受光する反射光の量に基づいて、複数の測距領域のそれぞれに関連する被写体までの距離を測距する。受光制御部１６７は、予め定められた受光期間に受光素子１６５が繰り返し受光する反射光の量に基づいて、パルス光と反射光との間の位相差を特定することで、被写体までの距離を測距してよい。受光部１６４は、反射波の周波数変化を読み取ることで、被写体までの距離を測距してよい。これはＦＭＣＷ（Ｆｒｅｑｕｅｎｃｙ Ｍｏｄｕｌａｔｅｄ Ｃｏｎｔｉｎｕｏｕｓ Ｗａｖｅ）方式と呼ばれる。

メモリ１６８は、コンピュータ可読可能な記録媒体でよく、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、及びＥＥＰＲＯＭの少なくとも１つを含んでよい。メモリ１６８は、発光制御部１６６が発光部１６２を制御するために必要なプログラム、及び受光制御部１６７が受光部１６４を制御するのに必要なプログラム等を格納する。

ＴＯＦセンサ１６０は、受光部１６４の画素数に対応する複数の測距領域のそれぞれに関連する被写体までの距離を測距できる。

このように構成された撮像装置１００は、撮像装置１００により撮像される画像のシーン認識を実行する。撮像装置１００は、画像のシーン認識の結果に基づいて、撮像条件及び画像処理条件の少なくとも一方を決定する。撮像条件は、シャッター速度、絞り（Ｆ値）、及びＩＳＯ感度を含む露出条件を含む。画像処理条件は、ホワイトバランス調整、階調（トーンカーブ）制御、色調整等のデジタル信号処理の条件を含む。

撮像装置１００は、画像の輝度情報、画像の色情報、及び画像を構成する画素値のヒストグラムの少なくとも１つと、シーンの種類ごとに予め定められた基準の輝度情報、色情報、及び画素値のヒストグラムの少なくとも１つとの類似度に基づいて、画像のシーン認識を実行してよい。撮像装置１００は、画像の輝度情報、画像の色情報、及び画素値のヒストグラムの少なくとも１つに基づいて、画像のシーンとして、風景、人物、植物、料理、夜景、花火などを判別してよい。撮像装置１００は、シーンの種類ごとの教師データと判別対象の画像との類似度に基づいて、画像のシーン認識を実行してよい。

ここで、画像は二次元の情報であり、奥行き情報を有さないので、撮像装置１００は、画像の内容によっては、シーン認識を適切に行えない場合がある。撮像装置１００は、例えば、風景画の画像と、実際の風景の画像とを区別してシーン認識できない場合がある。

そこで、本実施形態に係る撮像装置１００は、画像から取得できる二次元の情報に加えて、ＴＯＦセンサ１６０からの測距結果に基づく深度マップを利用して、シーン認識を実行する。

撮像制御部１１０は、撮像部１０２により撮像される画像を取得する。撮像制御部１１０は、ＴＯＦセンサ１６０の測距結果に基づく画像の深度マップを取得する。深度マップは、被写体までの距離の分布を示す情報でよい。

撮像制御部１１０は、深度マップに基づいて、画像から、撮像部１０２からの距離が予め定められた距離以下である被写体を含む近景部分画像と、撮像部１０２からの距離が予め定められた距離より遠い被写体を含む遠景部分画像とをクロップする。撮像制御部１１０は、画像の各画素と深度マップの各画素との予め定められた対応関係に基づいて、画像内の被写体までの距離を特定してよい。撮像制御部１１０は、画像を、予め定められた距離以下の被写体を含む領域と、予め定められた距離より遠い被写体を含む領域とに分割することで、近景部分画像と遠景部分画像とを生成する。

撮像制御部１１０は、予め定められた近景用アルゴリズムに従って近景部分画像に対する近景用シーン認識を実行する。近景用アルゴリズムは、近景のシーンの認識に特化したアルゴリズムでよい。近景用アルゴリズムは、認識結果として、近景のシーンのみを出力し、遠景のシーンを出力しないアルゴリズムでよい。

撮像制御部１１０は、予め定められた遠景用アルゴリズムに従って遠景部分画像に対する遠景用シーン認識を実行する。遠景用アルゴリズムは、遠景のシーンの認識に特化したアルゴリズムでよい。遠景用アルゴリズムは、認識結果として、遠景のシーンのみを出力し、近景のシーンを出力しないアルゴリズムでよい。遠景のシーンは、予め定められた距離より遠い距離にある被写体を含むシーンであり、山、空、夜景、花火などのシーンである。近景のシーンは、予め定められた距離以下の距離にある被写体を含むシーンであり、人物、料理、花などのシーンである。

近景用アルゴリズムと遠景用アルゴリズムとは異なるアルゴリズムでよい。しかし、撮像制御部１１０は、同じアルゴリズムに従って、近景部分画像及び遠景部分画像のそれぞれに対するシーン認識を実行してもよい。

撮像制御部１１０は、近景部分画像のシーンの認識結果と、遠景部分画像のシーンの認識結果とに基づいて、画像のシーンを決定する。撮像制御部１１０は、近景部分画像のシーンの認識結果と、遠景部分画像のシーンの認識結果とを合わせた結果を、画像のシーンとして決定してよい。例えば、近景部分画像のシーンの認識結果が「山」で、遠景部分画像のシーンの認識結果が「人物」であれば、撮像制御部１１０は、画像のシーンを「山」＋「人物」と決定してよい。

撮像制御部１１０は、近景部分画像及び遠景部分画像が、画像に占めるそれぞれの割合にさらに基づいて、画像のシーンを決定してよい。撮像制御部１１０は、例えば、画像に占める割合が多い近景部分画像及び遠景部分画像のいずれか一方のシーンの認識結果を、画像のシーンとして決定してよい。撮像制御部１１０は、近景部分画像及び遠景部分画像のそれぞれのシーンの認識結果と、画像に占める近景部分画像及び遠景部分画像のそれぞれの割合とを、画像のシーンとして決定してよい。例えば、撮像制御部１１０は、「山」が７０％を占め、「人物」が３０％を占めるシーンとして、画像のシーンを決定してよい。

撮像制御部１１０は、図２に示すように、撮像部１０２により撮像された画像３００と、ＴＯＦセンサ１６０による測距結果に基づく深度マップ３１０とを比較することで、予め定められた距離より遠い被写体を含む遠景部分画像３２０と、予め定められた距離以下の被写体を含む近景部分画像３２２とを画像３００からクロップする。

撮像制御部１１０は、遠景部分画像３２０及び近景部分画像３２２の境界部分がオーバーラップするように、画像３００をクロップしてよい。撮像制御部１１０は、画像３００と深度マップ３１０とを画像マッチングすることで、画像３００の各画素と、深度マップ３１０の各画素との対応関係を特定してよい。予め定められた距離は、ＴＯＦセンサ１６０の測距範囲に基づいて定められてよい。予め定められた距離は、ＴＯＦセンサ１６０が予め定められた精度以上で測距可能な測距範囲で最も遠い距離でよい。

撮像制御部１１０は、遠景用アルゴリズムに従って、遠景部分画像３２０のシーン認識を実行し、遠景部分画像３２０のシーンを「風景」と決定する。また、撮像制御部１１０は、近景用アルゴリズムに従って、近景部分画像３２２のシーン認識を実行し、近景部分画像３２２のシーンを「人物」と決定する。次いで、撮像制御部１１０は、遠景部分画像３２０のシーン認識の結果と、近景部分画像３２２のシーン認識の結果とに基づいて、画像３００のシーンを、「風景」＋「人物」と決定する。

図３は、シーン認識の手順の一例を示すフローチャートである。

撮像制御部１１０は、撮像部１０２により撮像される画像と、ＴＯＦセンサ１６０により測距された測距結果に基づく、画像に対応する深度マップとを取得する（Ｓ１００）。撮像制御部１１０は、画像と深度マップとの位置関係を対応付ける（Ｓ１０２）。撮像制御部１１０は、画像と深度マップとを画像マッチングすることで、位置関係を対応付けてよい。

撮像制御部１１０は、深度マップを参照することで、画像から、被写体までの距離が予め定められた距離以下の領域である近景部分画像と、被写体までの距離が予め定められた距離より遠い領域である遠景部分画像とをクロップする（Ｓ１０４）。撮像制御部１１０は、近景用アルゴリズムに従って近景部分画像のシーン認識を実行し、遠景用アルゴリズムに従って遠景部分画像のシーン認識を実行する（Ｓ１０６）。

撮像制御部１１０は、近景部分画像のシーン認識の結果と、遠景部分画像のシーン認識の結果とに基づいて、画像のシーン認識を実行して、画像のシーンを決定する（Ｓ１０８）。

本実施形態によれば、撮像制御部１１０は、画像から取得できる情報に加えて、ＴＯＦセンサ１６０からの測距結果に基づく深度マップを利用して、シーン認識を実行する。撮像制御部１１０は、画像を被写体までの距離に応じた部分画像に分割して、それぞれの分割画像ごとに、シーン認識を実行する。これにより、より精度よく画像のシーン認識を実行できる。例えば、風景画の画像と、実際の風景の画像とを区別して、シーン認識を実行できる。

なお、本実施形態では、撮像制御部１１０は、画像を、近景部分画像及び遠景部分画像の２つに分割する例について説明した。しかしながら、撮像制御部１１０は、画像に含まれる被写体までの距離に応じて、３つ以上の部分画像に分割して、それぞれの部分画像のアルゴリズムに従って、それぞれの部分画像のシーン認識を実行してもよい。

撮像制御部１１０は、画像から、第１距離範囲の被写体を含む第１部分画像、第１距離範囲より遠い第２距離範囲の被写体を含む第２部分画像、及び第２距離範囲より遠い第３距離範囲の被写体を含む第３部分画像をクロップしてよい。撮像制御部１１０は、第１距離範囲のアルゴリズム、第２距離範囲のアルゴリズム、及び第３距離範囲のアルゴリズムのそれぞれに従って、第１部分画像、第２部分画像、及び第３部分画像のそれぞれのシーン認識を実行し、第１部分画像、第２部分画像、及び第３部分画像のそれぞれのシーン認識の結果に基づいて、画像のシーンを決定してよい。

上記のような撮像装置１００は、移動体に搭載されてもよい。撮像装置１００は、図４に示すような、無人航空機（ＵＡＶ）に搭載されてもよい。ＵＡＶ１０００は、ＵＡＶ本体２０、ジンバル５０、複数の撮像装置６０、及び撮像装置１００を備えてよい。ジンバル５０、及び撮像装置１００は、撮像システムの一例である。ＵＡＶ１０００は、推進部により推進される移動体の一例である。移動体とは、ＵＡＶの他、空中を移動する他の航空機などの飛行体、地上を移動する車両、水上を移動する船舶等を含む概念である。

ＵＡＶ本体２０は、複数の回転翼を備える。複数の回転翼は、推進部の一例である。ＵＡＶ本体２０は、複数の回転翼の回転を制御することでＵＡＶ１０００を飛行させる。ＵＡＶ本体２０は、例えば、４つの回転翼を用いてＵＡＶ１０００を飛行させる。回転翼の数は、４つには限定されない。また、ＵＡＶ１０００は、回転翼を有さない固定翼機でもよい。

撮像装置１００は、所望の撮像範囲に含まれる被写体を撮像する撮像用のカメラである。ジンバル５０は、撮像装置１００を回転可能に支持する。ジンバル５０は、支持機構の一例である。例えば、ジンバル５０は、撮像装置１００を、アクチュエータを用いてピッチ軸で回転可能に支持する。ジンバル５０は、撮像装置１００を、アクチュエータを用いて更にロール軸及びヨー軸のそれぞれを中心に回転可能に支持する。ジンバル５０は、ヨー軸、ピッチ軸、及びロール軸の少なくとも１つを中心に撮像装置１００を回転させることで、撮像装置１００の姿勢を変更してよい。

複数の撮像装置６０は、ＵＡＶ１０００の飛行を制御するためにＵＡＶ１０００の周囲を撮像するセンシング用のカメラである。２つの撮像装置６０が、ＵＡＶ１０００の機首である正面に設けられてよい。更に他の２つの撮像装置６０が、ＵＡＶ１０００の底面に設けられてよい。正面側の２つの撮像装置６０はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の２つの撮像装置６０もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置６０により撮像された画像に基づいて、ＵＡＶ１０００の周囲の３次元空間データが生成されてよい。ＵＡＶ１０００が備える撮像装置６０の数は４つには限定されない。ＵＡＶ１０００は、少なくとも１つの撮像装置６０を備えていればよい。ＵＡＶ１０００は、ＵＡＶ１０００の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも１つの撮像装置６０を備えてもよい。撮像装置６０で設定できる画角は、撮像装置１００で設定できる画角より広くてよい。撮像装置６０は、単焦点レンズまたは魚眼レンズを有してもよい。

遠隔操作装置６００は、ＵＡＶ１０００と通信して、ＵＡＶ１０００を遠隔操作する。遠隔操作装置６００は、ＵＡＶ１０００と無線で通信してよい。遠隔操作装置６００は、ＵＡＶ１０００に上昇、下降、加速、減速、前進、後進、回転等のＵＡＶ１０００の移動に関する各種命令を示す指示情報を送信する。指示情報は、例えば、ＵＡＶ１０００の高度を上昇させる指示情報を含む。指示情報は、ＵＡＶ１０００が位置すべき高度を示してよい。ＵＡＶ１０００は、遠隔操作装置６００から受信した指示情報により示される高度に位置するように移動する。指示情報は、ＵＡＶ１０００を上昇させる上昇命令を含んでよい。ＵＡＶ１０００は、上昇命令を受け付けている間、上昇する。ＵＡＶ１０００は、上昇命令を受け付けても、ＵＡＶ１０００の高度が上限高度に達している場合には、上昇を制限してよい。

図５は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ１２００の一例を示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００に、本発明の実施形態に係る装置に関連付けられるオペレーションまたは当該装置の１または複数の「部」として機能させることができる。または、当該プログラムは、コンピュータ１２００に当該オペレーションまたは当該１または複数の「部」を実行させることができる。当該プログラムは、コンピュータ１２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、及びＲＡＭ１２１４を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、入力／出力ユニットを含み、それらは入力／出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。コンピュータ１２００はまた、ＲＯＭ１２３０を含む。ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブが、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納してよい。ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／またはコンピュータ１２００のハードウェアに依存するプログラムを格納する。プログラムが、ＣＲ－ＲＯＭ、ＵＳＢメモリまたはＩＣカードのようなコンピュータ可読記録媒体またはネットワークを介して提供される。プログラムは、コンピュータ可読記録媒体の例でもあるＲＡＭ１２１４、またはＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ１２００の使用に従い情報のオペレーションまたは処理を実現することによって構成されてよい。

例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、またはＵＳＢメモリのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

また、ＣＰＵ１２１２は、ＵＳＢメモリ等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ１２００上またはコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００ 撮像装置
１０２ 撮像部
１１０ 撮像制御部
１２０ イメージセンサ
１５０ レンズ制御部
１５２ レンズ駆動部
１５４ レンズ
１６０ ＴＯＦセンサ
１６２ 発光部
１６３ 発光素子
１６４ 受光部
１６５ 受光素子
１６６ 発光制御部
１６７ 受光制御部
１６８ メモリ
１７０ メモリ
１８０ 表示部
１８２ 操作部
２００ レンズ部
１０００ ＵＡＶ
２０ ＵＡＶ本体
５０ ジンバル
６０ 撮像装置
６００ 遠隔操作装置
１２００ コンピュータ
１２１０ ホストコントローラ
１２１２ ＣＰＵ
１２１４ ＲＡＭ
１２２０ 入力／出力コントローラ
１２２２ 通信インタフェース
１２３０ ＲＯＭ

Claims (8)

1. 測距センサを備える撮像装置により撮像される画像、及び前記測距センサの測距結果に基づく前記画像の深度マップを取得し、
   前記深度マップに基づいて、前記画像から、被写体までの距離に応じた複数の部分画像をクロップし、
   前記複数の部分画像ごとにそれぞれのアルゴリズムに従ってシーン認識を実行し、
   前記複数の部分画像のそれぞれのシーン認識の結果に基づいて、前記画像のシーンを決定するように構成される回路を備えるシーン認識装置。
2. 前記回路は、
   前記深度マップに基づいて、前記画像から、前記撮像装置からの距離が予め定められた距離以下である被写体を含む第１部分画像と、前記撮像装置からの距離が前記予め定められた距離より遠い被写体を含む第２部分画像とをクロップし、
   第１アルゴリズムに従って前記第１部分画像に対する第１シーン認識を実行し、
   第２アルゴリズムに従って前記第２部分画像に対する第２シーン認識を実行し、
   前記第１シーン認識の結果及び前記第２シーン認識の結果に基づいて、前記画像のシーンを決定するように構成される、請求項１に記載のシーン認識装置。
3. それぞれの前記アルゴリズムは、異なるアルゴリズムである、請求項１に記載のシーン認識装置。
4. 前記回路は、前記複数の部分画像が前記画像に占めるそれぞれの割合にさらに基づいて、前記画像のシーンを決定するように構成される、請求項１に記載のシーン認識装置。
5. 前記測距センサは、ＴＯＦセンサである、請求項１に記載のシーン認識装置。
6. 請求項１から５の何れか１つに記載のシーン認識装置と、
   前記測距センサと、
   イメージセンサと
   を備え、
   前記回路は、決定された前記画像のシーンに基づいて、撮像条件及び画像処理条件の少なくとも一方を決定するように構成される、撮像装置。
7. 測距センサを備える撮像装置により撮像される画像、及び前記測距センサの測距結果に基づく前記画像の深度マップを取得する段階と、
   前記深度マップに基づいて、前記画像から、被写体までの距離に応じた複数の部分画像をクロップする段階と、
   前記複数の部分画像ごとにそれぞれのアルゴリズムに従ってシーン認識を実行する段階と、
   前記複数の部分画像のそれぞれのシーン認識の結果に基づいて、前記画像のシーンを決定する段階とを備えるシーン認識方法。
8. 請求項１から５の何れか１つに記載のシーン認識装置としてコンピュータを機能させるためのプログラム。

Images