JP2023011376A - 移動体、情報処理方法及びプログラム - Google Patents

Abstract

【課題】消費電力の増大や処理遅延等を防止することが可能な技術を提供すること。【解決手段】本技術に係る移動体は、制御部を具備する。前記制御部は、複数のセンサからそれぞれセンサ情報を取得可能であり、複数のセンサ情報のうち少なくとも１以上のセンサ情報に基づいて移動体の移動に関する第１の処理を実行し、前記第１の処理において使用される前記センサ情報の数における第１の上限値を設定する。【選択図】図４

Description

本技術は、自律移動可能な移動体等の技術に関する。

近年、自律移動可能な移動体として、ドローンや、掃除ロボット、車両等の各種の装置が広く知られている（例えば、下記特許文献１参照）。

この種の移動体においては、自律移動のために、慣性センサ、ＧＰＳ（Global Positioning System）、デプスセンサ、カメラ等の各種のセンサが搭載されている。そして、これらのセンサからのセンサ情報に基づいて、ＳＬＡＭ（Simultaneous Localization and Mapping）等の自己位置推定処理が実行される。

特開２０１９－１７５０４８号公報

搭載されている全てのセンサからのセンサ情報を使用して自律移動に関する処理を実行してしまうと、消費電力の増大や処理遅延等が生じてしまう。

以上のような事情に鑑み、本技術の目的は、消費電力の増大や処理遅延等を防止することが可能な技術を提供することにある。

本技術に係る移動体は、制御部を具備する。前記制御部は、複数のセンサからそれぞれセンサ情報を取得可能であり、複数のセンサ情報のうち少なくとも１以上のセンサ情報に基づいて移動体の移動に関する第１の処理を実行し、前記第１の処理において使用される前記センサ情報の数における第１の上限値を設定する。

このように、第１の処理で使用されるセンサ情報の数に必要に応じて制限を設定することで、消費電力の増大や処理遅延等を防止することができる。

本技術に係る情報処理方法は、複数のセンサからそれぞれセンサ情報を取得可能な制御部が、複数の前記センサ情報のうち少なくとも１以上の前記センサ情報に基づいて移動体の移動に関する第１の処理を実行し、前記第１の処理において使用される前記センサ情報の数における第１の上限値を設定する。

本技術に係るプログラムは、複数のセンサからそれぞれセンサ情報を取得可能な制御部に、複数の前記センサ情報のうち少なくとも１以上の前記センサ情報に基づいて移動体の移動に関する第１の処理を実行し、前記第１の処理において使用される前記センサ情報の数における第１の上限値を設定する処理を実行させる。

本技術の第１実施形態に係るドローンを示す図である。 ドローンの内部構成を示すブロック図である。 制御部及びセンサ部の構成を示すブロック図である。 画像上限数の設定に関する処理を示すフローチャートである。 バッテリー残量、消費電力モード及び使用可能消費電力の関係を示す図である。 自己位置推定処理及び障害物停止処理におけるそれぞれの画像使用数及び消費電力の関係を示す図である。 自己位置推定処理及び障害物停止処理におけるそれぞれの最低画像使用数、最低消費電力及び優先度を示す図である。 ドローンの移動速度及び許容処理遅延の関係を示す図である。 自己位置推定処理及び障害物停止処理におけるそれぞれの画像使用数及び処理遅延量の関係を示す図である。 自己位置推定処理及び障害物停止処理におけるそれぞれの最低画像使用数、最低処理遅延及び優先度を示す図である。 最終的な画像上限数が設定されるときの一例を示す図である。 比較例に係るドローンを示す図であり、前回の画像情報（過去フレーム）と、対応するカメラでの今回の画像情報（現在フレーム）との間のオーバーラップ率を示す図である。 比較例に係るドローンを示す図であり、カメラ及び被写体との間の距離を示す図である。 比較例に係るドローンを示す図であり、カメラにより特徴点の少ない被写体を撮像しているときの様子を示す図である。 自己位置推定有用性判定部の処理を示すフローチャートである。 障害物停止有用性判定部の処理を示すフローチャートである。 ドローンの動きの一例を示す図であり、予測速度ベクトル、及び所定範囲の一例を示す側面図である。 ドローンの動きの一例を示す図であり、予測速度ベクトル、及び所定範囲の一例を示す上面図である。 ドローンの動きの他の例を示すであり、予測速度ベクトル、及び所定範囲における他の例を示す側面図である。 ユーザに提示されるＵＩの一例を示す図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

≪第１実施形態≫
＜全体構成及び各部の構成＞
図１は、本技術の第１実施形態に係るドローン１０を示す図である。

なお、本実施形態の説明では、移動体の一例としてドローン１０を例に挙げて説明するが、移動体は、例えば、掃除ロボット、救助用ロボット、車両等であっても構わない。典型的には、移動体は、自律移動可能な装置であればどのような装置であっても構わない。

ドローン１０は、ドローン本体１１と、ドローン本体１１に設けられた１又は複数の回転翼１２とを含む。ドローン１０は、回転翼１２の駆動の制御により、前後左右方向への移動、昇降動作、旋回動作等の各種の動作が可能とされている。

図２は、ドローン１０の内部構成を示すブロック図である。図２に示すように、ドローン１０は、制御部１３と、センサ部１４と、回転翼駆動部１５と、記憶部１６と、通信部１７とを含む。

制御部１３は、記憶部１６に記憶された各種のプログラムに基づき種々の演算を実行し、ドローン１０の各部を統括的に制御する。

制御部１３は、ハードウェア、又は、ハードウェア及びソフトウェアの組合せにより実現される。ハードウェアは、制御部１３の一部又は全部として構成され、このハードウェアとしては、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＶＰＵ（Vision Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）、あるいは、これらのうち２以上の組合せなどが挙げられる。

センサ部１４は、各種のセンサを含む。なお、センサ部１４の詳細については、後述の図３を参照して詳述する。

回転翼駆動部１５は、例えば、モータであり、制御部１３の制御に応じて回転翼１２を駆動させる。

記憶部１６は、制御部１３の処理に必要な各種のプログラムや、各種のデータが記憶される不揮発性のメモリと、制御部１３の作業領域として用いられる揮発性のメモリとを含む。

なお、上記各種のプログラムは、光ディスク、半導体メモリなどの可搬性の記録媒体から読み取られてもよいし、ネットワーク上のサーバ装置からダウンロードされてもよい。

通信部１７は、例えば、ドローン１０の飛行を制御するためのコントローラ（不図示）や、ネットワーク上のサーバ装置等との間で通信可能に構成されている。

［制御部１３及びセンサ部１４］
図３は、制御部１３及びセンサ部１４の構成を示すブロック図である。

図３に示すように、制御部１３は、画像上限数設定部２１、画像選択部２２、自己位置予測部２５、障害物停止判定部２６、自己位置推定部２７、及び駆動制御部２８を有している。また、センサ部１４は、ＩＭＵ３１（Inertial Measurement Unit）、ＧＰＳ３２、気圧計３３、地磁気センサ３４及び６台のステレオカメラ３５（撮像部）を有している。

ＩＭＵ３１は、直交する３軸方向の加速度を検出する加速度センサと、３軸回りの角速度を検出する角速度センサとを含む。ＩＭＵ３１は、検出した加速度情報及び角速度情報を自己位置予測部２５に対して出力する。

ＧＰＳ３２は、複数のＧＰＳ衛星からの信号に基づき、ＧＰＳ位置情報（グローバル座標系におけるドローン１０の自己位置）を生成し、ＧＰＳ位置情報を自己位置推定部２７へと出力する。

気圧計３３は、気圧を測定し、この気圧情報をドローン１０の高度の情報として自己位置推定部２７へと出力する。地磁気センサ３４は、地磁気を検出し、この地磁気の情報をドローン１０の向き及び姿勢の情報として自己位置推定部２７へと出力する。

６台のステレオカメラ３５は、それぞれ異なる方向を撮像可能とされており、それぞれ、ドローン１０の前側、後側、上側、下側、左側、右側を撮像可能とされている。６台のステレオカメラ３５は、同期して所定の周期で撮像を繰り返し、撮像により得られた画像情報をそれぞれ障害物停止判定部２６及び自己位置推定部２７へと出力する。

なお、本実施形態では、撮像部としてステレオカメラ３５が用いられているので、各撮像部（ステレオカメラ３５）は、それぞれ２枚で１セットの画像情報を取得する。一方、撮像部は、ステレオカメラ３５に限られず、１枚の画像を撮像する通常のカメラが用いられてもよい。また、撮像部の数は、６台に限られず適宜変更することができる。

画像上限数設定部２１は、所定の条件（バッテリー残量、移動速度等：詳細後述）に基づき、自己位置推定処理に用いられる画像情報（センサ情報）の数に対する上限値（以下、自己位置推定用の画像上限数：第１の上限値又は第２の上限値）を設定する。

また、画像上限数設定部２１は、所定の条件（バッテリー残量、移動速度等）に基づき、障害物停止処理に用いられる画像情報（センサ情報）の数に対する上限値（以下、障害物停止用の画像上限数：第１の上限値又は第２の上限値）を設定する。また、画像上限数設定部２１は、設定された自己位置推定用の画像上限数と、障害物停止用の画像上限数とを画像選択部２２へと出力する。

なお、本実施形態では、自己位置推定用の画像上限数は、１セット、２セット、３セット、・・６セットのうちいずれかである。また、障害物停止用の画像上限数は、３セット、４セット、５セット、６セットのうちいずれかである。ここで、障害物停止処理に用いられる画像情報を少なくしすぎると、障害物停止処理が適切に行えない可能性があるので、本実施形態では、障害物停止用の画像上限数は、３セット以上とされている。

ここで、本実施形態では、上限数が設定されるセンサ情報の一例として画像情報が挙げられている。一方、上限数が設定されるセンサ情報は、画像情報、加速度情報、角速度情報、ＧＰＳ位置情報、気圧情報、地磁気情報、あるいは、これらの組み合わせであってもよい。

画像選択部２２は、６台のステレオカメラ３５で撮像された６セットの画像情報のうちどのステレオカメラ３５で撮像された画像情報を、自己位置推定処理及び障害物停止処理で使用すれば有用であるか（有用性）を判定し、その有用性に基づき、実際に使用される画像情報を選択する。

画像選択部２２は、自己位置推定有用性判定部２４及び障害物停止有用性判定部２３を有している。

自己位置推定有用性判定部２４は、６台のステレオカメラ３５で撮像された６セットの画像情報のうちどのステレオカメラ３５で撮像された画像情報を、自己位置推定処理で使用すれば有用であるか（有用性）を判定し、その有用性に基づき、実際に使用される画像情報を選択する。なお、選択される画像情報の数（セット数）は、自己位置推定用の画像上限数以内の数とされる。また、自己位置推定有用性判定部２４は、選択された画像情報の識別情報（実際にどの画像情報を自己位置推定処理において使用するかの識別情報）を自己位置推定部２７へと出力する。

障害物停止有用性判定部２３は、６台のステレオカメラ３５で撮像された６セットの画像情報のうちどのステレオカメラ３５で撮像された画像情報を、障害物停止処理で使用すれば有用であるか（有用性）を判定し、その有用性に基づき、実際に使用される画像情報を選択する。なお、選択される画像情報の数（セット数）は、障害物停止用の画像上限数以内の数とされる。また、障害物停止有用性判定部２３は、選択された画像情報の識別情報（実際にどの画像を障害物停止処理において使用するかの識別情報）を障害物停止判定部２６へと出力する。

自己位置予測部２５は、今回の（現在の）加速度情報及び角速度情報から、位置、姿勢、速度の変化量を求める。そして、自己位置予測部２５は、求められた変化量を、自己位置推定部２７による前回の（過去の）推定結果（推定位置、推定姿勢及び推定速度）に対して加算し、ドローン１０の現在における位置、姿勢及び速度を予測する。また、自己位置予測部２５は、予測されたドローン１０の位置、姿勢及び速度の情報を、自己位置推定部２７、画像上限数設定部２１及び画像選択部２２へと出力する。

自己位置推定部２７は、例えば、ＳＬＡＭ等の各種の方法を用いて自己位置推定処理を実行する。具体的には、自己位置推定部２７は、６台のステレオカメラ３５で撮像された６セット全ての画像情報の内、画像選択部２２よって選択された画像情報に基づき、ドローン１０の自己位置、姿勢及び速度を推定する。このとき、自己位置推定部２７は、今回の画像情報の特徴点と、対応する前回の画像情報の特徴点との差分から、位置、姿勢、速度の変化量を求める。そして、自己位置推定部２７は、求められた変化量を前回の推定位置、推定姿勢、推定速度に加算して、自己位置、姿勢及び速度を算出する。

画像情報に基づく自己位置、姿勢、速度は、ＧＰＳ３２からの位置情報、気圧計３３からの高度情報、地磁気センサ３４からの姿勢情報と統合され、また、自己位置予測部２５から得られる予測位置、予測姿勢、予測速度と統合される。これにより、最終的な現在の自己位置、姿勢、速度が求められる。なお、上述の統合には、拡張カルマンフィルタ等が用いられる。

また、自己位置推定部２７は、推定された自己位置、姿勢及び速度を、障害物停止判定部２６及び駆動制御部２８へと出力する。

障害物停止判定部２６は、障害物停止処理（障害物非衝突処理：ドローン１０が障害物に衝突しないように、ドローン１０を停止、ドローン１０の速度を落とす、障害物を避ける動きをドローン１０にさせる等の処理）を実行する。

具体的には、障害物停止部は、６台のステレオカメラ３５で撮像された６セット全ての画像情報の内、画像選択部２２よって選択された画像情報に基づき、障害物となり得る被写体及びドローン１０の間の距離（デプス）を算出する。また、障害物停止判定部２６は、自己位置推定部２７で推定された自己位置、姿勢、速度に基づき、障害物に対して近づいているかどうか、並びに、障害物に近づいている速度等を判定する。

そして、障害物判定部は、所定の閾値以上の速度で、所定の閾値以下の距離の障害物に近づいている場合、ドローン１０を停止させるべき（あるいは、速度を落とすべき、障害物を避ける動きをすべき）であると判定し、この判定結果を駆動制御部２８へと出力する。

駆動制御部２８は、自己位置推定部２７から入力されるドローン１０の推定位置、推定姿勢、推定速度に基づき、ドローン１０が飛行経路（例えば、コントローラから入力される）に沿って正確に飛行するように、回転翼１２の駆動を制御する。また、駆動制御部２８は、障害物停止判定部２６の判定結果に基づき、必要に応じてドローン１０を停止させる（あるいは、速度を落とす、障害物を避ける動きをさせる）ように、回転翼１２の駆動を制御する。

＜動作説明＞
次に、制御部１３の処理について説明する。

「画像上限数の設定」
制御部１３の処理の説明においては、まず、画像上限数設定部２１による、自己位置推定用の画像上限数、及び障害物停止用の画像上限数の設定について説明する。図４は、画像上限数の設定に関する処理を示すフローチャートである。

［バッテリー残量に基づく画像上限数の候補の決定］
まず、ステップ１０１～ステップ１０４を参照して、バッテリー残量に基づく画像上限数の候補の決定について説明する。

まず、画像上限数設定部２１は、バッテリー残量の情報を取得し、また、消費電力モードを確認する（ステップ１０１）。消費電力モードにおいては、通常の消費電力でドローン１０の飛行を行う通常電力モード（省電力モードＯＦＦ）と、通常の消費電よりも低い消費電力でドローン１０の飛行を行う省電力モード（省電力モードＯＮ）とが用意されている。

次に、画像上限数設定部２１は、バッテリー残量及び消費電力モードに基づき、使用可能消費電力を算出する（ステップ１０２）。ここで、本実施形態において使用可能消費電力とは、自己位置推定処理及び障害物停止処理（障害物非衝突処理）において使用可能な消費電力を意味する。なお、バッテリー残量、消費電力モード及び使用可能消費電力の関係は、予め設定された設定データとして記憶部１６に記憶されている。

図５は、バッテリー残量、消費電力モード及び使用可能消費電力の関係を示す図である。図５に示すように、通常電力モード（省電力モードＯＦＦ）の場合において、バッテリー残量が１００％以下～７５％以上、７５％未満～５０％以上、５０％未満～２５％以上、２５％未満であるとき、使用可能消費電力は、それぞれ、６［ｗ］、４．５［ｗ］、３［ｗ］、２［ｗ］とされている。

一方、省電力モード（省電力モードＯＮ）の場合、使用可能消費電力は、バッテリー残量がどの値であっても共通で２［ｗ］とされている。

使用可能消費電力を算出すると、次に、画像上限数設定部２１は、使用可能消費電力から最低消費電力を減算する（ステップ１０３）。

図７は、自己位置推定処理及び障害物停止処理におけるそれぞれの最低画像使用数、最低消費電力及び優先度を示す図である。なお、自己位置推定処理及び障害物停止処理におけるそれぞれの最低画像使用数、最低消費電力及び優先度は、予め設定された設定データとして記憶部１６に記憶されている。

ここで、本実施形態において、最低画像使用数とは、自己位置推定処理、障害物停止処理においてそれぞれ使用される画像数（セット数）の上限値（自己位置推定用の画像上限数、障害物停止用の画像上限数）における最低限の数である。

図７に示すように、本実施形態では、最低画像使用数は、自己位置推定において１セット（１台のステレオカメラ３５によって撮像された１セットの画像）とされており、障害物停止処理において３セット（３台のステレオカメラ３５によって撮像された３セットの画像）とされている。つまり、自己位置推定用の画像上限数は、最低で１セットとされており、障害物停止用の画像上限数は、最低で３セットとされている。

図７には、最低画像使用数に対応して最低消費電力が表されている。最低消費電力とは、自己位置推定処理及び障害物停止処理において、最低限必要とされる消費電力を意味する。

図７では、自己位置推定処理における最低画像使用数（自己位置推定用の画像上限数の最低値）が１セットとされているので、自己位置推定処理における最低消費電力は、０．５［ｗ］とされている。また、図７では、障害物停止処理における最低画像使用数（自己位置推定用の画像上限数の最低値）が３セットとされているので、障害物停止処理における最低消費電力は、１．５［ｗ］とされている。なお、ここでの例では、自己位置推定処理、障害物停止処理において、使用される画像のセット数が１増える度に、消費電力が０．５ｗずつ増える例が挙げられている。

ここで、ステップ１０３では、使用可能消費電力から、自己位置推定処理の最低消費電力（０．５ｗ）及び障害物停止処理の最低消費電力（１．５ｗ）の合計値（２ｗ）が減算される。

使用可能消費電力から、最低消費電力を減算すると、次に、画像上限数設定部２１は、ステップ１０４へ進む。ステップ１０４では、画像上限数設定部２１は、残りの使用可能電力に基づき、優先度順に画像上限数の候補を決定する。

図７の右側には、自己位置推定処理及び障害物停止処理の優先度が記載されている。本実施形態では、自己位置推定処理の優先度が１とされ、障害物停止処理の優先度が２とされている。なお、優先度１は、優先度２よりも優先度が高いことを意味しており、従って、本実施形態では、自己位置推定処理は、障害物停止処理よりも優先度が高い。

図６は、自己位置推定処理及び障害物停止処理におけるそれぞれの画像使用数及び消費電力の関係を示す図である。なお、自己位置推定処理及び障害物停止処理におけるそれぞれの画像使用数及び消費電力の関係は、予め設定された設定データとして記憶部１６に記憶されている。

図６に示すように、本実施形態では、自己位置推定処理において使用される画像数が、１セット、２セット、・・・６セットの場合、消費電力は、０．５［ｗ］、１［ｗ］、・・・３［ｗ］となる。また、障害物停止処理において使用される画像数が、１セット、２セット、・・・６セットの場合、消費電力は、０．５［ｗ］、１［ｗ］、・・・３［ｗ］となる。つまり、自己位置推定処理及び障害物停止処理では、使用される画像のセット数が１増える度に、消費電力が０．５ｗずつ増える。

ステップ１０４では、使用可能消費電力から、上記合計値（２［ｗ］）を減算した残りの電力を、優先度に応じて自己位置推定処理及び障害物停止処理に割り当て（画像１セット毎に２ｗ必要）、画像上限数（候補）を増やすといった処理が実行される。

ステップ１０１～１０４の処理について一例を挙げて具体的に説明する。まず、通常電力モード（省電力モードＯＦＦ）において、バッテリー残量が７５％未満～５０％以上である場合を想定する。

この場合、使用可能消費電力は、４．５ｗとなる（ステップ１０２）（図５参照）。そして、この使用可能消費電力４．５［ｗ］から、自己位置推定処理の最低消費電力（０．５［ｗ］）及び障害物停止処理の最低消費電力（１．５［ｗ］）の合計値である２［ｗ］（図７の中央参照）が減算される（ステップ１０３）。つまり、残りの使用可能消費電力は、４．５－２＝２．５［ｗ］である。このとき、自己位置推定用の画像上限数は、１セット（最低画像使用数）であり、障害物停止用の画像上限数（最低画像使用数）は、３セットである（図７の左側参照）。

残りの使用可能電力２．５［ｗ］は、優先度（図７の右側参照）に従って、自己位置推定処理及び障害物停止処理に割り当てられる。このとき、自己位置推定処理及び障害物停止処理において、使用される画像が１セット増えるごとに０．５［ｗ］必要であることが考慮される（図６参照）。

なお、本実施形態では、残りの使用可能消費電力は、優先度が高い自己位置推定処理で使用される画像数（セット数）が最大の６セットに達するまでは、自己位置推定処理に優先的に割り当てられる。

従って、この例の場合、残りの２．５［ｗ］は、全て自己位置推定処理に用いられる電力として用いられる。つまり、残りの２．５［ｗ］において新たに割り当てられる自己位置推定用の画像上限数は、２．５［ｗ］／５＝５セットとなり、新たに割り当てられる障害物停止用の画像上限数は、０セットである。

ここで、自己位置推定処理においては、画像上限数について既に１セットの割り当てがある（最低画像使用数：図７の左側参照）ので、自己位置推定用の画像上限数は、合計（１＋５）で６セットとなる。また、障害物停止処理においては、画像上限数について既に３セットの割り当てがある（最低画像使用数：図７の左側参照）ので、自己位置推定用の画像上限数は、合計（３＋０）で３セットとなる。

なお、ここでの例では、残りの使用可能電力が、優先度が高い自己位置推定における画像上限数が最大値（６セット）に達するまで、自己位置推定に対して割り当てられる場合について説明したが、これに限られない。例えば、残りの使用可能電力を、自己位置推定処用の画像上限値に２セット（１［ｗ］）割り当てる度に、障害物停止用の画像上限数に１セット（０．５［ｗ］）割り当てるようなことも可能である。

以上説明した処理により、バッテリー残量に基づく画像上限数の候補が、自己位置推定処理及障害物停止処理においてそれぞれ決定される。

［移動速度に基づく画像上限数の候補の決定］
次に、ステップ１０５～ステップ１０８を参照して、ドローン１０の移動速度に基づく画像上限数の候補の決定について説明する。

まず、画像上限数設定部２１は、自己位置予測部２５によって予測されたドローン１０の現在における移動速度を、自己位置予測部２５から取得する（ステップ１０５）。次に、画像上限数設定部２１は、ドローン１０の現在の速度に基づき、許容処理遅延を算出する（ステップ１０６）。

ここで、本実施形態において許容処理遅延とは、自己位置推定処理及び障害物停止処理（障害物非衝突処理）において許容され得る処理時間の遅延量を意味する。本実施形態では、自己位置推定部２７による自己位置推定処理の後、自己位置推定の結果に基づき、障害物停止判定部２６による障害物停止判定が行われる。従って、許容処理遅延は、自己位置推定処理において許容される遅延時間と、障害物判定処理において許容される遅延時間との合計値である。なお、ドローン１０の移動速度と許容処理遅延との関係は、予め設定された設定データとして記憶部１６に記憶されている。

図８は、ドローン１０の移動速度及び許容処理遅延の関係を示す図である。図８に示すように、ドローン１０の移動速度が、２０［ｍ／ｓ］以下～１５［ｍ／ｓ］以上、１５［ｍ／ｓ］未満～１０［ｍ／ｓ］以上、１０［ｍ／ｓ］未満～５［ｍ／ｓ］以上、５［ｍ／ｓ］未満であるとき、許容処理遅延は、それぞれ、１００［ｍｓ］、１２０［ｍ／ｓ］、１６０［ｍ／ｓ］、２２０［ｍ／ｓ］とされている。

許容処理遅延を算出すると、次に、画像上限数設定部２１は、許容処理遅延から最低処理遅延を減算する（ステップ１０７）。

図１０は、自己位置推定処理及び障害物停止処理におけるそれぞれの最低画像使用数、最低処理遅延及び優先度を示す図である。なお、自己位置推定処理及び障害物停止処理におけるそれぞれの最低画像使用数、最低処理遅延及び優先度は、予め設定された設定データとして記憶部１６に記憶されている。

図１０に示すように、最低画像使用数は、自己位置推定において１セット（１台のステレオカメラ３５によって撮像された１セットの画像）とされており、障害物停止処理において３セット（３台のステレオカメラ３５によって撮像された３セットの画像）とされている。つまり、自己位置推定用の画像上限数は、最低で１セットとされており、障害物停止用の画像上限数は、最低で３セットとされている。

図１０には、最低画像使用数に対応して最低処理遅延が表されている。最低処理遅延とは、自己位置推定処理及び障害物停止処理において、最低限必要とされる処理時間の遅延量を意味する。

図１０では、自己位置推定処理における最低画像使用数（自己位置推定用の画像上限数の最低値）が１セットとされているので、自己位置推定処理における最低処置遅延は、１５［ｍｓ］とされている。また、図１０では、障害物停止処理における最低画像使用数（自己位置推定用の画像上限数の最低値）が３セットとされているので、障害物停止処理における最低処理遅延は、４５［ｍｓ］とされている。なお、ここでの例では、自己位置推定処理、障害物停止処理において、使用される画像のセット数が１増える度に、処理遅延が１５［ｍｓ］ずつ増える例が挙げられている。

ここで、ステップ１０７では、移動速度に基づく許容処理遅延から、自己位置推定処理の最低処置遅延（０１５［ｍｓ］）及び障害物停止処理の最低処置遅延（４５［ｍｓ］）の合計値（６０［ｍｓ］）が減算される。

許容処理遅延から最低処置遅延を減算すると、次に、画像上限数設定部２１は、ステップ１０８へ進む。ステップ１０８では、画像上限数設定部２１は、残りの許容処理遅延に基づき、優先度順に画像上限数の候補を決定する。

図１０の右側には、自己位置推定処理及び障害物停止処理の優先度が記載されている。本実施形態では、自己位置推定処理の優先度が１とされ、障害物停止処理の優先度が２とされている。なお、優先度１は、優先度２よりも優先度が高いことを意味しており、従って、本実施形態では、自己位置推定処理は、障害物停止処理よりも優先度が高い。

図９は、自己位置推定処理及び障害物停止処理におけるそれぞれの画像使用数及び処理遅延量の関係を示す図である。なお、画像使用数及び処理遅延量の関係は、予め設定された設定データとして記憶部１６に記憶されている。

図９に示すように、本実施形態では、自己位置推定処理において使用される画像数が、１セット、２セット、・・・６セットの場合、処理遅延量は、１５［ｍｓ］、３０［ｍｓ］、・・・９０［ｍｓ］となる。また、障害物停止処理において使用される画像数が、１セット、２セット、・・・６セットの場合、処理遅延量は、１５［ｍｓ］、３０［ｍｓ］、・・・９０［ｍｓ］となる。つまり、自己位置推定処理及び障害物停止処理では、使用される画像のセット数が１増える度に、処理遅延量が１５［ｍｓ］ずつ増える。

ステップ１０８では、許容処理遅延から、上記合計値（６０［ｍｓ］）を減算した残りの許容処理遅延を、優先度に応じて自己位置推定処理及び障害物停止処理に割り当て（画像１セット毎に１５［ｍｓ］必要）、画像上限数（候補）を増やすといった処理が実行される。

ステップ１０５～１０８の処理について一例を挙げて具体的に説明する。今、ドローン１０の移動速度が２０［ｍ／ｓ］以下～１５［ｍ／ｓ］以上であるとする。

この場合、許容処理遅延は、１００［ｍ／ｓ］となる（ステップ１０６）（図８参照）。そして、この許容処理遅延１００［ｍ／ｓ］から、自己位置推定処理の最低処理遅延（１５［ｍ／ｓ］）及び障害物停止処理の最低処理遅延（４５［ｍ／ｓ］）の合計値である６０［ｍ／ｓ］（図１０の中央参照）が減算される（ステップ１０７）。つまり、残りの許容処理遅延は、１００－６０＝４０［ｍ／ｓ］である。このとき、自己位置推定用の画像上限数は、１セット（最低画像使用数）であり、障害物停止用の画像上限数（最低画像使用数）は、３セットである（図１０の左側参照）。

残りの許容処置遅延４０［ｍ／ｓ］は、優先度（図１０の右側参照）に従って、自己位置推定処理及び障害物停止処理に割り当てられる。このとき、自己位置推定処理及び障害物停止処理において、使用される画像が１セット増えるごとに１５［ｍ／ｓ］必要であることが考慮される（図９参照）。

なお、本実施形態では、残りの許容処理遅延は、優先度が高い自己位置推定処理で使用される画像数（セット数）が最大の６セットに達するまでは、自己位置推定処理に優先的に割り当てられる。

従って、この例の場合、残りの４０［ｍ／ｓ］は、全て自己位置推定処理に用いられる時間として用いられる。つまり、残りの４０［ｍ／ｓ］において新たに割り当てられる自己位置推定用の画像上限数は、４０［ｍｓ］／１５［ｍｓ］＝２セット（余り１０［ｍｓ］）となり、新たに割り当てられる障害物停止用の画像上限数は、０セットである。

ここで、自己位置推定処理においては、画像上限数について既に１セットの割り当てがある（最低画像使用数：図１０の左側参照）ので、自己位置推定用の画像上限数は、合計（１＋２）で３セットとなる。また、障害物停止処理においては、画像上限数について既に３セットの割り当てがある（最低画像使用数：図１０の左側参照）ので、自己位置推定用の画像上限数は、合計（３＋０）で３セットとなる。

なお、ここでの例では、残りの許容処理遅延が、優先度が高い自己位置推定における画像上限数が最大値（６セット）に達するまで、自己位置推定に対して割り当てられる場合について説明したが、これに限られない。例えば、残りの許容処理遅延を、自己位置推定処用の画像上限値に２セット（３０［ｍ／ｓ］）割り当てる度に、障害物停止用の画像上限数に１セット（１５［ｍ／ｓ］）割り当てるようなことも可能である。

以上説明した処理により、ドローン１０の移動速度に基づく画像上限数の候補が、自己位置推定処理及障害物停止処理においてそれぞれ決定される。

［最終的な画像上限数の設定］
次に、ステップ１０９及び１１０を参照して、最終的な画像上限数の設定について説明する。

まず、画像上限数設定部２１は、バッテリー残量に基づく、自己位置推定用の画像上限数の候補（第１の候補又は第２の候補）と、ドローン１０の移動速度に基づく、自己位置推定用の画像上限数の候補（第１の候補又は第２の候補）とを比較する（ステップ１０９）。そして、この２つの候補のうち、小さい方の値を、最終的な自己位置推定用の画像上限数として設定する（ステップ１１０）。

同様に、画像上限数設定部２１は、バッテリー残量に基づく、障害物停止用の画像上限数の候補（第１の候補又は第２の候補）と、ドローン１０の移動速度に基づく、障害物停止用の画像上限数の候補（第１の候補又は第２の候補）とを比較する（ステップ１０９）。そして、この２つの候補のうち、小さい方の値を、最終的な障害物停止用の画像上限数として設定する（ステップ１１０）。

ステップ１０９～１１０の処理について一例を挙げて具体的に説明する。図１１は、最終的な画像上限数が設定されるときの一例を示す図である。

バッテリー残量が７５％未満～５０％以上である場合、上述のように、バッテリー残量に基づく、自己位置推定用の画像上限数の候補は、６セットである。また、ドローン１０の移動速度が２０［ｍ／ｓ］以下～１５［ｍ／ｓ］以上である場合、ドローン１０の移動速度に基づく、自己位置推定用の画像上限数の候補は、３セットである。従って、小さい方の値である３セットが、最終的な自己位置推定用の画像上限数として設定される。

また、バッテリー残量が７５％未満～５０％以上である場合、上述のように、バッテリー残量に基づく、障害物停止用の画像上限数の候補は、３セットである。また、ドローン１０の移動速度が２０［ｍ／ｓ］以下～１５［ｍ／ｓ］以上である場合、ドローン１０の移動速度に基づく、障害物停止用の画像上限数の候補は、３セットである。従って、小さい方の値である３セットが、最終的な障害物用の画像上限数として設定される。

ここで、本実施形態では、自己位置推定用の画像上限数及び障害物停止用の画像上限数の両方が設定される場合について説明した。一方、自己位置推定用の画像上限数及び障害物停止用の画像上限数のうち、一方のみが設定されてもよい。

また、本実施形態では、自己位置推定用の画像上限数及び障害物停止用の画像上限数が、バッテリー残量（使用可能消費電力）及びドローン１０の移動速度（許容処理遅延）の両方に基づいて設定される場合について説明した。一方、自己位置推定用の画像上限数及び障害物停止用の画像上限数は、バッテリー残量及びドローン１０の移動速度のうち一方に基づいて設定されてもよい。

「実際に使用される画像の選択」
次に、画像選択部２２が、自己位置推定用の画像として実際に使用される画像をどのようにして画像上限数内の数で選択するか、並びに、障害物停止用の画像として実際に使用される画像をどのようにして画像上限数内の数で選択するかについて説明する。

［自己位置推定処理で使用される画像の選択］
まず、自己位置推定有用性判定部２４が、自己位置推定用の画像として実際に使用される画像をどのようにして画像上限数内の数で選択するかについて説明する。典型的には、自己位置推定有用性判定部２４は、６台のステレオカメラ３５で撮像された６セットの画像情報のうちどの画像を自己位置推定処理において用いれば有用であるか（有用性）についての判断を行い、有用性の高い画像情報を優先的に選択するといった処理を実行する。

（有用性の判断基準）
次に、自己位置推定処理における有用性の判断基準について説明する。

１．オーバーラップ率
図１２は、比較例に係るドローン１を示す図であり、前回の画像情報（過去フレーム）と、対応するカメラでの今回の画像情報（現在フレーム）との間のオーバーラップ率を示す図である。

図１２に示す例では、ドローン１の下側、右側、左側の３台のカメラが搭載されており、その３台のカメラがラウンドロビン（時間で順番に撮像を行う方式）で撮像を行うときの様子が示されている。また、この方法では、例えば、ぞれぞれのカメラの画像情報から求められたそれぞれの自己位置推定結果が、拡張カルマンフィルタなどよって統合される。

図１２では、ドローン１が、被写体である床の近くを床に対して平行に高速で移動している。この場合、下側のカメラは、時刻ｔ１及び時刻ｔ４において被写体である床を撮像することになる。しかし、時刻ｔ１及び時刻ｔ４において下側のカメラの視野角はオーバーラップしていない。このため、時刻ｔ１において撮像された前回の画像情報と、時刻ｔ４において撮像された今回の画像情報とでは、少なくとも部分的に同じ領域が撮像されていない（オーバーラップしていない）ので、自己位置推定処理におけるトラッキングを行うことができない。

つまり、前回の画像情報及び対応する今回の画像情報におけるオーバーラップ率（どの程度同じ領域が撮像されているかの割合）が低い画像情報については、自己位置推定処理に用いられてもあまり意味をなさないので、有用性が相対的に低い。逆に、オーバーラップ率が高い画像情報については、自己位置推定処理に用いられる意義が高いので、有用性が相対的に高い。

２．ドローン１と被写体との間の距離
図１３は、比較例に係るドローン１を示す図であり、カメラ及び被写体との間の距離を示す図である。図１３に示す例では、右側のカメラと、被写体である壁との間の距離が遠い。このように、遠方を撮像した画像情報に基づいて自己位置推定処理を行ってしまうと、自己位置推定の精度に悪影響を与えてしまう。

つまり、カメラ及び被写体の間の距離が遠い状態で撮像された画像情報については、有用性が相対的に低い。逆に、カメラ及び被写体の間の距離が近い状態で撮像された画像情報については、有用性が相対的に高い。

３．特徴点の数
図１４は、比較例に係るドローン１を示す図であり、カメラにより特徴点の少ない被写体を撮像しているときの様子を示す図である。図１４に示す例では、右側のカメラにより、例えば、真っ白な壁等の特徴点の少ない被写体が撮像されている。

ここで、自己位置推定処理においては、前回の画像情報の特徴点と、対応する今回の画像情報の特徴点との差分から自己位置推定を行っている。従って、特徴点の少ない画像情報（テクスチャレス）に基づいて自己位置推定処理を行ってしまうと、自己位置推定処理の精度に悪影響を与えてしまう。

つまり、特徴点が少ない画像情報については、有用性が相対的に低い。逆に、特徴点が多い画像情報については、有用性が相対的に高い。

４．動物体の占有率
画像情報内には、動いている人、動物、車、風で揺れる木等の各種の動物体が被写体として映り込む場合がある。画像情報内において動いている動物体が映り込んでいると、例えば、動物体が動いたためにドローン１０が動いたように見えたのか、ドローン１０自体が動いたのかの判断がつかないといった状況が発生し得る。従って、動物体の占有率が高い画像情報に基づいて自己位置推定処理を行ってしまうと、自己位置推定処理の精度に悪影響を与えてしまう。

つまり、動物体の占有率が高い画像情報については、有用性が相対的に低い。逆に、動物体の占有率が低い画像情報については、有用性が相対的に高い。

自己位置推定有用性判定部２４は、上記した１．オーバーラップ率、２．ドローン１０と被写体との間の距離、３．特徴点の数、４．動物体の占有率のうち、少なくとも１以上の判断基準に基づき、６セットの画像情報についてそれぞれ有用性を判断し、有用性の高い画像情報を優先的に自己位置推定処理に用いる画像として選択する。なお、選択される画像情報のセット数は、自己位置推定用の画像上限数を限度とされる。

（自己位置推定有用性判定部２４の処理）
次に、自己位置推定有用性判定部２４の処理について具体的に説明する。図１５は、自己位置推定有用性判定部２４の処理を示すフローチャートである。なお、図１５に示す例では、上述の１．２．３．４．の判断基準の全てが有用性の判断において用いられる場合の一例が示されている。

まず、自己位置推定有用性判定部２４は、６セットの画像情報について、それぞれ、前回の画像情報（過去フレーム）と、対応する今回の画像情報との間のオーバーラップ率を計算する（ステップ２０１）。オーバーラップ率は、例えば、自己位置予測部からの１時刻前の自己位置、姿勢と、現時刻の自己位置、姿勢等から求めることができる。次に、自己位置推定判定部は、６セットの画像情報について、それぞれ、オーバーラップ率が所定の閾値以上であるかどうかを判定する（ステップ２０２）。

次に、自己位置推定有用性判定部２４は、６セットの画像情報のうち、オーバーラップ率が所定の閾値以上の画像情報を、オーバーラップ率が高い順にソートする（ステップ２０３）。

次に、自己位置推定有用性判定部２４は、ドローン１０の全周囲についてドローン１０と被写体との間の距離（デプス）を取得する（ステップ２０４）。このデプスの情報は、ステレオカメラ３５の画像情報に基づく情報であってもよいし、ステレオカメラ３５以外のデプスセンサ（ＴｏＦ（Time of Flight）、ＬＩＤＡＲ（Light Detection and Ranging）、ソナー等）からの情報に基づく情報であってもよい（この場合は、ステレオカメラ３５以外のデプスセンサがドローン１０に設けられる）。

次に、自己位置推定有用性判定部２４は、ドローン１０と被写体との間の距離を、各ステレオカメラ３５と被写体との間の距離に変換する（ステップ２０５）。次に、自己位置推定有用性判定部２４は、各ステレオカメラ３５と被写体との距離を統計値で近似（平均化）して、各ステレオカメラ３５からの被写体距離を求める（ステップ２０６）。

次に、自己位置有用性判定部は、６台のステレオカメラ３５について、それぞれ、被写体距離が所定の閾値以下であるかどうかを判定する（ステップ２０７）。

次に、自己位置推定有用性判定部２４は、６台のステレオカメラ３５による６セットの画像情報のうち、被写体距離が所定の閾値以下のステレオカメラ３５によって撮像された画像情報を、被写体距離が近い順にソートする（ステップ２０８）。

次に、自己位置推定有用性判定部２４は、６セットの画像情報から、それぞれ、特徴点を抽出する（ステップ２０９）。次に、自己位置推定有用性判定部２４は、各画像情報上の動物体の領域をマスク（除外）する（ステップ２１０）。次に、自己位置推定有用性判定部２４は、動物体の領域が除外されたマスク後の各画像情報における特徴点をカウントする（ステップ２１１）。

次に、自己位置推定有用性判定部２４は、６セットの画像情報について、マスク後の特徴点の数が所定の閾値以上であるかどうかを判定する（ステップ２１２）。次に、自己位置推定有用性判定部２４は、６セットの画像情報のうち、マスク後の特徴点数が所定の閾値以上の画像情報を、特徴点数が多い順にソートする（ステップ２１３）。

次に、自己位置推定有用性判定部２４は、ステップ２０３、２０８、２１３でのソート結果に対して、それぞれ重み係数を乗算し、６セットの画像情報についてそれぞれスコアを算出する（ステップ２１４）。ここで、重み係数は、オーバーラップ率、被写体距離、特徴点数、動物体占有率等の有用性の判断基準の重要性を考慮して設定される値である。例えば、オーバーラップ率が被写体距離よりも有用性の判断基準として重要である場合、オーバーラップ率の重み係数は、被写体距離の重み係数よりも重くされる。

次に、自己位置推定有用性判定部２４は、６セットの画像情報にそれぞれ付けられたスコアと、自己位置推定用の画像上限数とに基づき、自己位置推定処理において実際に使用される画像を決定する（ステップ２１５）。そして、自己位置有用性判定部は、決定された使用画像の識別情報を自己位置推定部２７へと出力する。

（１）ステップ２１５では、例えば、自己位置推定有用性判定部２４は、スコアが高い画像情報を、自己位置推定用の画像上限数に対応する数で選択するといった処理を実行する。例えば、スコアが高い順に、前側、後側、上側、下側、左側、右側の画像情報であり、自己位置推定用の画像上限数が３セットである場合、前側、後側、下側の３セットの画像情報が、自己位置推定用の画像情報として選択される。

（２）また、ステップ２１５では、例えば、自己位置推定有用性判定部２４は、スコアが所定の閾値以上である画像情報を、自己位置推定用の画像上限数内の数で選択するといった処理を実行する。例えば、スコアが高い順に、前側、後側、上側、下側、左側、右側の画像情報であり、スコアが所定の閾値以上である画像情報が前側、後側、上側、下側の４セットの画像情報であるとする。この場合に、自己位置推定用の画像上限数が３セットである場合、前側、後側、下側の３セットの画像情報が、自己位置推定用の画像情報として選択される。また、例えば、スコアが高い順に、前側、後側、上側、下側、左側、右側の画像情報であり、スコアが所定の閾値以上である画像情報が前側、後側の２セットの画像情報であるとする。この場合に、自己位置推定用の画像上限数が３セットである場合、前側、後側の２セットの画像情報が、自己位置推定用の画像情報として選択される。

自己位置推定処理に使用される画像を選択すると、次に、自己位置推定有用性判定部２４は、選択された使用画像が１以上であるかどうかを判定する（ステップ２１６）。なお、上述の（２）の場合、６セットの全ての画像情報のスコアが所定の閾値以下のとき、使用画像が０になる場合がある。

使用画像が１以上である場合（ステップ２１６のＹＥＳ）、自己位置推定部２７は、その使用画像を使用して自己位置推定処理を実行する（ステップ２１７）。一方、使用画像が０である場合（ステップ２１６のＮＯ）、自己位置推定部２７は、今回の自己位置推定処理においては、画像情報を用いないで、ステレオカメラ３５以外のセンサ（ＩＭＵ３１、ＧＰＳ３２、気圧計３３、地磁気センサ３４等）からの情報に基づいて自己位置推定処理を実行する（ステップ２１８）。

［障害物停止処理で使用される画像の選択］
次に、障害物停止有用性判定部２３が、障害物停止用の画像として実際に使用される画像をどのようにして画像上限数内の数で選択するかについて説明する。典型的には、障害物有用性判定部は、６台のステレオカメラ３５で撮像された６セットの画像情報のうちどの画像を障害物停止処理において用いれば有用であるか（有用性）についての判断を行い、有用性の高い画像情報を優先的に選択するといった処理を実行する。

ここで、障害物停止処理における有用性の判断は、ドローン１０の移動方向に関係する方向を撮像するステレオカメラ３５に対応する画像情報の方が、移動方向とは関係がない方向を撮像するステレオカメラ３５に対応する画像情報よりも有用性が高いと判断される。

図１６は、障害物停止有用性判定部２３の処理を示すフローチャートである。まず、障害物停止有用性判定部２３は、自己位置予測部２５から現在の予測速度及び予測姿勢を取得する（ステップ３０１）。

次に、障害物停止有用性判定部２３は、予測速度及び予測姿勢から、ドローン１０における世界座標系での現在の予測速度ベクトルの方向を求め、その予測速度ベクトルに対して所定の角度（ピッチ角α及びヨー角β）を加算して所定範囲を決定する。ここで、所定範囲は、障害物停止用の画像として実際に使用される画像を選択するための判断基準となる角度範囲である。

図１７及び図１８は、それぞれ、ドローン１０の動きの一例を示す図であり、予測速度ベクトル、及び所定範囲の一例を示す側面図及び上面図である。

図１７及び図１８に示す例では、ドローン１０は、左斜め下方向に進んでおり、その予測速度ベクトルは、世界座標系において左斜め下側の方向を向いている。図１７及び図１８では、この左斜め下の方向の予測速度ベクトルに対して、ピッチ角α及びヨー角βが加算されて所定範囲が決定される。

図１９は、ドローン１０の動きの他の例を示すであり、予測速度ベクトル、及び所定範囲における他の例を示す側面図である。

図１９に示す例では、ドローン１０は、前傾姿勢を保ったまま地面に対して平行に前方に向けて進んでおり、その予測速度ベクトルは、世界座標系において前方を向いている。図１９では、この前方向の予測速度ベクトルに対して、ピッチ角α及びヨー角βが加算されて所定範囲が決定される。

所定範囲を決定した後、障害物停止有用性判定部２３は、所定範囲と、６セットのステレオカメラ３５の各視野角との重複率を算出し、ステレオカメラ３５に対応する各画像情報を、所定範囲との重複率が高い方から順番にソートする（ステップ３０３）。

ここで、図１７及び図１８に示す例では、所定範囲は、前側のステレオカメラ３５の視野角に対する重複率が最も高く、左側のステレオカメラ３５の視野角に対する重複率が２番目に高く、下側のステレオカメラ３５の視野角に対する重複率が３番目に高い。一方、所定範囲は、上側のステレオカメラ３５、右側のステレオカメラ３５、後側のステレオカメラ３５の視野角とは重複していないので、これらのステレオカメラ３５の視野角との重複率は、０である。

従って、この場合、各ステレオカメラ３５に対応する画像情報が、重複率が高い順にソートされると、順番に、前側の画像情報、左側の画像情報、下側の画像情報、上側の画像情報＝右側の画画像情報＝後側の画像情報（＝０）となる。

また、図１９に示す例では、所定範囲は、前側のステレオカメラ３５の視野角に対する重複率が最も高い。一方、所定範囲は、左側のステレオカメラ３５、下側のステレオカメラ３５、上側のステレオカメラ３５、右側のステレオカメラ３５、後側のステレオカメラ３５の視野角とは重複していないので、これらのステレオカメラ３５の視野角との重複率は、０である。

従って、この場合、各ステレオカメラ３５に対応する画像情報が、重複率が高い順にソートされると、順番に、前側の画像情報、左側の画像情報＝下側の画像情報＝上側の画像情報＝右側の画画像情報＝後側の画像情報（＝０）となる。

各画像情報を重複率に基づいてソートした後、障害物有用性判定部は、次のステップ３０４へ進む。ステップ３０４では、障害物停止有用性判定部２３は、所定範囲との重複率と、障害物停止用の画像上限数とに基づき、障害物停止判定処理において実際に使用される画像を選択する。そして、障害物停止有用性判定部２３は、選択された使用画像の識別情報を障害物停止判定部２６へと出力する。障害物停止判定部２６は、６セットの画像情報のうち、選択された画像情報を使用して障害物停止処理を実行する（ステップ３０５）。

（１）ステップ３０４では、例えば、障害物停止有用性判定部２３は、所定範囲との重複率が高い視野角を持つステレオカメラ３５に対応する画像情報を、障害物停止用の画像上限数に対応する数で選択するといった処理を実行する。

例えば、図１７及び図１８に示すように、重複率が高い順に、前側の画像情報、左側の画像情報、下側の画像情報、上側の画像情報＝右側の画画像情報＝後側の画像情報（＝０）であるとする。この場合において、障害物停止用の画像上限数が３セットである場合、前側、後側、下側の３セットの画像情報が、障害物停止用の画像情報として選択される。また、例えば、この場合において、障害物停止用の画像上限数が４セットである場合、前側、後側、下側の３セットの画像情報と、上側、右側、後側の画像情報の３セットの画像情報からランダムに選択された１セットの画像情報とで合計で４セットの画像情報が、障害物停止用の画像情報として用いられる。

（２）また、ステップ３０４では、例えば、障害物停止有用性判定部２３は、重複率が所定の閾値（０）を超える画像を、自己位置推定用の画像上限数内の数で選択するといった処理を実行する。例えば、図１９に示すように、重複率が高い順に、前側の画像情報、左側の画像情報＝下側の画像情報＝上側の画像情報＝右側の画画像情報＝後側の画像情報（＝０）であるとする。この場合、重複率が所定の閾値（０）を超える画像は、前側の画像情報のみである。この場合において、障害物停止用の画像上限数が３セットである場合、前側の１セットの画像情報が、障害物停止の画像情報として選択される。

＜作用等＞
以上説明したように、本実施形態では、自己位置推定処理に用いられる画像情報の数における上限数（自己位置推定用の画像上限数）が設定される。これにより、自己位置推定処理で使用される画像情報の数に制限を設定することができ、消費電力の増大や処理遅延等を防止することができる。

また、本実施形態では、障害物停止処理に用いられる画像情報の数における上限数（障害物停止用の画像上限数）が設定される。これにより、障害物停止処理で使用される画像情報の数に制限を設定することができ、消費電力の増大や処理遅延等を防止することができる。

また、本実施形態では、バッテリー残量や、使用可能消費電力に基づいて、自己位置推定用の画像上限数及び障害物停止用の画像上限数が設定される。これにより、適切に消費電力を低減させることができる。

また、本実施形態では、ドローン１０の移動速度や、許容処理遅延に基づいて、自己位置推定用の画像上限数及び障害物停止用の画像上限数が設定される。これにより、適切に処理遅延を低減させることができる。

また、本実施形態では、バッテリー残量（使用可能消費電力）に基づく、自己位置推定用の画像上限数の候補と、移動速度（許容処理遅延）に基づく、自己位置推定用の画像上限数の候補とのうち、小さい方の値が自己位置推定用の画像上限数として設定される。

同様に、バッテリー残量（使用可能消費電力）に基づく、障害物停止用の画像上限数の候補と、移動速度（許容処理遅延）に基づく、障害物停止用の画像上限数の候補とのうち、小さい方の値が自己位置推定用の画像上限数として設定される。

これにより、自己位置推定用の画像上限数及び障害物停止用の画像上限数を適切な値として設定することができる。

また、本実施形態では、使用可能消費電力から最低消費電力を減算した値である残りの使用可能消費電力の割り当てにおいて、自己位置推定処理及び障害物停止処理に優先度が設定されている（ステップ１０４、図７右側参照）。そして、この優先度に基づいて、自己位置推定用の画像上限数及び障害物停止用の画像上限数が設定される。

同様に、許容処理遅延から最低処理遅延を減算した値である残りの許容処理遅延の割り当てにおいて、自己位置推定処理及び障害物停止処理に優先度が設定されている（ステップ１０８、図１０右側参照）。そして、この優先度に基づいて、自己位置推定用の画像上限数及び障害物停止用の画像上限数が設定される。

これにより、自己位置推定用の画像上限数及び障害物停止用の画像上限数を適切な値として設定することができる。

また、本実施形態では、各画像情報のうちどの画像情報を自己位置推定処理において使用すれば有用であるか（有用性）についての判断が行われる。そして、有用性の高い画像情報が、実際に自己位置推定処理に用いられる画像情報として、自己位置推定用の画像上限数内の数で選択される。

同様に、各画像情報のうちどの画像情報を障害物停止処理において使用すれば有用であるか（有用性）についての判断が行われる。そして、有用性の高い画像情報が、実際に障害物停止処理に用いられる画像情報として、障害物停止の画像上限数内の数で選択される。

これにより、実際に自己位置推定処理に用いられる画像情報、及び実際に障害物停止処理に用いられる画像情報を適切に選択することができる。

また、本実施形態では、自己位置推定処理に用いられる画像情報の有用性の判断基準として、オーバーラップ率、ドローン１０と被写体との間の距離、特徴点の数、動物体の占有率等が用いられる。これにより、適切に有用性を判断することができる。

また、本実施形態では、障害物停止処理に用いられる画像情報の有用性の判断基準として、ドローン１０の移動方向（予測速度ベクトル）や、所定範囲及び各ステレオカメラ３５の視野角の重複率等が用いられる。これにより、適切に有用性を判断することができる。

≪各種変形例≫
ここで、現在において、６セットの画像情報のうちどの画像情報が自己位置推定用の画像情報として用いられているのか、並びに、６セットの画像情報のうちどの画像情報が障害物停止用の画像情報として用いられているのかをユーザに提示するためのＵＩ（User Interface）が、例えば、コントローラの表示部等に表示されてもよい。

図２０は、ユーザに提示されるＵＩの一例を示す図である。図２０では、６セットの画像情報のうち、前側、下側、左側の３セットの画像情報（白参照）が、自己位置推定用の画像情報又は障害物停止用の画像情報として用いられているときの様子が示されている。

ここで、特に、障害物停止処理においては、障害物が存在しないにも拘わらず、逆光やフレア等を原因とする誤作動によりドローン１０が停止してしまう場合がある。このとき、ユーザは、ＵＩを視認することで、どの方向の画像情報に基づいて障害物停止処理が実行されたことにより誤作動が生じたかを確認することができる。これにより、ユーザは、誤作動の原因が分かるので、誤作動に対する対処がしやすくなる。

本技術は以下の構成をとることもできる。
（１） 複数のセンサからそれぞれセンサ情報を取得可能であり、複数のセンサ情報のうち少なくとも１以上のセンサ情報に基づいて移動体の移動に関する第１の処理を実行し、前記第１の処理において使用される前記センサ情報の数における第１の上限値を設定する制御部
を具備する移動体。
（２） 上記（１）に記載の移動体であって、
前記制御部は、バッテリー残量に基づいて、前記第１の上限値を設定する
移動体。
（３） 上記（２）に記載の移動体であって、
前記バッテリー残量に基づいて使用可能消費電力を算出し、前記使用可能消費電力に基づいて、前記第１の上限値を設定する
移動体。
（４） 上記（１）に記載の移動体であって、
前記制御部は、前記移動体の移動速度に基づいて、前記第１の上限値を設定する
移動体。
（５） 上記（４）に記載の移動体であって、
前記制御部は、前記移動体の移動速度に基づいて、前記第１の処理に掛かる時間として許容される遅延量である許容処理遅延を算出し、前記許容処理遅延に基づいて、前記第１の上限値を設定する
移動体。
（６） 上記（１）に記載の移動体であって、
前記制御部は、前記バッテリー残量及び前記移動体の移動速度の両者に基づいて、前記第１の上限値を設定する
移動体。
（７） 上記（６）に記載の移動体であって、
前記制御部は、前記バッテリー残量に基づいて前記第１の上限値の第１の候補を算出し、かつ、前記移動体の移動速度に基づいて前記第１の上限値の第２の候補を算出し、前記第１の候補及び第２の候補に基づいて前記第１の上限値を設定する
移動体。
（８） 上記（７）に記載の移動体であって、
前記第１の候補及び前記第２の候補のうち小さい方の値を前記第１の上限値として設定する
移動体。
（９） 上記（１）～（８）のうちいずれか１つに記載の移動体であって、
前記制御部は、少なくとも１以上の前記センサ情報に基づいて、前記移動体の移動に関する、前記第１の処理とは異なる第２の処理を実行し、前記第２の処理において使用される前記センサ情報の数における第２の上限値を設定する
移動体。
（１０） 上記（９）に記載の移動体であって、
前記制御部は、バッテリー残量又は前記移動体の移動速度に基づいて前記第１の上限値及び前記第２の上限値を設定し、かつ、前記第１の処理及び前記第２の処理に関する所定の優先度に基づき、前記第１の上限値及び前記第２の上限値を設定する
移動体。
（１１） 上記（９）又は（１０）のうちいずれか１つに記載の移動体であって、
前記第１の処理は、自己位置推定処理及び障害物非衝突処理のうち一方であり、前記第２の処理は、前記自己位置推定処理及び前記障害物非衝突処理のうち他方である
移動体。
（１２） 上記（１）～（１１）のうちいずれか１つに記載の移動体であって、
前記制御部は、前記複数のセンサ情報のうちどのセンサ情報を前記第１の処理において使用するかを、前記第１の上限値以内の数で決定する
移動体。
（１３） 上記（１２）に記載の移動体であって、
前記複数のセンサ情報についてそれぞれ有用性を判定し、前記有用性が相対的に高いセンサ情報を優先的に第１の処理において使用する
移動体。
（１４） 上記（１３）に記載の移動体であって、
前記複数のセンサは、それぞれ異なる方向を撮像可能な複数の撮像部を含み、
前記複数のセンサ情報は、それぞれ前記複数の撮像部により撮像された画像情報を含む
移動体。
（１５） 上記（１４）に記載の移動体であって、
前記制御部は、前記撮像部の撮像方向と、前記移動体の移動方向に基づいて、前記有用性を判定する
移動体。
（１６） 上記（１４）に記載の移動体であって、
前記制御部は、各撮像部における前回の画像情報及び対応する今回の画像情報のオーバーラップ率、各撮像部及び被写体の間の距離、各画像情報における特徴点の数、並びに、各画像情報における動物体の占有率のうち、少なくとも１以上に基づいて、前記有用性を判定する
移動体。
（１７） 上記（１２）～（１６）のうちいずれか１つに記載の移動体であって、
前記制御部は、少なくとも１以上の前記センサ情報に基づいて、前記移動体の移動に関する、前記第１の処理とは異なる第２の処理を実行し、前記第２の処理において使用される前記センサ情報の数における第２の上限値を設定し、前記複数のセンサ情報のうちどのセンサ情報を前記第２の処理において使用するかを、前記第２の上限値以内の数で決定する
移動体。
（１８） 上記（１７）に記載の移動体であって、
前記複数のセンサ情報についてそれぞれ有用性を判定し、前記有用性が相対的に高いセンサ情報を優先的に前記第２の処理において使用する
移動体。
（１９） 複数のセンサからそれぞれセンサ情報を取得可能な制御部が、
複数の前記センサ情報のうち少なくとも１以上の前記センサ情報に基づいて移動体の移動に関する第１の処理を実行し、
前記第１の処理において使用される前記センサ情報の数における第１の上限値を設定する
情報処理方法。
（２０） 複数のセンサからそれぞれセンサ情報を取得可能な制御部に、
複数の前記センサ情報のうち少なくとも１以上の前記センサ情報に基づいて移動体の移動に関する第１の処理を実行し、
前記第１の処理において使用される前記センサ情報の数における第１の上限値を設定する
処理を実行させるプログラム。

１０…ドローン
１３…制御部
１４…センサ部
２１…画像上限数設定部
２２…画像選択部
２５…自己位置予測部
２６…障害物停止判定部
２７…自己位置推定部
３５…ステレオカメラ

Claims (20)

1. 複数のセンサからそれぞれセンサ情報を取得可能であり、複数のセンサ情報のうち少なくとも１以上のセンサ情報に基づいて移動体の移動に関する第１の処理を実行し、前記第１の処理において使用される前記センサ情報の数における第１の上限値を設定する制御部
   を具備する移動体。
2. 請求項１に記載の移動体であって、
   前記制御部は、バッテリー残量に基づいて、前記第１の上限値を設定する
   移動体。
3. 請求項２に記載の移動体であって、
   前記制御部は、前記バッテリー残量に基づいて使用可能消費電力を算出し、前記使用可能消費電力に基づいて、前記第１の上限値を設定する
   移動体。
4. 請求項１に記載の移動体であって、
   前記制御部は、前記移動体の移動速度に基づいて、前記第１の上限値を設定する
   移動体。
5. 請求項４に記載の移動体であって、
   前記制御部は、前記移動体の移動速度に基づいて、前記第１の処理に掛かる時間として許容される遅延量である許容処理遅延を算出し、前記許容処理遅延に基づいて、前記第１の上限値を設定する
   移動体。
6. 請求項１に記載の移動体であって、
   前記制御部は、前記バッテリー残量及び前記移動体の移動速度の両者に基づいて、前記第１の上限値を設定する
   移動体。
7. 請求項６に記載の移動体であって、
   前記制御部は、前記バッテリー残量に基づいて前記第１の上限値の第１の候補を算出し、かつ、前記移動体の移動速度に基づいて前記第１の上限値の第２の候補を算出し、前記第１の候補及び第２の候補に基づいて前記第１の上限値を設定する
   移動体。
8. 請求項７に記載の移動体であって、
   前記第１の候補及び前記第２の候補のうち小さい方の値を前記第１の上限値として設定する
   移動体。
9. 請求項１に記載の移動体であって、
   前記制御部は、少なくとも１以上の前記センサ情報に基づいて、前記移動体の移動に関する、前記第１の処理とは異なる第２の処理を実行し、前記第２の処理において使用される前記センサ情報の数における第２の上限値を設定する
   移動体。
10. 請求項９に記載の移動体であって、
    前記制御部は、バッテリー残量又は前記移動体の移動速度に基づいて前記第１の上限値及び前記第２の上限値を設定し、かつ、前記第１の処理及び前記第２の処理に関する所定の優先度に基づき、前記第１の上限値及び前記第２の上限値を設定する
    移動体。
11. 請求項９に記載の移動体であって、
    前記第１の処理は、自己位置推定処理及び障害物非衝突処理のうち一方であり、前記第２の処理は、前記自己位置推定処理及び前記障害物非衝突処理のうち他方である
    移動体。
12. 請求項１に記載の移動体であって、
    前記制御部は、前記複数のセンサ情報のうちどのセンサ情報を前記第１の処理において使用するかを、前記第１の上限値以内の数で決定する
    移動体。
13. 請求項１２に記載の移動体であって、
    前記複数のセンサ情報についてそれぞれ有用性を判定し、前記有用性が相対的に高いセンサ情報を優先的に前記第１の処理において使用する
    移動体。
14. 請求項１３に記載の移動体であって、
    前記複数のセンサは、それぞれ異なる方向を撮像可能な複数の撮像部を含み、
    前記複数のセンサ情報は、それぞれ前記複数の撮像部により撮像された画像情報を含む
    移動体。
15. 請求項１４に記載の移動体であって、
    前記制御部は、前記撮像部の撮像方向と、前記移動体の移動方向に基づいて、前記有用性を判定する
    移動体。
16. 請求項１４に記載の移動体であって、
    前記制御部は、各撮像部における前回の画像情報及び対応する今回の画像情報のオーバーラップ率、各撮像部及び被写体の間の距離、各画像情報における特徴点の数、並びに、各画像情報における動物体の占有率のうち、少なくとも１以上に基づいて、前記有用性を判定する
    移動体。
17. 請求項１２に記載の移動体であって、
    前記制御部は、少なくとも１以上の前記センサ情報に基づいて、前記移動体の移動に関する、前記第１の処理とは異なる第２の処理を実行し、前記第２の処理において使用される前記センサ情報の数における第２の上限値を設定し、前記複数のセンサ情報のうちどのセンサ情報を前記第２の処理において使用するかを、前記第２の上限値以内の数で決定する
    移動体。
18. 請求項１７に記載の移動体であって、
    前記複数のセンサ情報についてそれぞれ有用性を判定し、前記有用性が相対的に高いセンサ情報を優先的に前記第２の処理において使用する
    移動体。
19. 複数のセンサからそれぞれセンサ情報を取得可能な制御部が、
    複数の前記センサ情報のうち少なくとも１以上の前記センサ情報に基づいて移動体の移動に関する第１の処理を実行し、
    前記第１の処理において使用される前記センサ情報の数における第１の上限値を設定する
    情報処理方法。
20. 複数のセンサからそれぞれセンサ情報を取得可能な制御部に、
    複数の前記センサ情報のうち少なくとも１以上の前記センサ情報に基づいて移動体の移動に関する第１の処理を実行し、
    前記第１の処理において使用される前記センサ情報の数における第１の上限値を設定する
    処理を実行させるプログラム。

Images