JP2021046058A - 無人航空機、制御方法、およびプログラム - Google Patents

無人航空機、制御方法、およびプログラム Download PDF

Info

Publication number
JP2021046058A
JP2021046058A JP2019169095A JP2019169095A JP2021046058A JP 2021046058 A JP2021046058 A JP 2021046058A JP 2019169095 A JP2019169095 A JP 2019169095A JP 2019169095 A JP2019169095 A JP 2019169095A JP 2021046058 A JP2021046058 A JP 2021046058A
Authority
JP
Japan
Prior art keywords
state
recognition target
unmanned aerial
aerial vehicle
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019169095A
Other languages
English (en)
Inventor
熙 陳
Xi Chen
熙 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2019169095A priority Critical patent/JP2021046058A/ja
Priority to US17/753,641 priority patent/US20240046648A1/en
Priority to PCT/JP2020/033790 priority patent/WO2021054178A1/ja
Publication of JP2021046058A publication Critical patent/JP2021046058A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/18—Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】安全に認識対象とのインタラクションを実現する。【解決手段】状態推定部は、カメラにより認識対象が撮影されるカメラ画像と、飛行のためのモータの駆動信号の少なくともいずれかに基づいて、認識対象の状態を推定し、行動決定部は、推定された認識対象の状態に応じて、自機の行動を決定する。本開示に係る技術は、例えば、ドローンに適用することができる。【選択図】図５

Description

本開示は、無人航空機、制御方法、およびプログラムに関し、特に、安全に認識対象とのインタラクションを実現することができるようにする無人航空機、制御方法、およびプログラムに関する。
従来、ドローンが、認識対象との距離を計測して追尾したり、認識対象となる被写体を撮影して画像分析を行ったりする技術がある。
特許文献１には、時系列のセンサ情報から、認識対象に関する時系列の特徴量を抽出し、時系列の特徴量に基づいて、センサ情報のコンテキストを考慮して認識対象の情動を推定する技術が開示されている。
特許文献１の技術によれば、センサ情報のコンテキストを考慮して情動推定が行われるため、瞬間的なセンサ情報から抽出した特徴量に基づく推定結果の誤りなどを反映することなく、認識対象の情動の状態を安定的に推定することができる。
特開２００５−１９９４０３号公報
ところで、認識対象となる動物や人の状態によっては、ドローンが安全に認識対象とのインタラクションを行えないことがあった。例えば、認識対象となる動物がドローンを攻撃するような状態では、ドローンがインタラクションを行うのは危険である。
本開示は、このような状況に鑑みてなされたものであり、安全に認識対象とのインタラクションを実現することができるようにするものである。
本開示の無人航空機は、カメラにより認識対象が撮影されるカメラ画像と、飛行のためのモータの駆動信号の少なくともいずれかに基づいて、前記認識対象の状態を推定する状態推定部と、推定された前記認識対象の状態に応じて、自機の行動を決定する行動決定部とを備える無人航空機である。
本開示の制御方法は、無人航空機が、カメラにより認識対象が撮影されるカメラ画像と、飛行のためのモータの駆動信号の少なくともいずれかに基づいて、前記認識対象の状態を推定し、推定された前記認識対象の状態に応じて、自機の行動を決定する制御方法である。
本開示のプログラムは、コンピュータに、カメラにより認識対象が撮影されるカメラ画像と、飛行のためのモータの駆動信号の少なくともいずれかに基づいて、前記認識対象の状態を推定し、推定された前記認識対象の状態に応じて、無人航空機の行動を決定する処理を実行させるためのプログラムである。
本開示においては、カメラにより認識対象が撮影されるカメラ画像と、飛行のためのモータの駆動信号の少なくともいずれかに基づいて、前記認識対象の状態が推定され、推定された前記認識対象の状態に応じて、無人航空機の行動が決定される。
従来の課題について説明する図である。 本開示に係る技術の概要について説明する図である。 本開示に係る技術の概要について説明する図である。 ドローンの構成例を示すブロック図である。 制御部の機能構成例を示すブロック図である。 触覚センサの例について説明する図である。 ドローンの飛行制御処理の流れについて説明するフローチャートである。 認識対象の状態推定処理の流れについて説明するフローチャートである。 画像の照合について説明する図である。 ドローンの行動決定処理の流れについて説明するフローチャートである。
以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．従来の課題と本開示に係る技術の概要
２．ドローンの構成
３．ドローンの飛行制御
３−１．認識対象の状態推定
３−２．行動決定
＜１．従来の課題と本開示に係る技術の概要＞
（従来の課題）
図１は、ドローンが認識対象とのインタラクションを行う場合における、従来の課題について説明する図である。
例えば、認識対象が野生動物である場合、認識対象とのインタラクションには、誘い込み、駆逐、監視や観察のための撮影などが含まれる。また、認識対象が人である場合、認識対象とのインタラクションには、スポーツやライブなどの追尾撮影や近距離撮影などが含まれる。
例えば、図１のＡ図は、ドローン１０が認識対象となる動物１１を撮影する例を示している。しかしながら、動物１１の状態によっては、Ａ図右に示されるように、ドローン１０が、動物１１に攻撃される危険がある。
図１のＢ図は、ドローン１０が認識対象となるスキーヤー１２を追尾撮影する例を示している。しかしながら、スキーヤー１２の状態によっては、Ｂ図右に示されるように、ドローン１０が、スキーヤー１２がジャンプした瞬間の撮影を逃すおそれがある。
図１のＣ図は、ドローン１０が認識対象となる野球選手１３を近距離撮影する例を示している。しかしながら、野球選手１３の状態によっては、Ｃ図右に示されるように、ドローン１０が、野球選手１３が振るバットに衝突する危険がある。
（本開示に係る技術の概要）
図２は、本開示に係る技術の概要について説明する図である。図２においては、図１と同様、ドローン１０が認識対象とのインタラクションを行う例が示されている。
例えば、図２のＡ図に示されるように、動物１１がドローン１０を攻撃する状態にある場合、ドローン１０は、上昇することで、動物１１からの攻撃を避けることができる。
また、図２のＢ図に示されるように、スキーヤー１２がジャンプする状態にある場合、ドローン１０は、スキーヤー１２を追尾することで、スキーヤー１２のジャンプした瞬間の撮影を逃すことを避けることができる。
さらに、図２のＣ図に示されるように、野球選手１３がバットを振る状態にある場合、ドローン１０は、野球選手１３のバットに衝突しない安全な領域を飛行することで、野球選手１３のバットとの衝突を避けることができる。
本開示の実施の形態に係る無人航空機としてのドローンは、認識対象の状態を推定し、その状態に応じて自機の行動を決定することができる。
例えば、図３に示されるように、ドローン１０は、動物２１の状態が自機を攻撃する状態であると推定した場合、所定の高度位置まで上昇することを決定する。
また、ドローン１０は、人２２の状態が、自機を捕獲しようとするなど自機の飛行に干渉している状態であると推定した場合、着陸することを決定する。
さらに、ドローン１０は、動物２３の状態が、近距離撮影などのインタラクションが可能な状態であると推定した場合、そのインタラクションを実行することを決定する。
また、ドローン１０は、動物２４の状態が自機のいずれの行動も必要としない状態であると推定した場合、現在位置を空中で保持するホバリングを行うことを決定する。
＜２．ドローンの構成＞
（ドローンの構成ブロック）
図４は、本開示に係る技術を適用したドローン１０の構成例を示すブロック図である。
ドローン１０は、制御部４１、通信部４２、記憶部４３、および飛行機構４４を備えている。また、ドローン１０には、センサ５１が設けられる。
制御部４１は、ＣＰＵ（Central Processing Unit）などのプロセッサやメモリなどで構成され、所定のプログラムを実行することにより、通信部４２、記憶部４３、飛行機構４４、およびセンサ５１を制御する。例えば、制御部４１は、記憶部４３に記憶されている情報や、センサ５１により収集されたセンサデータに基づいて、飛行機構４４を制御する。
通信部４２は、ネットワークインタフェースなどで構成され、ドローン１０に対して指示を行うコントローラや、その他の任意の装置との間で、無線または有線による通信を行う。例えば、通信部４２は、通信相手となる装置と、直接通信を行ってもよいし、Ｗｉ−Ｆｉ（登録商標）や４Ｇ，５Ｇなどの基地局や中継器を介したネットワーク通信を行ってもよい。
記憶部４３は、フラッシュメモリなどの不揮発性メモリなどにより構成され、制御部４１の制御に従い、各種の情報を記憶する。例えば、記憶部４３は、後述する３次元地図情報を記憶（格納）する。
飛行機構４４は、ドローン１０を飛行させるための機構であり、プロペラや、プロペラを回転させるモータなどから構成される。飛行機構４４は、制御部４１の制御に従って駆動し、ドローン１０を飛行させる。
センサ５１は、例えば、カメラやステレオカメラ、ＴｏＦ（Time of Flight）センサなどのデプスセンサの他、ソナー、レーダやＬｉＤＥＲなどを含むようにして構成される。また、センサ５１は、外部からの圧力や衝撃力を感知する触覚センサ、ＩＭＵ（Inertial Measurement Unit）センサやＧＰＳ（Global Positioning System）センサを含むようにして構成されてもよい。センサ５１により収集されたセンサデータは、ドローン１０の飛行制御に用いられる。
（制御部の機能構成ブロック）
図５は、制御部４１の機能構成例を示すブロック図である。
図５に示される制御部４１の機能ブロックは、制御部４１を構成するプロセッサにより所定のプログラムが実行されることによって実現される。
制御部４１は、状態推定部６１、行動決定部６２、および飛行制御部６３から構成される。
状態推定部６１は、各種の入力情報に基づいて、インタラクションの対象となる認識対象の状態を推定する。
入力情報には、触覚センサ１０１からのセンサデータ、飛行機構４４を構成するモータの駆動信号、３次元地図情報１０２、画像ＤＢ（データベース）１０３に保存されている画像、およびカメラ１０４により撮影されるカメラ画像の少なくともいずれかが含まれる。
触覚センサ１０１は、外部からの圧力や衝撃力を感知する。
例えば、触覚センサ１０１は、図６のＡ図に示されるように、ドローン１０のプロペラを保護するプロペラガードに設けられる圧力センサ１０１Ａとして構成される。圧力センサ１０１Ａによれば、ドローン１０と外部の物体や認識対象との衝突を検知することができる。
また、触覚センサ１０１は、図６のＢ図に示されるように、ドローン１０の下方からの引張力を検知するロードセル１０１Ｂとして構成されてもよい。ロードセル１０１Ｂには重りＷが吊り下げられている。重りＷが認識対象により引っ張られることで、認識対象による捕獲を検知することができる。
３次元地図情報１０２は、ＩＭＵセンサやＧＰＳセンサにより推定された自己位置、ＳＬＡＭ（Simultaneous Localization and Mapping）により作成された障害物地図、物体検出により検出されたセマンティック情報、物体追従により推測された物体の移動方向などを統合した地図情報である。ＳＬＡＭや物体検出は、カメラ１０４からの画像を用いて行われる。３次元地図情報１０２は、記憶部４３に記憶される。
画像ＤＢ１０３には、あらかじめ認識対象の状態に対応するラベルが付与されたラベル付き画像が保存されている。画像ＤＢ１０３は、ドローン１０内部に設けられてもよいし、外部に設けられ、通信部４２を介してドローン１０と接続されてもよい。
カメラ１０４は、ドローン１０の周辺環境を撮影したり、認識対象を撮影したりする。認識対象が撮影されたカメラ画像は、画像ＤＢ１０３に保存されているラベル付き画像と照合される。
さて、状態推定部６１は、接触検出部７１、位置乱れ検出部７２、動き検出部７３、および画像照合部７４を備えている。
接触検出部７１は、触覚センサ１０１からのセンサデータに基づいて、外部からの圧力や衝撃力が所定の値を超えた場合に、認識対象との接触を検出する。
位置乱れ検出部７２は、モータの駆動信号に基づいてドローン１０の移動を推測することで推定された自機の位置が、３次元地図情報１０２において、ＩＭＵセンサやＧＰＳセンサにより推定される自己位置と所定の距離以上離れている場合に、自己位置の乱れを検出する。この場合、位置乱れ検出部７２は、認識対象の状態が、自機を捕獲している捕獲状態であることを表す状態情報を、行動決定部６２に供給する。
動き検出部７３は、３次元地図情報１０２における認識対象の位置、速度、および、ドローン１０との相対位置に基づいて、認識対象の動きを検出する。認識対象の動きが検出されなかった場合、位置乱れ検出部７２は、認識対象の状態が、自機のいずれの行動も必要としない観察状態であることを表す状態情報を、行動決定部６２に供給する。
画像照合部７４は、動きが検出された認識対象が撮影されたカメラ画像を、画像ＤＢ１０３に保存されているラベル付き画像と照合することで、認識対象の状態を判定する。
画像照合部７４は、攻撃状態判定部８１とインタラクション状態判定部８２を備えている。
攻撃状態判定部８１は、カメラ画像が、画像ＤＢ１０３に保存されているラベル付き画像のうち、自機を攻撃する可能性のある攻撃状態に対応するラベル付き画像とマッチングするか否かを判定する。カメラ画像が攻撃状態に対応するラベル付き画像とマッチングした場合、認識対象の状態が攻撃状態であることを表す状態情報が、行動決定部６２に供給される。
カメラ画像が攻撃状態に対応するラベル付き画像とマッチングしない場合、インタラクション状態判定部８２は、カメラ画像が、画像ＤＢ１０３に保存されているラベル付き画像のうち、自機のインタラクションが可能なインタラクション状態に対応するラベル付き画像とマッチングするか否かを判定する。カメラ画像がインタラクション状態に対応するラベル付き画像とマッチングした場合、認識対象がインタラクション状態であることを表す状態情報が、行動決定部６２に供給される。一方、カメラ画像がインタラクション状態に対応するラベル付き画像とマッチングしない場合、認識対象の状態が観察状態であることを表す状態情報が、行動決定部６２に供給される。
行動決定部６２は、状態推定部６１の各部からの状態情報に応じて、ドローン１０の行動を決定する。決定された行動を表す行動情報は、飛行制御部６３に供給される。
例えば、状態推定部６１から、認識対象が捕獲状態であることを表す状態情報が供給された場合、行動決定部６２は、ドローン１０の行動として、着陸することを決定し、その旨の行動情報を飛行制御部６３に供給する。
また、状態推定部６１から、認識対象が観察状態であることを表す状態情報が供給された場合、行動決定部６２は、ドローン１０の行動として、ホバリングを行うことを決定し、その旨の行動情報を飛行制御部６３に供給する。
行動決定部６２は、安全領域推定部９１を備えている。
安全領域推定部９１は、状態推定部６１から、認識対象が攻撃状態またはインタラクション状態であることを表す状態情報が供給された場合、３次元地図情報１０２に基づいて、ドローン１０が安全に行動可能な安全領域を推定する。
具体的には、状態推定部６１から、認識対象が攻撃状態であることを表す状態情報が供給された場合、安全領域推定部９１は、安全な高度位置である安全高度を推定する。この場合、行動決定部６２は、ドローン１０の行動として、安全領域推定部９１により推定された安全高度まで上昇することを決定し、その旨の行動情報を飛行制御部６３に供給する。
また、状態推定部６１から、認識対象がインタラクション状態であることを表す状態情報が供給された場合、安全領域推定部９１は、安全な経路である安全ｐａｔｈを推定する。この場合、行動決定部６２は、ドローン１０の行動として、安全領域推定部９１により推定された安全ｐａｔｈで飛行することと、認識対象とのインタラクションを実行することを決定し、その旨の行動情報を飛行制御部６３に供給する。
飛行制御部６３は、行動決定部６２により決定されたドローン１０の行動を表す行動情報に基づいて、飛行機構４４を制御する。
以上のような構成により、ドローン１０の飛行が制御される。
＜３．ドローンの飛行制御＞
以下においては、上述した構成を備えるドローン１０の飛行制御の流れについて説明する。
図７は、ドローン１０の飛行制御の流れについて説明するフローチャートである。図７の処理は、例えば、ドローン１０の飛行中に、認識対象とのインタラクションの実行が指示されるなどすることにより開始される。
ステップＳ１１において、状態推定部６１は、認識対象の状態推定処理を実行することで、認識対象の状態を推定する。
ステップＳ１２において、行動決定部６２は、推定された認識対象の状態に応じて、行動決定処理を実行することで、ドローン１０の行動を決定する。
ステップＳ１３において、飛行制御部６３は、決定された行動に基づいて、ドローン１０の飛行を制御する。
（３−１．認識対象の状態推定）
ここで、図８のフローチャートを参照して、図７のステップＳ１１において実行される認識対象の状態推定処理の流れについて説明する。
ステップＳ３１において、接触検出部７１は、触覚センサ１０１からのセンサデータに基づいて、認識対象との接触が検出されたか否かを判定する。
ステップＳ３１において接触が検出されたと判定された場合、処理はステップＳ３２に進む。
ステップＳ３２において、位置乱れ検出部７２は、モータの駆動信号に基づいて、自己位置の乱れが検出されたか否かを判定する。
ステップＳ３２において自己位置の乱れが検出されたと判定された場合、状態推定部６１は、認識対象の状態が、自機を捕獲している捕獲状態であると推定する。捕獲状態であることを表す状態情報は、行動決定部６２に供給される。
一方、ステップＳ３２において自己位置の乱れが検出されていないと判定された場合、処理はステップＳ３３に進む。
また、ステップＳ３１において接触が検出されていないと判定された場合、ステップＳ３２はスキップされ、処理はステップＳ３３に進む。
なお、ドローン１０においては、触覚センサ１０１は必須の構成ではなく、触覚センサ１０１が設けられないようにしてもよい。この場合、認識対象の状態推定処理は、ステップＳ３２から開始される。
さて、ステップＳ３３において、動き検出部７３は、３次元地図情報１０２に基づいて、認識対象の動きが検出されたか否かを判定する。
ステップＳ３３において認識対象の動きが検出されていないと判定された場合、状態推定部６１は、認識対象の状態が、自機のいずれの行動も必要としない観察状態であると推定する。観察状態であることを表す状態情報は、行動決定部６２に供給される。
一方、ステップＳ３３において認識対象の動きが検出されたと判定された場合、処理はステップＳ３４に進む。
ステップＳ３４において、画像照合部７４は、動きが検出された認識対象が撮影されたカメラ画像を、画像ＤＢ１０３に保存されているラベル付き画像と照合する。
具体的には、ステップＳ３５において、攻撃状態判定部８１が、カメラ画像が、自機を攻撃する可能性のある攻撃状態に対応するラベル付き画像とマッチングするか否かを判定する。
例えば、図９に示されるように、認識対象である熊が撮影されたカメラ画像１２１が、画像照合部７４に入力されたとする。
この場合、画像照合部７４（攻撃状態判定部８１）は、カメラ画像１２１と、画像ＤＢ１０３の１つである熊画像ＤＢ１０３Ｂに保存されているラベル付き熊画像とをマッチングする。図９の例では、攻撃状態に対応する「怒っている」ラベルが付与されたラベル付き熊画像と、インタラクション状態に対応する「平気」ラベルが付与されたラベル付き画像が、熊画像ＤＢ１０３Ｂに保存されている。
そして図９の例では、画像照合部７４において、カメラ画像１２１とラベル付き熊画像とのマッチング結果が数値で示されている。具体的には、「怒っている」ラベルが付与されたラベル付き熊画像とのマッチング結果が０．９、「平気」ラベルが付与されたラベル付き熊画像とのマッチング結果が０．２と示されている。
この場合、カメラ画像１２１は、「怒っている」ラベルが付与されたラベル付き熊画像と最もマッチングすると判定される。
このように、ステップＳ３５においてカメラ画像が攻撃状態に対応するラベル付き画像とマッチングすると判定された場合、状態推定部６１は、認識対象の状態が攻撃状態であると推定する。攻撃状態であることを表す状態情報は、行動決定部６２に供給される。
一方、ステップＳ３５においてカメラ画像が攻撃状態に対応するラベル付き画像とマッチングしないと判定された場合、処理はステップＳ３６に進む。
ステップＳ３６においては、インタラクション状態判定部８２が、カメラ画像が、自機のインタラクションが可能なインタラクション状態に対応するラベル付き画像とマッチングするか否かを判定する。
ステップＳ３６においてカメラ画像がインタラクション状態に対応するラベル付き画像とマッチングすると判定された場合、状態推定部６１は、認識対象の状態がインタラクション状態であると推定する。インタラクション状態であることを表す状態情報は、行動決定部６２に供給される。
一方、ステップＳ３６においてカメラ画像がインタラクション状態に対応するラベル付き画像とマッチングしないと判定された場合、状態推定部６１は、認識対象の状態が観察状態であると推定する。観察状態であることを表す状態情報は、行動決定部６２に供給される。
以上のようにして、認識対象の状態が推定される。
（３−２．行動決定）
次に、図１０のフローチャートを参照して、図７のステップＳ１２において実行される行動決定処理の流れについて説明する。
ステップＳ５１において、行動決定部６２は、状態推定部６１からの状態情報に基づいて、認識対象の状態が捕獲状態であるか否かを判定する。
ステップＳ５１において認識対象の状態が捕獲状態であると判定された場合、処理はステップＳ５２に進む。
ステップＳ５２において、行動決定部６２は、ドローン１０の行動として、着陸することを決定する。この場合、飛行制御部６３は、飛行機構４４を制御することにより、ドローン１０を着陸させる。
一方、ステップＳ５１において認識対象の状態が捕獲状態でないと判定された場合、ステップＳ５２はスキップされ、処理はステップＳ５３に進む。
ステップＳ５３において、行動決定部６２は、状態推定部６１からの状態情報に基づいて、認識対象の状態が攻撃状態であるか否かを判定する。
ステップＳ５３において認識対象の状態が攻撃状態であると判定された場合、処理はステップＳ５４に進む。
ステップＳ５４において、安全領域推定部９１は、安全な高度位置である安全高度を推定し、行動決定部６２は、ドローン１０の行動として、安全高度まで上昇することを決定する。この場合、飛行制御部６３は、飛行機構４４を制御することにより、ドローン１０を安全高度まで上昇させる。
一方、ステップＳ５３において認識対象の状態が攻撃状態でないと判定された場合、ステップＳ５４はスキップされ、処理はステップＳ５５に進む。
ステップＳ５５において、行動決定部６２は、状態推定部６１からの状態情報に基づいて、認識対象の状態がインタラクション状態であるか否かを判定する。
ステップＳ５５において認識対象の状態がインタラクション状態であると判定された場合、処理はステップＳ５６に進む。
ステップＳ５６において、安全領域推定部９１は、安全な経路である安全ｐａｔｈを推定し、行動決定部６２は、ドローン１０の行動として、安全ｐａｔｈで飛行することと、認識対象とのインタラクションを実行することを決定する。この場合、飛行制御部６３は、飛行機構４４を制御することにより、ドローン１０を安全ｐａｔｈで飛行させる。
一方、ステップＳ５５において認識対象の状態がインタラクション状態でないと判定された場合、すなわち、認識対象の状態が観察状態である場合、処理はステップＳ５７に進む。
ステップＳ５７において、行動決定部６２は、ドローン１０の行動として、ホバリングを行うことを決定する。この場合、飛行制御部６３は、飛行機構４４を制御することにより、ドローン１０にホバリングを行わせる。
以上のようにして、ドローン１０の行動が決定される。
以上の処理によれば、認識対象の状態が推定され、推定された認識対象の状態に応じてドローン１０の行動が決定されるので、安全に認識対象とのインタラクションを実現することが可能となる。
例えば、認識対象となる野生動物の機嫌が良く、何らかの姿勢や表情をとるなど、インタラクションが可能な状態であると推定された場合、ドローン１０は、安全な経路を飛行しながら、その野生動物と近距離でのインタラクションを行うことができる。
また、認識対象となる野生動物が怒っていて、ドローン１０を攻撃する状態であると推定された場合、ドローン１０は、その野生動物から攻撃されない安全な高度位置まで上昇することができる。
さらに、認識対象となる野生動物が、ドローン１０を捕獲した状態であると推定された場合、ドローン１０は、その場で着陸することで、むやみに飛行して機体が損傷することを避けることができる。
また、認識対象となる野生動物が眠っているなど、インタラクションを行う必要すらない状態であると推定された場合、ドローン１０は、その場でホバリングすることで、認識対象の次なる動作を待機することができる。
なお、以上においては、認識対象の状態が、捕獲状態、攻撃状態、インタラクション状態、および観察状態の４つの状態のいずれかに推定されるものとしたが、４つの状態の少なくともいずれかに推定されてもよいし、さらに定義された他の状態に推定されてもよい。
本実施の形態に係る技術は、上述した野生動物の撮影や、スポーツをするプレーヤの近距離撮影に限らず、人とロボットとのヒューマンロボットインタラクションや、動物とロボットとの動物ロボットインタラクションにも適用することができる。
ヒューマンロボットインタラクションにおいては、例えば、開いた状態の傘を備えたドローンが、人混みや周囲の建築物などを避けながら、人の頭上を追尾飛行することができる。
また、動物ロボットインタラクションにおいては、例えば、注射器を備えたドローンが、トラやライオンなどの猛獣に対して、適切に麻酔注射することができる。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
コンピュータでは、制御部４１が、記憶部４３に記憶されているプログラムをロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（制御部４１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディアに記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディアをドライブに装着することにより、記憶部４３にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、記憶部４３にインストールすることができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
本開示に係る技術の実施の形態は、上述した実施の形態に限定されるものではなく、本開示に係る技術の要旨を逸脱しない範囲において種々の変更が可能である。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
さらに、本開示に係る技術は以下のような構成をとることができる。
（１）
カメラにより認識対象が撮影されるカメラ画像と、飛行のためのモータの駆動信号の少なくともいずれかに基づいて、前記認識対象の状態を推定する状態推定部と、
推定された前記認識対象の状態に応じて、自機の行動を決定する行動決定部と
を備える無人航空機。
（２）
前記状態推定部は、前記認識対象の状態が、
前記自機の飛行に干渉している第１の状態、
前記自機を攻撃する可能性のある第２の状態、
前記自機の所定のインタラクションが可能な第３の状態、
前記自機のいずれの行動も必要としない第４の状態
の少なくともいずれかであることを推定する
（１）に記載の無人航空機。
（３）
前記行動決定部は、前記認識対象が前記第２の状態または前記第３の状態であると推定された場合、３次元地図情報に基づいて、前記自機が安全に行動可能な安全領域を推定する
（２）に記載の無人航空機。
（４）
前記行動決定部は、前記認識対象が前記第２の状態であると推定された場合、前記自機の行動として、前記自機が安全に行動可能な高度位置へ上昇することを決定する
（３）に記載の無人航空機。
（５）
前記行動決定部は、前記認識対象が前記第３の状態であると推定された場合、前記自機の行動として、前記自機が安全に行動可能な経路で飛行することと、前記インタラクションを実行することを決定する
（３）または（４）に記載の無人航空機。
（６）
前記行動決定部は、前記認識対象が前記第１の状態であると推定された場合、前記自機の行動として、着陸することを決定する
（２）乃至（５）のいずれかに記載の無人航空機。
（７）
前記行動決定部は、前記認識対象が前記第４の状態であると推定された場合、前記自機の行動として、ホバリングを行うことを決定する
（２）乃至（６）のいずれかに記載の無人航空機。
（８）
前記状態推定部は、前記カメラ画像を、あらかじめ前記認識対象の状態に対応するラベルが付与されたラベル付き画像と照合することで、前記認識対象の状態を推定する
（２）乃至（７）のいずれかに記載の無人航空機。
（９）
前記状態推定部は、前記カメラ画像を、前記第２の状態または前記第３の状態に対応する前記ラベル付き画像と照合することで、前記認識対象が前記第２の状態または前記第３の状態であることを推定する
（８）に記載の無人航空機。
（１０）
前記状態推定部は、照合の結果、前記カメラ画像が、前記第２の状態および前記第３の状態に対応する前記ラベル付き画像とマッチングしない場合、前記認識対象が前記第４の状態であることを推定する
（８）または（９）に記載の無人航空機。
（１１）
前記状態推定部は、３次元地図情報に基づいて、前記認識対象の動きを検出することで、前記認識対象の状態を推定する
（８）乃至（１０）のいずれかに記載の無人航空機。
（１２）
前記状態推定部は、前記認識対象の動きが検出された場合、前記カメラ画像を前記ラベル付き画像と照合することで、前記認識対象の状態を推定する
（１１）に記載の無人航空機。
（１３）
前記状態推定部は、前記認識対象の動きが検出されなかった場合、前記認識対象が前記第４の状態であることを推定する
（１１）または（１２）に記載の無人航空機。
（１４）
前記状態推定部は、前記モータの駆動信号に基づいた前記自機の位置と、自己位置の推定結果との差を検出することで、前記認識対象の状態を推定する
（８）乃至（１３）のいずれかに記載の無人航空機。
（１５）
前記状態推定部は、前記自機の位置と前記自己位置の推定結果との差が所定の距離より小さい場合、３次元地図情報に基づいて、前記認識対象の動きを検出することで、前記認識対象の状態を推定する
（１４）に記載の無人航空機。
（１６）
前記状態推定部は、前記自機の位置と前記自己位置の推定結果との差が所定の距離より大きい場合、前記認識対象が前記第１の状態であることを推定する
（１４）または（１５）に記載の無人航空機。
（１７）
無人航空機が、
カメラにより認識対象が撮影されるカメラ画像と、飛行のためのモータの駆動信号の少なくともいずれかに基づいて、前記認識対象の状態を推定し、
推定された前記認識対象の状態に応じて、自機の行動を決定する
制御方法。
（１８）
コンピュータに、
カメラにより認識対象が撮影されるカメラ画像と、飛行のためのモータの駆動信号の少なくともいずれかに基づいて、前記認識対象の状態を推定し、
推定された前記認識対象の状態に応じて、無人航空機の行動を決定する
処理を実行させるためのプログラム。
１０ ドローン， ４１ 制御部， ４２ 通信部， ４３ 記憶部， ４４ 飛行機構， ５１ センサ， ６１ 状態推定部， ６２ 行動決定部， ６３ 飛行制御部

Claims (18)

  1. カメラにより認識対象が撮影されるカメラ画像と、飛行のためのモータの駆動信号の少なくともいずれかに基づいて、前記認識対象の状態を推定する状態推定部と、
    推定された前記認識対象の状態に応じて、自機の行動を決定する行動決定部と
    を備える無人航空機。
  2. 前記状態推定部は、前記認識対象の状態が、
    前記自機の飛行に干渉している第１の状態、
    前記自機を攻撃する可能性のある第２の状態、
    前記自機の所定のインタラクションが可能な第３の状態、
    前記自機のいずれの行動も必要としない第４の状態
    の少なくともいずれかであることを推定する
    請求項１に記載の無人航空機。
  3. 前記行動決定部は、前記認識対象が前記第２の状態または前記第３の状態であると推定された場合、３次元地図情報に基づいて、前記自機が安全に行動可能な安全領域を推定する
    請求項２に記載の無人航空機。
  4. 前記行動決定部は、前記認識対象が前記第２の状態であると推定された場合、前記自機の行動として、前記自機が安全に行動可能な高度位置へ上昇することを決定する
    請求項３に記載の無人航空機。
  5. 前記行動決定部は、前記認識対象が前記第３の状態であると推定された場合、前記自機の行動として、前記自機が安全に行動可能な経路で飛行することと、前記インタラクションを実行することを決定する
    請求項３に記載の無人航空機。
  6. 前記行動決定部は、前記認識対象が前記第１の状態であると推定された場合、前記自機の行動として、着陸することを決定する
    請求項２に記載の無人航空機。
  7. 前記行動決定部は、前記認識対象が前記第４の状態であると推定された場合、前記自機の行動として、ホバリングを行うことを決定する
    請求項２に記載の無人航空機。
  8. 前記状態推定部は、前記カメラ画像を、あらかじめ前記認識対象の状態に対応するラベルが付与されたラベル付き画像と照合することで、前記認識対象の状態を推定する
    請求項２に記載の無人航空機。
  9. 前記状態推定部は、前記カメラ画像を、前記第２の状態または前記第３の状態に対応する前記ラベル付き画像と照合することで、前記認識対象が前記第２の状態または前記第３の状態であることを推定する
    請求項８に記載の無人航空機。
  10. 前記状態推定部は、照合の結果、前記カメラ画像が、前記第２の状態および前記第３の状態に対応する前記ラベル付き画像とマッチングしない場合、前記認識対象が前記第４の状態であることを推定する
    請求項８に記載の無人航空機。
  11. 前記状態推定部は、３次元地図情報に基づいて、前記認識対象の動きを検出することで、前記認識対象の状態を推定する
    請求項８に記載の無人航空機。
  12. 前記状態推定部は、前記認識対象の動きが検出された場合、前記カメラ画像を前記ラベル付き画像と照合することで、前記認識対象の状態を推定する
    請求項１１に記載の無人航空機。
  13. 前記状態推定部は、前記認識対象の動きが検出されなかった場合、前記認識対象が前記第４の状態であることを推定する
    請求項１１に記載の無人航空機。
  14. 前記状態推定部は、前記モータの駆動信号に基づいた前記自機の位置と、自己位置の推定結果との差を検出することで、前記認識対象の状態を推定する
    請求項８に記載の無人航空機。
  15. 前記状態推定部は、前記自機の位置と前記自己位置の推定結果との差が所定の距離より小さい場合、３次元地図情報に基づいて、前記認識対象の動きを検出することで、前記認識対象の状態を推定する
    請求項１４に記載の無人航空機。
  16. 前記状態推定部は、前記自機の位置と前記自己位置の推定結果との差が所定の距離より大きい場合、前記認識対象が前記第１の状態であることを推定する
    請求項１４に記載の無人航空機。
  17. 無人航空機が、
    カメラにより認識対象が撮影されるカメラ画像と、飛行のためのモータの駆動信号の少なくともいずれかに基づいて、前記認識対象の状態を推定し、
    推定された前記認識対象の状態に応じて、自機の行動を決定する
    制御方法。
  18. コンピュータに、
    カメラにより認識対象が撮影されるカメラ画像と、飛行のためのモータの駆動信号の少なくともいずれかに基づいて、前記認識対象の状態を推定し、
    推定された前記認識対象の状態に応じて、無人航空機の行動を決定する
    処理を実行させるためのプログラム。
JP2019169095A 2019-09-18 2019-09-18 無人航空機、制御方法、およびプログラム Pending JP2021046058A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019169095A JP2021046058A (ja) 2019-09-18 2019-09-18 無人航空機、制御方法、およびプログラム
US17/753,641 US20240046648A1 (en) 2019-09-18 2020-09-07 Crewless aircraft, control method, and program
PCT/JP2020/033790 WO2021054178A1 (ja) 2019-09-18 2020-09-07 無人航空機、制御方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019169095A JP2021046058A (ja) 2019-09-18 2019-09-18 無人航空機、制御方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2021046058A true JP2021046058A (ja) 2021-03-25

Family

ID=74877530

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019169095A Pending JP2021046058A (ja) 2019-09-18 2019-09-18 無人航空機、制御方法、およびプログラム

Country Status (3)

Country Link
US (1) US20240046648A1 (ja)
JP (1) JP2021046058A (ja)
WO (1) WO2021054178A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023157472A1 (ja) * 2022-02-17 2023-08-24 株式会社Ｎｔｔドコモ 制御装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9643722B1 (en) * 2014-02-28 2017-05-09 Lucas J. Myslinski Drone device security system
JP2017056903A (ja) * 2015-09-18 2017-03-23 アイシン・エィ・ダブリュ株式会社 無人飛行体の制御システム、制御方法及び制御プログラム
US10510261B2 (en) * 2016-05-31 2019-12-17 Optim Corporation Application and method for controlling flight of uninhabited airborne vehicle
US10604257B2 (en) * 2016-06-28 2020-03-31 International Business Machines Corporation Unmanned aerial vehicle for air sampling
JP6727525B2 (ja) * 2018-02-28 2020-07-22 株式会社ナイルワークス ドローン、ドローンの制御方法、および、ドローン制御プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023157472A1 (ja) * 2022-02-17 2023-08-24 株式会社Ｎｔｔドコモ 制御装置

Also Published As

Publication number Publication date
US20240046648A1 (en) 2024-02-08
WO2021054178A1 (ja) 2021-03-25

Similar Documents

Publication Publication Date Title
JP7456537B2 (ja) 飛行体制御装置、飛行体制御方法、及びプログラム
EP3521158B1 (en) Flight control device, unmanned aerial vehicle, flight control method, and computer program
CN108885469B (zh) 用于在跟踪系统中初始化目标物体的系统和方法
US10945070B2 (en) Unmanned aircraft, information processing method, and recording medium
JP6821529B2 (ja) 管理装置、プログラム及び管理方法
WO2018027210A1 (en) Mobile platform eg drone / uav performing localization and mapping using video
JP6140458B2 (ja) 自律移動ロボット
US10589861B2 (en) Drone control system, method, and program
Mehanovic et al. Autonomous thrust-assisted perching of a fixed-wing uav on vertical surfaces
CN110673633B (zh) 一种基于改进apf的电力巡检无人机路径规划方法
KR102199680B1 (ko) 자율 착륙을 위한 드론 제어 방법 및 장치
WO2021054178A1 (ja) 無人航空機、制御方法、およびプログラム
WO2020110400A1 (ja) 無人飛行体、制御方法及びプログラム
Arreola et al. Object recognition and tracking using Haar-like Features Cascade Classifiers: Application to a quad-rotor UAV
JP2014123304A (ja) 自律移動ロボット
KR20190007632A (ko) 3차원 지도를 작성하여 사물 위치를 인지하는 운반용 드론
US20240051689A1 (en) Fishing system
Pope et al. Thrust-assisted perching and climbing for a bioinspired UAV
JP7231996B2 (ja) 情報処理方法および情報処理システム
JP2017206072A (ja) 飛行制御装置及び飛行制御方法
KR20180081644A (ko) 생체 모방 기법을 활용한 드론 회피 기동 방법
US11986959B2 (en) Information processing device, action decision method and program
KR102300348B1 (ko) 실시간 이미지 분석을 기반으로 현장 상황을 공유하는 무인 항공기, 및 제어 방법
US20190129423A1 (en) Dynamic impact detection
JP7028247B2 (ja) 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム