JP2017097602A - 無人機の制御装置および制御方法 - Google Patents

無人機の制御装置および制御方法 Download PDF

Info

Publication number
JP2017097602A
JP2017097602A JP2015228852A JP2015228852A JP2017097602A JP 2017097602 A JP2017097602 A JP 2017097602A JP 2015228852 A JP2015228852 A JP 2015228852A JP 2015228852 A JP2015228852 A JP 2015228852A JP 2017097602 A JP2017097602 A JP 2017097602A
Authority
JP
Japan
Prior art keywords
time
drone
state
series
calculation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015228852A
Other languages
English (en)
Other versions
JP6383716B2 (ja
Inventor
村田 直史
Tadashi Murata
直史 村田
達矢 橋本
Tatsuya Hashimoto
達矢 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd filed Critical Mitsubishi Heavy Industries Ltd
Priority to JP2015228852A priority Critical patent/JP6383716B2/ja
Publication of JP2017097602A publication Critical patent/JP2017097602A/ja
Application granted granted Critical
Publication of JP6383716B2 publication Critical patent/JP6383716B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】制御装置の操作者が無人機周辺の画像情報を見ながら無人機の手動遠隔制御を行う場合に、無人機から受信した実測値を、制御装置側において通信遅延を考慮した上で無人機制御動作に反映させる制御装置および制御方法を得る。【解決手段】、第1演算部は、一の実測値を反映した一の制御モデルに基づいて、時系列的演算が一の実測値の実測時刻から現在時刻に追い付く一の時刻まで実時間の経過よりも高速に、時系列的演算を順次実行可能であり、第2演算部は、他の実測値を反映した他の制御モデルに基づいて、時系列的演算が他の実測値の実測時刻から現在時刻に追い付く他の時刻まで実時間の経過よりも高速に、時系列的演算を順次実行可能であり、第1演算部は、一の時刻から次の他の時刻まで、無人機の現在の推定状態を表示装置に提供するように構成され、第2演算部は、他の時刻から次の一の時刻まで、無人機の現在の推定状態を表示装置に提供する。【選択図】図4

Description

本開示は、無人機との通信を介して無人機を遠隔制御するための制御装置および制御方法に関する。
遠隔制御される無人機は社会の様々なシーンで利用され、例えば、原子炉の廃炉作業の為の様々な無人機が開発され、軽作業や調査のために現場投入されている。ところで、無人機と通信する制御装置を使用して、無人機の手動遠隔制御を行う方法を採用すると、当該制御装置と当該無人機との間の通信遅延を無視することはできない。当該通信遅延により、無人機が自機の状態を実測した実測値を制御装置側に送信しても、制御装置側で遅延して受信され、制御装置側が無人機に対して送信した操作指令は、無人機側で遅延して受信されることとなる。通信遅延が無視できない環境では、無人機は、仕様の上では高速移動が可能であるにもかかわらず、実際の運用においては、インチングに近い制御動作を強いられる。その結果、そのような環境で無人機を遠隔制御して実行される作業は非常に効率が悪く、作業の遅延をもたらし、逆に操作者が自身で無人機の動作を予測して高速動作を試みると、操作者の誤操作を招いてしまう。
上述した通信遅延の影響を意識した遠隔制御システムの従来例として、特許文献1に記載の遠隔制御システムが挙げられる。特許文献1記載の発明において、無人機は、推定アルゴリズムなどにより推定した自機の推定位置と自機の実測位置とを比較し、当該推定位置と当該実測位置との間の誤差が大きい時だけ当該実測位置を制御装置に送信する。また、特許文献1記載の発明において、制御装置は、無人機側と同様の推定アルゴリズムで無人機の推定位置を追跡し、当該実測位置を受信すると、当該追跡中の推定位置を当該受信した実測位置により更新する。
特許第56324760号公報
通信遅延に起因する上記問題の解決策として高速な通信システムを導入しようとしても、充分な性能を達成可能な通信環境を構築できるとは限らず、無人機制御のためにそのような通信システムを実現することは困難である。例えば、原子炉建屋内では、広帯域通信が可能な光ファイバ回線を介して無人機と制御装置を接続する通信システムが採用されている。しかし、当該光ファイバ回線は、原子炉建屋内の他の機器類と共用されており、通信帯域を特定の無人機が専有できないので、当該光ファイバ回線を介した無人機の遠隔操作中に他の機器類による通信が発生した場合には、想定外の通信遅延が発生してしまう。
特許文献1記載の遠隔制御システムでは、無人機の推定位置と実測位置との間の誤差が大きい時だけ当該実測位置を無人機から制御装置に送信することにより、無人機と制御装置との間の通信帯域幅の使用量を低減し、それにより通信遅延の低減を図っている。しかしながら、特許文献1は無人機から受信したフィードバック信号(例えば、無人機が自機の状態を実測した実測値)を、制御装置側において通信遅延を考慮した上で無人機制御動作に反映させる仕組みや手段を開示していない。
上記問題点に鑑み、本発明に係る少なくとも一実施形態は、制御装置の操作者が無人機周辺の画像情報を見ながら無人機の手動遠隔制御を行う場合に、無人機から受信した実測値を、制御装置側において通信遅延を考慮した上で無人機制御動作に反映させる制御装置および制御方法を得ることを目的とする。
(1)本発明の幾つかの実施形態に係る制御装置は、無人機の現在の推定状態を順次画面表示可能な表示装置と、
前記無人機を遠隔制御するために前記表示装置に画面表示された前記無人機の現在の推定状態に基づいて操作者が入力した操作指令を前記無人機に送信可能であり、且つ、前記無人機が自機の状態を順次実測した実測値を前記無人機から順次受信可能な通信部と、
それぞれ前記実測値を反映した制御モデルに基づいて、前記操作指令から前記無人機の現在の推定状態を求める時系列的演算を実行して求められた前記無人機の現在の推定状態を前記表示装置に提供可能な第1演算部及び第2演算部を含む2つ以上の演算部と、
を備える制御装置であって、
前記第1演算部及び前記第2演算部は、前記実測値を交番的に受け取り可能であって、前記実測値を受け取る都度、前記時系列的演算を繰り返し実行するように構成され、
前記第1演算部は、交番的に受け取った一の実測値を反映した一の制御モデルに基づいて、前記時系列的演算が前記一の実測値の実測時刻から現在時刻に追い付く一の時刻まで実時間の経過よりも高速に、前記時系列的演算を順次実行可能であり、
前記第2演算部は、交番的に受け取った他の実測値を反映した他の制御モデルに基づいて、前記時系列的演算が前記他の実測値の実測時刻から現在時刻に追い付く他の時刻まで実時間の経過よりも高速に、前記時系列的演算を順次実行可能であり、
前記第1演算部は、前記一の時刻から次の前記他の時刻まで、前記無人機の現在の推定状態を前記表示装置に提供するように構成され、
前記第2演算部は、前記他の時刻から次の前記一の時刻まで、前記無人機の現在の推定状態を前記表示装置に提供するように構成されている。
上記(1)の構成においては、新たな実測値を無人機から受信すると、新たな実測値を既存の制御モデルに反映して更新することにより新たな制御モデルが得られるので、当該新たな実測値により制御モデルのモデル化誤差を改善することができる。ただし、そのためには、当該新たな実測値の実測時刻から現在時刻までの通信遅延により生じた制御モデルの更新遅延を補償する必要がある。そこで、上記(1)の構成においては、当該新たな制御モデルに基づいて無人機の現在の推定状態を時系列的に求める動作を、当該実測時刻から始めて現在時刻に追い付くまで、実時間の経過よりも高速に実行する。
以上より、上記(1)の構成によれば、通信遅延により無人機から新しい実測値を受信できない間でも操作者に対して無人機制御のためのフィードバックを与えつつ、最新の実測値を無人機から受信すると、通信遅延により生じた制御モデルの更新遅延を補償する形で、当該最新の実測値を操作者へのフィードバックに反映させることができる。従って、上記(1)の構成によれば、制御装置の操作者が無人機周辺の情報を頼りに無人機の手動遠隔制御を行う場合に、無人機から受信した実測値を、通信遅延を考慮した上で制御装置側の無人機制御動作に反映させることができる。
また、上記(1)の構成では、無人機の直近の状態を表す最新の実測値を制御装置が遅れて受信しても、当該遅れて受信するまでの間は、以前に受信した実測値が反映された制御モデルに基づいて、無人機の現在の状態を時系列的に状態推定しながら順次画面表示することができる。従って、最新の実測値を制御装置が遅れて受信するまでの間においても、順次画面表示すべき無人機の現在の状態を、以前の実測値が反映された制御モデルに基づいて時系列的に状態推定し続けることができる。従って、最新の実測値を制御装置が遅れて受信するまでの間に無人機の今現在の状態を見ながら制御を行うことができない空白の時間が存在しなくなるので、制御装置の操作者は、通信遅延を意識せずに、無人機の手動遠隔制御を行うことができる。
さらに、上記(1)の構成では、無人機の直近の状態を表す最新の実測値を制御装置が遅れて受信した後には、当該最新の実測値を反映した制御モデルに基づいて、無人機の現在の状態を状態推定して画面表示することができる。従って、制御モデルに基づいて状態推定された無人機の現在の状態を表示装置の画面上で見ながら操作者が無人機の手動遠隔制御を行う場合、時間の経過に伴う制御モデルのモデル化誤差を蓄積させずに、無人機の現在の状態を状態推定することが可能となる。
(2)本発明の幾つかの実施形態では、上記(1)の構成において、前記制御モデルは、状態推定フィルタを含むように構成され、
前記実測値の実測時刻から現在時刻に追い付く時刻まで、実時間の経過よりも高速に実行される前記時系列的演算は、前記実測値を前記状態推定フィルタの内部状態に反映させる事後予測動作と、前記実測値を反映させた内部状態に基づいて前記状態推定フィルタの予測動作を実時間の経過よりも高速に行う高速状態予測動作を含むように構成され、
前記無人機の現在の推定状態を前記表示装置に提供する処理は、実時間の経過よりも高速に実行される前記時系列的演算が現在時刻に追い付いた後に、前記高速状態予測動作を継続する形で前記状態推定フィルタの予測動作を実時間の経過に合わせて行いながら時系列的な前記推定状態を画面表示する事前予測動作に切り替えるように構成される。
上記(2)の構成では、前記制御モデルは、状態推定フィルタを含むように構成されている。上記(2)の構成では、制御モデルが状態推定フィルタ以外の伝達関数で表現される場合とは異なり、無人機の現在の状態を時系列的に状態推定する処理を、状態推定フィルタによる各ループ処理が時間軸上の各時刻に対応する単純な繰り返しループ処理として時間ドメインで実行することができる。
また、上記(2)の構成では、新たに受信した実測値を前記状態フィルタの内部状態に反映させる事後予測動作を実行するのに続き、当該実測値の実測時刻を起点として、当該実測値を反映させた内部状態に基づいて状態推定フィルタの予測動作を高速状態予測動作として実時間よりも高速に実行し、当該高速状態予測動作の実行が現在時刻に追い付いたら、状態推定フィルタの予測動作を事前予測動作に切り替えてそのまま継続する。
従って、上記(2)の構成では、制御モデルに基づいて無人機の現在の状態を時系列的に状態推定する処理を実現する際に、上述した時間ドメインでの各ループ処理が終了する都度、各ループ処理で算出された状態変数から無人機の現在の状態を直接得ることができる。その結果、無人機の現在の状態を状態推定する処理において、制御モデルの内部変数値を無人機の現在の状態に変換する処理が不要となり、計算を高速化することができる。
また、上記(2)の構成では、最新の実測値が反映された制御モデルに基づいて無人機の現在の状態を状態推定する処理を実現するには、最新の実測値が実測された時刻に対応するループ処理において状態推定フィルタの状態変数値に当該最新の実測値を反映させた上で予測動作をそのまま継続するだけでよい。その結果、当該最新の実測値を制御モデルに反映するために、当該最新の実測値を制御モデルの内部表現に変換した上で制御モデルの内部状態に適用する処理が不要となり、計算を高速化することができる。
(3)本発明の幾つかの実施形態では、上記(1)または(2)の構成において、前記2つ以上の演算部は第3演算部を含み、前記第3演算部は、
前記一の実測値を前記制御モデルに反映して得られる前記一の制御モデルに基づいて、前記操作指令から前記無人機の現在の推定状態を時系列的に求める時系列的演算を、前記一の実測値が実測された時刻から現在時刻を通過して一の未来の時点に至るまで、実時間の経過よりも高速に実行するように構成され、
前記第3演算部による時系列的演算は、前記第1演算部及び前記第2演算部による前記時系列的演算とは並列に実行するように構成され、
前記第3演算部による時系列的演算が前記一の未来の時点に到達した後に前記第3演算部による時系列的演算により求められた前記無人機の現在の推定状態を、前記無人機の未来の推定状態として、前記表示装置に提供可能であることを特徴とする。
上記(3)の構成によれば、無人機の状態を未来の時点まで時系列的に状態推定し、現在時刻から未来の時点までの無人機の状態を、当該無人機の現在の状態に重畳して画面表示することができる。その結果、上記(3)の構成によれば、操作者が想定している軌道に沿って無人機の遠隔制御を続けた場合に、未来の時点において無人機が障害物に接触したり、擱座したりする可能性を事前に察知することができる。従って、そのような場合には、操作者が事前に軌道を修正することが可能となる。特に、操作者が無人機周辺を撮影する視野から見て死角に隠れている障害物を見落として無人機制御を続けている場合、操作者のミスにより無人機が障害物に接触したり、擱座したりする可能性を事前に察知し、無人機の操作ミスを防止することが可能となる。
(4)本発明の幾つかの実施形態では、上記(3)の構成において、前記2つ以上の演算部は第4演算部を含み、前記第4演算部は、
前記他の実測値を前記制御モデルに反映して得られる前記他の制御モデルに基づいて、前記操作指令から前記無人機の現在の推定状態を時系列的に求める時系列的演算を、前記他の実測値が実測された時刻から現在時刻を通過して他の未来の時点に至るまで、実時間の経過よりも高速に実行するように構成され、
前記第4演算部による時系列的演算は、前記第1演算部、前記第2演算部及び前記第3演算部による前記時系列的演算とは並列に実行するように構成され、
前記第4演算部による時系列的演算が前記他の未来の時点に到達した後に前記第4演算部による時系列的演算により求められた前記無人機の現在の推定状態を、前記無人機の未来の推定状態として、前記表示装置に提供可能であり、
前記第3演算部は、前記一の未来の時点から次の前記他の未来の時点まで、前記無人機の未来の推定状態を前記表示装置に提供するように構成され、
前記第4演算部は、前記他の未来の時点から次の前記一の未来の時点まで、前記無人機の未来の推定状態を前記表示装置に提供するように構成されている。
上記(4)の構成によれば、第4演算部は、他の実測値を制御モデルに反映して得られる他の制御モデルに基づいて、操作指令から無人機の現在の推定状態を時系列的に求める時系列的演算を、他の実測値が実測された時刻から現在時刻を通過して他の未来の時点に至るまで、実時間の経過よりも高速に実行する。その際、第4演算部が受け取る他の実測値とは、第2演算部が交番的に受け取った実測値と同一の実測値であるから、第3演算部が受け取った一の実測値よりも後の新しい実測値である。つまり、第4演算部は、第3実測値が使用する制御モデルよりもさらに新しい実測値を反映した制御モデルに基づいて、上記時系列的演算を、現在時刻を通過して他の未来の時点に至るまで、実時間の経過よりも高速に実行する。このとき、他の未来の時点とは、第3演算部が、無人機の未来の推定状態を前記表示装置に提供する動作を完了する時刻である。そして、第4演算部による上記時系列的演算が当該他の未来の時点に到達した後に、第4演算部による上記時系列的演算により求められた無人機の現在の推定状態を、無人機の未来の推定状態として、表示装置に提供可能である。
従って、上記(4)の構成によれば、第4演算部は、第3演算部が使用する制御モデルよりも新しい実測値を反映した制御モデルに基づいて上記時系列的演算を他の未来の時刻に至るまで実時間よりも高速に実行する。その後に、第4演算部100dは、第3演算部が使用する制御モデルよりもさらに新しい実測値による更新作業が完了した制御モデルに基づいて、上述した無人機の未来の軌道を画面表示する処理を時点以降において実行する。その結果、第3演算部が上記時系列的演算を一の未来の時点に追い付くまで実時間よりも高速に実行し続けた後に、無人機の未来の推定状態に基づいて無人機の未来の軌道を画面表示する処理を他の未来の時点以降も継続すると制御モデルのモデル化誤差が増大してしまうという問題を軽減することができる。
また、上記(4)の構成によれば、第3演算部が上述した時系列的演算を次の未来の時点に追い付くまで実時間よりも高速に実行し続ける間においても、当該次の未来の時点までの無人機の時系列的な状態を、実時間の経過よりも先行する形で、時系列的に状態推定しながら画面表示することができる。従って、上記(4)の構成によれば、第3演算部が上述した時系列的演算を次の未来の時点に追い付くまで実時間よりも高速に実行し続ける間において、実時間よりも先行して時系列的に状態推定された無人機の未来の状態を観察しながら制御を行うことができない空白の時間が存在しなくなる。その結果、上記(4)の構成によれば、第3演算部が上述した時系列的演算を次の未来の時点に追い付くまで実時間よりも高速に実行し続ける間においても、近い将来において無人機が障害物に接触したり、擱座したりする可能性を事前に察知することができる。
(5)本発明の幾つかの実施形態では、上記(3)または(4)の構成において、前記2つ以上の演算部の少なくとも一つは、
前記第1演算部又は前記第2演算部が時系列的に求めた前記無人機の現在の推定状態を表示する画面に重畳させる形で、前記第3演算部および前記第4演算部が時系列的に求めた前記無人機の未来の推定状態を実時間の経過に先行する形で前記画面に表示するように構成されている。
上記(5)の構成によれば、操作者は、実時間よりも先行して時系列的に推定された無人機の未来の状態(無人機が辿ると想定される未来の軌道)を画面上で観察することができる。同時に、操作者は、無人機の未来の状態を観察する画面と同じ画面を使用して、無人機から直近に受信した実測値に基づいて時系列的に求めた無人機の現在の推定状態を視認しながら、無人機の遠隔制御を行うことができる。従って、上記(5)の構成によれば、未来の時点において無人機が障害物に接触したり、擱座したりするリスクを監視するのに使用する画面と同じ画面を使用して、無人機の現在の推定状態を表示する画面表示を見ながら遠隔手動制御を行うことが可能となる。
(6)本発明の幾つかの実施形態では、上記(3)または(4)の構成において、前記2つ以上の演算部の少なくとも一つは、
前記無人機の遠隔制御の開始に先立って、シミュレーションに基づく試行錯誤を繰り返すことにより前記無人機に対する一連の操作指令を含む操作プロファイルを生成する動作と、
前記操作プロファイルに基づいて前記無人機を無人制御する動作と、
前記第3演算部により実時間よりも未来の時点まで時系列的に求められた前記無人機の未来の推定状態が要回避状態を示すか否かを検出する動作と、
前記要回避状態を検出した際に、前記無人機の制御を、前記第1演算部および第2演算部が時系列的に求めた前記無人機の現在の推定状態を表示する画面表示に基づいて、操作者が手動で行う制御に切り替える動作と、
を実行するように構成される。
狭隘部を潜り抜けたり複雑に配置された障害物を連続的に回避したりする動作を無人機に行わせるための遠隔制御を操作者が行う場合、操作者の僅かな操作ミスで失敗する可能性が高い。従って、そのような複雑で失敗確率の高い動作を無人機に行わせるのに先立って、現実と同様の状況を設定した仮想環境において操作者が事前に操作トレーニングを積んだ上で、実際の遠隔制御を開始するのがリスク回避上好ましい。
そこで、上記(6)の構成においては、無人機の遠隔制御の開始に先立って、手動による遠隔制御と同一の操作インターフェースを有する上記仮想環境内において、無人機を遠隔操作した場合の操作シナリオをシミュレーションにより模擬実行する。そして、上記(6)の構成においては、当該シミュレーションにより様々な操作シナリオを模擬実行する試行錯誤を繰り返すことにより前記無人機に対する一連の操作指令を含む操作プロファイルを生成し、当該操作プロファイルに従って無人機をセミオート(半自動)制御する。また、上述した操作プロファイルに従ったセミオート(半自動)制御の実行中に、障害物と接触したり無人機が擱座したりする可能性を事前に察知した場合には、操作者の手動による遠隔制御を介入させ、当該セミオート(半自動)制御を修正することができるようにしてある。
従って、上記(6)の構成によれば、シミュレーションにより様々な操作シナリオを模擬実行する試行錯誤を繰り返すことにより操作者が手動遠隔制御と同一の操作インターフェースを使用して事前に操作のトレーニングを積むことができる。そして、当該セミオート(半自動)制御の実行中に予定外の失敗リスクが生じた場合には、当該セミオート制御を手動で修正することもできる。その結果、上記(5)の構成によれば、複雑で失敗確率の高い動作を無人機に行わせる際の失敗リスクを低減することができる。
(7)本発明の幾つかの実施形態では、上記(3)または(4)の構成において、前記2つ以上の演算部の少なくとも一つは、
前記第3演算部により前記実時間よりも未来の時点まで時系列的に求めた前記無人機の未来の推定状態が要回避状態を示すか否かを検出する動作と、
前記要回避状態を前記検出した際に、前記操作指令に優先して前記無人機に回避軌道をとらせる緊急操作指令を前記無人機に送信する動作と、
をさらに実行する、ように構成されている。
上記(7)の構成によれば、無人機の状態を未来の時点まで状態推定することにより障害物と接触したり無人機が擱座したりする可能性を事前に察知した場合には、操作者の手動による遠隔制御に優越して、制御装置の演算部が無人機に回避軌道をとらせる回避制御を自動的に実行することができる。その結果、障害物と接触したり無人機が擱座したりする可能性を事前に察知した場合に、当該回避制御を操作者に任せきりにするのではなく、制御装置の演算部の判断により操作者を介さずに自動実行することができる。
以上より、本発明に係る少なくとも一実施形態は、制御装置の操作者が無人機周辺の画像情報を見ながら無人機の手動遠隔制御を行う場合に、無人機から受信した実測値を、制御装置側において通信遅延を考慮した上で無人機制御動作に反映させることができる。具体的には、本発明に係る少なくとも一実施形態は、通信遅延により無人機から新しい実測値を受信できない間でも操作者に対して無人機制御のためのフィードバックを与え続けることができる。また、本発明に係る少なくとも一実施形態は、最新の実測値を無人機から受信すると、通信遅延による制御モデルの更新遅延を補償する形で当該最新の実測値を操作者へのフィードバックに反映させることができる。
一実施形態に係る遠隔制御システムの構成図である。 一実施形態に係る遠隔制御システムを構成する各装置の内部構成図である。 制御装置内において動作する制御系の一部に対応するブロック線図である。 状態推定処理と画像表示処理の実時間軸上での時系列的なタイミングを図示するタイミング・ダイアグラムである。 実測値パケットの受信に応じて状態推定処理を実測時刻まで遡らせる様子を示すタイミング・ダイアグラムである。 時系列的な状態推定をカルマンフィルタにより実現した場合に、実測値パケットの受信に応じて状態推定処理を実測時刻まで遡らせる様子を示す図である。 時系列的な状態推定をカルマンフィルタのループ処理として実行する際のフローチャートである。 状態推定処理と画像表示処理の実時間軸上での時系列的なタイミングを図示するタイミング・ダイアグラムである。 別の実施形態における制御装置の内部構成を示す図である。 シミュレーションを実行中の遠隔制御システムの構成図である。 遠隔制御システムが、シミュレーション結果を使用して無人機の遠隔制御を行う様子を示す図である。
以下、添付図面を参照して本発明の幾つかの実施形態について説明する。ただし、実施形態として記載されている又は図面に示されている構成部品の寸法、材質、形状、その相対的配置等は、本発明の範囲をこれに限定する趣旨ではなく、単なる説明例にすぎない。
例えば、「同一」、「等しい」及び「均質」等の物事が等しい状態であることを表す表現は、厳密に等しい状態を表すのみならず、公差、若しくは、同じ機能が得られる程度の差が存在している状態も表すものとする。一方、一の構成要素を「備える」、「具える」、「具備する」、「含む」、又は、「有する」という表現は、他の構成要素の存在を除外する排他的な表現ではない。
以下、まず最初に、幾つかの実施形態に係る無人機の制御装置および制御方法を説明するのに先立って、当該制御装置および制御方法の適用対象である遠隔制御システムの一例について図1を参照して説明する。続いて、当該制御装置の構成と動作および当該制御方法の処理内容について図2乃至図11を参照して説明する。
図1は、本発明の幾つかの実施形態に係る制御装置および制御方法の適用対象である遠隔制御システムの一例を示す。図1に示す遠隔制御システム1は、制御装置の操作者が無人機周辺の画像情報を見ながら無人機の手動遠隔制御を行う目的に使用されても良いシステムであり、制御装置10および無人機20を含んで構成されている。制御装置10に接続された操作盤150を操作することにより操作者が操作指令を入力すると、該操作指令は、エンコーダ130により角度指令値θin、角速度指令値ωinまたはトルク指令値qinなどを表す指令値信号に変換され、無人機20側に送信される。エンコーダ130は指令生成部と捉えてもよく、操作盤150の操作指令に加え、実角度,実角速度または実トルク情報を利用して演算を実行し、角度指令値θin、角速度指令値ωinまたはトルク指令値qinなどを表す指令値信号に変換してもよい。操作指令値として無人機20側に送信される上述した角度指令値θin、角速度指令値ωinまたはトルク指令値qinなどは、無人機20に設けられたマニピュレータの関節や走行車輪を駆動する駆動モータの角度、角速度およびトルクなどの制御目標値として使用されても良い。無人機20において、制御装置10から送信された指令値信号は、無人機20内の無人機側制御装置21によって受信され、無人機側制御装置21は、当該指令値信号に基づいてサーボ機構22のサーボ制御動作を駆動する。サーボ機構22は、無人機側制御装置21によりサーボ制御動作を駆動されると、無人機20に設けられた走行車輪やマニピュレータ等のアクチュエータ類をサーボ制御する。
サーボ機構22は、無人機20の現在の状態を実測するためのセンサ類と接続されている。当該センサ類の具体例としては、無人機20に設けられたマニピュレータの関節や走行車輪を駆動する駆動モータの回転速度を計測するタコメータ、無人機20の周囲を撮影するカメラおよび無人機20の現在位置を測定するための位置測定センサなどが含まれてもよい。無人機側制御装置21は、サーボ機構22から上述したセンサ類の測定値を受け取ると、当該測定値から無人機20の駆動モータの現在の実角度θout、実角速度ωoutおよび実トルク値qoutなどを求めてもよい。このようにしてサーボ機構22から受け取った測定値に基づいて無人機側制御装置21が求めた駆動モータの現在の実角度、実角速度および実トルク値などは、無人機20の現在の状態を実測した実測値として無人機20から制御装置10に対してフィードバック信号として送信される。無人機20から制御装置10に送信される上述した実角度θout、実角速度ωoutおよび実トルク値qoutなどは、制御装置10から無人機20に対して操作指令値として送信された角度指令値θin、角速度指令値ωinおよびトルク指令値qinに対する閉ループ制御用のフィードバック信号として使用されても良い。
次に、図2を参照しながら、図1に示す制御装置10と無人機20の内部構成と共に、遠隔制御システム1の詳細な構成について説明する。図2に示すように、制御装置10と無人機20とは、光ファイバ回線30を介して通信可能に接続されており、光ファイバ回線30にはさらに、監視カメラや他の無人機91、92および他の制御装置や監視用装置93も接続されている。制御装置10は、2つ以上の演算部100(100a〜100n)、通信部110、記憶部120、エンコーダ130およびインターフェース140を含んで構成されると共に、操作盤150および表示装置160が接続されている。制御装置10内において、2つ以上の演算部100(100a〜100n)、通信部110、記憶部120、エンコーダ130およびインターフェース140は、図示しないバスによって通信可能に相互接続されている。操作盤150および表示装置160は、インターフェース140を介して、2つ以上の演算部100(100a〜100n)、通信部110、記憶部120およびエンコーダ130と接続されている。
操作盤150は、無人機20を遠隔操作するための操作入力を操作者が制御装置10に対して入力するために使用する操作盤であり、ジョイスティックや操作ボタン類などを備える。表示装置160は、無人機の現在の推定状態を順次画面表示可能な画像表示装置であってもよい。通信部110は、制御装置10が光ファイバ回線30を介して他の機器と通信するために使用される通信インターフェース回路であってもよい。通信部110は、無人機20を遠隔制御するために表示装置160に画面表示された無人機20の現在の推定状態に基づいて操作者が入力した操作指令を無人機20に送信可能に構成されている。さらに、通信部110は、無人機20が自機の状態を順次実測した実測値を無人機20から順次受信可能に構成されている。エンコーダ130は、操作盤150を操作することにより操作者により入力された操作指令を、実角度、実角速度または実トルク情報を利用して、角度指令値θin、角速度指令値ωinまたはトルク指令値qinなどを表す指令値信号に変換して通信部110および演算部100に出力する。
2つ以上の演算部100(100a〜100n)は、第1演算部100a及び第2演算部100bを含む。図3乃至図5を参照しながら後述するように、第1演算部100a及び第2演算部100bは、無人機20の現在の推定状態を求める時系列的演算を実行して求められた無人機20の現在の推定状態を表示装置160に提供可能に(画面表示可能に)構成されている。その際、無人機20の現在の推定状態は、第1演算部100a及び第2演算部100bがそれぞれ無人機20から受信した実測値を反映した制御モデルに基づいて、操作指令から無人機20の現在の状態を推定することによって求められる。なお、第1演算部100aおよび第2演算部100bが時系列的に求めた無人機20の推定状態を表示装置160上で画面表示する処理は、以下のように実行されても良い。まず、無人機20に設けたセンサ/カメラ類221からの撮影画像や計測情報に基づいて無人機20の周囲の環境を画像化する。続いて、無人機20の現在位置、無人機20と他の構造物との間の相対的な位置関係、無人機20の姿勢(ピッチ角、ロール角、ヨー角)および無人機20に設けられたマニピュレータの姿勢などを、第1演算部100aおよび第2演算部100bが時系列的に求めた無人機20の推定状態から算出する。最後に、無人機20の周囲の環境を画像化した背景画像を表示装置160上に画面表示すると共に、上記のように算出された姿勢をとる無人機20の画像を、無人機20の現在位置に対応する背景画像内の位置に表示する。また、例示的な一実施形態では、2つ以上の演算部100(100a〜100n)は、2個以上の別々の演算回路として実現しても良く、各演算回路は、汎用プロセッサ、マイクロコントローラまたはデジタル信号処理プロセッサ等であってもよい。また、代替的な一実施形態では、単一のマルチコアCPUに含まれる各プロセッサ・コアを、2つ以上の演算部100(100a〜100n)の各々として動作させても良い。
また、無人機20は、無人機側制御装置21とサーボ機構22を含んで構成され、サーボ機構22には、無人機20に装備されたセンサ/カメラ類221とアクチュエータ類222が接続されている。無人機側制御装置21は、サーボ機構22と接続されると共に、無人機側の通信部211および無人機側の制御演算部212を含んで構成される。センサ類221の具体例としては、無人機20に設けられたマニピュレータの関節や走行車輪を駆動する駆動モータの回転速度を計測するタコメータ、無人機20の周囲を撮影するカメラおよび無人機20の現在位置を測定するための位置測定センサなどが含まれていてもよい。アクチュエータ類222の具体例としては、無人機20に設けられたマニピュレータの関節や走行車輪を駆動する駆動モータなどが含まれていても良い。無人機側の通信部211は、光ファイバ回線30を介して制御装置10と通信するための通信インターフェース回路であっても良い。無人機側制御装置21内において、無人機側の制御演算部212は、無人機側の通信部211を介して制御装置10から操作指令値を受信すると、当該操作指令値に基づいてサーボ機構22に対して制御指令を与える。サーボ機構22は、センサ/カメラ類221およびアクチュエータ類222と共に、無人機20に設けられたマニピュレータや走行車輪のサーボ制御を行うための閉ループ制御系の一部を形成し、無人機側制御装置21からの制御指令に基づいて当該サーボ制御を実行してもよい。
なお、図2において、光ファイバ回線30には、制御装置10および無人機20の他に、監視カメラや他の無人機91、92および他の制御装置や監視用装置93を含む多数の機器が接続され、これら多数の機器により、光ファイバ回線30の通信帯域や通信リソースは共有されている。従って、制御装置10と無人機20との間の通信は、他の機器による光ファイバ回線30上での通信帯域使用によって遅延させられる場合があり、その場合には、制御装置10と無人機20との間において通信遅延が発生し得る。当該通信遅延により、無人機20が自機の状態を実測した実測値Mを制御装置10側に送信しても、制御装置10側で遅延して受信され、制御装置10側が無人機に対して送信した操作指令は、無人機20側で遅延して受信されることとなる。通信遅延が無視できない環境では、無人機20は、仕様の上では高速移動が可能であるにもかかわらず、実際の運用においては、インチングに近い制御動作を強いられる。その結果、そのような環境で無人機を遠隔制御して実行される作業は非常に効率が悪く、作業の遅延をもたらし、逆に操作者が自身で無人機20の動作を予測して高速動作を試みると、操作者の誤操作を招いてしまう。
図3は、無人機20を遠隔制御するために制御装置10内において動作する制御系の一部に対応するブロック線図である。図3のブロック線図は、第1演算部100a及び第2演算部100bが、無人機20の現在の推定状態を求める時系列的演算を実行して求められた無人機20の現在の推定状態を表示装置160に提供するまでの情報信号の流れを表している。図3において、図2に示す2つ以上の演算部の中の第1演算部100aと第2演算部100bは、機能モジュールとして生成された第1制御モデル401、第2制御モデル402、切替手段411および切替手段412を実行している。これらの機能モジュールは、例えば、第1演算部100aと第2演算部100bが専用のソフトウェアを記憶部120から読み込んで実行することにより生成された機能モジュールであってもよい。例示的な一実施形態においては、第1制御モデル401と第2制御モデル402は、第1演算部100aと第2演算部100bによって別々に実行されてもよい。その場合、図4および図5を参照しながら後述するように、第1演算部100aは、第1制御モデル401に基づいて時系列的な状態推定処理を実行し、第1演算部100bは、第2制御モデル402に基づいて時系列的な状態推定処理を実行する。
図3に示す第1制御モデル401および第2制御モデル402は、無人機20に対する操作指令を入力として与えると、無人機20の推定出力信号を出力する機能モジュールである。第1制御モデル401および第2制御モデル402は、無人機20からフィードバックされる実測値に基づいて観測される無人機20の応答特性(挙動特性)を数式モデルとして記述しており、当該数式モデルに基づいて、無人機20に対する操作指令から無人機20の推定出力信号を出力する。例示的な一実施形態においては、当該数式モデルは、カルマンフィルタを含む状態推定フィルタとして記述されてもよい。切替手段411は、無人機20の現在の状態を実測した実測値として無人機20から通信部110を介して受信した実測値を、第1制御モデル401側に出力するのか、第2制御モデル402側に出力するのかを切り替える機能モジュールである。切替手段412は、表示装置160に画面表示すべき出力信号を第1制御モデル401から出力させるか、第2制御モデル402から出力させるかを切り替える機能モジュールである。
図3において、操作盤150から入力された操作指令と実角度、実角速度または実トルク情報は、エンコーダ130により、角度指令値θin、角速度指令値ωinまたはトルク指令値qinなどを表す操作指令値信号に変換され、通信部110および演算部100に出力される。エンコーダからの操作指令値信号は、信号経路42および44を経由して第1制御モデル401および第2制御モデル402に入力され、その結果、無人機20の現在の推定状態を表す推定角度θ’、推定角速度ω’または推定トルクq’などの推定状態信号が出力される。続いて、上記推定状態信号は、信号経路43および45を経由して切替スイッチ52に到達し、切替手段412による切替スイッチ52の切り替え方向に応じて第1制御モデル401または第2制御モデル402のいずれか一方から表示装置160に対して出力される。上記の推定状態信号(推定角度θ’、推定角速度ω’または推定トルクq’など)は、無人機20の現在位置、無人機20の現在の姿勢および無人機20が備えるマニピュレータの現在の状態等を表す画像に変換された上で、表示装置160の画面上に表示される。
また、無人機20の現在の状態を実測した値として通信部110が無人機20から受信した実測値の信号は、切替手段411による切替スイッチ51の切り替え方向に応じて第1制御モデル401または第2制御モデル402のいずれか一方に出力される。第1制御モデル401または第2制御モデル402は、無人機20からの実測値を受け取ると、無人機20の応答特性(挙動特性)を表す数式モデルに当該実測値を適用する処理を行う。その結果、無人機20からの実測値が第1制御モデル401または第2制御モデル402に反映されることとなる。
以上より、図3に示す情報信号の流れから第1演算部100aおよび第2演算部100bにより実行される信号処理動作の概要を説明すると以下のとおりとなる。すなわち、第1演算部100aおよび第2演算部100bは、それぞれ無人機20から受信した実測値を通信部110から受け取ると、当該実測値を第1制御モデル401または第2制御モデル402に反映させる。これと並行して、第1演算部100aおよび第2演算部100bは、エンコーダ130が出力する操作指令を受け取ると、当該実測値を反映した第1制御モデル401および第2制御モデル402に基づいて、操作指令を入力として無人機20の現在の推定状態を出力する。続いて、第1演算部100aおよび第2演算部100bは、第1制御モデル401または第2制御モデル402が出力した推定状態に基づいて無人機20の現在の状態を推定した結果を表す画像を、表示装置160により画面表示する。
次に、図3のブロック線図で示される制御系において、第1演算部100a及び第2演算部100bが、無人機20の現在の推定状態を求める時系列的演算を実行して求めた無人機20の現在の推定状態を表示装置160に出力する一連の動作フローについて、図4を参照しながら説明する。図4は、無人機20の現在の推定状態を時系列的に求める処理と当該時系列的に求めた無人機20の現在の推定状態を画面表示する処理の実時間軸上での時系列的な実行タイミングを示している。図4では、第1演算部100a及び第2演算部100bが、互い違いに交替して(交番的に)無人機20からの実測値を受け取り、当該実測値を受け取る都度、無人機20の現在の推定状態を時系列的に求めるための上述した時系列的演算を繰り返し実行する様子が示されている。具体的には、図4に示す時刻T、TおよびTにおいて、第1演算部100aは、無人機20からの実測値を受け取り、図3に示す第1制御モデル401に対して当該受け取った実測値を反映させる動作を行う。なお、時刻T、TおよびTにおいては、図3の切替スイッチ51は、第1制御モデル401に接続された信号経路46の側に切り替えられている。他方、図4に示す時刻T、TおよびTにおいて、第2演算部100bは、無人機20からの実測値を受け取り、図3に示す第2制御モデル402に対して当該受け取った実測値を反映させる動作を行う。なお、時刻T、TおよびTにおいては、図3の切替スイッチ51は、第2制御モデル402に接続された信号経路47の側に切り替えられている。
また、図4では、第1演算部100aが、交番的に受け取った一の実測値を反映した新たな第1制御モデル401’に基づいて、無人機20の現在の推定状態を求めるための上述した時系列的演算を順次実行する様子が示されている。その際、第1演算部100aは、上述した時系列的演算を、当該一の実測値の実測時刻から現在時刻に追い付く一の時刻まで、実時間の経過よりも高速に実行する。また、図4では、第2演算部100bが、交番的に受け取った他の実測値を反映した新たな第2制御モデル402’に基づいて、無人機20の現在の推定状態を求めるための上述した時系列的演算を順次実行する様子が示されている。その際、第2演算部100bは、上述した時系列的演算を、当該他の実測値の実測時刻から現在時刻に追い付く他の時刻まで、実時間の経過よりも高速に実行する。
具体的には、第1演算部100aは、図4に示す時刻T、TおよびTにおいてそれぞれ受け取った実測値M、MおよびMを反映した第1制御モデル401’に基づいて、無人機20の現在の推定状態を求めるための時系列的演算を順次実行する。その際、第1演算部100aは、まず最初に、時刻Tにおいて受け取った実測値Mを第1制御モデル401に反映させて新しい第1制御モデル401’とする。続いて、第1演算部100aは、上述した時系列的演算を、時刻Tにおいて受け取った実測値Mが無人機20において実測された時刻である実測時刻T まで遡らせる。続いて、第1演算部100aは、上述した時系列的演算を、実測時刻T から時刻tまで(図4のp1で表す期間に対応)、実時間の経過よりも高速に実行する。ここで、時刻tは、第1演算部100aにより当該高速に実行される時系列的演算が現在時刻Tcに追い付く時刻に相当する。また、実測値Mを受信した受信時刻Tと実測時刻T との間の時間差は、無人機20と制御装置10との間の通信遅延に対応する。
同様に、第1演算部100aは、時刻TおよびTにおいてそれぞれ受け取った実測値MおよびMについても、実測時刻T およびT まで遡って実時間の経過よりも高速に上記時系列的演算をそれぞれ実行し、当該高速に実行される時系列的演算を現在時刻Tcに追い付く時刻tおよびtまで(図4のp3およびp5で表す期間に対応)それぞれ続ける。ここで、実測値Mを受信した受信時刻Tと実測時刻T との間の時間差および実測値Mを受信した受信時刻Tと実測時刻T との間の時間差は、無人機20と制御装置10との間の通信遅延にそれぞれ対応する。
他方、第2演算部100bは、図4に示す時刻T、TおよびTにおいてそれぞれ受け取った実測値を反映した第2制御モデル402’に基づいて、無人機20の現在の推定状態を求めるための時系列的演算を順次実行する。その際、第2演算部100bは、まず最初に、時刻Tにおいて受け取った実測値Mを第2制御モデル402に反映させて新しい第2制御モデル402’とする。続いて、第2演算部100bは、上述した時系列的演算を、時刻Tにおいて受け取った実測値Mが無人機20において実測された時刻である実測時刻T まで遡らせる。続いて、第2演算部100bは、上述した時系列的演算を、実測時刻T から時刻tまで(図4のp2で表す期間に対応)、実時間の経過よりも高速に実行する。ここで、時刻tは、第2演算部100bにより当該高速に実行される時系列的演算が現在時刻Tcに追い付く時刻に相当する。また、実測値Mを受信した受信時刻Tと実測時刻T との間の時間差は、無人機20と制御装置10との間の通信遅延に対応する。
同様に、第2演算部100bは、時刻TおよびTにおいてそれぞれ受け取った実測値についても、実測時刻T およびT まで遡って実時間の経過よりも高速に上記時系列的演算をそれぞれ実行し、当該高速に実行される時系列的演算が現在時刻Tcに追い付く時刻tおよびtまで(図4のp4およびp6で表す期間に対応)それぞれ続ける。ここで、実測値Mを受信した受信時刻Tと実測時刻T との間の時間差および実測値Mを受信した受信時刻Tと実測時刻T との間の時間差は、無人機20と制御装置10との間の通信遅延にそれぞれ対応する。なお、以下の説明においては、インデックス値k(1≦k≦K)の各々は、時間軸上に順番に並ぶ各時刻と一対一に対応しているものとする。
図3および図4を参照して上述した状態推定処理においては、新たな実測値M(1≦k≦K)を無人機20から受信すると、第1演算部100aと第2演算部100bは、以下の処理動作を行う。すなわち、新たな実測値M(1≦k≦K)を既存の第1制御モデル401または第2制御モデル402に反映させることにより新たな第1制御モデル401’または第2制御モデル402’を得る。その結果、第1演算部100aまたは第2演算部100bは、当該新たな実測値M(1≦k≦K)により制御モデルのモデル化誤差を改善することができる。ただし、そのためには、当該新たな実測値M(1≦k≦K)の実測時刻T から現在時刻Tcまでの通信遅延により生じた第1制御モデル401または第2制御モデル402の更新遅延を補償する必要がある。そこで、図3および図4を参照して上述した状態推定処理においては、新たな第1制御モデル401’または第2制御モデル402’に基づいて無人機20の現在の推定状態を時系列的に求める時系列的演算を、当該実測時刻T から始めて現在時刻Tcに追い付くまで、実時間の経過よりも高速に実行する。
従って、新たに受信した実測値を制御モデルに反映するのに続いて、無人機20の現在の推定状態を時系列的に求める時系列的演算を、現在時刻Tcに追い付くまで、実時間の経過よりも高速に実行し終わった直後における制御モデルは当該新たな実測値による更新作業が完了した制御モデルであると言える。例えば、実測値Mによる更新作業が完了した第1制御モデル401”は、以下のようにして得られる。まず、実測値Mを第1制御モデル401に反映して新たな第1制御モデル401’を得る。その後、新たな第1制御モデル401’に基づく上述した時系列的演算を、現在時刻Tcに追い付くまで、実時間の経過よりも高速に実行する。すると、当該時系列的演算を実時間の経過よりも高速に実行し終わった直後における第1制御モデル401”は、実測値Mによる更新作業が完了した第1制御モデル401”であると言える。
次に、図4を参照しながら、第1演算部100aおよび第2演算部100bが、時系列的に求めた無人機20の推定状態を画面表示するための処理についてまず具体例から説明する。図4を参照して述べたとおり、実測値Mが無人機20において実測された実測時刻T を起点として第1演算部100aは、実測値Mにより第1制御モデル401を更新するための上記時系列的演算を高速に実行し、当該高速実行が現在時刻Tcに追い付く時刻tまで上述した時系列的演算を続ける。また、実測値Mが無人機20において実測された実測時刻T を起点として第2演算部100bは、実測値Mにより第2制御モデル402を更新するための上記時系列的演算を実時間よりも高速に実行し、当該高速実行が現在時刻Tcに追い付く時刻tまで上述した時系列的演算を続ける。その場合、時刻tから時刻tまでの間の期間中においては、第2演算部100bは、実測値Mが受信されるのを時刻Tまで待ち続け、実測値Mが受信されると、実測時刻T を起点として時刻tまで実時間よりも高速に上記時系列的演算を実行する。従って、時刻Tから時刻t2までの間の期間中においては、第2演算部100bは、実時間の経過と歩調を合わせて第2制御モデル402に基づいて時系列的に求めた無人機20の現在の推定状態を画面表示することができない。その理由は以下のとおりである。実時間よりも高速に算出される上記時系列的演算により得られた無人機20の推定状態の時系列を実時間に歩調を合わせて画面表示するには、当該推定状態の時系列から一部の推定状態だけを間引きする形で画面表示する必要がある。しかし、そのように当該推定状態の時系列から一部の推定状態だけを間引きする形で画面表示すると、画面上での無人機20の動きが滑らかさの無い不連続な動きとなってしまう。また、無人機20の推定状態を時系列的に求める時系列的演算を実時間よりも高速に実行する処理と同時並行して、当該時系列的に求めた無人機20の推定状態を順次画面表示してゆく処理は、演算部100に過大な負荷をかける可能性があるからである。そこで、時刻tから時刻tまでの間の期間中においては、第1演算部100aが、時刻Tにおいて受信した実測値Mによる更新作業が完了した第1制御モデル401”に基づいて時系列的に求めた無人機20の現在の推定状態を画面表示する動作を実行する。このとき、図3の切替スイッチ52は、第1制御モデル401に接続された信号経路43の側に切り替えられている。
また、実測値Mが無人機20において実測された実測時刻T を起点として第2演算部100bは、実測値Mにより第2制御モデル402を更新するための上記時系列的演算を高速に実行し、当該高速実行が現在時刻Tcに追い付く時刻tまで上述した時系列的演算を続ける。また、実測値Mが無人機20において実測された実測時刻T を起点として第1演算部100aは、実測値Mにより第1制御モデル401を更新するための上記時系列的演算を実時間よりも高速に実行し、当該高速実行が現在時刻Tcに追い付く時刻tまで上述した時系列的演算を続ける。その場合、時刻tから時刻tまでの間の期間中においては、第1演算部100aは、実測値Mが受信されるのを時刻Tまで待ち続け、実測値Mが受信されると、実測時刻T を起点として時刻tまで実時間よりも高速に上記時系列的演算を実行する。従って、時刻Tから時刻tまでの間の期間中においては、第1演算部100aは、実時間の経過と歩調を合わせて第1制御モデル401に基づいて時系列的に求めた無人機20の現在の推定状態を画面表示することができない。そこで、時刻tから時刻tまでの間の期間中においては、第2演算部100bが、時刻Tにおいて受信した実測値Mによる更新作業が完了した第2制御モデル402”に基づいて時系列的に求めた無人機20の現在の推定状態を画面表示する動作を実行する。このとき、図3の切替スイッチ52は、第2制御モデル402に接続された信号経路45の側に切り替えられている。
図4を参照しながら画面表示処理に関して述べた以上の説明を一般化すると以下のようになる。ここで、説明の便宜上、実測値M(1≦k≦K)が無人機20において実測された実測時刻T (1≦k≦K)を起点として第1演算部100aにより上述した時系列的演算を高速に実行して現在時刻Tcに追い付く時刻t(1≦k≦K)を指して一の時刻と呼ぶことにする。また、実測値Mk+1が無人機20において実測された実測時刻T k+1を起点として第1演算部100aにより上述した時系列的演算を高速に実行して現在時刻Tcに追い付く時刻tk+1を指して他の時刻と呼ぶことにする。その場合、第1演算部100aは、一の時刻(時刻t)から次の他の時刻(時刻tk+1)まで、前記無人機の現在の推定状態を画面表示のために表示装置160に提供するように構成される。また、上記一の時刻(時刻t)の次に到来する一の時刻を時刻tk+2とすると、第2演算部100bは、他の時刻(時刻tk+1)から次の一の時刻(時刻tk+2)まで、無人機20の現在の推定状態を画面表示のために表示装置160に提供するように構成されている。
その結果、図4の下部に示すように、時刻tから時刻tまでの間のq1およびp2で表される期間中においては、第1演算部100aが、実測値Mによる更新作業が完了した第1制御モデル401”に基づいて無人機20の推定状態を時系列的に求め、当該時系列的に求めた推定状態が表示装置160において画面表示される。また、時刻tから時刻tまでの間のq2およびp3で表される期間中においては、第2演算部100bが、実測値Mによる更新作業が完了した第2制御モデル402”に基づいて無人機20の推定状態を時系列的に求め、当該時系列的に求めた推定状態が表示装置160において画面表示され、時刻tから時刻tまでの間のq3およびp4で表される期間中においては、第1演算部100aが,実測値Mによる更新作業が完了した第1制御モデル401”に基づいて無人機20の推定状態を時系列的に求め、当該時系列的に求めた推定状態が表示装置160において画面表示される。以下同様にして、第1演算部100aと第2演算部100bとは、それぞれ時系列的に求めた無人機20の現在の推定状態を、互い違いに交替して(交番的に)表示装置160に提供し、画面表示させる。
ところで、第1演算部100aまたは第2演算部100bのいずれか一方が無人機20からの実測値を受信すると、無人機20の推定状態を時系列的に求める処理は、当該実測値が無人機20側で実測された実測時刻に遡って実行される。そのため、無人機20の推定状態を求める対象となる時刻は、現在時刻から見ると、実時間の経過に対して逆行した(遡及した)時点に対応する場合がある。従って、以下の説明においては、無人機20の推定状態を求める対象となる時刻は、実時間における実時刻とは異なることから、実時間における実時刻と区別するために、仮想化された時間(仮想時間)における仮想時刻として抽象概念化することとする。図5は、無人機20からの実測値M(1≦k≦K)の受信に応じて無人機20の現在の推定状態を時系列的に求める状態推定処理を実測時刻T (1≦k≦K)まで遡らせる様子を示す図である。図5においては、第1演算部100aが第1制御モデル401に基づいて無人機20の現在の推定状態を時系列的に求める際の仮想時刻の推移が仮想時間J1として示されている。また、図5においては、第2演算部100bが第2制御モデル402に基づいて無人機20の現在の推定状態を時系列的に求める際の仮想時刻の推移が仮想時間J2として示されている。なお、図5に示す時刻T、T、T、…および時刻t、t、t、…は、図4に示す時刻T、T、T、…および時刻t、t、t、…と同一の時刻を表す。
図5において、第1演算部100aの動作を仮想時間J1に沿って順次説明すると以下のとおりである。第1演算部100aは、図5に示す時刻Tにおいて受け取った実測値Mを反映した第1制御モデル401に基づいて、無人機20の現在の推定状態を求めるための時系列的演算を実行する。その際、第1演算部100aは、まず最初に、時刻Tにおいて受け取った実測値Mを第1制御モデル401に反映させて新しい第1制御モデル401’とする。続いて、第1演算部100aは、上述した時系列的演算を、時刻Tにおいて受け取った実測値Mが無人機20において実測された時刻である実測時刻T まで遡及させる。このとき、実測時刻T は、実測値Mを受信した受信時刻Tから図5のτ11で示す時間幅だけ実時間を逆行する形で遡及した時刻である。続いて、第1演算部100aは、上述した時系列的演算を、実時間の経過よりも高速に実行し、当該高速実行を実測時刻T から時刻tまでの間だけ(図5においてτ12で表される期間の間だけ)実行し続ける。ここで、時刻tは、仮想時間J1において実時間の経過よりも高速に実行される時系列的演算が現在時刻Tcに追い付く時刻である。同様に、第1演算部100aは、時刻Tにおいて受け取った実測値Mについても、実測時刻T まで遡って(図5に示すτ31)実時間の経過よりも高速に上記時系列的演算を実行し、当該高速実行を現在時刻Tcに追い付く時刻tまでそれぞれ続ける(図5のτ32)。
また、図5において、第2演算部100bの動作を仮想時間J2に沿って順次説明すると以下のとおりである。第2演算部100bは、図5に示す時刻Tにおいて受け取った実測値Mを反映した第2制御モデル402に基づいて、無人機20の現在の推定状態を求めるための時系列的演算を実行する。その際、第2演算部100bは、まず最初に、時刻Tにおいて受け取った実測値Mを第2制御モデル402に反映させて新しい第2制御モデル402’とする。続いて、第2演算部100bは、上述した時系列的演算を、時刻Tにおいて受け取った実測値Mが無人機20において実測された時刻である実測時刻T まで遡及させる。このとき、実測時刻T は、実測値Mを受信した受信時刻Tから図5のτ21で示す時間幅だけ実時間を逆行する形で遡及した時刻である。続いて、第2演算部100bは、上述した時系列的演算を、実時間の経過よりも高速に実行し、当該高速実行を実測時刻T から時刻tまでの間だけ(図5においてτ22で表される期間の間だけ)実行し続ける。ここで、時刻tは、仮想時間J2において実時間の経過よりも高速に実行される時系列的演算が現在時刻Tcに追い付く時刻である。同様に、第2演算部100bは、時刻Tにおいて受け取った実測値Mについても、実測時刻T まで遡って(図5に示すτ41)実時間の経過よりも高速に上記時系列的演算を実行し、当該高速実行を現在時刻Tcに追い付く時刻tまでそれぞれ続ける(図5のτ42)。
図3乃至図5を使用して上述した実施形態においては、新たな実測値Mを無人機20から受信すると、新たな実測値Mを既存の第1制御モデル401または第2制御モデル402に反映することにより新たな第1制御モデル401’または第2制御モデル402’が得られる。従って、この実施形態においては、当該新たな実測値Mにより制御モデルのモデル化誤差を改善することができる。ただし、そのためには、当該新たな実測値Mの実測時刻T から現在時刻Tcまでの通信遅延により生じた制御モデルの更新遅延を補償する必要がある。そこで、この実施形態においては、当該新たな第1制御モデル401’または第2制御モデル402’に基づいて無人機20の現在の推定状態を時系列的に求める動作を、当該実測時刻T から始めて現在時刻Tcに追い付くまで、実時間の経過よりも高速に実行する。
以上より、この実施形態によれば、通信遅延により無人機20から新しい実測値Mを受信できない間でも操作者に対して無人機制御のためのフィードバックを与えつつ、最新の実測値Mを無人機20から受信すると、通信遅延により生じた第1制御モデル401および第2制御モデル402の更新遅延を補償する形で、当該最新の実測値Mを操作者へのフィードバックに反映させることができる。従って、この実施形態によれば、制御装置10の操作者が無人機周辺の画像情報を見ながら無人機20の手動遠隔制御を行う場合に、無人機20から受信した実測値Mを、通信遅延を考慮した上で制御装置10側の無人機制御動作に反映させることができる。
また、この実施形態では、無人機20の直近の状態を表す最新の実測値Mを制御装置10が遅れて受信しても、当該遅れて受信するまでの間は、以前に受信した実測値Mk−1が反映された直近の第1制御モデル401または第2制御モデル402に基づいて、無人機20の現在の状態を時系列的に状態推定しながら順次画面表示することができる。従って、最新の実測値Mを制御装置10が遅れて受信するまでの間においても、順次画面表示すべき無人機20の現在の状態を、以前の実測値Mk−1が反映された直近の第1制御モデル401または第2制御モデル402に基づいて時系列的に状態推定し続けることができる。従って、最新の実測値Mを制御装置10が遅れて受信するまでの間に無人機20の今現在の状態を見ながら制御を行うことができない空白の時間が存在しなくなるので、制御装置10の操作者は、通信遅延を意識せずに、無人機20の手動遠隔制御を行うことができる。
さらに、この実施形態では、無人機20の直近の状態を表す最新の実測値Mを制御装置10が遅れて受信した後には、当該最新の実測値Mを反映した第1制御モデル401’または第2制御モデル402’に基づいて、無人機20の現在の状態を状態推定して画面表示することができる。従って、制御モデルに基づいて状態推定された無人機20の現在の状態を表示装置160の画面上で見ながら、操作者が無人機20の手動遠隔制御を行う場合、時間の経過に伴う第1制御モデル401および第2制御モデル402のモデル化誤差を蓄積させずに、無人機20の現在の状態を状態推定することが可能となる。
例示的な一実施形態では、図3乃至図5を参照して上述した第1制御モデル401および第2制御モデル402は、状態推定フィルタを含むように構成されてもよい。この実施形態では、第1制御モデル401および第2制御モデル402が無人機20の現在の推定状態を時系列的に求めるための時系列的演算を、以下のように実行することができる。すなわち、状態推定フィルタは、各ループ処理が時間軸上の各時刻に対応する単純な繰り返しループ処理として、上記時系列的演算を時間ドメインで実行することができる。なお、時間軸上に順番に並ぶ各時刻は、各インデックス値k(1≦k≦K)と一対一に対応しているので、状態推定フィルタが繰り返し実行する各ループ処理も各インデックス値k(1≦k≦K)と一対一に対応している。従って、この実施形態では、第1制御モデル401および第2制御モデル402に基づいて無人機20の現在の状態を時系列的に状態推定する処理を実現する際に、上述した時間ドメインでの各ループ処理が終了する都度、各ループ処理で算出された状態変数から無人機20の現在の状態を直接得ることができる。その結果、無人機20の現在の状態を状態推定する処理において、第1制御モデル401および第2制御モデル402の内部変数値を無人機20の現在の状態に変換する処理が不要となり、計算を高速化することができる。
以下、無人機20の現在の推定状態を時系列的に求めるための時系列的演算として図3乃至図5を参照して上述した処理を実現するために、第1演算部100aと第2演算部100bが実行する動作の流れについて、まず具体例から説明する。この実施形態では、新たに受信した実測値Mの実測時刻T を起点として、新たに受信した実測値Mに基づいて状態推定フィルタの状態予測動作を実時間よりも高速に実行する。この状態予測動作は、仮想時間軸上において状態推定の起点である実測時刻T まで時間を遡って実時間よりも高速に時系列的な状態推定を実行する動作であるから、以下においては、遡及的状態予測動作と呼ぶことにする。遡及的状態予測動作は、遡及した実測時刻T において制御モデルに対して実測値Mを反映させるための事後予測動作と、実測値Mkが反映された新しい制御モデルに基づいて実測時刻T から現在時刻Tcに追い付くまで時系列的な状態推定を実時間よりも高速に実行する高速状態予測動作とから構成される。新たに受信した実測値Mに基づいて状態推定フィルタが行う上記事後予測動作は、新たに受信した実測値Mを第1制御モデル401または第2制御モデル402に反映させて新たな第1制御モデル401’または第2制御モデル402’を得る動作に対応する。状態推定フィルタが行う上記高速状態予測動作は、当該新たな第1制御モデル401’または当該新たな第2制御モデル402’に基づいて無人機20の現在の推定状態を時系列的に求める時系列的演算を実時間よりも高速に実行する処理に対応する。実時間よりも高速に実行される当該高速状態予測動作が現在時刻Tcに追い付いたら、状態推定フィルタの状態予測動作を事前予測動作に切り替えてそのまま継続する。事前予測動作は、時系列的な状態推定結果を画面表示しながら実時間の経過に歩調を合わせて実行される点を除いて、上記高速状態予測動作とほぼ同様の状態推定処理を実行する。上記状態推定フィルタにより実行される上記事前予測動作は、状態推定フィルタとして実装された第1制御モデル401または第2制御モデル402が新たに受信した実測値により更新された後に(更新済みの第1制御モデル401”または更新済みの第2制御モデル402”が得られた後に)開始する。つまり、上記状態推定フィルタは、現在時刻Tcに追いつくまでは高速状態予測動作を実時間よりも高速で演算実行し、追いついたら、状態予測動作を事前予測動作に切り替え、無人機20の現在の推定状態を時系列的に求める時系列的演算を、実時間の経過と歩調を合わせて実行する。その結果、上記事前予測動作により出力される無人機20の推定状態は、表示装置160上で画面表示される。
図6は、状態推定フィルタをカルマンフィルタとして構成し、無人機20の時系列的な状態推定をカルマンフィルタにより実行した場合に、実測値パケットの受信に応じて状態推定処理を実測時刻まで遡らせる様子を示す。なお、時間軸上に順番に並ぶ各時刻は、各インデックス値k(1≦k≦K)と一対一に対応しているので、以下の説明においては、簡単のために、時間軸上においてインデックスkに対応する時刻を指して時刻kと呼ぶことにする。無人機20の制御応答特性をモデル化した第1制御モデル401および第2制御モデル402を独立した制御系システムと看做し、時刻k(1≦k≦K)における無人機20の推定状態を
Figure 2017097602

で表し、時刻k(1≦k≦K)における入力をu(k)、時刻k(1≦k≦K)における観測雑音をw(k)、システム雑音をv(k)、システム雑音の分散をσ と表した場合、当該制御系システムの状態方程式、観測方程式および共分散は以下のように表される。
Figure 2017097602
なお、上記式(3)によって求められる共分散は、カルマンフィルタが現在時刻kにおける無人機20の状態x(k)と状態観測値Y(k)=[y,…,y]との関係から未来の時刻k+1の状態推定値を求める予測動作モードで動作する際に使用する共分散である。
図6において、時間軸に対応する縦軸の左側は、実時間の経過に伴って無人機20の状態を実測した実測値が無人機20側で時系列的に推移してゆく様子を表す。また、図6において、時間軸に対応する縦軸の右側は、仮想時間の経過に伴って第1演算部100aと第2演算部100bが状態推定フィルタに基づいて無人機20の推定状態を時系列的に求めていく様子を表す。
図6に示す縦軸の左側では、実時間軸上における時刻k−4、時刻k−3、時刻k−2、時刻k−1および時刻kにおける無人機20の実状態
Figure 2017097602
が、実時間の経過に伴う無人機20側の実測値の時系列的推移として示されている。図6に示す縦軸の右側では、状態推定フィルタが実行する事前予測動作により、仮想時間軸上の時刻k−4、時刻k−3、時刻k−2、時刻k−1および時刻kにおいて無人機20の時系列的な推定状態を以下のように求めている。
Figure 2017097602

上記状態推定フィルタが実行する上記事前予測動作は、時刻k−4、時刻k−3、時刻k−2、時刻k−1および時刻kにそれぞれ対応する時系列的なループ処理として実行され、直前の時刻h−1における無人機20の推定状態
Figure 2017097602

を上記式(1)の状態方程式に適用することにより、時刻kにおける無人機20の推定状態
Figure 2017097602

を求めるものである。つまり、上記状態推定フィルタが実行する上記事前予測動作は、以前に受信した実測値Mk−1による更新作業が完了した第1制御モデル401”または第2制御モデル402”に基づいて無人機20の推定状態を時系列的に求める時系列的演算に相当する処理である。
時刻kにおいて、制御装置10が無人機20から新たな実測値Mを受信すると、状態推定フィルタは、まず、事後予測動作を行う。この事後予測動作は、時刻kにおいて受信した新たな実測値Mを第1制御モデル401または第2制御モデル402に反映させて新たな第1制御モデル401’または第2制御モデル402’を得る動作に対応する。続いて、上記状態推定フィルタは、上述した高速状態予測動作を時系列的なループ処理として実行する状態に移行する。この高速状態予測動作は、時刻kにおいて受信した新たな実測値Mを第1制御モデル401または第2制御モデル402に反映させて得られる新たな第1制御モデル401’または第2制御モデル402’に基づいて、無人機20の推定状態を時系列的に求める時系列的演算を実時間の経過よりも高速に実行する処理に対応する。
具体的には、状態推定フィルタは以下の処理動作を実行する。時刻kにおいて新たな実測値Mを受信した状態推定フィルタが上述した遡及的予測動作に移行すると、無人機20側で実測値Mが実測された実測時点であるk−3まで状態予測動作を遡及させる。これは、図5を参照して上述した説明において、新たな実測値Mを受信したことを契機に仮想時間J1およびJ2の流れが実測値Mの実測時点T まで実時間に逆行して遡及する振る舞いに対応する。従って、時刻kと時刻k−3との間の時間差は、制御装置10と無人機20との間における通信遅延に対応する。仮想時刻を上記のように遡及させると、状態推定フィルタは、まず、以下のように事後予測動作を実行する。すなわち、状態推定フィルタは、実測値Mが実測された実測時点であるk−3まで状態予測動作を遡及させると、状態推定フィルタ内の内部状態変数の新たな値を新たに受信した実測値Mに基づいて算出する。具体的には、状態推定フィルタは、上述した事前予測動作により時刻k−3における無人機20の推定状態として求めた
Figure 2017097602

の新たな値を、実測値Mに基づいて更新する処理を行う。これは、時刻kにおいて受信した新たな実測値Mを第1制御モデル401または第2制御モデル402に反映させて、新たな第1制御モデル401’または第2制御モデル402’を得る動作に対応する。その場合、状態推定フィルタは、時刻kにおいて受信した新たな実測値Mが表す状態観測値
Figure 2017097602

に基づいて時刻k−3における無人機20の新たな推定状態を、
Figure 2017097602
として求める。
無人機20側で実測時刻k−mにおいて実測値Mが実測され、カルマンフィルタが、時刻kにおいて、新たな実測値として実測値Mを受け取った際に、実測値Mが表す状態観測値
Figure 2017097602
に基づいて時刻k−mにおける無人機20の新たな推定状態
Figure 2017097602
をカルマンフィルタが求める処理は以下のように定式化することができる。
Figure 2017097602
上記式(4)において、g(k−m)は、カルマンゲインであり、事前予測動作において上記式(3)に基づいて求められた共分散を使用して、以下の式により算出されてもよい。
Figure 2017097602
上記式(5)において、σ は、観測雑音wの分散を表す。なお、上記式(5)に基づいて無人機20の状態観測値から無人機20の新しい推定状態を求める計算は、カルマンフィルタが無人機20の現在時刻kにおける状態x(k)と状態観測値Y(k)=[y,…,y]との関係から現在時刻kの状態推定値を求めるフィルタリング動作モードに対応する。カルマンフィルタがフィルタリング動作モードで動作している場合に算出する共分散は、上記式(3)で求められる共分散とは異なり、以下の式で求められる事後共分散である。
Figure 2017097602
続いて、時刻kにおいて受信した新たな実測値Mを内部状態変数に反映させた状態推定フィルタは、高速状態予測動作を、時刻k−3において実時間の経過よりも高速に実行する。既に述べたように、高速状態予測動作において状態推定フィルタが実行する演算は、実時間よりも高速に実行される点を除いて上述した事前予測動作をほぼ同一である。まず、時刻k−3、時刻k−2、時刻k−1および時刻kにおける無人機20の時系列的な推定状態として、
Figure 2017097602

を順次算出する。上記状態推定フィルタが実行する上記高速状態予測動作は、時刻k−3、時刻k−2、時刻k−1および時刻kにそれぞれ対応する時系列的なループ処理として実行され、例えば、時刻h−1における無人機20の推定状態
Figure 2017097602
を上記式(1)の状態方程式に適用することにより、時刻kにおける無人機20の推定状態
Figure 2017097602

を求めるものである。
時刻kにおいて受信した新たな実測値Mを内部状態変数に反映させた状態推定フィルタが高速状態予測動作を時刻kまで実時間よりも高速に実行し、時刻kまでの当該高速状態予測動作が終わると、当該高速に実行された高速状態予測動作は、現在時刻Tcに追い付くこととなる。続いて、状態推定フィルタは、時刻k+1以降における事前予測動作を時系列的なループ処理として実行する状態に復帰し、時刻k+1、k+2、k+3、…における無人機20の推定状態を以下のように時系列的に算出する。
Figure 2017097602

つまり、実時間よりも高速に実行される当該高速状態予測動作が現在時刻Tcに追い付いたら、状態推定フィルタは、状態予測動作を事前予測動作に切り替えてそのまま継続する。これは、第1演算部100aと第2演算部100bにより実行される以下の処理に対応する。すなわち、実時間の経過よりも高速に実行される上記時系列的演算が現在時刻Tcに追い付いた後に、実時間の経過に歩調を合わせて上記時系列的演算により無人機20の推定状態を時系列的に求め、画面表示のために表示装置160に出力する処理に対応する。
以上の説明を一般化すると、第1演算部100aと第2演算部100bは、当該状態推定フィルタを以下のように構成する。実測値Mの実測時刻T から現在時刻に追い付く時刻まで、新たに受信した実測値Mに基づく上記時系列的演算を実時間の経過よりも高速に実行するために、第1演算部100aおよび第2演算部100bは、実測値Mに基づいて上記状態推定フィルタの予測動作を行う遡及的状態予測動作を含むように上記状態推定フィルタを構成する。この遡及的状態予測動作は、実測値Mを状態推定フィルタの内部状態に反映させる事後予測動作と、実測値Mを反映させた内部状態に基づいて状態推定フィルタの予測動作を実時間の経過よりも高速に行う高速状態予測動作と、を含む。つまり、上記状態推定フィルタは、実測値Mを制御モデルに反映する処理として事後予測動作を実行した後に、上記時系列的演算を実時間よりも高速に実行する高速状態予測動作に移る。そして、状態推定フィルタは、実時間の経過よりも高速に実行される上記時系列的演算(高速状態予測動作)が現在時刻Tcに追い付いた後に、上記高速状態予測動作を(実時間の経過に合わせて実行速度を落とした上で)そのまま継続する形で上記状態推定フィルタの状態予測動作を事前予測動作に切り替えるように構成され、上記事前予測動作により出力される無人機20の推定状態は、画面表示のために表示装置160に提供される。
図6に示す状態推定フィルタを使用する上記構成では、新たに受信した実測値Mの実測時刻T を起点として、新たに受信した実測値Mに基づいて状態推定フィルタの予測動作を高速状態予測動作として実時間よりも高速に実行し、当該高速状態予測動作の実行が現在時刻Tcに追い付いたら、状態推定フィルタの予測動作を事前予測動作に切り替えてそのまま継続する。従って、図6に示す状態推定フィルタを使用する上記構成では、第1制御モデル401および第2制御モデル402に基づいて無人機20の現在の状態を時系列的に状態推定する処理を実現する際に、上述した時間ドメインでの各ループ処理が終了する都度、各ループ処理で算出された状態変数から無人機20の現在の状態を直接得ることができる。その結果、無人機20の現在の状態を状態推定する処理において、第1制御モデル401および第2制御モデル402の内部変数値を無人機の現在の状態に変換する処理が不要となり、計算を高速化することができる。
また、図6に示す状態推定フィルタを使用する上記構成では、最新の実測値Mが反映された第1制御モデル401’および第2制御モデル402’に基づいて無人機の現在の状態を状態推定する処理を実現するには、最新の実測値Mが実測された時刻T に対応するループ処理において状態推定フィルタの状態変数値に当該最新の実測値Mが表す実状態の値を反映した上で状態予測動作をそのまま継続するだけでよい。その結果、当該最新の実測値Mを第1制御モデル401および第2制御モデル402に反映するために、当該最新の実測値Mを制御モデルの内部表現に変換した上で第1制御モデル401および第2制御モデル402の内部状態に適用する処理が不要となり、計算を高速化することができる。
図7は、図6を参照しながら上述した状態推定フィルタの動作の流れをフローチャートで表したものである。図7に示すフローチャートにおいて、処理はまずステップS01から開始し、時刻をT=Tと初期設定し、各時刻に対応するインデックス値kについてk=1と初期設定する。なお、以下の説明において、各インデックス値kは、図5を参照しながら上述した仮想時間における時間軸上に並んだ仮想時刻の各々に対応する。続いて、図7のフローチャートの処理はステップS02に進む。ステップS02は、無人機20から新たな実測値Mが受信されるのを待ち続け、新たな実測値Mが受信されると、新たな実測値Mが反映された第1制御モデル401’または第2制御モデル402’に基づいて無人機20の推定状態を時系列的に求める時系列的演算を実時間の経過よりも高速に実行する段階に相当する。例えば、ステップS02は、図4において第2制御モデル402を実行する第2演算部100bが、時刻tから時刻tまでの間に行う動作および時刻tからtまでの間に行う動作に対応する。また例えば、ステップS02は、図4において第1制御モデル401を実行する第1演算部100aが、時刻tから時刻tまでの間に行う動作および時刻tからtまでの間に行う動作に対応する。
ステップS02は、サブステップS71乃至S76により構成され、ステップS02の実行が開始されると、図7のフローチャートの処理は、サブステップS71からサブステップS76を実行する。図7のフローチャートの処理がサブステップS71に進むと、状態推定フィルタは、無人機20から新たな実測値Mが受信されるのを待ち続けている間の処理を実行する。具体的には、サブステップS71においては、状態推定フィルタは、直前の時刻k−1における無人機20の推定状態
Figure 2017097602
から現在時刻kにおける無人機20の推定状態
Figure 2017097602
を上記式(1)に従って算出する事前予測動作を行う。
続いて、処理はサブステップS72に進み、時計の針が現在時刻kから次の時刻k+1に進むまで待つ。続いて、処理はサブステップS73に進み、状態推定フィルタは、無人機20から新たな実測値Mが受信されたか否かを判定し、受信されていなければ、インデックスkの値をインクリメントしてk=k+1とした上で、処理はサブステップS71に戻り、受信されていれば、処理はサブステップS74に進む。サブステップS74においては、状態推定フィルタは、時刻kにおいて無人機20から新たに受信した実測値Mにより表される無人機20の状態観測値に基づいて状態推定フィルタの内部状態変数の新しい値を算出する。具体的には、新たに受信した実測値Mが、無人機20側において実測時刻k−mにおいて実測された実測値であるとすると、新たに受信した実測値Mにより表される無人機20の状態観測値は、
Figure 2017097602
となるので、この状態観測値から上記式(4)に基づいて時刻k−mにおける無人機20の新たな推定状態
Figure 2017097602
を求める。続いて、状態推定フィルタは、仮想時刻を実測値Mの実測時刻k−mまで遡らせるために、k=k−mとする。
続いて、処理はサブステップS75に進み、状態推定フィルタは、時刻kが実時間における現在時刻Tcに追い付いたか否かを判定し、追い付いていなければ、処理はサブステップS76に進み、追い付いていれば、処理はステップS02の実行を終了してステップS03に進む。サブステップS76においては、サブステップS71と同様の処理を行うことによって、時刻k−mにおける無人機20の推定状態
Figure 2017097602
から次の時刻k−m+1における無人機20の推定状態
Figure 2017097602
を求める。続いて、サブステップS76においては、インデックスkの値をインクリメントしてk=k+1とした上で、サブステップS75に戻る。
なお、サブステップS71からサブステップS73を繰り返し実行するループ処理とは異なり、サブステップS75およびサブステップS76を繰り返し実行するループ処理においては、時計の針が時刻kから時刻k+1に移るまで待つ処理が介在していない。そのため、演算部100のハードウエア性能上の実行速度が十分に速ければ、サブステップS75およびサブステップS76を繰り返し実行するループ処理は、実時間の経過よりも高速に実行されることとなる。
ステップS03は、無人機20から直近に受信した実測値Mによる更新作業が完了した第1制御モデル401”または第2制御モデル402”に基づいて無人機20の推定状態を時系列的に求める時系列的演算と当該時系列的に求められた無人機20の推定状態を画面表示する処理に対応する。例えば、ステップS03は、図4において第1制御モデル401を実行する第1演算部100aが、時刻tから時刻tまでの間に行う動作および時刻tからtまでの間に行う動作に対応する。また例えば、ステップS03は、図4において第2制御モデル402を実行する第2演算部100bが、時刻tから時刻tまでの間に行う動作および時刻tからtまでの間に行う動作に対応する。ステップS03は、サブステップS77乃至S79により構成され、ステップS03の実行が開始されると、図7のフローチャートの処理は、サブステップS77からサブステップS79を実行する。図7のフローチャートの処理がサブステップS77に進むと、状態推定フィルタは、サブステップS71と同様の処理を行うことによって、現在時刻kにおける無人機20の推定状態
Figure 2017097602

から次の時刻k+1における無人機20の推定状態
Figure 2017097602
を求める。続いて、サブステップS77においては、インデックスkの値をインクリメントしてk=k+1とした上で、サブステップS78に進み、サブステップS78においては、時計の針が現在時刻kから次の時刻k+1に進むまで待つ。
続いて、処理はサブステップS79に進み、無人機20から新たな実測値が受信されたか、または他の演算部100における別の状態推定フィルタにより実行されるサブステップS75およびサブステップS76の繰り返し実行ループ処理が現在時刻Tcに追い付いたならば、処理はステップS04に進む。新たな実測値が受信されておらず、他の演算部100が実行中の別の状態推定フィルタによる上記繰り返しループ処理が現在時刻Tcに追い付いてもいないならば、処理は、サブステップS77に戻る。ステップS04においては、状態推定フィルタの処理を終了すべきかを判断し、終了すべきでないならば、処理は、ステップS02を構成するサブステップS71に戻り、上述した一連の処理を再度実行し、そうでなければ、状態推定フィルタの処理を終了する。
次に、無人機20を遠隔制御するための制御装置および制御方法の別の実施形態について説明する。この実施形態では、2つ以上の演算部100(100a〜100n)の中の少なくとも一つの第3演算部100cが、第1演算部100a及び前記第2演算部100bとは別に、無人機20の推定状態を時系列的に求める演算部として追加されている。また、第3演算部100cは、第1演算部100a及び前記第2演算部100bとは別に、第3制御モデル403を機能モジュールとして実行している。この実施形態では、第3演算部100cが、時刻T において実測された実測値Mを受信すると、第1演算部100a及び前記第2演算部100bが無人機20の推定状態を時系列的に求める時系列的演算とは並列に、以下の処理を実行する。すなわち、実測値Mを第3制御モデル403に反映して得られる新たな第3制御モデル403’に基づいて、無人機20の推定状態を時系列的に求める時系列的演算を、時刻T から実時間よりも未来の時点に至るまで実行する。第3演算部100cによる上記時系列的演算は、実時間の経過よりも高速に、未来の時点に至るまで実行される。第3演算部100cが当該未来の時点に至るまで上記時系列的演算を高速に実行したら、第3演算部100cは、現在時刻Tcから当該未来の時点までの無人機20の推定状態を、表示装置160上で画面表示する。当該未来の時点までの無人機20の推定状態を画面表示する動作は、第1演算部100a及び前記第2演算部100bが時系列的に求めた無人機20の現在の推定状態を表示した画像の上に重畳して、無人機20の薄い影を表示する形で行われる。
図8は、第3演算部100cが、上述した時系列的演算を、時刻T から実時間よりも未来の時点に至るまで実時間よりも高速に実行する様子を説明するためのタイミング図である。図9は、この実施形態において無人機20を遠隔制御するのに使用される制御装置10の内部構成を示す図である。図9に示す制御装置10は、記憶部120の中に作業環境モデル121、シミュレーション・プログラム122および未来軌道予測データ123が格納されている点を除いて、図2に示す制御装置10とほぼ同様の構成を有する。作業環境モデル121、シミュレーション・プログラム122および未来軌道予測データ123については、以下において具体的に後述する。また、図9に示す制御装置10が備える第1演算部100a、第2演算部100b、第3演算部100c、第4演算部100d、第5演算部100eおよび第6演算部100fの各々は、図2に示す2つ以上の演算部100(100a〜100n)の各々と同様の演算部である。なお、図9には示していないが、第3演算部100cおよび第4演算部100dは、無人機20の制御応答特性をモデル化した機能モジュールとして第3制御モデル403および第4制御モデル404をそれぞれ実行している。
第1演算部100aと第2演算部100bは、図3乃至図5を参照しながら上述したように、第1制御モデル401および第2制御モデル402に基づいて、無人機20の現在の状態を時系列的に求める演算部である。第3演算部100cと第4演算部100dは、図8を参照しながら以下において後述するように、第3制御モデル403および第4制御モデル404に基づいて、無人機20の現在から未来の時点までの状態を時系列的に予測する演算部である。また、第5演算部100eは、以下において後述するように、無人機20の現在から未来の時点までの状態を時系列的に予測した結果に基づいて、無人機20が障害物に接触したり擱座したりする可能性を事前に察知するための要回避判定処理を実行する。また、第6演算部100fは、図10および図11を参照しながら以下において後述するように、制御装置10が無人機20との通信を中断してオフライン状態にある間に、仮想的な作業環境を想定して無人機20の遠隔制御を模擬的に実行するためのシミュレーションを実行する。
以下、図8および図9を参照しながら第3演算部100cが、上述した時系列的演算を、実測値Mの実測時刻T から実時間よりも未来の時点(未来の仮想時刻)に至るまで実時間よりも高速に実行する処理の流れを説明する。図8において、第1演算部100aは、図4に示す時刻T、TおよびTにおいてそれぞれ受け取った実測値を反映した第1制御モデル401’に基づいて、無人機20の現在の推定状態を求めるために図4において上述したシナリオと同様の時系列的演算を順次実行する。具体的には、第1演算部100aは、図4に示すシナリオと同様に、時刻Tにおいて受け取った実測値Mを第1制御モデル401に反映させて新しい第1制御モデル401’とする。続いて、第1演算部100aは、上述した時系列的演算を、時刻Tにおいて受け取った実測値Mが無人機20において実測された時刻である実測時刻T まで遡らせる。続いて、第1演算部100aは、上述した時系列的演算を、実測時刻T から時刻tまで(図4のp1で表す期間に対応)、実時間の経過よりも高速に実行する。ここで、時刻tは、第1演算部100aにより当該高速に実行される時系列的演算が現在時刻Tcに追い付く時刻に相当する。同様に、第1演算部100aは、時刻TおよびTにおいてそれぞれ受け取った実測値MおよびMについても、同様の処理を行う。また、第2演算部100bは、図4に示す時刻T、TおよびTにおいてそれぞれ受け取った実測値を反映した第2制御モデル402’に基づいて、無人機20の現在の推定状態を求めるために図4において上述したシナリオと同様の時系列的演算を順次実行する。
他方、第3演算部100cは、時刻Tにおいて受け取った実測値Mを制御モデルに反映して上述した時系列的演算を、実測時刻T から実時間の経過よりも高速に実行する点で第1演算部100aの上述した動作と同様であるが、以下の点が異なる。つまり、第1演算部100aおよび第2演算部100bと並行して、第3演算部100cは、時刻Tにおいて受け取った実測値Mを第3制御モデル403に反映させて新しい第3制御モデル403’とする。続いて、第3演算部100cは、上述した時系列的演算を、時刻Tにおいて受け取った実測値Mが無人機20において実測された時刻である実測時刻T まで遡らせる。続いて、第3演算部100cは、実時間よりも高速に実行される上述した時系列的演算を実測時刻T から開始するが、当該高速に実行される時系列的演算が現在時刻Tcに追い付く時刻tを過ぎても当該高速に実行される時系列的演算をそのまま継続する。その結果、第3演算部100cは、実時間よりも高速に実行される上述した時系列的演算を、現在時刻を過ぎた未来の仮想時刻tまで、実時間の経過よりも高速に実行する(図8のτで表す期間に対応)。従って、第3演算部100cは、第1演算部100aが上記時系列的演算を実時間よりも高速に実行する動作を終了する時刻tよりも時間幅τだけ将来の時点まで当該高速に実行される時系列的演算を続ける。第3演算部100cが、実時間よりも高速に実行される上述した時系列的演算を、未来の仮想時刻tまで実行し終わると、第3演算部100cは、以下の動作を未来の仮想時刻tまで実行する。すなわち、第3演算部100cは、実測値Mによる更新作業が完了した第3制御モデル403”に基づいて、無人機20の推定状態を時系列的に求める時系列的演算を、実時間の経過に歩調を合わせた実行速度で実行し続ける。これと同時並行して、第3演算部100cは、当該時系列的に求めた無人機20の推定状態を表示装置160上に画面表示する。なお、以下において後述するように、この画面表示は、無人機20の推定状態に基づく無人機20の未来の軌道を、実時間の経過に先行する形で画面表示する処理に対応する。
以上より、図8に示す実施形態によれば、無人機20の状態を未来の時点まで時系列的に状態推定し、現在時刻Tcから未来の時点までの無人機20の状態を、無人機20の現在の状態に重畳して画面表示することができる。その結果、この実施形態によれば、操作者が想定している軌道に沿って無人機20の遠隔制御を続けた場合に、未来の時点(未来の仮想時刻)において無人機20が障害物に接触したり、擱座したりする可能性を事前に察知することができる。従って、そのような場合には、操作者が事前に軌道を修正することが可能となる。特に、操作者が無人機20周辺を撮影する視野から見て死角に隠れている障害物を見落として無人機制御を続けている場合、操作者のミスにより無人機20が障害物に接触したり、擱座したりする可能性を事前に察知し、無人機20の操作ミスを防止することが可能となる。
なお、未来の時点において無人機20が障害物に接触したり、擱座したりする可能性を検出する処理は、図9において要回避判定機能部として動作する第5演算部100eによって実行される。図9に示す第5演算部100eは、まず、無人機20の状態を第3演算部100cにより未来の時点まで時系列的に状態推定した結果に基づいて、無人機20が辿ると予想される未来の軌道を予測する。続いて、第5演算部100eは、当該予測された未来の軌道を表すデータを記憶部120内に格納された未来軌道予測データ123に書き込む。続いて、第5演算部100eは、記憶部120内に格納された作業環境記述モデル121が表す作業環境と未来軌道予測データ123が表す無人機20の未来軌道との間の空間的関係に基づいて当該予測された軌道が無人機20と他の構造物との接触や無人機20の擱座を示すか否かを判定する。ここで、作業環境記述モデル121内においては、無人機20の作業環境内に存在する他の構造物や地面の凹凸、無人機20の周囲を囲む壁の形状などが幾何学的データとして幾何学的モデリング言語などにより記述されている。以上のようにして、第5演算部100eにより無人機20が障害物に接触したり、擱座したりする可能性が事前に検出されると、要回避判定機能部として動作する第5演算部100eは、無人機20に回避軌道をとらせる必要がある旨の警告を操作者に対して発することができる。
次に、図8および図9を参照しながら、無人機20を遠隔制御するための制御装置および制御方法のさらに別の実施形態について、まず具体例から説明する。図8に示すシナリオにおいて上述したように、第3演算部100cは、実時間よりも高速に実行される上述した時系列的演算を実測時刻T から開始するが、当該高速に実行される時系列的演算が現在時刻Tcに追い付く時刻tを過ぎても当該高速に実行される時系列的演算をそのまま継続する。その結果、第3演算部100cは、実時間よりも高速に実行される上述した時系列的演算を、現在時刻を過ぎた未来の仮想時刻tまで、すなわち、図8のτで示す期間にわたって実時間の経過よりも高速に実行する。これと並行して、時刻tから時刻tまでの間においては、図4を参照して上述したように、実時間の経過と歩調を合わせて無人機20の推定状態を画面表示する処理を第1演算部100aと第2演算部100bとが互い違いに交替しながら実行する。このとき、無人機20の未来の推定状態に基づく無人機20の未来の軌道を、実時間の経過に先行する形で画面表示する処理は、第3演算部100cによって未来の仮想時刻tから未来の仮想時刻tまでの間について実行される。
しかしながら、時刻Tにおいて実測値Mを受信して以来新たな実測値を受信していない第3演算部100cが、無人機20の未来の軌道を、実時間の経過に先行する形で画面表示する処理を、未来の仮想時刻t以降も継続すると、当然ながら第3制御モデル403のモデル化誤差が増大してしまう。何故なら、未来の仮想時刻t以降については、第3演算部100cは、実測値M以降に無人機20から受信した新たな実測値Mによって第3制御モデル403をさらに更新しないまま、無人機20の未来の軌道を画面表示する処理を継続してしまうからである。その結果、上述した実施形態では、未来の仮想時刻tから仮想時刻tまでの間については、第3演算部100cは、無人機20の未来の推定状態に基づく上記のような未来軌道の先行画面表示を行うことができない。
そこで、この実施形態においては、無人機20の未来の推定状態に基づく無人機20の未来の軌道を、実時間の経過に先行する形で画面表示する処理を、図9に示す第4演算部100dが、時刻tから開始するようにしても良い。その場合には、第4演算部100dは、時刻tに先行する時刻Tにおいて受信した実測値Mによる更新作業が完了した第4制御モデル404”に基づいて、無人機20の未来の推定状態を時系列的に求めながら、無人機20の未来の軌道を、実時間の経過に先行する形で画面表示する。従って、第4演算部100dは、実測値Mによる更新作業が完了した第4制御モデル404”に基づいて、未来の仮想時刻tから時刻tまでの間において、無人機20の未来の推定状態を時系列的に求めながら、無人機20の未来の軌道を、実時間の経過に先行する形で画面表示することができる。なお、無人機20の未来の軌道を上記のように画面表示する動作は、第1演算部100a及び前記第2演算部100bが時系列的に求めた無人機20の現在の推定状態を表示した画像の上に重畳して、無人機20の薄い影を表示する形で行われてもよい。すなわち、2つ以上の演算部100(100a〜100n)の少なくとも一つは、第1演算部100a又は第2演算部100bが時系列的に求めた無人機20の現在の推定状態を表示する画面に重畳させる形で、第3演算部100cおよび第4演算部100dが時系列的に求めた無人機20の未来の推定状態を実時間の経過に先行する形で表示装置160の画面に表示するように構成されている。
また、第3演算部100cが、時刻Tにおいて受信した実測値Mを反映させた新たな第3制御モデル403’に基づいて上記時系列的演算を仮想時刻tに到達するまで実時間よりも高速に実行した後には、第4演算部100dは、第3演算部100cとの間で互いに実行していた処理を入れ替えるようにしてもよい。その場合、未来の仮想時刻tから時刻tまでの間においては、第3演算部100cは、実測値Mにより更新された第3制御モデル403”に基づいて、無人機20の未来の推定状態に基づく上記のような未来軌道の先行画面表示を行うようにしてもよい。一方、第4演算部100dは、時刻Tにおいて受信した実測値Mを反映させた新たな第4制御モデル404’に基づいて上記時系列的演算を仮想時刻tに到達するまで実時間よりも高速に実行する処理を第4演算部100dが実行するようにしても良い。
図8および図9を参照して述べた以上の説明を一般化すると、2つ以上の演算部100(100a〜100n)に含まれる第3演算部100cと第4演算部100dは、以下の動作を第1演算部乃至前記第2演算部とは並列に実行するように構成されている。まず、第4演算部100dは、第3演算部により受信された一の実測値(時刻Tに受信した実測値M)の次に受信される他の実測値(例えば、実測値M)を第4制御モデル404に反映して得られる新たな第4制御モデル404’に基づいて、以下の演算を実行する。すなわち、操作指令から無人機20の現在の推定状態を時系列的に求める時系列的演算を、他の実測値(例えば、実測値M)が実測された時刻(例えば、時刻T )から現在時刻Tcを通過して他の未来の時点(例えば、未来の仮想時刻t)に至るまで、実時間の経過よりも高速に実行する。続いて、前第4演算部100dによる時系列的演算が他の未来の時点(例えば、未来の仮想時刻t)に到達した後に、第4演算部100dによる時系列的演算により求められた無人機20の現在の推定状態を、無人機20の未来の推定状態として、次の一の未来の時点(例えば、未来の仮想時刻t)に至るまで表示装置160に提供する。続いて、第3演算部100cは、次の一の未来の時点(例えば、未来の仮想時刻t)から次の他の未来の時点(例えば、未来の仮想時刻t)まで、無人機20の未来の推定状態を表示装置160に提供し、第4演算部100dは、次の他の未来の時点(例えば、未来の仮想時刻t)から次の次の一の未来の時点(例えば、未来の仮想時刻t)まで、無人機20の未来の推定状態を表示装置160に提供する。
以上より、この実施形態によれば、第3演算部100cが上述した時系列的演算を未来の時点Tに追い付くまで実時間よりも高速に実行し続けた後に、無人機20の未来の推定状態に基づいて無人機20の未来の軌道を画面表示する処理を時刻T以降も継続すると第3制御モデル403のモデル化誤差が増大してしまうという問題を軽減することができる。その理由は以下のとおりである。第4演算部100dは、第3演算部100cが使用する第3制御モデル403”よりも新しい実測値を反映した第4制御モデル404’に基づいて上記時系列的演算を未来の仮想時刻Tに至るまで実時間よりも高速に実行する。その後に、第4演算部100dは、第3制御モデル403”よりも新しい実測値による更新作業が完了した第4制御モデル404”に基づいて、上述した無人機20の未来の軌道を画面表示する処理を時刻T以降において実行する。
また、この実施形態によれば、第3演算部100cが上述した時系列的演算を未来の時点tから未来の時点tに追い付くまで実時間よりも高速に実行し続ける間においても、未来の時点tから当該次の未来の時点tまでの無人機20の時系列的な状態を、実時間の経過よりも先行する形で、時系列的に状態推定しながら画面表示することができる。従って、この実施形態によれば、第3演算部100cが上述した時系列的演算を未来の時点tに追い付くまで実時間よりも高速に実行し続ける間において、実時間よりも先行して時系列的に状態推定された無人機20の未来の状態を観察しながら制御を行うことができない空白の時間が存在しなくなる。その結果、この実施形態によれば、第3演算部100cが上述した時系列的演算を次の未来の時点tに追い付くまで実時間よりも高速に実行し続ける間においても、近い将来において無人機20が障害物に接触したり、擱座したりする可能性を事前に察知することができる。
また、図8に示す時刻tから時刻tまでの間(図8においてτで示す期間)においては、第3演算部100cは、未来の時刻tに少しでも早く追い付くために、無人機20の推定状態を時系列的に求める時系列的演算を可能な限り高速に実行しなくてはならない。従って、その間は、第3演算部100cは、当該時系列的に求めた無人機20の推定状態を画面表示する処理を行うことができない。そこで、代替的な実施形態においては、図8に示す時刻tから時刻tまでの間(図8においてτで示す期間)において、図9に示す第4演算部100dが、無人機20の未来の推定状態に基づく無人機20の未来の軌道を、実時間の経過に先行する形で画面表示する処理を第3演算部100cに代わって行う。具体的には、この実施形態では、第4演算部100dが、図8に示す時刻tから時刻tまでの間において、無人機20の未来の推定状態に基づく無人機20の未来の軌道を、実時間の経過に先行する形で画面表示する処理を行う。その際、第4演算部100dは、時刻Tにおいて受信した実測値Mによる更新作業が完了した第4制御モデル404”に基づいて、無人機20の未来の推定状態を時系列的に求めながら、無人機20の未来の軌道を、実時間の経過に先行する形で画面表示する。無人機20の未来の軌道を上記のように画面表示する動作は、第1演算部100a及び前記第2演算部100bが時系列的に求めた無人機20の現在の推定状態を表示した画像の上に重畳して、無人機20の薄い影を表示する形で行われてもよい。
次に、無人機20を遠隔制御するための制御装置および制御方法のさらに別の実施形態について説明する。図1および図2を参照しながら上述した遠隔制御システムにおいて、狭隘部を潜り抜けたり複雑に配置された障害物を連続的に回避したりする動作を無人機20に行わせるための遠隔制御を操作者が行う場合、操作者の僅かな操作ミスで失敗する可能性が高い。従って、そのような複雑で失敗確率の高い動作を無人機20に行わせるのに先立って、現実と同様の状況を設定した仮想環境において操作者が事前に遠隔操作のトレーニングを積んだ上で、実際の遠隔制御を開始するのがリスク回避上好ましい。そこで、この実施形態では、2つ以上の演算部100(100a〜100n)の中の少なくとも一つである第6演算部100fは、以下の動作を実行するように構成されている。
まず、第6演算部100fは、無人機20の遠隔制御の開始に先立って、シミュレーションに基づく試行錯誤を繰り返すことにより無人機20に対する一連の操作指令を含む操作プロファイルを生成する。図10は、シミュレーションに基づく試行錯誤を繰り返すことにより無人機20に対する一連の操作指令を含む操作プロファイル125を生成する動作を制御装置10が実行中のシミュレーション実行状態を示している。図10に示すように、当該シミュレーション実行状態においては、制御装置10と無人機20との間の通信は遮断されており、その間においては、制御装置10は、無人機20の遠隔操作をシミュレーションにより模擬実行するだけで実際の遠隔制御は行わない。図10に示すシミュレーション実行状態においては、シミュレーションによる模擬的な遠隔制御を操作者が行うことによって入力された操作指令は、記憶部120内に格納された操作プロファイル125に蓄積される形で記憶されてゆく。また、図10に示すシミュレーション実行状態においては、シミュレーションを行うために、現実と同様の状況を設定した仮想環境は、記憶部120内に格納された作業環境記述モデル121によって記述される。作業環境記述モデル121内においては、無人機20の作業環境内に存在する他の構造物や地面の凹凸、無人機20の周囲を囲む壁の形状などが幾何学的データとして幾何学的モデリング言語などにより記述されている。
なお、図10および図11においては、操作プロファイル125は、一つしか図示されていないが、第6演算部100fは、複数の(S個の)操作プロファイル125s(1≦s≦S)を生成し、記憶部120に格納しても良い。例えば、操作者がシミュレーションによる無人機20の模擬的な遠隔制御を複数回にわたって試行錯誤しながら繰り返し実行させた場合には、第6演算部100fは、当該繰り返し実行の各々について個別的に操作プロファイル125を生成してもよい。その場合には、無人機20の模擬的な遠隔制御を複数回にわたって試行錯誤しながら繰り返し実行した回数に応じた複数の(S個の)操作プロファイル125s(1≦s≦S)が生成され、記憶部120に格納される。
続いて、図11に示すように、制御装置10は、無人機20と光ファイバ回線30を介して通信可能に接続され、第6演算部100fは、図10に示すシミュレーション実行状態において生成された複数の操作プロファイル125s(1≦s≦S)の中から、一連の作業を成功裏に完遂できると想定される操作プロファイル125’を選択する。続いて、図11に示すように、第6演算部100fは、操作プロファイル125’に基づいて無人機20を半自動制御(セミオート制御)する。続いて、第6演算部100fは、第3演算部100cが実時間よりも未来の時点まで時系列的に求めた無人機20の推定状態が要回避状態(例えば、障害物との接触や前記無人機の擱座)を示すか否かを検出する。続いて、当該要回避状態(例えば、障害物との接触や前記無人機の擱座)を検出した際に、操作プロファイル125’に基づいて実行中の上記半自動制御に対して、操作者の手動による遠隔制御を介入させる。具体的には、第6演算部100fが、上記半自動制御(セミオート制御)によって生成差された制御指令に対して、操作者の手動操作によって生成された制御指令を重畳させる。これにより、第6演算部100fは、無人機20に対して送信される制御指令を修正することが可能となる。その後、操作者は、第1演算部100aと第2演算部100bが時系列的に求めた無人機20の推定状態の画面表示に基づいて、無人機20を手動制御する。
つまり、この実施形態では、無人機20の遠隔制御の開始に先立って、手動による遠隔制御と同一の操作インターフェースを有する上記仮想環境内において、無人機20を遠隔操作した場合の操作シナリオをシミュレーションにより模擬実行する。当該シミュレーションは、第6演算部100fが記憶部120からシミュレーション・プログラム122を読み出して実行することにより行ってもよい。そして、この実施形態においては、当該シミュレーションにより様々な操作シナリオを模擬実行する試行錯誤を繰り返すことにより無人機20に対する一連の操作指令を含む操作プロファイルを生成し、当該操作プロファイルに従って無人機20をセミオート(半自動)制御する。また、上述した操作プロファイルに従ったセミオート(半自動)制御の実行中に、障害物と接触したり無人機が擱座したりする可能性を事前に察知した場合には、操作者の手動による遠隔制御を介入させ、当該セミオート(半自動)制御を修正することができるようにしてある。
なお、未来の時点において無人機20が障害物に接触したり、擱座したりする可能性を検出する処理は、図9において要回避判定機能部として動作する第5演算部100eによって実行される。図9に示す第5演算部100eは、まず、無人機20の状態を第3演算部100cにより未来の時点まで時系列的に状態推定した結果に基づいて、無人機20が辿ると予想される未来の軌道を予測する。続いて、第5演算部100eは、当該予測された未来の軌道を表すデータを記憶部120内に格納された未来軌道予測データ123に書き込む。続いて、第5演算部100eは、記憶部120内に格納された作業環境記述モデル121が表す作業環境と未来軌道予測データ123が表す無人機20の未来軌道との間の空間的関係に基づいて当該予測された軌道が無人機20と他の構造物との接触や無人機20の擱座を示すか否かを判定する。
従って、この実施形態によれば、シミュレーションにより様々な操作シナリオを模擬実行する試行錯誤を繰り返すことにより操作者が手動遠隔制御と同一の操作インターフェースを使用して事前に操作のトレーニングを積むことができる。そして、当該セミオート(半自動)制御の実行中に予定外の失敗リスクが生じた場合には、当該セミオート制御を手動で修正することもできる。その結果、この実施形態によれば、複雑で失敗確率の高い動作を無人機20に行わせる際の失敗リスクを低減することができる。
次に、無人機20を遠隔制御するための制御装置および制御方法のさらに別の実施形態について説明する。この実施形態では、2つ以上の演算部100(100a〜100n)の中の少なくとも一つは、以下の動作を実行するように構成されていても良い。まず、第3演算部100cにより実時間よりも未来の時点まで時系列的に求めた無人機20の推定状態が要回避状態(例えば、障害物との接触や前記無人機の擱座)を示すか否かを検出する。続いて、要回避状態(例えば、障害物との接触や前記無人機の擱座)を検出した際には、操作者が入力した操作指令に優先して無人機20に回避軌道をとらせる緊急操作指令を無人機20に送信する。
以上より、この実施形態によれば、無人機20の状態を未来の時点まで状態推定することにより障害物と接触したり無人機が擱座したりする可能性を事前に察知した場合には、操作者の手動による遠隔制御に優越して、制御装置10の演算部100が無人機20に回避軌道をとらせる回避制御を自動的に実行することができる。その結果、無人機20が障害物と接触したり無人機20が擱座したりする可能性を事前に察知した場合に、当該回避制御を操作者に任せきりにするのではなく、制御装置10の演算部100の判断により操作者を介さずに自動実行することができる。
1 遠隔制御システム
10 制御装置
20 無人機
21 無人機側制御装置
22 サーボ機構
30 光ファイバ回線
42,43,45,46,47 信号経路
51,52 切替スイッチ
91,92 監視カメラ/他の無人機
93 監視用装置
100(100a,100b,100c,100d,100e,100f) 演算部
110 通信部
120 記憶部
121 作業環境モデル
121 作業環境記述モデル
122 ・プログラム
123 未来軌道予測データ
125 操作プロファイル
130 エンコーダ
140 インターフェース
150 操作盤
160 表示装置
211 無人機側の通信部
212 無人機側の制御演算部
221 センサ/カメラ類
222 アクチュエータ類
401 第1制御モデル
402 第2制御モデル
403 第3制御モデル
404 第4制御モデル
411,412 切替手段
J1,J2 仮想時間
Mk(M1,M3,M4,M5,M6) 実測値
T1,T2,T3,T4,T5,T6 受信時刻
Tc 現在時刻
Tmk(Tm1,Tm3,Tm4,Tm5,Tm6) 実測時刻
Y,y 状態観測値
k インデックス値


Claims (14)

  1. 無人機の現在の推定状態を順次画面表示可能な表示装置と、
    前記無人機を遠隔制御するために前記表示装置に画面表示された前記無人機の現在の推定状態に基づいて操作者が入力した操作指令を前記無人機に送信可能であり、且つ、前記無人機が自機の状態を順次実測した実測値を前記無人機から順次受信可能な通信部と、
    それぞれ前記実測値を反映した制御モデルに基づいて、前記操作指令から前記無人機の現在の推定状態を求める時系列的演算を実行して求められた前記無人機の現在の推定状態を前記表示装置に提供可能な第1演算部及び第2演算部を含む2つ以上の演算部と、
    を備える制御装置であって、
    前記第1演算部及び前記第2演算部は、前記実測値を交番的に受け取り可能であって、前記実測値を受け取る都度、前記時系列的演算を繰り返し実行するように構成され、
    前記第1演算部は、交番的に受け取った一の実測値を反映した一の制御モデルに基づいて、前記時系列的演算が前記一の実測値の実測時刻から現在時刻に追い付く一の時刻まで実時間の経過よりも高速に、前記時系列的演算を順次実行可能であり、
    前記第2演算部は、交番的に受け取った他の実測値を反映した他の制御モデルに基づいて、前記時系列的演算が前記他の実測値の実測時刻から現在時刻に追い付く他の時刻まで実時間の経過よりも高速に、前記時系列的演算を順次実行可能であり、
    前記第1演算部は、前記一の時刻から次の前記他の時刻まで、前記無人機の現在の推定状態を前記表示装置に提供するように構成され、
    前記第2演算部は、前記他の時刻から次の前記一の時刻まで、前記無人機の現在の推定状態を前記表示装置に提供するように構成されている
    ことを特徴とする無人機の制御装置。
  2. 前記制御モデルは、状態推定フィルタを含むように構成され、
    前記実測値の実測時刻から現在時刻に追い付く時刻まで、実時間の経過よりも高速に実行される前記時系列的演算は、前記実測値を前記状態推定フィルタの内部状態に反映させる事後予測動作と、前記実測値を反映させた内部状態に基づいて前記状態推定フィルタの予測動作を実時間の経過よりも高速に行う高速状態予測動作と、を含むように構成され、
    前記無人機の現在の推定状態を前記表示装置に提供する処理は、実時間の経過よりも高速に実行される前記時系列的演算が現在時刻に追い付いた後に、前記高速状態予測動作を継続する形で前記状態推定フィルタの予測動作を実時間の経過に合わせて行いながら時系列的な前記推定状態を画面表示する事前予測動作を含むように構成される、
    ことを特徴とする請求項1に記載の無人機の制御装置。
  3. 前記2つ以上の演算部は第3演算部を含み、
    前記第3演算部は、
    前記一の実測値を前記制御モデルに反映して得られる前記一の制御モデルに基づいて、前記操作指令から前記無人機の現在の推定状態を時系列的に求める時系列的演算を、前記一の実測値が実測された時刻から現在時刻を通過して一の未来の時点に至るまで、実時間の経過よりも高速に実行するように構成され、
    前記第3演算部による時系列的演算は、前記第1演算部及び前記第2演算部による前記時系列的演算とは並列に実行するように構成され、
    前記第3演算部による時系列的演算が前記一の未来の時点に到達した後に前記第3演算部による時系列的演算により求められた前記無人機の現在の推定状態を、前記無人機の未来の推定状態として、前記表示装置に提供可能である
    ことを特徴とする請求項1または請求項2に記載の無人機の制御装置。
  4. 前記2つ以上の演算部は第4演算部を含み、
    前記第4演算部は、
    前記他の実測値を前記制御モデルに反映して得られる前記他の制御モデルに基づいて、前記操作指令から前記無人機の現在の推定状態を時系列的に求める時系列的演算を、前記他の実測値が実測された時刻から現在時刻を通過して他の未来の時点に至るまで、実時間の経過よりも高速に実行するように構成され、
    前記第4演算部による時系列的演算は、前記第1演算部、前記第2演算部及び前記第3演算部による前記時系列的演算とは並列に実行するように構成され、
    前記第4演算部による時系列的演算が前記他の未来の時点に到達した後に前記第4演算部による時系列的演算により求められた前記無人機の現在の推定状態を、前記無人機の未来の推定状態として、前記表示装置に提供可能であり、
    前記第3演算部は、前記一の未来の時点から次の前記他の未来の時点まで、前記無人機の未来の推定状態を前記表示装置に提供するように構成され、
    前記第4演算部は、前記他の未来の時点から次の前記一の未来の時点まで、前記無人機の未来の推定状態を前記表示装置に提供するように構成されている、
    ことを特徴とする請求項3記載の無人機の制御装置。
  5. 前記2つ以上の演算部の少なくとも一つは、
    前記第1演算部又は前記第2演算部が時系列的に求めた前記無人機の現在の推定状態を表示する画面に重畳させる形で、前記第3演算部および前記第4演算部が時系列的に求めた前記無人機の未来の推定状態を実時間の経過に先行する形で前記画面に表示するように構成されている、
    ことを特徴とする請求項4に記載の無人機の制御装置。
  6. 前記2つ以上の演算部の少なくとも一つは、
    前記無人機の遠隔制御の開始に先立って、シミュレーションに基づく試行錯誤を繰り返すことにより前記無人機に対する一連の操作指令を含む操作プロファイルを生成する動作と、
    前記操作プロファイルに基づいて前記無人機を無人制御する動作と、
    前記第3演算部により実時間よりも未来の時点まで時系列的に求められた前記無人機の未来の推定状態が要回避状態を示すか否かを検出する動作と、
    前記要回避状態を検出した際に、前記無人機の制御を、前記第1演算部および第2演算部が時系列的に求めた前記無人機の現在の推定状態を表示する画面表示に基づいて、操作者が手動で行う制御に切り替える動作と、
    をさらに備える、ことを特徴とする請求項3または請求項4に記載の無人機の制御装置。
  7. 前記2つ以上の演算部の少なくとも一つは、
    前記第3演算部により前記実時間よりも未来の時点まで時系列的に求めた前記無人機の未来の推定状態が要回避状態を示すか否かを検出する動作と、
    前記要回避状態を前記検出した際に、前記操作指令に優先して前記無人機に回避軌道をとらせる緊急操作指令を前記無人機に送信する動作と、
    をさらに実行する、ことを特徴とする請求項3または請求項4に記載の無人機の制御装置。
  8. 無人機が自機の状態を順次実測した実測値を前記無人機から順次受信し、前記無人機の状態を順次画面表示しながら、前記順次画面表示された前記状態に基づいて操作者が入力した操作指令に基づいて前記無人機を遠隔制御する制御装置を動作させる方法であって、
    前記制御装置内における2つ以上の演算部に含まれる第1演算部及び第2演算部が、それぞれ前記実測値を反映した制御モデルに基づいて、前記操作指令から前記無人機の現在の推定状態を求める時系列的演算を実行して求められた前記無人機の現在の推定状態を前記表示装置に提供する第1ステップ、
    を備え、前記第1ステップにおいて、
    前記第1演算部及び前記第2演算部は、前記実測値を交番的に受け取り、前記実測値を受け取る都度、前記時系列的演算を繰り返し実行し、
    前記第1演算部は、交番的に受け取った一の実測値を反映した一の制御モデルに基づいて、前記時系列的演算が前記一の実測値の実測時刻から現在時刻に追い付く一の時刻まで実時間の経過よりも高速に、前記時系列的演算を順次実行し、
    前記第2演算部は、交番的に受け取った他の実測値を反映した他の制御モデルに基づいて、前記時系列的演算が前記他の実測値の実測時刻から現在時刻に追い付く他の時刻まで実時間の経過よりも高速に、前記時系列的演算を順次実行し、
    前記第1演算部は、前記一の時刻から次の前記他の時刻まで、前記無人機の現在の推定状態を前記表示装置に提供し、
    前記第2演算部は、前記他の時刻から次の前記一の時刻まで、前記無人機の現在の推定状態を前記表示装置に提供する、
    ことを特徴とする無人機の制御方法。
  9. 前記制御モデルは、状態推定フィルタを含むように構成され、
    前記実測値の実測時刻から現在時刻に追い付く時刻まで、実時間の経過よりも高速に実行される前記時系列的演算は、前記実測値を前記状態推定フィルタの内部状態に反映させる事後予測動作と、前記実測値を反映させた内部状態に基づいて前記状態推定フィルタの予測動作を実時間の経過よりも高速に行う高速状態予測動作と、を含むように構成され、
    前記無人機の現在の推定状態を前記表示装置に提供する処理は、実時間の経過よりも高速に実行される前記時系列的演算が現在時刻に追い付いた後に、前記高速状態予測動作を継続する形で前記状態推定フィルタの予測動作を行いながら時系列的な前記推定状態を画面表示する事前予測動作に切り替えるように構成される、
    ことを特徴とする請求項8に記載の無人機の制御方法。
  10. 前記2つ以上の演算部に含まれる第3演算部は、前記第1演算部及び前記第2演算部による前記時系列的演算とは並列に、
    前記一の実測値を前記制御モデルに反映して得られる前記一の制御モデルに基づいて、前記操作指令から前記無人機の現在の推定状態を時系列的に求める時系列的演算を、前記一の実測値が実測された時刻から現在時刻を通過して一の未来の時点に至るまで、実時間の経過よりも高速に実行するステップ、
    を実行し、
    前記第3演算部による時系列的演算が前記一の未来の時点に到達した後に、前記第3演算部による時系列的演算により求められた前記無人機の現在の推定状態を、前記無人機の未来の推定状態として、前記表示装置に提供可能である
    ことを特徴とする請求項8または請求項9に記載の無人機の制御方法。
  11. 前記2つ以上の演算部に含まれる第4演算部は、前記第1演算部、前記第2演算部及び前記第3演算部による前記時系列的演算とは並列に、
    前記他の実測値を前記制御モデルに反映して得られる前記他の制御モデルに基づいて、前記操作指令から前記無人機の現在の推定状態を時系列的に求める時系列的演算を、前記他の実測値が実測された時刻から現在時刻を通過して他の未来の時点に至るまで、実時間の経過よりも高速に実行するステップ、
    を実行し、
    前記第4演算部による時系列的演算が前記他の未来の時点に到達した後に前記第4演算部による時系列的演算により求められた前記無人機の現在の推定状態を、前記無人機の未来の推定状態として、前記表示装置に提供可能であり、
    前記第3演算部は、前記一の未来の時点から次の前記他の未来の時点まで、前記無人機の未来の推定状態を前記表示装置に提供し、
    前記第4演算部は、前記他の未来の時点から次の前記一の未来の時点まで、前記無人機の未来の推定状態を前記表示装置に提供する、
    ことを特徴とする請求項10記載の無人機の制御方法。
  12. 前記2つ以上の演算部の少なくとも一つは、
    前記第1演算部又は前記第2演算部が時系列的に求めた前記無人機の現在の推定状態を表示する画面に重畳させる形で、前記第3演算部および前記第4演算部が時系列的に求めた前記無人機の未来の推定状態を実時間の経過に先行する形で前記画面に表示する、
    ことを特徴とする請求項11に記載の無人機の制御方法。
  13. 前記2つ以上の演算部の少なくとも一つは、
    前記無人機の遠隔制御の開始に先立って、シミュレーションに基づく試行錯誤を繰り返すことにより前記無人機に対する一連の操作指令を含む操作プロファイルを生成するステップと、
    前記操作プロファイルに基づいて前記無人機を無人制御するステップと、
    前記第3演算部により実時間よりも未来の時点まで時系列的に求められた前記無人機の未来の推定状態が要回避状態を示すか否かを検出するステップと、
    前記要回避状態を検出した際に、前記無人機の制御を、前記第1演算部および第2演算部が時系列的に求めた前記無人機の現在の推定状態を表示する画面表示に基づいて、操作者が手動で行う制御に切り替えるステップ、
    をさらに備える、ことを特徴とする請求項10または請求項11に記載の無人機の制御方法。
  14. 前記2つ以上の演算部の少なくとも一つは、
    前記第3演算部により前記実時間よりも未来の時点まで時系列的に求めた前記無人機の未来の推定状態が要回避状態を示すか否かを検出するステップと、
    前記要回避状態を前記検出した際に、前記操作指令に優先して前記無人機に回避軌道をとらせる緊急操作指令を前記無人機に送信するステップと、
    をさらに備える、ことを特徴とする請求項10または請求項11に記載の無人機の制御方法。
JP2015228852A 2015-11-24 2015-11-24 無人機の制御装置および制御方法 Active JP6383716B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015228852A JP6383716B2 (ja) 2015-11-24 2015-11-24 無人機の制御装置および制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015228852A JP6383716B2 (ja) 2015-11-24 2015-11-24 無人機の制御装置および制御方法

Publications (2)

Publication Number Publication Date
JP2017097602A true JP2017097602A (ja) 2017-06-01
JP6383716B2 JP6383716B2 (ja) 2018-08-29

Family

ID=58816908

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015228852A Active JP6383716B2 (ja) 2015-11-24 2015-11-24 無人機の制御装置および制御方法

Country Status (1)

Country Link
JP (1) JP6383716B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019230425A1 (ja) * 2018-05-29 2019-12-05 コベルコ建機株式会社 技能評価システム、技能評価方法、及び記録媒体
EP3605256A1 (de) * 2018-07-31 2020-02-05 Airbus Defence and Space System und verfahren zum überwachen des zustands eines unbemannten luftfahrzeugs
US11579615B2 (en) 2017-11-08 2023-02-14 Nec Corporation Remote control apparatus, system, method, and program

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0386484A (ja) * 1989-08-25 1991-04-11 Fujitsu Ltd ロボットの遠隔操作装置
JPH1011122A (ja) * 1996-06-24 1998-01-16 Nippon Telegr & Teleph Corp <Ntt> 情報提示装置
JP2002176370A (ja) * 2000-12-06 2002-06-21 Nissan Motor Co Ltd オーディオ装置及び放送情報提供方法
JP2007310698A (ja) * 2006-05-19 2007-11-29 Hitachi Ltd 無人車両
JP2008229004A (ja) * 2007-03-20 2008-10-02 Daikoku Denki Co Ltd 遊技機用表示制御装置
JP2008249688A (ja) * 2007-02-12 2008-10-16 Honeywell Internatl Inc センサ融合ナビゲーションのためのシステムおよび方法
JP2011239937A (ja) * 2010-05-18 2011-12-01 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム処理方法、ならびに、プログラム
JP2012247835A (ja) * 2011-05-25 2012-12-13 Ihi Corp ロボットの運動予測制御方法と装置
JP2013115803A (ja) * 2011-12-01 2013-06-10 Mitsubishi Heavy Ind Ltd 遠隔操縦車両システム
JP2014229157A (ja) * 2013-05-24 2014-12-08 日本電信電話株式会社 遅延補償装置、方法、プログラム及び記録媒体
US20150057801A1 (en) * 2012-10-10 2015-02-26 Kenneth Dean Stephens, Jr. Real Time Approximation for Robotic Space Exploration
WO2015178202A1 (ja) * 2014-05-20 2015-11-26 株式会社日立製作所 電子制御装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0386484A (ja) * 1989-08-25 1991-04-11 Fujitsu Ltd ロボットの遠隔操作装置
JPH1011122A (ja) * 1996-06-24 1998-01-16 Nippon Telegr & Teleph Corp <Ntt> 情報提示装置
JP2002176370A (ja) * 2000-12-06 2002-06-21 Nissan Motor Co Ltd オーディオ装置及び放送情報提供方法
JP2007310698A (ja) * 2006-05-19 2007-11-29 Hitachi Ltd 無人車両
JP2008249688A (ja) * 2007-02-12 2008-10-16 Honeywell Internatl Inc センサ融合ナビゲーションのためのシステムおよび方法
JP2008229004A (ja) * 2007-03-20 2008-10-02 Daikoku Denki Co Ltd 遊技機用表示制御装置
JP2011239937A (ja) * 2010-05-18 2011-12-01 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム処理方法、ならびに、プログラム
JP2012247835A (ja) * 2011-05-25 2012-12-13 Ihi Corp ロボットの運動予測制御方法と装置
JP2013115803A (ja) * 2011-12-01 2013-06-10 Mitsubishi Heavy Ind Ltd 遠隔操縦車両システム
US20150057801A1 (en) * 2012-10-10 2015-02-26 Kenneth Dean Stephens, Jr. Real Time Approximation for Robotic Space Exploration
JP2014229157A (ja) * 2013-05-24 2014-12-08 日本電信電話株式会社 遅延補償装置、方法、プログラム及び記録媒体
WO2015178202A1 (ja) * 2014-05-20 2015-11-26 株式会社日立製作所 電子制御装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11579615B2 (en) 2017-11-08 2023-02-14 Nec Corporation Remote control apparatus, system, method, and program
WO2019230425A1 (ja) * 2018-05-29 2019-12-05 コベルコ建機株式会社 技能評価システム、技能評価方法、及び記録媒体
JP2019207570A (ja) * 2018-05-29 2019-12-05 コベルコ建機株式会社 技能評価システム及び技能評価方法
JP7143634B2 (ja) 2018-05-29 2022-09-29 コベルコ建機株式会社 技能評価システム及び技能評価方法
EP3605256A1 (de) * 2018-07-31 2020-02-05 Airbus Defence and Space System und verfahren zum überwachen des zustands eines unbemannten luftfahrzeugs
US11753147B2 (en) 2018-07-31 2023-09-12 Airbus Defence and Space GmbH System and method for monitoring the state of an unmanned aircraft

Also Published As

Publication number Publication date
JP6383716B2 (ja) 2018-08-29

Similar Documents

Publication Publication Date Title
EP3593294A1 (en) Training action selection neural networks using apprenticeship
US20180088597A1 (en) Multi-sensor fusion for robust autonomous flight in indoor and outdoor environments with a rotorcraft micro-aerial vehicle (mav)
CN108908330B (zh) 一种基于虚拟现实的机器人行为控制方法
JP6383716B2 (ja) 無人機の制御装置および制御方法
US11559898B2 (en) Teleoperation system, method, apparatus, and computer-readable medium
CN107627303A (zh) 一种基于眼在手上结构的视觉伺服系统的pd‑smc控制方法
CN112757284B (zh) 机器人控制装置、方法和存储介质
US20210205984A1 (en) System and methods for pixel based model predictive control
KR20200013577A (ko) 기계 학습 시스템을 작동시키도록 구성되는 장치
WO2022142078A1 (zh) 动作学习方法、装置、介质及电子设备
CN115556112A (zh) 一种基于数字孪生的机器人遥操作方法及系统
CN111487992A (zh) 基于深度强化学习的无人机感知与避障一体化方法及设备
Hafez et al. Efficient intrinsically motivated robotic grasping with learning-adaptive imagination in latent space
CN114419154A (zh) 基于视觉与人机协同的机械臂双模式控制方法及系统
WO2020121755A1 (ja) 推定装置、訓練装置、推定方法及び訓練方法
KR102455003B1 (ko) 무인 체계의 강화 학습을 위한 시뮬레이션 방법 및 장치
CN116009583A (zh) 基于纯粹视觉的分布式无人机协同运动控制方法和装置
Yoon et al. Learning to communicate: A machine learning framework for heterogeneous multi-agent robotic systems
Liu et al. Trajectory prediction and visual localization of snake robot based on BiLSTM neural network
Paudel Learning for robot decision making under distribution shift: A survey
Das et al. AS-EKF: a delay aware state estimation technique for telepresence robot navigation
CN115081612A (zh) 用以改进机器人策略学习的设备和方法
Sun et al. Learning-based Perception Contracts and Applications
KR20210123586A (ko) 모방 학습을 통한 사물 자율 제어 방법 및 장치
WO2024013895A1 (ja) 遠隔制御システム、遠隔制御方法、および遠隔制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180727

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180806

R150 Certificate of patent or registration of utility model

Ref document number: 6383716

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150