JP2019219700A - 履歴管理システム、操作装置および履歴管理プログラム - Google Patents

履歴管理システム、操作装置および履歴管理プログラム Download PDF

Info

Publication number
JP2019219700A
JP2019219700A JP2018114078A JP2018114078A JP2019219700A JP 2019219700 A JP2019219700 A JP 2019219700A JP 2018114078 A JP2018114078 A JP 2018114078A JP 2018114078 A JP2018114078 A JP 2018114078A JP 2019219700 A JP2019219700 A JP 2019219700A
Authority
JP
Japan
Prior art keywords
history
input
display
information
confirmation screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018114078A
Other languages
English (en)
Inventor
雅之 熊田
Masayuki Kumada
雅之 熊田
裕介 鴨下
Yusuke Kamoshita
裕介 鴨下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BLUE INNOVATION CO Ltd
Original Assignee
BLUE INNOVATION CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BLUE INNOVATION CO Ltd filed Critical BLUE INNOVATION CO Ltd
Priority to JP2018114078A priority Critical patent/JP2019219700A/ja
Priority to PCT/JP2019/015606 priority patent/WO2019239698A1/ja
Publication of JP2019219700A publication Critical patent/JP2019219700A/ja
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C13/00Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02Initiating means
    • B64C13/16Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/20Initiating means actuated automatically, e.g. responsive to gust detectors using radiated signals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/16Control of vehicles or other craft

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Navigation (AREA)

Abstract

【課題】ロボットやドローンなどの移動体のマニュアル操作について、好適に訓練を行う為のシステムを提供することを解決すべき課題とする。【解決手段】マニュアル操作が可能な移動体を操作するための操作装置を備えた履歴管理システムであって、前記操作装置は、入力部に対する入力に基づいて、前記移動体の移動を操作するため操作信号を出力する手段と、前記入力の入力値および時間情報を対応付けて有するある一連の移動についての履歴情報を生成する手段と、前記履歴情報に基づいて、時間軸上での入力状態に対応した入力値の入力履歴表示を含む履歴確認画面を表示処理する手段と、を備えることを特徴とする。【選択図】図5

Description

本発明は、マニュアル操作で制御される移動体の履歴を管理するための履歴管理システム、操作装置および履歴管理プログラムに関する。
従来、ユーザのマニュアル操作によって、スポーツカーやヘリコプター、ロボット、ドローンなどの移動体を制御し、移動や所望の作業を行う為の技術が知られている。
例えば、模型装置を移動させるための指令を受け付け、指令を模型装置へ送信し、模型装置は、コントローラからの指令に基づいて模型装置を移動させ、模型装置の前方を撮影し、模型装置の位置を取得し、模型装置の向きを取得し、撮影画像と位置と向きとをコントローラに送信し、コントローラは、模型装置から受信した位置と向きとに基づいて、模型装置用のコースのデータから表示用のバーチャル画像を作成し、模型装置から受信した撮影画像とバーチャル画像とを合成した画像をディスプレイに表示させるネットワークシステム、コントロール方法等に関する技術が知られている(特許文献1)。
特開2012−143447号公報
しかしながら、特にロボットやドローンなどの移動体のマニュアル操作には訓練を要し、こうした移動体の操作訓練を好適に行う為のシステムが求められている。
本発明は、上記のような実情に鑑みてなされたものであり、ロボットやドローンなどの移動体のマニュアル操作について、好適に訓練を行う為のシステムを提供することを解決すべき課題とする。
上記課題を解決するために、本発明は、マニュアル操作が可能な移動体を操作するための操作装置を備えた履歴管理システムであって、
前記操作装置は、入力部に対する入力に基づいて、前記移動体の移動を操作するため操作信号を出力する手段と、
前記入力の入力値および時間情報を対応付けて有するある一連の移動についての履歴情報を生成する手段と、
前記履歴情報に基づいて、時間軸上での入力状態に対応した入力値の入力履歴表示を含む履歴確認画面を表示処理する手段と、を備えることを特徴とする。
このような構成とすることで、マニュアル操作を行う為の入力部への入力値について時間情報と対応付けて記録し、履歴確認画面を介してその入力値の履歴を確認することが可能となる。これにより、マニュアル操作で操作される移動体の操作訓練を効率的に行う為のツールを提供することが可能となる。
本発明の好ましい形態では、前記履歴確認画面において、前記履歴情報を用いて、時間軸上での前記移動体の動作に関するアニメーションが表示処理されることを特徴とする。
このような構成とすることで、経時的に変化するアニメーションによって移動体の履歴情報を表示して確認することができる。
本発明の好ましい形態では、前記履歴確認画面は、前記入力履歴表示と同期して表示される前記移動体の機体履歴表示を含み、
前記機体履歴表示は、時間軸上での機体状態に対応して変化する機体のアニメーション表示を含むことを特徴とする。
このような構成とすることで、入力履歴の表示と共に、機体のアニメーション表示を行うことが可能となり、入力と機体の挙動を併せて確認することが可能となるため、より効果的にマニュアル操作の訓練を行うことができる。
本発明の好ましい形態では、前記操作装置は、前記履歴情報として、更に、経時的に変化する移動中の前記移動体の傾き情報を前記時間情報と対応付け、
前記機体履歴表示は、時間軸上で変化する機体の傾きに対応してアニメーション表示されることを特徴とする。
このような構成とすることで、入力と機体の挙動を併せて確認することが可能となるため、より効果的にマニュアル操作の訓練を行うことができる。
本発明の好ましい形態では、前記操作装置は、前記履歴情報として、更に、経時的に変化する移動中の前記移動体の位置情報を前記時間情報と対応付け、
前記履歴確認画面は、前記入力履歴表示と同期して表示される前記移動体の移動経路を示す経路履歴表示を含み、
前記経路履歴表示は、前記位置情報に基づいて表示される移動経路の軌跡および、時間軸上での前記軌跡上における前記機体の位置の表示を含むことを特徴とする。
このような構成とすることで、入力と機体の移動を併せて確認することが可能となるため、より効果的にマニュアル操作の訓練を行うことができる。
本発明の好ましい形態では、前記操作装置は、前記移動体の移動終了後に、生成した前記履歴情報をサーバに送信する手段と、
移動体の移動を開始するための手段と、を備え、
新たな移動の開始は、以前の移動に関する履歴情報の送信状態に基づいて制限されることを特徴とする。
このような構成とすることで、履歴情報のサーバへの送信を行わせることができ、訓練データの管理や移動ログの管理といった目的を達成することができる。
本発明の好ましい形態では、前記操作装置は、閾値設定を受け付け、設定された閾値に基づいて、警告表示を行う手段を更に備え、
前記履歴確認画面は、前記入力履歴表示と同期して表示される前記警告表示を含むことを特徴とする。
このような構成とすることで、より効果的にマニュアル操作の訓練を行うことができる。
本発明の好ましい形態では、前記履歴確認画面は、表示され得る時間軸全体並びに、前記時間軸上における現在の位置を表す時間表示を含み、
前記時間表示は、前記時間軸上における前記警告表示が行われた位置を含むことを特徴とする請。
このような構成とすることで、より効果的にマニュアル操作の訓練を行うことができる。
本発明の好ましい形態では、前記履歴確認画面は、複数の入力部に対する時間軸上での入力状態に対応した入力値について、それぞれの入力部についての描画が並べて配置された入力履歴表示を含むことを特徴とする。
このような構成とすることで、より効果的にマニュアル操作の訓練を行うことができる。
本発明は、マニュアル操作が可能な移動体の操作履歴を管理するための履歴管理プログラムであって、
コンピュータを、入力部に対する入力に基づいて、前記移動体の移動を操作するため操作信号を出力する手段と、
前記入力の入力値および時間情報を対応付けて有するある一連の移動についての履歴情報を生成する手段と、
前記履歴情報に基づいて、時間軸上での入力状態に対応した入力値の入力履歴表示を含む履歴確認画面を表示処理する手段と、として機能させることを特徴とする。
本発明によれば、ロボットやドローンなどの移動体のマニュアル操作について、好適に訓練を行う為のシステムを提供することを提供することができる。
本発明の実施形態に係る履歴管理システムの機能ブロック図である。 本発明の実施形態に係るユーザ端末および移動体のハードウェア構成図である。 本発明の実施形態に係る履歴管理システムの機能構成を示す機能ブロック図である。 本発明の実施形態に係る操作画面および履歴呼び出し画面の画面表示例である。 本発明の実施形態に係る履歴確認画面の画面表示例である。 本発明の実施形態に係る入力履歴表示の表示例である。 本発明の実施形態に係る個別履歴確認画面の画面表示例である。 本発明の実施形態に係る個別履歴確認画面の画面表示例である。 本発明の実施形態に係る履歴情報の登録までの処理フローチャートである。
以下、図面を用いて、本発明に関する履歴管理システムについて説明する。なお、以下に示す実施形態は本発明の一例であり、本発明を以下の実施形態に限定するものではなく、様々な構成を採用することもできる。
本実施形態ではシステムの構成、動作等について説明するが、同様の構成の装置、方法、ユーザ端末プログラム、記録媒体等も、同様の作用効果を奏することができる。また、プログラムは、記録媒体に記憶させてもよい。この記録媒体を用いれば、例えばユーザ端末に前記プログラムをインストールすることができる。ここで、前記プログラムを記憶した記録媒体は、例えばCD−ROM等の非一過性の記録媒体であっても良い。
図1は、本発明の実施形態における履歴管理システムの概要を示す機能ブロック図である。履歴管理システムは、履歴管理サーバ1と、移動体の操作並びに履歴情報の生成を行う為のユーザ端末2と、ユーザ端末2を介して操作される移動体3と、を備えている。履歴管理サーバ1およびユーザ端末2は、ネットワークNWを介して接続される。また、ユーザ端末2および移動体3は無線通信可能に接続される。
図2は、本実施形態に係るユーザ端末2および移動体3のハードウェア構成を示す図である。図2(a)は、ユーザ端末2のハードウェア構成の一例を示す図である。ユーザ端末2は、CPU(Central Processing Unit)201、主記憶装置としてのRAM(Random Access Memory)202、ROM(Read Only Memory)203、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の補助記憶装置204、入力装置205としてのタッチパネル、出力装置206としての表示画面、および通信装置207、を備えるコンピュータ(情報処理装置)である。補助記憶装置204は、オペレーティングシステム208と、オペレーティングシステム208と協調してその機能を発揮する履歴管理プログラム209等が記録されている。
また、本実施形態では、移動体3として、ユーザ端末2から操作信号を受け取り、ユーザのマニュアル操作によって飛行を行うことが可能なドローンなどの飛行体を操作する場合について説明するが、操作される対象については特に制限はない。
図2(b)は、移動体3のハードウェア構成の一例を示す図である。移動体3は、移動体3の飛行動作の制御等を行う主制御部301と、移動体3の翼部を駆動させ、飛行させる為のモータ302と、主制御部301からの信号に基づいてモータ302への電力の給電量を調節するモータコントローラ303と、ユーザ端末2と通信を行う為の無線通信部304と、位置情報や移動高度、加速度、角速度、角加速度、バッテリ残量等を取得するための計測装置305と、対象を撮像するための撮像部306と、記憶部307と、を備える。
本実施形態では、計測装置305は、位置情報や通信衛星との電波強度を取得するためのGPS(Global Positioning System)通信部と、飛行高度を取得するための高度センサと、加速度を取得するための加速度センサと、角速度や角加速度を取得するためのジャイロセンサと、バッテリの残量を算出するバッテリ制御部と、を備える。
主制御部301は、無線通信部304を介して、計測装置305から得た情報にタイムスタンプを付与し、ユーザ端末2に送信する。また、エラー時には、エラーメッセージをユーザ端末2に送信する。移動体3の無線通信部304およびユーザ端末2の通信装置207は、例えばWi-Fi等の無線通信規格によって、通信を行う。
履歴管理サーバ1は、補助記憶装置に記録されている管理プログラムがRAMに読み出され、CPUによって実行されることで、履歴データベース10、履歴情報受信手段11および履歴情報送信手段12を備え、登録された履歴情報の管理等を行う為の履歴管サーバとして機能する。
図3は、本実施形態に係る履歴管理システムの機能構成を示す機能ブロック図である。図2に示された構成を有するユーザ端末は、補助記憶装置204に記録されている履歴管理プログラム209がRAM202に読み出され、CPU201によって実行されることで、操作手段21、履歴情報生成手段22、履歴情報送信手段23、履歴情報受信手段24、表示手段25および登録手段26を備えるユーザ端末として機能する。
操作手段21は、移動体3の移動を開始するための処理と、入力部に対する入力に基づいて、移動体3の移動を操作するため操作信号を生成し、移動体3に出力する処理を行う。本実施形態では、ユーザ端末2としてタブレット端末を利用し、当該端末の操作画面に表示された入力部を、タッチパネルを介して操作することで、操作信号を生成し、移動体3の制御を行う。例えば、スティックのような物理的な操作キーを備えたコントローラおよび当該コントローラと接続されたタブレット端末により構成されたユーザ端末2を利用し、操作キーに対する操作によって移動体3の制御を行うように構成してもよい。
図4(a)は、ユーザ端末2における操作画面の画面表示例である。操作画面W1は、入力部としての右スティックSRおよび入力部としての左スティックSLと、地図表示MVと、カメラ画像CVと、を備えている。
操作画面W1には、カメラ画像CVとして、移動体3の撮像部306で撮影され、無線通信部304を介して送信された画像が表示される。また、地図表示MVとして、移動体3の計測装置305で計測され、無線通信部304を介して送信された位置情報(緯度および経度)に基づいて、地図上における自機の現在位置が表示される。
ユーザは、右スティックSRおよび左スティックSL(入力部)を操作することで、移動体3に対して前進・後退(エレベータ操作)、左右移動(エルロン操作)、旋回(ラダー操作)、上昇・下降(スロットル操作)等の入力を行い、移動体3を操作することができる。左右スティックに対する入力は、上下左右の2軸の入力値を有しており、これらによって移動体3に送信する操作信号が生成される。
履歴情報生成手段22は、入力部に対する入力値および時間情報を対応付けて有する履歴情報を生成する。本実施形態では、移動体3から無線通信部304を介して受け取った履歴データおよび入力部(操作手段21)に対する入力値(履歴データ)に時間情報を対応付け、ある一連の移動についての履歴情報を生成する。また、エラー時のエラーメッセージが、ユーザ端末2やユーザ端末と接続された物理的な操作キーを備えたコントローラ側から出力される場合、このエラーメッセージを履歴データとして履歴情報を生成してもよい。
なお、移動体3は、移動中に、テレメトリ通信などによってユーザ端末2側に逐次的に履歴データを送信しても構わないし、移動中に逐次取得した履歴データを移動体3の記憶媒体に格納しておき、飛行終了後にユーザ端末2又は履歴管理サーバ1に出力するように構成してもよい。
本実施形態では、履歴情報は、ある一連の移動についての履歴名およびその総履歴時間と共に、移動中に所定の時間間隔で取得され、時間情報と対応付けられた、3軸加速度(傾き情報)と、3軸角加速度と、高度と、速度と、緯度および経度と、衛星との通信強度と、ユーザ端末2との通信強度と、ユーザ端末2との距離と、ユーザ端末2のバッテリ残量と、移動体3のバッテリ残量と、を有している。本例では、1秒間隔でこれらの情報が取得される。
更に、所定の時間間隔で、左右スティックに対する入力値を取得し、入力情報として時間情報と対応付けて記憶する。また、エラーが発生した場合には、エラーのカテゴリおよびエラーメッセージの内容を時間情報と対応付けてエラー情報として記憶する。また、カメラ画像や音、風速に関する情報等が移動体3や他の計測器により履歴データとして取得され、履歴情報として時間情報と対応付けられてよい。
ここですべての情報が同じ時間間隔で取得される必要はなく、情報の内容に応じて取得する時間間隔を変更しても構わない。例えば、入力情報は1dsや1cs、1msなどの時間間隔で取得し、他の情報は1s間隔で取得するような構成としてもよい。
履歴情報送信手段23は、ネットワークNWを介して、生成した履歴情報を履歴管理サーバ1に送信処理する。本実施形態では、移動体3の移動終了後に、履歴情報生成手段22は履歴情報を生成する。なお、新たな移動の開始は、以前の移動に関する履歴情報の送信状態に基づいて制限可能であってもよい。例えば、ある移動の終了後に、移動体3に対して新たな移動を行わせるためには、以前に行われた一連の移動に関する履歴情報を、履歴管理サーバ1に対して送信完了した状態とするように制限してよい。
履歴情報送信手段23を介して送信された一連の移動に関する履歴情報は、履歴管理サーバ1の履歴情報受信手段11を介して履歴データベース10に格納される。また、ユーザ端末2や他の端末からの要求に基づいて、履歴情報送信手段12を介して送信される。
図4(b)は、ユーザ端末2における履歴呼び出し画面の画面表示例である。履歴呼び出し画面W2には、例えば、履歴名や移動時間、移動距離などが表示され、格納されたそれぞれの一連の移動に関する履歴情報Logを識別可能に表示されている。
履歴情報受信手段24は、履歴管理サーバ1に格納され、履歴呼び出し画面W2を介して選択された履歴情報を受け取る。
表示手段25は、履歴情報を用いて、時間軸上での入力状態に対応した入力値の入力履歴表示を含む履歴確認画面を表示処理する。また、表示手段25は、履歴情報を用いて、時間軸上での移動体3の動作に関するアニメーションを、履歴確認画面上で表示処理する。
図5(a)は、ユーザ端末2における機体履歴表示を含む履歴確認画面の画面表示例である。機体履歴表示を含む履歴確認画面W3は、入力履歴表示と同期して表示される移動体3の機体状態を示す機体履歴表示FVを含む。
本実施形態では、機体履歴表示を含む履歴確認画面W3は、表示され得る時間軸全体並びに、前記時間軸上における現在の位置を表す時間表示TVと、入力履歴表示IVと、機体履歴表示FVと、機体の高度や速度、緯度経度などを含む移動表示PVと、計測した加速度や角加速度等を含む動作表示BVと、電波強度や電池残量などを含む状態表示SVと、経路履歴表示を行う為の経路表示部W31と、を備え、これらが同期して再生表示される。
ユーザが経路表示部W31を選択することで、経路履歴表示を含む履歴確認画面が表示される。図5(b)は、経路履歴表示を含む履歴確認画面の画面表示例である。経路履歴表示を含む履歴確認画面W3は、入力履歴表示と同期して表示される移動体3の移動経路を示す経路履歴表示RVを含む。
本実施形態では、経路履歴表示RVを含む履歴確認画面W3は、表示され得る時間軸全体並びに、前記時間軸上における現在の位置を表す時間表示TVと、入力履歴表示IVと、経路履歴表示RVと、機体の高度や速度、緯度経度などを含む移動表示PVと、計測した加速度や角加速度等を含む動作表示BVと、地図表示MVと、電波強度や電池残量などを含む状態表示SVと、機体履歴表示を行う為の機体表示部W32と、を備え、これらが同期して再生表示される。
履歴確認画面において、履歴情報として記録された一連の移動に関する情報に基づいて、アニメーションが表示処理される。これにより、履歴確認画面W3には、経時的に記録された移動体3の移動や位置、状態等の履歴が再生可能に表示される。
図示例では、66分間の移動を一連の移動として記録した履歴を再生表示する場合を例示している。ここで、時間表示TVの再生ボタンを押下することで、現実の時間経過に沿って経時的に表示内容が変化し(1倍再生時)、一連の移動時における操作入力や移動体3の位置、状態などが再生表示される。
ここでの再生速度は、調整可能であってもよい。また、時間表示TVに対する操作に基づいて、表示され得る時間軸(図示例では、00:00(移動の開始時)〜66:06(移動の終了時))のうち、所望する時点での入力などを再現表示したり、所定の時間間隔再生を飛ばしたり、開始時や終了時にスキップすることもできる。
登録手段26は、履歴情報として記録される所定の情報に関して、ユーザからの閾値設定を受け付け、設定された閾値に基づいて警告表示処理を行う。また、移動体3の操作開始前に、事前に予定移動経路や予定移動(通過)地点の登録を受け付け、履歴情報から得られる実測の移動経路と比較して一定以上差異がある場合に、警告表示処理を行う。ここで、警告表示に代えて又は加えて、警告音やバイブレーション振動によって、警告を行うように構成しても構わない。
履歴情報として記録される所定の情報について、閾値を設定しておくことで、履歴確認画面W3における警告表示が行われる。図5における符号Aは警告表示を示し、一連の移動について履歴が再生表示される中で、表示された各情報のうち閾値を超えるものについては、警告表示を行っている。図示例では、移動表示PVとして表示される移動体3の速度、動作表示BVとして表示されるZ軸の角加速度および入力履歴表示IVについて、警告表示AVを行っている。
機体履歴表示FVは、機体の画像および軸が描画されており、経時的に変化する機体の傾き(例えば、3軸加速度によって得られる機体の傾き)に応じて、時間軸上で変化する機体の傾きがアニメーション表示される。傾きに加えて、加速度や角速度、角加速度の情報、駆動部への入力等を機体履歴表示FVでの表示内容に反映しても構わない。駆動部への入力とは、例えば、入力情報から算出されたり、別途に移動体3で取得された、モータコントローラ303からモータ302への給電量などである。
経路履歴表示RVでは、地図表示MVに重ねて表示された経路の軌跡Rおよび機体の現在位置Dが描画されており、時間軸上で変化する機体の現在位置Dが軌跡R上を移動するアニメーション表示が行われる。また、図示例のように、軌跡R上において、警告が発生した位置や、事前に設定した予定移動経路等と実測の移動経路に一定以上差異があった位置に対して、警告表示AVを行ってもよい。
入力履歴表示IVでは、タッチパネルディスプレイを利用した入力画面や物理コントローラ等の入力部を介して行われた入力の履歴が描画される。図6は、入力履歴表示IVの表示例である。本例では、2つの入力部、すなわち左右スティック(SLおよびSR)に対してユーザが行った入力について、入力値が入力情報として記録され、履歴確認画面W3における入力履歴表示IVとして表示される。
図6(a)は、警告表示AVが表示された場合の入力履歴表示IVの表示例である。図示例では、左スティックSL(入力部)の押し込み量が閾値を超えたため、警告表示AVが行われている。ここで、入力履歴表示IVに描画された入力部表示(左スティックSL(入力部))についても、押し込み量が閾値を超えたことを視覚的に示すため、図6(b)に示すような警告表示AVがない場合と識別可能に表示が行われる。
また、時間表示TVには、時間軸上において警告が発生した時間が識別可能に表示されてもよい。図5において、時間表示TVのシークバー上に設けられたマーカーは、その時間に警告が発生したことを示している。
状態表示SVには、操作中の機体の名称、移動体3のバッテリ残量や電圧値などのバッテリ情報、GPSや移動体通信網と移動体3との信号強度、ユーザ端末2と移動体3の通信強度、ユーザ端末2のバッテリ残量などのバッテリ情報、移動体3の移動モード(マニュアル操縦や自動操縦など)、ユーザ端末2の操作モード(マニュアル操縦や自動操縦、スティックの入力設定(mode1、mode2)など)が表示されている。
なお、本実施形態では、履歴確認画面W3等は、必ずしも履歴情報受信手段24を介して受け取った履歴管理サーバ1に格納済みの履歴情報に基づいて表示される必要はなく、履歴管理サーバ1に格納前の履歴情報等によって表示処理されてもよい。
また本実施形態では、表示手段25が履歴情報に基づいてアニメーションを表示処理しているが、ユーザ端末2以外の装置(例えば履歴管理サーバ1等)でアニメーション表示を行う為のデータが生成され、ユーザ端末2は、生成されたアニメーションデータを受け取って履歴確認画面W3でアニメーションを表示処理する構成としてもよい。
本実施形態では、履歴確認画面W3において、所定の個所を選択すると、個別の履歴を表示するための個別履歴確認画面が表示される。図7および図8は、個別履歴確認画面の画面表示例である。図7(a)は、履歴確認画面W3において動作表示BVを選択した際に表示される、履歴情報として経時的に記録された3軸加速度および3軸角加速度の一覧を含む個別履歴確認画面W4の画面表示例である。図示例では、当該一覧は、時間情報、x軸回転角、y軸回転角、z軸回転角、x軸加速度、y軸加速度、z軸加速度を含む。
図7(b)は、個別履歴確認画面W4として、履歴情報として経時的に記録された3軸加速度および3軸角加速度の一覧を示した場合について例示する。図示例では、当該一覧は、時間情報、高度、速度、緯度、経度、ユーザ端末2との距離、移動段階の進捗、を含む。移動段階の進捗は、当該時間における状態が、一連の移動中のどの段階に当たるのかを示す情報である。移動段階の進捗は、登録手段26を介して事前に登録された予定移動経路や予定移動(通過)地点に基づいて設定されてもよいし、履歴情報として記録された時間や移動距離に基づいて、設定されてもよい。
また、履歴管理システムや履歴管理プログラムにおいて、予定移動経路や予定移動(通過)地点を設定可能な場合、その経路から(一定以上)外れた際にどのような操作をしていたか表示や通知を行ったり、予定移動経路や予定移動(通過)地点及び履歴情報を用いて、一連の移動の得点を算出して表示させるように構成してもよい。
図8(a)は、個別履歴確認画面W4として、履歴情報として経時的に記録された入力情報の一覧を示した場合について例示する。図示例では、当該一覧は、時間情報と、左右スティックのそれぞれについて、上下(図示例における「UPDOWN」)及び左右(図示例における「L−R」)方向の強さによって表現される上下左右方向の押し込み量(入力値)と、その際の描画内容と、を含む。
図8(b)は、個別履歴確認画面W4として、履歴情報として記録されたエラー情報の一覧を示した場合について例示する。図示例では、当該一覧は、エラー時には、時間情報、エラーのカテゴリ、エラーメッセージの内容、を含む。
個別履歴確認画面W4において、閾値を超えた値については、閾値を超えていない値と識別可能に表示されて構わない。図示例では、図7(a)におけるx軸回転角(図中、「4:27」時点の「Roll」値)、y軸回転角(図中、「4:30」時点の「Pitch」値)およびy軸加速度(図中、「4:29」時点の「AccY」値)、図7(b)における高度および速度(図中、「4:28」時点の「高度」値および「速度」値)、図8(a)における押し込み量(図中、「4:27」時点の「L−R」値)、が警告表示されている。
また、本実施形態では、個別履歴確認画面W4は、履歴確認画面W3の一部が視認可能に重ねて表示されている。履歴確認画面W3においてアニメーションが再生表示されている最中に、所定箇所を選択して個別履歴確認画面W4を開くと、表示時間に対応して、一覧の画面がスクロール(アニメーション表示)して表示される。個別履歴確認画面W4では、再生中のタイミングに応じてその時の履歴が表示され、更にその前後の少なくとも1以上のタイミングの履歴データが、併せて表示される。
図9を用いて、移動体の移動から履歴情報の登録までの手順の一例について説明する。移動体3に移動を行わせる場合、ユーザ端末2は、直前に行われた一連の移動に関する履歴情報などのある一連の移動に関する履歴情報を、履歴管理サーバ1に対して送信完了した状態であることを要する。履歴情報を履歴管理サーバ1に出力済みの場合(ステップS11でYES)、ステップS12に進み、移動を開始(離陸)する。
移動体3が移動を開始すると、履歴データが取得される(ステップS12)。移動体3がマニュアル操作される場合(ステップS13でYES)、入力部に対する入力を、入力情報(履歴データ)として記憶する(ステップS14)。オートパイロットの場合には入力情報は記憶されないが、位置情報や加速度など、他の情報(履歴データ)については記録してもよい。
移動体3が移動終了(着陸)するまで、履歴データが取得される。移動終了の場合(ステップS15でYES)、履歴データの取得を終了し(ステップS16)、履歴情報生成手段22が履歴情報を生成して、履歴管理サーバ1に送信する(ステップS17)。
なお、履歴データの取得開始は、移動開始(離陸)時に限らず、移動体3の起動時や事前に登録した移動開始位置に移動した際、マニュアル操作の開始時等、任意のタイミングで行ってよい。また、履歴データの取得終了は、移動終了(着陸)時に限らず、移動体3の電力をオフにした際や事前に登録した移動終了位置に移動した際、マニュアル操作の終了時等、任意のタイミングで行ってよい。
1 履歴管理サーバ
10 履歴データベース
11 履歴情報受信手段
12 履歴情報送信手段
2 ユーザ端末
21 操作手段
22 履歴情報生成手段
23 履歴情報送信手段
24 履歴情報受信手段
25 表示手段
26 登録手段
201 CPU
202 RAM
203 ROM
204 補助記憶装置
205 入力装置
206 出力装置
207 通信装置
208 オペレーティングシステム
209 履歴管理プログラム
3 移動体
301 主制御部
302 モータ
303 モータコントローラ
304 無線通信部
305 計測装置
306 撮像部
307 記憶部
NW ネットワーク
W1 操作画面
SR 右スティック
SL 左スティック
MV 地図表示
CV カメラ画像
W2 履歴呼び出し画面
W3 履歴確認画面
AV 警告表示
BV 動作表示
FV 機体履歴表示
IV 入力履歴表示
PV 移動表示
RV 経路履歴表示
D 現在位置
R 軌跡
SV 状態表示
TV 時間表示
W31 経路表示部
W32 機体表示部

Claims (10)

  1. マニュアル操作が可能な移動体を操作するための操作装置を備えた履歴管理システムであって、
    前記操作装置は、入力部に対する入力に基づいて、前記移動体の移動を操作するため操作信号を出力する手段と、
    前記入力の入力値および時間情報を対応付けて有する一連の移動についての履歴情報を生成する手段と、
    前記履歴情報に基づいて、時間軸上での入力状態に対応した入力値の入力履歴表示を含む履歴確認画面を表示処理する手段と、を備えることを特徴とする履歴管理システム。
  2. 前記履歴確認画面において、前記履歴情報を用いて、時間軸上での前記移動体の動作に関するアニメーションが表示処理されることを特徴とする請求項1に記載の履歴管理システム。
  3. 前記履歴確認画面は、前記入力履歴表示と同期して表示される前記移動体の機体履歴表示を含み、
    前記機体履歴表示は、時間軸上での機体状態に対応して変化する機体のアニメーション表示を含むことを特徴とする請求項1又は請求項2に記載の履歴管理システム。
  4. 前記操作装置は、前記履歴情報として、更に、経時的に変化する移動中の前記移動体の傾き情報を前記時間情報と対応付け、
    前記機体履歴表示は、時間軸上で変化する機体の傾きに対応してアニメーション表示されることを特徴とする請求項3に記載の履歴管理システム。
  5. 前記操作装置は、前記履歴情報として、更に、経時的に変化する移動中の前記移動体の位置情報を前記時間情報と対応付け、
    前記履歴確認画面は、前記入力履歴表示と同期して表示される前記移動体の移動経路を示す経路履歴表示を含み、
    前記経路履歴表示は、前記位置情報に基づいて表示される移動経路の軌跡および、時間軸上での前記軌跡上における機体の位置の表示を含むことを特徴とする請求項1〜4の何れかに記載の履歴管理システム。
  6. 前記操作装置は、前記移動体の移動終了後に、生成した前記履歴情報をサーバに送信する手段と、
    移動体の移動を開始するための手段と、を備え、
    新たな移動の開始は、以前の移動に関する履歴情報の送信状態に基づいて制限されることを特徴とする請求項1〜5の何れかに記載の履歴管理システム。
  7. 前記操作装置は、閾値設定を受け付け、設定された閾値に基づいて、警告表示を行う手段を更に備え、
    前記履歴確認画面は、前記入力履歴表示と同期して表示される前記警告表示を含むことを特徴とする請求項1〜6の何れかに記載の履歴管理システム。
  8. 前記履歴確認画面は、複数の入力部に対する時間軸上での入力状態に対応した入力値について、それぞれの入力部についての描画が並べて配置された入力履歴表示を含むことを特徴とする請求項1〜7の何れかに記載の履歴管理システム。
  9. マニュアル操作が可能な移動体の操作履歴を管理するための操作装置であって、
    入力部に対する入力に基づいて、前記移動体の移動を操作するため操作信号を出力する手段と、
    前記入力の入力値および時間情報を対応付けて有する一連の移動についての履歴情報を生成する手段と、
    前記履歴情報に基づいて、時間軸上での入力状態に対応した入力値の入力履歴表示を含む履歴確認画面を表示処理する手段と、を備えることを特徴とする操作装置。
  10. マニュアル操作が可能な移動体の操作履歴を管理するための履歴管理プログラムであって、
    コンピュータを、入力部に対する入力に基づいて、前記移動体の移動を操作するため操作信号を出力する手段と、
    前記入力の入力値および時間情報を対応付けて有する一連の移動についての履歴情報を生成する手段と、
    前記履歴情報に基づいて、時間軸上での入力状態に対応した入力値の入力履歴表示を含む履歴確認画面を表示処理する手段と、として機能させることを特徴とする履歴管理プログラム。

JP2018114078A 2018-06-15 2018-06-15 履歴管理システム、操作装置および履歴管理プログラム Pending JP2019219700A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018114078A JP2019219700A (ja) 2018-06-15 2018-06-15 履歴管理システム、操作装置および履歴管理プログラム
PCT/JP2019/015606 WO2019239698A1 (ja) 2018-06-15 2019-04-10 履歴管理システム、操作装置および履歴管理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018114078A JP2019219700A (ja) 2018-06-15 2018-06-15 履歴管理システム、操作装置および履歴管理プログラム

Publications (1)

Publication Number Publication Date
JP2019219700A true JP2019219700A (ja) 2019-12-26

Family

ID=68843160

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018114078A Pending JP2019219700A (ja) 2018-06-15 2018-06-15 履歴管理システム、操作装置および履歴管理プログラム

Country Status (2)

Country Link
JP (1) JP2019219700A (ja)
WO (1) WO2019239698A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7116833B1 (ja) 2021-09-28 2022-08-10 Kddi株式会社 移動体管理装置及び移動体管理方法
WO2022264993A1 (ja) * 2021-06-16 2022-12-22 日本精機株式会社 作業支援システム、作業支援システムの管理方法、作業支援システムの管理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007127914A (ja) * 2005-11-07 2007-05-24 Mitsubishi Electric Corp 飛行訓練支援システム
JP2008003983A (ja) * 2006-06-26 2008-01-10 Omron Corp 運行動態管理システム
JP2008068710A (ja) * 2006-09-13 2008-03-27 Yamaha Motor Co Ltd 無人ヘリコプタのデータ管理方法
JP2017078704A (ja) * 2015-07-17 2017-04-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 飛行ルート生成方法、飛行ルート生成プログラム及び飛行ルート表示装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012143447A (ja) * 2011-01-13 2012-08-02 Sharp Corp ネットワークシステム、コントロール方法、コントローラ、およびコントロールプログラム
WO2016049924A1 (en) * 2014-09-30 2016-04-07 SZ DJI Technology Co., Ltd. Systems and methods for flight simulation
JP6711565B2 (ja) * 2015-07-07 2020-06-17 キヤノン株式会社 通信装置、その制御方法、プログラム
JP2017191225A (ja) * 2016-04-14 2017-10-19 株式会社自律制御システム研究所 操縦訓練システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007127914A (ja) * 2005-11-07 2007-05-24 Mitsubishi Electric Corp 飛行訓練支援システム
JP2008003983A (ja) * 2006-06-26 2008-01-10 Omron Corp 運行動態管理システム
JP2008068710A (ja) * 2006-09-13 2008-03-27 Yamaha Motor Co Ltd 無人ヘリコプタのデータ管理方法
JP2017078704A (ja) * 2015-07-17 2017-04-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 飛行ルート生成方法、飛行ルート生成プログラム及び飛行ルート表示装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DJI SUPPORT: "DJI Go App - How to Sync DJI GO Flight Records into DJI GO App", YOUTUBE, JPN6019023417, 9 August 2016 (2016-08-09), ISSN: 0005081519 *
MULTICOPTER WAREHOUSE: "DJI GO 4 App - Find My Drone, Flight Logs, and More", YOUTUBE, JPN6019023414, 16 April 2017 (2017-04-16), ISSN: 0005081517 *
ORAN, FEEL QUITE AN AVIATOR: "フライトレコードをダッシュウェアにのせる方法 DJI MavicPro How to put flight records on DashWare", YOUTUBE, JPN6019023416, 20 February 2018 (2018-02-20), ISSN: 0005081518 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022264993A1 (ja) * 2021-06-16 2022-12-22 日本精機株式会社 作業支援システム、作業支援システムの管理方法、作業支援システムの管理プログラム
JP7116833B1 (ja) 2021-09-28 2022-08-10 Kddi株式会社 移動体管理装置及び移動体管理方法
JP2023048334A (ja) * 2021-09-28 2023-04-07 Kddi株式会社 移動体管理装置及び移動体管理方法

Also Published As

Publication number Publication date
WO2019239698A1 (ja) 2019-12-19

Similar Documents

Publication Publication Date Title
US11656635B2 (en) Heading generation method and system of unmanned aerial vehicle
JP7014832B2 (ja) 飛行ルート生成方法及びプログラム
JP6228679B2 (ja) ジンバル及びジンバルシミュレーションシステム
US8521339B2 (en) Method and system for directing unmanned vehicles
US11599110B2 (en) Notification method, notification device, and terminal
WO2012096347A1 (ja) ネットワークシステム、コントロール方法、コントローラ、およびコントロールプログラム
JP2015113100A (ja) 情報取得システム、無人飛行体制御装置
WO2018214155A1 (zh) 用于设备姿态调整的方法、设备、系统和计算机可读存储介质
JP2019219700A (ja) 履歴管理システム、操作装置および履歴管理プログラム
US20170162063A1 (en) Method for generating flight route with which observer can visually observe drone
WO2018113078A1 (zh) 一种无人机无头模式的飞行控制方法及无人机
WO2021251441A1 (ja) 方法、システムおよびプログラム
WO2017013841A1 (ja) 飛行ルート生成方法、飛行ルート生成プログラム及び飛行ルート表示装置
JP6661187B1 (ja) 飛行体の管理サーバ及び管理システム
WO2021079516A1 (ja) 飛行体の飛行経路作成方法及び管理サーバ
JP6875269B2 (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
JP6800505B1 (ja) 飛行体の管理サーバ及び管理システム
US20220166917A1 (en) Information processing apparatus, information processing method, and program
JP7411919B2 (ja) 情報処理装置及び情報処理方法
JP6600593B2 (ja) 移動体システム
WO2021064982A1 (ja) 情報処理装置および情報処理方法
WO2022070851A1 (ja) 方法、システムおよびプログラム
WO2021019879A1 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
TWI744593B (zh) 定翼機操作系統及其方法
JP6786138B1 (ja) 飛行体の管理サーバ及び管理システム

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20180713

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220712

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220926

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20221017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221220

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230217

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230613