JP2018107568A - 遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラム - Google Patents

遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラム Download PDF

Info

Publication number
JP2018107568A
JP2018107568A JP2016250651A JP2016250651A JP2018107568A JP 2018107568 A JP2018107568 A JP 2018107568A JP 2016250651 A JP2016250651 A JP 2016250651A JP 2016250651 A JP2016250651 A JP 2016250651A JP 2018107568 A JP2018107568 A JP 2018107568A
Authority
JP
Japan
Prior art keywords
control
unit
delay time
remote control
communication delay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016250651A
Other languages
English (en)
Other versions
JP6787112B2 (ja
Inventor
太一 熊谷
Taichi Kumagai
太一 熊谷
裕志 吉田
Hiroshi Yoshida
裕志 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2016250651A priority Critical patent/JP6787112B2/ja
Publication of JP2018107568A publication Critical patent/JP2018107568A/ja
Application granted granted Critical
Publication of JP6787112B2 publication Critical patent/JP6787112B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing And Monitoring For Control Systems (AREA)
  • Manipulator (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】通信遅延やその変動が発生する通信ネットワークを介して遠隔制御する場合であっても、高い精度で制御対象装置を遠隔制御できるようにする。【解決手段】通信ネットワークを介して制御対象装置を遠隔制御する遠隔制御装置であって、制御対象装置に対して所定の情報又は信号の送受信を行う通信部と、通信部を通じて制御対象装置を遠隔制御する制御部と、を備え、制御部は、遠隔制御装置と制御対象装置との間の通信遅延時間を計測する通信遅延時間計測処理部と、計測された通信遅延時間を用いて、少なくとも通信遅延時間によるオーバーシュート量が所定値未満となるように、制御用動作速度を算出し、算出された制御用動作速度で制御対象装置を動作させるための目標値を算出する目標値算出処理部と、算出された目標値を含む制御信号を制御対象装置に送信する制御信号送信処理部と、を備える。【選択図】図1

Description

本発明は、通信ネットワークを介して遠隔地にある制御対象装置を遠隔制御する、遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラムに関する。
近年のインターネット等の普及および通信速度の高速化に伴い、遠隔制御装置から、通信ネットワークを介して、遠隔地にあるAGV(Automatic Guided Vehicle;無人搬送車)、ドローン、建機、警備ロボット、災害救助ロボット、遠隔手術支援ロボットなどの制御対象装置を遠隔制御する遠隔制御システムを構築する取り組みが行われている。遠隔制御システムでは、一般的に、制御対象装置に搭載したカメラを用いて、制御対象装置やその周囲の映像を撮影し、撮影した映像を制御対象装置から遠隔制御装置に送信し、当該映像を遠隔制御装置に映し出してモニタリングしながら操作者が操作し、操作された制御信号を遠隔制御装置から制御対象装置に送信することで、制御対象装置を遠隔操作する。また、制御対象装置が屋外で使用される場合、制御対象装置と通信ネットワークとの間には、LTE(Long Term Evolution;ロング・ターム・エボリューション)、WiMAX(Worldwide Interoperability for Microwave Access)、無線LAN(Wireless Local Area Network)等の無線通信ネットワークを用いることが多い。
しかしながら、無線通信ネットワークでは、受信信号品質の変化や通信回線の混雑などにより、データパケットの損失、通信遅延や通信遅延の変動が生じることがあり、リアルタイムに制御を行う遠隔制御システムの安定性や操作性が劣化する可能性がある。例えば、制御対象装置を所望の位置に移動させたい場合、無線通信ネットワークで大きな通信遅延が生じると制御対象装置をリアルタイムで正確に移動させることが困難となり、所望の位置付近で行ったり来たりする動作を繰り返してしまうなど、作業効率が低下する可能性がある。そこで、遠隔制御装置と制御対象装置との間で通信遅延や通信遅延の変動が発生した場合にも、安定した遠隔制御を可能にする検討が行われている。
例えば、特許文献1に記載の技術では、通信ネットワークを介して制御信号や測定情報を送受信する際の制御の遅れ時間(通信遅延時間)による影響を低減するために、測定情報に対して平滑化処理を行い、先行して算出された平滑化処理の結果と測定情報とを比較することで、平滑化処理の前に測定情報を補正する処理を行っている。
また、特許文献2に記載の技術では、通信遅延時間の変動による不安定なネットワーク(通信ネットワーク)を介して制御対象を制御する場合であっても、制御ループを安定して実行させるために、通信ネットワークで許容される最大遅延時間を考慮して、フィールド機器(制御対象装置)からの第1データ(測定データ)が制御装置(遠隔制御装置)で受信されてから、遠隔制御装置で第2データ(制御データ)の生成が開始されるまでの時間を調整し、制御対象のモデルと通信ネットワークで許容される最大遅延時間とを用いて設計され、通信ネットワークで生じ得る各データの遅延を補償する処理を行っている。
ところで、通信ネットワークにおいてデータパケットの損失、通信遅延や通信遅延の変動が生ずると、制御対象装置を遠隔操作する際の安全性が劣化する可能性がある。例えば、通信遅延が生じたことで、遠隔制御装置からの制御信号の伝送が遅れてしまい、制御対象装置が操作者の想定よりも移動し過ぎてしまう可能性がある。制御対象装置が操作者の想定よりも移動し過ぎてしまうと、制御対象装置が周辺の障害物と衝突してしまう可能性がある。そこで、遠隔制御システムを用いた遠隔操作時の安全性を高める目的で、制御対象装置とその周辺に存在する障害物との衝突を回避する技術が検討されている。
例えば、特許文献3に記載の技術では、通信遅延の影響を低減して被制御体とその周辺にある障害物とが接近していることを操作者に伝えて遠隔操作に係る操作性を向上させるために、被制御体を用いて作業を行う作業装置(制御対象装置)は、制御対象装置の位置とその周辺の障害物との距離を特定する距離特定手段(距離センサ)を有し、距離センサにより特定された距離と、被制御体の位置が障害物に接近している旨の通知を送信した時から当該通知が操作制御装置(遠隔制御装置)に到達するまでの伝送所要時間の予測値と、に基づいて、被制御体が障害物に接触するまでの時間(接触時間)を推定している。また、特許文献3に記載の技術では、制御対象装置は、推定した接触時間よりも前に遠隔制御装置に到達するような時期に、被制御体が障害物に接近している旨の通知を遠隔制御装置に送信している。
また、特許文献4に記載の技術では、移動ロボット(制御対象装置)と操作者側(遠隔制御装置)との間に伝送遅延が生じていても制御対象装置を安全に移動させるために、制御対象装置が自律的に停止できるようにするべく、制御対象装置は、障害物を検出し、検出された障害物までの距離を算出し、算出された距離に基づき障害物と接触する前に停止可能な移動速度を算出し、算出した速度で移動する。
特開2014−119902号公報 特許第5565431号公報 特開2010−248703号公報 特開2006−285548号公報
以下の分析は、本願発明者により与えられる。
特許文献1に記載の技術は、通信ネットワークにおける通信遅延時間を既知としている。しかしながら、制御装置(遠隔制御装置)と測定装置及び処理装置(制御対象装置)との距離が変化する場合、通信ネットワークにおける通信遅延時間は時々刻々と変化するため、通信遅延時間を正確に把握することは難しい。そのため、特許文献1に記載の技術では、想定している通信遅延時間と、実際の通信遅延時間とが乖離すると、遠隔制御システムの安定性や操作性が劣化する可能性がある。特に、無線通信ネットワークでは、制御対象装置の移動に伴う電波状況の変化、制御対象装置の周辺物による電波の反射・回折、通信回線の混雑状況、他の無線基地局からの電波干渉や他の機器からのノイズなどの影響で通信遅延時間が大きく変動する。そのため、無線通信ネットワークを用いた遠隔制御システムにおいて、特許文献1に記載の技術のように通信遅延時間を既知とすると、安定した遠隔操作を行うことができない。
特許文献2に記載の技術は、通信ネットワークにおける通信遅延時間をすべて許容最大遅延時間に統一している。しかしながら、特許文献2に記載の技術では、実際の通信遅延時間とは無関係に、固定的に大きな通信遅延時間が発生することになるので、遠隔制御システムの操作性が制限されてしまう。通信遅延時間が小さいほど、遠隔制御システムの操作性は改善するため、通信遅延が小さい環境下においては、特許文献2に記載の技術のような許容最大遅延時間を用いた遅延の補償は望ましくない。
特許文献3及び特許文献4に記載の技術は、いずれも、制御対象装置と障害物との距離の特定値又は算出値を用いている。しかしながら、特許文献3及び特許文献4に記載の技術は、障害物との衝突回避を目的としているため、障害物のない条件下での作業における操作性の改善には寄与しない。例えば、制御対象装置に積載した荷物を所望の場所に運搬するなど、高い精度を要求される作業には、特許文献3及び特許文献4に記載の技術を適用できない。
本発明は上記課題を鑑みてなされたものであって、その目的は、通信遅延やその変動が発生する通信ネットワークを介して遠隔制御装置が制御対象装置を遠隔制御する場合であっても、高い精度で制御対象装置を遠隔制御することができる遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラムを提供することである。
第1の視点は、通信ネットワークを介して制御対象装置を遠隔制御する遠隔制御装置であって、前記制御対象装置に対して所定の情報又は信号の送受信を行う通信部と、前記通信部を通じて前記制御対象装置を遠隔制御する制御部と、を備え、前記制御部は、前記遠隔制御装置と前記制御対象装置との間の通信遅延時間を計測する通信遅延時間計測処理部と、計測された前記通信遅延時間を用いて、少なくとも前記通信遅延時間によるオーバーシュート量が所定値未満となるように、制御用動作速度を算出し、算出された前記制御用動作速度で前記制御対象装置を動作させるための目標値を算出する目標値算出処理部と、算出された前記目標値を含む制御信号を前記制御対象装置に送信する制御信号送信処理部と、を備える。
第2の視点は、遠隔制御システムであって、前記第1の視点に係る遠隔制御装置と、前記通信ネットワークと、前記制御対象装置と、を備え、前記制御対象装置は、前記遠隔制御装置に対して所定の情報又は信号の送受信を行う通信部と、所定の動作を行う動作部と、前記動作部を制御する制御部と、を備え、前記制御対象装置の前記制御部は、前記遠隔制御装置からの前記制御信号を受信する制御信号受信処理部と、受信した前記制御信号を用いて、前記動作部の動作を制御する動作制御処理部と、を備える。
第3の視点は、通信ネットワークを介して制御対象装置を遠隔制御する遠隔制御装置を用いて行う遠隔制御方法であって、前記遠隔制御装置と前記制御対象装置との間の通信遅延時間を計測する工程と、計測された前記通信遅延時間を用いて、少なくとも前記通信遅延時間によるオーバーシュート量が所定値未満となるように、制御用動作速度を算出し、算出された前記制御用動作速度で前記制御対象装置を動作させるための目標値を算出する工程と、算出された前記目標値を含む制御信号を前記制御対象装置に送信する工程と、を含む。
第4の視点は、通信ネットワークを介して制御対象装置を遠隔制御する遠隔制御装置を用いて実行される遠隔制御プログラムであって、前記遠隔制御装置と前記制御対象装置との間の通信遅延時間を計測するステップと、計測された前記通信遅延時間を用いて、少なくとも前記通信遅延時間によるオーバーシュート量が所定値未満となるように、制御用動作速度を算出し、算出された前記制御用動作速度で前記制御対象装置を動作させるための目標値を算出するステップと、算出された前記目標値を含む制御信号を前記制御対象装置に送信するステップと、を実行する。
第5の視点は、通信ネットワークを介して遠隔制御装置から遠隔制御される制御対象装置であって、前記遠隔制御装置に対して所定の情報又は信号の送受信を行う通信部と、所定の動作を行う動作部と、前記動作部を制御する制御部と、を備え、前記制御部は、前記遠隔制御装置からの制御信号を受信する制御信号受信処理部と、受信した前記制御信号を用いて、前記動作部の動作を制御する動作制御処理部と、を備える。
第6の視点は、通信ネットワークを介して遠隔制御装置から遠隔制御される制御対象装置を用いて行われる被遠隔制御方法であって、前記遠隔制御装置からの制御信号を受信する工程と、受信した前記制御信号を用いて、前記制御対象装置における動作部の動作を制御する工程と、を含む。
第7の視点に係る被遠隔制御プログラムは、遠隔制御装置から通信ネットワークを介して遠隔制御される制御対象装置で実行される被遠隔制御プログラムであって、前記遠隔制御装置からの制御信号を受信するステップと、受信した前記制御信号を用いて、前記制御対象装置における動作部の動作を制御するステップと、を実行させる。
前記第1〜第7の視点によれば、通信遅延やその変動が存在する通信ネットワークを介して遠隔制御装置が制御対象装置を遠隔制御する場合であっても、高い精度で制御対象装置を遠隔制御することができる。
実施形態1に係る遠隔制御システムの構成例を示したブロック図である。 実施形態1に係る遠隔制御システムにおける遠隔制御装置の動作を模式的に示したフローチャートである。 実施形態1に係る遠隔制御システムにおける制御対象装置の動作を模式的に示したフローチャートである。 実施形態2に係る遠隔制御システムの構成を模式的に示したブロック図である。 実施形態2に係る遠隔制御システムにおける遠隔制御装置の通信遅延時間推定部による上側包絡線の算出結果を例示するグラフである。 実施形態2に係る遠隔制御システムにおける遠隔制御装置の動作を模式的に示したフローチャートである。 実施形態3に係る遠隔制御システムの構成を模式的に示したブロック図である。 実施形態3に係る遠隔制御システムにおける制御対象装置の動作を模式的に示したフローチャートである。 実施形態4に係る遠隔制御システムの構成を模式的に示したブロック図である。 実施形態4に係る遠隔制御システムにおける遠隔制御装置の動作を模式的に示したフローチャートである。 実施形態4に係る遠隔制御システムにおける制御対象装置の動作を模式的に示したフローチャートである。
以下、実施形態について図面を参照しつつ説明する。なお、本出願において図面参照符号を付している場合は、それらは、専ら理解を助けるためのものであり、図示の態様に限定することを意図するものではない。なお、下記の実施形態は、あくまで例示であり、本発明を限定するものではない。
[実施形態1]
実施形態1に係る遠隔制御システムについて図面を用いて説明する。図1は、実施形態1に係る遠隔制御システムの構成例を示したブロック図である。
まず、実施形態1の基本原理について説明する。実施形態1の基本原理は、遠隔制御装置30が通信ネットワーク10を介して制御対象装置40を遠隔制御する際に、該通信ネットワーク10における通信遅延時間を用いて、該通信遅延時間によるオーバーシュート量が所定値未満となるように、制御対象装置40の動作速度を調整することである。ここでの制御対象装置40の動作とは、例えば、装置全体の移動、旋回(回転)、アームやマニピュレータの動作などの動作部43の動作である。また、ここでのオーバーシュート量とは、例えば、遠隔制御装置30の操作者が移動中の制御対象装置40に対して停止を指示した時点から制御対象装置が実際に停止するまでに、通信遅延時間の影響によって行き過ぎてしまう距離のことである。
次に、実施形態1に係る遠隔制御システムについて説明する。遠隔制御システム1は、遠隔制御装置30から通信ネットワーク10を介して遠隔地にある制御対象装置40を遠隔制御するためのシステムである。遠隔制御システム1は、遠隔制御装置30と、制御対象装置40と、通信ネットワーク10と、を有する。
遠隔制御装置30は、通信ネットワーク10(無線基地局装置11を含む)を介して制御対象装置40を遠隔制御するための装置である。遠隔制御装置30は、制御対象装置40とは異なる遠隔地に設置されている。遠隔制御装置30は、制御部31と、通信部33と、操作部34と、表示部35と、記憶部36と、を有する。
制御部31は、通信部33、操作部34、表示部35及び記憶部36を制御する機能部である。制御部31は、プログラム、ソフトウェアを実行することで、各機能部を制御したり、情報処理を行う。制御部31は、通信部33での情報の送受信を制御する。制御部31は、操作部34で入力された情報を取り込むように制御する。制御部31は、表示部35で表示する情報を出力するように制御する。制御部31は、記憶部36でのデータやファイル等の読み込み、書き込み等を制御する。
制御部31は、通信部33及び通信ネットワーク10(無線基地局装置11を含む)を通じて制御対象装置40を遠隔制御する。制御部31は、記憶部36に記憶された遠隔制御プログラムを実行することで、通信遅延時間計測処理部31aと、動作状態情報取得処理部31bと、目標値算出処理部31cと、制御信号送信処理部31dと、を実現する。
通信遅延時間計測処理部31aは、遠隔制御装置30と制御対象装置40との間の通信遅延時間を計測する情報処理部である。通信遅延時間計測処理部31aは、制御対象装置40に対して通信遅延時間を計測するための計測用データを送受信することにより通信遅延時間を計測する。詳細には、通信遅延時間計測処理部31aは、通信部33及び通信ネットワーク10(無線基地局装置11を含む)を介して制御対象装置40に対して計測用データを送受信することで、該計測用データの送信時刻と受信時刻との差から往復遅延時間(RTT: Round Trip Time)を算出して、算出された往復遅延時間に基づいて通信遅延時間を計測する。なお、通信遅延時間は、往復遅延時間の半分とすることができる。
通信遅延時間計測処理部31aは、通信遅延時間の計測にあたって、まず、制御対象装置40に対して、所定の周期又は任意のタイミングで、識別番号又は送信時刻の少なくともいずれかを含む計測用データ(例えば、ACK(ACKnowledgement)パケット)を送信する。送信された測定用データは、制御対象装置40で受信され、制御対象装置40から遠隔制御装置30に対して即座に返信される。通信遅延時間計測処理部31aは、制御対象装置40から返信された制御用データを受信すると、制御用データの受信時刻と送信時刻とを比較することで往復遅延時間を算出し、算出された往復遅延時間に基づいて通信遅延時間を計測する。なお、通信遅延時間計測処理部31aは、計測用データに送信時刻を含めない場合には、計測用データに係る識別番号と送信時刻とを関連付けて記憶部36に保持する。
動作状態情報取得処理部31bは、操作部34から入力される動作状態情報(例えば、作業用レバーやコントローラスティックの倒し量などを含む)、又は、制御対象装置40から送信される動作状態情報(制御対象装置40の位置、動作速度などを含む)の少なくともいずれかを取得する情報処理部である。
目標値算出処理部31cは、所望の動作速度で制御対象装置40の動作部43を動作させるための目標値を算出する情報処理部である。目標値算出処理部31cは、通信遅延時間計測処理部31aで計測された直近の通信遅延時間を用いて、通信遅延時間によるオーバーシュート量が所定値未満となるように、制御用動作速度を算出する。目標値算出処理部31cは、算出された制御用動作速度で制御対象装置40の動作部43を動作させるための目標値を算出する。
なお、目標値算出処理部31cは、通信遅延時間の計測用データにおけるパケットロスの発生等により、所定期間内に通信遅延時間の計測値を得ることができなかった場合には、あらかじめ設定された制御用動作速度で制御対象装置40の動作部43を動作させるための目標値を算出しても良い。ここで、あらかじめ設定された制御用動作速度とは、例えば、徐行用の動作速度や停止(動作速度ゼロ)である。
目標値算出処理部31cは、詳細には、オーバーシュート量推定部32aと、オーバーシュート量確認部32bと、制御用動作速度算出部32cと、目標値算出部32dと、を有する。
オーバーシュート量推定部32aは、通信遅延時間計測処理部31aで計測された通信遅延時間(往復遅延時間でも可)、及び、動作状態情報取得処理部31bで取得した動作状態情報を換算した動作速度(さらに補正した動作速度でも可)を用いて、オーバーシュート量を推定する情報処理部である。
ここで、オーバーシュート量推定部32aは、式1により、時刻tにおける遠隔制御装置30と制御対象装置40との間の通信に係る往復遅延時間d(t)から、制御対象装置40が動作速度vで動作する場合のオーバーシュート量s(t)を推定することができる。なお、式1では、遠隔制御装置30から制御対象装置40への制御信号の伝送に係る通信遅延時間(制御部31から通信部33、通信ネットワーク10、無線基地局装置11及び通信部42を通して制御部41へ制御信号が伝送されるときの片道の通信遅延時間)は、往復遅延時間d(t)の半分であると仮定している。
[式1]
Figure 2018107568
オーバーシュート量確認部32bは、オーバーシュート量推定部32aで推定されたオーバーシュート量が所定値未満となるか否かを確認する情報処理部である。
制御用動作速度算出部32cは、オーバーシュート量推定部32aで推定されたオーバーシュート量が所定値未満でないときに、通信遅延時間計測処理部31aで計測された通信遅延時間を用いて、オーバーシュート量が所定値未満となるように、制御用動作速度を算出する情報処理部である。
ここで、制御用動作速度算出部32cは、式1のオーバーシュート量s(t)が所定値δ未満となる(すなわち、式2を満足する)制御用動作速度vを算出する。
[式2]
Figure 2018107568
目標値算出部32dは、制御用動作速度算出部32cで算出された制御用動作速度で制御対象装置40を動作させるための目標値を算出する情報処理部である。目標値算出部32dは、オーバーシュート量推定部32aで推定されたオーバーシュート量が所定値未満であるときに、動作状態情報取得処理部31bで取得した動作状態情報で換算した動作速度で目標値を算出する。
なお、以上では、通信遅延時間は遠隔制御装置30と制御対象装置40との間の制御信号の通信遅延時間だけを考慮して目標値を算出しているが、さらに、制御対象装置40の撮影部44から遠隔制御装置30の表示部35への画像の配信に係る他の通信遅延時間も考慮して目標値を算出してもよい。操作者が制御対象装置40を遠隔操作する際、制御対象装置40の撮影部44から配信される画像信号(例えば、カメラ映像に係る信号)に係る画像を、遠隔制御装置30の表示部35でモニタリングしながら遠隔制御装置30を操作するため、制御信号の伝送に係る通信遅延時間だけでなく、画像信号の配信に係る他の通信遅延時間の影響も受ける。そこで、式3により、時刻tにおける撮影部44と表示部35との間の通信に係る往復遅延時間d(t)を用いて、オーバーシュート量s(t)を推定する。つまり、式3でのオーバーシュート量s(t)は、撮影部44から表示部35へ画像信号が伝送されるときの他の通信遅延時間(d(t)/2)で生ずるオーバーシュート量(v・d(t)/2)と、制御部31から制御部41へ制御信号が伝送されるときの通信遅延時間(d(t)/2)で生ずるオーバーシュート量(v・d(t)/2)と、の合計とすることができる。
なお、他の通信遅延時間(d(t)/2)は、撮影部44から制御部41、通信部42、無線基地局装置11、通信ネットワーク10、通信部33及び制御部31を通じて表示部35へ画像信号が伝送されるときに生ずる通信遅延時間である。また、通信遅延時間(d(t)/2)は、制御部31から通信部33、通信ネットワーク10、無線基地局装置11及び通信部42を通して制御部41へ制御信号が伝送されるときに生ずる通信遅延時間である。なお、式3では、通信以外の遅延時間、例えば、動作部43から撮影部44への光の遅延時間、操作者(人)が表示部35を見てから操作部34を操作するまでの操作の遅延時間、操作部34が操作されてから制御部31で制御信号を生成するまでの情報処理の遅延時間、制御部41が制御信号を受信してから動作部43の動作制御が始まるまでの動作制御の遅延時間等を考慮していない。
[式3]
Figure 2018107568
ここで、式3では、撮影部44から表示部35への画像信号の配信に係る他の通信遅延時間(撮影部44から制御部41、通信部42、無線基地局装置11、通信ネットワーク10、通信部33及び制御部31を通じて表示部35へ画像信号が伝送されるときの片道の通信遅延時間)は、往復遅延時間d(t)の半分であると仮定している。往復遅延時間d(t)は、撮影部44と表示部35との間で、通信遅延時間を計測するためのデータを送受信することで、往復遅延時間d(t)を計測することができる。具体的には、通信遅延時間計測処理部31aにおける計測方法と同様の方法を用いればよい。また、オーバーシュート量推定部32aは、通信遅延時間計測処理部31aで計測された通信遅延時間及び他の通信遅延時間、並びに、動作状態情報取得処理部31bで取得した動作状態情報で換算した動作速度を用いて、オーバーシュート量を推定すればよい。さらに、制御用動作速度算出部32cは、オーバーシュート量推定部32aで推定されたオーバーシュート量が所定値未満でないときに、通信遅延時間計測処理部31aで計測された通信遅延時間及び他の通信遅延時間を用いて、オーバーシュート量が所定値未満となるように、制御用動作速度を算出すればよい。
なお、撮影部44から表示部35への画像の配信に用いる通信経路が、遠隔制御装置30から制御対象装置40への制御信号の伝送に用いる通信経路と同一である場合(すなわち、通信ネットワーク10、有線リンク101および102、無線リンク103を経由する場合)、撮影部44と表示部35との間の通信に係る往復遅延時間d(t)は、遠隔制御装置30と制御対象装置40の間の通信に係る往復遅延時間d(t)と等しいと仮定してもよい。
制御信号送信処理部31dは、目標値算出処理部31cで算出された目標値を含む制御信号を通信部33及び通信ネットワーク10を介して制御対象装置40に送信する情報処理部である。制御信号送信処理部31dは、所定の周期で、又は、任意のタイミングで制御信号を送信する。ここで、制御信号には、例えば、移動方向、移動距離、回転方向、回転角度、アームの位置などに係る動作速度に係る目標値を含むことができる。
通信部33は、通信ネットワーク10(無線基地局装置11を含む)を介して制御対象装置40に対して所定の情報又は信号の送受信を行う機能部である。通信部33は、有線リンク102を介して通信ネットワーク10と通信可能に接続されている。通信部33は、制御部31によって制御される。
操作部34は、操作者の操作を入力するための機能部である。操作部34は、操作者によって操作されることにより制御対象装置40の遠隔操作を可能にする。操作部34は、制御部31によって制御される。
なお、操作部34を用いず、操作者を介さずに、遠隔制御装置30自身が直接、制御対象装置40を遠隔操作することも可能である。この場合、制御対象装置40は、角度センサ、回転センサ、加速度センサ、距離センサ、圧力センサ、磁気センサなどのセンサ部45から、制御対象装置40自身の動作に係る動作状態を取得し、取得した動作状態を含む動作状態情報を所定の周期で、又は、遠隔制御装置30の要求に応じて、遠隔制御装置30に送信する。そして、遠隔制御装置30は、受信した動作状態情報を用いて、制御対象装置40に対してフィードバック制御を実施する。
表示部35は、情報、画像を表示するための機能部である。表示部35は、例えば、制御対象装置40の撮影部44で撮影された工事現場などの画像を表示する。表示部35に表示された画像は、操作者にモニタリングされる。表示部35は、制御部31によって制御される。
記憶部36は、各種データ、ファイル等を記憶する機能部である。記憶部36は、制御対象装置40を遠隔制御するための遠隔制御プログラムを記憶する。記憶部36は、制御部31によって制御される。
制御対象装置40は、通信ネットワーク10を介して遠隔制御装置30から遠隔制御される装置である。制御対象装置40は、例えば、工事現場などに設置することができる。制御対象装置40には、例えば、AGV (Automatic Guided Vehicle)、ドローン、建機、警備ロボット、災害救助ロボット、遠隔手術支援ロボットなどの機械を用いることができるが、以下では、一例として油圧ショベルを用いて説明する。制御対象装置40は、制御部41と、通信部42と、動作部43と、撮影部44と、センサ部45と、記憶部46と、を有する。
制御部41は、通信部42、動作部43、撮影部44、センサ部45及び記憶部46を制御する機能部である。制御部41は、プログラム、ソフトウェアを実行することで、各機能部を制御したり、情報処理を行う。制御部41は、遠隔制御装置30からの測定用データを受信したときに、遠隔制御装置30に対して即座に返信する。制御部41は、通信部42での情報の送受信を制御する。制御部41は、撮影部44での画像の撮影を制御する。制御部41は、センサ部45での動作部43の動作に係る動作状態の検出を制御する。制御部41は、記憶部46でのデータやファイル等の読み込み、書き込み等を制御する。
制御部41は、動作部43を制御する。制御部41は、記憶部46に記憶された被遠隔制御プログラムを実行することで、制御信号受信処理部41aと、動作制御処理部41bと、動作状態取得処理部41cと、動作状態情報送信処理部41dと、を実現する。
制御信号受信処理部41aは、遠隔制御装置30からの制御信号を受信する情報処理部である。
動作制御処理部41bは、制御信号受信処理部41aで受信した制御信号を用いて、動作部43の動作(例えば、移動、回転、旋回、スライド、伸縮など)を制御する情報処理部である。
動作状態取得処理部41cは、センサ部45で検出された動作部43の動作に係る動作状態を取得する情報処理部である。動作状態取得処理部41cは、所定の周期、又は、遠隔制御装置30の要求に応じて、センサ部45から動作状態を取得する。
動作状態情報送信処理部41dは、動作状態取得処理部41cで取得した動作状態を含む動作状態情報を遠隔制御装置30に送信する情報処理部である。なお、動作状態情報送信処理部41dは、撮影部44で撮影した画像を動作状態情報に含めて遠隔制御装置30に送信するようにしてもよい。
通信部42は、遠隔制御装置30に対して所定の情報又は信号の送受信を行う機能部である。通信部42は、無線リンク103を介して無線基地局装置11と通信可能に接続されている。通信部42は、制御部41によって制御される。
動作部43は、所定の動作を行う機能部である。動作部43として、例えば、アーム、クローラ、油圧シリンダ、エンジンなどを用いることができる。動作部43の動作として、例えば、移動、回転、旋回、スライド、伸縮などが挙げられる。動作部43は、制御部41によって制御される。
撮影部44は、所定の位置から見える画像(動画でも可)を撮影する機能部である。撮影部44は、制御対象装置40の所定の位置、例えば、制御対象装置40の運転席、運転席の死角、動作部43の動作が見渡せる位置、制御対象装置40の前方部等に取り付けることができる。撮影部44は、制御部41によって制御される。撮影部44で撮影した画像は、制御部41を通じて、動作状態情報に含めて遠隔制御装置30に送信するようにしてもよく、動作状態情報とは別にして遠隔制御装置30に送信するようにしてもよい。
センサ部45は、動作部43の動作に係る動作状態を検出する機能部である。センサ部45には、例えば、角度センサ、回転センサ、加速度センサ、距離センサ、圧力センサ、磁気センサなどのセンサ類を用いることができる。センサ部45は、制御部41によって制御される。
記憶部46は、各種データ、ファイル等を記憶する機能部である。記憶部46は、遠隔制御装置から通信ネットワークを介して遠隔制御される制御対象装置で実行される被遠隔制御プログラムを記憶する。記憶部46は、制御部41によって制御される。
通信ネットワーク10は、遠隔制御装置30と制御対象装置40とを通信可能に接続する情報通信網である。通信ネットワーク10は、有線リンク102を介して遠隔制御装置30の通信部33と通信可能に接続されている。通信ネットワーク10は、通信ネットワーク10における他の要素(図示せず)と有線リンク101を介して通信可能に接続された無線基地局装置11を有する。無線基地局装置11は、無線通信機能を有する無線端末に対して無線通信サービスを提供する装置である。無線基地局装置11は、無線リンク103を介して制御対象装置40の通信部42と通信可能に接続されている。なお、通信ネットワーク10においては、有線リンク101、102の一部を無線リンクに置き換えてもよく、逆に無線リンク103の一部を有線リンクに置き換えてもよい。
なお、実施形態1において、遠隔制御装置30、制御対象装置40、及び、遠隔制御装置30や制御対象装置40における機能部は1つしか記載されていないが、これらの個数に限定される必要はない。すなわち、各装置や各機能部が2台以上存在する場合であってもよい。
次に、実施形態1に係る遠隔制御システムにおける遠隔制御装置の動作について図面を用いて説明する。図2は、実施形態1に係る遠隔制御システムにおける遠隔制御装置の動作を模式的に示したフローチャートである。
まず、遠隔制御装置30の通信遅延時間計測処理部31aは、制御対象装置40に対して、通信遅延時間を計測するための計測用データ(データパケット)を送受信することにより、通信遅延時間(往復遅延時間でも可)を計測する(ステップA1)。ここで、往復遅延時間は、送受信された計測用データの送信時刻と受信時刻との差から求まる。また、通信遅延時間は、往復遅延時間の半分とすることができる。
次に、遠隔制御装置30の動作状態情報取得処理部31bは、操作部34から入力される動作状態情報、又は、制御対象装置40から送信される動作状態情報の少なくともいずれかを取得する(ステップA2)。なお、動作状態情報の取得は、ステップA1の後に限らず、ステップA1の前、ステップA1と同時に行ってもよい。
次に、遠隔制御装置30の目標値算出処理部31cのオーバーシュート量推定部32aは、通信遅延時間計測処理部31aで計測された通信遅延時間、及び、動作状態情報取得処理部31bで取得した動作状態情報で換算した動作速度を用いて、オーバーシュート量を推定する(ステップA3)。なお、オーバーシュート量は、上記式1を用いて推定することができる。
次に、遠隔制御装置30の目標値算出処理部31cのオーバーシュート量確認部32bは、オーバーシュート量推定部32aで推定されたオーバーシュート量が所定値未満となるか否かを確認する(ステップA4)。なお、オーバーシュート量が所定値未満となるか否かの確認は、上記式2を用いることができる。オーバーシュート量が所定値未満となる場合(ステップA4のYES)、ステップA7に進む。
オーバーシュート量が所定値未満とならない場合(ステップA4のNO)、遠隔制御装置30の目標値算出処理部31cの制御用動作速度算出部32cは、通信遅延時間計測処理部31aで計測された通信遅延時間を用いて、オーバーシュート量が所定値未満となるように、制御用動作速度を算出する(ステップA5)。なお、制御用動作速度は、上記式1及び式2を用いて算出することができる。
ステップA5の後、遠隔制御装置30の目標値算出処理部31cの目標値算出部32dは、制御用動作速度算出部32cで算出された制御用動作速度で制御対象装置40を動作させるための目標値を算出する(ステップA6)。その後、ステップA8に進む。ここでの目標値は、動作速度の推定値でもよいし、該推定値に対応する別の値でもよい。例えば、油圧ショベルの場合、油圧シリンダなどに与える圧力、流量、方向などの値であってもよい。
オーバーシュート量が所定値未満となる場合(ステップA4のYES)、遠隔制御装置30の目標値算出処理部31cの目標値算出部32dは、動作状態情報取得処理部31bで取得した動作状態情報で換算した動作速度で制御対象装置40を動作させるための目標値を算出する(ステップA7)。
ステップA6又はステップA7の後、遠隔制御装置30の制御信号送信処理部31dは、目標値算出部32dで算出された目標値を含む制御信号を制御対象装置40に送信する(ステップA8)。その後、スタートに戻る。
次に、実施形態1に係る遠隔制御システムにおける制御対象装置の動作について図面を用いて説明する。図3は、実施形態1に係る遠隔制御システムにおける制御対象装置の動作を模式的に示したフローチャートである。
まず、制御対象装置40の制御信号受信処理部41aは、遠隔制御装置30からの制御信号を受信する(ステップB1)。
次に、制御対象装置40の動作制御処理部41bは、制御信号受信処理部41aで受信した制御信号を用いて、動作部43の動作を制御する(ステップB2)。
次に、制御対象装置40の動作状態取得処理部41cは、センサ部45で検出された動作状態を取得する(ステップB3)。なお、動作状態の取得は、ステップB2の後に限らず、ステップB1又はステップB2の前、ステップB1又はステップB2と同時に行ってもよく、所定の周期、又は、遠隔制御装置30の要求に応じて行うことができる。また、動作状態として、例えば、角度、回転速度、加速度、周辺物への距離、圧力、方向などが挙げられる。
次に、制御対象装置40の動作状態情報送信処理部41dは、動作状態取得処理部41cで取得した動作状態を含む動作状態情報を遠隔制御装置30に送信する(ステップB4)。その後、スタートに戻る。
実施形態1によれば、遠隔制御装置30が通信ネットワーク10を介して制御対象装置40を遠隔制御する際に、通信遅延時間を考慮して制御対象装置40の動作速度を調整することにより、遠隔制御システム1における遠隔操作時の誤差を低減することができ、作業効率を改善することに貢献する。
[実施形態2]
実施形態2に係る遠隔制御システムについて図面を用いて説明する。図4は、実施形態2に係る遠隔制御システムの構成を模式的に示したブロック図である。図5は、実施形態2に係る遠隔制御システムにおける遠隔制御装置の通信遅延時間推定部による上側包絡線の算出結果を例示するグラフである。
実施形態2は、実施形態1の変形例であり、遠隔制御装置30の目標値算出処理部31cにおいて、通信遅延時間計測処理部31aで計測された通信遅延時間を用いて、将来の通信遅延時間を推定し、推定された将来の通信遅延時間を用いて、オーバーシュート量が所定値未満となるように、制御用動作速度を算出するようにしたものである。その他の構成及び動作は、実施形態1と同様である。
目標値算出処理部31cは、詳細には、通信遅延時間推定部37aと、オーバーシュート量推定部37bと、オーバーシュート量確認部37cと、制御用動作速度算出部37dと、目標値算出部37eと、を有する。
通信遅延時間推定部37aは、通信遅延時間計測処理部31aで計測された通信遅延時間を用いて、将来の通信遅延時間を推定する情報処理部である。
通信遅延時間推定部37aでは、将来の通信遅延時間を推定する際に、通信遅延時間計測処理部31aで計測された通信遅延時間(往復遅延時間でも可;図5のRTT)を用いて、通信遅延時間の変動の上側包絡線(図5)を算出し、算出された上側包絡線の値を用いて、将来の通信遅延時間を推定する。つまり、通信遅延時間推定部37aが算出した上側包絡線の値と同等の通信遅延時間が次の通信において発生すると見なしたものである。上側包絡線は、計測した往復遅延時間を平滑化処理(平均化処理でも可)することで、算出することができる。図5は、通信遅延時間推定部37aにおける上側包絡線の算出結果を例示するグラフである。図5を参照すると、上側包絡線は、計測した往復遅延時間を平滑化処理することで、往復遅延時間RTTの増加に対しては即座に追従し、往復遅延時間の減少に対しては比較的緩やかに追従する。
通信遅延時間推定部37aは、例えば、時刻t−1の時点に推定された将来の往復遅延時間の推定値d^(t−1)と、時刻tの時点に測定された往復遅延時間の計測値d(t)と、を用いて、式4により、時刻tの時点で推定された将来の往復遅延時間の推定値d^(t)を得ることができる。なお、時刻t−1は、時刻tよりも過去の時刻である。
なお、d^(t−1)及びd^(t)は、以下のように表される。
Figure 2018107568
[式4]
Figure 2018107568
ここで、式4におけるαは、重み係数であって、値が小さいほど往復遅延時間の計測値d(t)を優先するようになるパラメータである。重み係数αは、0から1の範囲で値を取る。
重み係数αは、制御対象装置40に対して一律の値を設定してもよく、制御対象装置40のアームやクローラなどの動作部43毎に個別の値を設定してもよい。重み係数αを動作部43毎に個別に設定する場合、各動作部43の時定数に応じて設定することが望ましい。ここで、時定数とは動作部43が目標速度の1−e−1に到達するまでの時間である。具体的には、式4における平滑化処理の時定数t(式5により求まる)よりも、動作部43の時定数tが小さくなるように、式6を満足する重み係数αを設定する。重み係数αは、制御信号に対する制御対象装置40の時定数が小さいほど小さくなるように設定され、かつ、通信遅延時間計測処理部31aで計測された通信遅延時間(往復遅延時間でも可)のうち現在時刻に近いものを優先するように設定される。
[式5]
Figure 2018107568
[式6]
Figure 2018107568
オーバーシュート量推定部37bは、通信遅延時間推定部37aで推定された将来の通信遅延時間、及び、動作状態情報取得処理部31bで取得した動作状態情報を用いて、オーバーシュート量を推定する情報処理部である。
なお、オーバーシュート量確認部37cについては、実施形態1のオーバーシュート量確認部(図1の32b)と同様である。
制御用動作速度算出部37dは、オーバーシュート量推定部37bで推定されたオーバーシュート量が所定値未満でないときに、通信遅延時間推定部37aで推定された将来の通信遅延時間を用いて、オーバーシュート量が所定値未満となるように、制御用動作速度を算出する情報処理部である。
なお、目標値算出部37eについては、実施形態1の目標値算出部(図1の32d)と同様である。
次に、実施形態2に係る遠隔制御システムにおける遠隔制御装置の動作について図面を用いて説明する。図6は、実施形態2に係る遠隔制御システムにおける遠隔制御装置の動作を模式的に示したフローチャートである。
まず、実施形態1のステップA1(図2参照)と同様に、通信遅延時間(往復遅延時間でも可)を計測し(ステップC1)、その後、実施形態1のステップA2(図2参照)と同様に、操作部34から入力される動作状態情報、又は、制御対象装置40から送信される動作状態情報の少なくともいずれかを取得する(ステップC2)。なお、ステップC2は、ステップC1の後に限らず、ステップC1の前、ステップC1と同時に行ってもよい。
次に、遠隔制御装置30の目標値算出処理部31cの通信遅延時間推定部37aは、通信遅延時間計測処理部31aで計測された通信遅延時間(往復遅延時間でも可)を用いて、将来の通信遅延時間を推定する(ステップC3)。
ここで、ステップC3では、計測した往復遅延時間を平滑化処理することで、往復遅延時間の時間変動の上側包絡線を求め、求められた上側包絡線の値を将来の往復遅延時間の推定値として用いることができる。つまり、通信遅延時間推定部37aが算出した上側包絡線の値と同等の通信遅延時間が次の通信において発生すると見なすことができる。
次に、遠隔制御装置30の目標値算出処理部31cのオーバーシュート量推定部37bは、通信遅延時間推定部37aで推定された将来の通信遅延時間、及び、動作状態情報取得処理部31bで取得した動作状態情報で換算した動作速度を用いて、オーバーシュート量を推定する(ステップC4)。なお、オーバーシュート量は、上記式1を用いて推定することができる。
次に、実施形態1のステップA4(図2参照)と同様に、推定されたオーバーシュート量が所定値未満となるか否かを確認し(ステップC5)、オーバーシュート量が所定値未満とならない場合(ステップC5のNO)、実施形態1のステップA5(図2参照)と同様に、制御用動作速度を算出し(ステップC6)、その後、実施形態1のステップA6(図2参照)と同様に、目標値を算出する(ステップC7)。一方、オーバーシュート量が所定値未満となる場合(ステップC5のYES)、実施形態1のステップA7(図2参照)と同様に、目標値を算出する(ステップC8)。
ステップC7又はステップC8の後、実施形態1のステップA8(図2参照)と同様に、目標値を含む制御信号を制御対象装置40に送信し(ステップC9)、その後、スタートに戻る。
実施形態2によれば、遠隔制御装置30が通信ネットワーク10を介して制御対象装置40を遠隔制御する際に、将来の通信遅延時間を推定(予測)して制御対象装置40の動作速度を調整することにより、遠隔制御システム1における遠隔操作時の誤差をさらに低減することができ、作業効率をさらに改善することに貢献する。
[実施形態3]
実施形態3に係る遠隔制御システムについて図面を用いて説明する。図7は、実施形態3に係る遠隔制御システムの構成を模式的に示したブロック図である。
実施形態3は、実施形態1の変形例であり、制御対象装置40の動作制御処理部41bにおいて、補正目標値を算出し、算出された補正目標値を用いて、動作部43の動作を制御するようにしたものである。その他の構成及び動作は、実施形態1と同様である。なお、実施形態3は、実施形態2に適用してもよい。
動作制御処理部41bは、詳細には、補正目標値算出部47aと、動作制御部47bと、を備える。
補正目標値算出部47aは、制御信号受信処理部41aで最後に制御信号を受信した受信時刻からの経過時間を用いて、経過時間が大きいほど制御信号に含まれる目標値が小さくなるように補正された補正目標値を算出する情報処理部である。
補正目標値算出部47aにおける補正目標値の算出処理では、式7により、所定値δを経過時間τで除した値よりも小さい動作速度v’を算出する。ただし、動作速度v’が制御信号に含まれる目標値に対応する動作速度vよりも小さい場合にのみ、補正目標値を算出する。補正目標値算出部47aにおける補正目標値の算出処理は、新しい制御信号を受信するまで、所定の周期で実施する。なお、遠隔制御装置30が所定の周期で制御信号を送信している場合には、経過時間τから所定時間を減じた値を用いて、補正目標値を算出してもよい。
[式7]
Figure 2018107568
動作制御部47bは、補正目標値算出部47aで算出された補正目標値を用いて、動作部43の動作を制御する情報処理部である。
次に、実施形態3に係る遠隔制御システムにおける遠隔制御装置の動作について図面を用いて説明する。図8は、実施形態3に係る遠隔制御システムにおける制御対象装置の動作を模式的に示したフローチャートである。
まず、実施形態1の図3のステップB1と同様に、遠隔制御装置30からの制御信号を受信する(ステップD1)。
次に、制御対象装置40の動作制御処理部41bの補正目標値算出部47aは、制御信号受信処理部41aで最後に制御信号を受信した受信時刻からの経過時間を用いて、経過時間が大きいほど制御信号に含まれる目標値が小さくなるように補正された補正目標値を算出する(ステップD2)
次に、制御対象装置40の動作制御処理部41bの動作制御部47bは、補正目標値算出部47aで算出された補正目標値を用いて、動作部43の動作を制御する(ステップD3)。
次に、実施形態1の図3のステップB3と同様に、センサ部45で検出された動作状態を取得し(ステップD4)、その後、実施形態1の図3のステップB4と同様に、動作状態を含む動作状態情報を遠隔制御装置30に送信する(ステップD5)。その後、スタートに戻る。
実施形態3によれば、制御対象装置40が最後に受信した制御信号の受信時刻からの経過時間が大きくなるほど、制御対象装置40の動作速度を小さくするように調整することにより、急な通信遅延時間の増加などにより、制御信号の到達が大きく遅れた場合にも、制御対象装置40が自律的に動作速度を小さくするため、作業の安全性を改善することに貢献する。
[実施形態4]
実施形態4に係る遠隔制御システムについて図面を用いて説明する。図9は、実施形態4に係る遠隔制御システムの構成を模式的に示したブロック図である。
遠隔制御システム1は、遠隔制御装置30から通信ネットワーク10を介して遠隔地にある制御対象装置40を遠隔制御するためのシステムである。遠隔制御システム1は、遠隔制御装置30と、制御対象装置40と、通信ネットワーク10と、を備える。
遠隔制御装置30は、通信ネットワーク10を介して制御対象装置40を遠隔制御するための装置である。遠隔制御装置30は、通信部33、制御部31と、を有する。
通信部33は、制御対象装置40に対して所定の情報又は信号の送受信を行う機能部である。
制御部31は、通信部33を通じて制御対象装置40を遠隔制御する機能部である。制御部31は、通信遅延時間計測処理部31aと、目標値算出処理部31cと、制御信号送信処理部31dと、を備える。通信遅延時間計測処理部31aは、遠隔制御装置30と制御対象装置40との間の通信遅延時間を計測する情報処理部である。目標値算出処理部31cは、通信遅延時間計測処理部31aで計測された通信遅延時間を用いて、少なくとも該通信遅延時間によるオーバーシュート量が所定値未満となるように、制御用動作速度を算出し、算出された制御用動作速度で制御対象装置40を動作させるための目標値を算出する情報処理部である。制御信号送信処理部31dは、算出された目標値を含む制御信号を制御対象装置40に送信する情報処理部である。
制御対象装置40は、通信ネットワーク10を介して遠隔制御装置30から遠隔制御される装置である。制御対象装置40は、通信部42と、動作部43と、制御部41と、を備える。
通信部42は、遠隔制御装置30に対して所定の情報又は信号の送受信を行う機能部である。
動作部43は、所定の動作を行う機能部である。
制御部41は、動作部43を制御する機能部である。制御部41は、制御信号受信処理部41aと、動作制御処理部41bと、を有する。制御信号受信処理部41aは、遠隔制御装置30からの制御信号を受信する情報処理部である。動作制御処理部41bは、制御信号受信処理部41aで受信した制御信号を用いて、動作部43の動作を制御する機能部である。
次に、実施形態4に係る遠隔制御システムにおける遠隔制御装置について図面を用いて説明する。図10は、実施形態4に係る遠隔制御システムにおける遠隔制御装置の動作を模式的に示したフローチャートである。
まず、遠隔制御装置30は、遠隔制御装置30と制御対象装置40との間の通信遅延時間を計測する(ステップE1)。
次に、遠隔制御装置30は、計測された通信遅延時間を用いて、少なくとも該通信遅延時間によるオーバーシュート量が所定値未満となるように、制御用動作速度を算出する(ステップE2)。
次に、遠隔制御装置30は、算出された制御用動作速度で制御対象装置40を動作させるための目標値を算出する(ステップE3)。
次に、遠隔制御装置30は、算出された目標値を含む制御信号を制御対象装置40に送信し(ステップE4)、その後、スタートに戻る。
次に、実施形態4に係る遠隔制御システムにおける制御対象装置について図面を用いて説明する。図11は、実施形態4に係る遠隔制御システムにおける制御対象装置の動作を模式的に示したフローチャートである。
まず、制御対象装置40は、遠隔制御装置30からの制御信号を受信する(ステップF1)。
次に、制御対象装置40は、受信した制御信号を用いて、動作部43の動作を制御し(ステップF2)、その後、スタートに戻る。
実施形態4によれば、計測した通信遅延時間を用いて、制御対象装置40を制御するための目標値を調整しているので、通信遅延やその変動が存在する通信ネットワーク10を介して遠隔制御装置30が制御対象装置40を遠隔制御する場合であっても、高い精度で制御対象装置を遠隔制御することができる。
(付記)
本発明では、前記第1の視点に係る遠隔制御装置の形態が可能である。
前記第1の視点に係る遠隔制御装置において、前記通信遅延時間計測処理部は、前記制御対象装置に対して前記通信遅延時間を計測するための計測用データを送受信することにより前記通信遅延時間を計測する。
前記第1の視点に係る遠隔制御装置において、前記目標値算出処理部は、前記通信遅延時間計測処理部で所定期間内に通信遅延時間を計測することができなかった場合には、あらかじめ設定された制御用動作速度で前記制御対象装置を動作させるための目標値を算出する。
前記第1の視点に係る遠隔制御装置において、前記制御部は、前記制御対象装置からの動作速度を含む動作状態情報を取得する動作状態情報取得処理部をさらに備え、前記目標値算出処理部は、計測された前記通信遅延時間、及び、取得した前記動作状態情報を用いて、前記オーバーシュート量を推定するオーバーシュート量推定部と、推定された前記オーバーシュート量が前記所定値未満となるか否かを確認するオーバーシュート量確認部と、推定された前記オーバーシュート量が前記所定値未満でないときに、計測された前記通信遅延時間を用いて、前記オーバーシュート量が前記所定値未満となるように、前記制御用動作速度を算出する制御用動作速度算出部と、算出された前記制御用動作速度で前記目標値を算出する目標値算出部と、を備える。
前記第1の視点に係る遠隔制御装置において、前記制御対象装置の撮影部で撮影された画像を表示する表示部をさらに備え、前記通信遅延時間計測処理部は、さらに、前記撮影部と前記表示部との間の他の通信遅延時間を計測し、前記オーバーシュート量推定部は、計測された前記通信遅延時間及び前記他の通信遅延時間、並びに、取得した前記動作状態情報の前記動作速度を用いて、前記オーバーシュート量を推定し、前記制御用動作速度算出部は、推定された前記オーバーシュート量が前記所定値未満でないときに、計測された前記通信遅延時間及び前記他の通信遅延時間を用いて、前記オーバーシュート量が前記所定値未満となるように、前記制御用動作速度を算出する。
前記第1の視点に係る遠隔制御装置において、前記目標値算出処理部は、計測された前記通信遅延時間を用いて、将来の通信遅延時間を推定し、推定された前記将来の通信遅延時間を用いて、前記オーバーシュート量が前記所定値未満となるように、前記制御用動作速度を算出し、算出された前記制御用動作速度で前記目標値を算出する。
前記第1の視点に係る遠隔制御装置において、前記制御部は、前記制御対象装置からの動作状態情報を取得する動作状態情報取得処理部をさらに備え、前記目標値を算出する処理では、計測された前記通信遅延時間を用いて、将来の通信遅延時間を推定する通信遅延時間推定部と、推定された前記将来の通信遅延時間、及び、取得した前記動作状態情報を用いて、オーバーシュート量を推定するオーバーシュート量推定部と、推定された前記オーバーシュート量が前記所定値未満となるか否かを確認するオーバーシュート量確認部と、推定された前記オーバーシュート量が前記所定値未満でないときに、推定された前記将来の通信遅延時間を用いて、オーバーシュート量が前記所定値未満となるように、前記制御用動作速度を算出する制御用動作速度算出部と、算出された前記制御用動作速度で前記目標値を算出する目標値算出部と、を備える。
前記第1の視点に係る遠隔制御装置において、前記目標値算出部は、推定された前記オーバーシュート量が前記所定値未満であるときに、取得した前記動作状態情報で前記目標値を算出する。
前記第1の視点に係る遠隔制御装置において、前記目標値算出処理部は、前記将来の通信遅延時間を推定する際に、計測された前記通信遅延時間を用いて、前記通信遅延時間の変動の上側包絡線を算出し、算出された前記上側包絡線の値を用いて、前記将来の通信遅延時間を推定する。
前記第1の視点に係る遠隔制御装置において、前記目標値算出処理部は、前記将来の通信遅延時間を推定する際に、前記制御信号に対する前記制御対象装置の時定数が小さいほど小さくなるように設定され、かつ、計測された前記通信遅延時間のうち現在時刻に近いものを優先するように設定される重み係数を用いて、前記将来の通信遅延時間を推定する。
本発明では、前記第2の視点に係る遠隔制御システムの形態が可能である。
前記第2の視点に係る遠隔制御システムにおいて、前記動作制御処理部は、最後に前記制御信号を受信した受信時刻からの経過時間を用いて、前記経過時間が大きいほど前記目標値が小さくなるように補正された補正目標値を算出する補正目標値算出部と、算出された前記補正目標値を用いて、前記動作部の動作を制御する動作制御部と、を備える。
本発明では、前記第3の視点に係る遠隔制御方法の形態が可能である。
本発明では、前記第4の視点に係る遠隔制御プログラムの形態が可能である。
本発明では、前記第5の視点に係る制御対象装置の形態が可能である。
前記第5の視点に係る制御対象装置において、前記動作部の動作に係る動作状態を検出するセンサ部をさらに備え、前記制御部は、前記センサ部で検出された動作状態を取得する動作状態取得処理部と、取得した前記動作状態を含む動作状態情報を前記遠隔制御装置に送信する動作状態情報送信処理部と、をさらに備える。
前記第5の視点に係る制御対象装置において、前記動作制御処理部は、最後に前記制御信号を受信した受信時刻からの経過時間を用いて、前記経過時間が大きいほど前記制御信号に含まれる目標値が小さくなるように補正された補正目標値を算出する補正目標値算出部と、算出された前記補正目標値を用いて、前記動作部の動作を制御する動作制御部と、を備える。
前記第5の視点に係る制御対象装置において、所定の位置から見える画像を撮影する撮影部をさらに備え、前記制御部は、前記撮影部で撮影された映像を前記遠隔制御装置に送信する。
本発明では、前記第6の視点に係る被遠隔制御方法の形態が可能である。
本発明では、前記第7の視点に係る被遠隔制御プログラムの形態が可能である。
なお、上記の特許文献の開示を、本書に引用をもって繰り込むものとする。本発明の全開示(特許請求の範囲及び図面を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせないし選択(必要により不選択)が可能である。すなわち、本発明は、請求の範囲及び図面を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、本願に記載の数値及び数値範囲については、明記がなくともその任意の中間値、下位数値、及び、小範囲が記載されているものとみなされる。
1 遠隔制御システム
10 通信ネットワーク
11 無線基地局装置
30 遠隔制御装置
31 制御部
31a 通信遅延時間計測処理部
31b 動作状態情報取得処理部
31c 目標値算出処理部
31d 制御信号送信処理部
32a オーバーシュート量推定部
32b オーバーシュート量確認部
32c 制御用動作速度算出部
32d 目標値算出部
33 通信部
34 操作部
35 表示部
36 記憶部
37a 通信遅延時間推定部
37b オーバーシュート量推定部
37c オーバーシュート量確認部
37d 制御用動作速度算出部
37e 目標値算出部
40 制御対象装置
41 制御部
41a 制御信号受信処理部
41b 動作制御処理部
41c 動作状態取得処理部
41d 動作状態情報送信処理部
42 通信部
43 動作部
44 撮影部
45 センサ部
46 記憶部
47a 補正目標値算出部
47b 動作制御部
101、102 有線リンク
103 無線リンク

Claims (10)

  1. 通信ネットワークを介して制御対象装置を遠隔制御する遠隔制御装置であって、
    前記制御対象装置に対して所定の情報又は信号の送受信を行う通信部と、
    前記通信部を通じて前記制御対象装置を遠隔制御する制御部と、
    を備え、
    前記制御部は、
    前記遠隔制御装置と前記制御対象装置との間の通信遅延時間を計測する通信遅延時間計測処理部と、
    計測された前記通信遅延時間を用いて、少なくとも前記通信遅延時間によるオーバーシュート量が所定値未満となるように、制御用動作速度を算出し、算出された前記制御用動作速度で前記制御対象装置を動作させるための目標値を算出する目標値算出処理部と、
    算出された前記目標値を含む制御信号を前記制御対象装置に送信する制御信号送信処理部と、
    を備える、
    遠隔制御装置。
  2. 前記通信遅延時間計測処理部は、前記制御対象装置に対して前記通信遅延時間を計測するための計測用データを送受信することにより前記通信遅延時間を計測する、
    請求項1記載の遠隔制御装置。
  3. 前記制御部は、前記遠隔制御装置の操作部から入力される動作状態情報、又は、前記制御対象装置から送信される動作状態情報の少なくともいずれかを取得する動作状態取得処理部をさらに備え、
    前記目標値算出処理部は、
    計測された前記通信遅延時間、及び、取得した前記動作状態情報を用いて、前記オーバーシュート量を推定するオーバーシュート量推定部と、
    推定された前記オーバーシュート量が前記所定値未満となるか否かを確認するオーバーシュート量確認部と、
    推定された前記オーバーシュート量が前記所定値未満でないときに、計測された前記通信遅延時間を用いて、前記オーバーシュート量が前記所定値未満となるように、前記制御用動作速度を算出する制御用動作速度算出部と、
    算出された前記制御用動作速度で前記目標値を算出する目標値算出部と、
    を備える、
    請求項1又は2記載の遠隔制御装置。
  4. 前記目標値算出処理部は、計測された前記通信遅延時間を用いて、将来の通信遅延時間を推定し、推定された前記将来の通信遅延時間を用いて、前記オーバーシュート量が前記所定値未満となるように、前記制御用動作速度を算出し、算出された前記制御用動作速度で前記目標値を算出する、
    請求項1又は2記載の遠隔制御装置。
  5. 前記目標値算出処理部は、前記将来の通信遅延時間を推定する際に、計測された前記通信遅延時間を用いて、前記通信遅延時間の変動の上側包絡線を算出し、算出された前記上側包絡線の値を用いて、前記将来の通信遅延時間を推定する、
    請求項4記載の遠隔制御装置。
  6. 前記目標値算出処理部は、前記将来の通信遅延時間を推定する際に、前記制御信号に対する前記制御対象装置の時定数が小さいほど小さくなるように設定され、かつ、計測された前記通信遅延時間のうち現在時刻に近いものを優先するように設定される重み係数を用いて、前記将来の通信遅延時間を推定する、
    請求項4記載の遠隔制御装置。
  7. 請求項1乃至6のいずれか一に記載の遠隔制御装置と、
    前記通信ネットワークと、
    前記制御対象装置と、
    を備え、
    前記制御対象装置は、
    前記遠隔制御装置に対して所定の情報又は信号の送受信を行う通信部と、
    所定の動作を行う動作部と、
    前記動作部を制御する制御部と、
    を備え、
    前記制御対象装置の前記制御部は、
    前記遠隔制御装置からの前記制御信号を受信する制御信号受信処理部と、
    受信した前記制御信号を用いて、前記動作部の動作を制御する動作制御処理部と、
    を備える、
    遠隔制御システム。
  8. 前記動作制御処理部は、
    最後に前記制御信号を受信した受信時刻からの経過時間を用いて、前記経過時間が大きいほど前記目標値が小さくなるように補正された補正目標値を算出する補正目標値算出部と、
    算出された前記補正目標値を用いて、前記動作部の動作を制御する動作制御部と、
    を備える、
    請求項7記載の遠隔制御システム。
  9. 通信ネットワークを介して制御対象装置を遠隔制御する遠隔制御装置を用いて行う遠隔制御方法であって、
    前記遠隔制御装置と前記制御対象装置との間の通信遅延時間を計測する工程と、
    計測された前記通信遅延時間を用いて、少なくとも前記通信遅延時間によるオーバーシュート量が所定値未満となるように、制御用動作速度を算出し、算出された前記制御用動作速度で前記制御対象装置を動作させるための目標値を算出する工程と、
    算出された前記目標値を含む制御信号を前記制御対象装置に送信する工程と、
    を含む、
    遠隔制御方法。
  10. 通信ネットワークを介して制御対象装置を遠隔制御する遠隔制御装置を用いて実行される遠隔制御プログラムであって、
    前記遠隔制御装置と前記制御対象装置との間の通信遅延時間を計測するステップと、
    計測された前記通信遅延時間を用いて、少なくとも前記通信遅延時間によるオーバーシュート量が所定値未満となるように、制御用動作速度を算出し、算出された前記制御用動作速度で前記制御対象装置を動作させるための目標値を算出するステップと、
    算出された前記目標値を含む制御信号を前記制御対象装置に送信するステップと、
    を実行する、
    遠隔制御プログラム。
JP2016250651A 2016-12-26 2016-12-26 遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラム Active JP6787112B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016250651A JP6787112B2 (ja) 2016-12-26 2016-12-26 遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016250651A JP6787112B2 (ja) 2016-12-26 2016-12-26 遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラム

Publications (2)

Publication Number Publication Date
JP2018107568A true JP2018107568A (ja) 2018-07-05
JP6787112B2 JP6787112B2 (ja) 2020-11-18

Family

ID=62784805

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016250651A Active JP6787112B2 (ja) 2016-12-26 2016-12-26 遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラム

Country Status (1)

Country Link
JP (1) JP6787112B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020027988A (ja) * 2018-08-09 2020-02-20 東京瓦斯株式会社 遠隔制御サーバ、遠隔制御端末、および遠隔制御システム
JP2020134494A (ja) * 2019-02-26 2020-08-31 Jfeスチール株式会社 金属板用自走式検査装置および金属板用自走式検査方法、ならびに検査システム
CN111958583A (zh) * 2019-05-20 2020-11-20 发那科株式会社 机器人控制装置、机器人系统以及机器人控制方法
CN112936251A (zh) * 2019-12-11 2021-06-11 精工爱普生株式会社 机器人系统以及机器人的控制装置
WO2021193073A1 (ja) 2020-03-27 2021-09-30 日立建機株式会社 作業機械の遠隔操縦システム
CN114097010A (zh) * 2019-07-18 2022-02-25 三菱电机株式会社 信息处理装置、程序和信息处理方法
WO2022202568A1 (ja) * 2021-03-24 2022-09-29 日立建機株式会社 作業機械

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01209505A (ja) * 1988-02-17 1989-08-23 Toshiba Corp 遠隔操作ロボットの教示装置
JP2004248223A (ja) * 2003-02-17 2004-09-02 Mitsubishi Electric Corp カメラの遠隔制御システム
WO2006046500A1 (ja) * 2004-10-29 2006-05-04 Keio University 通信遅延を有する通信路を介して信号を送受信する遠隔制御システム
JP4575508B1 (ja) * 2009-05-20 2010-11-04 ファナック株式会社 デュアル位置フィードバック制御を行うサーボ制御装置
JP2012139063A (ja) * 2010-12-27 2012-07-19 Nec Corp 電力融通システム、制御装置、制御方法
JP2014197391A (ja) * 2013-03-01 2014-10-16 フィッシャー−ローズマウント システムズ,インコーポレイテッド 無線又は間欠プロセス計測値を伴うプロセス制御システムにおける予測手段の使用
WO2016148310A1 (ja) * 2016-03-31 2016-09-22 株式会社小松製作所 作業機械の制御システム、作業機械及び作業機械の制御方法
JP2016215357A (ja) * 2015-05-26 2016-12-22 国立大学法人 名古屋工業大学 パラメータ推定装置、パラメータ推定方法、プログラム及び制御装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01209505A (ja) * 1988-02-17 1989-08-23 Toshiba Corp 遠隔操作ロボットの教示装置
JP2004248223A (ja) * 2003-02-17 2004-09-02 Mitsubishi Electric Corp カメラの遠隔制御システム
WO2006046500A1 (ja) * 2004-10-29 2006-05-04 Keio University 通信遅延を有する通信路を介して信号を送受信する遠隔制御システム
JP4575508B1 (ja) * 2009-05-20 2010-11-04 ファナック株式会社 デュアル位置フィードバック制御を行うサーボ制御装置
JP2012139063A (ja) * 2010-12-27 2012-07-19 Nec Corp 電力融通システム、制御装置、制御方法
JP2014197391A (ja) * 2013-03-01 2014-10-16 フィッシャー−ローズマウント システムズ,インコーポレイテッド 無線又は間欠プロセス計測値を伴うプロセス制御システムにおける予測手段の使用
JP2016215357A (ja) * 2015-05-26 2016-12-22 国立大学法人 名古屋工業大学 パラメータ推定装置、パラメータ推定方法、プログラム及び制御装置
WO2016148310A1 (ja) * 2016-03-31 2016-09-22 株式会社小松製作所 作業機械の制御システム、作業機械及び作業機械の制御方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7112910B2 (ja) 2018-08-09 2022-08-04 東京瓦斯株式会社 遠隔制御サーバ、遠隔制御端末、および遠隔制御システム
JP2020027988A (ja) * 2018-08-09 2020-02-20 東京瓦斯株式会社 遠隔制御サーバ、遠隔制御端末、および遠隔制御システム
JP2020134494A (ja) * 2019-02-26 2020-08-31 Jfeスチール株式会社 金属板用自走式検査装置および金属板用自走式検査方法、ならびに検査システム
JP7024746B2 (ja) 2019-02-26 2022-02-24 Jfeスチール株式会社 金属板用自走式検査装置および金属板用自走式検査方法、ならびに検査システム
CN111958583A (zh) * 2019-05-20 2020-11-20 发那科株式会社 机器人控制装置、机器人系统以及机器人控制方法
JP2020189348A (ja) * 2019-05-20 2020-11-26 ファナック株式会社 ロボット制御装置、ロボットシステム、及びロボット制御方法
US11992932B2 (en) 2019-05-20 2024-05-28 Fanuc Corporation Robot controller, robot system, and robot control method
JP7294880B2 (ja) 2019-05-20 2023-06-20 ファナック株式会社 ロボット制御装置、ロボットシステム、及びロボット制御方法
CN114097010A (zh) * 2019-07-18 2022-02-25 三菱电机株式会社 信息处理装置、程序和信息处理方法
CN114097010B (zh) * 2019-07-18 2023-12-12 三菱电机株式会社 信息处理装置、计算机能读取的记录介质和信息处理方法
CN112936251A (zh) * 2019-12-11 2021-06-11 精工爱普生株式会社 机器人系统以及机器人的控制装置
CN112936251B (zh) * 2019-12-11 2024-02-06 精工爱普生株式会社 机器人系统以及机器人的控制装置
KR20220038735A (ko) 2020-03-27 2022-03-29 히다찌 겐끼 가부시키가이샤 작업 기계의 원격 조종 시스템
CN114222953A (zh) * 2020-03-27 2022-03-22 日立建机株式会社 作业机械的远程操纵系统
EP4130399A4 (en) * 2020-03-27 2024-05-22 Hitachi Construction Mach Co REMOTE CONTROL SYSTEM FOR WORK MACHINE
WO2021193073A1 (ja) 2020-03-27 2021-09-30 日立建機株式会社 作業機械の遠隔操縦システム
WO2022202568A1 (ja) * 2021-03-24 2022-09-29 日立建機株式会社 作業機械
JP7414762B2 (ja) 2021-03-24 2024-01-16 日立建機株式会社 作業機械

Also Published As

Publication number Publication date
JP6787112B2 (ja) 2020-11-18

Similar Documents

Publication Publication Date Title
JP6787112B2 (ja) 遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラム
JP6939896B2 (ja) 遠隔制御装置、システム、方法、及びプログラム
EP3004800B1 (en) Method and apparatus for offboard navigation of a robotic device
KR101403223B1 (ko) 무선 센서 네트워크를 통한 카메라 제어 방법 및 이를 위한시스템
US10243717B2 (en) Service, wireless device, methods and computer programs
WO2014196925A1 (en) Method and apparatus for offboard navigation of a robotic device
JP2017022433A (ja) 遠隔操縦システム
JP2010248703A (ja) 制御システム、制御方法、操作制御装置及び作業装置
JP2017050797A (ja) 移動装置、通信システム及び通信制御方法
JP7060093B2 (ja) 遠隔操作装置、遠隔操作方法、遠隔操作プログラム、及び、遠隔操作システム
JP6530282B2 (ja) 作業装置及び通信制御方法
JP4300060B2 (ja) 監視システム及び監視端末
JP6035671B2 (ja) デバイスの状態同定方法と装置
JP6581844B2 (ja) 建設機械の遠隔操作システム
US20220193904A1 (en) Technique for Determining Control Information to be Wirelessly Transmitted to a Robotic Device
US20220404825A1 (en) Method for remotely controlling a robot
KR101791351B1 (ko) 무인 자율비행체간 에드혹 네트워크에서 동적 위치정보 갱신을 통한 데이터 전달 절차 및 방법
JP7294880B2 (ja) ロボット制御装置、ロボットシステム、及びロボット制御方法
JPWO2019098258A1 (ja) 制御装置、制御対象機器、制御システム、制御方法、制御対象機器の制御方法、制御装置のプログラム、および制御対象機器のプログラム
JP7234724B2 (ja) ロボットおよび制御システム
CN112533737A (zh) 用于无线控制机器人设备的技术
WO2023007645A1 (ja) データ配信システム、通信品質予測装置、データ送信装置及びデータ送信方法
WO2022054274A1 (ja) 位置推定システム、位置推定方法、及び位置推定プログラム
WO2023280826A1 (en) Distributed control over a lossy and variable delay communication link.
US11814071B2 (en) Vehicle, apparatus for a vehicle, computer program, and method for processing information for communication in a tele-operated driving session

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201012

R150 Certificate of patent or registration of utility model

Ref document number: 6787112

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150