JP2021064064A - ロボットシステム、ロボット及び操作端末 - Google Patents
ロボットシステム、ロボット及び操作端末 Download PDFInfo
- Publication number
- JP2021064064A JP2021064064A JP2019187150A JP2019187150A JP2021064064A JP 2021064064 A JP2021064064 A JP 2021064064A JP 2019187150 A JP2019187150 A JP 2019187150A JP 2019187150 A JP2019187150 A JP 2019187150A JP 2021064064 A JP2021064064 A JP 2021064064A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- image
- operator
- movement
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 claims abstract description 139
- 238000004891 communication Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims description 34
- 239000000203 mixture Substances 0.000 claims description 23
- 238000013459 approach Methods 0.000 claims description 13
- 239000002131 composite material Substances 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 3
- 230000009471 action Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 239000011165 3D composite Substances 0.000 description 8
- 230000007613 environmental effect Effects 0.000 description 7
- 241001465754 Metazoa Species 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
以下では、本発明に係るロボットシステム、ロボット及び操作端末の実施形態を、図面を参照しながら詳細に説明する。
図1は、実施形態に係る遠隔操作システムの全体構成を示す全体構成図である。
[ロボット1]
「ロボット」の概念は、この実施形態に限定されるものではない。「ロボット」は、人造人間、人間に類似した動作や作業を行なうものを含む。また、「ロボット」は、外部からの指示(指令)に基づき、指示された動作や作業をコンピュータにより行なう装置、自律的な動作や作業をコンピュータにより行なう装置を含む。また、「ロボット」は、自動制御によるマニピュレーション機能、及び又は、移動機能を持ち、各種の作業をプログラムによって実行でき産業に使用される機械を含む。また、「ロボット」は、人間、動物等にサービスするロボットを含む。さらに、「ロボット」は、「センサ、知能・制御系、駆動系の3つの要素技術を有する、知能化した機械システム」等を含む。
図1では、説明を容易にするために、ロボット本体部14が円柱形状である場合を例示しているが、これに限定されない。例えば、搬送可能な箱型、人型、動物型、自動車等の車両型などとしてもよい。
移動部12は、ロボット1の移動を可能とするための装置である。この実施形態では、床面上を移動するロボット1を例示するので、移動部12は1又は複数の駆動輪13を備えるものとする。
カメラ11は、ロボット1の四方の周囲の映像を撮像する撮像装置である。
管理センタシステム2は、ゲートウェイ装置21、接続制御部22、管理データベース23、操作端末24(24−1〜24−M;Mは正の整数)、映像合成制御部26等を有し、これら構成要素はネットワーク25と接続されている。
ゲートウェイ装置21は、通信網3と接続して、ロボット1と、管理センタシステム2の各構成要素(例えば、操作端末24、接続制御部22、映像合成制御部26など)との間で授受される情報を中継する処理を行なう。
接続制御部22は、各ロボット1と、オペレータにより操作される各操作端末24との接続制御を行なう。
管理データベース23は、接続制御部22による処理に必要なデータを記憶する。
操作端末24(24−1〜24−M)は、各オペレータによって操作される端末である。操作端末24は、通信部241、操作部242、表示部243等を有する操作卓(又はコックピット)に設けられる。
映像合成制御部26は、各ロボット1から、カメラ11−1〜11−4で撮像したカメラ映像を取得し、各カメラ映像に基づいて、操作端末24の表示部243に映像を表示するための映像制御処理を行なう。
図2は、実施形態に係るロボット1の内部構成を示す内部構成図である。
通信部110は、通信網3と接続して、ロボット1と、管理センタシステム2の各構成要素(例えば、操作端末24、接続制御部22、映像合成制御部26など)との間で情報の授受を行なうものである。
監視部120は、カメラ11−1〜11−4によりロボット1の四方の全周囲が撮像され、ロボット1の全周囲を監視する。
センサ群130は、例えば、障害物の検出のための対物検出センサ、対象物までの距離を計測する深度センサ(測距センサ)、赤外線センサ、温湿度センサ、人物の体温や心拍等のバイタルデータを検知するバイタルセンサ等とすることができ、各種センサの全部又は一部の組み合わせてもよい。センサ群130の各センサによりセンシングされたデータは統括制御部100に与えられる。
コミュニケーション部140は、ロボット1に接する対象(例えば、人等)と、オペレータとの間でコミュニケーションをとるためのデバイスである。
統括制御部100は、ロボット1の動作やタスク動作等を司る処理部である。
移動制御部150は、統括制御部100の制御を受けて、ロボット1を移動制御するものである。移動制御部150は、ロボット1の走行を制御する走行制御部151と、正面方向制御部152とを有する。
移動駆動部160は、移動制御部150の制御により、移動部12を駆動するためのものであり、例えば駆動輪13を駆動するものである。移動駆動部160は、例えばモータドライバや駆動モータ等を適用できる。
以下では、この実施形態のロボット1の遠隔操作処理の動作を、図面を参照しながら詳細に説明する。
まず、オペレータが操作端末24上で操作対象とするロボット1を指定する(S201)。
オペレータ操作により操作端末24上で操作対象とするロボット1が指定されると、接続制御部22は、当該指定されたロボット1と、当該オペレータ操作による操作端末24との間の接続制御を行なう(S202)。
ロボット1では、カメラ11−1〜11−4がそれぞれ当該ロボット1の周囲を撮像しており(S203)、監視部120が、各カメラ11−1〜11−4の各カメラ映像データから注目すべき対象を判定する(S204)。
ロボット1では、行動判断部101が、各カメラ11−1〜11−4のカメラ映像データや監視部120による監視結果等に基づいて、ロボット1の正面方向を決定する(S205)。
ロボット1において、行動判断部101は、決定したロボット1の正面方向を示す情報を、管理センタシステム2の接続制御部22に送信する(S206)。管理センタシステム2では、接続制御部22が、ロボット1の正面方向を示す情報を受信すると、対応するコックピットの操作端末24にロボット1の正面方向を示す情報を送信する(S207)。
操作端末24上で、オペレータ操作によるロボットの移動操作が開始される(S210)。操作端末24上で、操作部242を操作するオペレータにより、ロボット1の移動方向を操作するハンド操作が必要でないとき(S211/No)、処理はS212に移行し、ハンド操作が必要であるとき(S211/Yes)、処理はS213に移行する。
管理センタシステム2側がロボット1との間で行なう制御方法には、様々な方法がある。
ロボット1が、ロボット正面方向を、エリア監視方向に近づける方法にも、様々な方法を適用できる。
図8は、実施形態に係る合成映像に映るCG画像モデルの透過度を調整する方法を説明する説明図である。
以上のように、この実施形態によれば、手動モードへの切替時に、ロボットが正面位置をエリア監視画面の方向に移動し、ロボットの正面方向とエリア監視画面の方向とを同期させるので、エリア監視画面の映像がロボットの正面の映像となる。そのため、エリア監視画面の映像を見てロボットを操作するオペレータは、ロボットを直感的に操作することができる。
上述した実施形態においても種々の変形実施形態を言及したが、本発明は、以下の変形実施形態にも適用できる。
Claims (6)
- 当該ロボットの周囲を撮像する1又は複数のカメラを有し、自律的に移動するロボットと、
上記ロボットの上記各カメラにより撮像された各カメラ映像に基づいて仮想視点から当該ロボットの周囲映像を映し出した監視画面を表示する表示部と、オペレータにより上記ロボットの移動操作を行なう操作部とを有する操作端末と、
上記ロボットと、上記ロボットの移動操作を行なう上記オペレータの上記操作端末との間の情報通信に係る接続処理を行なう接続制御部と
を備え、
上記ロボットを上記オペレータによる移動操作に切り替える際に、上記ロボットが、当該ロボットの正面方向を示す情報と、上記表示部に表示される上記仮想視点から当該ロボットの周囲映像を映し出している上記監視画面の監視方向を示す情報とに基づいて、当該ロボットの正面を上記監視画面の上記監視方向に近づけるように、当該ロボットを移動制御する移動制御部を備える
ことを特徴とするロボットシステム。 - 上記ロボットを上記オペレータによる移動操作に切り替える際に、
上記操作部が、上記オペレータによる上記ロボットの移動操作を受けると、
上記ロボットの上記移動制御部が、当該ロボットの正面を上記監視画面の上記監視方向に近づけると共に、上記操作部を用いた上記ロボットの移動操作に応じて、当該ロボットの正面を、上記操作部を用いた移動操作方向に近づけるように移動制御することを特徴とする請求項1に記載のロボットシステム。 - 上記ロボットを上記オペレータによる移動操作に切り替える際に、上記ロボットが、当該ロボットの正面方向の向きを、上記監視画面の上記監視方向又は上記移動操作方向に変えて進行させるときに、当該ロボットの進行方向を表す情報を出力する出力部を備えることを特徴とする請求項1又は2に記載のロボットシステム。
- 3次元形状モデルを用いて、上記ロボットの上記各カメラにより撮像された各カメラ映像データに基づく合成映像を形成し、当該合成映像上における上記ロボットの存在領域の所定の画像モデルを重畳させて、上記操作部で指定された仮想視点から上記ロボットの周囲映像を映し出す監視映像を含む上記監視画面を、上記表示部に表示させる映像合成制御部を備え、
上記映像合成制御部が、上記表示部に表示させている上記監視画面に映る注意しべき対象の画像領域と、上記画像モデルの画像領域とが重なっている場合に、所定の方法により、上記画像モデルの透過度を制御した監視画面を上記表示部に表示する
ことを特徴とする請求項1〜3のいずれかに記載のロボットシステム。 - 当該ロボットの周囲を撮像する1又は複数のカメラを有し、自律的に移動するロボットにおいて、
当該ロボットは、上記ロボットの上記各カメラにより撮像された各カメラ映像に基づいて仮想視点から当該ロボットの周囲映像を映し出した監視画面を表示する表示部と、オペレータにより上記ロボットの移動操作を行なう操作部とを有する操作端末の間で情報通信を行ない、
上記ロボットを上記オペレータによる移動操作に切り替える際に、当該ロボットの正面方向を示す情報と、上記表示部に表示される上記仮想視点から当該ロボットの周囲映像を映し出している上記監視画面の監視方向を示す情報とに基づいて、当該ロボットの正面を上記監視画面の上記監視方向に近づけるように、当該ロボットを移動制御する移動制御部を備える
ことを特徴とするロボット。 - ロボットの周囲を撮像する1又は複数のカメラを有し、自律的に移動するロボットを、オペレータによる移動操作を行なうための操作端末において、
上記ロボットの上記各カメラにより撮像された各カメラ映像に基づいて仮想視点から当該ロボットの周囲映像を映し出した監視画面を表示する表示部と、
オペレータにより上記ロボットの移動操作を行なう操作部と、
上記ロボットと、上記ロボットの移動操作を行なう上記オペレータの上記操作端末との間の情報通信に係る接続処理を行なう接続制御部と
を備えることを特徴とする操作端末。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019187150A JP2021064064A (ja) | 2019-10-10 | 2019-10-10 | ロボットシステム、ロボット及び操作端末 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019187150A JP2021064064A (ja) | 2019-10-10 | 2019-10-10 | ロボットシステム、ロボット及び操作端末 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021064064A true JP2021064064A (ja) | 2021-04-22 |
Family
ID=75486265
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019187150A Pending JP2021064064A (ja) | 2019-10-10 | 2019-10-10 | ロボットシステム、ロボット及び操作端末 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021064064A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7513674B2 (ja) | 2022-09-28 | 2024-07-09 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | ロボット制御装置、ロボット制御方法、ロボット制御プログラム及びロボット制御システム |
WO2024190308A1 (ja) * | 2023-03-10 | 2024-09-19 | ソニーグループ株式会社 | 情報処理装置、遠隔操作制御方法、遠隔操作制御システム、及び、自律移動体 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11272328A (ja) * | 1998-03-25 | 1999-10-08 | Nippon Signal Co Ltd:The | 色標識,移動ロボットおよび移動ロボットの誘導方法 |
JP2001062766A (ja) * | 1999-08-26 | 2001-03-13 | Matsushita Electric Works Ltd | 2足歩行ロボットの遠隔制御用ユーザインターフェイスシステム |
JP2005208857A (ja) * | 2004-01-21 | 2005-08-04 | Campus Create Co Ltd | 画像生成方法 |
JP2007030060A (ja) * | 2005-07-22 | 2007-02-08 | Honda Motor Co Ltd | 移動ロボットの制御装置 |
JP2008016058A (ja) * | 2007-09-25 | 2008-01-24 | Fujitsu Ltd | ロボットの遠隔制御方法及びシステム並びにロボット |
US20140303775A1 (en) * | 2011-12-08 | 2014-10-09 | Lg Electronics Inc. | Automatic moving apparatus and manual operation method thereof |
JP2015144013A (ja) * | 2015-03-31 | 2015-08-06 | 株式会社日立製作所 | ロボットシステム及び地図更新方法 |
JP2017139582A (ja) * | 2016-02-02 | 2017-08-10 | キヤノン株式会社 | 移動制御システム |
JP2018153874A (ja) * | 2017-03-15 | 2018-10-04 | 株式会社オカムラ | 提示装置、提示方法およびプログラム、ならびに作業システム |
JP2019016089A (ja) * | 2017-07-05 | 2019-01-31 | カシオ計算機株式会社 | 自律移動装置、自律移動方法及びプログラム |
-
2019
- 2019-10-10 JP JP2019187150A patent/JP2021064064A/ja active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11272328A (ja) * | 1998-03-25 | 1999-10-08 | Nippon Signal Co Ltd:The | 色標識,移動ロボットおよび移動ロボットの誘導方法 |
JP2001062766A (ja) * | 1999-08-26 | 2001-03-13 | Matsushita Electric Works Ltd | 2足歩行ロボットの遠隔制御用ユーザインターフェイスシステム |
JP2005208857A (ja) * | 2004-01-21 | 2005-08-04 | Campus Create Co Ltd | 画像生成方法 |
JP2007030060A (ja) * | 2005-07-22 | 2007-02-08 | Honda Motor Co Ltd | 移動ロボットの制御装置 |
JP2008016058A (ja) * | 2007-09-25 | 2008-01-24 | Fujitsu Ltd | ロボットの遠隔制御方法及びシステム並びにロボット |
US20140303775A1 (en) * | 2011-12-08 | 2014-10-09 | Lg Electronics Inc. | Automatic moving apparatus and manual operation method thereof |
JP2015144013A (ja) * | 2015-03-31 | 2015-08-06 | 株式会社日立製作所 | ロボットシステム及び地図更新方法 |
JP2017139582A (ja) * | 2016-02-02 | 2017-08-10 | キヤノン株式会社 | 移動制御システム |
JP2018153874A (ja) * | 2017-03-15 | 2018-10-04 | 株式会社オカムラ | 提示装置、提示方法およびプログラム、ならびに作業システム |
JP2019016089A (ja) * | 2017-07-05 | 2019-01-31 | カシオ計算機株式会社 | 自律移動装置、自律移動方法及びプログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7513674B2 (ja) | 2022-09-28 | 2024-07-09 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | ロボット制御装置、ロボット制御方法、ロボット制御プログラム及びロボット制御システム |
WO2024190308A1 (ja) * | 2023-03-10 | 2024-09-19 | ソニーグループ株式会社 | 情報処理装置、遠隔操作制御方法、遠隔操作制御システム、及び、自律移動体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8352072B2 (en) | System for extending the observation, surveillance, and navigational capabilities of a robot | |
JP4012749B2 (ja) | 遠隔操縦システム | |
JP2017163265A (ja) | 操縦支援システム、情報処理装置およびプログラム | |
JP2006113858A (ja) | 移動体の遠隔操作支援方法及びシステム | |
WO2014162554A1 (ja) | 画像処理システムおよび画像処理用プログラム | |
JP2000079587A (ja) | ロボットの遠隔制御方法及びシステム | |
JP5946428B2 (ja) | 移動ロボットシステム | |
JP2012137909A (ja) | 移動体遠隔操縦システムおよびそのための制御プログラム | |
US20220124288A1 (en) | Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium | |
JP2019156298A (ja) | 車両遠隔操作装置及び車両遠隔操作方法 | |
JP2021064064A (ja) | ロボットシステム、ロボット及び操作端末 | |
US20220152836A1 (en) | Robot | |
WO2021153187A1 (ja) | 作業支援サーバおよび作業支援システム | |
WO2021124654A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム | |
KR20130060952A (ko) | 서비스로봇 원격제어 시스템 | |
JP2020142326A (ja) | ロボットシステム | |
WO2020209167A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP7422361B2 (ja) | 追跡装置、及び追跡プログラム | |
JP2023136380A (ja) | 規制領域管理システム、移動体管理システム、規制領域管理方法、プログラム | |
JP4517085B2 (ja) | ロボット遠隔制御システム | |
JP2015162886A (ja) | 障害物監視システム及びプログラム | |
JP2018164223A (ja) | 表示システム | |
JP2001315080A (ja) | 遠隔地観測装置 | |
Kon et al. | Development of robot teleoperation system in bad viewing condition | |
WO2021106281A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220809 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231031 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240423 |