JP2021130927A - 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 - Google Patents
遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 Download PDFInfo
- Publication number
- JP2021130927A JP2021130927A JP2020025641A JP2020025641A JP2021130927A JP 2021130927 A JP2021130927 A JP 2021130927A JP 2020025641 A JP2020025641 A JP 2020025641A JP 2020025641 A JP2020025641 A JP 2020025641A JP 2021130927 A JP2021130927 A JP 2021130927A
- Authority
- JP
- Japan
- Prior art keywords
- remote control
- end effector
- index value
- control device
- work machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 10
- 239000012636 effector Substances 0.000 claims abstract description 59
- 238000004891 communication Methods 0.000 claims description 27
- 230000003993 interaction Effects 0.000 claims description 13
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 32
- 229910052742 iron Inorganic materials 0.000 description 16
- 230000006870 function Effects 0.000 description 10
- 230000007613 environmental effect Effects 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 239000010720 hydraulic oil Substances 0.000 description 3
- 230000000977 initiatory effect Effects 0.000 description 2
- 241000030361 Girellinae Species 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
Landscapes
- Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Signal Processing (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Component Parts Of Construction Machinery (AREA)
- Closed-Circuit Television Systems (AREA)
- Selective Calling Equipment (AREA)
- Operation Control Of Excavators (AREA)
- Manipulator (AREA)
Abstract
Description
そこで、本発明は、作業機械のエンドエフェクタとその周囲にある物体との相対的な位置関係を、当該作業機械を遠隔操作するオペレータに直感的に認識させることができる技術を提供することを目的とする。
図1に示されている本発明の一実施形態としての遠隔操作支援システムは、遠隔操作支援サーバ10と、作業機械40を遠隔操作するための遠隔操作装置20(クライアント)と、により構成されている。遠隔操作支援サーバ10、遠隔操作装置20および作業機械40は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ10および遠隔操作装置20の相互通信ネットワークと、遠隔操作支援サーバ10および作業機械40の相互通信ネットワークと、は同一であってもよく相違していてもよい。
遠隔操作支援サーバ10は、データベース102と、第1支援処理要素121と、第2支援処理要素122と、を備えている。データベース102は、撮像画像データ等を記憶保持する。データベース102は、遠隔操作支援サーバ10とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。遠隔操作支援サーバ10は、遠隔操作装置20により構成されていてもよい。この場合、遠隔制御装置200が、第1支援処理要素121および第2支援処理要素122を備えていてもよい。
遠隔操作装置20は、遠隔制御装置200と、遠隔入力インターフェース210と、遠隔出力インターフェース220と、を備えている。遠隔制御装置200は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース210は、遠隔操作機構211を備えている。遠隔出力インターフェース220は、画像出力装置221と、遠隔無線通信機器222と、を備えている。
作業機械40は、実機制御装置400と、実機入力インターフェース41と、実機出力インターフェース42と、作動機構440と、を備えている。実機制御装置400は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
前記構成の遠隔操作支援システムの第1機能について図4に示されているフローチャートを用いて説明する。当該フローチャートにおいて「C●」というブロックは、記載の簡略のために用いられ、データの送信および/または受信を意味し、当該データの送信および/または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
前記構成の遠隔操作支援システムの第2機能について図5に示されているフローチャートを用いて説明する。当該フローチャートにおいても「C●」というブロックは、記載の簡略のために用いられ、データの送信および/または受信を意味し、当該データの送信および/または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
例えば、図6A左側に示されている第1作業状態S11においては、第1指標値がその下限値に近接しているほどに上部旋回体420とエンドエフェクタ445とが接近している。第1作業状態S11においては、図6B左側に示されているように、第1インジケータM1は、その内周縁が第1指標値の上限値を表わす内側円M12に一致し、かつ、その外周縁が当該下限値を表わす外側円M11に接近している略円環状の図形により表わされている。
例えば、図7A左端に示されている第1旋回状態S21においては、第2指標値が、エンドエフェクタ445が物体と相互作用を終了した(鉄屑等の物体を釈放した)第2時点における下部走行体410に対する上部旋回体420の旋回角度を表わしている。第1旋回状態S21においては、図7B左端に示されているように、第2インジケータM2は、その両端が第2指標値の第2基準値を表わすゲージM22に一致する矩形により表わされている(すなわち、当該矩形は表示されていない)。
図8Aに示されている状態は、第2作業状態S12(図6A中央参照)および第1旋回状態S21(図7A左端参照)に相当する。このため、この状態では、図8Bに示されているように、作業環境画像に重畳されて第2作業状態S12に応じた第1インジケータM1(図6B中央参照)および第1旋回状態S21に応じた第2インジケータM2(図7B左端参照)が表示される。
当該構成の遠隔操作支援システムおよびこれを構成する遠隔操作支援サーバ10によれば、遠隔操作装置20を構成する遠隔出力インターフェース220(画像出力装置221)に出力されるインジケータM1、M2を通じて、作業機械40のエンドエフェクタ445と上部旋回体420との間隔の長短および/または下部走行体410に対する上部旋回体420の旋回角度を直感的に当該遠隔操作装置20のオペレータに認識させることができる(図6B、図7B、図8B、図9B、図10B、図11B、図12Bおよび図13B参照)。また、インジケータM1、M2の時間変化態様を通じて、作業機械40のエンドエフェクタ445と上部旋回体21との間隔の長短および/または下部走行体410に対する上部旋回体420の旋回角度の時間変化態様を直感的に当該遠隔操作装置20のオペレータに認識させることができる(図8B、図9B、図10B、図11B、図12Bおよび図13B参照)。
Claims (5)
- 下部走行体、前記下部走行体に対して旋回可能な上部旋回体、および、前記上部旋回体に対するエンドエフェクタの運動可能な作業アタッチメントを有する作業機械の遠隔操作装置を用いた遠隔操作を支援するための遠隔操作支援サーバであって、
前記作業機械との通信に基づき、前記上部旋回体および前記エンドエフェクタとの間隔、および、前記下部走行体に対する前記上部旋回体の旋回角度のうち少なくとも一方を表わす指標値を認識する第1支援処理要素と、
前記遠隔操作装置との通信に基づき、前記第1支援処理要素により認識された前記指標値を表わすインジケータを、前記遠隔操作装置を構成する出力インターフェースに出力させる第2支援処理要素と、を備えていることを特徴とする遠隔操作支援サーバ。 - 請求項1記載の遠隔操作支援サーバにおいて、
前記第1支援処理要素が、前記作業機械との通信に基づき、前記エンドエフェクタと物体との相互作用の開始時点および終了時点のうち少なくとも一方における前記指標値を基準指標値として認識することを特徴とする遠隔操作支援サーバ。 - 請求項1または2記載の遠隔操作支援サーバにおいて、
前記第2支援処理要素が、前記指標値の上限値および下限値のうち少なくとも一方を表わす参照ゲージを前記インジケータとともに前記出力インターフェースに出力させることを特徴とする遠隔操作支援サーバ。 - 請求項1〜3のうちいずれか1項に記載の遠隔操作支援サーバと、前記遠隔操作装置と、により構成されていることを特徴とする遠隔操作支援システム。
- 下部走行体、前記下部走行体に対して旋回可能な上部旋回体、および、前記上部旋回体に対するエンドエフェクタの運動可能な作業アタッチメントを有する作業機械の遠隔操作装置を用いた遠隔操作を支援するための遠隔操作支援方法であって、
前記作業機械との通信に基づき、前記上部旋回体および前記エンドエフェクタとの間隔、および、前記下部走行体に対する前記上部旋回体の旋回角度のうち少なくとも一方を表わす指標値を認識する第1支援処理と、
前記遠隔操作装置との通信に基づき、前記第1支援処理により認識された前記指標値を表わすインジケータを、前記遠隔操作装置を構成する出力インターフェースに出力させる第2支援処理と、を実行することを特徴とする遠隔操作支援方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020025641A JP7310637B2 (ja) | 2020-02-18 | 2020-02-18 | 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 |
PCT/JP2021/000400 WO2021166476A1 (ja) | 2020-02-18 | 2021-01-07 | 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020025641A JP7310637B2 (ja) | 2020-02-18 | 2020-02-18 | 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021130927A true JP2021130927A (ja) | 2021-09-09 |
JP7310637B2 JP7310637B2 (ja) | 2023-07-19 |
Family
ID=77390701
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020025641A Active JP7310637B2 (ja) | 2020-02-18 | 2020-02-18 | 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7310637B2 (ja) |
WO (1) | WO2021166476A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114536384A (zh) * | 2022-03-25 | 2022-05-27 | 徐州徐工挖掘机械有限公司 | 抓料机以及抓料机的控制方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010265620A (ja) * | 2009-05-13 | 2010-11-25 | Hitachi Constr Mach Co Ltd | 建設機械の干渉防止装置 |
JP2019173444A (ja) * | 2018-03-29 | 2019-10-10 | コベルコ建機株式会社 | 作業機械操縦装置 |
WO2020022454A1 (ja) * | 2018-07-27 | 2020-01-30 | 住友建機株式会社 | 作業機械 |
-
2020
- 2020-02-18 JP JP2020025641A patent/JP7310637B2/ja active Active
-
2021
- 2021-01-07 WO PCT/JP2021/000400 patent/WO2021166476A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010265620A (ja) * | 2009-05-13 | 2010-11-25 | Hitachi Constr Mach Co Ltd | 建設機械の干渉防止装置 |
JP2019173444A (ja) * | 2018-03-29 | 2019-10-10 | コベルコ建機株式会社 | 作業機械操縦装置 |
WO2020022454A1 (ja) * | 2018-07-27 | 2020-01-30 | 住友建機株式会社 | 作業機械 |
Also Published As
Publication number | Publication date |
---|---|
WO2021166476A1 (ja) | 2021-08-26 |
JP7310637B2 (ja) | 2023-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021111677A1 (ja) | 遠隔操作支援サーバ、遠隔操作支援方法および遠隔操作支援システム | |
JP2015021246A (ja) | 作業機械の周囲監視装置 | |
WO2021166476A1 (ja) | 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 | |
US11993922B2 (en) | Remote operation system | |
WO2021230092A1 (ja) | 遠隔操作支援装置および遠隔操作支援方法 | |
WO2021192491A1 (ja) | 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 | |
CN116848307A (zh) | 作业支援系统及作业支援复合系统 | |
WO2020129832A1 (ja) | 作業機械用周辺監視装置 | |
WO2021166477A1 (ja) | 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 | |
WO2021131161A1 (ja) | 作業支援サーバ、撮像装置の選択方法 | |
WO2021240957A1 (ja) | 遠隔操作支援装置、遠隔操作支援システム及び遠隔操作支援方法 | |
WO2021230090A1 (ja) | 遠隔操作支援装置および遠隔操作支援方法 | |
JP2019214824A (ja) | 作業機械 | |
WO2021106279A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム | |
WO2021166475A1 (ja) | 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 | |
WO2023100533A1 (ja) | 画像表示システム、遠隔操作支援システムおよび画像表示方法 | |
WO2022195988A1 (ja) | 遠隔操作支援サーバおよび遠隔操作支援システム | |
WO2021256104A1 (ja) | 遠隔操作支援装置および遠隔操作支援方法 | |
JP7441733B2 (ja) | 実機状態監視システムおよび実機状態監視方法 | |
JP7310595B2 (ja) | 作業支援サーバおよび作業支援システム | |
WO2021106281A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム | |
JP2023139409A (ja) | 作業機械 | |
JP2022121138A (ja) | 遠隔操作支援システム、遠隔操作支援方法および遠隔操作支援複合システム | |
JP2022144491A (ja) | 撮像機能制御システムおよび撮像機能制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230619 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7310637 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |