JP2023060197A - バケット高さ通知装置およびバケット高さ通知方法 - Google Patents

バケット高さ通知装置およびバケット高さ通知方法 Download PDF

Info

Publication number
JP2023060197A
JP2023060197A JP2023033789A JP2023033789A JP2023060197A JP 2023060197 A JP2023060197 A JP 2023060197A JP 2023033789 A JP2023033789 A JP 2023033789A JP 2023033789 A JP2023033789 A JP 2023033789A JP 2023060197 A JP2023060197 A JP 2023060197A
Authority
JP
Japan
Prior art keywords
bucket
height
image
display
work vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023033789A
Other languages
English (en)
Inventor
▲キ▼ 丁
Qi Ding
康洋 指宿
Yasuhiro Ibusuki
淳 森永
Atsushi Morinaga
真範 皆川
Masanori Minagawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Priority to JP2023033789A priority Critical patent/JP2023060197A/ja
Publication of JP2023060197A publication Critical patent/JP2023060197A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/205Remotely operated machines, e.g. unmanned vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/308Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working outwardly
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/42Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/12Avionics applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

【課題】遠隔操作であるために認識しがたい作業機のバケットの高さをオペレータに知らせる。【解決手段】バケット高さ通知装置は、バケット高さ特定部とバケット高さ通知部とを備える。バケット高さ特定部は、遠隔操作に係る作業車両の接地面から作業機のバケットまでの高さであるバケット高さを特定する。バケット高さ通知部は、バケット高さを通知する。【選択図】図7

Description

本発明は、遠隔操作に係る作業車両のバケット高さ通知装置およびバケット高さ通知方法に関する。
作業車両を遠隔操作する技術が知られている。作業車両を遠隔操作するためには、外部から作業車両の周囲の状況が認識可能である必要がある。そのため、遠隔操作される作業車両は、周囲の状況を撮像する撮像装置と撮像された画像を外部に送信する通信機を備える。これにより、オペレータは、作業車両から送信される画像を視認しながら操作を行うことができる。
また、特許文献1には、オペレータに作業機械の傾きおよび方位を表示装置に表示する技術が開示されている。
国際公開第2017/047826号
オペレータは、画像の視認によって作業車両の状況を認識し、当該状況に基づいて作業車両を操作する。しかしながら、遠隔操作の場合、オペレータは、表示装置に表示される2次元の画像を視認しながら作業を行う必要があるため、作業機の位置を遠近感を伴って認識することができない。また、有人車両においては、オペレータは、バケットが地面に着いた際の振動や、掘削、積込等の作業時の振動を車体を通して体感し、これに基づいてバケットの高さを認識することができる。しかしながら、遠隔操作ではこのような振動がオペレータに伝わらない。そのため、オペレータはバケットの高さを推測することが困難となり、作業効率が悪くなる可能性がある。
本発明の態様は、遠隔操作であるために認識しがたい作業機のバケットの高さをオペレータに知らせることができるバケット高さ通知装置およびバケット高さ通知方法を提供することを目的とする。
本発明の第1の態様によれば、バケット高さ通知装置は、地表面から遠隔操作に係る作業車両が備える作業機のバケットまでの高さであるバケット高さを特定するバケット高さ特定部と、前記バケット高さを通知するバケット高さ通知部とを備える。
上記態様のうち少なくとも1つの態様によれば、遠隔運転室の制御装置は遠隔操作であるために認識しがたい作業機のバケットの高さをオペレータに知らせることができる。
第1の実施形態に係る遠隔操作システムの構成を示す概略図である。 第1の実施形態に係る作業車両の外観図である。 第1の実施形態に係る作業車両の撮像装置が撮像する画像の例である。 第1の実施形態に係る遠隔運転室の制御装置の構成を示す概略ブロック図である。 前方カメラが撮像した画像から切り出される画像の例を示す図である。 バケット高さ画像の例を示す図である。 第1の実施形態に係る表示装置に表示される表示画像の例を示す図である。 第1の実施形態に係る遠隔運転室の制御装置による表示制御方法を示すフローチャートである。
〈第1の実施形態〉
《遠隔操作システム》
図1は、第1の実施形態に係る遠隔操作システムの構成を示す概略図である。
遠隔操作システム1は、遠隔操作により動作する作業車両100と、遠隔操作を行うための遠隔運転室500とを備える。作業車両100は、作業現場(例えば、鉱山、採石場)にて稼動する。遠隔運転室500は、作業車両100から離れた地点(例えば、市街、作業現場内)に設けられる。作業車両100と遠隔運転室500とは、インターネットなどの通信手段を介して接続される。
遠隔操作システム1は、遠隔運転室500を用いて作業車両100を操作するためのシステムである。
作業車両100は、遠隔運転室500から受信する操作信号に従って動作する。つまり、作業車両100にはオペレータが搭乗しない。
遠隔運転室500は、オペレータの操作により、作業車両100の操作を受け付け、操作信号を作業車両100に送信する。
《遠隔運転室》
遠隔運転室500は、運転席510、第1表示装置520、第2表示装置530、操作装置540、制御装置550を備える。
第1表示装置520は、運転席510の前方に配置される。第1表示装置520は、オペレータが運転席510に座ったときにオペレータの眼前に位置する。第1表示装置520は、図1に示すように、並べられた中央ディスプレイ521、左ディスプレイ522、右ディスプレイ523、上ディスプレイ524、下ディスプレイ525によって構成される。左ディスプレイ522は中央ディスプレイ521の左側に設けられる。右ディスプレイ523は中央ディスプレイ521の右側に設けられる。上ディスプレイ524は中央ディスプレイ521の上側に設けられる。下ディスプレイ525は中央ディスプレイ521の下側に設けられる。
なお、他の実施形態においては、第1表示装置520を構成するディスプレイの数はこれに限られない。例えば、第1表示装置520は1つのディスプレイによって構成されてもよい。また、第1表示装置520は、プロジェクタ等によって曲面や球面に画像を投影するものであってもよい。
第2表示装置530は、運転席510の斜め前方に配置される。第2表示装置530には、作業車両100から送信された車体情報(燃料残量、エンジン水温)や、作業車両100の異常の通知などが表示される。なお、他の実施形態においては、第2表示装置530の位置は、オペレータによって視認が可能な位置であれば、運転席510の斜め前方でなくてもよい。また他の実施形態に係る遠隔運転室500は第2表示装置を備えなくてもよい。
操作装置540は、運転席510の近傍に配置される。操作装置540は、オペレータが運転席510に座ったときにオペレータの操作可能な範囲内に位置する。操作装置540は、例えば電気式レバーおよび電気式ペダルを備える。オペレータが電気式レバーおよび電気式ペダルを操作することで、操作装置540は、ブーム131、アーム132およびバケット133の操作信号、旋回体120の旋回操作信号、ならびに走行体110の走行操作信号を出力する。
制御装置550は、作業車両100から受信した画像および車体情報を、第1表示装置520に表示させる。つまり、制御装置550は、表示制御装置の一例である。また制御装置550は、操作装置540に入力された操作信号を作業車両100に送信する。制御装置550は、バケット高さ通知装置の一例である。
《作業車両》
図2は、第1の実施形態に係る作業車両の外観図である。
第1の実施形態に係る作業車両100は、油圧ショベルである。なお、他の実施形態に係る作業車両100は、油圧ショベル以外の例えばホイールローダ、ブルドーザ等の作業車両であってもよい。
作業車両100は、油圧により駆動する作業機130と、作業機130を支持する旋回体120と、旋回体120を支持する走行体110とを備える。
作業機130は、ブーム131と、アーム132と、バケット133とを備える。作業機130は、ブームシリンダ134、アームシリンダ135、およびバケットシリンダ136が伸縮することにより駆動する。ブーム131、アーム132、およびバケット133には、それぞれブーム角度センサ137、アーム角度センサ138、およびバケット角度センサ139が装着されている。
ブーム131の基端部は、旋回体120にピンを介して取り付けられる。
アーム132は、ブーム131とバケット133とを連結する。アーム132の基端部は、ブーム131の先端部にピンを介して取り付けられる。
バケット133は、土砂などを掘削するための刃と掘削した土砂を収容するための容器とを備える。バケット133の基端部は、アーム132の先端部にピンを介して取り付けられる。
ブームシリンダ134は、ブーム131を駆動するための油圧シリンダである。ブームシリンダ134の基端部は、旋回体120に取り付けられる。ブームシリンダ134の先端部は、ブーム131に取り付けられる。
アームシリンダ135は、アーム132を駆動するための油圧シリンダである。アームシリンダ135の基端部は、ブーム131に取り付けられる。アームシリンダ135の先端部は、アーム132に取り付けられる。
バケットシリンダ136は、バケット133を駆動するための油圧シリンダである。バケットシリンダ136の基端部は、ブーム131に取り付けられる。バケットシリンダ136の先端部は、バケット133に取り付けられる。
ブーム角度センサ137は、例えばブーム131に取り付けられ、ブーム131の傾斜角を検出する。
アーム角度センサ138は、例えばアーム132に取り付けられ、アーム132の傾斜角を検出する。
バケット角度センサ139は、例えばバケット133に取り付けられ、バケット133の傾斜角を検出する。
第1の実施形態に係るブーム角度センサ137、アーム角度センサ138、およびバケット角度センサ139は、地平面に対する傾斜角を検出する。なお、他の実施形態に係る角度センサはこれに限られず、他の基準面に対する傾斜角を検出してもよい。例えば、他の実施形態においては、角度センサは、ブーム131、アーム132およびバケット133の基端部に設けられたポテンショメータによって相対回転角を検出してもよいし、ブームシリンダ134、アームシリンダ135およびバケットシリンダ136のシリンダ長さを計測し、シリンダ長さを角度に変換することで傾斜角を検出するものであってもよい。
旋回体120には、運転室121が備えられる。運転室121は、作業機130の左側に設けられる。運転室121には、前方カメラ122が設けられる。前方カメラ122は、運転室121内の前部かつ上部に設置される。前方カメラ122は、運転室121前部のフロントガラスを通して、運転室121の前方を撮像する。ここで、「前方」とは、旋回体120において作業機130が装着された方向をいい、「後方」は「前方」の逆方向をいう。「側方」とは、前後方向に対して交差する方向(左右方向)をいう。前方カメラ122の例としては、例えばCCD(Charge Coupled Device)センサ、およびCMOS(Complementary Metal Oxide Semiconductor)センサを用いた撮像装置が挙げられる。なお、他の実施形態に係る作業車両100は、運転室121を備えなくてもよい。この場合においても、前方カメラ122は、運転室121に相当する位置に、前方を撮像するように設置される。また、他の実施形態においては、前方カメラ122は2台以上のカメラによって構成されてもよい。
図3は、第1の実施形態に係る作業車両の撮像装置が撮像する画像の例である。前方カメラ122は、作業機130および運転室121の前方の作業対象が写る範囲を撮像する。つまり、前方カメラ122が撮像する画像P1には、図3に示すように、作業機130および運転室121の前方の作業対象が写る。また、運転室121が作業機130の左側に設けられるため、画像P1の右側部分には、ブーム131の一部が写りこんでいる。
作業車両100は、前方カメラ122、位置方位演算器123、傾斜計測器124、油圧装置125、制御装置126を備える。
位置方位演算器123は、旋回体120の位置および旋回体120が向く方位を演算する。位置方位演算器123は、GNSSを構成する人工衛星から測位信号を受信する2つの受信器を備える。2つの受信器は、それぞれ旋回体120の異なる位置に設置される。位置方位演算器123は、受信器が受信した測位信号に基づいて、現場座標系における旋回体120の代表点(ショベル座標系の原点)の位置を検出する。
位置方位演算器123は、2つの受信器が受信した各測位信号を用いて、一方の受信器の設置位置に対する他方の受信器の設置位置の関係として、旋回体120の向く方位を演算する。
なお、他の実施形態においては、位置方位演算器123は、ロータリーエンコーダやIMUの計測値に基づいて旋回体120が向く方位を検出してもよい。また他の実施形態に係る作業車両100は位置方位演算器123を備えなくてもよい。
傾斜計測器124は、旋回体120の加速度および角速度を計測し、計測結果に基づいて旋回体120の姿勢(例えば、ロール角、ピッチ角、ヨー角)を検出する。傾斜計測器124は、例えば旋回体120の下面に設置される。傾斜計測器124は、例えば、慣性計測装置(IMU:Inertial Measurement Unit)を用いることができる。なお、他の実施形態に係る作業車両100は位置方位演算器123を備えなくてもよい。
油圧装置125は、作動油タンク、油圧ポンプ、および流量制御弁を備える。油圧ポンプは、図示しないエンジンまたは電動モータの動力で駆動し、流量制御弁を介してブームシリンダ134、アームシリンダ135、およびバケットシリンダ136に作動油を供給する。流量制御弁はロッド状のスプールを有し、スプールの位置によってブームシリンダ134、アームシリンダ135、およびバケットシリンダ136に供給する作動油の流量を調整する。スプールは、制御装置126から受信する制御指令に基づいて駆動される。つまり、ブームシリンダ134、アームシリンダ135、およびバケットシリンダ136に供給される作動油の量は、制御装置126によって制御される。
制御装置126は、前方カメラ122が撮像した画像、旋回体120の旋回速度、位置、方位および傾斜角、ブーム131、ならびにアーム132およびバケット133の傾斜角の情報を、遠隔運転室500に送信する。以下、作業車両100が備える各種センサによって計測され、制御装置126が送信する情報を、車体情報ともいう。
制御装置126は、遠隔運転室500から操作信号を受信する。制御装置126は、受信した操作信号に基づいて、作業機130、旋回体120、または走行体110を駆動させる。
《遠隔運転室の制御装置》
図4は、第1の実施形態に係る遠隔運転室の制御装置の構成を示す概略ブロック図である。
制御装置550は、プロセッサ910、メインメモリ930、ストレージ950、インタフェース970を備えるコンピュータである。ストレージ950は、プログラムを記憶する。プロセッサ910は、プログラムをストレージ950から読み出してメインメモリ930に展開し、プログラムに従った処理を実行する。
ストレージ950の例としては、HDD(Hard Disk Drive)、SSD(Solid State Drive)、磁気ディスク、光磁気ディスク、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)、半導体メモリ等が挙げられる。ストレージ950は、制御装置550の共通通信線に直接接続された内部メディアであってもよいし、インタフェース970を介して制御装置550に接続される外部メディアであってもよい。ストレージ950は、一時的でない有形の記憶媒体である。なお、他の実施形態においては、制御装置550は、上記構成に加えて、または上記構成に代えて、PLD(Programmable Logic Device)などのカスタムLSI(Large Scale Integrated Circuit)またはASIC(Application Specific Integrated Circuit)などのセミカスタムLSIを備えてもよい。PLDの例としては、PAL(Programmable Array Logic)、GAL(Generic Array Logic)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)が挙げられる。この場合、プロセッサ910によって実現される機能の一部または全部が当該集積回路によって実現されてよい。
プロセッサ910は、プログラムの実行により、車体情報受信部911、画像切出部912、刃先高さ特定部913、刃先高さ画像生成部914、表示画像生成部915、表示制御部916、操作信号送信部917を備える。
車体情報受信部911は、前方カメラ122が撮像した画像、旋回体120の旋回速度、位置、方位および傾斜角、ならびにブーム131、アーム132およびバケット133の傾斜角の情報を、作業車両100から受信する。つまり、車体情報受信部911は、撮像画像取得部の一例である。
図5は、前方カメラが撮像した画像P1から切り出される画像の例を示す図である。 画像切出部912は、車体情報受信部911が受信した前方カメラ122が撮像した画像P1から、中央ディスプレイ521に表示させるための中央画像P11、左ディスプレイ522に表示させるための左画像P12、右ディスプレイ523に表示させるための右画像P13、上ディスプレイ524に表示させるための上画像P14、下ディスプレイ525に表示させるための下画像P15をそれぞれ切り出す。なお、第1表示装置520が1つのディスプレイから構成される場合、画像切出部912は画像の切り出しを行わなくてもよい。
刃先高さ特定部913は、車体情報受信部911が受信したブーム131、アーム132およびバケット133の傾斜角の情報に基づいて、作業車両100の接地面からバケット133の刃先までの高さである刃先高さを算出する。具体的には、刃先高さ特定部913は、以下の手順でバケット133の刃先高さを算出する。
刃先高さ特定部913は、ブーム131の基端部のピンの既知の高さと、ブーム131の傾斜角と、ブーム131の既知の長さとに基づいて、ブーム131の先端部のピンの高さを算出する。ブーム131の先端部のピンは、すなわちアーム132の基端部のピンである。刃先高さ特定部913は、アーム132の基端部のピンの高さと、アーム132の傾斜角と、アーム132の既知の長さとに基づいて、アーム132の先端部のピンの高さを算出する。アーム132の先端部のピンは、すなわちバケット133の基端部のピンである。刃先高さ特定部913は、バケット133の基端部のピンの高さと、バケット133の傾斜角と、バケット133の基端部から刃先までの既知の長さとに基づいて、バケット133の刃先の高さを算出する。なお、他の実施形態においては、刃先高さ特定部913は、撮像画像から刃先の特徴点を抽出して当該特徴点の高さを検出してもよいし、バケット133にレーザセンサを取り付け、当該レーザセンサの検出値に基づいて刃先の高さを検出してもよい。なお、第1の実施形態に係る刃先高さは、作業車両100の接地面からバケット133の刃先までの高さであるが、他の実施形態ではこれに限られない。例えば、他の実施形態に係る刃先高さは、バケット133の刃先の直下の地表面から刃先までの高さであってもよい。なお、バケット133の刃先の直下の地表面は、作業車両100の接地面と異なる高さであることがある。すなわちバケット133の刃先の直下の地表面は、作業車両100の接地面より高い地表面であってもよいし、作業車両100の接地面より低い地表面であってもよい。またバケット133の刃先の直下の地表面は、法面であってもよい。接地面およびバケット133の刃先の直下の地表面は、いずれも地表面の一例である。刃先高さ特定部913は、バケット高さ特定部の一例である。
図6は、刃先高さ画像の例を示す図である。
刃先高さ画像生成部914は、刃先高さ特定部913が算出した刃先高さに基づいて、作業機130の刃先高さを表す刃先高さ画像P2を生成する。刃先高さ画像P2は、高さを表す目盛りを有するゲージP21と、ゲージP21上に配置され、刃先高さを表すインジケータP22とを含む。これにより、オペレータは、ゲージP21におけるインジケータP22の相対的な位置関係を認識することで、刃先高さを推測することができる。また、オペレータは、インジケータP22が位置する箇所のゲージP21の目盛りを読むことで、刃先高さを正確に認識することができる。
図7は、第1の実施形態に係る表示装置に表示される表示画像の例を示す図である。
表示画像生成部915は、刃先高さ画像P2を画像切出部912が切り出した右画像P13の配置領域Rに配置することで、表示用右画像P13aを生成する。配置領域Rは、例えば、オペレータの視線移動が少ない領域である。なお、他の実施形態に係る配置領域Rは他の切り出した画像に設けられたものであってもよい。また他の実施形態では、刃先高さ画像P2は、予め定められた位置に配置されてもよい。
表示制御部916は、中央ディスプレイ521に中央画像P11を表示させる。左ディスプレイ522に左画像P12を表示させる。制御装置550は、右ディスプレイ523に表示用右画像P13aを表示させる。制御装置550は、上ディスプレイ524に上画像P14を表示させる。制御装置550は、下ディスプレイ525に下画像P15を表示させる。つまり、表示制御部916は、第2表示装置530が表示する車体情報とは別個に、第1表示装置520の配置領域に補足画像を表示させる。表示制御部916は、刃先高さ通知部の一例である。
操作信号送信部917は、オペレータによる操作装置540の操作に基づいて操作信号を生成し、作業車両100に送信する。
《遠隔運転室の表示制御方法》
図8は、第1の実施形態に係る遠隔運転室の制御装置による表示制御方法を示すフローチャートである。作業車両100の遠隔操作が開始されると、制御装置550は、以下に示す表示制御を所定の周期で実行する。
車体情報受信部911は、作業車両100の制御装置126から車体情報を受信する(ステップS11)。次に、画像切出部912は、受信した車体情報のうち前方カメラ122が撮像した画像P1から、中央画像P11、左画像P12、右画像P13、上画像P14、および下画像P15をそれぞれ切り出す(ステップS12)。
刃先高さ特定部913は、受信した車体情報のうちブーム131、アーム132およびバケット133の傾斜角の情報に基づいて、バケット133の刃先高さを算出する(ステップS13)。刃先高さ画像生成部914は、刃先高さに基づいて、刃先高さ画像P2を生成する(ステップS14)。
表示画像生成部915は、刃先高さ画像P2を右画像P13の配置領域Rに配置することで、表示用右画像P13aを生成する(ステップS15)。表示制御部916は、中央画像P11、左画像P12、表示用右画像P13a、上画像P14、および下画像P15を、第1表示装置520に表示させるための表示信号を生成し、第1表示装置520に送信する(ステップS16)。
《作用・効果》
このように、第1の実施形態に係る遠隔運転室500の制御装置550は、作業機130の接地面から刃先までの高さである刃先高さを特定し、当該刃先高さをオペレータに通知する。これにより、オペレータは、遠隔操作であるために認識しがたい作業機の刃先高さを容易に認識することができる。
また、第1の実施形態に係る制御装置550は、作業車両100に搭載された前方カメラ122が撮像した撮像画像に、刃先高さ画像を配置した表示画像を、第1表示装置520に表示させる。これにより、オペレータは、作業対象物が写る画像と同じ表示装置を視認することで、刃先高さを認識することができる。これにより、オペレータは、少ない視線の移動で容易に刃先高さを認識することができる。なお、他の実施形態に係る制御装置550は、刃先高さ画像に代えて、単に高さを表す数値を第1表示装置520に表示させてもよい。また他の実施形態に係る制御装置550は表示以外の方法で刃先高さをオペレータに通知してもよい。例えば、他の実施形態に係る制御装置550は、刃先高さを通知する音声をスピーカから発生させることにより、刃先高さをオペレータに通知してもよい。また他の実施形態に係る制御装置550は、刃先高さが低くなるにつれて操作装置540のレバー操作が重くなるように、操作装置540を制御してもよい。例えば、制御装置550は、操作装置540のレバーに内蔵されるセルフニュートラル用の図示しないばねを、刃先高さに応じた量だけアクチュエータで圧縮することで、レバー操作を重くすることができる。
〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、上述した実施形態では、制御装置550が刃先高さを算出するが、これに限られない。例えば、他の実施形態においては、作業車両100の制御装置126や、外部のサーバ装置が刃先高さを算出し、制御装置550が当該刃先高さの情報を受信してもよい。また他の実施形態においては、作業車両100の制御装置126や、外部のサーバ装置が刃先高さ画像を生成し、制御装置550が当該刃先高さ画像を受信してもよい。この場合、刃先高さ特定部913は、刃先高さの情報または刃先高さ画像の受信によって刃先高さを特定することができる。
また、上述した実施形態では、制御装置550はバケット133の刃先高さを算出し、また通知するが、他の実施形態ではこれに限られない。例えば、他の実施形態に係る制御装置550は、刃先高さに代えて、地表面からバケット最下点までの距離であるバケット最下高さを算出し、また通知してもよい。バケット最下点は、バケット133のうち最も地表面に近い点である。制御装置550は、バケット133の基端部から刃先までの長さに代えて、または加えて、バケット133の基端部を基準としたバケット133の形状を予め記憶することで、バケット最下点を特定することができる。刃先高さおよびバケット最下高さは、いずれもバケット高さの一例である。
また、上述した実施形態では、遠隔操作システム1にバケット高さ通知装置が実装されるが、これに限られない。例えば、他の実施形態においては、作業車両100の外部であって作業車両100を視認できる位置において無線通信により作業車両100を操作するラジオコントロールシステムにバケット高さ通知装置を適用してもよい。ラジオコントロールシステムにバケット高さ通知装置を適用する場合、制御装置が表示装置を備えていてもよい。
1…遠隔操作システム 100…作業車両 130…作業機 120…旋回体 110…走行体 131…ブーム 132…アーム 133…バケット 134…ブームシリンダ 135…アームシリンダ 136…バケットシリンダ 137…ブーム角度センサ 138…アーム角度センサ 139…バケット角度センサ 121…運転室 122…前方カメラ 123…位置方位演算器 124…傾斜計測器 125…油圧装置 126…制御装置 500…遠隔運転室 510…運転席 520…第1表示装置 530…第2表示装置 540…操作装置 550…制御装置 911…車体情報受信部 912…画像切出部 913…刃先高さ特定部 914…刃先高さ画像生成部 915…表示画像生成部 916…表示制御部 917…操作信号送信部

Claims (4)

  1. 地表面から遠隔操作に係る作業車両が備える作業機のバケットまでの高さであるバケット高さを特定するバケット高さ特定部と、
    前記バケット高さを通知するバケット高さ通知部と
    を備えるバケット高さ通知装置。
  2. 前記作業車両に搭載された撮像装置が撮像した撮像画像を取得する撮像画像取得部と、 前記撮像画像に前記バケット高さを表すバケット高さ画像を配置した表示画像を生成する表示画像生成部と、
    をさらに備える、
    請求項1に記載のバケット高さ通知装置。
  3. 前記バケット高さ通知部は、前記表示画像を遠隔運転室内の表示装置に出力する
    請求項2に記載のバケット高さ通知装置。
  4. 遠隔操作に係る作業車両の下方の地表面から前記作業車両が備える作業機のバケットまでの高さであるバケット高さを特定するステップと、
    前記バケット高さを通知するステップと
    を備えるバケット高さ通知方法。
JP2023033789A 2018-08-31 2023-03-06 バケット高さ通知装置およびバケット高さ通知方法 Pending JP2023060197A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023033789A JP2023060197A (ja) 2018-08-31 2023-03-06 バケット高さ通知装置およびバケット高さ通知方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018163917A JP2020037767A (ja) 2018-08-31 2018-08-31 バケット高さ通知装置およびバケット高さ通知方法
JP2023033789A JP2023060197A (ja) 2018-08-31 2023-03-06 バケット高さ通知装置およびバケット高さ通知方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018163917A Division JP2020037767A (ja) 2018-08-31 2018-08-31 バケット高さ通知装置およびバケット高さ通知方法

Publications (1)

Publication Number Publication Date
JP2023060197A true JP2023060197A (ja) 2023-04-27

Family

ID=69643230

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018163917A Pending JP2020037767A (ja) 2018-08-31 2018-08-31 バケット高さ通知装置およびバケット高さ通知方法
JP2023033789A Pending JP2023060197A (ja) 2018-08-31 2023-03-06 バケット高さ通知装置およびバケット高さ通知方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018163917A Pending JP2020037767A (ja) 2018-08-31 2018-08-31 バケット高さ通知装置およびバケット高さ通知方法

Country Status (5)

Country Link
US (1) US11746505B2 (ja)
JP (2) JP2020037767A (ja)
CN (1) CN112041509A (ja)
AU (1) AU2019328966B2 (ja)
WO (1) WO2020044834A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6883813B2 (ja) * 2014-10-27 2021-06-09 ヤンマーパワーテクノロジー株式会社 トラクタ
US11905675B2 (en) * 2019-08-05 2024-02-20 Topcon Positioning Systems, Inc. Vision-based blade positioning
US11595618B2 (en) * 2020-04-07 2023-02-28 Caterpillar Inc. Enhanced visibility system for work machines
DE112021002665T5 (de) * 2020-05-07 2023-03-16 Hyundai Doosan Infracore Co., Ltd. Bagger und steuerungsverfahren dafür
JP7491046B2 (ja) * 2020-05-15 2024-05-28 コベルコ建機株式会社 画像処理装置および画像処理方法
JP2022144495A (ja) * 2021-03-19 2022-10-03 コベルコ建機株式会社 遠隔操作支援システムおよび遠隔操作支援方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4082646B2 (ja) * 1999-11-19 2008-04-30 株式会社小松製作所 排土板の前方監視装置付き車両
JP3987777B2 (ja) 2002-09-17 2007-10-10 日立建機株式会社 建設機械の掘削作業教示装置
JP4973919B2 (ja) * 2006-10-23 2012-07-11 ソニー株式会社 出力制御システムおよび方法、出力制御装置および方法、並びにプログラム
US9298030B2 (en) * 2009-09-23 2016-03-29 Peter Dobrich Enhanced display
US20150300830A1 (en) * 2014-04-16 2015-10-22 General Electric Company System and method for vehicle operation
US8965642B2 (en) * 2012-10-05 2015-02-24 Komatsu Ltd. Display system of excavating machine and excavating machine
KR102003562B1 (ko) * 2012-12-24 2019-07-24 두산인프라코어 주식회사 건설기계의 감지 장치 및 방법
WO2015186215A2 (ja) * 2014-06-04 2015-12-10 株式会社小松製作所 作業機械の姿勢演算装置、作業機械及び作業機械の姿勢演算方法
TWI544473B (zh) * 2014-11-18 2016-08-01 緯創資通股份有限公司 顯示方法、顯示裝置與電腦系統
JP6777375B2 (ja) * 2015-03-05 2020-10-28 株式会社小松製作所 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
CN107532400A (zh) * 2015-03-19 2018-01-02 住友建机株式会社 挖土机
JP6144373B2 (ja) * 2016-02-17 2017-06-07 住友建機株式会社 ショベル、ショベル管理システム、及び携帯通信端末
WO2017199939A1 (ja) * 2016-05-17 2017-11-23 住友重機械工業株式会社 ショベル
JP6502476B2 (ja) * 2016-09-30 2019-04-17 株式会社小松製作所 作業機械の表示システム及び作業機械
CN107882103B (zh) * 2017-10-26 2019-09-10 南京工业大学 一种挖掘机三维姿态显示及远程自动控制系统

Also Published As

Publication number Publication date
CN112041509A (zh) 2020-12-04
AU2019328966B2 (en) 2022-07-14
US11746505B2 (en) 2023-09-05
US20210062473A1 (en) 2021-03-04
WO2020044834A1 (ja) 2020-03-05
AU2019328966A1 (en) 2020-10-22
JP2020037767A (ja) 2020-03-12

Similar Documents

Publication Publication Date Title
JP2023060197A (ja) バケット高さ通知装置およびバケット高さ通知方法
JP7285051B2 (ja) 表示制御装置、および表示制御方法
JP7420733B2 (ja) 表示制御システムおよび表示制御方法
JP7144252B2 (ja) 積込機械の制御装置および制御方法
JP2018035645A (ja) 作業機械の画像表示システム
JP2016160741A (ja) 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
JP7080750B2 (ja) 表示制御システム、遠隔操作システム、表示制御装置、および表示制御方法
JP7188941B2 (ja) 作業機械の制御装置および制御方法
JP7372029B2 (ja) 表示制御装置、表示制御システムおよび表示制御方法
KR20180115756A (ko) 형상 계측 시스템, 작업 기계 및 형상 계측 방법
JP2024052764A (ja) 表示制御装置及び表示方法
JP7296713B2 (ja) 表示制御システム、表示制御方法および遠隔操作システム
JP2020133236A (ja) 作業機械の制御システム
WO2022070707A1 (ja) 表示制御装置及び表示方法