CN111868335A - 远程操作系统以及主操作装置 - Google Patents

远程操作系统以及主操作装置 Download PDF

Info

Publication number
CN111868335A
CN111868335A CN201980019466.7A CN201980019466A CN111868335A CN 111868335 A CN111868335 A CN 111868335A CN 201980019466 A CN201980019466 A CN 201980019466A CN 111868335 A CN111868335 A CN 111868335A
Authority
CN
China
Prior art keywords
display
image
surrounding image
work
construction machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980019466.7A
Other languages
English (en)
Other versions
CN111868335B (zh
Inventor
佐佐木均
佐伯诚司
上田员弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Publication of CN111868335A publication Critical patent/CN111868335A/zh
Application granted granted Critical
Publication of CN111868335B publication Critical patent/CN111868335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2058—Electric or electro-mechanical or mechanical control devices of vehicle sub-units
    • E02F9/2062—Control of propulsion units
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0016—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Abstract

主机(20)从从设备(10)获取从工程机械(30)的操纵席(3C)内拍摄工程机械(30)的周围的周围图像(G31)，判断周围图像(G31)是否包含作业装置(330)，在判断为周围图像(G31)不包含作业装置(330)的情况下，根据工程机械(30)的姿势计算出作业装置(330)的位置，并将用于将计算出的位置通知操作人员的显示对象(OBX)与周围图像(G31)一起显示于显示装置(23)。

Description

远程操作系统以及主操作装置
技术领域
本发明涉及具备主操作装置和从操作装置的远程操作系统等。
背景技术
近年，已知利用直接受理操作人员的操作的称为主机的主操作装置和可通信地连接于主机的称为从设备的从操作装置对工程机械进行远程操作的远程操作系统(例如，专利文献1)。
在此种远程操作系统中，利用设置在工程机械的操纵席内的摄像机拍摄的工程机械的周围图像显示于设置在主机的显示装置，操作人员一边看显示于该显示装置的周围图像一边对工程机械的作业装置(动臂、斗杆及铲斗等)进行远程操作。
作为与本申请相关的现有技术文献除了专利文献1以外还有专剥文献2。专利文献2公开从利用设置在工程机械的后部的后方监视摄像机拍摄的图像检测出下部行走体相对于上部回转体的相对角度，并将表示检测出的相对角度的图像显示于设置在操纵席内的显示装置的技术。
但是，根据作业装置的所处的姿势，会发生作业装置位于设置在操纵席内的摄像机的视野外的情况。此时，作业装置从显示于主机的显示装置的周围图像中消失，主机的操作人员不能确认作业装置当前位于哪个方向，发生给操作人员带来不安的问题。
尤其是，在午休等休息后重新开始工程机械的远程操作的情况下，如果周围图像中没有出现作业装置，要求操作人员预测作业装置的位置并慎重操作作业装置，存在操作负担增大的问题。
所述的专利文献2原本就不是有关远程操作系统的发明，也没有公开在操纵席内设置摄像机，不能解决在作业装置从显示于主机的显示画面的周围图像中消失的情况下发生的所述问题。
现有技术文献
专利文献
专利文献1：日本专利公开公报特开平10-252101号
专利文献2：日本专利公开公报特开2012-107395号
发明内容
本发明的目的在于提供一种即使作业装置从显示于主操作装置的显示装置的周围图像中消失，也能让主操作装置的操作人员认识到作业装置的位置的远程操作系统等。
本发明一个方面是一种远程操作系统，对包含作业装置的工程机械进行远程操作，其包括：
主操作装置，用于对所述工程机械进行远程操作；以及，
从操作装置，被搭载于所述工程机械，基于所述主操作装置受理的操作，对所述作业装置进行操作，其中，
所述从操作装置具备：
摄像机，获取从所述工程机械的操纵席内拍摄了所述工程机械的周围的周围图像；
姿势检测部，检测所述作业装置的姿势；以及，
第一通信部，将所述周围图像以及表示所述姿势检测部检测出的所述作业装置的姿势的姿势信息发送到所述主操作装置，
所述主操作装置具备：
操作部件，受理操作人员的操作；
第二通信部，接收从所述从操作装置发送来的所述周围图像和所述姿势信息；
显示装置，显示包含所述第二通信部接收到的所述周围图像的显示画面；
判断部，判断所述第二通信部接收到的所述周围图像中是否包含所述作业装置；以及，
显示控制部，在所述判断部判断为所述周围图像中不包含所述作业装置的情况下，根据所述第二通信部接收到的所述姿势信息计算出所述作业装置的位置，并将用于将计算出的所述位置通知给所述操作人员的显示对象显示于所述显示画面。
根据本发明，即使作业装置从显示于主操作装置的显示装置的周围图像中消失，也能让主操作装置的操作人员认识到作业装置的位置。
附图说明
图1是表示本发明的实施方式所涉及的远程操作系统的整体结构的方框图。
图2是表示图1所示的工程机械的外观的示意图。
图3是表示显示于主机的显示装置的显示画面的一例的示意图。
图4是表示显示对象的显示位置的模式的示意图。
图5是汇总本实施方式所涉及的显示对象的显示和非显示时机的表。
图6是表示本发明的实施方式所涉及的远程操作系统的处理的一例的流程图。
图7是表示本发明的实施方式所涉及的远程操作系统的通信开始时的处理的一例的流程图。
具体实施方式
图1是表示本发明的实施方式所涉及的远程操作系统的整体结构的方框图。远程操作系统具备从设备(slave)10和主机20。从设备10是被配置在工程机械30的操纵席，基于主机20受理的操作量直接操作工程机械30的操作杆31的从操作装置。从设备10是作为所谓的操作人员的替身而操作工程机械30的机械。主机20是用于直接受理工程机械30的操作人员的操作并对工程机械30进行远程操作的主操作装置。在本实施方式中，主机20由模拟工程机械30的操纵席的操作装置构成，与工程机械30的操作杆31一样的操作杆24被配置在与工程机械30一样的位置。此外，主机20具备操作人员就坐的座椅。
从设备10和主机20通过通信路100互相可进行通信地被连接。作为通信路100，采用特定省电无线以及蓝牙(注册商标)等使从设备10和主机20在数十米～数百米左右的距离进行无线通信的通信路。但这是一例，作为通信路100，也可以采用包含手机通信网以及因特网通信网等的公众通信线。此时，主机20和从设备10可以进行长距离通信。
图2是表示图1所示的工程机械30的外观的示意图。图2所示的工程机械30由液压挖掘机构成。工程机械30具备：履带式的下部行走体310；可回转地设置在下部行走体310上的上部回转体320；以及安装在上部回转体320的作业装置330。
作业装置330具备：可起伏地安装在上部回转体320的动臂331；可摆动地安装在动臂331的远端部的斗杆332；以及可摆动地安装在斗杆332的远端部的附属装置333。
此外，作业装置330具备：使动臂331相对于上部回转体320起伏的动臂缸334；使斗杆332相对于动臂331摆动的斗杆缸335；以及使附属装置333相对于斗杆332摆动的附属装置缸336。上部回转体320具备操作人员搭乘的操纵席3C。
返回参照图1。主机20具备通信部21(第二通信部的一例)、控制器22、显示装置23、操作杆24(操作部件的一例)、遮断杆25以及传感器S1、S2。
通信部21由对应通信路100采用的通信方式的通信装置构成，接收从从设备10发送来的工程机械30的周围图像和表示作业装置330的姿势的姿势信息。作业装置330的姿势信息例如包含角度传感器13的检测值。此外，通信部21向从设备10发送主机20的操作杆24受理的操作量。
控制器22由包含CPU、ASIC等处理器和ROM及RAM等存储装置的计算机构成。控制器22具备判断部221和显示控制部222。另外，判断部221和显示控制部222可以通过处理器执行控制程序而实现，也可以由专用的硬件电路构成。
判断部221判断通信部21接收到的周围图像是否包含作业装置330。在此，判断部221也可以通过将利用预先存储在存储装置的作业装置330的模板图像的模板匹配适用于周围图像，从而判断周围图像是否包含作业装置330。或者，判断部221也可以通过参照预先将从从设备10发送来的姿势信息中包含的角度传感器13的检测值和周围图像是否包含作业装置330的判断结果相互对应地存储在存储装置的判断表，判断周围图像是否包含作业装置330。
显示控制部222使通信部21从从设备10接收到的周围图像显示于显示装置23。此外，显示控制部222在判断部221判断周围图像不包含作业装置330的情况下，根据通信部21接收到的姿势信息计算出作业装置330的位置，并将用于向操作人员通知计算出的位置的显示对象与周围图像一起显示于显示装置23。
显示装置23由设置在主机20的座椅前方的液晶显示器以及有机EL显示器等显示装置构成，显示通信部21从从设备10接收到的周围图像。此外，显示装置23在显示控制部222的控制下，使显示对象显示或不显示。主机20的操作人员一边看显示于显示装置23的周围图像，一边对工程机械30进行远程操作。
操作杆24与工程机械30所具备的操作杆31相对应，受理来自远程操作工程机械30的操作人员的操作。在本实施方式中，以操作杆24作为受理用于操作工程机械30的作业装置330的操作人员的操作的操作杆而进行说明。例如，操作杆24由ATT(附属装置)杆构成，该ATT杆能够在前后左右4个方向倾倒，即：如果向前方被倾倒则使动臂331倒伏；如果向后方被倾倒则使动臂331起伏；如果向左方被倾倒则使附属装置333向驾驶席侧摆动；如果向右方被倾倒则使附属装置333向驾驶席的相反侧摆动。或者，操作杆24也可以由使工程机械30前进或后退的行走杆构成。或者，操作杆24也可以由使斗杆332摆动且使上部回转体320回转的能够在前后左右4个方向倾倒的回转杆构成。或者，操作杆24也可以由ATT杆、行走杆以及回转杆3个操作杆构成。总之，操作杆24以对应工程机械30的操作杆31所具备的各种操作杆的方式具备各种操作杆。
传感器S1例如由电位计式的传感器构成，检测操作杆24的操作量并输出到控制器22。在此，传感器S1个别地检测操作杆24的前后左右的各个操作量并输出到控制器22。另外，传感器S1随着在前后左右各个方向上操作杆24的倾倒量增加而使检测的操作量增大。另外，在操作杆24由多个操作杆构成的情况下，传感器S1与各操作杆相对应而由多个传感器构成。
遮断杆25由能够在锁定位置和释放位置之间倾倒的操作杆构成，受理用于遮断操作杆24的操作的来自操作人员的操作。如果遮断杆25定位于锁定位置，则控制器22将作业装置330的姿势以其状态保持，从而遮断对操作杆24的操作。另一方面，如果遮断杆25定位于释放位置，则控制器22解除作业装置330的姿势保持，根据对操作杆24的操作而使作业装置330工作。
传感器S2是检测遮断杆25是位于锁定位置还是位于释放位置的传感器。
从设备10具备通信部11(第一通信部的一例)、控制器12、角度传感器13(姿势检测部的一例)、摄像机14及操作机构15。
通信部11由对应通信路100采用的通信方式的通信装置构成，向主机20发送摄像机14获取的周围图像和作业装置330的姿势信息。此外，通信部11从主机20接收主机20受理的操作杆24的操作量。
控制器12由包含CPU、ASIC等处理器和ROM及RAM等存储装置的计算机构成。控制器12在主机20与从设备10的通信连接已被确立的情况下，以使摄像机14获取的周围图像和作业装置330的姿势信息以规定的采样周期向主机20周期性地被发送的方式控制通信部11。
角度传感器13例如由解析器(resolver)或电位计式的传感器构成，检测作业装置330的姿势。角度传感器13由检测动臂331相对于上部回转体320的角度(动臂角度)的动臂传感器、检测斗杆332相对于动臂331的角度(斗杆角度)的斗杆传感器、检测附属装置333相对于斗杆332的角度(附属装置角度)的附属装置传感器、以及检测上部回转体320相对于下部行走体310的回转角度的回转传感器构成。
因此，主机20的显示控制部222利用动臂传感器、斗杆传感器及附属装置传感器各自的检测值和动臂331、斗杆332及附属装置333各自的已知的长度计算出附属装置333的远端位置，并将计算出的远端位置作为作业装置330的位置而计算即可。并且，显示控制部222通过在以工程机械30的例如重心位置为中心的工程机械30的三维局部坐标空间Q(图2)描绘附属装置333的远端位置，从而计算出作业装置330的位置即可。
操作机构15由致动器构成，被输入用于产生与通信部11接收到的操作量相对应的操作力的控制信号，使与操作量相对应的操作力产生，并赋予工程机械30的操作杆31。例如，如果操作杆31由ATT杆、行走杆及回转杆构成，则操作机构15由与各操作杆相对应的3个操作机构构成。此外，在该例中，在ATT杆为能够向前后左右4个方向倾倒的操作杆的情况下，操作机构15具备使ATT杆向前后方向倾倒的致动器和使ATT杆向左右方向倾倒的致动器。
摄像机14例如由CMOS传感器或CCD传感器构成，通过从操纵席3C内以规定的采样周期对工程机械30的周围周期性地进行拍摄，从而获取表示工程机械30的周围的周围图像。在此，摄像机14以视线朝向操纵席3C的前方的方式安装在操纵席3C的内部，隔着封闭操纵席3C的前方的挡风玻璃拍摄工程机械30的周围的图像。即，如果设操作人员就坐子操纵席3C的座椅上，则摄像机14拍摄该操作人员隔着挡风玻璃看到的景色。
控制器12在通信部11接收到操作杆24的操作量的情况下，向操作机构15输出与该操作量相对应的控制信号。据此，从设备10成为操作主机20的操作人员的替身而直接操作工程机械30。
工程机械30具备操作杆31(操作部件的一例)和控制器32。操作杆31被设置在工程机械30的操纵席3C，通过从从设备10的操作机构15赋予操作力而被倾倒。操作杆31与主机20的操作杆24同样，由ATT杆、行走杆及回转杆中的至少一个或多个构成。此时，构成操作杆31的ATT杆和回转杆中的至少一个或多个与构成主机20的操作杆24的ATT杆和回转杆同样，由能够向前后左右4个方向倾倒的操作杆构成。此外，构成操作杆31的行走杆与构成主机20的操作杆24的行走杆同样，由能够向前后2个方向倾倒的操作杆构成。
控制器32在操作杆31在规定时间内没有被操作的情况下，起动将工程机械30的发动机设为待机状态的减速(decelerator)功能。
图3是表示显示于主机20的显示装置23的显示画面G3的一例的示意图。显示画面G3具备周围图像G31和覆盖周围图像G31的周围的空白区域G32。在图3的例子中，周围图像G31的外侧线形状是模拟操纵席3C的挡风玻璃的形状而呈随着朝向下侧而宽度逐渐变短的矩形形状。
在图3的上侧示出的表是汇总在本实施方式中使用的显示对象的种类的表。在本实施方式中，显示对象采用二维箭头图像OA、三维箭头图像OB、工程机械图像OC以及作业装置图像OD的任一个。
二维箭头图像OA是相对于操纵席3C二维地表示作业装置330的附属装置333的远端位置的箭头状的图像。参照图2，作业装置330的局部坐标空间Q的原点被设定在工程机械30的例如重心，在高度方向设定Y轴，在左右方向设定X轴，在前后方向设定Z轴。X轴、Y轴、Z轴互相正交。
在图2中，在附属装置333的远端位置位于点P1的情况下，显示控制部222计算出局部坐标空间Q内的从规定的基准位置O1朝向点P1的三维向量V1。并且，显示控制部222求出向平行于操纵席3C的前面的XY平面的三维向量V1的投影向量，生成朝向与其投影向量相同方向的规定长度的箭头状的图像来作为二维箭头图像OA。并且，显示控制部222在显示画面G3上的规定的显示位置显示二维箭头图像OA。基准位置O1采用与显示画面G3中的二维箭头图像OA的显示位置相对应的局部坐标空间Q上的位置。在图3中，周围图像G31的左上的规定的位置被设为二维箭头图像OA的显示位置。因此此时，基准位置O1的X成分和Y成分例如采用与该显示位置相对应的局部坐标空间Q的X坐标和Y坐标，基准位置O1的Z成分采用例如挡风玻璃的坐标。
三维箭头图像OB是相对于操纵席3C三维地表示作业装置330的附属装置233的远端位置的箭头状的图像。此处，三维箭头图像OB是将包含楔型的楔部OB1和球体部OB2的三维模型投影到虚拟屏幕上而获得的图像，利用楔部OB1的远端E1的朝向来表示作业装置330的方向，其中，楔部OB1是将沿斜向延伸的两根三角柱分别相对于长度方向以锐角切断并将切断面互相粘合而获得，球体部OB2被夹在楔部OB1。另外，虚拟屏幕例如被设定在与操纵席3C的挡风玻璃相对应的局部坐标空间Q内的位置。
显示控制部222与二维箭头图像OA的情况同样，求出三维向量V1，以使三维箭头图像OB的三维模型的远端E1朝向三维向量V1的终点(点P1)的方式将该三维模型配置在基准位置O1。并且，显示控制部222通过将配置的三维模型投影到虚拟屏幕从而生成三维箭头图像OB，并显示于显示画面G3。在图3的例子中，由于周围图像G31的中央位置为三维箭头图像OB的显示位置，所以，基准位置O1的X成分和Y成分例如采用与中央位置的X成分和Y成分相对应的局部坐标空间Q的X坐标和Y坐标，Z成分采用例如从挡风玻璃向前方离开规定距离的局部坐标空间Q的Z坐标。
另外，显示控制部222在采用二维箭头图像OA或三维箭头图像OB的情况下，可以随着相对于操纵席3C的作业装置330的附属装置333的远端位置接近，将二维箭头图像OA或三维箭头图像OB的尺寸较大地显示。此时，显示控制部222预先具备以三维向量V1的范数越小，则放大率越增大的方式规定两者的关系的表或函数，利用该表或函数决定与三维向量V1的大小相对应的放大率。并且，显示控制部222通过对具有默认尺寸的二维箭头图像OA或三维箭头图像OB的三维模型乘以决定的放大率来放大二维箭头图像OA或三维箭头图像OB的三维模型即可。另外，放大率具有0以上的值，1以下时二维箭头图像OA或三维箭头图像OB被缩小。
参照图3。工程机械图像OC是模拟侧视时的工程机械30的实际姿势的图像。显示控制部222通过利用角度传感器13的检测值中包含的动臂角度、斗杆角度、附属装置角度以及回转角度，修正侧视时的默认姿势的工程机械30的图像，从而生成工程机械图像OC。并且，显示控制部222将生成的工程机械图像OC显示于显示画面G3上的规定的显示位置。在图3的例子中，工程机械图像OC被显示在空白区域G32内的左中央的位置。作为默认姿势，例如采用下部行走体310和上部回转体320都朝向正面，且动臂角度、斗杆角度及附属装置角度分别为规定的默认角度时的姿势。
作业装置图像OD是表示当前的作业装置330相对于上部回转体320的姿势的图像。显示控制部222预先具备对应于作业装置330的姿势的作业装置图像OD与动臂角度、斗杆角度及附属装置角度相互对应地被记录的作业装置图像表。并且，显示控制部222从作业装置图像表读出与角度传感器13的检测值中包含的动臂角度、斗杆角度及附属装置角度的组合相对应的作业装置图像OD，并显示于显示画面G3上的规定的位置上即可。在图3的例子中，作业装置图像OD被显示于周围图像G31的上部的中央。
图4是表示显示对象的显示位置的模式的示意图。图4的上侧所示的表是汇总显示位置的模式的表。图4所示的显示画面G3中示出了三个模式PA、PB、PC。模式PA是将显示对象OBX的整个区域重叠显示于周围图像G31的模式。模式PB是将显示对象OBX的一部分重叠显示于周围图像G31，并将显示对象OBX的剩下的部分重叠显示于空白区域G32的模式。模式PC是将显示对象OBX的整个区域重叠显示于空白区域G32的模式。
显示控制部222将显示对象OBX以模式PA～PC中的任一个模式显示。在图4的例子中，作为模式PA示出了将由三维箭头图像OB构成的显示对象OBX显示于周围图像G31的中央的模式。此外，作为模式PB示出了将由三维箭头图像OB构成的显示对象OBX在周围图像G31的上侧一部分重叠显示于周围图像G31的模式。此外，作为第一个模式PC示出了将由三维箭头图像OB构成的显示对象OBX的整个区域显示于空白区域G32的上侧的模式。此外，作为第二个模式PC示出了将由工程机械图像OC构成的显示对象OBX的整个区域显示于空白区域G32的左侧的模式。
在图4的例子中，作为模式PA、PB以及第一个模式PC利用了三维箭头图像OB，但这是一例，也可以采用图3所示的二维箭头图像OA、工程机械图像OC或作业装置图像OD。此外，作为第二个模式PC利用了工程机械图像OC，但也可以采用二维箭头图像OA、三维箭头图像OB或作业装置图像OD。另外，在采用二维箭头图像OA和三维箭头图像OB的情况下，图2所示的基准位置O1的坐标采用与用模式PA～PC所示的显示位置相对应的局部坐标空间Q的坐标。
此外，模式PA中的显示对象OBX的显示位置并不限定于图4所示的周围图像G31的中央，只要是在周围图像G31内且显示对象OBX不超出周围图像G31的位置，则可以采用任意位置。此外，模式PB中的显示对象OBX的显示位置并不限定于图4所示的跨周围图像G31的上缘的位置，可以采用跨周围图像G31的左缘、右缘或下缘的位置。此外，模式PC中的显示对象OBX的显示位置并不限定于图4所示的上侧的空白区域G32，可以采用左侧、右侧或下侧的空白区域。
图5是汇总本实施方式所涉及的显示对象OBX的显示和非显示时机的表。在本实施方式中，显示对象OBX的显示和非显示时机的模式有7种。在图5中，“有关显示”表示在显示装置23有无显示对象OBX的显示。“操作杆的操作”表示操作杆24是否正在被操作人员操作。“作业装置的位置”表示周围图像G31中是否包含作业装置330。“无操作经过时间”表示自没有对操作杆24操作起的经过时间是否经过了规定时间以上。“系统的状态”表示在从设备10与主机20之间是否确立了通信连接。此外，在“系统的状态”，“通信开始”表示在从设备10与主机20之间刚开始通信之后的状态。“减速功能”表示减速功能是否正在工作。“遮断杆”表示遮断杆25是否被锁定。
在模式“1”中，显示控制部222在操作杆24正在被操作的情况下，无论周围图像G31中是否包含作业装置330，都不显示显示对象OBX。这基于如下想法：在操作杆24的操作过程中，即使作业装置330从周围图像G31消失，操作人员也能根据当前的操作在某种程度上预想到作业装置330的位置，如果将显示对象OBX显示反而妨碍作业。
在模式“2”中，显示控制部222在周围图像G31中包含作业装置330的情况下，不显示显示对象OBX。这基于如下想法：在周围图像G31中包含作业装置330的情况下，即使将显示对象OBX不显示，操作人员也能认识到作业装置330的位置。
在模式“3”中，显示控制部222在周围图像G31中不包含作业装置330的情况下，直到操作杆24没有被操作的状态持续规定时间以上为止，使显示对象OBX的非显示继续。
模式“4”与模式“3”相反，显示控制部222在周围图像G31中不包含作业装置330的情况下，在操作杆31没有被操作的状态持续规定时间以上之后，将显示对象OBX显示。这基于如下想法：在对周围图像G31的作业装置330的出现和消失在短时间内反复的情况下，防止发生显示对象OBX的显示和非显示在短时间内反复的抖振。另外，作为规定时间可以采用5秒、10秒、30秒、1分钟等适当被设定的值。
在模式“5”中，显示控制部222在主机20和从设备10之间的通信开始时周围图像G31中不包含作业装置330的情况下，无论操作杆24是否被操作，都将显示对象OBX显示。这基于如下想法：在通信开始时，在周围图像G31中未出现作业装置330的情况下，防止操作人员不能认识到作业装置330的位置的情况。
在模式“6”中，显示控制部222在遮断杆25被设为锁定状态且周围图像G31中不包含作业装置330的情况下，无论操作杆24是否被操作，都将显示对象OBX显示。
这基于如下想法：在遮断杆25被设为锁定状态且作业装置330的作业休止的情况下，如果周围图像G31中不包含作业装置330，则将显示对象OBX显示，让操作人员认识到作业装置330的位置为宜。
在模式“7”中，显示控制部222在减速功能正在工作且周围图像G31中不包含作业装置330的情况下，无论操作杆24是否被操作，都将显示对象OBX显示。这基于如下想法：在减速功能正在工作且作业装置330的作业休止的情况下，如果周围图像G31中不包含作业装置330，则将显示对象OBX显示，让操作人员认识到作业装置330的位置为宣。
图6是表示本发明的实施方式所涉及的远程操作系统的处理的一例的流程图。另外，图6的流程图反复被执行。在S101，判断部221判断周围图像G31中是否包含作业装置330。在周围图像G31中包含作业装置330的情况下(在S101为是)，显示控制部222不将显示对象OBX显示于显示画面G3(S107)。
在周围图像G31中不包含作业装置330的情况下(在S101为否)，显示控制部222根据传感器S2的检测结果判断遮断杆25是否处于锁定位置(S102)。在判断为遮断杆25处于锁定位置的情况下(在S102为是)，显示控制部222将显示对象OBX显示于显示画面G3(S103)。据此，实现模式“6”。
另一方面，在判断为遮断杆25不处于锁定位置的情况下(在S102为否)，显示控制部222判断减速功能是否正在工作(S104)。在判断为减速功能正在工作的情况下(在S104为是)，显示控制部222将显示对象OBX显示于显示画面G3(S103)。据此，实现模式“7”。
另一方面，在判断为减速功能不是正在工作的情况下(在S104为否)，显示控制部222根据传感器S1的检测结果判断操作杆24是否在操作中(S105)。在此，显示控制部222如果传感器S1检测出的操作杆24的操作量不是0，就判断为在操作中，如果传感器S1检测出的操作杆24的操作量为0，就判断为不在操作中即可。
在操作杆24在操作中的情况下(在S105为是)，显示控制部222不将显示对象显示于显示画面G3(S107)。另一方面，在操作杆24不在操作中的情况下(在S105为否)，显示控制部222判断从操作杆24的操作停止起是否经过了规定时间以上(S106)。在从操作杆24的操作停止起经过了规定时间以上的情况下(在S106为是)，显示控制部222将显示对象OBX显示于显示画面G3(S103)。另一方面，在从操作杆24的操作停止起没有经过规定时间以上的情况下(在S106为否)，显示控制部222不将显示对象OBX显示于显示画面G3(S107)。通过在S105为否、在S106为是、且S103的流程，在作业装置330从周围图像G31消失的情况下，在操作杆24不在操作中的状态经过规定时间以上之后，显示对象OBX被显示于显示画面G3。据此，实现模式“3”、“4”。
此外，通过在S101为是且S107的流程以及在S105为是且S107的流程，在操作杆24的操作过程中，无论周围图像G31中是否有作业装置330，都不对显示对象OBX进行显示。据此，实现模式“1”。
此外，在S101为是的情况下，处理前进到S107。据此，实现模式“2”。
图7是表示本发明的实施方式所涉及的远程操作系统的通信开始时的一例的流程图。在S201，主机20的显示控制部222判断主机20和从设备10之间的通信是否已开始。在此，开始通信例如通过主机20的操作人员接通主机20的电源后向主机20的输入装置(图略)输入连接请求的发送指示，主机20将该连接请求发送到从设备10而进行。在此，连接请求中包含从设备10的识别信息等。接收到连接请求的从设备10基于识别信息进行认证处理，如果认证许可则向主机20发送连接应答。据此，主机20与从设备10之间的通信连接被确立，两者之间的通信开始。
如果通信开始(在S201为是)，处理前进到S202，如果通信没有开始(在S201为否)，则处理在S201待机。
在S202，判断部221判断周围图像G31中是否包含作业装置330。在周围图像G31中包含作业装置330的情况下(在S202为是)，显示控制部222不将显示对象OBX显示于显示画面G3(S204)。另一方面，在周围图像G31中不包含作业装置330的情况下(在S202为否)，显示控制部222将显示对象OBX显示于显示画面G3(S203)。据此，在通信开始时周围图像G31中不包含作业装置330的情况下，显示对象OBX被显示，实现模式“5”。
如上所述，根据本实施方式，在从工程机械30的操纵席3C内拍摄的工程机械30的周围图像G31中不包含作业装置330的情况下，用于向操作人员通知作业装置330的位置的显示对象OBX被显示于主机20的显示画面。
因此，即使作业装置330从显示于主机20的显示装置23的周围图像G31消失，也能让主机20的操作人员认识到作业装置330的位置。其结果，能够让操作人员安心操作作业装置330，能够减轻操作人员的作业负担。
此外，由于图6的流程反复被执行，因此，显示对象OBX在显示画面G3内实时地被显示。
另外，为了防止作业装置330从周围图像G31消失，可以考虑在操纵席3C内设置全方位摄像机，拍摄全方位的周围图像。但是，在该方法中，发生由于周围图像的数据量增大而主操作装置和从操作装置之间的通信流量增加，并且导致主机的显示装置大画面化的问题。
在本实施方式中，即使不设置全方位摄像机，也能在作业装置330从周围图像G31消失的情况下将其位置通知给操作人员，因此，能够解决此种问题。
本发明可以采用以下的变形例。
(1)在图4中，在采用将显示对象OBX显示于空白区域G32的模式PC的情况下，显示控制部222也可以无论周围图像G31中是否包含作业装置330，都将显示对象OBX始终显示。特别是在采用工程机械图像OC或作业装置图像OD作为显示对象OBX的情况下，能够让操作人员俯瞰工程机械30的姿势，因此，优选将显示对象OBX始终显示。
(2)在图4中，也可以采用组合将工程机械图像OC或作业装置图像OD作为显示对象OBX而始终显示于空白区域G32的模式PC和将二维箭头图像OA或三维箭头图像OB的整个区域重叠显示于周围图像G31的模式PA的显示方式。此时，二维箭头图像OA或三维箭头图像OB采用按照图5所示的模式“1”～“7”决定显示和非显示的方式即可。

Claims (16)

1.一种远程操作系统，对包含作业装置的工程机械进行远程操作，其特征在于包括：
主操作装置，用于对所述工程机械进行远程操作；以及，
从操作装置，被搭载于所述工程机械，基于所述主操作装置受理的操作，对所述作业装置进行操作，其中，
所述从操作装置具备；
摄像机，获取从所述工程机械的操纵席内拍摄了所述工程机械的周围的周围图像；
姿势检测部，检测所述作业装置的姿势；以及，
第一通信部，将所述周围图像以及表示所述姿势检测部检测出的所述作业装置的姿势的姿势信息发送到所述主操作装置，
所述主操作装置具备：
操作部件，受理操作人员的操作；
第二通信部，接收从所述从操作装置发送来的所述周围图像和所述姿势信息；
显示装置，显示包含所述第二通信部接收到的所述周围图像的显示画面；
判断部，判断所述第二通信部接收到的所述周围图像中是否包含所述作业装置；以及，
显示控制部，在所述判断部判断为所述周围图像中不包含所述作业装置的情况下，根据所述第二通信部接收到的所述姿势信息计算出所述作业装置的位置，并将用于将计算出的所述位置通知给所述操作人员的显示对象显示于所述显示画面。
2.根据权利要求1所述的远程操作系统，其特征在于，
所述显示控制部将所述显示对象的至少一部分重叠显示于所述周围图像。
3.根据权利要求2所述的远程操作系统，其特征在于，
所述显示控制部在所述判断部判断为所述周围图像中包含所述作业装置的情况下，停止所述显示对象的显示。
4.根据权利要求2或3所述的远程操作系统，其特征在于，
所述显示控制部在所述操作部件正在被操作的情况下，无论所述判断部的判断结果如何，都停止所述显示对象的显示。
5.根据权利要求2至4中任一项所述的远程操作系统，其特征在于，
所述显示控制部在所述判断部判断为所述周围图像中不包含所述作业装置的情况下，在所述操作部件没有被操作的状态持续规定时间以上之后，显示所述显示对象。
6.根据权利要求2至5中任一项所述的远程操作系统，其特征在于，
所述显示控制部在所述主操作装置和所述从操作装置的通信开始时所述判断部判断为所述周围图像中不包含所述作业装置的情况下，无论所述操作部件是否正在被操作，都显示所述显示对象。
7.根据权利要求2至6中任一项所述的远程操作系统，其特征在于，
所述主操作装置还包括遮断杆，该遮断杆受理用于遮断所述操作部件的操作的来自操作人员的操作，其中，
所述显示控制部在所述遮断杆处于锁定状态且所述判断部判断为所述周围图像中不包含所述作业装置的情况下，无论所述操作部件是否正在被操作，都显示所述显示对象。
8.根据权利要求2至7中任一项所述的远程操作系统，其特征在于，
所述工程机械具备减速功能，该减速功能在所述操作部件在规定时间没有被操作的情况下，将所述工程机械的发动机设为待机状态，
所述显示控制部在所述减速功能正在工作且所述判断部判断为所述周围图像中不包含所述作业装置的情况下，显示所述显示对象。
9.根据权利要求1至8中任一项所述的远程操作系统，其特征在于，
所述显示对象由三维地表示所述作业装置所处的方向的箭头图像构成。
10.根据权利要求1至8中任一项所述的远程操作系统，其特征在于，
所述显示对象由二维地表示所述作业装置所处的方向的箭头图像构成。
11.根据权利要求1至8中任一项所述的远程操作系统，其特征在于，
所述显示对象由模拟侧视时的所述工程机械的实际姿势的工程机械图像构成。
12.根据权利要求1至8中任一项所述的远程操作系统，其特征在于，
所述显示对象由模拟所述作业装置的实际姿势的作业装置图像构成。
13.根据权利要求9或10所述的远程操作系统，其特征在于，
所述显示控制部随着相对于所述操纵席的所述作业装置的位置接近，将所述箭头图像的尺寸显示得越大。
14.根据权利要求9或10所述的远程操作系统，其特征在于，
所述显示控制部使所述箭头图像的远端朝向将所述作业装置相对于所述操纵席所处的方向投影到所述周围图像的方向。
15.根据权利要求1所述的远程操作系统，其特征在于，
所述显示控制部以包含与所述周围图像邻接的空白区域的方式使所述周围图像显示于所述显示装置，将所述显示对象显示于所述空白区域。
16.一种主操作装置，是用于对包含作业装置的工程机械进行远程操作的远程操作系统中的装置，其特征在于包括：
操作部件，受理操作人员的操作；
通信部，接收从与所述主操作装置能够进行通信地连接的从操作装置发送来的、从所述工程机械的操纵席拍摄了所述工程机械的周围的周围图像以及表示所述作业装置的姿势的姿势信息；
显示装置，显示包含所述通信部接收到的所述周围图像的显示画面；
判断部，判断所述通信部接收到的所述周围图像中是否包含所述作业装置的图像；以及，
显示控制部，在所述判断部判断为所述周围图像中不包含所述作业装置的情况下，根据所述通信部接收到的所述姿势信息计算出所述作业装置在所述工程机械的位置，并将用于将计算出的所述位置通知给所述操作人员的显示对象显示于所述显示画面。
CN201980019466.7A 2018-03-28 2019-01-24 远程操作系统以及主操作装置 Active CN111868335B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-062609 2018-03-28
JP2018062609A JP6947101B2 (ja) 2018-03-28 2018-03-28 遠隔操作システム及び主操作装置
PCT/JP2019/002333 WO2019187565A1 (ja) 2018-03-28 2019-01-24 遠隔操作システム及び主操作装置

Publications (2)

Publication Number Publication Date
CN111868335A true CN111868335A (zh) 2020-10-30
CN111868335B CN111868335B (zh) 2022-07-12

Family

ID=68058768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980019466.7A Active CN111868335B (zh) 2018-03-28 2019-01-24 远程操作系统以及主操作装置

Country Status (5)

Country Link
US (1) US11732439B2 (zh)
EP (1) EP3754120B1 (zh)
JP (1) JP6947101B2 (zh)
CN (1) CN111868335B (zh)
WO (1) WO2019187565A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112482484A (zh) * 2020-11-25 2021-03-12 贵州詹阳动力重工有限公司 一种挖掘机远程遥控模拟舱及远程遥控系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7080750B2 (ja) * 2018-06-29 2022-06-06 株式会社小松製作所 表示制御システム、遠隔操作システム、表示制御装置、および表示制御方法
JP7099358B2 (ja) * 2019-02-20 2022-07-12 コベルコ建機株式会社 作業機械用表示システム
CN114787453B (zh) * 2019-12-19 2023-07-25 神钢建机株式会社 远程操作装置及远程操作系统
JP7452038B2 (ja) * 2020-01-30 2024-03-19 コベルコ建機株式会社 作業支援システム
JP2022144495A (ja) * 2021-03-19 2022-10-03 コベルコ建機株式会社 遠隔操作支援システムおよび遠隔操作支援方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101945740A (zh) * 2008-03-28 2011-01-12 株式会社大亨 可动机械控制系统
CN102947515A (zh) * 2010-06-18 2013-02-27 日立建机株式会社 作业机械的周围监视装置
CN103608150A (zh) * 2011-07-15 2014-02-26 奥林巴斯株式会社 机械手系统
JP2016106192A (ja) * 2016-03-07 2016-06-16 住友建機株式会社 ショベル
CN105759839A (zh) * 2016-03-01 2016-07-13 深圳市大疆创新科技有限公司 无人机视觉跟踪方法、装置以及无人机
CN106961546A (zh) * 2016-01-08 2017-07-18 奥林巴斯株式会社 信息处理装置和方法、摄像装置、显示装置、控制方法
CN107000829A (zh) * 2015-08-06 2017-08-01 松下电器（美国）知识产权公司 无人飞行器、飞行控制方法及飞行控制程序
CN107250466A (zh) * 2015-03-05 2017-10-13 株式会社小松制作所 作业机械的图像显示系统、作业机械的远程操作系统以及作业机械

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0617444A (ja) 1992-06-30 1994-01-25 Fujita Corp 建設機械用遠隔操作装置
JP3364419B2 (ja) * 1997-10-29 2003-01-08 新キャタピラー三菱株式会社 遠隔無線操縦システム並びに遠隔操縦装置，移動式中継局及び無線移動式作業機械
JP3637523B2 (ja) 1997-11-17 2005-04-13 清水建設株式会社 油圧制御機械
JP5473870B2 (ja) * 2010-11-15 2014-04-16 住友建機株式会社 建設機械のモニター装置
JP5941663B2 (ja) * 2011-11-30 2016-06-29 住友建機株式会社 建設機械用モニタシステム
AU2013407690B2 (en) * 2013-12-12 2017-10-19 Hitachi Construction Machinery Co., Ltd. Vehicle travel system and vehicle travel control method
US10794047B2 (en) * 2015-07-15 2020-10-06 Komatsu Ltd. Display system and construction machine

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101945740A (zh) * 2008-03-28 2011-01-12 株式会社大亨 可动机械控制系统
CN102947515A (zh) * 2010-06-18 2013-02-27 日立建机株式会社 作业机械的周围监视装置
CN103608150A (zh) * 2011-07-15 2014-02-26 奥林巴斯株式会社 机械手系统
CN107250466A (zh) * 2015-03-05 2017-10-13 株式会社小松制作所 作业机械的图像显示系统、作业机械的远程操作系统以及作业机械
CN107000829A (zh) * 2015-08-06 2017-08-01 松下电器（美国）知识产权公司 无人飞行器、飞行控制方法及飞行控制程序
CN106961546A (zh) * 2016-01-08 2017-07-18 奥林巴斯株式会社 信息处理装置和方法、摄像装置、显示装置、控制方法
CN105759839A (zh) * 2016-03-01 2016-07-13 深圳市大疆创新科技有限公司 无人机视觉跟踪方法、装置以及无人机
JP2016106192A (ja) * 2016-03-07 2016-06-16 住友建機株式会社 ショベル

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112482484A (zh) * 2020-11-25 2021-03-12 贵州詹阳动力重工有限公司 一种挖掘机远程遥控模拟舱及远程遥控系统

Also Published As

Publication number Publication date
CN111868335B (zh) 2022-07-12
US20210025131A1 (en) 2021-01-28
WO2019187565A1 (ja) 2019-10-03
JP2019173379A (ja) 2019-10-10
US11732439B2 (en) 2023-08-22
EP3754120A4 (en) 2021-04-21
JP6947101B2 (ja) 2021-10-13
EP3754120A1 (en) 2020-12-23
EP3754120B1 (en) 2023-07-26

Similar Documents

Publication Publication Date Title
CN111868335B (zh) 远程操作系统以及主操作装置
US11384515B2 (en) Image display system for work machine, remote operation system for work machine, and work machine
US11959253B2 (en) Excavator and information processing apparatus
CN107406035B (zh) 工程作业机械
US11447928B2 (en) Display system, display method, and remote control system
AU2018333191B2 (en) Display system, display method, and display apparatus
AU2017318911B2 (en) Image display system of work machine, remote operation system of work machine, work machine, and method for displaying image of work machine
WO2020003631A1 (ja) 表示制御装置、および表示制御方法
JP7151392B2 (ja) 建設機械の遠隔操作装置
JP7420733B2 (ja) 表示制御システムおよび表示制御方法
JP7080750B2 (ja) 表示制御システム、遠隔操作システム、表示制御装置、および表示制御方法
JP2008240362A (ja) 建設機械および建設機械の後進移動ガイダンス方法
US20210250561A1 (en) Display control device, display control system, and display control method
AU2022252761A1 (en) Display control system, display control method and remote operation system
US11939744B2 (en) Display system, remote operation system, and display method
WO2023100533A1 (ja) 画像表示システム、遠隔操作支援システムおよび画像表示方法
WO2021106280A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
KR20150105701A (ko) 건설장비의 후방 인식 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant