CN113615164B - 远程操作系统以及远程操作服务器 - Google Patents

远程操作系统以及远程操作服务器 Download PDF

Info

Publication number
CN113615164B
CN113615164B CN201980094507.9A CN201980094507A CN113615164B CN 113615164 B CN113615164 B CN 113615164B CN 201980094507 A CN201980094507 A CN 201980094507A CN 113615164 B CN113615164 B CN 113615164B
Authority
CN
China
Prior art keywords
remote operation
image
line
sight
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980094507.9A
Other languages
English (en)
Other versions
CN113615164A (zh
Inventor
大谷真辉
佐佐木均
佐伯诚司
山崎洋一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Publication of CN113615164A publication Critical patent/CN113615164A/zh
Application granted granted Critical
Publication of CN113615164B publication Critical patent/CN113615164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04—Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mining & Mineral Resources (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Selective Calling Equipment (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明从使一位操作员掌握其他的操作员进行的作业机械的远程操作方式的观点出发，提供一种可以向该一位操作员提供适宜的信息的系统。在第1远程操作装置(10)中，利用视线检测器(112)检测第1操作员的视线，发送与该第1操作员的视线对应的视线检测数据。在第2远程操作装置(20)中，使指定图像区域以不同于其周围的图像区域的方式显示于第2图像输出装置(221)，所述指定图像区域是在与由作业机械(40)的拍摄装置(401)获取的拍摄图像数据对应的环境图像中以第1操作员的视线为基准而扩展的图像区域。

Description

远程操作系统以及远程操作服务器
技术领域
本发明涉及用于远程操作作业机械等的系统。
背景技术
提出有一种远程操作作业机械的技术(例如，参照专利文献1)。
现有技术文献
专利文献
专利文献1:日本特开2016-076801号公报
发明内容
发明要解决的技术问题
但是，从使在作业机械的远程操作技能方面较差的一位操作员提高其技能的观点出发，优选为使该操作员掌握由在技能方面优异的其他操作员所进行的作业机械的远程操作方式。
因此，本发明目的在于提供一种系统，从使一位操作员掌握由其他操作员所进行的作业机械的远程操作方式的观点出发，可以对该一位操作员提供适宜的信息。
用于解决上述技术问题的方案
本发明涉及一种远程操作系统，具备：作业机械，具有工作机构以及对包含该工作机构的至少一部分的环境进行拍摄的拍摄装置；第1远程操作装置以及第2远程操作装置，具有无线通信器、显示与由所述作业机械的所述拍摄装置取得的拍摄图像数据对应的环境图像的图像输出装置、以及用于远程操作所述作业机械的操作机构。
本发明的远程操作系统的特征在于，所述第1远程操作装置具备：视线检测器，检测操作员的视线；第1客户控制装置，将与由所述视线检测器检测到的该操作员的视线对应的视线检测数据发送至所述无线通信器，所述第2远程操作装置具备第2客户控制装置，使指定图像区域以不同于其周围的图像区域的方式显示于所述图像输出装置，所述指定图像区域是作为在所述环境图像中以由所述无线通信器接收的所述视线检测数据对应的所述操作员的视线为基准而扩展的图像区域。
本发明涉及一种远程操作服务器，具有分别和作业机械、第1远程操作装置以及第2远程操作装置相互通信的功能，所述作业机械具有工作机构以及对包含该工作机构的至少一部分的环境进行拍摄的拍摄装置，所述第1远程操作装置以及所述第2远程操作装置具有使用无线通信功能显示与由所述作业机械的所述拍摄装置取得的拍摄图像数据对应的环境图像的图像输出装置、以及用于远程操作所述作业机械的操作机构。
本发明的远程操作服务器的特征在于，具备第1服务器运算处理元件，从所述第1远程操作装置接收在所述第1远程操作装置中检测到的操作员的视线所对应的视线检测数据，该远程操作服务器具备第2服务器运算处理元件，通过对所述第2远程操作装置发送所述视线检测数据，使指定图像区域以不同于其周围的图像区域的方式显示于所述第2远程操作装置的所述图像输出装置，所述指定图像区域是作为在所述环境图像中以所述视线检测数据对应的所述操作员的视线为基准而扩展的图像区域。
附图说明
图1是关于作为本发明的一实施方式的远程操作系统的构成的说明图。
图2是关于作业机械的构成的说明图。
图3是关于第1远程操作装置的构成的说明图。
图4是关于作为本发明的一实施方式的远程操作系统的功能的说明图。
图5是关于第1图像输出装置中的图像输出方式的说明图。
图6A是关于第2图像输出装置中的图像输出的第1方式的说明图。
图6B是关于第2图像输出装置中的图像输出的第2方式的说明图。
图6C是关于第2图像输出装置中的图像输出的第3方式的说明图。
图6D是关于第2图像输出装置中的图像输出的第4方式的说明图。
图7是关于作为本发明的另一实施方式的远程操作系统的说明图。
具体实施方式
(构成)
图1示出的作为本发明的一实施方式的远程操作系统具备第1远程操作装置10、第2远程操作装置20和作业机械40。共通的作业机械40的远程操作主体可以在第1远程操作装置10以及第2远程操作装置20之间切换。
(作业机械的构成)
作业机械40具备作业机械控制装置400、拍摄装置401、无线通信机器402和工作机构440。作业机械控制装置400由运算处理装置(单核处理器或者多核处理器、或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据以及软件，将该数据作为对象执行依照该软件的运算处理。
作业机械40例如是履带挖掘机(工程机械)，如图2所示，具备履带式的下部行驶体410和经由回转机构430可回转地搭载于下部行驶体410的上部回转体420。在上部回转体420的前方左侧部设有驾驶室(司机室)422。在上部回转体420的前方中央部设置有作业附件440。
作为工作机构的作业附件440具备：动臂441，可起落地安装于上部回转体420；斗杆443，可转动地连结于动臂441的前端；铲斗445，可转动地连结于斗杆443的前端。在作业附件440安装有由可伸缩的液压油缸构成的动臂油缸442、斗杆油缸444以及铲斗油缸446。
动臂油缸442介于该动臂441和上部回转体420之间，使得其通过接受工作油的供给来伸缩，使动臂441在起落方向上转动。斗杆油缸444介于该斗杆443和该动臂441之间，使得其通过接受工作油的供给来伸缩，使斗杆443相对于动臂441绕水平轴转动。铲斗油缸446介于该铲斗445和该斗杆443之间，使得其通过接受工作油的供给来伸缩，使铲斗445相对于斗杆443绕水平轴转动。
拍摄装置401例如设置于驾驶室422的内部，透过驾驶室422的前窗对包含工作机构440的至少一部分的环境进行拍摄。
在驾驶室422设有：实机侧操作杆，与构成第1远程操作装置10的操作杆(后述)对应；驱动机构或者机器人，从远程操作室接收与各操作杆的操作方式对应的信号，并基于该接收信号使实机操作杆动作。
(第1远程操作装置的构成)
第1远程操作装置10具备第1客户控制装置100、第1输入接口110和第1输出接口120。第1客户控制装置100由运算处理装置(单核处理器或者多核处理器、或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据以及软件，并按照该软件以该数据为对象执行运算处理。第1输入接口110具备第1操作机构111和视线检测器112。第1输出接口120具备第1图像输出装置121和第1无线通信机器122。
在第1操作机构111包含有行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置和铲斗用操作装置。各操作装置具有接受转动操作的操作杆。为了使下部行驶体410动作而操作行驶用操作装置的操作杆(行驶杆)。行驶杆也可以兼作行驶踏板。例如，也可以设置有固定于行驶杆的基部或者下端部的行驶踏板。为了使构成回转机构430的液压式的回转电机动作而操作回转用操作装置的操作杆(回转杆)。为了使动臂油缸442动作而操作动臂用操作装置的操作杆(动臂杆)。为了使斗杆油缸444动作而操作斗杆用操作装置的操作杆(斗杆杆)。为了使铲斗油缸446动作而操作铲斗用操作装置的操作杆(铲斗杆)。
例如，如图3所示，构成第1操作机构111的各操作杆配置在用于供操作员就座的座椅1100的周围。座椅1100是带扶手的高靠背椅这样的方式，也可以是没有头枕的低靠背椅这样的方式、或者是没有靠背的椅子这样的方式等操作员能够就座的任意的方式。
在座椅1100的前方左右并排地配置有与左右的履带对应的左右一对的行驶杆110。一个操作杆可以兼作多种操作杆。例如，可以使在图3示出的设置于座椅1100的右侧框体的前方的右侧操作杆1111在沿前后方向操作的情况下作为动臂杆发挥作用，且在沿左右方向操作的情况下作为铲斗杆发挥作用。同样地，可以使在图3示出的设置于座椅1100的左侧框体的前方的左侧操作杆1112在沿前后方向操作的情况下作为斗杆杆发挥作用，且在沿左右方向操作的情况下作为回转杆发挥作用。可以根据操作员的操作指示任意地变更杆模式。
例如，如图3所示，第1图像输出装置121由分别配置于座椅1100的右斜前方、前方以及左斜前方的右斜前方图像输出装置1211、前方图像输出装置1212以及左斜前方图像输出装置1213构成。该图像输出装置1211～1213也可以进一步具备扬声器(语音输出装置)。
视线检测器112基于相对于就座于座椅1100的操作员的眼睛的基准点(不移动的部分)的动点(移动的部分)的位置，检测该操作员的视线。在确定“眼角”的位置作为基准点，且确定“虹膜”的位置作为动点的情况下，视线检测器112由一个或者多个可视光照相机构成。在确定“角膜反射”的位置作为基准点，且确定“瞳孔”的位置作为动点的情况下，视线检测器112由红外线LED以及红外线照相机的一组或者多组构成。除了检测操作员的眼睛的移动外，还可以检测操作员的头部的移动，并将视线检测器112的位置以及姿势变更至最适合捕捉操作员的视线的位置以及姿势。在该情况下，也可以切换为多个视线检测器112中的最适合捕捉操作员的视线的一个视线检测器112。
在由视线检测器112获取的拍摄图像中，确定与第1操作员的眼睛的基准点以及动点分别对应的像素区域。通过确定与该像素区域对应的实际空间位置，来确定表示实际空间中操作员的视线的矢量(起点位置以及终点位置)。为了确定眼睛的实际空间位置，也可以附加使用测距传感器。在表示实际空间中的图像输出装置1211～1213各自的显示图像坐标系的平面中，将与该矢量的交点确定为操作员的视线所朝向的显示图像中的关注区域的中心。
(第2远程操作装置的构成)
第2远程操作装置20具备第2客户控制装置200、第2输入接口210和第2输出接口220。第2客户控制装置200由运算处理装置(单核处理器或者多核处理器、或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据以及软件，并以该数据作为对象执行依照该软件的运算处理。第2输入接口210具备第2操作机构211。第2输出接口220具备第2图像输出装置221和第2无线通信机器222。
在第2远程操作装置20的详细的构成中，除了将视线检测器112省略、以及后述的第2客户控制装置200的功能外，其与第1远程操作装置10的构成几乎相同，因此省略说明(参照图3)。
(功能)
在第1远程操作装置10中，由第1操作员进行规定的操作(图4/步骤102)。规定的操作例如是构成第1输入接口110或者第1操作机构111的按钮或者操作杆的操作。相应地，利用第1客户控制装置100通过第1无线通信机器122从第1远程操作装置10对作业机械40发送操作开始指令(图4/步骤104)。
同样地，在第2远程操作装置20中，由第2操作员进行规定的操作(图4/步骤202)。规定的操作例如是构成第2输入接口210或者第2操作机构211的按钮或者操作杆的操作。相应地，利用第2客户控制装置200通过第2无线通信机器222从第2远程操作装置20对作业机械40发送操作开始指令(图4/步骤204)。
在作业机械40中，利用作业机械控制装置400通过无线通信机器402接收操作开始指令(图4/步骤402)。相应地，作业机械控制装置400向拍摄装置401输出指令，根据该指令由拍摄装置401获取拍摄图像(图4/步骤404)。利用作业机械控制装置400通过无线通信机器402对第1远程操作装置10以及第2远程操作装置20发送表示该拍摄图像的拍摄图像数据(图4/步骤406)。
在第1远程操作装置10中，利用第1客户控制装置100通过第1无线通信机器122接收拍摄图像数据(图4/步骤106)。利用第1客户控制装置100，将与拍摄图像数据对应的环境图像(拍摄图像本身的全部或者一部分、或者基于其生成的模拟的环境图像)显示于第1图像输出装置121(图4/步骤108)。同样地，在第2远程操作装置20中，利用第2客户控制装置200通过第2无线通信机器222接收拍摄图像数据(图4/步骤206)。利用第2客户控制装置200，将与拍摄图像数据对应的环境图像显示于第2图像输出装置221(图4/步骤208)。由此，例如，如图5所示，将包含作为工作机构的作业附件440的一部分即动臂441、斗杆443、铲斗445以及斗杆油缸444的环境图像分别显示于第1图像输出装置121以及第2图像输出装置221。
在第1远程操作装置10中，由第1操作员操作第1操作机构111(图4/步骤110)，相应地，利用第1客户控制装置100通过第1无线通信机器122对作业机械40发送与该操作方式对应的操作指令(图4/步骤112)。
在作业机械40中，利用作业机械控制装置400通过无线通信机器402接收操作指令(图4/步骤408)。相应地，利用作业机械控制装置400控制作业附件440等的动作(图4/步骤410)。例如执行以下作业：利用铲斗445铲起作业机械40的前方的土，使上部回转体420回转后使土从铲斗445中掉落。
在第1远程操作装置10中，利用视线检测器112检测第1操作员的视线(图4/步骤114)。由此，确定显示于第1图像输出装置121的环境图像中的该第1操作员的关注区域。利用第1客户控制装置100通过第1无线通信机器122对第2远程操作装置20发送与该视线检测结果对应的视线检测数据(图4/步骤116)。
在第2远程操作装置20中，利用第2客户控制装置200通过第2无线通信机器222接收视线检测数据(图4/步骤210)。利用第2客户控制装置200使由该视线检测数据确定的图像区域比其他的图像区域突出显示于第2图像输出装置221(图4/步骤212)。例如，在第1操作员的视线乃至环境图像的关注区域是相当于铲斗445的图像区域的情况下，该图像区域作为“指定图像区域”，以比周围的图像区域更显眼的方式突出显示。
如图6A所示，指针(pointer)等图形可以重叠显示于包含相当于铲斗445的图像区域的指定图像区域S。如图6B所示，也可以显示包围相当于铲斗445的指定图像区域S的圆图形等图形。如图6C所示，也可以使包含相当于铲斗445的图像区域的矩形状的指定图像区域S的画质高于其他的图像区域的画质。由此，可以用彩色图像显示指定图像区域S，另一方面以灰度图像显示其他的图像区域。此外，可以用高于其他的图像区域的分辨率显示指定图像区域S。如图6D所示，可以使包含相当于铲斗445的图像区域的矩形状的指定图像区域S的亮度高于其他的图像区域的亮度。
(效果)
根据该构成的远程操作系统，从使通过第2远程操作装置20操作作业机械40的第2操作员掌握第1操作员所关注的对象的观点出发，可以将显示于第2图像输出装置221的环境图像中相比于周围的图像区域突出显示的指定图像区域作为适宜的信息提供给该第2操作员，来作为通过第1远程操作装置10操作作业机械40的第1操作员进行的作业机械40的远程操作方式(参照图4/步骤212以及图6A～图6D)。第2操作员能够通过对显示于第2图像输出装置221的环境图像中的突出显示的指定图像区域的视觉辨认，了解由第1操作员所进行的操作杆的动作方法或者操作方式。
(本发明的另一实施方式)
在所述实施方式中，第1远程操作装置10、第2远程操作装置20以及作业机械40依照无线通信方式直接地相互通信，但作为另一实施方式，也可以经由图7所示的远程操作服务器30使第1远程操作装置10、第2远程操作装置20以及作业机械40间接地相互通信。
远程操作服务器30具备第1服务器运算处理元件31和第2服务器运算处理元件32。第1服务器运算处理元件31从第1远程操作装置10接收与在第1远程操作装置10中检测到的操作员的视线对应的视线检测数据。第2服务器运算处理元件32通过对第2远程操作装置20发送视线检测数据，使指定图像区域以不同于其周围的图像区域的方式显示于第2图像输出装置221(参照图6A～图6D)。
附图标记说明
10 第1远程操作装置
20 第2远程操作装置
30 远程操作服务器
31 第1服务器运算处理元件
32 第2服务器运算处理元件
40 作业机械
100 第1客户控制装置
110 第1输入接口
111 第1操作机构
112 视线检测器
120 第1输出接口
121 第1图像输出装置
122 第1无线通信机器
200 第2客户控制装置
210 第2输入接口
211 第2操作机构
220 第2输出接口
221 第2图像输出装置
222 第2无线通信机器
401 拍摄装置
402 无线通信机器
440 作业附件(工作机构)。

Claims (2)

1.一种远程操作系统，用于对具有工作机构的作业机械进行远程操作，其特征在于，具备：
拍摄装置，所述作业机械所具备的、用以对包含所述工作机构的至少一部分的环境进行拍摄；
第1图像输出装置以及第2图像输出装置，显示与由所述拍摄装置获取的拍摄图像数据对应的环境图像；
第1远程操作装置，具备所述第1图像输出装置；
视线检测器，检测操作所述第1远程操作装置的操作员的视线；
第2远程操作装置，具备所述第2图像输出装置，
基于由所述视线检测器检测的所述操作员的视线，确定显示于所述第1图像输出装置的所述环境图像中的所述操作员的关注区域，使显示于所述第2图像输出装置的所述环境图像中确定的所述关注区域以不同于其周围的图像区域的方式显示。
2.一种远程操作服务器，具有分别和作业机械、第1远程操作装置以及第2远程操作装置相互通信的功能，所述作业机械具有对包含工作机构的至少一部分的环境进行拍摄的拍摄装置，所述第1远程操作装置具备第1图像输出装置，所述第2远程操作装置具备第2图像输出装置，
其特征在于，
所述第1图像输出装置以及所述第2图像输出装置显示与由所述拍摄装置获取的拍摄图像数据对应的环境图像，
所述远程操作服务器具备第1服务器运算处理元件和第2服务器运算处理元件，
所述第1服务器运算处理元件从所述第1远程操作装置接收与在所述第1远程操作装置中检测到的操作员的视线对应的视线检测数据，
所述第2服务器运算处理元件通过对所述第2远程操作装置发送视线检测数据，使指定图像区域以不同于其周围的图像区域的方式显示于所述第2图像输出装置，
所述远程操作服务器基于与操作所述第1远程操作装置的操作员的视线对应的视线检测数据，确定显示于所述第1图像输出装置的所述环境图像中的所述操作员的关注区域，使显示于所述第2图像输出装置的所述环境图像中确定的所述关注区域以不同于其周围的图像区域的方式显示。
CN201980094507.9A 2019-03-26 2019-12-02 远程操作系统以及远程操作服务器 Active CN113615164B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019058104A JP7318258B2 (ja) 2019-03-26 2019-03-26 遠隔操作システムおよび遠隔操作サーバ
JP2019-058104 2019-03-26
PCT/JP2019/047061 WO2020194882A1 (ja) 2019-03-26 2019-12-02 遠隔操作システムおよび遠隔操作サーバ

Publications (2)

Publication Number Publication Date
CN113615164A CN113615164A (zh) 2021-11-05
CN113615164B true CN113615164B (zh) 2024-06-07

Family

ID=72608726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980094507.9A Active CN113615164B (zh) 2019-03-26 2019-12-02 远程操作系统以及远程操作服务器

Country Status (5)

Country Link
US (1) US11732440B2 (zh)
EP (1) EP3923569B1 (zh)
JP (1) JP7318258B2 (zh)
CN (1) CN113615164B (zh)
WO (1) WO2020194882A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7310338B2 (ja) * 2019-06-10 2023-07-19 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作サーバ
KR20220102765A (ko) * 2021-01-14 2022-07-21 현대두산인프라코어(주) 건설기계의 제어 시스템 및 방법
WO2023112217A1 (ja) * 2021-12-15 2023-06-22 日本電気株式会社 映像送信システム、映像送信装置、および映像送信方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106063258A (zh) * 2014-03-05 2016-10-26 株式会社电装 车辆周边图像显示装置、车辆周边图像显示方法
CN106531073A (zh) * 2017-01-03 2017-03-22 京东方科技集团股份有限公司 显示屏的处理电路、显示方法及显示器件
CN107111928A (zh) * 2014-11-17 2017-08-29 洋马株式会社 远程控制作业机用显示系统
CN107562184A (zh) * 2016-07-01 2018-01-09 Fove股份有限公司 影像显示系统、影像显示方法、影像显示程序
CN107921644A (zh) * 2015-08-25 2018-04-17 川崎重工业株式会社 远程操作机器人系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4884939A (en) * 1987-12-28 1989-12-05 Laser Alignment, Inc. Self-contained laser-activated depth sensor for excavator
JP3217723B2 (ja) * 1997-03-13 2001-10-15 ▲すすむ▼ 舘 遠隔通信システム及び遠隔通信方法
JP2008144378A (ja) * 2006-12-06 2008-06-26 Shin Caterpillar Mitsubishi Ltd 遠隔操縦作業機の制御装置
WO2010137165A1 (ja) * 2009-05-29 2010-12-02 新日本製鐵株式会社 技術管理装置及び技術管理方法
CL2012000933A1 (es) * 2011-04-14 2014-07-25 Harnischfeger Tech Inc Un metodo y una pala de cable para la generacion de un trayecto ideal, comprende: un motor de oscilacion, un motor de izaje, un motor de avance, un cucharon para excavar y vaciar materiales y, posicionar la pala por medio de la operacion del motor de izaje, el motor de avance y el motor de oscilacion y; un controlador que incluye un modulo generador de un trayecto ideal.
US20140170617A1 (en) * 2012-12-19 2014-06-19 Caterpillar Inc. Monitoring System for a Machine
US10503249B2 (en) * 2014-07-03 2019-12-10 Topcon Positioning Systems, Inc. Method and apparatus for construction machine visualization
JP2016076801A (ja) 2014-10-03 2016-05-12 ヤンマー株式会社 遠隔監視システム
WO2016158000A1 (ja) 2015-03-30 2016-10-06 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
WO2017042873A1 (ja) * 2015-09-08 2017-03-16 株式会社日立製作所 遠隔操作システムおよび操作支援システム
JP6271819B2 (ja) * 2015-09-10 2018-01-31 富士フイルム株式会社 投写型表示装置及び投写制御方法
AU2016402225B2 (en) * 2016-04-04 2022-02-10 Topcon Positioning Systems, Inc. Method and apparatus for augmented reality display on vehicle windscreen
DE102016011354A1 (de) * 2016-09-20 2018-03-22 Liebherr-Werk Biberach Gmbh Steuerstand für einen Kran, Bagger und dergleichen
DE102017205467A1 (de) * 2017-02-21 2018-08-23 Deere & Company Adaptives Lichtsystem eines geländegängigen Fahrzeugs
EP3363684B1 (de) * 2017-02-21 2021-12-08 Deere & Company Adaptives lichtsystem eines geländegängigen fahrzeugs
JP6581139B2 (ja) * 2017-03-31 2019-09-25 日立建機株式会社 作業機械の周囲監視装置
WO2018224160A1 (en) * 2017-06-09 2018-12-13 Volvo Construction Equipment Ab An information system for a working machine
EP3638857A1 (en) * 2017-06-13 2020-04-22 Volvo Construction Equipment AB A working machine provided with an image projection arrangement
DE102017116822A1 (de) * 2017-07-25 2019-01-31 Liebherr-Hydraulikbagger Gmbh Arbeitsmaschine mit Anzeigeeinrichtung
US11225777B2 (en) * 2018-03-14 2022-01-18 Hitachi Construction Machinery Co., Ltd. Work machine
US10829911B2 (en) * 2018-09-05 2020-11-10 Deere & Company Visual assistance and control system for a work machine

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106063258A (zh) * 2014-03-05 2016-10-26 株式会社电装 车辆周边图像显示装置、车辆周边图像显示方法
CN107111928A (zh) * 2014-11-17 2017-08-29 洋马株式会社 远程控制作业机用显示系统
CN107921644A (zh) * 2015-08-25 2018-04-17 川崎重工业株式会社 远程操作机器人系统
CN107562184A (zh) * 2016-07-01 2018-01-09 Fove股份有限公司 影像显示系统、影像显示方法、影像显示程序
CN106531073A (zh) * 2017-01-03 2017-03-22 京东方科技集团股份有限公司 显示屏的处理电路、显示方法及显示器件

Also Published As

Publication number Publication date
EP3923569A1 (en) 2021-12-15
EP3923569A4 (en) 2022-04-06
JP7318258B2 (ja) 2023-08-01
CN113615164A (zh) 2021-11-05
US11732440B2 (en) 2023-08-22
US20220186465A1 (en) 2022-06-16
EP3923569B1 (en) 2023-02-08
JP2020161933A (ja) 2020-10-01
WO2020194882A1 (ja) 2020-10-01

Similar Documents

Publication Publication Date Title
CN113615164B (zh) 远程操作系统以及远程操作服务器
JP7151392B2 (ja) 建設機械の遠隔操作装置
US20140111648A1 (en) Device For Monitoring Area Around Working Machine
JP2018152738A (ja) 表示システム、表示方法、及び遠隔操作システム
US20210025131A1 (en) Remote control system and main control device
US11993922B2 (en) Remote operation system
WO2021124654A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
CN113423543B (zh) 作业机械用显示系统
CN113424521A (zh) 作业机械用周边监视装置
US20230128501A1 (en) Remote operation assistance device and remote operation assistance method
US20220412049A1 (en) Work assisting server and method for selecting imaging device
JP7452038B2 (ja) 作業支援システム
CN115210434A (zh) 作业辅助服务器、作业辅助方法
WO2023026568A1 (ja) 遠隔操作システムおよび遠隔操作複合システム
WO2021106280A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
US12084835B2 (en) Remote operation device and remote operation system
CN118614057A (zh) 远程操作支援系统和远程操作支援方法
WO2021166475A1 (ja) 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
JP2023032997A (ja) 遠隔操作システム
JP7529605B2 (ja) 建設機械
JP2023032998A (ja) 作業支援システムおよび作業支援複合システム
CN118318080A (zh) 图像显示系统、远程操作支援系统及图像显示方法
CN117043732A (zh) 远程操作支援服务器及远程操作支援系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant