CN112884710A - 作业机械的辅助影像生成方法、远程操控方法及其装置 - Google Patents

作业机械的辅助影像生成方法、远程操控方法及其装置 Download PDF

Info

Publication number
CN112884710A
CN112884710A CN202110068336.1A CN202110068336A CN112884710A CN 112884710 A CN112884710 A CN 112884710A CN 202110068336 A CN202110068336 A CN 202110068336A CN 112884710 A CN112884710 A CN 112884710A
Authority
CN
China
Prior art keywords
image
working machine
environment
auxiliary image
attitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110068336.1A
Other languages
English (en)
Other versions
CN112884710B (zh
Inventor
李守明
妥思佳
王传宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sany Heavy Machinery Co Ltd
Original Assignee
Shanghai Sany Heavy Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sany Heavy Machinery Co Ltd filed Critical Shanghai Sany Heavy Machinery Co Ltd
Priority to CN202110068336.1A priority Critical patent/CN112884710B/zh
Publication of CN112884710A publication Critical patent/CN112884710A/zh
Application granted granted Critical
Publication of CN112884710B publication Critical patent/CN112884710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

本发明提供一种作业机械的辅助影像生成方法、远程操控方法及其装置，作业机械包括：用于采集第一环境图像的摄像头、可相对运动的多个执行机构和用于采集所述执行机构姿态特征的传感器，其中辅助影像生成方法包括：获取执行机构的姿态特征；获取摄像头采集的第一环境图像；基于姿态特征和第一环境图像，生成辅助影像，辅助影像用于表征作业机械所处的环境信息和自身的姿态信息。本发明基于姿态特征和第一环境图像，生成辅助影像，用于在同一图像上同时表征作业机械所处的环境信息和自身的姿态信息，可以在手动操作作业机械的场景下，准确辅助指导操作员操作作业机械，降低操作员的误判风险，且上传的视频路数少，可节省网络资源，提高影像质量。

Description

作业机械的辅助影像生成方法、远程操控方法及其装置
技术领域
本发明涉及作业机械技术领域，尤其涉及一种作业机械的辅助影像生成方法、远程操控方法及其装置。
背景技术
作业机械广泛应用于隧道施工、抢险救援等作业场景，随着5G通信的商用和普及，作业机械开始实现远程遥控功能，操作员通过观察作业机械现场作业的视频，以感知作业机械的作业状态，并根据作业状态远程操作作业机械作业。
在现有技术中，为了实现对作业机械的远程操作，通常都是在作业机械上安装多个摄像头采集作业现场的环境视频，上传回监控中心后，并基于摄像头的路数，在对应的显示屏上显示。该方法由于视频路数太多，故对网络的要求也相对更高，从而导致成本增加；且通过多屏展示导致画面零碎，也会对操作员带来干扰。为此，还有一些研究中，将乘用车上的360度全景影像技术用于作业机械的远程操作，但是在实际作业过程中，操作人员普遍反馈该方式极易误判。
发明内容
本发明提供一种作业机械的辅助影像生成方法、远程操控方法及其装置，用以解决现有技术中辅助影像使用不便的缺陷，以用较少流量实现便捷有效的辅助观察。
本发明提供一种作业机械的辅助影像生成方法，所述作业机械包括：用于采集第一环境图像的摄像头、可相对运动的多个执行机构和用于采集所述执行机构姿态特征的传感器，所述方法包括：
获取所述执行机构的姿态特征；
获取所述摄像头采集的第一环境图像；
基于所述姿态特征和所述第一环境图像，生成辅助影像，所述辅助影像用于表征所述作业机械所处的环境信息和自身的姿态信息。
根据本发明提供的一种作业机械的辅助影像生成方法，所述作业机械包括下机身，所述执行机构包括上机身，所述上机身可转动地安装于所述下机身，所述摄像头安装于所述上机身；
所述基于所述姿态特征和所述第一环境图像，生成辅助影像，包括：
以所述第一环境图像为参考系，将第一环境图像的旋转映射为姿态特征的旋转，生成所述辅助影像。
根据本发明提供的一种作业机械的辅助影像生成方法，所述基于所述姿态特征和所述第一环境图像，生成辅助影像，包括：
基于各个所述执行机构的所述姿态特征，确定所述作业机械的整机图像，所述整机图像用于表征所述作业机械的姿态；
基于所述整机图像和所述第一环境图像，生成辅助影像。
根据本发明提供的一种作业机械的辅助影像生成方法，所述作业机械为挖掘机，所述执行机构包括安装于所述作业机械的下机身的上机身、安装于所述上机身的动臂、安装于所述动臂的斗杆和安装于所述斗杆的铲斗；
所述基于各个执行机构的所述姿态特征，确定所述作业机械的整机图像，包括：
基于所述上机身的姿态特征，将所述上机身的图像和所述下机身的图像合成为第一图像；
基于所述动臂的姿态特征，将所述第一图像和所述动臂的图像合成为第二图像；
基于所述斗杆的姿态特征，将所述第二图像和所述斗杆的图像合成为第三图像；
基于所述铲斗的姿态特征，将所述第三图像和所述铲斗的图像合成为整机图像。根据本发明提供的一种作业机械的辅助影像生成方法，所述摄像头为多个，多个所述摄像头朝向不同的方向；
所述基于所述姿态特征和所述第一环境图像，生成辅助影像，包括：
对各个所述摄像头采集的所述图像信息，进行畸形矫正和图像拼接，生成第二环境图像；
基于所述姿态特征和所述第二环境图像，生成辅助影像。
根据本发明提供的一种作业机械的辅助影像生成方法，所述基于所述姿态特征和所述第一环境图像，生成辅助影像，包括：
基于各个所述执行机构的所述姿态特征，确定所述作业机械的整机图像，所述整体图像用于表征所述作业机械的姿态；
对各个所述摄像头采集的所述图像信息，进行畸形矫正和图像拼接，生成第二环境图像；
基于所述整机图像和所述第二环境图像，生成辅助影像。
根据本发明提供的一种作业机械的辅助影像生成方法，所述基于所述整机图像和所述第二环境图像，生成辅助影像，包括：
以所述第二环境图像为参考系，旋转所述整机图像，并将旋转后的所述整机图像与所述第二环境图像进行融合，生成辅助影像。
本发明还提供一种作业机械的远程操控方法，包括：
使用如上所述任一项所述的作业机械的辅助影像生成方法，生成辅助影像，并显示；
接收用户的第一输入；
响应于所述第一输入，输出用于控制所述作业机械的执行机构工作的控制指令。
本发明还提供一种作业机械的辅助影像生成装置，所述作业机械包括用于采集第一环境图像的摄像头、可相对运动的多个执行机构和用于采集所述执行机构姿态特征的传感器，所述装置包括：
特征获取模块，用于获取所述执行机构的姿态特征；
图像获取模块，用于获取所述摄像头采集的第一环境图像；
辅助影像生成模块，用于基于所述姿态特征和所述第一环境图像，生成辅助影像，所述辅助影像用于表征所述作业机械所处的环境信息和自身的姿态信息。
本发明还提供一种作业机械的远程操控装置，包括：
显示模块，用于显示使用如上所述任一项所述的作业机械的辅助影像生成方法生成的辅助影像；
接收模块，用于接收用户的第一输入；
输出模块，用于响应所述第一输入，输出用于控制所述作业机械的执行机构工作的控制指令。
本发明还提供一种作业机械，包括用于采集第一环境图像的摄像头、可相对运动的多个执行机构、用于采集所述执行机构姿态特征的传感器和如上所述的作业机械的辅助影像生成装置。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述作业机械的辅助影像生成方法的步骤或所述作业机械的远程操控方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述作业机械的辅助影像生成方法的步骤或所述作业机械的远程操控方法的步骤。
本发明提供的作业机械的辅助影像生成方法、远程操控方法及其装置，通过获取执行机构的姿态特征，以及摄像头采集的第一环境图像，基于姿态特征和第一环境图像，生成辅助影像，用于在同一图像上同时表征作业机械所处的环境信息和自身的姿态信息，可以在手动操作作业机械的场景下，准确辅助指导操作员操作作业机械，降低操作员的误判风险，且上传的视频路数少，可节省网络资源，提高影像质量。通过以所述第一环境图像为参考系，生成所述辅助影像，达到环境静止，作业机械旋转的效果，以优化显示效果，改善操作员观看时的不适度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的作业机械的辅助影像生成方法的流程示意图；
图2是本发明一个实施例提供的作业机械的远程操控方法的流程示意图；
图3是本发明一个实施例提供的作业机械的辅助影像生成装置的结构示意图；
图4是本发明一个实施例提供的作业机械的远程操控装置的结构示意图；
图5是本发明一个实施例提供的一种作业机械的结构示意图；
图6是本发明一个实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1描述本发明提供的作业机械的辅助影像生成方法。该辅助影像生成方法的执行主体可以为作业机械上的控制器，或者独立于作业机械的控制装置，或者与该作业机械通信连接的服务器，或者操作员的终端，终端可以为操作员的手机或电脑等。
该作业机械包括：摄像头、多个执行机构和传感器。
摄像头用于采集第一环境图像，多个执行机构可相对运动，比如相对转动或相对移动或相对滚动，传感器用于采集执行机构姿态特征。
对于转动连接的执行机构，传感器可以为转角传感器，对应地，姿态特征可以为角度信息；对于移动连接的执行机构，传感器可以为行程传感器，对应地，姿态特征可以为距离信息；对于滚动连接的执行机构，传感器可以为转速传感器或者行程传感器，对应地，姿态特征可以为转速或行程信息。
如图1所示，本发明实施例提供的作业机械的辅助影像生成方法包括：步骤110、步骤120和步骤130。
步骤110，获取执行机构的姿态特征；
在实际执行过程中，各相邻执行机构间或执行机构内部可以安装有传感器，如角度传感器或行程传感器，用于采集各执行机构转动的角度数据或位移数据，传感器与作业机械的信息处理模块电连接。
步骤120，获取摄像头采集的第一环境图像；
其中，第一环境图像可以包括特定方向的环境图像，比如对于需要特别关注的方向，安装对应的摄像头；或者第一环境图像可以包括作业机械的多个方向的环境图像；或者第一环境图像可以包括作业机械前后左右各方位的图像，相邻两张图像的部分图像特征相同，以确保第一环境图像涵盖所有环境特征。
步骤130，基于姿态特征和第一环境图像，生成辅助影像；
在得到姿态特征和第一环境图像后，可以基于这两类信息，确定出辅助影像，由此，该辅助影像不仅仅只表征了作业机械周围的环境图像，还在环境图像中融合了作业机械的图像，且该作业机械的图像与作业机械实时的姿态对应。
对于具有多个执行机构的作业机械来说，若这些可相对大幅度运动的执行机构的相对位置发生变化，对操作过程中的避障等安全因素影响较大。
相关技术中，一般未考虑到作业机构实施的姿态，仅以周围的环境图像作为操作的辅助影像，极易引发安全事故。
某些技术即使引入了作业机械的实施姿态，但是需要将作业机械的3D模型与环境信息的3D模型结合，实现虚拟控制或者全自动控制，这种方式实施成本极高。
根据本发明实施例的作业机械的辅助影像生成方法，通过获取执行机构的姿态特征，以及摄像头采集的第一环境图像，基于姿态特征和第一环境图像，生成辅助影像，用于在同一图像上同时表征作业机械所处的环境信息和自身的姿态信息，可以在手动操作作业机械的场景下，准确辅助指导操作员操作作业机械，降低操作员的误判风险，且上传的视频路数少，可节省网络资源，提高影像质量。
在一些实施例中，作业机械包括下机身，执行机构包括上机身，上机身可转动地安装于下机身，摄像头安装于上机身。
根据本发明的一些实施例，在步骤130中，基于姿态特征和第一环境图像，生成辅助影像，包括：以第一环境图像为参考系，生成辅助影像。
相关技术中，驾驶舱相对静止(比如乘用车的360全景影像)，而环境变化，该技术用于上机身会大幅度转动的作业机械时，会导致辅助影像随着上机身转动而大幅转动，极易引起操作员眩晕。
本发明实施例的辅助影像生成方法，将第一环境图像的旋转映射为姿态特征的旋转，达到环境静止，作业机械旋转的效果，以优化显示效果，改善操作员观看时的不适度。
在另一些实施例中，作业机械包括下机身，执行机构包括上机身，上机身可转动地安装于下机身，上机身上安装有第一摄像头，第一摄像头为一个或多个；下机身上安装有第二摄像头，第二摄像头为一个或多个。
在该实施例中，第一摄像头随上机身的转动而转动。
第一摄像头用于采集第一环境图像，第二摄像头用于采集静止环境图像。
以第一环境图像为参考系，将第一环境图像的旋转映射为姿态特征的旋转，并与静止环境图像拼接，同样可以达到环境静止，作业机械旋转的效果。
根据本发明的一些实施例，在步骤130中，基于姿态特征和第一环境图像，生成辅助影像，还包括步骤131和步骤132。
步骤131，基于各个执行机构的姿态特征，确定作业机械的整机图像，整机图像用于表征作业机械的姿态；
姿态特征可以表现为如下至少一种方式：
其一，对于转动连接的执行机构，传感器可以为转角传感器，对应地，姿态特征可以为角度信息。
其二，对于移动连接的执行机构，传感器可以为行程传感器，对应地，姿态特征可以为距离信息。
其三，对于滚动连接的执行机构，传感器可以为转速传感器或者行程传感器，对应地，姿态特征可以为转速或行程信息。
基于各个执行机构的姿态特征，确定作业机械的整机图像的实现方式包括但不限于：
其一，整机图像可以通过将静态图像进行合成。
在该实施例中，在作业机械的图形库中预存有各个执行机构独立的图像，这些图像可以为二维图像，也可以为三维图像，通过调取这些执行机构的图像，并基于获取的姿态特征，按姿态特征对应的参数拼接这些图像，即可得到整机图像。
以第一执行机构和第二执行机构转动连接为例，姿态特征为二者的转角，在确定该转角后，调取第一执行机构的图像与第二执行机构的图像，将二者的图像按照该转角拼接即可。
该处理方式简单，耗费的计算资源少，实施成本低。
其二，通过构建U3D模型，输入姿态特征，驱动程序运行自动生成整机图像。
在该实施例中，在可以预先设计U3D模型，在实际应用过程，将姿态特征输入到该U3D模型，可自动生成作业机械的整机图像。
该处理方式得到的整机图像整体质量高，更为逼真。
步骤132，基于整机图像和第一环境图像，生成辅助影像。
由于步骤131已经生成了可以表征作业机械姿态的整机图像，在该步骤中，仅需将整机图像和第一环境图像融合即可，图像之间直接融合的操作难度低，易于实现。
根据本发明的一些实施例，在步骤132中，可以以第一环境图像为坐标系，对整机图像进行旋转映射，生成得到辅助影像，用以表示作业机械的姿态信息及所处环境信息。
本发明实施例的辅助影像生成方法，将第一环境图像的旋转映射为姿态特征的旋转，达到环境静止，作业机械旋转的效果，以优化显示效果，改善操作员观看时的不适度。
在一些实施例中，作业机械为挖掘机，执行机构包括：下机身、上机身、动臂、斗杆和铲斗。
其中，下机身包括履带式、轮式或其他走行结构，用于带动上机身移动；上机身可转动地安装于下机身之上，可呈360°水平旋转，方便对各个方位进行作业；动臂可转动地安装于上机身，斗杆可转动地安装于动臂远离上机身的一端，铲斗可转动地安装于斗杆远离动臂的一端。
上机身内安装有控制上机身、动臂、斗杆或铲斗转动的控制器，在实际作业中，若要对后方现场进行作业，控制器接收操作指令，控制上机身水平转动180°，控制动臂上下转动，控制斗杆前后左右上下转动，控制铲斗前后转动，以对后方现场进行作业。
上机身周围安装有摄像头，用于采集周围环境图像；相邻执行机构的连接处，分别安装有用于采集转角信息的角度传感器，角度传感器与角度信息处理模块电连接。
基于各个执行机构的姿态特征，确定作业机械的整机图像，包括：
基于上机身的姿态特征，将上机身的图像和下机身的图像合成为第一图像；
基于动臂的姿态特征，将第一图像和动臂的图像合成为第二图像；
基于斗杆的姿态特征，将第二图像和所述斗杆的图像合成为第三图像；
基于铲斗的姿态特征，将第三图像和铲斗的图像合成为整机图像。
在得到挖掘机的整机图像之后，将该整机图像与第一环境图像融合，可以生成辅助影像，融合方法可以为：
以第一环境图像为坐标系，对挖掘机的整机图像进行旋转映射，生成得到辅助影像，用以表示作业机械的姿态信息及所处环境信息。在一些实施例中，该挖掘机的辅助影像生成方法如下所述。
基于上机身与下机身之间的第一角度传感器所采集的第一姿态特征，将上机身的图像和下机身的图像合成为第一图像。第一图像用于表示上机身和下机身二者间的动态图像，第一姿态特征呈俯视顺时针或逆时针360°输出。
基于动臂与上机身之间的第二角度传感器所采集的第二姿态特征，将第一图像和动臂的图像合成为第二图像。第二图像用于表示下机身、上机身和动臂三者间的动态图像。
基于斗杆与动臂之间的第三角度传感器所采集的第三姿态特征，将第二图像和斗杆的图像合成为第三图像。第三图像用于表示下机身、上机身、动臂和斗杆四者间的动态图像。
基于铲斗与斗杆之间的第四角度传感器所采集的姿态特征，将第三图像和铲斗的图像合成为整机图像。整机图像用于表示下机身、上机身、动臂、斗杆和铲斗五者间的动态图像。该动态图像可以为二维效果或三维效果。
以第一环境图像为坐标系，对整机图像进行旋转映射，以确保环境保持静止，生成得到用于表征挖掘机所处的环境信息和自身的姿态信息的辅助影像。
根据本发明实施例提供的作业机械的辅助影像生成方法，通过基于姿态特征和第一环境图像生成辅助影像，用于在同一图像上同时表征挖掘机所处的环境信息和自身的姿态信息，显著减少挖掘机视频路数，细化显示特征。通过将第一环境图像的旋转映射为姿态特征的旋转，以达到环境静止，作业机械旋转的效果，优化图像效果，显著降低操作员的误判风险。
在另一些实施例中，作业机械为挖掘机，执行机构包括安装于作业机械的下机身的上机身、安装于上机身的动臂、安装于动臂的斗杆和安装于斗杆的铲斗。动臂油缸、斗杆油缸和铲斗油缸中分别装有行程传感器，用于采集各执行机构的行程数据，通过几何算法将行程数据转化为各执行机构间的姿态特征，同样可以确定挖掘机的整机图像。
在又一些实施例中，作业机械为挖掘机，通过U3D设计一段管控挖掘机姿态动态变化的游戏程序，通过输入下机身、上机身、动臂、斗杆和铲斗的姿态特征参数，驱动程序运行实施展示姿态效果，同样可以得到表示挖掘机整体姿态特征的整机图像。
在一些实施例中，摄像头为多个，多个摄像头朝向不同的方向，用以采集不同方向的环境信息，得到包含不同环境图像特征的多个环境图像。
当作业机械为挖掘机时，由于挖掘机上机身可呈360°旋转，所以摄像头可为4个，分别设置于上机身前后左右四个方位，用以生成360°全景图像。
当作业机械为塔吊时，由于大部分塔吊无需转动360°，所以摄像头可为2个或者3个，用于采集限定角度范围内的环境信息即可。
根据本发明的一些实施例，在步骤130中，基于姿态特征和第一环境图像，生成辅助影像，还包括：对各个摄像头采集的图像信息，进行畸形矫正和图像拼接；
在该步骤中，通过删除重复图像特征，保留至少一个相邻图像间相同的图像特征，以生成第二环境图像，第二环境图像能够将所有环境图像特征集成于一张图像上，方便观看。
基于姿态特征和第二环境图像，生成辅助影像。
在该步骤中，由于姿态特征可以表征作业机械作业时的实时姿态，通过基于姿态特征和第二环境图像，确定出辅助影像，由此，该辅助影像不仅仅只表征了作业机械周围的环境图像，还在环境图像中融合了作业机械的姿态特征。
根据本发明实施例的作业机械的辅助影像生成方法，通过对第一环境图像进行畸形矫正和图像拼接，得到第二环境图像，基于姿态特征和第二环境图像，生成辅助影像，用于在同一图像上同时表征作业机械所处的环境信息和自身的姿态信息，可以在手动操作作业机械的场景下，准确辅助指导操作员操作作业机械，降低操作员的误判风险，且上传的视频路数少，可节省网络资源，提高影像质量。
下面结合图2描述本发明提供的作业机械的远程操控方法。
该作业机械的远程操控方法的执行主体可以为与该作业机械通信连接的服务器，或者操作员的终端，终端可以为操作员的手机或电脑等。
图2提供了一种作业机械的远程操控方法的流程示意图，如图2所示，包括步骤210、步骤220和步骤230。
步骤210，使用如上述任一项的作业机械的辅助影像生成方法，生成辅助影像，并显示；
其中，可先将辅助影像转化为数字信号，通过网络系统传输至操作员所在的控制中心，进行远程播放显示。
步骤220，接收用户的第一输入；
在该步骤中，第一输入可以表现为如下至少一种方式：
其一，第一输入可以表现为实体手柄输入。
比如对于挖掘机，每个执行机构本身就设有用于进行转动控制的手柄，推或拉手柄，可以分别实现各执行机构的转动。
其二，第一输入可以表现为屏幕触控输入，包括但不限于点击输入、滑动输入和按压输入等。
在该实施例方式中，接收用户的第一输入，可以表现为，接收用户在终端显示屏的显示区域的第一输入。
为了降低用户误操作率，可以将第一输入的作用区域限定在特定的区域内，比如终端显示屏的显示区域的下部中间区域；或者在界面显示目标控件，触控目标控件即可实现第二输入。
其三，第一输入可以表现为语音输入。
在该实施例中，终端可以在接收到语音如“上机身顺时针旋转90°”时，向控制器发送控制指令信息。
其四，第一输入可以表现为文本输入。
在该实施例中，接收用户的第一输入，可以表现为，接收用户在终端显示屏的显示区域输入的文本信息，终端再经过语义分析即可。
当然，在其他实施例中，第一输入也可以表现为其他形式，包括但不限于实体按键输入等，可根据实际需要决定，本发明实施例对此不作限定。
步骤230，响应于第一输入，输出用于控制作业机械的执行机构工作的控制指令。
在该步骤中，控制指令用于分别控制各执行机构的独立转动。控制器对接收到的第一输入进行信息分析，根据分析结果生成控制指令，将控制指令分别发送至对应执行机构的控制单元，以控制各执行机构独立转动。
比如对于挖掘机，若要对后方现指定位置进行挖土作业，控制器根据输入信息生成多个控制指令，分别将控制指令输出至上机身、动臂、斗杆和铲斗对应的控制单元，各控制单元根据指令分别控制上机身水平转动180°，以使机身驾驶室朝向后方；控制动臂前后上下转动，控制斗杆前后左右上下转动，以使铲斗到达指定位置，然后控制铲斗前后转动，对指定位置区域进行挖土作业。
根据本发明的一些实施例，在步骤210中，作业机械为挖掘机，通过使用如上述任一项的作业机械的辅助影像生成方法，生成辅助影像，并转化为高清数字视频，通过wifi或5G网络进行传输，在远程进行视频播放显示。
根据本发明实施例提供的作业机械的远程操控方法，通过将辅助影像转化为数字信号进行远程输出，使操作人员不必处于作业现场，便可对作业机械进行远程控制，有效提高作业效率，保障操作人员的人身安全。
下面对本发明提供的作业机械的辅助影像生成装置进行描述，下文描述的作业机械的辅助影像生成装置与上文描述的作业机械的辅助影像生成方法可相互对应参照。
图3提供了一种作业机械的辅助影像生成装置的结构示意图，如图3所示，包括：特征获取模块310、图像获取模块320和辅助影像生成模块330。
特征获取模块310，用于获取执行机构的姿态特征；
图像获取模块320，用于获取摄像头采集的第一环境图像；
辅助影像生成模块330，用于基于姿态特征和第一环境图像，生成辅助影像，辅助影像用于表征作业机械所处的环境信息和自身的姿态信息。
在一些实施例中，作业机械包括下机身，执行机构包括上机身，上机身可转动地安装于下机身，摄像头安装于上机身。辅助影像生成模块330，用于以第一环境图像为参考系，生成辅助影像。
在一些实施例中，辅助影像生成模块330，还用于基于各个执行机构的姿态特征，确定作业机械的整机图像，整机图像用于表征作业机械的姿态；基于整机图像和第一环境图像，生成辅助影像。
在一些实施例中，作业机械为挖掘机，执行机构包括：下机身、上机身、动臂、斗杆和铲斗。
下机身包括履带式、轮式或其他走行结构，用于带动上机身移动；上机身可转动地安装于下机身之上，可呈360°水平旋转，方便对各个方位进行作业；动臂可转动地安装于上机身，斗杆可转动地安装于动臂远离上机身的一端，铲斗可转动地安装于斗杆远离动臂的一端。
上机身内安装有控制上机身、动臂、斗杆或铲斗转动的控制器，在实际作业中，若要对后方现场进行作业，控制器接收操作指令，控制上机身水平转动180°，传动机构带动斗杆上下转动，带动铲斗前后转动，以对后方现场进行作业。
上机身周围安装有摄像头，用于采集周围环境图像；相邻执行机构的连接处，分别安装有用于采集转角信息的角度传感器，角度传感器与角度信息处理模块电连接。
在一些实施例中，辅助影像生成模块330，还用于基于各个执行机构的姿态特征，确定作业机械的整机图像，包括：
基于上机身的姿态特征，将上机身的图像和下机身的图像合成为第一图像；
基于动臂的姿态特征，将第一图像和动臂的图像合成为第二图像；
基于斗杆的姿态特征，将第二图像和斗杆的图像合成为第三图像；
基于铲斗的姿态特征，将第三图像和铲斗的图像合成为整机图像。
在一些实施例中，摄像头为多个，多个摄像头朝向不同的方向。辅助影像生成模块330，还用于对各个摄像头采集的图像信息，进行畸形矫正和图像拼接，生成第二环境图像；基于姿态特征和第二环境图像，生成辅助影像。
根据本发明实施例的作业机械的辅助影像生成装置，通过特征获取模块310获取执行机构的姿态特征，通过图像获取模块320获取摄像头采集的第一环境图像，通过辅助影像生成模块330，基于姿态特征和第一环境图像，生成辅助影像，用于在同一图像上同时表征作业机械所处的环境信息和自身的姿态信息，可以在手动操作作业机械的场景下，准确辅助指导操作员操作作业机械，降低操作员的误判风险，且上传的视频路数少，可节省网络资源，提高影像质量。
下面对本发明提供的作业机械的远程操控装置进行描述，下文描述的作业机械的远程操控装置与上文描述的作业机械的远程操控方法可相互对应参照。
图4提供了一种作业机械的远程操控装置的结构示意图，如图4所示，包括：显示模块410、接收模块420和输出模块430。
显示模块410，用于显示使用如上任一项的作业机械的辅助影像生成方法生成的辅助影像；
接收模块420，用于接收用户的第一输入；
输出模块430，用于响应第一输入，输出用于控制作业机械的执行机构工作的控制指令。
根据本发明实施例提供的作业机械的远程操控装置，通过将辅助影像转化为数字信号进行远程输出，使操作人员不必处于作业现场，便可对作业机械进行远程控制，有效提高作业效率，保障操作人员的人身安全。
下面结合图5对本发明提供的一种作业机械进行描述。
作业机械包括：用于采集第一环境图像的摄像头、可相对运动的多个执行机构、用于采集执行机构姿态特征的传感器和上述作业机械的辅助影像生成装置。
图5提供了一种作业机械的结构示意图，如图5所示，在一些实施例中，作业机械为挖掘机，执行机构包括：下机身531、上机身532、动臂533、斗杆534和铲斗535；各相邻执行机构间设置有用于采集姿态特征的传感器。
下机身531包括履带式、轮式或其他走行结构，用于带动上机身532移动；上机身532可转动地安装于下机身531之上，可呈360°水平旋转，方便对各个方位进行作业；动臂533可转动地安装于上机身532，斗杆534可转动地安装于动臂533远离上机身532的一端，铲斗535可转动地安装于斗杆534远离动臂533的一端。
下机身531与上机身532连接处设置有第一传感器511，上机身532与动臂533连接处设置有第二传感器512，动臂533与斗杆534连接处设置有第三传感器513，斗杆534与铲斗535连接处设置有第四传感器514。
根据本发明实施例提供的一种作业机械，通过在作业机械内加装传感器和作业机械的辅助影像生成装置，可以实时获取作业机械的姿态特征，以及摄像头采集的第一环境图像，基于姿态特征和第一环境图像，生成辅助影像，用于在同一图像上同时表征作业机械所处的环境信息和自身的姿态信息，可以在手动操作作业机械的场景下，准确辅助指导操作员操作作业机械，降低操作员的误判风险，且上传的视频路数少，可节省网络资源，提高影像质量。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行作业机械的辅助影像生成方法，作业机械包括：用于采集第一环境图像的摄像头、可相对运动的多个执行机构和用于采集所述执行机构姿态特征的传感器，该方法包括：获取执行机构的姿态特征；获取摄像头采集的第一环境图像；基于姿态特征和第一环境图像，生成辅助影像，辅助影像用于表征作业机械所处的环境信息和自身的姿态信息；或者可以执行作业机械的远程操控方法，该方法包括：使用如上所述的作业机械的辅助影像生成方法，生成辅助影像，并显示；接收用户的第一输入；响应于所述第一输入，输出用于控制所述作业机械的执行机构工作的控制指令。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的作业机械的辅助影像生成方法，作业机械包括：用于采集第一环境图像的摄像头、可相对运动的多个执行机构和用于采集所述执行机构姿态特征的传感器，该方法包括：获取执行机构的姿态特征；获取摄像头采集的第一环境图像；基于姿态特征和第一环境图像，生成辅助影像，辅助影像用于表征作业机械所处的环境信息和自身的姿态信息；或者可以执行作业机械的远程操控方法，该方法包括：使用如上所述的作业机械的辅助影像生成方法，生成辅助影像，并显示；接收用户的第一输入；响应于所述第一输入，输出用于控制所述作业机械的执行机构工作的控制指令。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的作业机械的辅助影像生成方法，作业机械包括：用于采集第一环境图像的摄像头、可相对运动的多个执行机构和用于采集所述执行机构姿态特征的传感器，该方法包括：获取执行机构的姿态特征；获取摄像头采集的第一环境图像；基于姿态特征和第一环境图像，生成辅助影像，辅助影像用于表征作业机械所处的环境信息和自身的姿态信息；或者可以执行作业机械的远程操控方法，该方法包括：使用如上所述的作业机械的辅助影像生成方法，生成辅助影像，并显示；接收用户的第一输入；响应于所述第一输入，输出用于控制所述作业机械的执行机构工作的控制指令。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种作业机械的辅助影像生成方法，其特征在于，所述作业机械包括用于采集第一环境图像的摄像头、可相对运动的多个执行机构和用于采集所述执行机构姿态特征的传感器，所述方法包括：
获取所述执行机构的姿态特征；
获取所述摄像头采集的第一环境图像；
基于所述姿态特征和所述第一环境图像，生成辅助影像，所述辅助影像用于表征所述作业机械所处的环境信息和自身的姿态信息。
2.根据权利要求1所述的作业机械的辅助影像生成方法，其特征在于，所述基于所述姿态特征和所述第一环境图像，生成辅助影像，包括：
以所述第一环境图像为参考系，将第一环境图像的旋转映射为姿态特征的旋转，生成所述辅助影像。
3.根据权利要求1或2所述的作业机械的辅助影像生成方法，其特征在于，所述基于所述姿态特征和所述第一环境图像，生成辅助影像，包括：
基于各个所述执行机构的所述姿态特征，确定所述作业机械的整机图像，所述整机图像用于表征所述作业机械的姿态；
基于所述整机图像和所述第一环境图像，生成辅助影像。
4.根据权利要求3所述的作业机械的辅助影像生成方法，其特征在于，所述作业机械为挖掘机，所述执行机构包括安装于所述作业机械的下机身的上机身、安装于所述上机身的动臂、安装于所述动臂的斗杆和安装于所述斗杆的铲斗；
所述基于各个所述执行机构的所述姿态特征，确定所述作业机械的整机图像，包括：
基于所述上机身的姿态特征，将所述上机身的图像和所述下机身的图像合成为第一图像；
基于所述动臂的姿态特征，将所述第一图像和所述动臂的图像合成为第二图像；
基于所述斗杆的姿态特征，将所述第二图像和所述斗杆的图像合成为第三图像；
基于所述铲斗的姿态特征，将所述第三图像和所述铲斗的图像合成为整机图像。
5.根据权利要求1或2所述的作业机械的辅助影像生成方法，其特征在于，所述摄像头为多个，多个所述摄像头朝向不同的方向；
所述基于所述姿态特征和所述第一环境图像，生成辅助影像，包括：
对各个所述摄像头采集的所述图像信息，进行畸形矫正和图像拼接，生成第二环境图像；
基于所述姿态特征和所述第二环境图像，生成辅助影像。
6.一种作业机械的远程操控方法，其特征在于，包括：
使用如权利要求1至5中任一项所述的作业机械的辅助影像生成方法，生成辅助影像，并显示；
接收用户的第一输入；
响应于所述第一输入，输出用于控制所述作业机械的执行机构工作的控制指令。
7.一种作业机械的辅助影像生成装置，其特征在于，所述作业机械包括用于采集第一环境图像的摄像头、可相对运动的多个执行机构和用于采集所述执行机构姿态特征的传感器，所述装置包括：
特征获取模块，用于获取所述执行机构的姿态特征；
图像获取模块，用于获取所述摄像头采集的第一环境图像；
辅助影像生成模块，用于基于所述姿态特征和所述第一环境图像，生成辅助影像，所述辅助影像用于表征所述作业机械所处的环境信息和自身的姿态信息。
8.一种作业机械的远程操控装置，其特征在于，包括：
显示模块，用于显示使用如权利要求1至5中任一项所述的作业机械的辅助影像生成方法生成的辅助影像；
接收模块，用于接收用户的第一输入；
输出模块，用于响应所述第一输入，输出用于控制所述作业机械的执行机构工作的控制指令。
9.一种作业机械，其特征在于，包括用于采集第一环境图像的摄像头、可相对运动的多个执行机构、用于采集所述执行机构姿态特征的传感器和如权利要求7所述的作业机械的辅助影像生成装置。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述作业机械的辅助影像生成方法或如权利要求6所述的作业机械的远程操控方法的步骤。
11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述作业机械的辅助影像生成方法或如权利要求6所述的作业机械的远程操控方法的步骤。
CN202110068336.1A 2021-01-19 2021-01-19 作业机械的辅助影像生成方法、远程操控方法及其装置 Active CN112884710B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110068336.1A CN112884710B (zh) 2021-01-19 2021-01-19 作业机械的辅助影像生成方法、远程操控方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110068336.1A CN112884710B (zh) 2021-01-19 2021-01-19 作业机械的辅助影像生成方法、远程操控方法及其装置

Publications (2)

Publication Number Publication Date
CN112884710A true CN112884710A (zh) 2021-06-01
CN112884710B CN112884710B (zh) 2024-09-06

Family

ID=76049634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110068336.1A Active CN112884710B (zh) 2021-01-19 2021-01-19 作业机械的辅助影像生成方法、远程操控方法及其装置

Country Status (1)

Country Link
CN (1) CN112884710B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113593078A (zh) * 2021-07-28 2021-11-02 三一汽车起重机械有限公司 作业机械的辅助图像显示方法、装置及系统
CN114785911A (zh) * 2022-01-26 2022-07-22 洛阳中重自动化工程有限责任公司 一种磨机衬板更换机械手机载辅助影像系统及其使用方法
CN114866747A (zh) * 2022-07-07 2022-08-05 国网瑞嘉(天津)智能机器人有限公司 高空作业装置及作业图像的处理方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008144379A (ja) * 2006-12-06 2008-06-26 Shin Caterpillar Mitsubishi Ltd 遠隔操縦作業機の画像処理システム
JP2008248613A (ja) * 2007-03-30 2008-10-16 Hitachi Constr Mach Co Ltd 作業機械周辺監視装置
CN101312526A (zh) * 2008-06-26 2008-11-26 天津市亚安科技电子有限公司 全景联动视频监控装置及其全景图像的拼接方法
KR20130097913A (ko) * 2012-02-27 2013-09-04 주식회사 경우시스테크 파노라마 영상이 제공되는 안전 시스템을 구비한 굴삭기
CN205485417U (zh) * 2016-04-05 2016-08-17 山推工程机械股份有限公司 一种工程机械远程控制系统
US20160301863A1 (en) * 2015-04-10 2016-10-13 Caterpillar Inc. Image processing system for generating a surround-view image
WO2017042873A1 (ja) * 2015-09-08 2017-03-16 株式会社日立製作所 遠隔操作システムおよび操作支援システム
KR101787897B1 (ko) * 2016-05-31 2017-10-19 인하대학교 산학협력단 Ａｖｍ 기반의 굴삭기 작업 정보 모니터링 장치 및 그 방법
WO2018124098A1 (ja) * 2016-12-27 2018-07-05 株式会社タダノ 遠隔操作端末及び遠隔操作システム
JP2020002718A (ja) * 2018-06-29 2020-01-09 株式会社小松製作所 表示制御装置、および表示制御方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008144379A (ja) * 2006-12-06 2008-06-26 Shin Caterpillar Mitsubishi Ltd 遠隔操縦作業機の画像処理システム
JP2008248613A (ja) * 2007-03-30 2008-10-16 Hitachi Constr Mach Co Ltd 作業機械周辺監視装置
CN101312526A (zh) * 2008-06-26 2008-11-26 天津市亚安科技电子有限公司 全景联动视频监控装置及其全景图像的拼接方法
KR20130097913A (ko) * 2012-02-27 2013-09-04 주식회사 경우시스테크 파노라마 영상이 제공되는 안전 시스템을 구비한 굴삭기
US20160301863A1 (en) * 2015-04-10 2016-10-13 Caterpillar Inc. Image processing system for generating a surround-view image
WO2017042873A1 (ja) * 2015-09-08 2017-03-16 株式会社日立製作所 遠隔操作システムおよび操作支援システム
CN205485417U (zh) * 2016-04-05 2016-08-17 山推工程机械股份有限公司 一种工程机械远程控制系统
KR101787897B1 (ko) * 2016-05-31 2017-10-19 인하대학교 산학협력단 Ａｖｍ 기반의 굴삭기 작업 정보 모니터링 장치 및 그 방법
WO2018124098A1 (ja) * 2016-12-27 2018-07-05 株式会社タダノ 遠隔操作端末及び遠隔操作システム
JP2020002718A (ja) * 2018-06-29 2020-01-09 株式会社小松製作所 表示制御装置、および表示制御方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113593078A (zh) * 2021-07-28 2021-11-02 三一汽车起重机械有限公司 作业机械的辅助图像显示方法、装置及系统
CN114785911A (zh) * 2022-01-26 2022-07-22 洛阳中重自动化工程有限责任公司 一种磨机衬板更换机械手机载辅助影像系统及其使用方法
CN114866747A (zh) * 2022-07-07 2022-08-05 国网瑞嘉(天津)智能机器人有限公司 高空作业装置及作业图像的处理方法

Also Published As

Publication number Publication date
CN112884710B (zh) 2024-09-06

Similar Documents

Publication Publication Date Title
CN112884710B (zh) 作业机械的辅助影像生成方法、远程操控方法及其装置
RU2741456C2 (ru) Устройство дистанционного управления для крана, строительной машины и/или автопогрузчика
US8989876B2 (en) Situational awareness for teleoperation of a remote vehicle
JP6807781B2 (ja) 表示システム、表示方法、及び遠隔操作システム
WO2016158265A1 (ja) 作業機械
CA3016539A1 (en) Image processing method, display device, and inspection system
CA3054631A1 (en) Display system, display method, and remote control system
US20160301863A1 (en) Image processing system for generating a surround-view image
US20160301864A1 (en) Imaging processing system for generating a surround-view image
US10721397B2 (en) Image processing system using predefined stitching configurations
EP4050892A1 (en) Work assist server, work assist method, and work assist system
CN110555913B (zh) 一种基于工业人机界面的虚拟成像方法及装置
CN114327076B (zh) 作业机械与作业环境的虚拟交互方法、装置及系统
JP7099358B2 (ja) 作業機械用表示システム
US20220113720A1 (en) System and method to facilitate remote and accurate maneuvering of unmanned aerial vehicle under communication latency
WO2020194882A1 (ja) 遠隔操作システムおよび遠隔操作サーバ
CN115626115A (zh) 作业车辆显示系统和方法
JP2020161934A (ja) 遠隔操作システム
EP3408210B1 (de) Fernsteuer-einrichtung für kran, baumaschine und/oder flurförderzeug
JP6256874B2 (ja) 建設機械用俯瞰画像表示装置
CN116016613A (zh) 一种远程控制挖掘机的方法、系统、装置及电子设备
US11939744B2 (en) Display system, remote operation system, and display method
WO2023136070A1 (ja) 遠隔操作支援システムおよび遠隔操作支援方法
CN212385479U (zh) 移动机械臂远程控制系统
WO2023140372A1 (ja) 画像補正装置、画像補正方法、および遠隔操作システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant