CN112982541A - 工程机械设备及其安全控制方法和系统、存储介质 - Google Patents

工程机械设备及其安全控制方法和系统、存储介质 Download PDF

Info

Publication number
CN112982541A
CN112982541A CN202110274802.1A CN202110274802A CN112982541A CN 112982541 A CN112982541 A CN 112982541A CN 202110274802 A CN202110274802 A CN 202110274802A CN 112982541 A CN112982541 A CN 112982541A
Authority
CN
China
Prior art keywords
range
working area
mechanical equipment
safe
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110274802.1A
Other languages
English (en)
Inventor
张良俊
王励扬
赵金鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of CN112982541A publication Critical patent/CN112982541A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2033—Limiting the movement of frames or implements, e.g. to avoid collision between implements and the cabin
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

本申请公开了工程机械设备及其安全控制方法和系统、存储介质，涉及人工智能、自动控制和工程机械技术领域。具体实现方案为：获取工作区域的空间传感数据；基于空间传感数据进行障碍物检测，确定工作区域内的障碍物的位置；根据工作区域内的障碍物的位置确定工程机械设备的机械结构部件的安全工作范围；基于安全工作范围对工程机械设备的机械结构部件的作业范围进行控制。

Description

工程机械设备及其安全控制方法和系统、存储介质
技术领域
本公开涉及计算机技术领域，具体涉及人工智能、自动控制和工程机械技术，尤其涉及工程机械设备及其安全控制方法和系统、存储介质。
背景技术
工程机械设备的智能化可以提高工程作业效率，节约人力成本，减少人员暴露在有害环境中的危险。
在工程机械设备的智能化运行过程中，配套相关的安全手段是极其必要的。目前工程机械设备的智能化技术尚未成熟，相关的安全手段也有待完善。
发明内容
本公开提供了工程机械设备及其安全控制方法和系统、存储介质。
根据本公开的一方面，提供了一种工程机械设备的安全控制方法，包括：获取工作区域的空间传感数据；基于空间传感数据进行障碍物检测，确定工作区域内的障碍物的位置；根据工作区域内的障碍物的位置确定工程机械设备的机械结构部件的安全工作范围；基于安全工作范围对工程机械设备的机械结构部件的作业范围进行控制。
根据本公开的第二方面，提供了一种工程机械设备的安全控制系统，包括：至少一个处理器，以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行：获取工作区域的空间传感数据；基于空间传感数据进行障碍物检测，确定工作区域内的障碍物的位置；根据工作区域内的障碍物的位置确定工程机械设备的机械结构部件的安全工作范围；基于安全工作范围对工程机械设备的机械结构部件的作业范围进行控制。
根据本公开的第三方面，提供了一种工程机械设备，包括：机械结构部件以及安全控制系统；其中，安全控制系统包括：至少一个处理器以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行：获取工作区域的空间传感数据；基于空间传感数据进行障碍物检测，确定工作区域内的障碍物的位置；根据工作区域内的障碍物的位置确定工程机械设备的机械结构部件的安全工作范围；基于安全工作范围对工程机械设备的机械结构部件的作业范围进行控制。
根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行：获取工作区域的空间传感数据；基于空间传感数据进行障碍物检测，确定工作区域内的障碍物的位置；根据工作区域内的障碍物的位置确定工程机械设备的机械结构部件的安全工作范围；基于安全工作范围对工程机械设备的机械结构部件的作业范围进行控制。
根据本公开的第五方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现上述方法。
根据本申请的技术实现了工程机械设备的有效安全控制。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请的工程机械设备的安全控制方法的一个实施例的流程示意图；
图2是工程机械设备的空间传感器在工作区域内的传感范围的示意图；
图3是机械结构部件的作业范围划分示意图；
图4是工程机械设备的运动学模型示意图；
图5是根据本申请的工程机械设备的安全控制方法的另一个实施例的流程示意图；
图6是图5所示的工程机械设备的安全控制方法的一个实施例的应用场景示意图；
图7是根据本申请的工程机械设备的安全控制方法的又一个实施例的流程示意图；
图8是根据本申请的工程机械设备的安全控制装置的一个实施例的框图；
图9是根据本申请的工程机械设备的安全控制系统的一个实施例的框图；
图10是根据本申请的工程机械设备的一个实施例的示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请提供的工程机械设备的安全控制方法可以应用于工程机械设备上安装的数据处理模块，或者可以应用于远程服务端，由远程服务端通过与工程机械设备建立的通信连接来远程控制工程机械设备。
在这里，工程机械设备是工程实践中使用的重型或轻型机械设备，可以包括但不限于：凡土石方施工工程、路面建设与养护、流动式起重装卸作业和各种建筑工程中使用的机械设备，如挖掘机、推土机、起重机、压路机、打桩机、混凝土搅拌机，等等。
请参考图1，其示出了本申请的工程机械设备的安全控制方法的一个实施例的流程示意图。如图1所示，本实施例的工程机械设备的安全控制方法的流程100，包括以下步骤：
步骤101，获取工作区域的空间传感数据。
在本实施例中，工程机械设备的安全控制方法的执行主体可以通过各种方式获取工程机械设备的工作区域的空间传感数据。空间传感数据是通过传感器对空间的二维和/或三维信息进行采集获得的传感数据，可以包括以下至少一项：二维图像传感器采集的二维图像或二维视频数据、深度图像传感器采集的三维图像或三维视频数据、激光雷达采集的三维点云数据。
上述执行主体可以通过与用于探测工作区域内的空间信息的空间传感器建立的连接来获得上述空间传感数据，或者通过向上述用于探测工作区域内的空间信息的空间传感器的临时或永久的存储介质发出数据读取请求，来获得上述空间传感数据。
在这里，用于探测工作区域内的空间信息的空间传感器可以设置于工作区域内的固定位置，或者，可以设置于上述工程机械设备上。需要说明的是，单个空间传感器的探测区域有限，为了获取到能够覆盖整个工作区域的空间传感数据，可以在设置分布在不同位置的多个空间传感器。
请参考图2，其示出了工程机械设备的空间传感器在工作区域内的传感范围的示意图，具体示出了工程机械设备以及空间传感器的位置示意的俯视图。如图2所示，以相机为例，在工程机械设备的四个侧面各设置一个相机，分别为相机C1、相机C3、相机C5、相机C7。对于相机C1、相机C3、相机C5、相机C7的成像范围无法覆盖的工作区域，分别通过设置于工作区域的相机C2、相机C4、相机C6、相机C8进行空间信息的探测。这里的相机可以是彩色相机、红外相机、深度相机等。
步骤102，基于空间传感数据进行障碍物检测，确定工作区域内的障碍物的位置。
可以采用障碍物检测和识别算法，对空间传感数据进行障碍物检测。例如，基于障碍物模板匹配的检测算法、基于特征点匹配的障碍物检测算法、基于神经网络模型的障碍物检测算法，等等。
可以首先对空间传感数据进行预处理，剔除干扰数据后对空间传感数据进行特征提取，基于提取出的特征识别障碍物的位置和障碍物的类型。
当上述空间传感数据为二维图像数据或二维视频数据时，可以采用经过训练的障碍物检测模型对图像数据或视频数据进行处理，提取出图像或视频中的障碍物的位置信息，例如障碍物的包围框的位置坐标。或者，为了加快障碍物检测速度，可以根据工程机械设备的工作场景中常见的障碍物，包括人、车辆等构建常见障碍物放入模板，通过采用滑动窗口的方式对空间传感数据进行特征提取和模板匹配来获得障碍物在二维图像或二维视频中的位置检测结果。然后，可以基于采集二维图像数据或二维视频数据的图像传感器的内外参数，将障碍物在二维图像中的位置转换至三维空间，得到工作区域内的障碍物的空间位置。
当上述空间传感数据为三维点云数据时，可以针对三维点云数据进行点云分割，对分割出的点云块进行特征提取，基于提取出的点云块的特征识别障碍物并确定障碍物的空间边界的位置。
步骤103，根据工作区域内的障碍物的位置确定工程机械设备的机械结构部件的安全工作范围。
工程机械设备通常由至少一个机械结构部件组成。例如，挖掘机包括底盘(包括履带等)、可旋转车体、动臂(或称为大臂)、斗杆、铲斗等机械结构部件。
在本实施例中，可以基于障碍物的位置、工程机械设备的位置参数(例如可旋转车体的中心点位置坐标)以及各机械结构的设计参数(例如动臂的长度、动臂与可旋转车体的连接点位置、斗杆的长度、铲斗的尺寸等)确定各机械结构的位置和活动范围。可以根据机械结构的位置和活动范围、以及障碍物的位置确定机械结构的安全工作范围。
具体地，可以将工作区域内障碍物所在的子区域设定为不安全的区域，将工作区域内除了不安全的区域之外的其他区域作为安全区域。然后，判断工程机械设备的机械结构部件的位置以及最大活动范围是否与上述不安全的区域交叉。若交叉，则将机械结构部件的安全工作范围设定为其最大活动范围内除去上述不安全的区域的部分。此外，还可以确定机械结构部件的最小活动范围，当检测到障碍物的位置与工程机械设备的机械结构部件的最小活动范围的距离过近时，可以将工程机械设备的机械机构部件的安全工作范围设置为“空”或者“0”。
需要说明的是，上述工程机械设备的机械结构部件的安全工作范围也可以是根据工程机械结构的总体结构确定的总体安全工作范围。同一工程机械设备的不同机械结构部件可以“共享”同一安全工作范围，各机械结构部件均在该安全工作范围内工作时该工程机械设备处于安全工作状态，工程机械设备的任一机械结构部件的位置超出该安全工作范围则判定工程机械设备处于不安全的工作状态。
或者，对于同一工程机械设备的不同的机械结构部件，由于位姿信息(如位置、运动方向、运动速度)之间存在差异，因而对应的安全工作范围可能有差异。也即，同一工程机械设备的不同的机械结构部件的安全工作范围可能不相同。
步骤104，基于安全工作范围对工程机械设备的机械结构部件的作业范围进行控制。
当工程机械设备的机械结构部件超出其安全工作范围时，可以控制工程机械设备停止作业。当工程机械设备的机械结构部件未超出其安全工作范围时，可以根据作业任务控制工程机械设备的机械结构部件在对应的安全工作范围内作业。具体地，可以采用MPC(Model Predictive Control，模型预测控制)技术，以各机械结构部件的安全工作范围为限制条件，对用于控制机械结构部件的移动范围的参数进行控制和优化。
可选地，还可以根据上述安全工作范围划定采用不同的控制方式进行控制的区域。例如将上述安全工作范围划定为“正常”的控制方式的区域，将上述安全工作范围与工程机械设备之间的、与工程机械设备的距离超过一定距离阈值(例如5米)的区域设定为“机动避障”的控制方式的区域。与工程机械设备的距离不超过一定距离阈值的区域设定为“停止作业”的控制方式的区域。
请参考图3，其示出了机械结构的作业范围的控制方式示意图。其中，工程机械设备310的中心点为O，D为动臂与车体的连接位置。区域301距离工程机械设备310较近，是以“停止作业”的控制方式进行控制的区域，当障碍物出现在该区域301中时，可以向工程机械设备310发出停止作业的控制指令。区域302与工程机械设备310的距离大于区域301与工程机械设备310的距离，该区域302是以“机动避障”的控制方式进行控制的区域，当障碍物出现在该区域302中时，可以根据障碍物的位置控制工程机械设备310的机械结构部件避开障碍物的位置。区域303属于工程机械设备的机械结构部件的安全工作范围，当障碍物出现在该区域303中时，可以控制工程机械设备310正常工作。
从图3可以看出，上述方法可以根据工程机械设备的机械结构部件的安全工作范围灵活地控制工程机械设备。
需要说明的是，针对同一工程机械设备的不同机械结构部件，当其安全工作范围存在差异时，可以针对性地设定不同的控制方式，从而可以进一步提升安全控制方法的精细化程度。
本公开的上述实施例的工程机械设备的安全控制方法，通过主动获取工作区域的空间传感数据并执行障碍物检测，能够灵活地针对不同的作业场地和作业环境自动地划定安全工作范围，并进行对应的作业范围控制，实现了工程机械设备的自动化安全控制。
上述工程机械设备的安全控制方法还可以包括以下步骤：
响应于确定工作区域内的障碍物与工程机械设备的机械结构部件的相对位置不满足预设的安全作业条件，控制工程机械设备停止作业。也即，当工作区域内的障碍物与工程机械设备的机械结构部件之间的距离小于一定的距离阈值，或者障碍物的位置在工程机械设备的机械结构部件的最小活动范围内时，可以发出停止作业的控制信号。例如，当障碍物落入图3所示区域301中时，需控制工程机械设备停止作业以保障作业区域内的人员和设备的安全。
可选地，上述步骤101获取的空间传感数据可以包括图像数据和点云数据。具体可以通过图像传感器和多线激光雷达获取图像数据和点云数据。这时，在上述步骤102中，可以通过如下方式进行障碍物检测：首先基于工作区域的图像数据进行障碍物识别，然后可以基于工作区域的点云数据确定从图像数据中识别出的障碍物的位置。具体地，可以将工作区域的图像数据输入至预先训练的障碍物检测模型，获得基于图像的障碍物识别结果。根据基于图像的障碍物识别结果，对比点云数据，可以找出点云数据中对应的障碍物的点云，并根据点云数据确定障碍物的三维位置坐标。
基于图像的障碍物检测具有较高的精度和较快的速度，而点云可以提供准确的三维位置信息。因此，上述结合图像和点云数据检测障碍物位置的方法，可以快速、准确地定位出工作区域的障碍物。
可选地，上述步骤103中确定出的工程机械设备的机械结构部件的安全工作范围包括工程机械设备的机械结构部件的安全倾角范围。工程机械设备的机械结构部件在工作状态下与世界坐标系之间具有一定的倾角。并且，工程机械设备的机械据结构部件的倾角可以随控制信号的变化而变化。例如，当挖掘机挖掘距离较远的物料堆时，动臂相对于水平地面的倾角较小；而当挖掘距离较近的物料堆时，需控制动臂增大相对于水平地面的倾角。
上述工程机械设备的安全控制方法的执行主体可以进一步根据各机械结构部件的设计参数，确定机械结构部件的位置与对应的倾角之间的关系，并进一步根据机械结构部件的位置与倾角之间的对应关系、以及障碍物的位置确定机械结构部件的安全倾角范围。在这里，机械结构部件的位置可以由机械结构部件的中心点、起始端、末端中的至少一者的位置坐标表征。
进一步地，可以根据工作区域内的障碍物的位置确定机械结构部件的三维位置坐标的安全范围，然后，根据工程机械设备的运动学模型，确定与三维位置坐标的安全范围对应的安全倾角范围。
图4以挖掘机为例，示出了工程机械设备的运动学模型的示意图。如4所示，在已知挖掘机的回转中心O到动臂与挖掘机的可旋转车体的连接点D的向量，动臂长度l1，斗杆长度l2，铲斗长度l3时，使用安装在可旋转车体、动臂、斗杆、铲斗上的倾角传感器测量可得挖掘机的旋转角度
Figure BDA0002976166940000081
动臂的倾角α、斗杆的倾角β以及铲斗的倾角γ，则动臂与挖掘机的可旋转车体的连接点D、动臂与斗杆的连接点C、斗杆与铲斗的连接点B、铲斗末端点A在图示坐标系(O为原点、x、y、z为坐标轴)下的三维坐标根据几何关系可唯一确定。反之，给定铲斗末端点A点的三维坐标以及铲斗的倾角γ，则
Figure BDA0002976166940000082
α、β三个角度也可唯一确定。描述挖掘机的上述点的坐标与倾角之间的关系的模型即为挖掘机的运动学模型。
可以根据障碍物的位置首先确定工程机械设备的机械结构部件的三维位置坐标的安全范围，然后利用上述运动学模型将三维位置坐标的安全范围转换为对应的倾角的安全范围，即安全倾角范围。
在基于安全倾角范围对机械结构部件的作业范围进行控制时，可以根据安全倾角范围，计算机械结构部件的控制器向机械结构部件传送的控制参数的安全范围。通过控制器传输合适的控制参数来确保机械结构部件在安全倾角范围内作业。
工程机械设备可以安装有角度传感器，用于探测机械结构部件的倾角。在实践中，还可以结合角度传感器实施感知的倾角，通过控制器对机械结构部件的倾角进行安全控制。
上述方法通过构建工程机械设备的运动学模型确定出了机械结构部件的安全倾角范围，便于控制器根据安全倾角范围对机械结构部件进行精准的安全控制。
请参考图5，其示出了本申请的工程机械设备的安全控制方法的另一个实施例的流程示意图。如图5所示，本实施例的工程机械设备的安全控制方法的流程500，包括以下步骤：
步骤501，获取工作区域的空间传感数据。
在本实施例中，工程机械设备的安全控制方法的执行主体可以通过与用于探测工作区域内的空间信息的空间传感器建立的连接来获得空间传感数据，或者通过向上述用于探测工作区域内的空间信息的空间传感器的临时或永久的存储介质发出数据读取请求来获得空间传感数据。空间传感数据可以包括视频数据，还可以包括三维点云数据。
步骤502，基于空间传感数据进行障碍物检测，确定工作区域内的障碍物的位置。
步骤503，根据工作区域内的障碍物的位置确定工程机械设备的机械结构部件的安全工作范围。
步骤504，基于安全工作范围对工程机械设备的机械结构部件的作业范围进行控制。
本实施例的步骤502、步骤503、步骤504分别与前述实施例的步骤102、步骤103、步骤104一致，步骤502、步骤503和步骤504的具体实现方式可以分别参考前述实施例中对步骤102、步骤103和步骤104的描述，此处不再赘述。
步骤505，当根据视频数据检测到工作区域内出现预设停止标记时，控制工程机械设备中断作业。
在本实施例中，在工作区域内出现影响安全工作的状况时，可以由安全人员举起呈现有预设停止标记的指示牌，或者在预设的标记板上呈现停止标记。当根据工作区域内的视频数据实时检测到工作区域内出现该预设停止标记时，可以向工机械设备的机械结构部件发送数值为0的控制量，使得各个机械结构部件停止不动。
具体地，可以针对获取的视频数据中的图像帧进行实时检测，利用预设停止标记的模板进行图像匹配来检测图像帧中是否出现预设停止标记。一旦检测到出现预设停止标记，则控制工程机械设备中断作业。
请参考图6，其示出了图5所示的工程机械设备的安全控制方法一个应用场景示意图。
在需要中断挖掘机的作业时，安全人员可以举起包含“STOP”标记的指示牌，工作区域内的相机实时地持续采集视频数据并实时检测，当检测到视频数据中出现“STOP”标记时，立即控制挖掘机中断作业。
由此，本实施例的方法通过对预设停止标记进行检测，能够远程控制工程机械设备中断作业，由此在无人操控工程机械设备的场景中，能够进一步提升安全性，并且提升安全控制方法的智能化程度。
可选地，当根据视频数据检测到工作区域内的预设停止标记消失时，控制工程机械设备恢复作业。
可以基于视频检测或图像检测技术实时监测工作区域内的预设停止标记是否消失，若预设停止标记持续出现，则保持工程机械设备的作业中断状态。当在某一时刻检测到预设停止标记在视频中消失时，可以控制机械结构部件恢复中断前的操作，继续作业。进一步地，在恢复作业时可以读取最近一次中断时的控制参数，按照该控制参数控制工程机械设备继续作业。这样，工程机械设备的作业信息不会丢失，恢复作业时不必重启系统，实现工程机械设备的中断停止和恢复作业功能，且可以避免恢复作业时重新计算控制参数带来的风险。
继续参考图7，其示出了本申请的工程机械设备的安全控制方法的又一个实施例的流程图。如图7所示，本实施例的工程机械设备的安全控制方法的流程700，包括以下步骤：
步骤701，获取工作区域的空间传感数据。
步骤702，基于空间传感数据进行障碍物检测，确定工作区域内的障碍物的位置。
步骤703，根据工作区域内的障碍物的位置确定工程机械设备的机械结构部件的安全工作范围。
步骤704，基于安全工作范围对工程机械设备的机械结构部件的作业范围进行控制。
步骤705，当接收到远程遥控器发出的用于指示停止作业的信号时，切断向工程机械设备的机械结构部件的控制电路提供的电路控制信号。
步骤701至步骤704分别与前述实施例的步骤101至步骤104一致，步骤701至步骤704的具体实现方式可分别参考前述实施例中步骤101至步骤104的描述，此处不再赘述。
除了基于空间传感器探测到的空间传感数据对安全工作范围进行划定之外，本实施例中，还可以结合远程遥控器来实现对工程机械设备的安全控制。
具体地，远程遥控器端可以由安全员操作，工程机械设备上可以安装有接收机。该接收机与远程遥控器可以配对使用，在指定的额频段内建立通信连接，例如可以使用2.4GHz的ISM频段(Industrial Scientific Medical Band，工业的、科学的和医学的频段)无线通信协议进行数据传输。接收机可以与上述执行主体以及各机械结构部件的控制电路相连。远程遥控器端可以将设置于其上的安全按钮的状态进行编码，转换为脉宽调整信号，经由高频电路，通过天线发射。接收机端通过天线接收到信号后经由射频、中频电路转换为脉宽调制信号，对该脉宽调制信号进行解码即可获得安全按钮的状态信息。在根据该脉宽调制信号解析出安全按钮的状态为“按下”时，意味着远程遥控器发出了指示停止作业的信号，这时，工程机械设备的安全控制方法的执行主体切断向工程机械设备的机械结构部件的控制电路提供的电路控制信号，使机械结构部件停止作业，实现遥控停止功能。
由此，本实施例提供的方法，在自主划定安全工作范围的基础上，结合远程遥控器的安全控制，使得工程机械设备的安全性得到更可靠的保障。
请参考图8，作为对上述工程机械设备的安全控制方法的实现，本公开提供了一种工程机械设备的安全控制装置的一个实施例，该装置实施例与上述各方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图8所示，本实施例的工程机械设备的安全控制装置800包括：获取单元801、检测单元802、确定单元803以及控制单元804。其中，获取单元801被配置为获取工作区域的空间传感数据；检测单元802被配置为基于空间传感数据进行障碍物检测，确定工作区域内的障碍物的位置；确定单元803被配置为根据工作区域内的障碍物的位置确定工程机械设备的机械结构部件的安全工作范围；控制单元804被配置为基于安全工作范围对工程机械设备的机械结构部件的作业范围进行控制。
在一些实施例中，上述空间传感数据包括图像数据和点云数据；上述检测单元802进一步包括：障碍物识别模块，被配置为基于工作区域的图像数据进行障碍物识别；障碍物位置确定模块，被配置为基于工作区域的点云数据确定从图像数据中识别出的障碍物的位置。
在一些实施例中，上述安全工作范围包括安全倾角范围。
在一些实施例中，上述确定单元包括：位置坐标确定模块，被配置为根据工作区域内的障碍物的位置确定机械结构部件的三维位置坐标的安全范围；安全倾角范围确定模块，被配置为根据工程机械设备的运动学模型，确定与三维位置坐标的安全范围对应的安全倾角范围。
在一些实施例中，上述装置还包括：终止单元，被配置为响应于确定工作区域内的障碍物与工程机械设备的机械结构部件的相对位置不满足预设的安全作业条件，控制工程机械设备停止作业。
在一些实施例中，上述空间传感数据包括视频数据；上述装置还包括：中断单元，被配置为当根据视频数据检测到工作区域内出现预设停止标记时，控制工程机械设备中断作业。
在一些实施例中，上述装置还包括：恢复单元，被配置为当根据视频数据检测到工作区域内的预设停止标记消失时，控制工程机械设备恢复作业。
在一些实施例中，上述装置还包括：切断单元，被配置为当接收到远程遥控器发出的用于指示停止作业的信号时，切断向工程机械设备的机械结构部件的控制电路提供的电路控制信号。
上述装置800与前述方法实施例中的步骤相对应。由此，上文针对工程机械设备的安全控制方法描述的操作、特征及所能达到的技术效果同样适用于装置800及其中包含的单元，在此不再赘述。
根据本申请的实施例，本申请还提供了一种工程机械设备的安全控制系统和一种可读存储介质。
如图9所示，是根据本申请实施例的工程机械设备的安全控制系统的框图。工程机械设备的安全控制系统旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示，该工程机械设备的安全控制系统包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器901为例。
存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的工程机械设备的安全控制方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的工程机械设备的安全控制方法。
存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的工程机械设备的安全控制方法对应的程序指令/模块(例如，附图8所示的获取单元801、检测单元802、确定单元803和控制单元804)。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的工程机械设备的安全控制方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据工程机械设备的安全控制系统的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至工程机械设备的安全控制系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
工程机械设备的安全控制系统还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图9中以通过总线905连接为例。
输入装置903可接收输入的数字或字符信息，以及产生与工程机械设备的安全控制系统的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
上述工程机械设备的安全控制系统还可以包括远程遥控信号接收机；远程遥控信号接收机与远程遥控器配合使用。当远程遥控信号接收机接收到远程遥控器发出的用于指示停止作业的信号时，接收机向处理器901发送该用于指示停止作业的信号，处理器根据该用于指示停止作业的信号切断向工程机械设备的机械结构部件的控制电路提供的电路控制信号。
进一步地，上述工程机械设备的安全控制系统还可以包括空间数据传感器，空间数据传感器可以是上述输入装置903的一种，空间数据传感器采集工程机械设备的工作区域的空间传感数据，还可以将采集到的空间传感数据通过总线905传送至处理器901。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算、云服务、云数据库、云存储等基础云计算服务的云服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
此外，本申请的实施例还提供了一种工程机械设备，图10以挖掘机为例示出了工程机械设备的一个示例。该工程机械设备包括机械结构部件以及安全控制系统。这里的安全控制系统可以是上述结合图9说明的工程机械设备的安全控制系统。机械结构部件是组成工程机械设备的机械元部件，例如在挖掘机包括：可旋转车体、动臂、斗杆、铲斗、履带、等等。该工程机械设备的安全控制系统可以感知工程机械设备的工作环境并进行安全作业范围的控制。
根据本申请实施例的技术方案，通过工程机械设备的工作区域的空间数据的探测实现了安全工作范围的自主划定和有效的安全控制。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (14)

1.一种工程机械设备的安全控制方法，包括：
获取工作区域的空间传感数据；
基于所述空间传感数据进行障碍物检测，确定工作区域内的障碍物的位置；
根据所述工作区域内的障碍物的位置确定工程机械设备的机械结构部件的安全工作范围；
基于所述安全工作范围对所述工程机械设备的机械结构部件的作业范围进行控制。
2.根据权利要求1所述的方法，其中，所述空间传感数据包括图像数据和点云数据；
所述基于所述空间传感数据进行障碍物检测，确定工作区域内的障碍物的位置，包括：
基于所述工作区域的图像数据进行障碍物识别；
基于所述工作区域的点云数据确定从所述图像数据中识别出的障碍物的位置。
3.根据权利要求1所述的方法，其中，所述安全工作范围包括安全倾角范围。
4.根据权利要求3所述的方法，其中，所述根据所述工作区域内的障碍物的位置确定工程机械设备的机械结构部件的安全工作范围，包括：
根据所述工作区域内的障碍物的位置确定所述机械结构部件的三维位置坐标的安全范围；
根据所述工程机械设备的运动学模型，确定与所述三维位置坐标的安全范围对应的安全倾角范围。
5.根据权利要求1所述的方法，其中，所述方法还包括：
响应于确定所述工作区域内的障碍物与所述工程机械设备的机械结构部件的相对位置不满足预设的安全作业条件，控制所述工程机械设备停止作业。
6.根据权利要求1所述的方法，其中，所述空间传感数据包括视频数据；
所述方法还包括：
当根据所述视频数据检测到所述工作区域内出现预设停止标记时，控制所述工程机械设备中断作业。
7.根据权利要求6所述的方法，所述方法还包括：
当根据所述视频数据检测到所述工作区域内的预设停止标记消失时，控制所述工程机械设备恢复作业。
8.根据权利要求1所述的方法，所述方法还包括：
当接收到远程遥控器发出的用于指示停止作业的信号时，切断向所述工程机械设备的机械结构部件的控制电路提供的电路控制信号。
9.一种工程机械设备的安全控制系统，包括：
至少一个处理器，以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行：
获取工作区域的空间传感数据；
基于所述空间传感数据进行障碍物检测，确定工作区域内的障碍物的位置；
根据所述工作区域内的障碍物的位置确定工程机械设备的机械结构部件的安全工作范围；
基于所述安全工作范围对所述工程机械设备的机械结构部件的作业范围进行控制。
10.根据权利要求9所述的系统，所述系统还包括：远程遥控信号接收机；
所述远程遥控信号接收机与远程遥控器配合使用，当所述远程遥控信号接收机接收到所述远程遥控器发出的用于指示停止作业的信号时，所述处理器切断向所述工程机械设备的机械结构部件的控制电路提供的电路控制信号。
11.根据权利要求9所述的系统，所述系统还包括空间数据传感器，所述空间数据传感器采集所述工程机械设备的工作区域的空间传感数据。
12.一种工程机械设备，包括：机械结构部件以及安全控制系统；
其中，所述安全控制系统包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行：
获取工作区域的空间传感数据；
基于所述空间传感数据进行障碍物检测，确定工作区域内的障碍物的位置；
根据所述工作区域内的障碍物的位置确定工程机械设备的机械结构部件的安全工作范围；
基于所述安全工作范围对所述工程机械设备的机械结构部件的作业范围进行控制。
13.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行：
获取工作区域的空间传感数据；
基于所述空间传感数据进行障碍物检测，确定工作区域内的障碍物的位置；
根据所述工作区域内的障碍物的位置确定工程机械设备的机械结构部件的安全工作范围；
基于所述安全工作范围对所述工程机械设备的机械结构部件的作业范围进行控制。
14.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的方法。
CN202110274802.1A 2020-07-22 2021-03-15 工程机械设备及其安全控制方法和系统、存储介质 Pending CN112982541A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/935,502 US11773567B2 (en) 2020-07-22 2020-07-22 Engineering machinery equipment, and method, system, and storage medium for safety control thereof
US16/935,502 2020-07-22

Publications (1)

Publication Number Publication Date
CN112982541A true CN112982541A (zh) 2021-06-18

Family

ID=76335474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110274802.1A Pending CN112982541A (zh) 2020-07-22 2021-03-15 工程机械设备及其安全控制方法和系统、存储介质

Country Status (2)

Country Link
US (1) US11773567B2 (zh)
CN (1) CN112982541A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117788201A (zh) * 2023-12-26 2024-03-29 大湾区大学(筹) 一种异构设备安全生产的协同方法、装置、系统和介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230151583A1 (en) * 2021-11-18 2023-05-18 Caterpillar Inc. Collision avoidance system and method for avoiding collision of work machine with obstacles
US20230150358A1 (en) * 2021-11-18 2023-05-18 Caterpillar Inc. Collision avoidance system and method for avoiding collision of work machine with obstacles
CN114885133B (zh) * 2022-07-04 2022-10-04 中科航迈数控软件(深圳)有限公司 基于深度图像的设备安全实时监控方法、系统及相关设备
US11746501B1 (en) * 2022-08-29 2023-09-05 RIM Intelligent Machines, Inc. Autonomous control of operations of powered earth-moving vehicles using data from on-vehicle perception systems

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090043462A1 (en) * 2007-06-29 2009-02-12 Kenneth Lee Stratton Worksite zone mapping and collision avoidance system
CN103180522A (zh) * 2010-10-22 2013-06-26 日立建机株式会社 作业机械的周边监视装置
US20180179892A1 (en) * 2016-12-22 2018-06-28 Caterpillar Global Mining Europe Gmbh Collision Avoidance Control Method and System
CN109972674A (zh) * 2019-03-04 2019-07-05 华中科技大学 基于自然交互的复杂施工环境下的无人挖掘系统及方法
CN209519246U (zh) * 2019-01-10 2019-10-22 陈名虹 一种基于手势识别的放射治疗安全保护装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200736870A (en) * 2005-11-04 2007-10-01 Murata Machinery Ltd Control device for movable body
JP6324763B2 (ja) * 2013-03-13 2018-05-16 住友重機械搬送システム株式会社 クレーン
WO2019111859A1 (ja) * 2017-12-04 2019-06-13 住友重機械工業株式会社 周辺監視装置、情報処理端末、情報処理装置、情報処理プログラム
KR102566896B1 (ko) * 2018-03-20 2023-08-11 스미토모 겐키 가부시키가이샤 쇼벨 및 쇼벨용의 표시장치
WO2020196874A1 (ja) * 2019-03-27 2020-10-01 住友建機株式会社 建設機械、支援システム
JP7112758B2 (ja) * 2020-03-19 2022-08-04 Ｔｏｔａｌｍａｓｔｅｒｓ株式会社 建設現場安全管理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090043462A1 (en) * 2007-06-29 2009-02-12 Kenneth Lee Stratton Worksite zone mapping and collision avoidance system
CN103180522A (zh) * 2010-10-22 2013-06-26 日立建机株式会社 作业机械的周边监视装置
US20180179892A1 (en) * 2016-12-22 2018-06-28 Caterpillar Global Mining Europe Gmbh Collision Avoidance Control Method and System
CN209519246U (zh) * 2019-01-10 2019-10-22 陈名虹 一种基于手势识别的放射治疗安全保护装置
CN109972674A (zh) * 2019-03-04 2019-07-05 华中科技大学 基于自然交互的复杂施工环境下的无人挖掘系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117788201A (zh) * 2023-12-26 2024-03-29 大湾区大学(筹) 一种异构设备安全生产的协同方法、装置、系统和介质

Also Published As

Publication number Publication date
US11773567B2 (en) 2023-10-03
US20220025612A1 (en) 2022-01-27

Similar Documents

Publication Publication Date Title
CN112982541A (zh) 工程机械设备及其安全控制方法和系统、存储介质
CN112962709B (zh) 工程机械设备及其作业轨迹规划方法和系统、存储介质
Liang et al. A vision-based marker-less pose estimation system for articulated construction robots
EP3660231B1 (en) System and method for autonomous operation of heavy machinery
US9688518B2 (en) Three dimensional rendering of job site
EP2952993A1 (en) Method for building a map of probability of one of absence and presence of obstacles for an autonomous robot
US11216664B2 (en) Method and device for augmenting a person's view of a mining vehicle on a mining worksite in real-time
CN110738183B (zh) 路侧相机障碍物检测方法及装置
CN112955610A (zh) 挖土机、信息处理装置、信息处理方法、信息处理程序、终端装置、显示方法、显示程序
CN114340997A (zh) 监测用于土工设备的地面接合工具、系统和方法
CN110805081B (zh) 一种挖掘机人员安全防护系统
EP4064118A1 (en) Utility vehicle and corresponding apparatus, method and computer program for a utility vehicle
CN114815851A (zh) 机器人跟随方法、装置、电子设备以及存储介质
US20240127372A1 (en) Construction management system, data processing device, and construction management method
CN110595798B (zh) 测试方法及装置
CN115655261B (zh) 地图生成方法、装置、机器人以及存储介质
Fang et al. Cyber-physical systems (CPS) in intelligent crane operations
CN112652012A (zh) 挖掘机智能控制方法、装置、设备、存储介质和挖掘机
CN111749289B (zh) 设备控制方法、装置、设备和计算机存储介质
CN116679315A (zh) 作业地形检测方法、装置及用于检测作业地形的工程设备
US20240233048A9 (en) Construction management system, data processing device, and construction management method
US20170307362A1 (en) System and method for environment recognition
CN110805080B (zh) 一种装载机作业场地的人员安全防护系统
JP2023063990A (ja) ショベル
JP2023063989A (ja) ショベル

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination