CN111017726B - 起重机吊钩定位方法、装置、系统及工程机械 - Google Patents

Abstract

本发明实施方式提供一种起重机吊钩定位方法、装置、系统及工程机械，属于起重机自动控制技术领域。方法包括：获取起重机的当前状态信息以及第一图像；依据当前状态信息，以及依据第一图像确定的吊钩和待定位目标之间的相对位置确定吊装路径；控制起重机按照吊装路径执行吊钩定位。本发明通过实时采集吊臂正下方的图像，基于图像处理提取目标，得到吊钩、吊装物及目标就位点的三维坐标从而确定吊钩、吊装物及目标就位点之间的位置关系，并结合起重机的当前状态信息实现吊装路径规划及吊装作业，实现了对吊钩及摄像头采集区域内其他目标的实时跟踪及自动定位，定位过程无需人工操作且定位精度高。

Description

起重机吊钩定位方法、装置、系统及工程机械

技术领域

本发明涉及起重机自动控制技术领域，具体地涉及一种起重机吊钩定位方法、一种起重机吊钩定位装置、一种起重机吊钩定位系统以及一种工程机械。

背景技术

起重机作为一种起吊搬运设备，广泛使用在建筑业、制造业以及港口运输业，在传统的吊装作业过程中，空钩与吊装物的对位以及吊装物的就位，均需要吊装指挥人员根据吊钩位置情况，指挥机手操作控制完成吊钩或吊装物的定位运行。此过程复杂繁琐，均需人工判断，人工操控。另外，有些吊装作业存在一定危险性，指挥人员无法接近吊装物指定位置，因此无法对机手给予精确的指挥。对于大型吊装，吊装工艺越来越复杂，对机手和吊装指挥员要求越来越高，从而人工成本偏高(一次大型吊装需要一个机手若干个吊装指挥员)。且机手在驾驶室内视野受限，不容易看到吊装物及就位点，更不能精准的判断吊装物起吊点及就位点，可能导致误操作，且操作过程长。

发明内容

本发明实施方式的目的是提供一种起重机吊钩定位方法、一种起重机吊钩定位装置、一种起重机吊钩定位系统以及一种工程机械，以解决现有吊装过程中，机手不容易看到吊装物及就位点，以及不能精准的判断吊装物起吊点及就位点，可能导致误操作，且操作过程长的问题。

为了实现上述目的，在本发明第一方面，提供一种起重机吊钩定位方法，包括：

获取起重机的当前状态信息以及第一图像，所述第一图像包括起重机的吊钩及待定位目标；

依据所述第一图像确定所述吊钩与所述待定位目标之间的相对位置，并判断所述吊钩与所述待定位目标之间的相对位置是否满足要求，若是，完成吊钩定位；否则，依据所述当前状态信息，以及所述吊钩和所述待定位目标之间的相对位置确定吊装路径；

控制所述起重机按照所述吊装路径执行吊钩定位，所述待定位目标包括吊装物或目标就位点。

可选地，所述第一图像通过设置在起重机吊臂上的摄像头采集，所述方法还包括：

获取所述摄像头的角度信息并依据所述角度信息控制所述摄像头，以使得所述摄像头的光轴垂直于地面。

可选地，所述依据所述第一图像确定所述吊钩与所述待定位目标之间的相对位置之前，还包括：

接收第一指令，依据所述第一指令在所述第一图像中选定所述待定位目标的识别区域，在所述待定位目标的识别区域中对待定位目标的图像进行轮廓提取。

可选地，所述方法还包括：

在吊钩定位过程中接收到障碍物检测信号的情况下，控制所述起重机停止吊钩定位。

可选地，所述依据所述第一图像确定所述吊钩与所述待定位目标的相对位置，包括：

基于所述第一图像建立平面坐标系；

基于所述第一图像提取吊钩轮廓及待定位目标轮廓，获取所述吊钩轮廓中心点及待定位目标轮廓中心点在所述平面坐标系上的坐标，并转换为实际坐标；

依据单目测距法得到所述摄像头与所述待定位目标之间的距离；

获取所述吊钩位置及摄像头对地高度，依据所述吊钩位置、所述摄像头对地高度以及所述吊钩轮廓中心点的实际坐标，得到所述吊钩的三维坐标；

依据所述摄像头与所述待定位目标之间的距离、所述摄像头对地高度以及所述摄像头与所述待定位目标轮廓中心点的实际坐标，得到所述待定位目标的三维坐标；

依据所述吊钩的三维坐标及所述待定位目标的三维坐标确定所述吊钩与所述待定位目标的相对位置。

可选地，所述依据所述吊钩的三维坐标及所述待定位目标的三维坐标确定所述吊钩与所述待定位目标的相对位置，包括：

当所述待定位目标轮廓为目标就位点轮廓时，将所述吊装物位置作为所述吊钩位置，若所述第一图像中提取到吊装物轮廓，且所述吊装物轮廓与所述目标就位点轮廓之间的偏移量小于设定阈值时，提取参照物轮廓，依据所述参照物轮廓、所述目标就位点轮廓以及所述吊装物轮廓确定所述吊钩与所述目标就位点的相对位置。

本发明的第二方面，提供一种起重机吊钩定位装置，包括：

数据采集单元，用于获取起重机的当前状态信息以及第一图像，所述第一图像包括起重机的吊钩及待定位目标；

吊装路径确定单元，用于依据所述第一图像确定所述吊钩与所述待定位目标之间的相对位置，并判断所述吊钩与所述待定位目标之间的相对位置是否满足要求，若是，完成吊钩定位；否则，依据所述当前状态信息，以及所述吊钩和所述待定位目标之间的相对位置确定吊装路径；

吊钩定位执行单元，用于控制所述起重机按照所述吊装路径执行吊钩定位，所述待定位目标包括吊装物或目标就位点。

可选地，所述第一图像通过设置在起重机吊臂上的摄像头采集，所述装置还包括：

摄像头控制单元，用于获取所述摄像头的角度信息并依据所述角度信息控制所述摄像头，以使得所述摄像头的光轴垂直于地面。

可选地，所述吊装路径确定单元还用于：

接收第一指令，依据所述第一指令在所述第一图像中选定所述待定位目标的识别区域，在所述待定位目标的识别区域中对待定位目标的图像进行轮廓提取。

可选地，所述吊钩定位执行单元还用于：

在吊钩定位过程中接收到障碍物检测信号的情况下，控制所述起重机停止吊钩定位。

可选地，所述吊装路径确定单元还用于：

基于所述第一图像建立平面坐标系；

基于所述第一图像提取吊钩轮廓及待定位目标轮廓，获取所述吊钩轮廓中心点及待定位目标轮廓中心点在所述平面坐标系上的坐标，并转换为实际坐标；

依据单目测距法得到所述摄像头与所述待定位目标之间的距离；

获取所述吊钩位置及摄像头对地高度，依据所述吊钩位置、所述摄像头对地高度以及所述吊钩轮廓中心点的实际坐标，得到所述吊钩的三维坐标；

依据所述摄像头与所述待定位目标之间的距离、所述摄像头对地高度以及所述摄像头与所述待定位目标轮廓中心点的实际坐标，得到所述待定位目标的三维坐标；

依据所述吊钩的三维坐标及所述待定位目标的三维坐标确定所述吊钩与所述待定位目标的相对位置。

可选地，所述吊装路径确定单元还用于：

当所述待定位目标轮廓为目标就位点轮廓时，将所述吊装物位置作为所述吊钩位置，若所述第一图像中提取到吊装物轮廓，且所述吊装物轮廓与所述目标就位点轮廓之间的偏移量小于设定阈值时，提取参照物轮廓，依据所述参照物轮廓、所述目标就位点轮廓以及所述吊装物轮廓确定所述吊钩与所述目标就位点的相对位置。

本发明的第三方面，提供一种起重机吊钩定位系统，包括：

以上所述的起重机吊钩定位装置；

初始状态检测装置，用于检测起重机的当前状态信息。

本发明的第四方面，提供一种工程机械，包括以上所述的一种起重机吊钩定位系统。

本发明上述技术方案通过实时采集吊臂正下方的图像，基于图像处理提取目标，从而得到吊钩、吊装物及目标就位点的三维坐标，基于得到的三维坐标确定吊钩、吊装物及目标就位点之间的位置关系，并结合起重机当前的回转角度、变幅幅度及吊钩位置数据实现吊装路径规划，控制吊钩依据吊装路径执行吊钩定位，直至吊钩到达指定位置，实现了对吊钩及摄像头采集区域内其他目标的实时跟踪及自动定位，定位过程无需人工操作且定位精度高。

本发明实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施方式的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施方式，但并不构成对本发明实施方式的限制。在附图中：

图1是本发明一种实施方式提供的一种起重机吊钩定位方法的方法流程图；

图2是本发明一种实施方式提供的一种起重机吊钩定位方法的定位原理简图；

图3是本发明一种实施方式提供的一种起重机吊钩定位装置的装置框图；

图4是本发明一种实施方式提供的一种起重机吊钩定位系统的系统结构示意图；

图5是本发明一种实施方式提供的一种起重机吊钩定位系统的控制流程示意图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

在本发明实施方式中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

如图1所示，在本发明第一方面，提供一种起重机吊钩定位方法，包括：

获取起重机的当前状态信息以及第一图像，第一图像包括起重机的吊钩及待定位目标；

依据第一图像确定吊钩与待定位目标之间的相对位置，并判断吊钩与待定位目标之间的相对位置是否满足要求，若是，完成吊钩定位；否则，依据当前状态信息，以及吊钩和待定位目标之间的相对位置确定吊装路径；

控制起重机按照吊装路径执行吊钩定位，待定位目标包括吊装物或目标就位点。

其中，当前状态信息包括起重机当前的回转角度、变幅幅度及吊钩位置，吊装路径包括起重机待执行的回转角度、变幅幅度及吊钩位置。

如此，本实施方式通过实时采集第一图像，基于图像处理提取目标，从而得到吊钩、吊装物及目标就位点的三维坐标，从而基于得到的三维坐标确定吊钩、吊装物及目标就位点之间的位置关系，并结合起重机当前的回转角度、变幅幅度及吊钩位置数据实现吊装路径规划，控制起重机依据吊装路径执行吊钩定位，重复上述过程，直至吊钩到达指定位置，从而实现了对吊钩及摄像头采集区域内其他目标的实时跟踪及自动定位，定位过程无需人工操作且定位精度高。

起重机在进行吊装作业时，需要对起重机的变幅、回转及卷扬进行实时配合控制，通过不断调整起重机的变幅、回转及卷扬从而实现对空钩或吊装物的定位。其中，变幅是指改变起重机的幅度，幅度是指吊钩中心线到起重机旋转中心线的水平距离；回转半径又称为起重机的起重半径或工作半径；卷扬动作用于控制钢丝绳的长度，从而控制吊钩位置，通过变幅、回转及卷扬动作，即可实现起重机吊钩的定位。

具体的，关于本实施方式的实施主体，其可以是基于处理器或控制单元来实现，且该处理器或控制单元可以是原本就属于起重机的一部分，也可以是作为新的设备，其也依然属于本实施方式的保护范围内。本实施方式中的当前状态信息，即起重机当前的回转角度、变幅幅度及吊钩位置，可以是基于传感器检测得到的；第一图像由设置在起重机吊臂上的摄像头实时采集，为了使得第一图像便于处理，处理精度更高，本实施方式将摄像头设置在起重机吊臂顶端，且使得摄像头始终垂直于地面，使摄像头总是能采集到吊钩及其周围的图像，操作人员根据摄像头采集到的图像控制起重机吊臂移动，直至摄像头采集到的图像中包括吊钩及待定位目标时，停止移动吊臂。当待定位目标为吊装物时，表示起重机将执行吊钩到吊装物位置的定位，当待定位目标为目标就位点时，表示起重机将执行吊钩到目标就位点位置的定位。

基于图像处理方法，可以对第一图像进行目标提取，从而提取出吊钩与待定位目标的图像，并得到吊钩及待定位目标在第一图像上的平面坐标，依据得到的坐标，即可得到吊钩与待定位目标在平面上的像素偏移量，基于得到的像素偏移量，可换算出吊钩与待定位目标在平面上的实际偏移量，同时，通过获取卷扬钢丝绳的长度，可得到摄像头与吊钩之间的距离，通过单目测距可得到摄像头与待定位目标之间的实际距离，从而得到吊钩及待定位目标的三维坐标。将得到的实际偏移量与预设的偏移量阈值对比，判断吊钩与待定位目标在平面上的相对位置是否满足定位要求，例如，可设置一个阈值范围，当实际偏移量在设置的阈值范围内，表示吊钩与待定位目标在水平面上重合，判定吊钩到达水平面指定位置，同理，可根据摄像头与吊钩的距离及摄像头与待定位目标的距离判断吊钩与待定位目标之间的垂直距离是否满足要求，若吊钩与待定位目标在水平面及垂直方向上的距离均满足要求，则完成定位；若不满足要求，则依据吊钩和待定位目标的水平偏移量及垂直距离差，以及起重机当前的回转角度、变幅幅度及吊钩位置，即可确定起重机的吊装路径，其中，吊装路径为起重机待执行的回转角度、变幅幅度及吊钩位置。

控制起重机按照待执行的回转角度、变幅幅度及吊钩位置执行吊钩定位，以使得吊钩按照确定的吊装路径移动，重复上述过程，直至吊钩与待定位目标的水平偏移量及垂直距离均满足要求，完成吊钩定位。其中，吊装路径的确定也可以是每次以设定步长，以使得吊钩在水平方向及垂直方向上逐渐逼近待定位目标，从而实现吊钩的定位。

本实施方式中，通过安装在卷扬卷筒上的卷扬检测装置检测检测卷筒的位置信号和频率信号，并通过CAN总线发送给处理器或控制单元计算出当前卷扬钢丝绳的长度，从而确定起重机的吊钩位置，即吊钩与摄像头之间的垂直距离；回转检测装置设置在起重机的回转中心，用于检测起重机的回转角度，并通过CAN总线发送给处理器或控制单元；变幅检测单元设置在起重机吊臂上，用于检测起重机吊臂的变幅角度，并通过CAN总线发送给处理器或控制单元，从而依据变幅角度计算起重机吊臂的变幅幅度及变幅高度；其中，卷扬检测装置可以但不限于是编码器，回转检测装置及变幅检测单元可以但不限于是角度传感器。

为了使得后续图像处理具有较高精度，需要摄像头始终位于地面的正上方，因此，本实施方式中，第一图像通过设置在起重机吊臂上的摄像头采集，通过获取摄像头的角度信息并依据角度信息控制摄像头，以使得摄像头的光轴垂直于地面。其中，摄像头的角度信息可以通过设置在摄像头上的角度传感器采集而来，摄像头的姿态可以通过承载摄像头的电动云台控制，处理器或控制单元接收角度传感器采集的摄像头角度信息，并依据该角度信息控制电动云台动作，从而保持摄像头的光轴始终与地面垂直，以保证摄像头采集到的第一图像始终是摄像头正下方的图像，为了使得第一图像中吊钩位置尽量靠近图像中心，以便于获取更多吊钩周围的图像信息，本实施方式中，将摄像头及电动云台设置在起重机吊臂的顶端，以使得摄像头尽量靠近吊钩的钢丝绳。

为了使起重机操作人员直观的对吊钩周围的状况进行观测，本实施方式在依据第一图像确定吊钩与待定位目标之间的相对位置之前，还包括：

接收第一指令，依据所述第一指令在所述第一图像中选定所述待定位目标的识别区域，在所述待定位目标的识别区域中对待定位目标的图像进行轮廓提取。

具体的，第一指令可以是操作人员通过触摸屏发送的手势指令，操作人员通过触摸屏实时观察摄像头传回的图像，并通过手势指令在触摸屏上框选待定位目标的识别区域，处理器或控制单元接收第一指令并对第一图像中框选出的待定位目标的识别区域执行目标图像的轮廓提取，通过边缘检测、特征点提取、特征匹配提取待定位目标的图像轮廓，并通过触摸屏使提取到的目标图像轮廓高亮显示，确定待定位目标后，操作人员通过触摸屏发送第二指令，以使得处理器或控制单元依据摄像头采集到的第一图像及提取到的目标图像轮廓执行吊钩的自动定位，并且，在之后采集到的每一帧图像中，使得待定位目标的图像轮廓始终保持高亮显示，实现目标的自动跟踪。

由于起重机的吊装作业存在一定的危险性，因此，本实施方式的方法还包括：

在吊钩定位过程中接收到障碍物检测信号的情况下，控制所述起重机停止吊钩定位。

通过设置在吊钩上的障碍物检测装置对吊钩周围进行障碍物检测，其中，障碍物检测装置可以但不限于是超声波传感器，当超声波传感器检测范围内存在障碍物时会产生回波信号，超声波传感器将接收到的回波信号发送给处理器或控制单元，处理器或控制单元控制起重机吊臂停止动作，以确保吊钩定位过程中的安全。

目前针对吊钩定位的方法多采用在吊钩上安装定位装置，如GPS定位器、超声波测距传感器、陀螺仪等进行吊钩定位，由于定位装置安装在吊钩上，改造结构复杂，且施工过程中容易损坏；有的采用GPS、GNSS等流动站进行位置测量，成本昂贵，缺乏灵活性。由于起重机吊装作业范围较大，其检测范围≥50米，目前没有较好的方法实现大空间范围的目标检测及定位。因此本实施方式利用单目相机进行待测目标的动态识别，实时计算相机所在位置与待测目标的相对位置，从而跟踪目标，使其精准定位目标位置，并依据目标位置与当前吊臂的偏差实时控制吊臂运动,从而通过变幅、回转、卷扬等动作自动控制臂架末端到达待测目标的正上方，实现吊装物起吊及就位的精准定位，从而减少机手操作强度。

因此，本实施方式中，依据第一图像确定吊钩与待定位目标的相对位置，包括：

基于所述第一图像建立平面坐标系；

基于所述第一图像提取吊钩轮廓及待定位目标轮廓，获取所述吊钩轮廓中心点及待定位目标轮廓中心点在所述平面坐标系上的坐标，并转换为实际坐标；

依据单目测距法得到所述摄像头与所述待定位目标之间的距离；

获取所述吊钩位置及摄像头对地高度，依据所述吊钩位置、所述摄像头对地高度以及所述吊钩轮廓中心点的实际坐标，得到所述吊钩的三维坐标；

依据所述摄像头与所述待定位目标之间的距离、所述摄像头对地高度以及所述摄像头与所述待定位目标轮廓中心点的实际坐标，得到所述待定位目标的三维坐标；

依据所述吊钩的三维坐标及所述待定位目标的三维坐标确定所述吊钩与所述待定位目标的相对位置。

具体的，如图2所示为本实施方式的原理示意简图，其中，(X,Y,Z)为世界坐标系，(x,y,z)为基于第一图像建立的平面坐标系，以第一图像的中心点为原点，对第一图像进行预处理，并将第一图像灰度化，对由第一指令框选的待定位目标的识别区域中的目标图像进行边缘检测、特征点提取及特征点匹配，从而提取出目标图像的轮廓信息。首先通过边缘检测算法确定目标图像的图像边缘，对提取到的图像边缘内部的目标图像进行角点检测，首先按照从左到右、从下到上的搜索次序，确定目标图像边缘左下方的边界点为起始点，定义左上方为初始搜索方向，若该方向上的点为特征点，则判断其为边界点，否则沿顺时针方向旋转搜索方向45度，依次类推，直至搜索到第一个特征点为止，将该点作为新的边界点，逆时针方向旋转当前搜索方向90度，继续搜索下一个特征点，直至找到结束点为止，从而提取到目标图像的轮廓信息，其中，结束点即前述确定的目标图像边缘的起始点，对提取到的目标图像进行滤波及膨胀、腐蚀、闭运算等数学形态学处理，从而消除噪声，平滑图像轮廓。依据得到的目标图像轮廓，通过最小包围矩形法确定能包围目标图像的最小矩形，以该最小矩形的中心点作为目标图像的中心点，由于得到的目标图像中心点坐标为像素坐标，故需要对得到的坐标转化为实际坐标。通过对摄像头进行标定，从而得到摄像头的内参数及外参数，本实施方式通过棋盘格对摄像头进行标定，依据得到的内参数及外参数，可以将以像素为单位的图像坐标转化为以毫米为单位的实际坐标，像素坐标与实际坐标的转换为现有技术，具体转换过程此处不再赘述。

目前单目相机测距常用的方法为相似三角形法，依据小孔成像模型及相似三角形法，可得摄像头到目标物体的距离为D＝(W*F)/P，其中，F为焦距，P为目标物体的像素宽度，W为目标物体的实际宽度，D为摄像头到目标物体的距离，以目标物体为吊装物为例，吊装物的实际宽度W、像素宽度P及摄像头焦距F均可直接获得，则，可依据D＝(W*F)/P推导得到摄像头到吊装物的实际距离。接收由力矩限制器得到的吊臂顶端的对地高度值，并以该值作为摄像头的对地高度值，依据摄像头的对地高度值及摄像头到吊装物的实际距离，可得到吊装物的对地高度值；依据摄像头与吊钩的距离及摄像头的对地高度值，可得吊钩的对地高度。

通过上述方法分别得到吊钩的对地高度，以及吊钩的中心点实际坐标，从而可得到吊钩在世界坐标系中的三维坐标，同理，可得，待定位目标在世界坐标系中的三维坐标；依据得到的吊钩三维坐标及待定位目标三维坐标，即可确定吊钩与待定位目标之间的相对位置，结合起重机的当前回转角度、变幅幅度及吊钩位置，即可确定起重机的吊装路径，同时，当计算得到的吊钩对地高度与吊装物对地高度的差值在设定范围内时，控制起重机吊臂停止动作，以保证吊装作业的安全，例如，可以设置当起重机吊臂回转、变幅、卷扬使得吊钩到达目标正上方2米时预警，到达1米时报警并停止卷扬动作。

起重机在实际吊装作业中，通常包括两种情况，第一种情况是需要执行吊钩到吊装物位置的定位，即空钩的定位，第二种情况是吊钩将吊装物吊装到指定的目标就位点，当吊装作业为第二种情况时，在图像处理过程中，会出现吊装物遮挡目标就位点的情况，从而影响对吊钩的定位精度，因此，依据吊钩的三维坐标及待定位目标的三维坐标确定吊钩与待定位目标的相对位置，包括：

当待定位目标轮廓为目标就位点轮廓时，将吊装物位置作为吊钩位置，若第一图像中提取到吊装物轮廓，且吊装物轮廓与目标就位点轮廓之间的偏移量小于设定阈值时，提取参照物轮廓，依据参照物轮廓、目标就位点轮廓以及吊装物轮廓确定吊钩与目标就位点的相对位置。

具体的，当起重机执行空钩定位时，待定位目标为吊装物，则通过第一图像提取到的待定位目标轮廓为吊装物轮廓，通过上述方法确定吊钩及吊装物的三维坐标，即可确定吊钩与吊装物之间的相对位置，从而通过控制起重机的回转、变幅及吊钩位置使空钩达到能够挂载吊装物的指定位置。

当起重机执行带载作业，即通过吊钩将吊装物吊装到指定的目标就位点时，待定位目标为目标就位点，则通过第一图像提取到的待定位目标轮廓为目标就位点轮廓，若通过第一图像提取到吊装物轮廓，则依据事先设定的阈值，判断吊装物轮廓中心点与目标就位点轮廓中心点之间的偏移量是否小于预设阈值，若小于，则判断吊装物即将遮挡目标就位点，此时，在目标就位点轮廓远离吊装物轮廓的一侧搜索特征点密集的区域，并从该区域提取参照物轮廓作为参考目标，通过上述方法得到提取到的参照物轮廓的中心点坐标，依据参照物轮廓的中心点坐标及目标就位点轮廓中心点坐标，可以得到参照物与目标就位点的相对位置，从而依据参照物与目标就位点及吊装物的位置关系确定吊装物与目标就位点的相对位置，实现定位，在实际操作中，可认为当吊钩上挂载有吊装物时，吊钩的中心点与吊装物的中心点重合，从而确定了对吊装物中心点的定位即确定了对吊钩中心点的定位。其中，基于吊装物轮廓及目标就位点轮廓判断吊装物是否将要遮挡目标就位点，以及基于参照物轮廓与目标就位点的相对位置关系确定吊装物与目标就位点的相对位置，也可以通过提取到的图像轮廓边缘上的特征点实现。

基于上述方法，在摄像头获取到的每一帧图像中，对目标图像进行特征点提取及匹配，同时保持框选范围内的目标图像轮廓高亮，从而实现了对目标的动态跟踪识别。

如图3所示，在本发明的第二方面，提供一种起重机吊钩定位装置，包括：

数据采集单元，用于获取起重机的当前状态信息以及第一图像，第一图像包括起重机的吊钩及待定位目标；

吊装路径确定单元，用于依据第一图像确定吊钩与待定位目标之间的相对位置，并判断吊钩与待定位目标之间的相对位置是否满足要求，若是，完成吊钩定位；否则，依据当前状态信息，以及吊钩和待定位目标之间的相对位置确定吊装路径；

吊钩定位执行单元，用于控制起重机按照吊装路径执行吊钩定位，待定位目标包括吊装物或目标就位点。

可选地，第一图像通过设置在起重机吊臂上的摄像头采集，装置还包括：

摄像头控制单元，用于获取摄像头的角度信息并依据角度信息控制摄像头，以使得摄像头的光轴垂直于地面。

可选地，吊装路径确定单元还用于：

接收第一指令，依据第一指令在第一图像中选定待定位目标的识别区域，在待定位目标的识别区域中对待定位目标图像进行轮廓提取。

可选地，吊钩定位执行单元还用于：

在吊钩定位过程中接收到障碍物检测信号的情况下，控制起重机停止吊钩定位。

可选地，吊装路径确定单元还用于：

基于第一图像建立平面坐标系；

基于第一图像提取吊钩轮廓及待定位目标轮廓，获取吊钩轮廓中心点及待定位目标轮廓中心点在所述平面坐标系上的坐标，并转换为实际坐标；

依据单目测距法得到摄像头与待定位目标之间的距离；

获取吊钩位置及摄像头对地高度，依据吊钩位置、摄像头对地高度以及吊钩轮廓中心点的实际坐标，得到吊钩的三维坐标；依据摄像头与待定位目标之间的距离、以及摄像头与待定位目标轮廓中心点的实际坐标，得到待定位目标的三维坐标；

依据吊钩的三维坐标及待定位目标的三维坐标确定吊钩与待定位目标的相对位置。

可选地，吊装路径确定单元还用于：

当待定位目标轮廓为目标就位点轮廓时，将吊装物位置作为吊钩位置，若第一图像中提取到吊装物轮廓，且吊装物轮廓与所述目标就位点轮廓之间的偏移量小于设定阈值时，提取参照物轮廓，依据所述参照物轮廓、目标就位点轮廓以及吊装物轮廓确定吊钩与目标就位点的相对位置。

如图4及图5所示，在本发明的第三方面，提供一种起重机吊钩定位系统，包括：

以上的起重机吊钩定位装置；

初始状态检测装置，用于检测起重机的当前状态信息，本实施方式中，起重机的当前状态信息包括起重机的当前回转角度、变幅幅度及吊钩位置。

在本实施方式中，上述的起重机吊钩定位装置中的数据采集单元、吊装路径确定单元及摄像头控制单元的实施主体为图像处理器，数据采集单元及吊装路径确定单元可以是集成在图像处理器上的程序模块，吊钩定位执行单元的实施主体为起重机上的车载控制器，车载控制器依据确定的吊装路径，控制对应的电磁阀组，从而控制起重机吊臂依照吊装路径执行回转、变幅及吊钩钢丝绳的收放动作。

本实施方式中，摄像头固定安装在电动云台上，电动云台设置在吊臂顶端，其中，角度检测装置采用铅锤传感器，铅锤传感器设置在摄像头上，用于检测摄像头的姿态信息，铅锤传感器的输出端与图像处理器连接，同时，图像处理器还分别与电动云台及摄像头连接，图像处理器能依据接收到的摄像头姿态信息控制电动云台调整姿态，以使得摄像头的光轴始终保持与地面垂直，并能通过CAN总线从车载控制器获取吊臂顶端的对地高度值，从而控制摄像头的焦距调整，其中，吊臂顶端的对地高度值由车载控制器从起重机的力矩限制器中获取，力矩限制器可通过当前的吊臂臂架长度及臂架角度实时计算吊臂顶端的对地高度值。

初始状态检测装置包括设置在起重机回转中心上，用于采集起重机回转角度的第一角度传感器、设置在起重机吊臂上，用于采集起重机吊臂变幅角度的第二角度传感器、以及通过联轴器安装在卷扬卷筒上，使其与卷扬卷筒同心旋转从而采集卷筒的位置信号和频率信号的编码器

本实施方式中，系统还包括障碍物检测装置及显示装置，其中，障碍物检测装置采用超声波传感器，超声波传感器可以为多个，将超声波传感器安装在吊钩上，用以检测吊钩周围在超声波传感器的作用范围内是否存在障碍物；显示装置可以但不限于是触摸屏，摄像头通过有线或无线与触摸屏连接，触摸屏分别与图像处理器及车载控制器连接，用于实现人机交互，并实时显示摄像头采集的图像，车载控制器返回的起重机当前回转角度、变幅幅度及吊钩位置等参数以及将提取到的待定位目标轮廓高亮显示。

其中，超声波传感器、第一角度传感器、第二角度传感器及编码器均通过CAN总线与车载控制器及图像处理器通信连接，触摸屏设置在起重机驾驶室，以使得操作人员能实时观察吊钩周围的情况，便于操作。系统启动时，操作人员通过触摸屏观察吊钩周围情况，并控制起重机吊臂动作，直至吊装物出现在触摸屏画面中，停止控制起重机吊臂动作，操作人员通过在触摸屏上框选吊装物识别区，例如，框选区域可以是以目标为中心，以目标框直径的X倍为半径的圆，其倍数可根据实际情况确定，例如，当吊装物可能遮挡目标就位点时，可设置更大的倍数，使得框选区域内存在其他参照物以便根据其他参照物的相对位置关系计算吊钩的实际位置。当确定框选区域后，图像处理器提取目标轮廓并令其在触摸屏上高亮显示，操作人员点击“自动对位”按钮，图像处理器通过CAN总线获取起重机吊臂的回转角度、变幅幅度及吊钩位置数据，生成吊装路径，车载控制器依据吊装路径控制起重机的吊臂执行吊装作业，从而实现自动定位，当吊钩距离目标就位点达到预警距离时，通过触摸屏显示预警和报警信息。

本发明的第四方面，提供一种工程机械，包括以上的一种起重机吊钩定位系统。

本申请是参照根据本申请实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上结合附图详细描述了本发明的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。

本领域技术人员可以理解实现上述实施方式的方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (12)

1.一种起重机吊钩定位方法，其特征在于，包括：

获取起重机的当前状态信息以及第一图像，所述第一图像包括起重机的吊钩及待定位目标；

接收第一指令，依据所述第一指令在所述第一图像中选定所述待定位目标的识别区域，在所述待定位目标的识别区域中对待定位目标的图像进行轮廓提取；

依据经轮廓提取后的第一图像确定所述吊钩与所述待定位目标之间的相对位置，并判断所述吊钩与所述待定位目标之间的相对位置是否满足要求，若是，完成吊钩定位；否则，依据所述当前状态信息，以及所述吊钩和所述待定位目标之间的相对位置确定吊装路径；

控制所述起重机按照所述吊装路径执行吊钩定位，所述待定位目标包括吊装物或目标就位点。

2.根据权利要求1所述的起重机吊钩定位方法，其特征在于，所述第一图像通过设置在起重机吊臂上的摄像头采集，所述方法还包括：

获取所述摄像头的角度信息并依据所述角度信息控制所述摄像头，以使得所述摄像头的光轴垂直于地面。

3.根据权利要求1所述的起重机吊钩定位方法，其特征在于，所述方法还包括：

在吊钩定位过程中接收到障碍物检测信号的情况下，控制所述起重机停止吊钩定位。

4.根据权利要求2所述的起重机吊钩定位方法，其特征在于，所述在所述待定位目标的识别区域中对待定位目标的图像进行轮廓提取包括，基于所述待定位目标的识别区域提取吊钩轮廓及待定位目标轮廓，所述依据经轮廓提取后的第一图像确定所述吊钩与所述待定位目标的相对位置，包括：

基于所述第一图像建立平面坐标系；

获取所述吊钩轮廓中心点及待定位目标轮廓中心点在所述平面坐标系上的坐标，并转换为实际坐标；

依据单目测距法得到所述摄像头与所述待定位目标之间的距离；

获取所述吊钩位置及摄像头对地高度，依据所述吊钩位置、所述摄像头对地高度以及所述吊钩轮廓中心点的实际坐标，得到所述吊钩的三维坐标；

依据所述摄像头与所述待定位目标之间的距离、所述摄像头对地高度以及所述摄像头与所述待定位目标轮廓中心点的实际坐标，得到所述待定位目标的三维坐标；

依据所述吊钩的三维坐标及所述待定位目标的三维坐标确定所述吊钩与所述待定位目标的相对位置。

5.根据权利要求4所述的起重机吊钩定位方法，其特征在于，所述依据所述吊钩的三维坐标及所述待定位目标的三维坐标确定所述吊钩与所述待定位目标的相对位置，包括：

当所述待定位目标轮廓为目标就位点轮廓时，将所述吊装物位置作为所述吊钩位置，若所述第一图像中提取到吊装物轮廓，且所述吊装物轮廓与所述目标就位点轮廓之间的偏移量小于设定阈值时，提取参照物轮廓，依据所述参照物轮廓、所述目标就位点轮廓以及所述吊装物轮廓确定所述吊钩与所述目标就位点的相对位置。

6.一种起重机吊钩定位装置，其特征在于，包括：

数据采集单元，用于获取起重机的当前状态信息以及第一图像，所述第一图像包括起重机的吊钩及待定位目标；

吊装路径确定单元，用于接收第一指令，依据所述第一指令在所述第一图像中选定所述待定位目标的识别区域，在所述待定位目标的识别区域中对待定位目标的图像进行轮廓提取，以及依据经轮廓提取后的第一图像确定所述吊钩与所述待定位目标之间的相对位置，并判断所述吊钩与所述待定位目标之间的相对位置是否满足要求，若是，完成吊钩定位；否则，依据所述当前状态信息，以及所述吊钩和所述待定位目标之间的相对位置确定吊装路径；

吊钩定位执行单元，用于控制所述起重机按照所述吊装路径执行吊钩定位，所述待定位目标包括吊装物或目标就位点。

7.根据权利要求6所述起重机吊钩定位装置，其特征在于，所述第一图像通过设置在起重机吊臂上的摄像头采集，所述装置还包括：

摄像头控制单元，用于获取所述摄像头的角度信息并依据所述角度信息控制所述摄像头，以使得所述摄像头的光轴垂直于地面。

8.根据权利要求6所述起重机吊钩定位装置，其特征在于，所述吊钩定位执行单元还用于：

在吊钩定位过程中接收到障碍物检测信号的情况下，控制所述起重机停止吊钩定位。

9.根据权利要求7所述起重机吊钩定位装置，其特征在于，所述在所述待定位目标的识别区域中对待定位目标的图像进行轮廓提取包括，基于所述待定位目标的识别区域提取吊钩轮廓及待定位目标轮廓，所述吊装路径确定单元还用于：

基于所述第一图像建立平面坐标系；

获取所述吊钩轮廓中心点及待定位目标轮廓中心点在所述平面坐标系上的坐标，并转换为实际坐标；

依据单目测距法得到所述摄像头与所述待定位目标之间的距离；

获取所述吊钩位置及摄像头对地高度，依据所述吊钩位置、所述摄像头对地高度以及所述吊钩轮廓中心点的实际坐标，得到所述吊钩的三维坐标；

依据所述摄像头与所述待定位目标之间的距离、所述摄像头对地高度以及所述摄像头与所述待定位目标轮廓中心点的实际坐标，得到所述待定位目标的三维坐标；

依据所述吊钩的三维坐标及所述待定位目标的三维坐标确定所述吊钩与所述待定位目标的相对位置。

10.根据权利要求9所述起重机吊钩定位装置，其特征在于，所述吊装路径确定单元还用于：

当所述待定位目标轮廓为目标就位点轮廓时，将所述吊装物位置作为所述吊钩位置，若所述第一图像中提取到吊装物轮廓，且所述吊装物轮廓与所述目标就位点轮廓之间的偏移量小于设定阈值时，提取参照物轮廓，依据所述参照物轮廓、所述目标就位点轮廓以及所述吊装物轮廓确定所述吊钩与所述目标就位点的相对位置。

11.一种起重机吊钩定位系统，其特征在于，包括：

权利要求6-10中任一权利要求所述的起重机吊钩定位装置；

图像采集装置，用于采集第一图像；

初始状态检测装置，用于检测起重机的当前状态信息。

12.一种工程机械，其特征在于，包括权利要求11所述的起重机吊钩定位系统。

Images