CN212425180U - 吊装信息识别系统、吊装定位系统及吊装设备 - Google Patents

吊装信息识别系统、吊装定位系统及吊装设备 Download PDF

Info

Publication number
CN212425180U
CN212425180U CN202020571836.8U CN202020571836U CN212425180U CN 212425180 U CN212425180 U CN 212425180U CN 202020571836 U CN202020571836 U CN 202020571836U CN 212425180 U CN212425180 U CN 212425180U
Authority
CN
China
Prior art keywords
hoisting
arm support
hoist
angle
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202020571836.8U
Other languages
English (en)
Inventor
徐柏科
付玲
范卿
曾杨
郭纪梅
刘锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zoomlion Heavy Industry Science and Technology Co Ltd
Original Assignee
Zoomlion Heavy Industry Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zoomlion Heavy Industry Science and Technology Co Ltd filed Critical Zoomlion Heavy Industry Science and Technology Co Ltd
Priority to CN202020571836.8U priority Critical patent/CN212425180U/zh
Application granted granted Critical
Publication of CN212425180U publication Critical patent/CN212425180U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control And Safety Of Cranes (AREA)

Abstract

本实用新型涉及吊装技术领域,公开了一种吊装信息识别系统、吊装定位系统及吊装设备。所述系统包括:图像采集装置,所述图像采集装置被安装在吊装设备的臂架顶端,用于采集包括吊装过程中的目标对象上侧的预设标签在内的预设视野范围的俯视图像;以及信息识别装置,所述信息识别装置与所述图像采集装置相连接,用于基于所述预设视野范围的俯视图像及特定几何关系,识别所述吊装过程中的状态参数。由此,本实用新型可对吊装过程所涉及的状态信息进行有效识别,并且根据所识别的状态信息可实现自动吊装过程,例如不仅可防止吊钩摆角过大,还可实现吊装过程的有效定位。

Description

吊装信息识别系统、吊装定位系统及吊装设备
技术领域
本实用新型涉及吊装技术领域,具体地,涉及一种吊装信息识别系统、吊装定位系统及吊装设备。
背景技术
在起重机作业过程中,臂架所连接的钢丝绳会受吊钩或吊载的重力和惯性的影响,由此导致吊钩及其吊载总出现一定程度的摇摆。然而,吊钩的摇摆不利于起重机的起吊和放置吊载物,进而影响起重机的作业效率,同时,其也会给现场的人身安全和财产安全造成一定的威胁。针对此缺陷,现有技术主要采用多相机采集多个图像,然后对所采集的多个图像进行拼接和处理来实现对吊钩的姿态的测量。但上述方法比较繁琐,并且在对多个图像进行拼接和处理的过程中可能引进一定的误差,从而最终导致吊钩姿态的测量结果不准确。
实用新型内容
本实用新型的目的是提供一种吊装信息识别系统、吊装定位系统及吊装设备,其可对吊装过程所涉及的与目标对象相对应的吊装状态信息进行有效识别,并且根据所识别的吊装状态信息可实现自动吊装过程,例如不仅可防止吊钩摆角过大,还可实现吊装过程的有效定位。
为了实现上述目的,本实用新型第一方面提供一种吊装信息识别系统,所述吊装信息识别系统包括:图像采集装置,所述图像采集装置被安装在吊装设备的臂架顶端,用于采集包括吊装过程所涉及的目标对象上侧的预设标签在内的预设视野范围的俯视图像;以及信息识别装置,所述信息识别装置与所述图像采集装置相连接,用于基于所述预设视野范围的俯视图像及特定几何关系,识别所述吊装过程中的与所述目标对象相对应的吊装状态信息,其中所述特定几何关系与吊装设备的臂架顶端在所述俯视图像上的投影点及所述预设标签的几何点相关。
优选地,所述吊装信息识别系统还包括:无线传输装置,所述无线传输装置被安装在所述臂架上,用于将所述图像采集装置所采集的所述俯视图像无线传输至所述信息识别装置。
优选地,所述无线传输装置为无线网桥,所述无线网桥包括:被安装在所述臂架顶端的无线发送端;以及被安装在所述臂架的基础臂侧面且与所述无线发送端面对面设置的无线接收端。
优选地,所述图像采集装置为单目相机。
优选地,所述吊装信息识别系统还包括:角度传感器,所述角度传感器被安装在所述臂架顶端,用于采集所述臂架顶端的倾斜角;距离传感器,用于采集所述臂架顶端距地面的高度;以及第一控制装置,所述第一控制装置与所述角度传感器及所述第一距离传感器相连接,用于根据所述臂架顶端的倾斜角调整所述单目相机的角度,以使其光轴中心始终垂直于地面;并根据所述臂架顶端距地面的高度调节所述单目相机的焦距,以保持所述目标对象在所述俯视图像中的大小一致。
优选地,所述预设标签为无图形标签或棋盘格标签。
通过上述技术方案,本实用新型创造性地通过安装于臂架顶端的图像采集装置采集包括吊装过程中的目标对象上侧的预设标签在内的预设视野范围的俯视图像,然后通过与所述图像采集装置相连接的信息识别装置识别所述吊装过程中的与目标对象相对应的吊装状态信息,由此可对吊装过程所涉及的吊钩状态信息进行有效识别,根据所述吊装状态信息可实现自动吊装过程,例如不仅可防止吊钩摆角过大,还可实现吊装过程的有效定位。
本实用新型第二方面提供一种吊装定位系统,所述吊装定位系统包括:所述的吊装信息识别系统;以及第二控制装置,所述第二控制装置与所述吊装信息识别系统相连接,用于根据由所述吊装信息识别系统识别的所述吊装过程的与目标对象相对应的吊装状态信息,控制吊装设备的相应执行机构动作以实现自动吊装过程。
优选地,在所述吊装过程的与所述目标对象相对应的吊装状态信息为吊钩的摆角的情况下,所述吊装定位系统还包括:比较装置,所述比较装置与所述吊装信息识别系统及所述第二控制装置相连接,用于将所述吊钩的摆角与摆角阈值相比较,相应地,所述执行结构为臂架,所述第二控制装置用于在所述吊钩的摆角等于所述摆角阈值的情况下,控制对所述臂架施加与所述吊钩的摆角方向相反的力以防止所述吊钩的摆角过大。
优选地,在所述吊装过程的与所述目标对象相对应的吊装状态信息为吊钩运行至起吊点或就位点时所述吊装设备的目标回转角度、目标变幅长度及所述吊钩距目标对象的目标高度的情况下,所述吊装定位系统包括:当前信息获取装置,用于获取所述吊装设备的当前回转角度、当前变幅长度及所述吊钩对地面的当前高度,相应地,所述执行结构为回转机构、变幅机构和/或卷扬机构,所述第二控制装置用于执行以下操作:在所述目标回转角度与所述当前回转角度的差值等于回转角度阈值的情况下,控制所述回转机构停止回转动作;在所述目标变幅长度与所述当前变幅长度的差值等于变幅长度阈值的情况下,控制所述变幅机构停止变幅动作;以及在所述吊钩对地面的目标高度与所述吊钩对地面的当前高度的差值等于卷扬高度阈值的情况下,控制所述卷扬机构停止卷扬动作。
通过上述技术方案,本实用新型创造性地通过上述吊装信息识别系统识别与目标对象相对应的吊装状态信息,并由与所述吊装信息识别系统相连接的第二控制装置根据所识别的吊装状态信息控制吊装设备的相应执行机构动作,以实现自动吊装过程,由此,可实现自动吊装过程,例如不仅可防止吊钩摆角过大,还可实现吊装过程的有效定位。
本实用新型第三方面提供一种吊装设备,所述吊装设备包括:所述的吊装定位系统。
本实用新型的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本实用新型的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本实用新型,但并不构成对本实用新型的限制。在附图中:
图1是本实用新型实施例提供的吊装信息识别系统的结构图;
图2是本实用新型实施例提供的吊装信息识别系统的结构图;
图3是本实用新型实施例提供的起重机的结构示意图;
图4(a)、图4(b)及图4(c)分别是本实用新型实施例提供的棋盘格标签在不同俯视图像中呈现的示意图;
图5是本实用新型实施例提供的摆角检测示意图;
图6是本实用新型实施例提供的目标偏移量示意图;
图7是本实用新型实施例提供的目标高度计算示意图;
图8是本实用新型实施例提供的吊装定位系统的结构图;
图9是本实用新型实施例提供的臂架运行状态示意图;以及
图10是本实用新型实施例提供的吊装定位过程的流程图。
附图标记说明
1 无图形标签 2 棋盘格标签
10 图像采集装置 20 信息识别装置
30 单目相机 40 角度传感器
45 单轴角度传感器 50 第一距离传感器
60 第一控制装置 70 无线传输装置
72 无线发送端 74 无线接收端
80 第一当前信息获取装置 90 第二距离传感器
100 识别系统 200 第二控制装置
具体实施方式
以下结合附图对本实用新型的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本实用新型,并不用于限制本实用新型。
图1是本实用新型实施例提供的吊装信息识别系统100的结构图。如图1所示,所述吊装信息识别系统100可包括:图像采集装置10,所述图像采集装置被安装在吊装设备的臂架顶端,用于采集包括吊装过程中的目标对象上侧的预设标签在内的预设视野范围的俯视图像;以及信息识别装置20,所述信息识别装置20可与所述图像采集装置10相连接,用于基于所述预设视野范围的俯视图像及特定几何关系,识别所述吊装过程中的与所述目标对象相对应的吊装状态信息。其中所述特定几何关系可与吊装设备的臂架顶端在所述俯视图像上的投影点及所述预设标签的几何点相关。其中,所述目标对象可为吊钩、起吊点或就位点等。
其中,所述图像采集装置10可为被安装在所述臂架顶端的单目相机30,如图3所示。
相应地,如图2所示,所述吊装信息识别系统100还可包括:角度传感器40,所述角度传感器40可被安装在所述臂架顶端,用于采集所述臂架顶端的倾斜角;第一距离传感器50,用于采集所述臂架顶端距地面的高度;以及第一控制装置60,所述第一控制装置60可与所述角度传感器40及所述第一距离传感器50相连接,用于根据所述臂架顶端的倾斜角调整所述单目相机的角度,以使其光轴中心始终垂直于地面;并根据所述臂架顶端距地面的高度调节所述单目相机的焦距,以保持所述目标对象在所述俯视图像中的大小一致。在一实施例中,可在所述单目相机与臂架顶端自检设置云台(未示出),从而第一控制装置60可根据所述臂架顶端的倾斜角控制云台旋转,以调整所述单目相机的角度。
本实施例基于单目视觉的自决策变焦法,在吊装过程中结合臂架顶端对地面的高度实现自动变焦,实现了高度≥100m以上的起吊或就位目标的在线识别与精准定位,检测定位精度可达3cm。
如图3所示,角度传感器40可为单轴角度传感器45。当所述单轴角度传感器45采集的臂架顶端的倾斜角为0时,确保该单轴角度传感器45的轴向与吊装设备(例如,起重机)的车身方向一致,以保证其测量的角度数据的有效性;此时,所述第一控制装置60调整单目相机30的角度以使其镜头垂直朝下。当臂架幅长(变幅或缩/展臂的情况)发生变化时,臂架顶端的倾斜角也相应地发生变化,由此单轴角度传感器45所采集的倾斜角发生变化;然后,所述第一控制装置60根据所采集的倾斜角控制云台旋转,以将单目相机30的光轴中心调整至垂直于地面。与此同时,所述第一距离传感器50所采集的臂架顶端对地面的高度也相应地发生变化,由此所述第一控制装置60可根据所采集的高度值调节单目相机30的焦距,以使目标对象在所采集的图像画面中的大小一致,从而可保证所采集的图像的清晰度,进而可对该图像进行有效的识别以准确地识别相应的状态参数。例如,在目标对象为吊钩的情况下,所述预设视野范围至少包括所述预设标签所在的视野范围即可;而在目标对象为起吊点(或就位点)的情况下,所述预设视野范围至少包括起吊点(或就位点)与吊钩所在的视野范围。
如图2所示,所述吊装信息识别系统100还可包括:无线传输装置70,所述无线传输装置70可被安装在所述臂架上,用于将所述图像采集装置10所采集的所述俯视图像无线传输至所述信息识别装置20。由此,通过无线传输装置70可实现图像数据源的稳定可靠的远距离(例如,距离≥120m)传输,从而可有效地解决机手视野受限的问题,实时监控大空间范围吊装场景中的目标对象,进而起到辅助引导吊装的作用。其中,所述俯视图像可为俯视图片、俯视视频图像等。
在优选实施例中,所述无线传输装置70可为无线网桥。所述无线网桥可包括:被安装在所述臂架顶端的无线发送端72;以及被安装在所述臂架的基础臂侧面且与所述无线发送端72面对面设置的无线接收端74,如图3所示。其中,所述无线发送端72与无线接收端74的面对面设置可实现数据的最有效无线传输。
所述信息识别装置20基于所述预设视野范围的俯视图像及特定几何关系,识别所述吊装过程中的与所述目标对象相对应的吊装状态信息的具体过程可包括:基于所述预设视野范围的俯视图像,获取所述预设标签的像素大小;基于所述预设标签的像素大小与物理尺寸,计算单位像素的物理尺寸;以及基于所述单位像素的物理尺寸、所述预设视野范围的俯视图像及所述特定几何关系,计算所述吊装过程中的与所述目标对象相对应的吊装状态信息。其中,所述预设标签可为无图形标签或图形标签(例如棋盘格标签)。需说明的是,信息识别装置20在此是通过现有的视觉识别方法确定所述预设标签的像素大小和单位像素的物理尺寸,其完成的是常规计算,通过一般控制器进行适应性配置就能实现,且并不涉及关于控制器上的程序的实质改进。
对于无图形标签,信息识别装置20确定所述无图形标签在相应俯视图像的水平方向及垂直方向上所占的像素大小,分别为w1像素、h1像素;信息识别装置20根据所述无图形标签的像素大小w1像素、h1像素与相应的物理尺寸W1实际、H1实际,计算单位像素的水平物理尺寸及垂直物理尺寸分别为L像素x=W1实际/w1像素及L像素y=H1实际/h1像素(一般而言,L像素x约等于L像素y,下文公式(4)中的L像素=L像素x或L像素y)。
对于图形标签(以棋盘格标签为例),如图4(a)、4(b)及4(c)所示,圆点为检测到的目标特征角点,无论臂架运行在什么状态时,设棋盘格标签的横向上(沿AB、A1B1或A2B2方向)的两端处目标特征角点(可简称为最大内角点)之间的实际物理尺寸分别为W2实际、W’2实际及W”2实际;并且以图4(a)为例,棋盘格标签的横向上的最大内角点坐标分别为A(xa,ya)、B(xb,yb),故由信息识别装置20确定横向上的最大内角点之间的像素距离(即棋盘格标签横向上所占的像素大小)为:
Figure BDA0002453993670000081
棋盘格标签纵向上所占的像素大小与横向上所占的像素大小相等;由信息识别装置20根据所述棋盘格标签的像素大小lAB与相应的物理尺寸W2实际,计算单位像素的物理尺寸L像素=W2实际/lAB
因此,不论预设标签是否存在旋转,均可精准计算单位像素对应的物理尺寸。
在所述目标对象为吊钩且所述吊钩的状态信息为所述吊钩的摆角的情况下,所述信息识别装置20基于所述单位像素的物理尺寸、所述预设视野范围的俯视图像及所述特定几何关系,计算所述吊钩的摆角的具体过程可包括:基于所述预设视野范围的俯视图像,获取所述预设标签的中心相对于所述俯视图像的中心的像素坐标,其中所述俯视图像的中心为所述臂架顶端在该俯视图像上的投影点;以及基于所述预设标签的中心相对于所述俯视图像的中心的像素坐标、所述单位像素的物理尺寸、所述臂架顶端到所述吊钩的距离及第一三角关系,计算所述吊钩的摆角。
具体地,所述信息识别装置20基于所述预设标签的中心相对于所述俯视图像的中心的像素坐标及所述单位像素的物理尺寸,计算所述预设标签的中心到所述俯视图像的中心的实际距离;所述信息识别装置20可与所述距离计算组件相连接,用于基于所述预设标签的中心到所述俯视图像的中心的实际距离、所述臂架顶端到所述吊钩的距离及所述第一三角关系,计算所述吊钩的摆角。
其中,所述信息识别装置20计算所述吊钩的摆角包括:根据正弦公式(1)计算所述吊钩的摆角γ,
Figure BDA0002453993670000091
其中,LDB为所述预设标签的中心到所述俯视图像的中心的实际距离;LOB为所述臂架顶端到所述吊钩的距离。
需说明的是,信息识别装置20对所述吊钩的摆角的计算是常规计算,通过一般控制器进行适应性配置就能实现,且并不涉及关于控制器上的程序的实质改进。
具体而言,如图5所示,以臂架顶端在图像平面上的投影点为原点,图像水平中轴线为X轴,垂直中轴线为Y轴以及垂直于图像平面方向为Z轴,建立三维坐标系(本文如无特别说明,三维坐标系均相同),包括吊钩上侧的无图形标签1在内的预设视野范围的俯视图像所在的平面与XY平面相平行,且该俯视图像的中心D点为臂架顶端O点在该俯视图像上的投影点。根据所述俯视图像,可获取无图形标签1的中心B点相对于D点的像素坐标w1偏移、h1偏移,由此,可根据w1偏移、h1偏移及单位像素在水平方向与垂直方向上的物理尺寸,计算直角三角形BCD的边DC的长度LDC与边BC的长度LBC;然后在直角三角形BCD中,根据勾股定理计算B点到D点的实际距离
Figure BDA0002453993670000092
然后,在直角三角形ODB中,根据DB及臂架顶端到吊钩的距离LOB,结合上述正弦公式(1)可计算得到所述吊钩的摆角
Figure BDA0002453993670000101
当然,在直角三角形BCD中,还可计算得到摆角的水平方位角θ=arccos(L像素x*w1偏移/LDB)*180/π。
当然,在上述实施例中,可将无图形标签替换为棋盘格标签或其他合适的标签,并且可将上述用于计算吊钩摆角的第一三角关系中的预设标签的中心替换为该预设标签中的其他任意几何点。
上述实施例在吊钩上侧(例如在吊钩的滑轮上侧)安装标签,通过视觉识别方法及相应的几何关系推导方法相结合的方式,实现在线实时计算吊钩的偏摆角度。上述系统具备成本低、计算复杂度低、具有实时性与可靠性等优点,其可应用到吊钩防摆控制中,从而实现平稳吊装。
在本实用新型其他实施例中,还通过视觉识别技术结合多传感器检测的数据识别目标对象相对臂架顶端在俯视图像上的投影点的相对位置偏移向量ΔX、ΔY及所述吊钩距所述目标对象上侧的预设标签的目标高度ΔZ。由此,可进而根据ΔX、ΔY及ΔZ可获取所述吊钩运行至目标对象时所述吊装设备的目标回转角度、目标变幅长度及所述吊钩距所述目标对象上侧的预设标签的目标高度。
首先,介绍识别目标对象相对臂架顶端在俯视图像上的投影点的相对位置偏移向量ΔX、ΔY的过程。
如图2所示,所述吊装信息识别系统100还可包括:第一当前信息获取装置80,用于获取所述吊装设备的当前回转角度与当前变幅长度。相应地,在所述目标对象为起吊点或就位点且所述吊装状态信息为所述吊钩运行至所述起吊点或所述就位点时所述吊装设备的目标回转角度及目标变幅长度的情况下,所述信息识别装置20基于所述单位像素的物理尺寸、所述预设视野范围的俯视图像及所述特定几何关系,计算所述目标回转角度及所述目标变幅长度的具体过程可包括:基于所述预设视野范围内的俯视图像,获取所述预设标签的中心相对于所述俯视图像的中心的像素坐标,其中所述俯视图像的中心为所述臂架顶端在该俯视图像上的投影点;以及基于所述预设标签的中心相对于所述俯视图像的中心的像素坐标、所述单位像素的物理尺寸、所述吊装设备的当前回转角度与当前变幅长度及第二三角关系,计算所述吊钩运行至所述起吊点或所述就位点时所述吊装设备的目标回转角度及目标变幅长度。
具体地,所述信息识别装置20基于所述预设标签的中心相对于所述俯视图像的中心的像素坐标及所述单位像素的物理尺寸,计算所述预设标签的中心相对于所述俯视图像的中心的物理坐标;所述信息识别装置20基于所述预设标签的中心相对于所述俯视图像的中心的物理坐标、所述吊装设备的当前回转角度与当前变幅长度及所述第二三角关系,计算所述吊钩运行至所述起吊点或所述就位点时所述吊装设备的目标回转角度;以及所述信息识别装置20基于所述预设标签的中心相对于所述俯视图像的中心的物理坐标、所述吊装设备的当前变幅长度及所述第二三角关系,计算所述吊钩运行至所述起吊点或所述就位点时所述吊装设备的目标变幅长度。
其中,所述信息识别装置20计算所述吊钩运行至所述起吊点或所述就位点时所述吊装设备的目标回转角度包括:基于所述预设标签的中心相对于所述俯视图像的中心的物理坐标(ΔX,ΔY)、吊装设备的当前回转角度θ当前与当前变幅长度R当前及公式(2),计算所述运行至所述起吊点或所述就位点时所述吊装设备的目标回转角度θ目标
Figure BDA0002453993670000111
其中,所述信息识别装置20计算所述运行至所述起吊点或所述就位点时所述吊装设备的目标变幅长度包括:基于所述预设标签的中心相对于所述图像的中心的物理坐标(ΔX,ΔY)、吊装设备的当前变幅长度R当前及公式(3),计算所述吊钩运行至所述起吊点或所述就位点时所述吊装设备的目标变幅长度,
Figure BDA0002453993670000121
需说明的是,信息识别装置20对所述吊钩运行至所述起吊点或所述就位点时所述吊装设备的目标回转角度及目标变幅长度的计算是常规计算,通过一般控制器进行适应性配置就能实现,且并不涉及关于控制器上的程序的实质改进。
具体而言,图6所示为包括吊钩上侧的棋盘格标签2在内的预设视野范围的俯视图像所在的平面,且该俯视图像的中心D点(xD,yD)为臂架顶端O点在该俯视图像上的投影点,棋盘格标签2的中心C点所对应的角点的像素坐标为(xC,yC)。其中,所述吊装设备的当前回转角度与当前变幅长度可分别通过回转角度传感器及长度传感器采集获取。
根据所述俯视图像,可推算出中心C点相对于D点在水平与垂直方向的物理位置偏移ΔX、ΔY分别为:ΔX=(xC-xD)*L像素;以及ΔY=(yC-yD)*L像素。然后,在直角三角形EFC中,根据当前回转角度θ当前及当前变幅长度R当前,可推算目标回转角度
Figure BDA0002453993670000122
根据当前变幅长度R当前,可推算目标变幅长度
Figure BDA0002453993670000123
依据棋盘格标签2的中心C点对应的角点像素坐标(xC,yC)相对于俯视图像的中心D(xD,yD)的物理位置偏移ΔX、ΔY,确定所述臂架的运动方向:xC–xD>0:臂架左回转;xC–xD<0:臂架右回转;yC–yD>0:臂架起变幅;以及yC–yD<0:臂架落变幅。
接着,介绍识别所述吊钩距所述目标对象上侧的预设标签的目标高度ΔZ的过程。
如图2所示,所述吊装信息识别系统100还可包括:第二距离传感器90,用于采集所述吊钩距地面的高度。相应地,在所述目标对象为起吊点或就位点且所述吊装状态信息为所述吊钩距所述目标对象上侧的预设标签的目标高度的情况下,所述信息识别装置20基于所述单位像素的物理尺寸、所述预设视野范围的俯视图像及所述特定几何关系,计算所述目标高度的具体过程可包括:获取所述臂架顶端距所述目标对象上侧的预设标签的高度;根据所述臂架顶端距地面的高度及所述吊钩距地面的高度,获取所述臂架顶端距所述吊钩的高度;以及根据所述臂架的顶端距离所述目标对象上侧的预设标签的高度及所述臂架的顶端距离所述吊钩的高度,计算所述吊钩距所述目标对象上侧的预设标签的目标高度。其中,所述信息识别装置20所获取的数据可由力限器进行采集并发送。
其中,所述信息识别装置20获取所述臂架顶端距所述目标对象上侧的预设标签的高度可包括:根据公式(4)计算所述臂架顶端距所述目标对象上侧的预设标签的高度H1,
H1=L像素*f (4),
其中,f为所述单目相机的焦距;以及L像素为所述单位像素的物理尺寸。
具体而言,如图7所示,所述目标对象以起吊点为例,根据单目相机的成像原理,通过公式(4)计算出相机(或臂架顶端)相对起吊点的高度H1;然后求取所述臂架顶端距地面的高度H臂架与所述吊钩距地面的高度H吊钩之差,以得到所述臂架的顶端距所述吊钩的高度H2;最后求取相机(或臂架顶端)相对起吊点的距离H1与所述臂架的顶端距所述吊钩的高度H2之差,以得到所述吊钩距所述目标对象上侧的预设标签的目标高度ΔZ=H1-H2=H1-(H臂架-H吊钩)。需说明的是,信息识别装置20对所述目标高度的计算是常规计算,通过一般控制器进行适应性配置就能实现,且并不涉及关于控制器上的程序的实质改进。
根据所述吊钩距所述目标对象上侧的预设标签的目标高度ΔZ,判定卷扬机构升降(起落)方向:当Z>0时,卷扬落(降);当Z<0时,卷扬起(升)。
当然,在上述各个实施例中,可将棋盘格标签替换为无图形标签或其他合适的标签,并且可将上述用于计算吊钩运行至所述起吊点或所述就位点时所述吊装设备的目标变幅长度与目标回转角度的三角关系中的预设标签的中心替换为该预设标签中的其他任意几何点。
上述各个实施例可适用于地面吊装、高台吊装及侧面吊装等各类复杂吊装场景,通过实时在线目标检测,解算出吊装物或就位点的目标回转角度、目标变幅长度等状态参数,对吊钩进行控制定位,可实现吊装物或就位点被遮挡时的精准定位问题。
综上所述,本实用新型创造性地通过安装于臂架顶端的图像采集装置采集包括吊装过程中的目标对象上侧的预设标签在内的预设视野范围的俯视图像,然后通过与所述图像采集装置相连接的信息识别装置识别所述吊装过程中的与所述目标对象相对应的吊装状态信息,由此可对吊装过程所涉及的吊装状态信息进行有效识别,根据所述状态参数可实现自动吊装过程,例如不仅可防止吊钩摆角过大,还可实现吊装过程的有效定位。
如图8所示,本实用新型实施例还提供一种吊装定位系统的结构图。所述吊装定位系统可包括:所述的吊装信息识别系统;以及第二控制装置200,所述第二控制装置200可与所述吊装信息识系统100相连接,用于根据由所述吊装信息识别系统100获取的所述吊装过程的与所述目标对象相对应的吊装状态信息,控制吊装设备的相应执行机构动作以实现自动吊装过程。
在所述吊装过程的与所述目标对象相对应的吊装状态信息为吊钩的摆角的情况下,所述吊装定位系统还可包括:比较装置(未示出),所述比较装置(未示出)与所述吊装信息识别系统100及所述第二控制装置200相连接,用于将所述吊钩的摆角与摆角阈值相比较。相应地,所述执行结构为臂架,所述第二控制装置200用于在所述吊钩的摆角等于所述摆角阈值的情况下,控制对臂架施加与所述吊钩的摆角方向相反的力以防止所述吊钩的摆角过大。本实施例的实现方式简单,并且可有效地进行吊钩防摇控制。
在所述吊装过程的与所述目标对象相对应的吊装状态信息为吊钩运行至起吊点或就位点时所述吊装设备的目标回转角度、目标变幅长度及所述吊钩距目标对象的目标高度的情况下,所述第二控制装置200用于控制所述吊装设备的相应执行机构动作包括:根据所述吊装设备的当前回转角度、当前变幅长度及所述吊钩对地面的当前高度、所述目标回转角度、所述目标变幅长度及所述吊钩距所述目标对象上侧的预设标签的目标高度,控制所述吊装设备的相应执行机构动作以使得所述吊钩运行至所述起吊点或所述就位点。在所述目标对象为起吊点的情况下,由于吊载物本身的高度已知,故可根据所述吊钩对地面的当前高度及所述吊载物本身的高度之间,计算得出所述吊钩距所述目标对象上侧的预设标签的当前高度。
由于图像无线传输、图像识别及控制执行等过程均需要花费一定时间,而在该时间内,臂架(吊钩)在运动,由此导致定位结果计算值与吊钩的当前位置不一致。因此,为保证定位的精度,还可采用一定的减速控制策略,完成自动化的精准吊装。
在本实用新型的优选实施例中,所述第二控制装置200用于控制所述吊装设备的相应执行机构动作可包括:通过预设策略提前控制所述相应执行机构停止动作,以使得所述吊钩准确地运行至所述起吊点或所述就位点。
具体地,所述吊装定位系统还可包括:第二当前信息获取装置(未示出),用于获取所述吊装设备的当前回转角度、当前变幅长度及所述吊钩对地面的当前高度。相应地,所述执行结构为回转机构、变幅机构和/或卷扬机构,所述第二控制装置200可用于执行以下操作:在所述目标回转角度与所述当前回转角度的差值等于阈值角度的情况下,控制回转机构停止回转动作;在所述目标变幅长度与所述当前变幅长度的差值等于阈值长度的情况下,控制变幅机构停止变幅动作;以及在所述吊钩对地面的目标高度与所述吊钩对地面的当前高度的差值等于阈值高度的情况下,控制卷扬机构停止卷扬动作。其中,所述第二当前信息获取装置与所述第一当前信息获取装置80可为同一个装置。
具体而言,如图9所示,时间t为图像传输延迟时间、图像处理延迟时间即控制延迟时间的总和,速度V为起重机匀速运行的速度,纵坐标轴可表示回转角度、变幅长度或卷扬高度。在控制相应的执行机构停止运行之后,在起重机减速运行期间还可运行相应的阈值参量(例如,回转角度阈值θ阈值、变幅长度阈值R阈值和卷扬高度阈值Z阈值)。其中,回转角度阈值θ阈值、变幅长度阈值R阈值和卷扬高度阈值Z阈值,可通过起重机的运行控制曲线、控制电流等特性来获取。
上述实施例以检测的目标回转角度、目标变幅长度、卷扬高度参数和当前臂架动作对应值进行实时逼近运算,从而实现控制定位(定位精度达10cm)。
此外,所述吊装定位系统还可包括:显示装置(未示出),用于以高亮框选跟踪的方式显示所述目标对象的运行姿态。其中,所述显示装置可被安装在吊装设备的驾驶室内,其可为工业触摸显示屏、电脑显示屏或移动终端的显示屏等设备。具体地,在起重机的臂架运动过程中,显示装置可通过高亮框选的方式跟踪显示目标对象,并通过一键触控相应的定位功能,可实时监控吊装场景画面,从而引导机手做出有效动作,与此同时,给予起重机运动状态的显示。
所述第一控制装置60及第二控制装置200可为通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、可编程逻辑控制器(PLC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)、状态机等等。并且,所述第一控制装置60及第二控制装置200可为单独的部件,也可为同一部件,且所述第一控制装置60及第二控制装置200可被安装在所述吊装设备的驾驶室内。
下面对起重机的吊装定位过程进行说明和解释,如图10所示。
具体地,所述吊装定位过程可包括步骤S1001-S1010。
步骤S1001,分别采集吊钩上侧的无图形标签1在内的预设视野范围的俯视图像A与起吊点(或就位点)上侧的棋盘格标签2在内的预设视野范围内的俯视图像B。
其中,俯视图像A与俯视图像B所在的平面不同(即不共面)。
步骤S1002,分别根据无图形标签1与棋盘格标签2的像素大小、物理尺寸,计算各自的单位像素的物理尺寸,并执行步骤S1003及步骤S1007。
步骤S1003,根据无图形标签1的中心相对于俯视图像A的中心的像素坐标及所述无图形标签1的单位像素的物理尺寸,计算所述无图形标签1到俯视图像A的中心的实际距离。
当然,还可在该步骤S1003中计算出摆角的水平方位角θ。
步骤S1004,获取力限器卷扬下放的绳长,以获取所述臂架顶端到所述吊钩的距离。
步骤S1005,根据所述无图形标签1的中心到俯视图像A的中心的实际距离、所述臂架顶端到所述吊钩的距离及相应的三角关系,计算所述吊钩的摆角。
步骤S1006,根据所述吊钩的摆角及摆角阈值,控制控制臂架的运行姿态。
步骤S1007,根据棋盘格标签2的中心相对于俯视图像B的中心的像素坐标及所述棋盘格标签2的单位像素的物理尺寸,计算所述棋盘格标签2的中心相对于所述俯视图像B的中心的物理坐标。
步骤S1008,根据所述棋盘格标签2的中心相对于所述俯视图像B的中心的物理坐标、所述起重机的当前回转角度与当前变幅长度及相应的三角关系,计算所述起重机的目标回转角度与目标变幅长度。
步骤S1009,计算吊钩距起吊点(或就位点)的目标高度。
步骤S1010,根据所述起重机的目标回转角度、目标变幅长度、吊钩距起吊点(或就位点)的目标高度及所述起重机相应的当前状态参数,采用预设策略控制相应执行机构动作,以使得吊钩准确定位到起吊点(或就位点)。
本实用新型实施例可通过视觉与多传感融合技术实现目标对象的自动锁定与控制定位,提升了作业安全性,使得起重机具备环境感知与自主决策功能,实现了无人自动化的吊装功能。也就是说,上述吊装过程可提升起重机的环境感知能力和自动化水平,从而有效地提高起重机的工作效率。
综上所述,本实用新型创造性地通过上述吊装信息识别系统获取的与目标对象相对应的吊装状态信息,并由与所述吊装信息识别系统相连接的第二控制装置根据所识别的吊装状态信息控制吊装设备的相应执行机构动作,以实现自动吊装过程,由此,可实现自动吊装过程,例如不仅可防止吊钩摆角过大,还可实现吊装过程的有效定位。
本实用新型实施例还提供一种吊装设备,所述吊装设备可包括:所述的吊装定位系统。
以上结合附图详细描述了本实用新型的优选实施方式,但是,本实用新型并不限于上述实施方式中的具体细节,在本实用新型的技术构思范围内,可以对本实用新型的技术方案进行多种简单变型,这些简单变型均属于本实用新型的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本实用新型对各种可能的组合方式不再另行说明。
此外,本实用新型的各种不同的实施方式之间也可以进行任意组合,只要其不违背本实用新型的思想,其同样应当视为本实用新型所公开的内容。

Claims (10)

1.一种吊装信息识别系统,其特征在于,所述吊装信息识别系统包括:
图像采集装置,所述图像采集装置被安装在吊装设备的臂架顶端,用于采集包括吊装过程中的目标对象上侧的预设标签在内的预设视野范围的俯视图像;以及
信息识别装置,所述信息识别装置与所述图像采集装置相连接,用于基于所述预设视野范围的俯视图像及特定几何关系,识别所述吊装过程中的与所述目标对象相对应的吊装状态信息。
2.根据权利要求1所述的吊装信息识别系统,其特征在于,所述吊装信息识别系统还包括:
无线传输装置,所述无线传输装置被安装在所述臂架上,用于将所述图像采集装置所采集的所述俯视图像无线传输至所述信息识别装置。
3.根据权利要求2所述的吊装信息识别系统,其特征在于,所述无线传输装置为无线网桥,
所述无线网桥包括:被安装在所述臂架顶端的无线发送端;以及被安装在所述臂架的基础臂侧面且与所述无线发送端面对面设置的无线接收端。
4.根据权利要求1所述的吊装信息识别系统,其特征在于,所述图像采集装置为单目相机。
5.根据权利要求4所述的吊装信息识别系统,其特征在于,所述吊装信息识别系统还包括:
角度传感器,所述角度传感器被安装在所述臂架顶端,用于采集所述臂架顶端的倾斜角;
距离传感器,用于采集所述臂架顶端距地面的高度;以及
第一控制装置,所述第一控制装置与所述角度传感器及所述距离传感器相连接,用于根据所述臂架顶端的倾斜角调整所述单目相机的角度,以使其光轴中心始终垂直于地面;并根据所述臂架顶端距地面的高度调节所述单目相机的焦距,以保持所述目标对象在所述俯视图像中的大小一致。
6.根据权利要求1所述的吊装信息识别系统,其特征在于,所述预设标签为无图形标签或棋盘格标签。
7.一种吊装定位系统,其特征在于,所述吊装定位系统包括:
根据权利要求1-6中的任一项权利要求所述的吊装信息识别系统;以及
第二控制装置,所述第二控制装置与所述吊装信息识别系统相连接,用于根据由所述吊装信息识别系统识别的所述吊装过程的与目标对象相对应的吊装状态信息,控制吊装设备的相应执行机构动作以实现自动吊装过程。
8.根据权利要求7所述的吊装定位系统,其特征在于,在所述吊装过程的与所述目标对象相对应的吊装状态信息为吊钩的摆角的情况下,所述吊装定位系统还包括:
比较装置,所述比较装置与所述吊装信息识别系统及所述第二控制装置相连接,用于将所述吊钩的摆角与摆角阈值相比较,
相应地,所述相应执行结构为臂架,所述第二控制装置用于,在所述吊钩的摆角等于所述摆角阈值的情况下,控制对所述臂架施加与所述吊钩的摆角方向相反的力以防止所述吊钩的摆角过大。
9.根据权利要求7所述的吊装定位系统,其特征在于,在所述吊装过程的与所述目标对象相对应的吊装状态信息为吊钩运行至起吊点或就位点时所述吊装设备的目标回转角度、目标变幅长度及所述吊钩距目标对象的目标高度的情况下,
所述吊装定位系统包括:当前信息获取装置,用于获取所述吊装设备的当前回转角度、当前变幅长度及所述吊钩对地面的当前高度,
相应地,所述相应执行结构为回转机构、变幅机构和/或卷扬机构,所述第二控制装置用于执行以下操作
在所述目标回转角度与所述当前回转角度的差值等于回转角度阈值的情况下,控制所述回转机构停止回转动作;
在所述目标变幅长度与所述当前变幅长度的差值等于变幅长度阈值的情况下,控制所述变幅机构停止变幅动作;和/或
在所述吊钩对地面的目标高度与所述吊钩对地面的当前高度的差值等于卷扬高度阈值的情况下,控制所述卷扬机构停止卷扬动作。
10.一种吊装设备,其特征在于,所述吊装设备包括:根据权利要求7-9中的任一项权利要求所述的吊装定位系统。
CN202020571836.8U 2020-04-16 2020-04-16 吊装信息识别系统、吊装定位系统及吊装设备 Active CN212425180U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202020571836.8U CN212425180U (zh) 2020-04-16 2020-04-16 吊装信息识别系统、吊装定位系统及吊装设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202020571836.8U CN212425180U (zh) 2020-04-16 2020-04-16 吊装信息识别系统、吊装定位系统及吊装设备

Publications (1)

Publication Number Publication Date
CN212425180U true CN212425180U (zh) 2021-01-29

Family

ID=74298278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202020571836.8U Active CN212425180U (zh) 2020-04-16 2020-04-16 吊装信息识别系统、吊装定位系统及吊装设备

Country Status (1)

Country Link
CN (1) CN212425180U (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113003415A (zh) * 2021-02-02 2021-06-22 北京拓疆者智能科技有限公司 一种塔吊自稳定控制方法及系统
CN113280805A (zh) * 2021-04-14 2021-08-20 中联重科股份有限公司 用于识别臂架姿态的方法、处理器、装置及工程机械
CN113955640A (zh) * 2021-10-19 2022-01-21 中联恒通机械有限公司 基于机器视觉的吊具精准定位系统及方法
CN114571494A (zh) * 2022-03-18 2022-06-03 贵州航天天马机电科技有限公司 一种基于视觉引导的多自由度通用重载吊装机械手结构

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113003415A (zh) * 2021-02-02 2021-06-22 北京拓疆者智能科技有限公司 一种塔吊自稳定控制方法及系统
CN113003415B (zh) * 2021-02-02 2023-01-10 北京拓疆者智能科技有限公司 一种塔吊自稳定控制方法及系统
CN113280805A (zh) * 2021-04-14 2021-08-20 中联重科股份有限公司 用于识别臂架姿态的方法、处理器、装置及工程机械
CN113280805B (zh) * 2021-04-14 2023-03-17 中联重科股份有限公司 用于识别臂架姿态的方法、处理器、装置及工程机械
CN113955640A (zh) * 2021-10-19 2022-01-21 中联恒通机械有限公司 基于机器视觉的吊具精准定位系统及方法
CN114571494A (zh) * 2022-03-18 2022-06-03 贵州航天天马机电科技有限公司 一种基于视觉引导的多自由度通用重载吊装机械手结构

Similar Documents

Publication Publication Date Title
CN111204662B (zh) 用于识别状态参数的系统、吊装定位系统及吊装设备
CN212425180U (zh) 吊装信息识别系统、吊装定位系统及吊装设备
JP2021054660A (ja) 自動パッケージ登録メカニズムを備えたロボットシステム、および、その動作方法
EP2436637B1 (en) Hook pose detecting equipment and crane
JP5488882B2 (ja) 固定映像表示システム
CN110869306B (zh) 用于远程起重机控制的装置和方法
WO2015154508A1 (zh) 塔机视频监控控制设备、方法、系统及塔机
JP5380747B2 (ja) 吊荷下方の監視システム及び監視方法
US9776838B2 (en) Crane motion control
CN103072894A (zh) 臂架动态参数检测方法及系统
US11034556B2 (en) Method of monitoring at least one crane
CN114348887B (zh) 基于塔吊回转动作模型的智能监控预警系统及方法
CN114604761A (zh) 实现智能塔吊辅助的操控安全性警示系统及方法
US20220041411A1 (en) Crane inspection system and crane
CN114890280A (zh) 一种吊具的检测对准方法和装置
JP2000255978A (ja) クレーン位置検出システム
CN111137789B (zh) 一种建筑起重机安全控制系统及方法
CN115072564A (zh) 一种自动跟踪起重机吊载位置的装置及方法
CN111496795B (zh) 一种抓取多层物料的方法及装置
CN114753256A (zh) 一种基于机器视觉的钢梁吊装监控系统及其方法
JP7351231B2 (ja) 吊荷監視装置、クレーン、吊荷監視方法及びプログラム
CN114604756A (zh) 用于智能塔吊运行数据的云端信息系统及其方法
TWI520896B (zh) Image tracking method for reducing computational load
KR20050007241A (ko) 컨테이너의 자동랜딩을 위한 스프레더의 절대위치검출방법 및 알고리즘
CN107804792A (zh) 桥式起重机的自动定位成像装置

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant