CN116503850A - 一种识别吊物轮廓的方法、装置、设备及可读存储介质 - Google Patents

一种识别吊物轮廓的方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN116503850A
CN116503850A CN202310272063.1A CN202310272063A CN116503850A CN 116503850 A CN116503850 A CN 116503850A CN 202310272063 A CN202310272063 A CN 202310272063A CN 116503850 A CN116503850 A CN 116503850A
Authority
CN
China
Prior art keywords
point cloud
cloud map
real
representing
tower crane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310272063.1A
Other languages
English (en)
Inventor
周孺
郑光利
田均鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shuili Intelligent Building Technology Co ltd
Original Assignee
Beijing Shuili Intelligent Building Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shuili Intelligent Building Technology Co ltd filed Critical Beijing Shuili Intelligent Building Technology Co ltd
Priority to CN202310272063.1A priority Critical patent/CN116503850A/zh
Publication of CN116503850A publication Critical patent/CN116503850A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Control And Safety Of Cranes (AREA)

Abstract

本发明公开了一种识别吊物轮廓的方法、装置、设备及可读存储介质，该方法包括：在塔吊未使用时，获取表征塔吊工作区域内地面信息的静态点云地图；在所述塔吊使用时，获取表征塔吊小车下方区域的实时点云地图；比较所述静态点云地图和所述实时点云地图，将仅存在于所述实时点云地图而不存在于所述静态点云地图的点形成差异点云地图；利用预设聚类算法从所述差异点云地图中聚类出表征吊钩上端钢丝绳的点云、表征吊钩的点云、表征吊绳的点云、和表征吊物的点云；根据所述表征吊物的点云中每个点的位置信息计算出吊物的轮廓信息；本发明能够自动化的计算出吊物的轮廓大小，不仅高效且准确性较好。

Description

一种识别吊物轮廓的方法、装置、设备及可读存储介质
技术领域
本发明涉及图像识别技术领域，特别涉及一种识别吊物轮廓的方法、装置、设备及可读存储介质。
背景技术
在使用塔吊的过程中，即便知道了一个吊次的起点位置和终点位置，也不能规划出一个安全且有效的运行路径，还需要知道吊物的轮廓大小，从而规划出可以避免吊物与塔吊工作区域内的障碍物发生碰撞的安全运行路径；在现有技术中，需要工作人员自己事先获取吊物的轮廓大小并手动输入到规划运行路径的终端中，过程较为繁琐。因此，如何自动化的获取吊物的轮廓大小以便于后期进行路径规划，成为了本领域技术人员亟需解决的技术问题。
发明内容
本发明的目的在于提供一种识别吊物轮廓的方法、装置、设备及可读存储介质，能够自动化的计算出吊物的轮廓大小，不仅高效且准确性较好。
根据本发明的一个方面，提供了一种识别吊物轮廓的方法，所述方法包括：
在塔吊未使用时，获取表征塔吊工作区域内地面信息的静态点云地图；
在所述塔吊使用时，获取表征塔吊小车下方区域的实时点云地图；
比较所述静态点云地图和所述实时点云地图，将仅存在于所述实时点云地图而不存在于所述静态点云地图的点形成差异点云地图；
利用预设聚类算法从所述差异点云地图中聚类出表征吊钩上端钢丝绳的点云、表征吊钩的点云、表征吊绳的点云、和表征吊物的点云；
根据所述表征吊物的点云中每个点的位置信息计算出吊物的轮廓信息。
可选的，所述静态点云地图、所述实时点云地图、所述差异点云地图均采用预设的塔吊坐标系；其中，所述塔吊坐标系是以所述塔吊与地面的交点作为原点、以正东方向作为X轴、以正北方向作为Y轴、以垂直于地面且向上方向作为Z轴建立的。
可选的，所述比较所述静态点云地图和所述实时点云地图，将仅存在于所述实时点云地图而不存在于所述静态点云地图的点形成差异点云地图，包括：
获取所述塔吊小车在所述塔吊坐标系中的当前坐标位置；
以所述当前坐标位置为定位点，从所述静态点云地图中截取出参考点云地图；其中，所述参考点云地图表征的地面区域与所述实时点云地图表征的地面区域相同；
比较所述参考点云地图和所述实时点云地图，将仅存在于所述实时点云地图而不存在于所述参考点云地图的点形成所述差异点云地图。
可选的，所述以所述当前坐标位置为定位点，从所述静态点云地图中截取出参考点云地图，包括：
将所述当前坐标位置中的X轴坐标和Y轴坐标设置为参考点，并根据所述实时点云地图对应的地面区域的大小设置参考半径；
将所述静态点云地图中每个点的X轴坐标和Y轴坐标形成第一集合，并创建空的第二集合；
依次遍历所述第一集合中的各个点，并判断当前遍历到的点与所述参考点的距离是否小于所述参考半径；
若是，则将当前遍历到的点添加到所述第二集合中，若否，则遍历所述第一集合中的下个点；
当遍历完所述第一集合中的所有点时，根据所述第二集合中的所有点形成所述参考点云地图。
可选的，所述比较所述参考点云地图和所述实时点云地图，将仅存在于所述实时点云地图而不存在于所述参考点云地图的点形成所述差异点云地图，包括：
将所述参考点云地图和所述实时点云地图输入到迭代最近点ICP算法中，以得到用于对所述实时点云地图进行对齐调整的旋转参数R*和平移参数t*；
按照如下公式对所述实时点云地图进行对齐调整，以得到标准实时点云地图：
标准实时点云地图＝实时点云地图×R*+t*；
将所述标准实时点云地图、所述参考点云地图和预设距离阈值输入到K-Dimensional树匹配算法中，以确定出所述差异点云地图。
可选的，所述利用预设聚类算法从所述差异点云地图中聚类出表征吊钩上端钢丝绳的点云、表征吊钩的点云、表征吊绳的点云、和表征吊物的点云，包括：
获取基于欧式聚类算法事先训练得到的聚类模型；
将所述差异点云地图中每个点在所述塔吊坐标系中的三维坐标位置输入到所述聚类模型中，以得到表征吊钩上端钢丝绳的点云、表征吊钩的点云、表征吊绳的点云、和表征吊物的点云。
可选的，所述根据所述表征吊物的点云中每个点的位置信息计算出吊物的轮廓信息，包括：
获取所述表征吊物的点云中每个点在所述塔吊坐标系中的三维坐标位置，并将最大Z轴坐标与最小Z轴坐标的差值作为所述吊物的高度；
根据所述表征吊物的点云中每个点的X轴坐标和Y轴坐标，得到二维图像；
按照预设值N，将所述二维图像划分为N×N个图块，并计算每个图块的主方向角度；
根据所有图块的主方向角度计算出所述二维图像的主方向角度；
按照所述二维图像的主方向角度旋转所述二维图像，以得到标准二维图像；
根据所述标准二维图像中位于左上角的点和位于右下角的点计算出所述吊物的长度和宽度。
为了实现上述目的，本发明还提供一种识别吊物轮廓的装置，所述装置包括：
第一获取模块，用于在塔吊未使用时，获取表征塔吊工作区域内地面信息的静态点云地图；
第二获取模块，用于在所述塔吊使用时，获取表征塔吊小车下方区域的实时点云地图；
点云比较模块，用于比较所述静态点云地图和所述实时点云地图，将仅存在于所述实时点云地图而不存在于所述静态点云地图的点形成差异点云地图；
点云聚类模块，用于利用预设聚类算法从所述差异点云地图中聚类出表征吊钩上端钢丝绳的点云、表征吊钩的点云、表征吊绳的点云、和表征吊物的点云；
轮廓识别模块，用于根据所述表征吊物的点云中每个点的位置信息计算出吊物的轮廓信息。
为了实现上述目的，本发明还提供一种计算机设备，该计算机设备具体包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述介绍的识别吊物轮廓的方法的步骤。
为了实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述介绍的识别吊物轮廓的方法的步骤。
本发明提供的识别吊物轮廓的方法、装置、设备及可读存储介质，与现有技术相比，不需要工作人员事先获取吊物的轮廓信息，可自动的通过先获取静态点云地图和实时点云地图、再从该实时点云地图中确定出不存在于该静态点云地图中的差异点云地图、之后从该差异点云地图中识别出吊钩、吊绳和吊物、最后基于表征吊物的点云的位置信息计算出吊物的长度、宽度和高度，本发明能够自动化的计算出吊物的轮廓大小，不仅高效且准确性较好。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为实施例一提供的识别吊物轮廓的方法的一种可选的流程示意图；
图2为实施例一提供的塔吊的示意图；
图3为实施例一提供的静态点云地图的示意图；
图4为实施例一提供的实时点云地图的示意图；
图5为实施例一提供的基于差异点云地图的聚类结果的示意图；
图6为实施例一提供的初始的二维图像的示意图；
图7为实施例一提供的标准二维图像的示意图；
图8为实施例二提供的识别吊物轮廓的装置的一种可选的组成结构示意图；
图9为实施例三提供的计算机设备的一种可选的硬件架构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本发明实施例提供了一种识别吊物轮廓的方法，如图1所示，该方法具体包括以下步骤：
步骤S101：在塔吊未使用时，获取表征塔吊工作区域内地面信息的静态点云地图。
具体的，可通过安装在塔吊小车上的激光雷达获取所述静态点云地图；如图2所示，为塔吊示意图，在塔吊大臂上设置有塔吊小车、且在塔吊小车上设置有激光雷达、小车变幅测距、小车向下相机，此外，在塔吊大臂与塔吊塔身连接处设置有风力传感器、重量传感器、回转传感器、倾角传感器和臂根相机；在实际应用中，通过转动塔吊大臂以及移动塔吊小车，就可通过激光雷达采集到塔吊的全部工作区域内的地面点云数据，即得到静态点云地图；在该静态点云地图中包括了地面所有障碍物的信息(位置和高度)；还需要说明的是，通常在一段时间内地面信息不会发生变化，因此，可以按照设定时间间隔定期获取所述静态点云地图，以反映特定时间段内的地面信息。
步骤S102：在所述塔吊使用时，获取表征塔吊小车下方区域的实时点云地图。
具体的，通过安装在塔吊小车上的激光雷达获取所述实时点云地图；如图3所示，静态点云地图表征的是塔吊的全部工作区域，且在静态点云地图中不会包含吊钩、吊物、吊绳的信息；而如图4所示，实时点云地图仅表征塔吊小车下方的局部区域，且在实时点云地图中除了包含地面障碍物的信息外还包含吊钩、吊物、吊绳的信息。
步骤S103：比较所述静态点云地图和所述实时点云地图，将仅存在于所述实时点云地图而不存在于所述静态点云地图的点形成差异点云地图。
正如上述介绍的，实时点云地图对应的区域是静态点云地图对应的区域中的一小部分，且与静态点云地图相比，在实时点云地图中会多出吊钩、吊物、吊绳的信息；因此，可通过比对两个点云地图中的点，以确定出仅存在于实时点云地图而不存在于静态点云地图中的差异点，并将确定出的所有差异点形成所述差异点云地图。
步骤S104：利用预设聚类算法从所述差异点云地图中聚类出表征吊钩上端钢丝绳的点云、表征吊钩的点云、表征吊绳的点云、和表征吊物的点云。
具体的，可事先基于大量样本数据训练出用于从点云地图中划分出四个区域的聚类算法；优选的，所述聚类算法可采用基于距离的欧式聚类算法或者采用基于密度的DBSCAN(Density-Based Spatial Clustering of Applications with Noise)聚类算法。如图五所示，为聚类结果示意图，将差异点云地图划分为表征钢丝绳的点云、表征吊钩的点云、表征吊绳的点云、表征吊物的点云。
步骤S105：根据所述表征吊物的点云中每个点的位置信息计算出吊物的轮廓信息；其中，所述轮廓信息包括：长度、宽度、高度。
具体的，所述静态点云地图、所述实时点云地图、所述差异点云地图均采用预设的塔吊坐标系；其中，所述塔吊坐标系是以所述塔吊与地面的交点作为原点、以正东方向作为X轴、以正北方向作为Y轴、以垂直于地面且向上方向作为Z轴建立的；在步骤S105中分别获取表征吊物的点云中每个点在所述塔吊坐标系中的位置信息，并将Z轴上的最大坐标值与最小坐标值的差值作为所述吊物的高度、将X轴上的最大坐标值与最小坐标值的差值作为所述吊物的长度、将Y轴上的最大坐标值与最小坐标值的差值作为所述吊物的宽度。
通过上述步骤S101至步骤S105，可利用由塔吊上的激光雷达采集到的静态点云地图和实时点云地图计算出吊物的轮廓信息；与现有技术相比，不需要工作人员事先获取吊物的轮廓信息，可自动的通过先获取静态点云地图和实时点云地图、再从该实时点云地图中确定出不存在于该静态点云地图中的差异点云地图、之后从该差异点云地图中识别出吊钩、吊绳和吊物、最后基于表征吊物的点云的位置信息计算出吊物的长度、宽度和高度，本实施例能够自动化的计算出吊物的轮廓大小，不仅高效且准确性较好。
进一步的，在实现步骤S103中的比较所述静态点云地图和所述实时点云地图，将仅存在于所述实时点云地图而不存在于所述静态点云地图的点形成差异点云地图的步骤时，具体包括：
步骤A1：获取所述塔吊小车在所述塔吊坐标系中的当前坐标位置；
步骤A2：以所述当前坐标位置为定位点，从所述静态点云地图中截取出参考点云地图；其中，所述参考点云地图表征的地面区域与所述实时点云地图表征的地面区域相同；
步骤A3：比较所述参考点云地图和所述实时点云地图，将仅存在于所述实时点云地图而不存在于所述参考点云地图的点形成所述差异点云地图。
按照上述步骤A1至步骤A3的方式，从静态点云地图中扣出与实施点云地图对应的参考点云地图，并基于该参考点云地图计算出差异点云地图，可以减少比较过程的运算量，提高计算效率。
更进一步的，所述步骤A1，具体包括：
步骤A11：获取塔吊大臂的初始位置与正东方向的夹角γ，并获取在使用所述塔吊时所述塔吊大臂的转动角度θ；
步骤A12：获取在俯视图下所述塔吊小车距离所述塔吊坐标系的原点的距离r，并获取所述塔吊大臂的离地高度h；
步骤A13：按照如下公式计算出所述塔吊小车在所述塔吊坐标系中的当前位置(x，y，z)：
x＝r*cos(γ+θ)；
y＝r*sin(γ+θ)；
z＝h。
在实际应用中，可通过变幅、回转、起升三大机构的绝对编码器的值获取到当前小车在塔吊坐标系的极坐标(r，θ，h)；例如，可通过安装在塔吊上的回转传感器获取到γ和θ，通过小车变幅测距传感器获取到距离r。
更进一步的，所述步骤A2，具体包括：
步骤A21：将所述当前坐标位置中的X轴坐标和Y轴坐标设置为参考点(x，y)，并根据所述实时点云地图对应的地面区域的大小设置参考半径R；
需要说明的是，所述实时点云地图对应的地面区域的半径是根据激光雷达的FOV(Field of View，视角场)和塔吊小车的离地高度计算出的，且参考半径比所述实时点云地图对应的地面区域的半径略大；
步骤A22：将所述静态点云地图中每个点的X轴坐标和Y轴坐标形成第一集合，并创建空的第二集合；
步骤A23：依次遍历所述第一集合中的各个点，并判断当前遍历到的点与所述参考点的距离是否小于所述参考半径；
即，计算第一集合中的点(xj ′，yj ′)到参考点(x，y)的距离d是否小于参考半径R；其中，j∈[1，M]，M为所述第一集合中点的总个数；
步骤A24：若是，则将当前遍历到的点添加到所述第二集合中，若否，则遍历所述第一集合中的下个点；
步骤A25：当遍历完所述第一集合中的所有点时，根据所述第二集合中的所有点形成所述参考点云地图；
需要说明的是，在所述第二集合中的点仅包括X轴坐标和Y轴坐标，在形成参考点云地图时，还需要为第二集合中的每个点添加Z轴的坐标，以根据第二集合中每个点的三维坐标形成所述参考点云地图。
进一步的，所述步骤A3，具体包括：
步骤A31：将所述参考点云地图和所述实时点云地图输入到迭代最近点ICP算法中，以得到用于对所述实时点云地图进行对齐调整的旋转参数R*和平移参数t*；
ICP(Iterative Closest Point，迭代最近点)算法是一种点云匹配算法，ICP算法的输入是所述参考点云地图和所述实时点云地图，并将所述实时点云地图作为源点云地图、以及将所述参考点云地图作为目标点云地图；ICP算法的输出为旋转参数R*和平移参数t*，通过使用旋转参数R*和平移参数t*使得所述参考点云地图与所述实时点云地图高度重合；在使用ICP算法时会经历多次迭代，每次迭代会用实时点云地图中的n个点从参考点云地图中匹配出对应的n个最近的点；使用以下公式得到的位姿参数(R*，t*)，将所述位姿参数作用于实时点云地图，然后再次跟参考点云地图计算新的位姿参数(R*，t*)，直到迭代次数上限或者收敛后得到最终的位姿参数；优选的，ICP算法的具体使用过程如下：
根据所述参考点云地图中每个点的坐标位置计算出所述参考点云地图的质心位置p，并根据所述实时点云地图中每个点的坐标位置计算出所述实时点云地图的质心位置p’；
按照如下公式计算出旋转参数R*：
其中，n为所述参考点云地图中点的总个数；
qi＝pi–p，且pi为所述参考点云地图中的第i个点；
q′i＝p′i-p′，且p′i为所述实时点云地图中与所述参考点云地图中的第i个点对应的第i个点；
按照如下公式计算出平移参数t*：
t*＝p-R*p′。
步骤A32：按照如下公式对所述实时点云地图进行对齐调整，以得到标准实时点云地图：
标准实时点云地图＝实时点云地图×R*+t*；
步骤A33：将所述标准实时点云地图、所述参考点云地图和预设距离阈值输入到K-Dimensional树匹配算法中，以确定出所述差异点云地图。
在实际应用中，由于吊物的重量会引起塔吊大臂的倾斜，从而导致安装在塔吊大臂上的激光雷达获取的实时点云地图会出现1-5米的偏差，所以需要按照上述步骤A31至步骤A32的方式对实时点云地图进行校正，以得到校正后的标准实时点云地图。此外，K-Dimensional树匹配算法，即KD-Tree，是一种对K维空间中的实例点进行存储以便对其进行快速检索的树形数据结构；主要应用于多维空间关键数据的搜索(如：范围搜索和最近邻搜索)。优选的，K-Dimensional树匹配算法的处理过程为：依次遍历所述标准实时点云地图中的每个点，并从所述参考点云地图中确定出与当前遍历到的点对应的匹配点，判断所述当前遍历到的点与所述匹配点的距离是否大于所述预设距离阈值，若是，则将所述当前遍历的点添加到差异点云地图中，并遍历所述标准实时点云地图中的下个点；若否，则遍历所述标准实时点云地图中的下个点。
进一步的，在实现步骤S104中的利用预设聚类算法从所述差异点云地图中聚类出表征吊钩上端钢丝绳的点云、表征吊钩的点云、表征吊绳的点云、和表征吊物的点云的步骤时，具体包括：
步骤B1：获取基于欧式聚类算法事先训练得到的聚类模型；
步骤B2：将所述差异点云地图中每个点在所述塔吊坐标系中的三维坐标位置输入到所述聚类模型中，以得到表征吊钩上端钢丝绳的点云、表征吊钩的点云、表征吊绳的点云、和表征吊物的点云。
在本实施例中，利用预设样本数据事先基于欧式聚类算法进行训练得到所述聚类模型，通过所述聚类模型可以更加精确的得到用于表征钢丝绳的点云、表征吊钩的点云、表征吊绳的点云和表征吊物的点云。
进一步的，在实现步骤S105中的根据所述表征吊物的点云中每个点的位置信息计算出吊物的轮廓信息的步骤时，具体包括：
步骤C1：获取所述表征吊物的点云中每个点在所述塔吊坐标系中的三维坐标位置，并将最大Z轴坐标与最小Z轴坐标的差值作为所述吊物的高度；
步骤C2：根据所述表征吊物的点云中每个点的X轴坐标和Y轴坐标，得到二维图像；
其中，所述二维图形为二值图像，有效点的值为255、而无效点的值为0；
步骤C3：按照预设值N，将所述二维图像划分为N×N个图块，并计算每个图块的主方向角度；
其中，针对目标图块，根据所述目标图块周围的临近图块的像素值计算出所述目标图块的主方向角度；
步骤C4：根据所有图块的主方向角度计算出所述二维图像的主方向角度；
更进一步的，步骤C4，具体包括：
步骤C41：根据每个图块的主方向角度，将每个图块归类到预设的M个角度范围中；其中，将360度按照预设值M均分得到M个角度范围；
步骤C42：依次统计各个角度范围的图块数量，并将图块数量最多的角度范围作为所述二维图像的主方向角度；
步骤C5：按照所述二维图像的主方向角度旋转所述二维图像，以得到标准二维图像；
如图6所示，为旋转前的二维图像，如图7所示，为旋转后的标准二维图像；
步骤C6：根据所述标准二维图像中位于左上角的点和位于右下角的点计算出所述吊物的长度和宽度；
更进一步的，步骤C6，具体包括：
步骤C61：获取所述标准二维图像中位于左上角的点的坐标(left，top)；
步骤C62：获取所述标准二维图像中位于右下角的点的坐标(right，bottom)；
步骤C63：按照如下公式计算所述吊物的长度length：
length＝right–left；
步骤C64：按照如下公式计算所述吊物的宽度width：
width＝bottom–bottom。
在本实施例中，通过获取塔吊的静态点云地图和激光雷达的实时点云地图，并进行点云配准，以自动实时计算出当前塔吊小车下发环境范围内与静态点云地图的差异，从而输出ROI区域(钢丝绳、吊钩、吊绳、吊物)在塔吊坐标系的差异点云地图；在本实施例中通过点云数据的实时采集和算法计算，可以自动计算出吊物的轮廓信息，免除了人工的输入。
实施例二
本发明实施例提供了一种识别吊物轮廓的装置，如图8所示，该装置具体包括以下组成部分：
第一获取模块801，用于在塔吊未使用时，获取表征塔吊工作区域内地面信息的静态点云地图；
第二获取模块802，用于在所述塔吊使用时，获取表征塔吊小车下方区域的实时点云地图；
点云比较模块803，用于比较所述静态点云地图和所述实时点云地图，将仅存在于所述实时点云地图而不存在于所述静态点云地图的点形成差异点云地图；
点云聚类模块804，用于利用预设聚类算法从所述差异点云地图中聚类出表征吊钩上端钢丝绳的点云、表征吊钩的点云、表征吊绳的点云、和表征吊物的点云；
轮廓识别模块805，用于根据所述表征吊物的点云中每个点的位置信息计算出吊物的轮廓信息。
具体的，所述静态点云地图、所述实时点云地图、所述差异点云地图均采用预设的塔吊坐标系；其中，所述塔吊坐标系是以所述塔吊与地面的交点作为原点、以正东方向作为X轴、以正北方向作为Y轴、以垂直于地面且向上方向作为Z轴建立的。
进一步的，点云比较模块803，具体包括：
获取单元，用于获取所述塔吊小车在所述塔吊坐标系中的当前坐标位置；
截取单元，用于以所述当前坐标位置为定位点，从所述静态点云地图中截取出参考点云地图；其中，所述参考点云地图表征的地面区域与所述实时点云地图表征的地面区域相同；
比较单元，用于比较所述参考点云地图和所述实时点云地图，将仅存在于所述实时点云地图而不存在于所述参考点云地图的点形成所述差异点云地图。
更进一步的，所述获取单元，具体用于：
获取塔吊大臂的初始位置与正东方向的夹角γ，并获取在使用所述塔吊时所述塔吊大臂的转动角度θ；
获取在俯视图下所述塔吊小车距离所述塔吊坐标系的原点的距离r，并获取所述塔吊大臂的离地高度h；
按照如下公式计算出所述塔吊小车在所述塔吊坐标系中的当前位置(x，y，z)：
x＝r*cos(γ+θ)；
y＝r*sin(γ+θ)；
z＝h。
更进一步的，所述截取单元，具体用于：
将所述当前坐标位置中的X轴坐标和Y轴坐标设置为参考点，并根据所述实时点云地图对应的地面区域的大小设置参考半径；
将所述静态点云地图中每个点的X轴坐标和Y轴坐标形成第一集合，并创建空的第二集合；
依次遍历所述第一集合中的各个点，并判断当前遍历到的点与所述参考点的距离是否小于所述参考半径；
若是，则将当前遍历到的点添加到所述第二集合中，若否，则遍历所述第一集合中的下个点；
当遍历完所述第一集合中的所有点时，根据所述第二集合中的所有点形成所述参考点云地图。
更进一步的，所述比较单元，具体用于：
将所述参考点云地图和所述实时点云地图输入到迭代最近点ICP算法中，以得到用于对所述实时点云地图进行对齐调整的旋转参数R*和平移参数t*；
按照如下公式对所述实时点云地图进行对齐调整，以得到标准实时点云地图：
标准实时点云地图＝实时点云地图×R*+t*；
将所述标准实时点云地图、所述参考点云地图和预设距离阈值输入到K-Dimensional树匹配算法中，以确定出所述差异点云地图。
进一步的，点云聚类模块804，具体用于：
获取基于欧式聚类算法事先训练得到的聚类模型；
将所述差异点云地图中每个点在所述塔吊坐标系中的三维坐标位置输入到所述聚类模型中，以得到表征吊钩上端钢丝绳的点云、表征吊钩的点云、表征吊绳的点云、和表征吊物的点云。
进一步的，轮廓识别模块805，具体用于：
获取所述表征吊物的点云中每个点在所述塔吊坐标系中的三维坐标位置，并将最大Z轴坐标与最小Z轴坐标的差值作为所述吊物的高度；
根据所述表征吊物的点云中每个点的X轴坐标和Y轴坐标，得到二维图像；
按照预设值N，将所述二维图像划分为N×N个图块，并计算每个图块的主方向角度；
根据所有图块的主方向角度计算出所述二维图像的主方向角度；
按照所述二维图像的主方向角度旋转所述二维图像，以得到标准二维图像；
根据所述标准二维图像中位于左上角的点和位于右下角的点计算出所述吊物的长度和宽度。
实施例三
本实施例还提供一种计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图9所示，本实施例的计算机设备90至少包括但不限于：可通过系统总线相互通信连接的存储器901、处理器902。需要指出的是，图9仅示出了具有组件901-902的计算机设备90，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器901(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器901可以是计算机设备90的内部存储单元，例如该计算机设备90的硬盘或内存。在另一些实施例中，存储器901也可以是计算机设备90的外部存储设备，例如该计算机设备90上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器901还可以既包括计算机设备90的内部存储单元也包括其外部存储设备。在本实施例中，存储器901通常用于存储安装于计算机设备90的操作系统和各类应用软件。此外，存储器901还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器902在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器902通常用于控制计算机设备90的总体操作。
具体的，在本实施例中，处理器902用于执行存储器901中存储的识别吊物轮廓的方法的程序，所述识别吊物轮廓的方法的程序被执行时实现如下步骤：
在塔吊未使用时，获取表征塔吊工作区域内地面信息的静态点云地图；
在所述塔吊使用时，获取表征塔吊小车下方区域的实时点云地图；
比较所述静态点云地图和所述实时点云地图，将仅存在于所述实时点云地图而不存在于所述静态点云地图的点形成差异点云地图；
利用预设聚类算法从所述差异点云地图中聚类出表征吊钩上端钢丝绳的点云、表征吊钩的点云、表征吊绳的点云、和表征吊物的点云；
根据所述表征吊物的点云中每个点的位置信息计算出吊物的轮廓信息。
上述方法步骤的具体实施例过程可参见实施例一，本实施例在此不再重复赘述。
实施例四
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下方法步骤：
在塔吊未使用时，获取表征塔吊工作区域内地面信息的静态点云地图；
在所述塔吊使用时，获取表征塔吊小车下方区域的实时点云地图；
比较所述静态点云地图和所述实时点云地图，将仅存在于所述实时点云地图而不存在于所述静态点云地图的点形成差异点云地图；
利用预设聚类算法从所述差异点云地图中聚类出表征吊钩上端钢丝绳的点云、表征吊钩的点云、表征吊绳的点云、和表征吊物的点云；
根据所述表征吊物的点云中每个点的位置信息计算出吊物的轮廓信息。
上述方法步骤的具体实施例过程可参见实施例一，本实施例在此不再重复赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种识别吊物轮廓的方法，其特征在于，所述方法包括：
在塔吊未使用时，获取表征塔吊工作区域内地面信息的静态点云地图；
在所述塔吊使用时，获取表征塔吊小车下方区域的实时点云地图；
比较所述静态点云地图和所述实时点云地图，将仅存在于所述实时点云地图而不存在于所述静态点云地图的点形成差异点云地图；
利用预设聚类算法从所述差异点云地图中聚类出表征吊钩上端钢丝绳的点云、表征吊钩的点云、表征吊绳的点云、和表征吊物的点云；
根据所述表征吊物的点云中每个点的位置信息计算出吊物的轮廓信息。
2.根据权利要求1所述的识别吊物轮廓的方法，其特征在于，所述静态点云地图、所述实时点云地图、所述差异点云地图均采用预设的塔吊坐标系；其中，所述塔吊坐标系是以所述塔吊与地面的交点作为原点、以正东方向作为X轴、以正北方向作为Y轴、以垂直于地面且向上方向作为Z轴建立的。
3.根据权利要求2所述的识别吊物轮廓的方法，其特征在于，所述比较所述静态点云地图和所述实时点云地图，将仅存在于所述实时点云地图而不存在于所述静态点云地图的点形成差异点云地图，包括：
获取所述塔吊小车在所述塔吊坐标系中的当前坐标位置；
以所述当前坐标位置为定位点，从所述静态点云地图中截取出参考点云地图；其中，所述参考点云地图表征的地面区域与所述实时点云地图表征的地面区域相同；
比较所述参考点云地图和所述实时点云地图，将仅存在于所述实时点云地图而不存在于所述参考点云地图的点形成所述差异点云地图。
4.根据权利要求3所述的识别吊物轮廓的方法，其特征在于，所述以所述当前坐标位置为定位点，从所述静态点云地图中截取出参考点云地图，包括：
将所述当前坐标位置中的X轴坐标和Y轴坐标设置为参考点，并根据所述实时点云地图对应的地面区域的大小设置参考半径；
将所述静态点云地图中每个点的X轴坐标和Y轴坐标形成第一集合，并创建空的第二集合；
依次遍历所述第一集合中的各个点，并判断当前遍历到的点与所述参考点的距离是否小于所述参考半径；
若是，则将当前遍历到的点添加到所述第二集合中，若否，则遍历所述第一集合中的下个点；
当遍历完所述第一集合中的所有点时，根据所述第二集合中的所有点形成所述参考点云地图。
5.根据权利要求3所述的识别吊物轮廓的方法，其特征在于，所述比较所述参考点云地图和所述实时点云地图，将仅存在于所述实时点云地图而不存在于所述参考点云地图的点形成所述差异点云地图，包括：
将所述参考点云地图和所述实时点云地图输入到迭代最近点ICP算法中，以得到用于对所述实时点云地图进行对齐调整的旋转参数R*和平移参数t*；
按照如下公式对所述实时点云地图进行对齐调整，以得到标准实时点云地图：
标准实时点云地图＝实时点云地图×R*+t*；
将所述标准实时点云地图、所述参考点云地图和预设距离阈值输入到K-Dimensional树匹配算法中，以确定出所述差异点云地图。
6.根据权利要求2所述的识别吊物轮廓的方法，其特征在于，所述利用预设聚类算法从所述差异点云地图中聚类出表征吊钩上端钢丝绳的点云、表征吊钩的点云、表征吊绳的点云、和表征吊物的点云，包括：
获取基于欧式聚类算法事先训练得到的聚类模型；
将所述差异点云地图中每个点在所述塔吊坐标系中的三维坐标位置输入到所述聚类模型中，以得到表征吊钩上端钢丝绳的点云、表征吊钩的点云、表征吊绳的点云、和表征吊物的点云。
7.根据权利要求2所述的识别吊物轮廓的方法，其特征在于，所述根据所述表征吊物的点云中每个点的位置信息计算出吊物的轮廓信息，包括：
获取所述表征吊物的点云中每个点在所述塔吊坐标系中的三维坐标位置，并将最大Z轴坐标与最小Z轴坐标的差值作为所述吊物的高度；
根据所述表征吊物的点云中每个点的X轴坐标和Y轴坐标，得到二维图像；
按照预设值N，将所述二维图像划分为N×N个图块，并计算每个图块的主方向角度；
根据所有图块的主方向角度计算出所述二维图像的主方向角度；
按照所述二维图像的主方向角度旋转所述二维图像，以得到标准二维图像；
根据所述标准二维图像中位于左上角的点和位于右下角的点计算出所述吊物的长度和宽度。
8.一种识别吊物轮廓的装置，其特征在于，所述装置包括：
第一获取模块，用于在塔吊未使用时，获取表征塔吊工作区域内地面信息的静态点云地图；
第二获取模块，用于在所述塔吊使用时，获取表征塔吊小车下方区域的实时点云地图；
点云比较模块，用于比较所述静态点云地图和所述实时点云地图，将仅存在于所述实时点云地图而不存在于所述静态点云地图的点形成差异点云地图；
点云聚类模块，用于利用预设聚类算法从所述差异点云地图中聚类出表征吊钩上端钢丝绳的点云、表征吊钩的点云、表征吊绳的点云、和表征吊物的点云；
轮廓识别模块，用于根据所述表征吊物的点云中每个点的位置信息计算出吊物的轮廓信息。
9.一种计算机设备，所述计算机设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
CN202310272063.1A 2023-03-17 2023-03-17 一种识别吊物轮廓的方法、装置、设备及可读存储介质 Pending CN116503850A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310272063.1A CN116503850A (zh) 2023-03-17 2023-03-17 一种识别吊物轮廓的方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310272063.1A CN116503850A (zh) 2023-03-17 2023-03-17 一种识别吊物轮廓的方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN116503850A true CN116503850A (zh) 2023-07-28

Family

ID=87329275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310272063.1A Pending CN116503850A (zh) 2023-03-17 2023-03-17 一种识别吊物轮廓的方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN116503850A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116774183A (zh) * 2023-08-23 2023-09-19 北京斯年智驾科技有限公司 一种吊具位置检测方法、系统、装置及介质
CN117726882A (zh) * 2024-02-07 2024-03-19 杭州宇泛智能科技有限公司 塔吊吊物识别方法、系统和电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116774183A (zh) * 2023-08-23 2023-09-19 北京斯年智驾科技有限公司 一种吊具位置检测方法、系统、装置及介质
CN116774183B (zh) * 2023-08-23 2023-11-28 北京斯年智驾科技有限公司 一种吊具位置检测方法、系统、装置及介质
CN117726882A (zh) * 2024-02-07 2024-03-19 杭州宇泛智能科技有限公司 塔吊吊物识别方法、系统和电子设备

Similar Documents

Publication Publication Date Title
US11144795B2 (en) System and method for detecting features in aerial images using disparity mapping and segmentation techniques
US20220028163A1 (en) Computer Vision Systems and Methods for Detecting and Modeling Features of Structures in Images
US11514644B2 (en) Automated roof surface measurement from combined aerial LiDAR data and imagery
CN116503850A (zh) 一种识别吊物轮廓的方法、装置、设备及可读存储介质
CN107735794B (zh) 使用图像处理的状况检测
JP2021051721A (ja) 物体識別のための方法および計算システム
CN110736456A (zh) 稀疏环境下基于特征提取的二维激光实时定位方法
CN116753945A (zh) 一种基于多传感器融合的工业巡检机器人的导航方法
CN114897669A (zh) 一种标注方法、装置及电子设备
Jelinek et al. Fast total least squares vectorization
CN116844124A (zh) 三维目标检测框标注方法、装置、电子设备和存储介质
CN117474998A (zh) 一种货架位置检测方法、装置、设备及存储介质
CN115686073B (zh) 一种基于无人机的输电线路巡检控制方法及系统
Jung et al. Graph SLAM for AGV using geometrical arrangement based on lamp and SURF features in a factory environment
CN108917768B (zh) 无人机定位导航方法和系统
CN112596063B (zh) 点云描述子构建方法及装置，闭环检测方法及装置
CN110455274A (zh) 基于倒角距离形状匹配的agv初始定位方法及定位系统
CN117873173B (zh) 一种无人机路径规划方法及装置
CN116758533B (zh) 塔吊吊物类型识别的方法、装置、终端及可读存储介质
CN115060268B (zh) 一种机房融合定位方法、系统、设备及存储介质
CN118189985A (zh) 一种基于uwb的井工矿环境下无人驾驶车辆重定位系统及方法
CN118366124A (zh) 一种起重机吊钩的空间信息识别方法、起重机及存储介质
CN118505799A (zh) 一种地图构建方法、装置及智能移动设备
CN118752498A (zh) 一种钢筋绑扎机器人的自主导航方法与系统
CN115965929A (zh) 一种基于点云的障碍物检测方法、装置和域控制器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination