CN113128346A - 起重机施工现场的目标识别方法、系统、装置及存储介质 - Google Patents

起重机施工现场的目标识别方法、系统、装置及存储介质 Download PDF

Info

Publication number
CN113128346A
CN113128346A CN202110305684.6A CN202110305684A CN113128346A CN 113128346 A CN113128346 A CN 113128346A CN 202110305684 A CN202110305684 A CN 202110305684A CN 113128346 A CN113128346 A CN 113128346A
Authority
CN
China
Prior art keywords
target
image data
dimensional image
crane
end points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110305684.6A
Other languages
English (en)
Other versions
CN113128346B (zh
Inventor
蔡长青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202110305684.6A priority Critical patent/CN113128346B/zh
Publication of CN113128346A publication Critical patent/CN113128346A/zh
Application granted granted Critical
Publication of CN113128346B publication Critical patent/CN113128346B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种起重机施工现场的目标方法、系统、装置及存储介质。该方法通过起重机上安装的立体摄像机获取起重机前方的图像数据，并从所述图像数据中提取二维图像数据和三维图像数据；通过训练好的目标检测模型检测所述二维图像数据中的目标起重物，得到所述目标起重物的边界框；根据所述边界框对所述二维图像数据进行图像处理，提取得到所述目标起重物的轮廓的线段和端点；对所述端点进行聚类分析，得到所述目标起重物的顶点组；根据所述顶点组和所述线段，从所述三维图像数据中确定所述目标起重物的质心坐标。该方法可以有效提高起重机自动识别目标起重物的准确性，有利于建筑的高效率、高质量施工。本申请可广泛应用于建筑技术领域内。

Description

起重机施工现场的目标识别方法、系统、装置及存储介质
技术领域
本申请涉及建筑技术领域，尤其是一种起重机施工现场的目标识别方法、系统、装置及存储介质。
背景技术
建筑业建造和工人的工作状态息息相关，而以人力为主的建造过程中，往往事故频发，生产力低下。自动化和机器人技术被认为是促进建筑业发展的一个很有前途的途径，在这其中，起重机的自动化操作作为建筑业的一个重要方面正日益受到重视。
然而，由于起重机施工现场的复杂性和动态性，起重机较难实现在施工现场的自动识别、定位起重物体，例如预制外墙和隔墙，导致当前起重机的自动化操作使用受限，应用的效果比较一般。综合上述，相关技术中存在的技术问题亟需得到解决。
发明内容
本申请的目的在于至少一定程度上解决相关技术中存在的技术问题之一。
为此，本申请实施例的一个目的在于提供一种起重机施工现场的目标识别方法，该方法可以有效提高起重机自动识别目标起重物的准确性，有利于建筑的高效率、高质量施工。
本申请实施例的另一个目的在于提供起重机施工现场的目标识别系统。
为了达到上述技术目的，本申请实施例所采取的技术方案包括：
第一方面，本申请实施例提供了一种起重机施工现场的目标识别方法，包括以下步骤：
通过起重机上安装的立体摄像机获取起重机前方的图像数据，并从所述图像数据中提取二维图像数据和三维图像数据；
通过训练好的目标检测模型检测所述二维图像数据中的目标起重物，得到所述目标起重物的边界框；
根据所述边界框对所述二维图像数据进行图像处理，提取得到所述目标起重物的轮廓的线段和端点；
对所述端点进行聚类分析，得到所述目标起重物的顶点组；
根据所述顶点组和所述线段，从所述三维图像数据中确定所述目标起重物的质心坐标。
另外，根据本申请上述实施例的起重机施工现场的目标识别方法，还可以具有以下附加的技术特征：
进一步地，在本申请的一个实施例中，所述通过训练好的目标检测模型检测所述二维图像数据中的目标起重物，包括：
获取训练好的Faster-R-CNN模型；
根据所述Faster-R-CNN模型，检测所述二维图像数据中的目标起重物。
进一步地，在本申请的一个实施例中，根据所述边界框对所述二维图像数据进行图像处理，提取得到所述目标起重物的轮廓的线段和端点，包括：
通过Canny算法提取所述二维图像数据的极值点，根据所述极值点得到所述目标起重物的轮廓；
对提取出轮廓的所述二维图像数据进行Hough变换，得到所述轮廓的线段和端点。
进一步地，在本申请的一个实施例中，所述对所述端点进行聚类分析，得到所述目标起重物的顶点组，包括：
获取任意两段线段的端点；
计算所述端点之间的欧氏距离；
当所述欧氏距离小于预设的距离阈值时，对所述端点进行合并，得到所述目标起重物的顶点组。
第二方面，本申请实施例提供了一种起重机施工现场的目标识别系统，包括：
采集模块，用于通过起重机上安装的立体摄像机获取起重机前方的图像数据，并从所述图像数据中提取二维图像数据和三维图像数据；
检测模块，用于通过训练好的目标检测模型检测所述二维图像数据中的目标起重物，得到所述目标起重物的边界框；
提取模块，用于根据所述边界框对所述二维图像数据进行图像处理，提取得到所述目标起重物的轮廓的线段和端点；
分析模块，用于对所述端点进行聚类分析，得到所述目标起重物的顶点组；
识别模块，用于根据所述顶点组和所述线段，从所述三维图像数据中确定所述目标起重物的质心坐标。
另外，根据本申请上述实施例的起重机施工现场的目标识别系统，还可以具有以下附加的技术特征：
进一步地，在本申请的一个实施例中，所述检测模块具体用于：
获取训练好的Faster-R-CNN模型；
根据所述Faster-R-CNN模型，检测所述二维图像数据中的目标起重物。
进一步地，在本申请的一个实施例中，所述提取模块具体用于：
通过Canny算法提取所述二维图像数据的极值点，根据所述极值点得到所述目标起重物的轮廓；
对提取出轮廓的所述二维图像数据进行Hough变换，得到所述轮廓的线段和端点。
进一步地，在本申请的一个实施例中，所述分析模块具体用于：
获取任意两段线段的端点；
计算所述端点之间的欧氏距离；
当所述欧氏距离小于预设的距离阈值时，对所述端点进行合并，得到所述目标起重物的顶点组。
第三方面，本申请实施例提供了一种起重机施工现场的目标识别装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现第一方面所述的起重机施工现场的目标识别方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于实现第一方面所述的起重机施工现场的目标识别方法。
本申请的优点和有益效果将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到：
本申请实施例中提供的起重机施工现场的目标识别方法，通过起重机上安装的立体摄像机获取起重机前方的图像数据，并从所述图像数据中提取二维图像数据和三维图像数据；通过训练好的目标检测模型检测所述二维图像数据中的目标起重物，得到所述目标起重物的边界框；根据所述边界框对所述二维图像数据进行图像处理，提取得到所述目标起重物的轮廓的线段和端点；对所述端点进行聚类分析，得到所述目标起重物的顶点组；根据所述顶点组和所述线段，从所述三维图像数据中确定所述目标起重物的质心坐标。该方法可以有效提高起重机自动识别目标起重物的准确性，有利于建筑的高效率、高质量施工。
附图说明
为了更清楚地说明本申请实施例或者现有技术中的技术方案，下面对本申请实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本申请的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1为本申请一种起重机施工现场的目标识别方法具体实施例的流程示意图；
图2为本申请一种起重机施工现场的目标识别系统具体实施例的结构示意图；
图3为本申请一种起重机施工现场的目标识别装置具体实施例的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
参照图1，本申请实施例中提供一种起重机施工现场的目标识别方法，本申请实施例中的控制方法，可应用于终端中，也可应用于服务器中，还可以是运行于终端或服务器中的软件等。终端可以是平板电脑、笔记本电脑、台式计算机等，但并不局限于此。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
为了清楚地描述本申请实施例中提供的目标识别方法，以建筑工地起重机施工现场常见的代表：预制柱和预制板等长方体类型的提升物体作为目标起重物进行阐述。一般来说，自动起重机的目标识别任务涉及二维图像数据中的目标检测和三维图像数据中的目标定位。根据立体几何理论，具有精确估计位姿的长方体物体的空间定位是基于至少给定三条相互垂直相交的指定线段的假设。换言之，只要对图像处理后得到的识别结果(提取的目标起重物的顶点组)满足基于顶点的确定模型，则就可以在三维空间中唯一、准确地定位出目标起重物的位置。因此，本申请实施例中，图像检测和处理的目标即为提取目标起重物的几何元素(目标起重物的轮廓的线段及端点)。
该方法主要包括以下步骤：
步骤110、通过起重机上安装的立体摄像机获取起重机前方的图像数据，并从所述图像数据中提取二维图像数据；
立体摄像机以其速度快、简单性和便携性而被广泛使用，其原理是通过计算两个或多个摄像机从不同视角同时拍摄的同一物体的多幅图像中对应像素的视差来确定空间点的精确三维坐标。而且立体摄像机采集的图像数据在快速三维重建方面优于普通相机，不仅可以实现镜头畸变和相机位置偏差的自动校正，而且还可以生成密集的视差图像和PTS文件。因此，本申请实施例中，可以将立体摄像机安装在起重机上，采集起重机前方的图像数据，具体地，采集的原始图像数据可以包括不同维度的数据信息，例如可以用(x，y，z)表示空间点的3D坐标，(u，v)表示图像像素的2D坐标，(R，G，B)表示图像像素颜色信息。并且，各个维度的数据可以基于图像像素互相匹配，例如三维图像数据和二维图像数据可以匹配各自的坐标。由于图像处理和特征提取的计算复杂度与图像数据大小成正比，因此本申请实施例中可以通过二维图像数据对目标起重物先进行背景分割和识别，再根据匹配关系从三维图像数据中确定出具体的空间位置。
步骤120、通过训练好的目标检测模型检测所述二维图像数据中的目标起重物，得到所述目标起重物的边界框；
本申请实施例中，由于施工现场的物料堆放、机器运行以及工人移动等因素的影响，使得二维图像数据中起重机的施工现场背景往往比较复杂。为了降低图像处理的复杂度以及特征提取的难度，本申请实施例中可以采用基于CNN(卷积神经网络)的目标检测方法来检测具有复杂背景的目标起重物，例如可以使用训练好的Faster-R-CNN作为目标检测模型，其具有较高的处理速度和检测精度。
具体地，为了得到检测二维图像数据中的长方体形状物体的目标检测模型，可以从互联网下载专门的图像集(如ImageNet和Google图像集)或现场拍摄长方体形状物体的图像，用以训练目标检测模型。然后通过训练好的目标检测模型对二维图像数据中的目标起重物进行检测，得到涵盖目标起重物的边界框。
步骤130、根据所述边界框对所述二维图像数据进行图像处理，提取得到所述目标起重物的轮廓的线段和端点；
本申请实施例中，基于目标检测模型的检测结果，可以进行进一步的图像处理。具体地，图像处理的过程可以包括Canny检测和Hough变换，目的是获得目标起重物的部分边缘轮廓：例如带端点的线段。前述Faster-R-CNN模型提取的边界框中包含目标起重物的整个边缘轮廓。本申请实施例中，边缘轮廓是指图像灰度变化剧烈的区域，通常也是图像梯度的最大点，即图像数据的一阶导数。根据梯度幅度的定义，图像中灰度变化较大的区域的梯度值大于灰度变化平缓的区域的梯度值，而灰度均匀的区域的梯度值为零。因此，本申请中可以采用Canny算子来获取图像梯度的极值点，即可能的边缘轮廓，基于得到的极值点，通过非最大值抑制和双门限检测，可以更准确地检测出提升物体的真实边缘轮廓。然而，一般的Canny算法有两个明显的局限性：1)边界框中的提升物体的表面纹理影响边缘检测的结果；2)在所有情况下，不同识别对象的固定Canny阈值都是弱鲁棒的。为了解决这些问题，本申请中还对Canny检测到的所有可能的轮廓点进行处理，计算出每个轮廓的最小边界矩形的尺寸。与边界框维数相比，边界矩形过大或过小的轮廓作为纹理被剔除。对于固定的阈值，用最小为5的Canny阈值进行迭代图像处理。如果处理结果满足后续所提出的基于顶点的确定模型，则停止迭代；否则，意味着原始Canny阈值太小，将继续以较大的阈值循环，直到验证成功。本申请中采用具有自动调整阈值的改进Canny算法对于消除提升对象的纹理轮廓具有很高的潜力，从而获得更精确的提升对象的边缘轮廓。
进一步地，Canny算法检测提取的边缘轮廓实际上是一系列非常接近的轮廓点，而不是直线段。因此，本申请实施例中可以采用Hough变换，将对原始图像数据中给定曲线的检测转化为在特定参数空间中对峰值点的搜索，从而提取轮廓点中包含的线段。从而得到具有2D图像像素(u，v)的线段和线段的端点。本申请实施例中，可以基于PTS文件中的3D坐标和2D图像像素之间的同步关系来确定相应端点的3D坐标(x，y，z)，从而方便后续从空间中确定目标起重物的位置。
步骤140、对所述端点进行聚类分析，得到所述目标起重物的顶点组；
理想的情况下，提取的线段和端点是目标起重物的精确边和顶点，由于目标起重物的相邻边在顶点处相交，因此提取的相邻线段也应在其端点处相交。然而，由于图像噪声的影响，提取的直线段与提升物体的实际边缘一般并不完全吻合，提取直线段的端点与相应的实际顶点之间往往存在微小的偏差。这意味着提取的相邻线段在其端点处不完全相交，因此本申请实施例中，基于Hough变换提取的端点，可以进行聚类分析，得到顶点组。具体地，聚类分析的过程为：计算出任意两条不同线段的所有端点之间的欧氏距离，并将计算出的距离与预先设定的距离阈值进行比较，如果小于或等于距离阈值，则这两个端点可以称为聚类点，为两条相对应的线段相交处。否则，可以推断相应的线段彼此不相交。对于单独包含两个端点的两条线段(例如线段i和线段j)的端点聚类分析，总共存在四组端点关系。
如果端点聚类分析时的结果表明多个线段的端点彼此近似，则这些端点可以视为一个顶点组。同一顶点组中的所有端点应合并在一起，形成最终的顶点，端点的数目记为顶点的聚集度。此外，这些顶点组中的端点应替换为相应的合并顶点，合并顶点的空间坐标为聚类端点的平均坐标，以便使得具有这些端点的线段在合并顶点处相交。本申请实施例中，端点的聚类分析可以有效解决由图像噪声引起的提取线段端点与对应实际顶点之间的偏差，提高目标识别的准确性。
步骤150、根据所述顶点组和所述线段，从所述三维图像数据中确定所述目标起重物的质心坐标。
本申请实施例中，基于提取的顶点组和线段，可以通过预定义的基于顶点的确定模型来判断是否可以确定出目标起重物。如前述的，提升长方体形状物体的空间位置需要至少三条相互垂直的相交线段，包括两种情况：1)三条相交线段相互垂直的情况，和2)在两个不同顶点相交的三条线段相互垂直。为了确定这三条线段，结合端点聚类分析生成的顶点组，提出了以下两种基于顶点的确定模型。
对于第一种情况，搜索三条相交线段意味着搜索不少于三条线段相交的顶点，即所选顶点组的聚集度应该大于等于3。判断三条线段垂直相交意味着包含所选顶点组中存在三条线段相互垂直。线段的空间方向向量可用于确定两条线段是否相互垂直。例如，对于线段i和线段j构成的空间方向向量，如果Δxi*Δxj+Δyi*Δyj+Δzi*Δzj＝0，那么这两条线段就互相垂直；否则，线段i和线段j不垂直。而考虑到实验误差和测量误差的影响，可以为两条线段空间方向向量的乘积和设定一个阈值，当小于该阈值时认为两条线段垂直。因此，第一种情况的基于顶点的确定模型可以描述如下：
步骤211、根据顶点组的聚集程度，从大到小对所有顶点组进行排序；
步骤212、选择一个聚集度≥3的顶点组；
步骤213、选择以顶点组中顶点为端点的三条线段；
步骤214、判断所选三条线段是否相互垂直，如果它们相互垂直，则可以进行确定提升物体的位置；否则，返回步骤213。如果判断所有线段都包含选定的顶点组，则返回到步骤212。如果所有聚集度大于等于3的顶点组都被搜索过，但目标起重物没有被定位，则返回到调整阈值的Canny检测的步骤。
对于第二种情况，搜索在两个不同顶点相交的三条线段意味着搜索一条两个端点都被合并后的顶点组替换的线段，而垂直相交的三条线段也可以通过使用所选线段的空间方向向量来判断。因此，第二种情况的基于顶点的确定模型描述如下：
步骤311、选择一条两个端点都被合并顶点组替换的线段，记为L1；
步骤312、选择包含一个顶点组且垂直于L1的线段，并标记所选线段。否则，返回步骤311；
步骤313、选择包含另一顶点组且垂直于L1的线段，并标记所选线段。否则，返回步骤311；
步骤314、判断步骤312和步骤313中选择的两条线段是否相互垂直。如果是，可以进行确定提升物体的位置；否则，返回步骤313，如果搜索了包含第一个顶点组的所有线段，则返回步骤312；如果搜索了包含第二个顶点组的所有线段，则返回步骤311。如果所有满足要求的线段都被搜索到，但目标起重物没有被定位，则返回到调整阈值的Canny检测的步骤。
本申请实施例中，根据上述的顶点组确定出了目标起重物，则可以基于提取的三条直线段，根据三角法则计算出目标起重物的质心坐标，作为目标起重物的原始空间位置。除了三维空间位置，其他可见特征，包括尺寸和颜色，是识别提升物体所必需的。它的大小(例如，长度、宽度和高度)也可以确定，而对于它的颜色，则使用白平衡校正来消除光对颜色提取的影响。
下面参照附图详细描述根据本申请实施例提出的起重机施工现场的目标识别系统。
参照图2，本申请实施例中提出的起重机施工现场的目标识别系统，包括：
采集模块101，用于通过起重机上安装的立体摄像机获取起重机前方的图像数据，并从所述图像数据中提取二维图像数据和三维图像数据；
检测模块102，用于通过训练好的目标检测模型检测所述二维图像数据中的目标起重物，得到所述目标起重物的边界框；
提取模块103，用于根据所述边界框对所述二维图像数据进行图像处理，提取得到所述目标起重物的轮廓的线段和端点；
分析模块104，用于对所述端点进行聚类分析，得到所述目标起重物的顶点组；
识别模块105，用于根据所述顶点组和所述线段，从所述三维图像数据中确定所述目标起重物的质心坐标。
可选地，在本申请的一个实施例中，所述检测模块102具体用于：
获取训练好的Faster-R-CNN模型；
根据所述Faster-R-CNN模型，检测所述二维图像数据中的目标起重物。
可选地，在本申请的一个实施例中，所述提取模块103具体用于：
通过Canny算法提取所述二维图像数据的极值点，根据所述极值点得到所述目标起重物的轮廓；
对提取出轮廓的所述二维图像数据进行Hough变换，得到所述轮廓的线段和端点。
可选地，在本申请的一个实施例中，所述分析模块104具体用于：
获取任意两段线段的端点；
计算所述端点之间的欧氏距离；
当所述欧氏距离小于预设的距离阈值时，对所述端点进行合并，得到所述目标起重物的顶点组。
可以理解的是，上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
参照图3，本申请实施例提供了起重机施工现场的目标识别装置，包括：
至少一个处理器201；
至少一个存储器202，用于存储至少一个程序；
当至少一个程序被至少一个处理器201执行时，使得至少一个处理器201实现的起重机施工现场的目标识别方法。
同理，上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本申请实施例还提供了一种计算机可读存储介质，其中存储有处理器201可执行的程序，处理器201可执行的程序在由处理器201执行时用于执行上述的起重机施工现场的目标识别方法。
同理，上述方法实施例中的内容均适用于本计算机可读存储介质实施例中，本计算机可读存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或方框有时能以相反顺序被执行。此外，在本申请的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本申请，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本申请是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本申请。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本申请的范围，本申请的范围由所附权利要求书及其等同方案的全部范围来决定。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。
以上是对本申请的较佳实施进行了具体说明，但本申请并不限于实施例，熟悉本领域的技术人员在不违背本申请精神的前提下可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种起重机施工现场的目标识别方法，其特征在于，包括以下步骤：
通过起重机上安装的立体摄像机获取起重机前方的图像数据，并从所述图像数据中提取二维图像数据和三维图像数据；
通过训练好的目标检测模型检测所述二维图像数据中的目标起重物，得到所述目标起重物的边界框；
根据所述边界框对所述二维图像数据进行图像处理，提取得到所述目标起重物的轮廓的线段和端点；
对所述端点进行聚类分析，得到所述目标起重物的顶点组；
根据所述顶点组和所述线段，从所述三维图像数据中确定所述目标起重物的质心坐标。
2.根据权利要求1所述的起重机施工现场的目标识别方法，其特征在于，所述通过训练好的目标检测模型检测所述二维图像数据中的目标起重物，包括：
获取训练好的Faster-R-CNN模型；
根据所述Faster-R-CNN模型，检测所述二维图像数据中的目标起重物。
3.根据权利要求1所述的起重机施工现场的目标识别方法，其特征在于，根据所述边界框对所述二维图像数据进行图像处理，提取得到所述目标起重物的轮廓的线段和端点，包括：
通过Canny算法提取所述二维图像数据的极值点，根据所述极值点得到所述目标起重物的轮廓；
对提取出轮廓的所述二维图像数据进行Hough变换，得到所述轮廓的线段和端点。
4.根据权利要求1所述的起重机施工现场的目标识别方法，其特征在于，所述对所述端点进行聚类分析，得到所述目标起重物的顶点组，包括：
获取任意两段线段的端点；
计算所述端点之间的欧氏距离；
当所述欧氏距离小于预设的距离阈值时，对所述端点进行合并，得到所述目标起重物的顶点组。
5.一种起重机施工现场的目标识别系统，其特征在于，包括：
采集模块，用于通过起重机上安装的立体摄像机获取起重机前方的图像数据，并从所述图像数据中提取二维图像数据和三维图像数据；
检测模块，用于通过训练好的目标检测模型检测所述二维图像数据中的目标起重物，得到所述目标起重物的边界框；
提取模块，用于根据所述边界框对所述二维图像数据进行图像处理，提取得到所述目标起重物的轮廓的线段和端点；
分析模块，用于对所述端点进行聚类分析，得到所述目标起重物的顶点组；
识别模块，用于根据所述顶点组和所述线段，从所述三维图像数据中确定所述目标起重物的质心坐标。
6.根据权利要求5所述的起重机施工现场的目标识别系统，其特征在于，所述检测模块具体用于：
获取训练好的Faster-R-CNN模型；
根据所述Faster-R-CNN模型，检测所述二维图像数据中的目标起重物。
7.根据权利要求5所述的起重机施工现场的目标识别系统，其特征在于，所述提取模块具体用于：
通过Canny算法提取所述二维图像数据的极值点，根据所述极值点得到所述目标起重物的轮廓；
对提取出轮廓的所述二维图像数据进行Hough变换，得到所述轮廓的线段和端点。
8.根据权利要求5所述的起重机施工现场的目标识别系统，其特征在于，所述分析模块具体用于：
获取任意两段线段的端点；
计算所述端点之间的欧氏距离；
当所述欧氏距离小于预设的距离阈值时，对所述端点进行合并，得到所述目标起重物的顶点组。
9.一种起重机施工现场的目标识别装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-4中任一项所述的起重机施工现场的目标识别方法。
10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于：所述处理器可执行的程序在由处理器执行时用于实现如权利要求1-4中任一项所述的起重机施工现场的目标识别方法。
CN202110305684.6A 2021-03-23 2021-03-23 起重机施工现场的目标识别方法、系统、装置及存储介质 Active CN113128346B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110305684.6A CN113128346B (zh) 2021-03-23 2021-03-23 起重机施工现场的目标识别方法、系统、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110305684.6A CN113128346B (zh) 2021-03-23 2021-03-23 起重机施工现场的目标识别方法、系统、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113128346A true CN113128346A (zh) 2021-07-16
CN113128346B CN113128346B (zh) 2024-02-02

Family

ID=76773598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110305684.6A Active CN113128346B (zh) 2021-03-23 2021-03-23 起重机施工现场的目标识别方法、系统、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113128346B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780118A (zh) * 2021-08-27 2021-12-10 广州大学 一种基于视觉的建筑视频高光自动检测方法、设备和存储介质
CN117036655A (zh) * 2023-08-18 2023-11-10 河北建设集团股份有限公司 一种建筑施工质量的图形识别数据采集系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2964402B1 (ja) * 1998-08-28 1999-10-18 株式会社ゼンリン 三次元地図データベースの作成方法及び装置
US20140185874A1 (en) * 2012-12-27 2014-07-03 Tsinghua University Three-dimensional data processing and recognizing method
CN108335331A (zh) * 2018-01-31 2018-07-27 华中科技大学 一种钢卷双目视觉定位方法及设备
CN109271937A (zh) * 2018-09-19 2019-01-25 深圳市赢世体育科技有限公司 基于图像处理的运动场地标志物识别方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2964402B1 (ja) * 1998-08-28 1999-10-18 株式会社ゼンリン 三次元地図データベースの作成方法及び装置
US20140185874A1 (en) * 2012-12-27 2014-07-03 Tsinghua University Three-dimensional data processing and recognizing method
CN108335331A (zh) * 2018-01-31 2018-07-27 华中科技大学 一种钢卷双目视觉定位方法及设备
CN109271937A (zh) * 2018-09-19 2019-01-25 深圳市赢世体育科技有限公司 基于图像处理的运动场地标志物识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王丹;: "一种高分辨率遥感影像建筑物边缘提取方法", 环境保护与循环经济, no. 10, pages 28 - 30 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780118A (zh) * 2021-08-27 2021-12-10 广州大学 一种基于视觉的建筑视频高光自动检测方法、设备和存储介质
CN117036655A (zh) * 2023-08-18 2023-11-10 河北建设集团股份有限公司 一种建筑施工质量的图形识别数据采集系统及方法
CN117036655B (zh) * 2023-08-18 2024-03-05 河北建设集团股份有限公司 一种建筑施工质量的图形识别数据采集系统及方法

Also Published As

Publication number Publication date
CN113128346B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
Zhu et al. Concrete column recognition in images and videos
CN110118526B (zh) 一种支持实时监测的船载砂石体积自动计算方法
CN109272523B (zh) 基于改进cvfh和crh特征的随机堆放活塞位姿估计方法
CN113128346B (zh) 起重机施工现场的目标识别方法、系统、装置及存储介质
JP6369131B2 (ja) 物体認識装置及び物体認識方法
US9367737B2 (en) Floor plan space detection
CN112233116B (zh) 基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法
Sansoni et al. Optoranger: A 3D pattern matching method for bin picking applications
Kim et al. A vision-based system for monitoring block assembly in shipbuilding
Yogeswaran et al. 3d surface analysis for automated detection of deformations on automotive body panels
CN111340834B (zh) 基于激光雷达和双目相机数据融合的衬板装配系统及方法
CN109741306B (zh) 应用于危险化学品库房堆垛的图像处理方法
CN113744350B (zh) 基于单张图像的柜体结构识别方法、装置、设备及介质
CN112561989B (zh) 一种建造场景下吊装对象的识别方法
CN113870326A (zh) 一种基于图像和三维点云配准的结构损伤映射、量化及可视化方法
JP2017091519A (ja) 物品の設置空間の探索方法及びそのためのプログラムが記録されたコンピュータで読取り可能な記録媒体
Sølund et al. A large-scale 3D object recognition dataset
CN114202548A (zh) 一种叉车托盘的定位方法、装置、存储介质及电子设备
CN117292076A (zh) 工程机械局部作业场景动态三维重构方法及系统
CN114494323A (zh) 一种障碍物检测方法、装置、设备及存储介质
CN112161566A (zh) 一种基于模型的零件制造质量智能检测方法
CN116309882A (zh) 一种面向无人叉车应用的托盘检测和定位方法及系统
Shi et al. Corridor line detection for vision based indoor robot navigation
CN115272465A (zh) 物体定位方法、装置、自主移动设备和存储介质
McCarthy et al. Surface extraction from iso-disparity contours

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant