CN115661453B - 一种基于下视角相机的塔吊吊物检测分割方法及系统 - Google Patents

Abstract

本发明提供一种基于下视角相机的塔吊吊物检测分割方法及系统，方法包括：采集下视角相机的视频拍摄数据，选取两帧待分析图像；对每一帧待分析图像构建多分辨率金字塔图像，对场景作二维平面化处理，对两帧多分辨率金字塔图像进行相对运动分析，得到图像间的二维放射变换结果；判断二维放射变换结果，若结果匹配成功，进入下一步骤，若结果匹配失败，则重复选取图像并分析；根据相对运动估计对两帧待分析图像进行运动改正，对准两帧待分析图像，对两帧待分析图像进行像素级差分计算，根据高程差，对像素级差分计算结果进行置信度加权，得到加权差分图像；最终分割得出吊物检测结果。本发明具有部署难度小，成本低，计算简单，满足冷启动的特点。

Description

一种基于下视角相机的塔吊吊物检测分割方法及系统

技术领域

本发明属于塔吊检测技术领域，尤其涉及一种基于下视角相机的塔吊吊物检测分割方法及系统。

背景技术

塔吊的吊物的检测与定位是塔吊视频环境感知尤其是智能无人驾驶塔吊的关键功能之一。主动安全、施工进度分析等诸多下游任务都依赖于吊物的稳定检测和精确定位。

现有的吊物定位方法有几大类。第一种方法是依赖物理传感器，在吊钩上面安装实体传感器，还需给传感器供电，而吊钩上面并不适合安装额外的供电设备。此外，实体传感器易受电磁波多路径效应的干扰，部分还需要基站的配合，对于塔吊应用的复杂施工现场环境，在易部署性、刚干扰性等方面都面临挑战。由于现场基站或远程基站的加入，使得此类方法的成本比普通相机要高出很多。最为致命的是这种方法只能定位吊钩，不能精确的分割吊物，无法提供吊物的精确信息。

第二种方法是利用激光雷达对吊钩进行扫描监测，受限于现有激光雷达的弱反射率物体成像能力、激光发射器功率、扫描频率等，此类方法并不稳定。并且一般使用多线激光雷达(96线以上)，此类设备的成本远高于相机。

第三种方法是采用相机进行检测，但在技术路线上有多种：1)主动配合式，需要在吊钩上面布设和粘贴人工标志，比如AiprilTal等。然后对标志物进行检测以完成吊钩定位。此类方法需要对标志物进行频繁维护，实际应用中受限较大。并且标志物只能覆盖吊钩，无法覆盖吊物；2)深度学习方法，通过收集训练样板训练吊钩吊物检测和实例语义分割神经网络，进而完成吊钩吊物定位和分割。此类方法收集和标注样本的代价极高，在样本收集标注之前，方法是无法“冷启动”工作的。并且计算量较大，对计算分析设备提出的要求也更高；3)双目立体相机，采用标定好的双目相机，通过立体视觉方式构建视场内的场景3D特征点，并基于深度分析定位吊钩和吊物并分割。此类方法需要严格标定的两台相机，对基线长度、相机标定精度等都有较高要求，部署难度大，一旦发生相机姿态变化，就无法正常工作。此外立体视觉特征点提取的计算量较大，支持实时计算的对计算设备的要求更高。相机和计算设备的成本要求都较高。

因此，在以视频为主要感知手段的塔吊环境感知系统中，如何利用安装于大臂小车下方的单台下视角相机，通过一种低成本的部署方式，对吊钩进行监测，在“冷启动”状态下依然可以准确检测分割出塔吊吊物，是本领域塔吊作业主动安全分析中的核心需求。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的目的在于克服上述现有技术存在的不足，提供一种基于下视角相机的塔吊吊物检测分割方法及系统，主要用于解决现有技术中对塔吊吊物进行检测时，部署难度大、成本高，检测计算复杂，无法“冷启动”等问题。

为了实现上述目的，第一方面，本发明提供一种基于下视角相机的塔吊吊物检测分割方法，所述下视角相机安装于大臂塔吊小车下方，包括以下步骤：

S10、采集下视角相机的视频拍摄数据，选取两帧待分析图像；

S20、对每一帧待分析图像构建多分辨率金字塔图像，对场景作二维平面化处理，对两帧多分辨率金字塔图像进行相对运动分析，得到图像间的二维放射变换结果；

S30、判断二维放射变换结果，若结果匹配成功，进入步骤S40，若结果匹配失败，则进入步骤S10；

S40、根据相对运动估计对两帧待分析图像进行运动改正，对准两帧待分析图像，对两帧待分析图像进行像素级差分计算，根据高程差，对像素级差分计算结果进行置信度加权，得到加权差分图像；

S50、根据所述加权差分图像，分割得出吊物检测结果。

在一些实施例中，在对每一帧待分析图像构建多分辨率金字塔图像，对场景作二维平面化处理，对两帧多分辨率金字塔图像进行相对运动分析，得到图像间的二维放射变换结果中，包括以下步骤：

采用2倍下采样模式，利用双线性内插方法构建三级金字塔，分别为顶层金字塔图像、中层金字塔图像和底层金字塔图像；

在所述顶层金字塔图像进行整体模板匹配，得到放射变换初值，所述整体模板匹配的搜索空间包括二维旋转和平移；

在所述中层金字塔图像进行特征匹配，在所述放射变换初值的约束下进行特征点匹配，搜索得到同名点；

根据中层金字塔图像的特征匹配结果，在所述底层金字塔图像中进行精细特征匹配，最终得到图像间的二维放射变换结果。

在一些实施例中，所述顶层金字塔图像的分辨率是所述底层金字塔图像的0.1倍，所述中层金字塔图像的分辨率是所述底层金字塔图像的0.3倍。

在一些实施例中，在中层金字塔图像进行特征匹配，在所述放射变换初值的约束下进行特征点匹配，搜索得到同名点中，包括以下步骤：

利用SIFT方法提取特征点，利用放射变换初值进行有约束的匹配，利用RANSAC剔除粗差，设定场景为二维平面，在重投影点的区域内搜索得到同名点。

在一些实施例中，在根据中层金字塔图像的特征匹配结果，在所述底层金字塔图像中进行精细特征匹配，最终得到图像间的二维放射变换结果中，包括以下步骤：

利用FAST或ORB方法提取特征点，利用中层金字塔图像的特征匹配结果进行有约束的精细特征匹配，利用RANSAC剔除粗差，最终得到图像间的二维放射变换结果。

在一些实施例中，在采集下视角相机的视频拍摄数据，选取两帧待分析图像中，包括以下步骤：

在所述视频拍摄数据的时间连续的图像序列中选取前后时刻相邻的两帧图像作为待分析图像；或

在所述视频拍摄数据的时间连续的图像序列中选取待分析时刻的图像，以及在吊钩未吊起吊物时的图像。

在一些实施例中，在步骤S40中，包括以下步骤：

根据相对运动估计对两帧待分析图像进行运动改正，并对准两帧待分析图像；

计算两帧待分析图像的对应像素间的颜色差异，进行像素级差分计算，取R、G、B三个通道中灰度差的绝对值最大的值作为像素差异值d；

对其中一张待分析图像中的每个像素取一个处理窗口Tp，并在另一张待分析图像中以二维放射变换计算后的同名点作为中心点，取一个面积更大的处理窗口Tr；

利用归一化相关系数，计算处理窗口Tp在处理窗口Tr中的最佳匹配位置，并将最佳位置处的归一化相关系数p作为像素差异值d的置信度加权，得到加权差分图像。

在一些实施例中，在根据所述加权差分图像，分割得出吊物检测结果中，包括以下步骤：

判断图像中的联通体数量和/或面积，如联通体数量小于第一阈值，和/或联通体面积大于第二阈值，则判断检测成功，分割得出吊物检测结果；

如联通体数量大于第一阈值，和/或联通体面积小于第二阈值，则判断检测失败，进入步骤S51；

S51、利用LSD方法进行线段检测，在运动改正后的图像上计算每条线段在另一图像中是否存在同名线段，通过抑制同名线段，保留不存在同名线段的区域，分割出吊物检测结果。

在一些实施例中，在步骤S51中，在计算每条线段在另一图像中是否存在同名线段时，包括以下步骤：

以其中一个图像中的一条线段为中轴线，在其两侧分别扩展出缓冲区，计算在另一图像中的线段与缓冲区的重叠度，若重叠度大于设定重叠阈值，则判断两张图像中的这两条线段为同名线段。

第二方面，本发明提供一种应用于上述基于下视角相机的塔吊吊物检测分割方法的系统，包括：

图像选取模块，用于采集下视角相机的视频拍摄数据，选取两帧待分析图像；

运动分析模块，用于对每一帧待分析图像构建多分辨率金字塔图像，对场景作二维平面化处理，对两帧多分辨率金字塔图像进行相对运动分析，得到图像间的二维放射变换结果；

第一处理模块，用于判断二维放射变换结果，若结果匹配成功，向加权差分模块发送请求处理指令；若结果匹配失败，则重复选取图像并进行运动分析；

加权差分模块，用于根据相对运动估计对两帧待分析图像进行运动改正，并对准两帧待分析图像，对两帧待分析图像进行像素级差分计算，根据高程差，对像素级差分计算结果进行置信度加权，得到加权差分图像；

第二处理模块，用于根据所述加权差分图像，分割得出吊物检测结果。

相比现有技术，本发明的有益效果至少包括：

只需利用安装于大臂塔吊小车下方的单台下视角相机的视频拍摄数据，无需借助额外的传感器和其他电子器件，即可通过图像分析出吊物检测结果，大大降低了部署难度；

针对两帧待分析图像作相对运动分析，得出图像间的二维放射变换结果，再通过多策略组合的柔性差分计算方式，在考虑场景二维平面化、高程差等影响维度的情况下，通过简单算法即可分割得出吊物检测结果，实现冷启动检测。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是一种实施例下一种基于下视角相机的塔吊吊物检测分割方法的流程示意图。

图2是一种实施例下下视角相机的部署位置示意图。

图3是另一种实施例下一种基于下视角相机的塔吊吊物检测分割方法的流程示意图。

图4是实施例1中选取的一帧待分析图像的示意图。

图5是实施例1中选取的另一帧待分析图像的示意图。

图6是实施例1中经过像素级差分计算后的差分图。

图7是实施例1中的置信度图。

图8是实施例1中对像素级差分计算结果进行置信度加权后所得到的加权差分图像。

图9是实施例1中分割得出的吊物检测结果示意图。

图10是实施例2中选取的一帧待分析图像的示意图。

图11是实施例2中选取的另一帧待分析图像的示意图。

图12是实施例2中经过像素级差分计算后的差分图。

图13是实施例2中的置信度图。

图14是实施例2中对像素级差分计算结果进行置信度加权后所得到的加权差分图像。

图15是实施例2中分割得出的吊物检测结果示意图。

图16是实施例3中选取的一帧待分析图像的示意图。

图17是实施例3中选取的另一帧待分析图像的示意图。

图18是图16中的待分析图像经过LSD线段检测后的示意图。

图19是图17中的待分析图像经过LSD线段检测后的示意图。

图20是实施例3中分割出吊物检测结果后的原图。

图21是实施例3中分割出吊物检测结果后进行二值化后的示意图。

图22是一种实施例下一种基于下视角相机的塔吊吊物检测分割系统的示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

参照图1至2，第一方面，本发明提供一种基于下视角相机的塔吊吊物检测分割方法，下视角相机安装于大臂塔吊小车下方，包括以下步骤：

S10、采集下视角相机的视频拍摄数据，选取两帧待分析图像；

S20、对每一帧待分析图像构建多分辨率金字塔图像，对场景作二维平面化处理，对两帧多分辨率金字塔图像进行相对运动分析，得到图像间的二维放射变换结果；

S30、判断二维放射变换结果，若结果匹配成功，进入步骤S40，若结果匹配失败，则进入步骤S10；

S40、根据相对运动估计对两帧待分析图像进行运动改正，对准两帧待分析图像，对两帧待分析图像进行像素级差分计算，根据高程差，对像素级差分计算结果进行置信度加权，得到加权差分图像；

S50、根据加权差分图像，分割得出吊物检测结果。

需要说明的是，下视角相机和吊钩都固定在塔吊小车处，当塔吊小车移动时，下视角相机和吊钩吊物都同步移动，此时下视角相机所拍摄得到的视频拍摄数据是时间连续的图像序列，在采集此图像序列后，选取两帧待分析图像，通过对这两帧待分析图像进行相对运动分析和加权差分，来分割得出吊物检测结果。

更具体地，针对两帧待分析图像，分别构建出多分辨率金字塔图像，越顶层的金字塔图像分辨率越低，对场景作二维平面假设，采用多级匹配策略来计算两帧待分析图像的二维放射变换关系，以确定目前运动关系，当判断获得可信的二维放射变换结果后，代表结果匹配成功，进入下一步骤，若判断二维放射变换结果不可信，即匹配失败，则需要重新在图像序列中获取待分析图像，进行下一轮的相对运动分析。

当成功获得图像间的二维放射变换结果后，得知目前的相对运动估计，根据相对运动估计对两帧待分析图像进行运动改正，获得在二维放射变换意义下对准的两帧待分析图像，然后进行图像像素级差分计算，并在考虑高程差的情况下，进行图像高差置信度加权计算，得到加权差分图像，并根据此分割得出吊物检测结果。

参照图3，作为一种实施方式，在对每一帧待分析图像构建多分辨率金字塔图像，对场景作二维平面化处理，对两帧多分辨率金字塔图像进行相对运动分析，得到图像间的二维放射变换结果中，包括以下步骤：

采用2倍下采样模式，利用双线性内插方法构建三级金字塔，分别为顶层金字塔图像、中层金字塔图像和底层金字塔图像，三层的金字塔图像分辨率不一样，优选地，顶层金字塔图像的分辨率是底层金字塔图像的0.1倍，中层金字塔图像的分辨率是底层金字塔图像的0.3倍；

在顶层金字塔图像进行整体模板匹配，得到放射变换初值，整体模板匹配的搜索空间包括二维旋转和平移；

在顶层金字塔图像匹配给定的参数基础上，在中层金字塔图像进行特征匹配，利用顶层匹配给出的放射变换初值进行约束，在约束下进行中层的特征点匹配，搜索得到同名点；

在中层金字塔金字塔图像完成匹配后，根据中层金字塔图像的特征匹配结果，在底层金字塔图像中进行精细特征匹配，最终得到图像间的二维放射变换结果。

作为一种实施方式，三层金字塔图像的分辨率可以根据下视角相机的作业高度而改变，如在较高范围内进行视觉检测，可以将顶、中层金字塔图像的分辨率倍数调高，例如顶层金字塔图像的分辨率是底层金字塔图像的0.2倍，中层金字塔图像的分辨率是底层金字塔图像的0.5倍；如果在较低范围内进行视觉检测，可以将顶、中层金字塔图像的分辨率倍数调低，例如顶层金字塔图像的分辨率是底层金字塔图像的0.05倍，中层金字塔图像的分辨率是底层金字塔图像的0.2倍。通过调节顶、中层分辨率倍数，能适应当下视角相机位于不同高度时，由于存在不同的高程差，同名物体在序列图像中会呈现较大的视觉差异，这一调节方式可减轻高程差的影响。

可选地，在中层金字塔图像进行特征匹配，在放射变换初值的约束下进行特征点匹配，搜索得到同名点中，包括以下步骤：

利用SIFT方法提取特征点，利用放射变换初值进行有约束的匹配，利用RANSAC剔除粗差，设定场景为二维平面，在重投影点的区域内搜索得到同名点。

可选地，在根据中层金字塔图像的特征匹配结果，在底层金字塔图像中进行精细特征匹配，最终得到图像间的二维放射变换结果中，包括以下步骤：

利用FAST或ORB方法提取特征点，利用中层金字塔图像的特征匹配结果进行有约束的精细特征匹配，利用RANSAC剔除粗差，最终得到图像间的二维放射变换结果。

利用顶层金字塔图像进行匹配，采用归一化相关系数作为相似度描述，搜索平移和旋转空间，获得最佳二维放射变换，再添加中层、底层金字塔图像进行特征匹配，其中中层进行复杂算子特征匹配，底层进行快速算子特征匹配，多匹配层级提高稳定性。

在本实施例中，在采集下视角相机的视频拍摄数据，选取两帧待分析图像中，包括以下步骤：

作为一种实施方式，在视频拍摄数据的时间连续的图像序列中选取前后时刻相邻的两帧图像作为待分析图像，即选取前一时刻的图像和后一时刻的图像作为分析，通过前后时刻相邻的两帧图像，实时分析图像间的相对运动，解决冷启动困难问题，无需深度学习，这一方式适用于吊起吊物的中后期；

作为另一种实施方式，在视频拍摄数据的时间连续的图像序列中选取待分析时刻的图像，以及在吊钩未吊起吊物时的图像，这种方式适用于在吊起吊物的初期，因最初吊起吊物时，吊物离开地面会经历一段上升期，这一过程由于离下视角相机较远，对于吊物的识别能力较差，待分析时刻的图像相对于吊钩未吊起吊物时的图像而言，最主要的变化在于，吊物区域的放大，其余区域基本不会发生改变，因此通过对吊钩未吊起吊物时的图像与吊起吊物后的待分析时刻的图像构建多分辨率金字塔图像，做相对运动分析，能更准确地得出相对运动估计，二维放射变换结果的匹配成功率更高，更节约算力。

参照图3，在本实施例中，在二维放射变换结果匹配成功后，即获得图像间的相对运动估计后，由于吊钩和吊物会跟随相机运动，背景场景不随相机运动，所以利用图像间的柔性差异对吊钩和吊物进行精确分割，但是即使在步骤S20中对场景作二维平面化处理，但是在下视角相机的视角下，所采集的场景几乎不可能满足平面假设，由相对运动分析获得的二维放射变换关系，就无法真正描述图像间的严格点到点关系，所以为了能更准确地分割提取出吊钩和吊物，本实施例采取了多种策略组合的柔性差分计算方式，在步骤S40中，包括以下步骤：

根据相对运动估计对两帧待分析图像进行运动改正，在二维放射变换意义下对准两帧待分析图像；

计算两帧待分析图像的对应像素间的颜色差异，进行像素级差分计算，取R、G、B三个通道中灰度差的绝对值最大的值作为像素差异值d；

对其中一张待分析图像中的每个像素取一个处理窗口Tp，并在另一张待分析图像中以二维放射变换计算后的同名点作为中心点，取一个面积更大的处理窗口Tr；

利用归一化相关系数，计算处理窗口Tp在处理窗口Tr中的最佳匹配位置，并将最佳位置处的归一化相关系数p作为像素差异值d的置信度加权，将像素差异值d乘以(1-p)，计算得到加权差分图像。

通过对像素差异值d进行置信度加权，能克服由于高程差所导致的同名物体在序列图像中呈现出来的非常大的视觉差异的缺陷，将同名区域的差异值有效降低，突出真正由于吊钩吊物运动所导致的图像差异。

实施例1：

结合图4至图9，其中，图4为本实施例中选取的一帧待分析图像，图5为本实施例中选取的另一帧待分析图像，在经过像素级差分计算后，得到如图6所示的差分图，图7为本实施例中的置信度图，在经过像素级差分计算结果进行置信度加权后得到如图8所示的加权差分图像，最后分割得出如图9所示的吊物检测结果。

实施例2：

结合图10至图15，其中，图10为本实施例中选取的一帧待分析图像，图11为本实施例中选取的另一帧待分析图像，在经过像素级差分计算后，得到如图12所示的差分图，图13为本实施例中的置信度图，在经过像素级差分计算结果进行置信度加权后得到如图14所示的加权差分图像，最后分割得出如图15所示的吊物检测结果。

参照图3，在本实施例中，经过像素差异值的置信度加权后，得到加权差分图像，在根据加权差分图像，分割得出吊物检测结果中，包括以下步骤：

要判断是否获得吊钩吊物的区域，在本实施例中是通过判断图像中的联通体数量和/或面积来作出决策，如联通体数量小于第一阈值，和/或联通体面积大于第二阈值，证明代表着吊钩吊物的联通体已经较清晰表现出来，呈现出一个或多个面积较大的联通体，则判断检测成功，分割得出吊物检测结果；

如联通体数量大于第一阈值，和/或联通体面积小于第二阈值，证明代表着吊钩吊物的联通体还无法清晰表现出来，联通体比较杂乱分散，没有呈现出具有强相关性的具有一定连通面积的联通体，则判断检测失败，进入步骤S51；

S51、利用LSD方法进行线段检测，在运动改正后的图像上计算每条线段在另一图像中是否存在同名线段，通过抑制同名线段，保留不存在同名线段的区域，分割出吊物检测结果。

需要说明的是，对于钢筋、钢管等条状物体，在下视角相机的视觉场景中布置有杂乱的钢筋或钢管，吊物也是钢筋或钢管的情况下，通过简单的高程差置信度加权后的像素差异还无法很好地抑制背景，无法很精确地得出吊物检测结果，所以当判断检测失败后，还需要利用LSD方法进行线段检测，通过线段间的差分，二值化处理后，分割出吊物检测结果。

更进一步地，在步骤S51中，在计算每条线段在另一图像中是否存在同名线段时，包括以下步骤：

以其中一个图像中的一条线段为中轴线，在其两侧分别扩展出缓冲区，计算在另一图像中的线段与缓冲区的重叠度，若重叠度大于设定重叠阈值，则判断两张图像中的这两条线段为同名线段。通过抑制同名线段，保留不存在同名直线的区域，可以有效地对条状物体进行分割。

实施例3：

结合图16至图21，其中，图16为本实施例中选取的一帧待分析图像，图17为本实施例中选取的另一帧待分析图像，在利用LSD方法进行线段检测后，得到如图18和图19所示的经过LSD线段检测后的示意图，在通过线段间的差分分割出吊物检测结果后，得到如图20所示的原图，二值化后得到如图21所示的示意图。

优选地，在吊钩不同的上升高度，在线段两侧扩展出的缓冲区存在差别，例如，在较高的高度下，由于条状物体离下视角相机较近，扩展出的缓冲区可以较大；在较矮的高度下，由于条状物体离下视角相机较远，扩展出的缓冲区可以较小。

参照图22，第二方面，本发明提供一种应用于上述基于下视角相机的塔吊吊物检测分割方法的系统，包括：

图像选取模块，图像选取模块与下视角相机信号连接，用于采集下视角相机的视频拍摄数据，选取两帧待分析图像；

运动分析模块，运动分析模块与图像选取模块信号连接，用于对每一帧待分析图像构建多分辨率金字塔图像，对场景作二维平面化处理，对两帧多分辨率金字塔图像进行相对运动分析，得到图像间的二维放射变换结果；

第一处理模块，第一处理模块与运动分析模块信号连接，用于判断二维放射变换结果，若结果匹配成功，向加权差分模块发送请求处理指令；若结果匹配失败，则重复选取图像并进行运动分析；

加权差分模块，加权差分模块与第一处理模块、运动分析模块、图像选取模块信号连接，用于在第一处理模块判断结果匹配成功后，根据相对运动估计对两帧待分析图像进行运动改正，并对准两帧待分析图像，对两帧待分析图像进行像素级差分计算，根据高程差，对像素级差分计算结果进行置信度加权，得到加权差分图像；

第二处理模块，第二处理模块与加权差分模块信号连接，用于根据加权差分图像，分割得出吊物检测结果。

在本实施例中，只需在塔吊小车下方部署一台下视角相机，在下视角相机采集到的视频拍摄数据中选取出按照时间连续排列的图像序列中的两帧待分析图像，分别构建出多分辨率金字塔图像，越顶层的金字塔图像分辨率越低，对场景作二维平面假设，采用多级匹配策略来计算两帧待分析图像的二维放射变换关系，以确定目前运动关系，当判断获得可信的二维放射变换结果后，代表结果匹配成功，进入下一步骤，若判断二维放射变换结果不可信，即匹配失败，则需要重新在图像序列中获取待分析图像，进行下一轮的相对运动分析。

当成功获得图像间的二维放射变换结果后，得知目前的相对运动估计，根据相对运动估计对两帧待分析图像进行运动改正，获得在二维放射变换意义下对准的两帧待分析图像，然后进行图像像素级差分计算，并在考虑高程差的情况下，进行图像高差置信度加权计算，得到加权差分图像，并根据此分割得出吊物检测结果。

相对于现有技术，本发明提供一种基于下视角相机的塔吊吊物检测分割方法及系统，只需利用安装于大臂塔吊小车下方的单台下视角相机的视频拍摄数据，无需借助额外的传感器和其他电子器件，即可通过图像分析出吊物检测结果，大大降低了部署难度；

针对两帧待分析图像作相对运动分析，得出图像间的二维放射变换结果，再通过多策略组合的柔性差分计算方式，在考虑场景二维平面化、高程差等影响维度的情况下，通过简单算法即可分割得出吊物检测结果，实现冷启动检测。

最后需要强调的是，本发明不限于上述实施方式，以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

以上描述为发明的主要流程步骤，其中可穿插其它功能步骤，并可打乱上述逻辑顺序和流程步骤，若数据的处理方式按照此流程步骤形式处理或数据处理的核心思想近似、雷同，均应受到保护。

Claims (9)

1.一种基于下视角相机的塔吊吊物检测分割方法，所述下视角相机安装于大臂塔吊小车下方，其特征在于，包括以下步骤：

S10、采集下视角相机的视频拍摄数据，选取两帧待分析图像；

S20、对每一帧待分析图像构建多分辨率金字塔图像，对场景作二维平面化处理，对两帧多分辨率金字塔图像进行相对运动分析，得到图像间的二维放射变换结果；具体地，采用2倍下采样模式，利用双线性内插方法构建三级金字塔，分别为顶层金字塔图像、中层金字塔图像和底层金字塔图像；在所述顶层金字塔图像进行整体模板匹配，得到放射变换初值，所述整体模板匹配的搜索空间包括二维旋转和平移；在所述中层金字塔图像进行特征匹配，在所述放射变换初值的约束下进行特征点匹配，搜索得到同名点；根据中层金字塔图像的特征匹配结果，在所述底层金字塔图像中进行精细特征匹配，最终得到图像间的二维放射变换结果；

S30、判断二维放射变换结果，若结果匹配成功，进入步骤S40，若结果匹配失败，则进入步骤S10；

S40、根据相对运动估计对两帧待分析图像进行运动改正，对准两帧待分析图像，对两帧待分析图像进行像素级差分计算，根据高程差，对像素级差分计算结果进行置信度加权，得到加权差分图像；

S50、根据所述加权差分图像，分割得出吊物检测结果。

2.如权利要求1所述的一种基于下视角相机的塔吊吊物检测分割方法，其特征在于，所述顶层金字塔图像的分辨率是所述底层金字塔图像的0.1倍，所述中层金字塔图像的分辨率是所述底层金字塔图像的0.3倍。

3.如权利要求1所述的一种基于下视角相机的塔吊吊物检测分割方法，其特征在于，在中层金字塔图像进行特征匹配，在所述放射变换初值的约束下进行特征点匹配，搜索得到同名点中，包括以下步骤：

利用SIFT方法提取特征点，利用放射变换初值进行有约束的匹配，利用RANSAC剔除粗差，设定场景为二维平面，在重投影点的区域内搜索得到同名点。

4.如权利要求1所述的一种基于下视角相机的塔吊吊物检测分割方法，其特征在于，在根据中层金字塔图像的特征匹配结果，在所述底层金字塔图像中进行精细特征匹配，最终得到图像间的二维放射变换结果中，包括以下步骤：

利用FAST或ORB方法提取特征点，利用中层金字塔图像的特征匹配结果进行有约束的精细特征匹配，利用RANSAC剔除粗差，最终得到图像间的二维放射变换结果。

5.如权利要求1所述的一种基于下视角相机的塔吊吊物检测分割方法，其特征在于，在采集下视角相机的视频拍摄数据，选取两帧待分析图像中，包括以下步骤：

在所述视频拍摄数据的时间连续的图像序列中选取前后时刻相邻的两帧图像作为待分析图像；或

在所述视频拍摄数据的时间连续的图像序列中选取待分析时刻的图像，以及在吊钩未吊起吊物时的图像。

6.如权利要求1至5任一项所述的一种基于下视角相机的塔吊吊物检测分割方法，其特征在于，在步骤S40中，包括以下步骤：

根据相对运动估计对两帧待分析图像进行运动改正，并对准两帧待分析图像；

计算两帧待分析图像的对应像素间的颜色差异，进行像素级差分计算，取R、G、B三个通道中灰度差的绝对值最大的值作为像素差异值d；

对其中一张待分析图像中的每个像素取一个处理窗口Tp，并在另一张待分析图像中以二维放射变换计算后的同名点作为中心点，取一个面积更大的处理窗口Tr；

利用归一化相关系数，计算处理窗口Tp在处理窗口Tr中的最佳匹配位置，并将最佳位置处的归一化相关系数p作为像素差异值d的置信度加权，得到加权差分图像。

7.如权利要求6所述的一种基于下视角相机的塔吊吊物检测分割方法，其特征在于，在根据所述加权差分图像，分割得出吊物检测结果中，包括以下步骤：

判断图像中的联通体数量和/或面积，如联通体数量小于第一阈值，和/或联通体面积大于第二阈值，则判断检测成功，分割得出吊物检测结果；

如联通体数量大于第一阈值，和/或联通体面积小于第二阈值，则判断检测失败，进入步骤S51；

S51、利用LSD方法进行线段检测，在运动改正后的图像上计算每条线段在另一图像中是否存在同名线段，通过抑制同名线段，保留不存在同名线段的区域，分割出吊物检测结果。

8.如权利要求7所述的一种基于下视角相机的塔吊吊物检测分割方法，其特征在于，在步骤S51中，在计算每条线段在另一图像中是否存在同名线段时，包括以下步骤：

以其中一个图像中的一条线段为中轴线，在其两侧分别扩展出缓冲区，计算在另一图像中的线段与缓冲区的重叠度，若重叠度大于设定重叠阈值，则判断两张图像中的这两条线段为同名线段。

9.一种应用于如权利要求1至8任一项所述的基于下视角相机的塔吊吊物检测分割方法的系统，其特征在于，包括：

图像选取模块，用于采集下视角相机的视频拍摄数据，选取两帧待分析图像；

运动分析模块，用于对每一帧待分析图像构建多分辨率金字塔图像，对场景作二维平面化处理，对两帧多分辨率金字塔图像进行相对运动分析，得到图像间的二维放射变换结果；具体地，采用2倍下采样模式，利用双线性内插方法构建三级金字塔，分别为顶层金字塔图像、中层金字塔图像和底层金字塔图像；在所述顶层金字塔图像进行整体模板匹配，得到放射变换初值，所述整体模板匹配的搜索空间包括二维旋转和平移；在所述中层金字塔图像进行特征匹配，在所述放射变换初值的约束下进行特征点匹配，搜索得到同名点；根据中层金字塔图像的特征匹配结果，在所述底层金字塔图像中进行精细特征匹配，最终得到图像间的二维放射变换结果；

第一处理模块，用于判断二维放射变换结果，若结果匹配成功，向加权差分模块发送请求处理指令；若结果匹配失败，则重复选取图像并进行运动分析；

加权差分模块，用于根据相对运动估计对两帧待分析图像进行运动改正，并对准两帧待分析图像，对两帧待分析图像进行像素级差分计算，根据高程差，对像素级差分计算结果进行置信度加权，得到加权差分图像；

第二处理模块，用于根据所述加权差分图像，分割得出吊物检测结果。