CN114241372A - 一种应用于扇扫拼接的目标识别方法 - Google Patents

Abstract

本发明公开了一种应用于扇扫拼接的目标识别方法，所述方法包括以下内容：步骤一，对实时拍摄的图像帧筛选后使用神经网络进行目标识别；步骤二，采用针对圆形图像区域的SURF算法对每一帧图像进行扇扫拼接；步骤三，通过拼接完成后的各帧图像之间的相对位置，将每帧图像的识别框叠加到拼接完成的图像中进行显示，将目标识别结果上报至相关节点并给出危险等级告警。本发明技术可以保证在有限的监控范围内进行目标识别，有效地描绘出目标物体的运行轨迹，上传目标信息至相关节点并给出危险等级告警，弥补了目标识别应用在扇扫拼接领域的空白。

Description

一种应用于扇扫拼接的目标识别方法

技术领域

本发明属于机器视觉技术领域，尤其涉及一种基于深度学习的目标分类识别方法以及工程化应用于扇扫拼接时的相关问题。

背景技术

传统目标检测算法主线内容有区域选取、特征提取、分类器。区域选择采用滑动窗口的策略对整幅图像进行遍历，且需要设置不同的尺度及长宽比，该方法时间复杂度太高，产生冗余窗口太多，严重影响后续特征提取和分类的速度和性能。特征提取受限于目标的形态多样性，光照变化多样性，背景多样性等因素，手工设计的特征对于多样性的变化没有很好的鲁棒性。基于深度学习的目标识别算法大致分为以下三类：基于区域建议的目标检测与识别算法，该算法的优点是识别准确率高，缺点是算法模型庞大，训练耗时长，算法识别速度慢，如R-CNN、Fast-R-CNN、Faster-R-CNN；基于搜索的目标识别算法，如基于视觉注意的AttentionNet，基于强化学习的算法；基于回归的目标识别算法，如YOLO、SSD，该方法的优点是目标识别速度快，应用在扇扫拼接里效果更优于基于区域采样的深度卷积目标识别算法，其中比较有代表性的有YOLO算法。

图像拼接技术是指将数张具有一定重合区域的图像合成一幅满足视场和分辨率双重要求的全景图像，图像拼接基本步骤一般包括预处理、图像配准、图像融合。根据图像配准方法的不同，图像拼接方法大致可以分为三类：基于区域的方法、基于特征的方法、基于混合模型的方法。基于区域的全局图像配准技术，该算法简单易实现，但需要利用图像全部可用的灰度信息，故其计算量较大，运算效率低，且对光照变化敏感，对图像配准中常见的尺度变化、非线性形变鲁棒性不强。基于特征的图像配准方法是通过某个特征对图像进行分析，计算效率较基于区域方法有很大提升，同时对光照变化、尺度变化、旋转甚至拍摄视角变化等均有较好的鲁棒性，场景适应性强。基于混合模型的配准兼顾配准速度和精度，具有运行速度快和匹配精度高的特点，并且针对于图像灰度变化、旋转、尺度甚至仿射变换等都能保持较好的不变性。

但是，在图像拼接时，由于曝光时间、光照条件、环境变化等问题，会造成图像在亮度上存在差异，如直接进行拼接，在重合区域会出现明显的接缝、“鬼影”和色彩差异，影响输出图像的视觉效果，同时也将影响对图像解析的准确度。而且，当图像拼接与目标识别同时运行时，受硬件资源限制，目标识别效果较差。

在扇扫监控范围有限的情况下增加了目标识别应用功能，填补了目标识别与扇扫拼接相结合的应用空白。同时，

发明内容

为了解决上述技术问题，本发明提供了一种将目标识别算法应用于扇扫拼接上的技术，可以保证在有限的监控范围内进行目标识别，有效地描绘出目标物体的运行轨迹，上传目标信息至相关节点并给出危险等级告警，弥补了目标识别应用在扇扫拼接领域的空白。

本发明提供了一种应用于扇扫拼接的目标识别方法，所述方法包括以下内容：

步骤一，对实时拍摄的图像帧筛选后使用神经网络进行目标识别；

步骤二，采用针对圆形图像区域的SURF算法对每一帧图像进行扇扫拼接；

步骤三，通过拼接完成后的各帧图像之间的相对位置，将每帧图像的识别框叠加到拼接完成的图像中进行显示，将目标识别结果上报至相关节点并给出危险等级告警

进一步的，所述步骤一包括：

步骤1.1，将视频分割为若干图像帧，通过自适应关键帧检验算法在图像帧中确定出关键帧，并筛选图像场景发生非常规变化的帧；

步骤1.2，将筛选出的关键帧以及图像场景发生非常规变化的帧输入到神经网络中进项目标识别。

进一步的，所述神经网络包含输入层、骨架网络以及颈部多尺度融合模块：在输入层使用mosaic数据增强方法，采取随机缩放、随机裁剪、随机排布的方式创建由多张图片裁剪拼接得到的新训练集；骨架网络根据CSPNet方法以及YOLOv3的骨架网络DarkNet53设计的采用CSP结构跳层连接的CSPDarkNet53；颈部接收CSPDarkNet53中输出的多尺度特征图，通过空间池化金字塔层融合池化特征图维持高层特征图信息不丢失，同时使用PANet将高层特征图特征融合到低层特征图中保证最终识别头接收到的特征图张量包含骨架网络提取到的所有特征。

更进一步的，采用Generalized Intersection over Union GIOU方法作为锚框的损失函数：

GIOU方法为：先计算两个框的最小闭包面积A_c再计算交并比IOU和闭包区域中不属于两个框区域U的占闭包区域的比重的差：

进一步的，所述步骤二包括：

步骤2.1，对图像帧采用圆形切割区域提取SURF特征点；

步骤2.2，根据找到的特征点，计算出各图像帧间的坐标转换关系；

步骤2.3，对误配点进行删除，并将图像帧进行融合。

进一步的，所述步骤2.1具体为：

更进一步的，首先，用不同尺度的滤波器模板构建尺度空间提取特征点，通过Hessian矩阵确定关键点；然后，以特征点为中心，按像素点到特征点的距离赋予权重，越靠近中心点权重越大，统计扇形内的所有像素点的响应值之和，遍历整个圆，选取最大值方向为该点的主方向，将坐标轴旋转到主方向。

更进一步的，所述步骤2.2具体为：以特征点为中心作三个圆，将每个圆等分为8个子区域，在每一个子区域计算每个点所有坐标轴方向上的Haar小波响应值并用高斯分布加权，从而增强算法稳健性，然后计算每个子区域响应值之和及绝对值之和，归一化每个子区域上的结果，对每个圆生成一个12维的特征描述符，其包含各圆形计算区域内的灰度值之和；

然后，设定三个半径分别为r₁，r₂，r₃的圆形区域各自像素的灰度值之和分别为f₁，f₂，f₃，将其记为三维描述符：F＝(f₁，f₂，f₃)；将F＝(f₁，f₂，f₃)进行归一化处理，得到一个3维向量，其每一维对应一个圆形区域的差分值计算半径r3的圆内像素点的二阶梯度值及方向，并赋予以特征点为中心的高斯加权系数；

最后，计算8个方向的二阶梯度和，生成一个8维向量，并进行归一化，即生成一个26维的描述符。

作为本申请的一种优选实施方案，采用加权平均法进行推向融合；

设f1和f2表示输入图像，f表示融合后图像，(x，y)表示重合区域像素点坐标，则有：

式中，ω₁和ω₂表示权重，且ω₁+ω₂＝1，0＜ω₁＜1

与现有技术相比较，本发明的有益效果：有效地将扇扫拼接与目标识别相结合，采用扇扫拼接与目标识别并行的运行逻辑，在扇扫监控范围有限的情况下增加了目标识别应用功能，有效地识别出目标并在拼接显示画面上显示被识别物体的行动轨迹，填补了目标识别在扇扫拼接领域应用的空白。采用一种基于圆形区域的改进SURF算法，即基于圆形邻域的改进SURF算法，与经典的SURF算法相比，该算法特征描述符维度低、运算量小，对于旋转和拍摄视角变换角度过大时，匹配精度更高，可以有效地解决图像拼接过程中重合区域有明显接缝的问题，并通过渐入渐出算法进行拼接后融合以达到更好的拼接效果。目标识别算法采用YOLOv4，该算法在速度和准确率上的表现都十分优异。

附图说明

图1为矩形与圆形区域比较；图1a为矩形邻域；图1b为圆形邻域；

图2为CSURF算法流程图；

图3为渐入渐出法流程图；

图4为YOLOv4网络结构示意图；

图5为图像每个像素进行映射图；

图6为改进的RANSAC算法剔除误匹配点的流程图。

具体实施方式

本方案采用一种基于圆形区域的改进SURF算法进行图像配准，完成角度范围为120°、扫描速度为每秒20°的扇扫拼接，算法流程如附图2所示。首先使用YOLOv4网络对单一图像进行目标检测，对已经生成检测框的目标图片，通过Hessian矩阵提取特征点，然后采用特征点圆形领域进行特征描述，使用Haar小波响应为每个特征点建立描述符，同时计算邻域内归一化的灰度差分及二阶梯度，形成新的特征描述符，采用RANSAC(Random SampleConsensus)算法剔除误匹配点，最终将识别后的图片按匹配点进行拼接，得到广度图像。主要步骤如下：

1)目标识别

视频关键帧选择算法和目标检测网络，其中关键帧选择方法通过自适应关键帧检测算法确定并筛选图像场景发生非常规变化的帧，目标检测模块仅对关键帧进行检测。其整体结构包含输入层、骨架网络以及颈部多尺度融合模块：在输入层使用mosaic数据增强方法，采取随机缩放、随机裁剪、随机排布的方式创建由多张图片裁剪拼接得到的新训练集元素缓解图像数据单一、数量较少的问题并提高了网络的识别鲁棒性；骨架网络根据CSPNet思想以及YOLOv3的骨架网络DarkNet53设计了采用CSP结构跳层连接的CSPDarkNet53；颈部接收CSPDarkNet53中输出的多尺度特征图，通过空间池化金字塔层融合池化特征图维持高层特征图信息不丢失，同时使用PANet将高层特征图特征融合到低层特征图中保证最终识别头接收到的特征图张量包含骨架网络提取到的所有特征。

2)提取特征点并确定主方向

首先，通过盒形滤波近似的代替高斯滤波，通过积分图像加块多尺度卷积的速度，用不同尺度的滤波器模板构建尺度空间提取特征点通过Hessian矩阵确定关键点；采用不同尺度的滤波模板与图像做卷积运算得到不同尺度下的滤波影响值，建立尺度空间，然后，确定主方向，以特征点为中心，按像素点到特征点的距离赋予权重，越靠近中心点权重越大，统计60°扇形内的所有像素点的响应值之和，以小角度5°旋转扇形遍历整个圆，选取最大值方向为该点的主方向，将坐标轴旋转到主方向。

3)特征描述符生成

以特征点为中心，作三个圆。并在每一个子区域计算每个点在x，y方向上的Haar小波响应值，同时使用高斯分布加权，从而增强算法稳健性，然后计算每个子区域响应值之和及绝对值之和。并将其进行归一化，可以得到一个12维的特征描述符。计算区域的灰度值之和，记：半径r₁，r₂，r₃的圆内区域像素的灰度值之和分别为f₁，f₂，f₃，可得到一个三维描述符：F＝(f₂，f₂，f₃)。将F＝(f₁，f₂，f₃)进行归一化处理，得到一个3维向量。计3个圆形区域的差分值，对应得到一个3维向量。计算半径r₃的圆内像素点的二阶梯度值及方向，并赋予以特征点为中心的高斯加权系数，然后计算8个方向的二阶梯度和，生成一个8维向量，并进行归一化。自此，即可生成一个26维的描述符。

4)特征点匹配

采用最小欧式距离准则进行特征点匹配。根据找到的匹配特点对，可计算出图像间的坐标转换关系，即两幅图像之间的变换矩阵H根据图像间的变换关系选择对应的矩阵算法变换公式，计算处特征向量的最小欧式距离和次小欧氏距离，取配准图像中与参考图像特征点欧式距离最近的两个特征点的欧氏距离，若两个特征点的欧式距离比值小于阈值(一般为0.6～0.8，本专利取0.6)则认为两点为正确匹配点对，遍历所有特征点，得到全部匹配点对。

5)匹配点剔除

采用改进的RANSAC算法剔除误匹配点通过盒形滤波近似的代替高斯滤波，通过积分图像激素多尺度卷积的速度，通过Hessian矩阵确定关键点；采用不同尺度的滤波模板与图像做卷积运算得到不同尺度下的滤波影响值，建立尺度空间，随机选取m个点计算模型参数，然后利用得到的模型衡量其他点，把小于阈值的点作为内点。重复以上过程n次，选择内点最多的点集计算准确的模型参数。

通过改进随机采样的过程，利用每次抽取的最小子样本来估计模型参数，再根据该模型调整子样本在后面抽样中被选取的概率。经过不断迭代抽取检验之后，获得正确临时模型的概率逐渐被提高，减少获取正确模型的时间，提高算法效率。设图像配准时的数据点总数为n，数据点采样权重为

初始最小子集为ψ₀，模型参数的原始数据误差为e_i，则采样概率为：

概率阈值为p；临时内点集S，(S_i,S_j)是S中的任意点对，其欧氏距离d＝||S_i-S_j||欧氏距离阈值为D，算法流程图如图6所示。

6)图像融合

在图像拼接前使用直方图均衡化方法对输入图像进行亮度预处理，使输入图像亮度达到均衡，然后再使用加权平滑法进行图像融合，这样既不会产生过渡带，又能有效消除拼接线。具体方法如下：将重叠区图像直方图归一化，获得重叠区像素值的概率密度函数的均衡化公式。首先进行重叠区图像直方图计算，由于重叠区图像直方图表示重叠区像素值频率，所以将其每个频率除以重叠区总的像素就可得每个像素值出现的概率P(w)，由此得到重叠区像素值的累积分布函数如下：

其中w为任意变量。

根据上式建立图像像素值映射关系，对图像每个像素进行映射调整。设，输入图像为I₁,I₂,取直方图较为平和的图像为参考图像(如I₁)，对,I₂的每个像素值进行调整，使,I₂按I₁的光照调整。如图5所示，如图，I1,I2,分别在g1,g2像素值下具有相同的累计分布函数值，故将I2，图像中所有像素值为g1的像素映射到g2，对I2所有灰度级做调整。如果待调整图和参考图具有相同的累积分布函数值，则将待调整图像素值调整为参考图对应的像素值；如果参考图和待调整图没有相同的累积分布函数值(上图中的长横虚线)，则待调整图在该灰度级保持原有像素值。

最后将调整后图像作为输入图，采用加权平均法的推向融合方法进行融合。首先，设f1和f2表示输入图像，f表示融合后图像，(x，y)表示重合区域像素点坐标，则有：

式中，ω₁和ω₂表示权重，且ω₁+ω₂＝1，0＜ω₁＜1；设两张带拼接图像的宽度分别为a，b则

由于经过映射调整后的输入图具有基本一致的亮度，因此能消除拼接线和过渡带，生成较为自然的拼接结果图。

7)目标识别结果叠加及上报

以拼接的第一张图片最左侧边缘像素为初始位置(从左至右进行扫描时以最左侧边缘像素为初始位置，从右至左时相反)，经过特征点匹配后的后续每帧图像与初始位置的相对位置已知，目标检测得到的每一帧的识别框，可以通过特征点匹配后的前后两帧图像的相对位置将每一帧的目标识别框转换到拼接完成的图像上相对应的绝对坐标值并进行叠加显示，实现两路功能同时进行，以满足目标检测在扇扫拼接上的实时性。将目标识别结果上报至相关节点并给出危险等级告警。

综上所述，以上均为本发明的较佳实施例，本发明的保护范围并不局限于此，凡在本发明思想和原则下做出的修改、替换、改进等，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种应用于扇扫拼接的目标识别方法，其特征在于，所述方法包括以下内容：

步骤一，对实时拍摄的图像帧筛选后使用神经网络进行目标识别；

步骤二，采用针对圆形图像区域的SURF算法对每一帧图像进行扇扫拼接；

步骤三，通过拼接完成后的各帧图像之间的相对位置，将每帧图像的识别框叠加到拼接完成的图像中进行显示，将目标识别结果上报至相关节点并给出危险等级告警。

2.根据权利要求1所述的一种应用于扇扫拼接的目标识别方法，其特征在于，所述步骤一包括：

步骤1.1，将视频分割为若干图像帧，通过自适应关键帧检验算法在图像帧中确定出关键帧，并筛选图像场景发生非常规变化的帧；

步骤1.2，将筛选出的关键帧以及图像场景发生非常规变化的帧输入到神经网络中进项目标识别。

3.根据权利要求2所述的一种应用于扇扫拼接的目标识别方法，其特征在于，所述神经网络包含输入层、骨架网络以及颈部多尺度融合模块：在输入层使用mosaic数据增强方法，采取随机缩放、随机裁剪、随机排布的方式创建由多张图片裁剪拼接得到的新训练集；骨架网络根据CSPNet方法以及YOLOv3的骨架网络DarkNet53设计的采用CSP结构跳层连接的CSPDarkNet53；颈部接收CSPDarkNet53中输出的多尺度特征图，通过空间池化金字塔层融合池化特征图维持高层特征图信息不丢失，同时使用PANet将高层特征图特征融合到低层特征图中保证最终识别头接收到的特征图张量包含骨架网络提取到的所有特征。

4.根据权利要求2所述的一种应用于扇扫拼接的目标识别方法，其特征在于，采用Generalized Intersection over Union GIOU方法作为锚框的损失函数：

GIOU方法为：先计算两个框的最小闭包面积A_c再计算交并比IOU和闭包区域中不属于两个框区域U的占闭包区域的比重的差：

5.根据权利要求1所述的一种应用于扇扫拼接的目标识别方法，其特征在于，所述步骤二包括：

步骤2.1，对图像帧采用圆形切割区域提取SURF特征点；

步骤2.2，根据找到的特征点，计算出各图像帧间的坐标转换关系；

步骤2.3，对误配点进行删除，并将图像帧进行融合。

6.根据权利要求2所述的一种应用于扇扫拼接的目标识别方法，其特征在于，所述步骤2.1具体为：

首先，用不同尺度的滤波器模板构建尺度空间提取特征点，通过Hessian矩阵确定关键点；然后，以特征点为中心，按像素点到特征点的距离赋予权重，越靠近中心点权重越大，统计扇形内的所有像素点的响应值之和，遍历整个圆，选取最大值方向为该点的主方向，将坐标轴旋转到主方向。

7.根据权利要求4所述的一种应用于扇扫拼接的目标识别方法，其特征在于，所述步骤2.2具体为：以特征点为中心作三个圆，将每个圆等分为8个子区域，在每一个子区域计算每个点所有坐标轴方向上的Haar小波响应值并用高斯分布加权，从而增强算法稳健性，然后计算每个子区域响应值之和及绝对值之和，归一化每个子区域上的结果，对每个圆生成一个12维的特征描述符，其包含各圆形计算区域内的灰度值之和；

然后，设定三个半径分别为r₁，r₂，r₃的圆形区域各自像素的灰度值之和分别为f₁，f₂，f₃，将其记为三维描述符：F＝(f₁，f₂，f₃)；将F＝(f₁，f₂，f₃)进行归一化处理，得到一个3维向量，其每一维对应一个圆形区域的差分值计算半径r₃的圆内像素点的二阶梯度值及方向，并赋予以特征点为中心的高斯加权系数；

最后，计算8个方向的二阶梯度和，生成一个8维向量，并进行归一化，即生成一个26维的描述符。

8.根据权利要求5所述的一种应用于扇扫拼接的目标识别方法，其特征在于，采用加权平均法进行推向融合；

设f1和f2表示输入图像，f表示融合后图像，(x，y)表示重合区域像素点坐标，则有：

式中，ω₁和ω₂表示权重，且ω₁+ω₂＝1，0＜ω₁＜1。

Images