CN111191518A - 一种双光谱目标检测框坐标同步及掩膜层绘制方法 - Google Patents

Abstract

本发明涉及智能图像处理领域，具体涉及一种双光谱目标检测框坐标同步及掩膜层绘制方法。本发明针对现有双光谱目标检测技术中存在的对同一视觉场景内相同目标的重复检测问题，提出一种目标检测框坐标同步及掩膜层绘制方法，其提供针对同一时刻双光谱帧内目标检测框主对角线顶点坐标同步和掩膜层绘制技术。对目标检测框同步主要采用顶点坐标缓存后传送至第二视频通道画面的方法实现，对掩膜层绘制主要采用逐像素填充方法实现。本发明可应用于双光谱视频监控系统，可有效避免对同一视觉场景内相同目标的重复检测。

Description

一种双光谱目标检测框坐标同步及掩膜层绘制方法

技术领域

本发明涉及智能图像处理领域，具体涉及一种双光谱目标检测框坐标同步及掩膜层绘制方法。

背景技术

目前，视频流目标检测主要基于可见光通道作为第一视频通道执行目标检测和识别任务，但由于在特殊环境如：强光、沙尘、阴雨、雾霾、无光照环境中，可见光通道的画面无法保证准确反映所监视场景的目标及其细节，因此加入已与第一视频通道画面配准的第二视频通道画面。常见的第二视频通道为主动式红外补光成像，缓解了上述问题。进一步的，第二视频通道可以为被动式红外热成像，在无需红外LED补光的情况下改善了上述环境中的成像质量和成像细节。

加入第二视频通道后，与可见光通道同样需要执行目标检测和识别任务，当第一视频通道、第二视频通道画面针对同一场景呈现画面时，在相同通道时延、相同帧速率的情况下，在第一视频通道完成目标检测和识别后检测出的目标在第二视频通道执行二次检测，此步骤造成了对同一视觉场景内相同目标的重复检测。如何有效避免这种重复检测问题成为双光谱目标检测方法中一种迫切的需求。

发明内容

本发明针对现有双光谱目标检测技术中存在的重复检测问题，提出一种目标检测框坐标同步及掩膜绘制方法，其提供针对同一时刻双光谱帧内目标检测框主对角线顶点坐标同步和掩膜层绘制技术。对目标检测框同步采用主对角线顶点坐标缓存后传送至第二视频通道画面的方法完成目标检测框同步，对掩膜层绘制采用逐像素填充方法实现。本发明可有效避免对同一视觉场景内相同目标的重复检测。

本发明的技术方案如下：

一种双光谱目标检测框坐标同步及掩膜层绘制方法，包括以下步骤：

获取单帧来自于第一视频通道的画面

对所述第一视频通道的单帧画面进行预处理

将所述已经过预处理的第一视频通道的单帧画面送入卷积神经网络进行目标检测和识别处理，输出结果包含所有已检出目标的检测框主对角线顶点坐标

将所述卷积神经网络输出的所有已检出目标的检测框主对角线顶点坐标添加到顶点缓存列表暂时保存

按顺序抽取所述顶点缓存列表内一组目标检测框主对角线顶点坐标，计算出副角线顶点坐标，得到目标检测框矩形区域的完整顶点坐标

在同一时刻的第二视频通道画面内，以所述已获得完整顶点坐标的目标检测框矩形区域为填充范围对此范围内所有像素赋值。

继续按顺序抽取所述顶点缓存列表内一组目标检测框主对角线顶点坐标并计算副对角线顶点坐标、以计算所得目标检测框矩形区域为填充范围进行像素赋值，直到将所述顶点缓存列表内的所有目标检测框主对角线顶点坐标抽取，完成目标检测框矩形副对角线顶点计算，并在第二视频通道帧内完成此矩形区域内所有像素赋值，至此完成第二视频通道画面内掩膜层叠加绘制。

本发明基于双光谱视频监控设备中两路不同光谱的摄像头所采集的图像数据进行动态处理，其主要是将单帧第一视频通道的画面经过卷积神经网络处理输出后的所有目标检测框同步至同一时刻的第二视频通道的画面，并基于第二视频通道的画面在所有已同步的目标检测框限定的矩形区域内对所有像素执行填充操作。不同光谱的摄像头因所能成像的光谱范围不同，成像后的图像数据具备不同光谱下的目标特性。动态处理即同步第一视频通道画面内所有已检出目标的检测框至同一时刻的第二视频通道的画面内，并基于第二视频通道的画面在所有检测框限定的矩形区域中执行填充操作。通过执行上述两部操作，可有效规避对第一视频通道画面内已检出目标在第二视频通道画面内的重复检测和标定。

在上述技术方案上，本发明还可以做如下改进：

优选地，所述第一视频通道为可见光通道，所述第二视频通道为主动式红外补光通道或被动式红外热成像通道。第一视频通道亦可采用主动式红外补光成像、被动式红外热成像、紫外光成像中的一种，第二视频通道亦可采用在上述三种光谱通道中与第一视频通道不同的一种，也可选取为可见光通道。

优选地，所述预处理步骤可扩展为以下方法的组合，包括但不限定于分区段灰度直方图均衡、图像去噪、图像锐化、边缘抗锯齿、图像开闭运算等数字图像处理方法。

优选地，所述卷积神经网络可采用包括但不限于以下单个或几个神经网络模型的组合，包括但不限定于Inception-v4、ResNet、RetinaNet、Faster-RCNN等常见卷积神经网络模型。

优选地，所述像素赋值操作之前，可进一步执行连通区域合并计算，即对所有已同步的矩形区域判断是否存在二维平面上的重叠情况，若存在重叠情况，则两两合并矩形区域成为连通域直到不存在二维平面上的重叠区域，然后在这些两两独立的区域所限定范围内执行像素填充操作。

优选地，所述对矩形范围内所有像素赋值包括但不限于以下类型，包含纯色、随机噪声图样、随机线段图样、随机多边形图样、随机曲线段图样填充。

附图说明

图1为本发明目标检测框坐标同步流程图。

图2为本发明掩膜层绘制流程图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所列举实例仅用于解释本发明，并非用于限定本发明的范围。

如图1、图2所示，一种双光谱目标检测框坐标同步及掩膜层绘制方法，主要包括以下步骤：

获取单帧来自于第一视频通道的画面

对画面进行预处理。

送入卷积神经网络进行目标检测和目标识别处理，输出结果包含所有已检出目标的检测框主对角线顶点坐标。

将所述卷积神经网络输出的所有已检出目标的检测框主对角线顶点坐标添加到顶点缓存列表暂时保存，定义顶点缓存列表List={}，添加单组顶点后列表为List={Rect1[(x1,y1),(x2,y2)],……,Rectn[(x1,y1),(x2,y2)]}。

按顺序抽取所述顶点缓存列表内一组目标检测框主对角线顶点坐标Rect[(x1,y1),(x2,y2)]，计算出副对角线坐标，坐标可表示为左下角（x1,y2）和右上角（x2,y1），综合副对角线坐标得到目标检测框矩形区域的完整顶点坐标，按顺时针顺序排列顶点坐标即Rect[(x1,y1),(x2,y1),(x2,y2),(x1,y2)]

在同一时刻的第二视频通道画面内，以所述已获得完整顶点坐标的目标检测框矩形区域Rect[(x1,y1),(x2,y1),(x2,y2),(x1,y2)]为填充范围对此范围内所有像素赋值。

继续按顺序抽取所述顶点缓存列表内一组目标检测框主对角线顶点坐标并计算副对角线顶点坐标、以计算所得目标检测框矩形区域为填充范围进行像素赋值，直到将所述顶点缓存列表内所有目标检测框主对角线顶点坐标抽取后完成目标检测框矩形副对角线顶点计算，并在第二视频通道帧内完成此矩形区域内所有像素赋值，至此完成同一时刻单帧第二视频通道画面内掩膜层叠加绘制。

在上述技术方案的基础上，本实施样例还可以做如下改进：

所述实施样例中预处理可以是包括但不限于灰度直方图均衡、图像去噪、图像锐化、边缘抗锯齿、图像开闭运算等数字图像处理方法单独或联合使用，以提升图像预处理质量。

所述实施样例中可设置矩形边界框偏移量offset，可根据实际应用环境调整offset值，以对应不同光谱图像数据的特性，完成掩膜层绘制。添加offset值后的单个矩形区域可表示为Rect[(x1-offset,y1-offset),(x2+offset,y2-offset),(x2+0ffset,y2+offset),(x1-offset,y2+offset)]

所述实施样例还可进一步做以下改进：为降低区域填充次数，避免重复区域内像素重复填充，可进一步执行连通域合并计算。即逐个抽取顶点缓存列表内的矩形区域主对角线顶点，计算副对角线顶点，并抽取相邻后一矩形区域主对角线顶点坐标计算其副对角线顶点坐标，判断此相邻两区域是否存在重合，若存在重合，在二维平面内合并两区域，继续抽取下一矩形主对角线顶点判断是否与已取并集区域是否重合；若不存在重合，则判断相邻矩形是否和其后相邻矩形重合。以此类推，直至完成所有矩形区域重合判断。最后在所有两两不重合的区域内执行像素填充，再送入卷积神经网络执行目标检测和识别任务。

所述实施样例中的像素填充方案可采取：

对区域内所有像素赋统一值，即矩形区域呈现为纯色

对区域内像素使用随机值生成函数按像素数量比例选取随机位置的像素，并再次使用随机值生成函数选取随机颜色值对已选取的像素赋值，即矩形区域呈现为散点噪声数量可变的图案特征

在矩形区域内使用随机值生成函数生成方向、颜色、粗细、位置均随机的线段组合，线段生成数量由人为设定。最终矩形区域内呈现为颜色随机、粗细随机、指向随机、位置随机的图案。

在矩形区域内使用随机值生成函数，单次生成一个多边形，其颜色、位置、形状、大小、是否填充均由随机值函数确定，多边形生成数量由人为设定。最终矩形区域内呈现为颜色、位置、形状、大小、填充均随机的多边形组合图案。

进一步的，为降低卷积神经网络处理第二视频通道已叠加掩膜层的画面的处理时间、提升执行效率，基于所述实施样例降低区域填充次数的改进方法，在完成所有矩形区域重合判断并生成两两独立的闭区域后，在第二视频通道画面内取这些闭区域以外的区域，即取剩余画面。将剩余画面输入卷积神经网络处理可进一步降低处理时间，提升处理效率，更快地输出双光谱目标检测和识别结果。

进一步的，基于所述实施样例取剩余画面的改进方法，剩余画面可以作为整体的二维连通区域输入，也可以使用分割算法将剩余画面分割为尺寸不一的矩形区域并一一输入卷积神经网络。

本发明基于双光谱视频监控设备中两路不同光谱的摄像头采集的图像数据进行动态处理，相较于未采用目标检测框坐标同步及掩膜层绘制方法的系统，采用本发明所述方法可带来以下优势：

对双光谱通道的画面执行目标检测的同时，第二视频通道的画面因同步目标检测框坐标后执行了掩膜绘制操作，规避了对第一视频通道的画面内针对同一场景内相同目标的重复检测，减少了双光谱视频监控设备运行过程中的计算量，可提高其目标检测和识别性能。

进一步的，因已规避对同一场景内同一目标的重复检测和识别，即两个光谱通道画面内所检出目标不重合、不重复，具有在帧空间位置上的独立性、唯一性。经过本发明所述方法处理输出的双光谱目标检测和识别结果综合后可进一步分条输出为文本信息，便于后续系统收集并加以分析使用。相较于未采用本发明所述方法的系统，采用此方法的系统可为后续系统带来重复度更低的数据输入，进一步降低了后续系统的运算负载。

基于本发明所述填充方案改进点，若仅采用纯颜色值填充两两独立的闭区域，在完成掩膜层绘制并将第二视频通道的画面输入至卷积神经网络执行目标检测和识别任务时，个别区域会被误检测并识别为常见物体目标。采用本发明所述改进点的方案，因所填充内容在颜色、形状、尺寸、位置属性上具备多维度随机性，可规避上述问题，使已叠加掩膜层的第二视频通道画面被卷积神经网络处理后，掩膜区域所处位置不会被误检测识别为常见物体目标，增强了目标检测和识别结果的正确性。

基于本发明所述实施样例关于剩余画面输入卷积网络的改进点，相较于未采用此改进点所述方法的双光谱视频监控系统，采用此改进点所述方法的系统在执行双光谱目标检测和识别任务时具备更高效率、更低处理时间的特性。

通过以上实施方案的描述，本领域的技术人员可以清楚地了解到各个实施方式可借助软件，使其运行在双光谱视频监控平台的方式来实现。上述技术方案对现有技术做出贡献的部分能够以软件产品的方式体现，此软件产品可以存储于硬件系统可读存储介质内，如ROM、RAM、HDD、CD、DVD、FLASH等，包括使用若干指令使另一台硬件系统执行各个实施样例或其某些部分所述的方法。

以上所述仅为本发明较优实施样例，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种双光谱目标检测框坐标同步及掩膜层绘制方法，其特征在于，包括以下步骤：

获取单帧来自于第一视频通道的画面

对所述步骤（1）中画面进行预处理

将所述步骤（2）处理后画面送入卷积神经网络进行目标检测和识别处理，输出结果包含所有已检出目标的检测框主对角线顶点坐标

将所述步骤（3）中的所有目标检测框主对角线顶点坐标添加到顶点缓存列表暂时保存

按顺序抽取所述步骤（4）中顶点缓存列表内一组目标检测框主对角线顶点坐标，计算出副角线顶点坐标，得到目标检测框矩形区域的完整顶点坐标

在同一时刻的第二视频通道画面内，以所述步骤（5）矩形区域为填充范围对此范围内所有像素赋值。

2.重复所述步骤（5）、步骤（6），直到将所述步骤（3）内的顶点缓存列表内所有目标检测框主对角线顶点坐标抽取，完成目标检测框矩形副对角线顶点计算，并在第二视频通道帧内完成此矩形区域内所有像素赋值，至此完成第二视频通道画面内掩膜层叠加绘制。

3.基于权利要求1所述的一种双光谱目标检测框坐标同步及掩膜层绘制方法，其特征在于，所述预处理方法包括但不限于分区段灰度直方图均衡、图像去噪、图像锐化、边缘抗锯齿、图像开闭运算等数字图像处理方法。

4.基于权利要求1所述的一种双光谱目标检测框坐标同步及掩膜层绘制方法，其特征在于，所述双光谱包括但不限于可见光谱、红外光谱、紫外光谱等光谱的两两组合。

5.基于权利要求1所述的一种双光谱目标检测框坐标同步及掩膜层绘制方法，其特征在于，所述单个目标检测框主对角线顶点坐标为二维坐标，单个坐标点包含x方向坐标值、y方向坐标值。

6.基于权利要求1所述的一种双光谱目标检测框坐标同步及掩膜层绘制方法，其特征在于，所述缓存数组的单个元素包含两个值，即为单个目标检测框的左上角坐标顶点值和右下角坐标顶点值。

7.基于权利要求1所述的一种双光谱目标检测框坐标同步及掩膜层绘制方法，其特征在于，所述缓存列表的长度可变，可根据添加目标检测框主对角线顶点坐标的组数适配长度。

8.基于权利要求1所述的一种双光谱目标检测框坐标同步及掩膜层绘制方法，其特征在于，所述矩形区域基于单个目标检测框主对角线顶点坐标生成，由左上角（x1,y1）、右下角（x2,y2）坐标可得左下角（x1,y2）、右上角（x2，y1）坐标，所述矩形区域由上述四个顶点坐标确定。

9.基于权利要求1所述的一种双光谱目标检测框坐标同步及掩膜层绘制方法，其特征在于，其像素赋值方法可采用包括但不限于OpenCV API内相关接口调用、Python API内ndarray矩阵元素直接赋值的方法实现矩形区域内像素值重新赋值

基于权利要求1所述的一种双光谱目标检测框坐标同步及掩膜层绘制方法，其特征在于，其像素赋值模式包括但不限于纯色、随机噪声图样、随机线段图样、随机多边形图样、随机曲线段图样，最终完成矩形区域的像素级填充。

Images