CN117218109A - 车辆侧向拼接图像完整度检测方法、系统、设备和介质 - Google Patents

Abstract

本发明涉及图像检测技术领域，具体公开一种车辆侧向拼接图像完整度检测方法、系统、设备和介质，所述方法包括：在采集到的目标图像序列中，当首次检测到目标车辆未发生侧向位移的相邻两帧图像时，对基于所述相邻两帧图像的后一帧图像之前的图像所拼接出的所述目标车辆的当前侧向拼接图像进行识别，得到所述目标车辆的识别检测框；所述识别检测框与所述当前侧向拼接图像的边缘间距大于或等于预设间距值时，判定所述当前侧向拼接图像拼接完整。本发明能够对车辆侧向图像拼接过程进行车辆完整度检测，降低了误检的可能性并提升了检测效果。

Description

车辆侧向拼接图像完整度检测方法、系统、设备和介质

技术领域

本发明涉及图像检测技术领域，尤其涉及一种车辆侧向拼接图像完整度检测方法、系统、设备和介质。

背景技术

目前，对于车辆完整度检测，主要存在三种方式：1)通过背景建模的方式，可以在不增加外设的情况下进行，但是因为是对背景图像进行分析，所以当背景出现移动物体时，准确率相对较低，效果不好。2)通过激光雷达检测方式，激光雷达的成本比较高，而且激光雷达的波束很窄，在室外使用时，会受到雨雾天气影响，包括地面积水结冰放光的影响，在极端天气下收到的干扰较大。3)通过毫米波雷达的方式，相较于激光雷达，成本较低，因为波束较宽，在室外使用容错率较高，但是相比于纯视频检测的方式，仍然需要增加外设来进行，增加费用、施工、调试成本。以上三种方式都无法针对车辆进行触发，只能对进入的物体进行触发，后续还需要对非机动车辆进行过滤。

因此，亟需提供一种技术方案解决上述问题。

发明内容

为解决上述技术问题，本发明提供了一种车辆侧向拼接图像完整度检测方法、系统、设备和介质。

第一方面，本发明提供一种车辆侧向拼接图像完整度检测方法，该方法的技术方案如下：

S1、在采集到的目标图像序列中，当首次检测到目标车辆未发生侧向位移的相邻两帧图像时，对基于所述相邻两帧图像的后一帧图像之前的图像所拼接出的所述目标车辆的当前侧向拼接图像进行识别，得到所述目标车辆的识别检测框；

S2、当所述识别检测框与所述当前侧向拼接图像的边缘间距大于或等于预设间距值时，判定所述当前侧向拼接图像拼接完整。

本发明的一种车辆侧向拼接图像完整度检测方法的有益效果如下：

本发明的方法能够对车辆侧向图像拼接过程进行车辆完整度检测，降低了误检的可能性并提升了检测效果。

在上述方案的基础上，本发明的一种车辆侧向拼接图像完整度检测方法还可以做如下改进。

在一种可选的方式中，还包括：

S3、当所述识别检测框与所述当前侧向拼接图像的边缘间距小于所述预设间距值时，将所述相邻两帧图像的后续目标图像序列作为所述目标图像序列，返回执行S1；

S4、当预设条件下的所述识别检测框与所述当前侧向拼接图像的边缘间距仍小于所述预设间距值时，判定所述当前侧向拼接图像拼接不完整。

在一种可选的方式中，对所述当前侧向拼接图像进行识别的过程，包括：

利用训练好的yolov5模型，对所述当前侧向拼接图像进行车辆识别检测。

在一种可选的方式中，还包括：

当所述当前侧向拼接图像拼接完整时，将所述当前侧向拼接图像作为所述目标车辆的完整侧向拼接图像并输出。

在一种可选的方式中，还包括：

当所述当前侧向拼接图像拼接不完整时，输出所述目标车辆侧向图像拼接失败的提示信息。

在一种可选的方式中，还包括：

利用目标摄像机，实时采集目标区域的原始图像序列；

对所述原始图像序列中的每一帧图像进行图像增强处理，得到所述目标图像序列。

第二方面，本发明提供一种车辆侧向拼接图像完整度检测系统，该系统的技术方案如下：

包括：第一处理模块和第一检测模块；

所述第一处理模块用于：在采集到的目标图像序列中，当首次检测到目标车辆未发生侧向位移的相邻两帧图像时，对基于所述相邻两帧图像的后一帧图像之前的图像所拼接出的所述目标车辆的当前侧向拼接图像进行识别，得到所述目标车辆的识别检测框；

所述第一检测模块用于：当所述识别检测框与所述当前侧向拼接图像的边缘间距大于或等于预设间距值时，判定所述当前侧向拼接图像拼接完整。

本发明的一种车辆侧向拼接图像完整度检测系统的有益效果如下：

本发明的系统能够对车辆侧向图像拼接过程进行车辆完整度检测，降低了误检的可能性并提升了检测效果。

在上述方案的基础上，本发明的一种车辆侧向拼接图像完整度检测系统还可以做如下改进。

在一种可选的方式中，还包括：第二处理模块和第二检测模块；

所述第二处理模块用于：当所述识别检测框与所述当前侧向拼接图像的边缘间距小于所述预设间距值时，将所述相邻两帧图像的后续目标图像序列作为所述目标图像序列，返回调用所述第一处理模块；

所述第二检测模块用于：当预设条件下的所述识别检测框与所述当前侧向拼接图像的边缘间距仍小于所述预设间距值时，判定所述当前侧向拼接图像拼接不完整。

第三方面，本发明的一种计算机设备的技术方案如下：

包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，所述处理器执行所述程序时实现如本发明的一种车辆侧向拼接图像完整度检测方法的步骤。

第四方面，本发明提供的一种计算机可读存储介质的技术方案如下：

计算机可读存储介质中存储有指令，当计算机可读存储介质读取所述指令时，使所述计算机可读存储介质执行如本发明的一种车辆侧向拼接图像完整度检测方法的步骤。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

附图仅用于示出实施方式，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明提供的一种车辆侧向拼接图像完整度检测方法的实施例的流程示意图；

图2示出了车辆检测识别的示意图；

图3示出了本发明提供的一种车辆侧向拼接图像完整度检测系统的实施例的结构示意图；

图4示出了本发明提供的一种计算机设备的实施例的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。

图1示出了本发明提供的一种车辆侧向拼接图像完整度检测方法的实施例的流程示意图。如图1所示，包括如下步骤：

S1、在采集到的目标图像序列中，当首次检测到目标车辆未发生侧向位移的相邻两帧图像时，对基于所述相邻两帧图像的后一帧图像之前的图像所拼接出的所述目标车辆的当前侧向拼接图像进行识别，得到所述目标车辆的识别检测框。其中：

①以目标车辆出现的首帧图像为目标图像序列的起始图像，且目标图像序列中的任意相邻图像均是连续帧所对应的图像。

②目标车辆为本实施例中需要进行车辆侧向图像拼接的车辆。

③选取相邻两帧图像进行拼接的具体过程在已有专利中已经涉及，在此不过多赘述。

④未发生侧向位移的相邻两帧图像可以表示为：在此期间图像中没有车辆驶入或车辆处于静止状态。

⑤当前侧向拼接图像为：在目标图像序列中，首次未发生侧向位移的相邻两帧图像中的后一帧图像之前的每两帧相邻图像对应的侧向拼接图像所拼接得到的图像。例如，假设目标序列中所包含的连续帧图像为：图像A1、图像A2、图像A3、图像A4以及图像A5。若目标图像序列中的图像A3和图像A4为首次检测到目标车辆未发生侧向位移的相邻两帧图像，此时获取图像A3(此处的图像A3为：图像A3和图像A4中的后一帧图像)及之前的每帧图像，即：图像A1、图像A2和图像A3。此时获取图像A1和图像A2之间的侧向拼接图像A12、图像A2和图像A3之间的侧向拼接图像A23，将侧向拼接图像A12和侧向拼接图像A23进行拼接，得到当前侧向拼接图像。

⑥识别检测框为：对图像中的车辆进行位置识别标注所得到的检测框。

需要说明的是，若获取到目标车辆出现时的首帧图像，此时进行置位并标注已经启动对目标车辆的拼接。

S2、当所述识别检测框与所述当前侧向拼接图像的边缘间距大于或等于预设间距值时，判定所述当前侧向拼接图像拼接完整。其中：

①边缘间距为：识别检测框与当前侧向拼接图像中的目标车辆的边缘之间的所有像素点所对应的真实距离值。

②预设间距值为：预先设置的识别检测框与当前侧向拼接图像中的目标车辆的边缘之间的间距值，该值的大小可根据实际情况进行设置，在此不设限制。

本实施例的技术方案能够对车辆侧向图像拼接过程进行车辆完整度检测，降低了误检的可能性并提升了检测效果。

较优地，还包括：

S3、当所述识别检测框与所述当前侧向拼接图像的边缘间距小于所述预设间距值时，将所述相邻两帧图像的后续目标图像序列作为所述目标图像序列，返回执行S1。其中：

后续目标图像序列包含上述相邻两帧图像之后的每一帧图像。例如，目标序列中所包含的连续帧图像为：图像A1、图像A2、图像A3、图像A4、图像A5、图像A6、图像A7以及图像A8。假设未发生侧向位移的相邻两帧图像为图像A3和图像A4，则后续目标图像序列为：图像A4、图像A5、图像A6、图像A7以及图像A8。

S4、当预设条件下的所述识别检测框与所述当前侧向拼接图像的边缘间距仍小于所述预设间距值时，判定所述当前侧向拼接图像拼接不完整。其中：

预设条件默认为：达到预设检测时长或达到预设判定次数。预设条件也可根据实际情况进行设置，在此不设限制。

需要说明的是，图2左侧的车辆的识别检测框与当前侧向拼接图像的边缘间距大于预设间距值，图2中间和右侧的车辆识别检测框与当前侧向拼接图像的边缘间距小于预设间距值。故图2左侧的车辆为侧向拼接完整的车辆，图2中间和右侧的车辆为侧向拼接不完整的车辆。

较优地，对所述当前侧向拼接图像进行识别的过程，包括：

利用训练好的yolov5模型，对所述当前侧向拼接图像进行车辆识别检测。

其中：

本实施例中的yolov5模型用于进行车辆识别。

需要说明的是，yolov5模型采用的网络架构是基于轻量级的卷积神经网络，具有高效和快速的特点。

yolov5模型主要包括三个主要的组件：骨干网络、特征金字塔网络和检测头网络。骨干网络负责提取输入图像的特征表示，通常采用的是基于卷积神经网络的架构，如CSPDarkNet53或CSPResNeXt50。特征金字塔网络用于处理不同尺度下的特征信息，它包括一系列的卷积层和上采样层，以获得更丰富的感受野和语义信息。检测头网络为最后的输出层，它通过全连接层将特征映射到目标的边界框、类别和置信度。yolov5模型的目标检测原理基于单次预测，它将输入图像划分为网格单元，并通过卷积神经网络对每个单元预测目标的边界框和类别。每个预测框都会附带一个置信度，用于表示该框中是否存在目标。通过设置适当的阈值，可以过滤掉低置信度的预测框，并输出最终的检测结果(检测框)。

较优地，还包括：

当所述当前侧向拼接图像拼接完整时，将所述当前侧向拼接图像作为所述目标车辆的完整侧向拼接图像并输出。其中：

完整侧向拼接图像为：目标车辆在侧向上拼接得到的完整图像。

需要说明的是，当得到目标车辆的完整侧向拼接图像时，将标志位取消置位，等待对下一车辆的拼接。

较优地，还包括：

当所述当前侧向拼接图像拼接不完整时，输出所述目标车辆侧向图像拼接失败的提示信息。其中：

提示信息的提示方式可以是文字输出提示，也可以是声光报警提示等，在此不设限制。

较优地，还包括：

利用目标摄像机，实时采集目标区域的原始图像序列。其中：

①目标摄像机采用RGB实时视频流相机。

②目标区域为：目标摄像机所拍摄的区域，该区域是固定的。

③原始图像序列中的每帧图像均为未经任何图像处理的图像。

需要说明的是，RGB实时视频流相机采用纯视频流处理，不受车速变化的干扰，可同时实现车辆测速，车辆车身图像拼接融合等功能，其准确度和性价比都更高。同时，该方法配合1.44mm鱼眼镜头使用，通过对得到的视频进行鱼眼镜头畸变矫正，再进行车身融合拼接，可以得到视场角更大的结果，也可使设备距离车辆的距离更近，得到的车辆细节更多。

对所述原始图像序列中的每一帧图像进行图像增强处理，得到所述目标图像序列。其中：

图像增强处理的方式包括：自适应均衡化、图像轮廓提取等方式，能够使得在极端环境下，如雨、雪等天气，仍然能够正常得到车身轮廓细节，同时使用图像插值和图像二值化操作，获取到车辆在图像中实际的位置，进行动态设置物体跟踪区域，使得跟踪准确度大大提高。以上方法的运用使得车辆侧向拼接方法具有很强的鲁棒性，能够正常应对车辆在视频区域内停车、启动等操作，能够抵抗外接环境的干扰正常的进行拼接工作，得到高质量的拼接结果。

此外，本实施例的方法本身不受视频像素质量和帧数的限制，完全可以根据用户需求灵活兼容高清摄像机或传统的模拟摄像机进行相应融合拼接功能。同时该方法运行时，占用的硬件资源也很低，可以在更多边缘设备上应用。本实施例的方法不依赖于外接检测设备，并且不依赖于背景建模的方式，通过单独的存在检测设备或者算法进行检测，难免会出现人，或其他物体干扰，在进行识别中，如果为出现车辆，可能存在误检，导致最终拼接图像无法过滤掉，但是使用该方法在拼接过程中融合了深度学习检测，使检测准确率更准确，通过测试，可以过滤掉大部分非机动车辆，提升检测效果。

图3示出了本发明提供的一种车辆侧向拼接图像完整度检测系统200的实施例的结构示意图。如图3所示，该系统200包括：第一处理模块210和第一检测模块220；

所述第一处理模块210用于：在采集到的目标图像序列中，当首次检测到目标车辆未发生侧向位移的相邻两帧图像时，对基于所述相邻两帧图像的后一帧图像之前的图像所拼接出的所述目标车辆的当前侧向拼接图像进行识别，得到所述目标车辆的识别检测框；

所述第一检测模块220用于：当所述识别检测框与所述当前侧向拼接图像的边缘间距大于或等于预设间距值时，判定所述当前侧向拼接图像拼接完整。

较优地，还包括：第二处理模块230和第二检测模块240；

所述第二处理模块230用于：当所述识别检测框与所述当前侧向拼接图像的边缘间距小于所述预设间距值时，将所述相邻两帧图像的后续目标图像序列作为所述目标图像序列，返回调用所述第一处理模块210；

所述第二检测模块240用于：当预设条件下的所述识别检测框与所述当前侧向拼接图像的边缘间距仍小于所述预设间距值时，判定所述当前侧向拼接图像拼接不完整。

较优地，对所述当前侧向拼接图像进行识别的过程，包括：

利用训练好的yolov5模型，对所述当前侧向拼接图像进行车辆识别检测。

较优地，还包括：输出模块；

所述输出模块用于：当所述当前侧向拼接图像拼接完整时，将所述当前侧向拼接图像作为所述目标车辆的完整侧向拼接图像并输出。

较优地，还包括：提示模块；

所述提示模块用于：当所述当前侧向拼接图像拼接不完整时，输出所述目标车辆侧向图像拼接失败的提示信息。

较优地，还包括：采集模块和预处理模块；

所述采集模块用于：利用目标摄像机，实时采集目标区域的原始图像序列；

所述预处理模块用于：对所述原始图像序列中的每一帧图像进行图像增强处理，得到所述目标图像序列。

本实施例的技术方案能够对车辆侧向图像拼接过程进行车辆完整度检测，降低了误检的可能性并提升了检测效果。

上述关于本实施例的车辆侧向拼接图像完整度检测系统200中的各参数和各个模块实现相应功能的步骤，可参考上文中关于车辆侧向拼接图像完整度检测方法的实施例中的各参数和步骤，在此不做赘述。

如图4所示，本发明实施例的一种计算机设备300，计算机设备300包括处理器320，处理器320与存储器310耦合，存储器310中存储有至少一条计算机程序330，至少一条计算机程序330由处理器320加载并执行，以使计算机设备300实现上述任一项车辆侧向拼接图像完整度检测方法，具体地：

计算机设备300可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器320(Central Processing Units，CPU)和一个或多个存储器310，其中，该一个或多个存储器310中存储有至少一条计算机程序330，该至少一条计算机程序330由该一个或多个处理器320加载并执行，以使该计算机设备300实现上述实施例提供的任一项车辆侧向拼接图像完整度检测方法。当然，该计算机设备300还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备300还可以包括其他用于实现设备功能的部件，在此不做赘述。

本发明实施例的一种计算机可读存储介质，计算机可读存储介质中存储有至少一条计算机程序，至少一条计算机程序由处理器加载并执行，以使计算机实现上述任一项车辆侧向拼接图像完整度检测方法。

可选地，计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一项车辆侧向拼接图像完整度检测方法。

需要说明的是，本申请的说明书和权利要求书中的术语“第一”、“第二”、等是用于区别类似的对象，而代表对特定的顺序或先后次序进行限定。在适当情况下对于类似的对象的使用顺序可以互换，以便这里描述的本申请的实施例能够以除了图示或描述的顺序以外的顺序实施。

所属技术领域的技术人员知道，本发明可以实现为系统、方法或计算机程序产品，因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是一一但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)，只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种车辆侧向拼接图像完整度检测方法，其特征在于，包括：

S1、在采集到的目标图像序列中，当首次检测到目标车辆未发生侧向位移的相邻两帧图像时，对基于所述相邻两帧图像的后一帧图像之前的图像所拼接出的所述目标车辆的当前侧向拼接图像进行识别，得到所述目标车辆的识别检测框；

S2、当所述识别检测框与所述当前侧向拼接图像的边缘间距大于或等于预设间距值时，判定所述当前侧向拼接图像拼接完整。

2.根据权利要求1所述的车辆侧向拼接图像完整度检测方法，其特征在于，还包括：

S3、当所述识别检测框与所述当前侧向拼接图像的边缘间距小于所述预设间距值时，将所述相邻两帧图像的后续目标图像序列作为所述目标图像序列，返回执行S1；

S4、当预设条件下的所述识别检测框与所述当前侧向拼接图像的边缘间距仍小于所述预设间距值时，判定所述当前侧向拼接图像拼接不完整。

3.根据权利要求1所述的车辆侧向拼接图像完整度检测方法，其特征在于，对所述当前侧向拼接图像进行识别的过程，包括：

利用训练好的yolov5模型，对所述当前侧向拼接图像进行车辆识别检测。

4.根据权利要求1所述的车辆侧向拼接图像完整度检测方法，其特征在于，还包括：

当所述当前侧向拼接图像拼接完整时，将所述当前侧向拼接图像作为所述目标车辆的完整侧向拼接图像并输出。

5.根据权利要求2所述的车辆侧向拼接图像完整度检测方法，其特征在于，还包括：

当所述当前侧向拼接图像拼接不完整时，输出所述目标车辆侧向图像拼接失败的提示信息。

6.根据权利要求1至5任一项所述的车辆侧向拼接图像完整度检测方法，其特征在于，还包括：

利用目标摄像机，实时采集目标区域的原始图像序列；

对所述原始图像序列中的每一帧图像进行图像增强处理，得到所述目标图像序列。

7.一种车辆侧向拼接图像完整度检测系统，其特征在于，包括：第一处理模块和第一检测模块；

所述第一处理模块用于：在采集到的目标图像序列中，当首次检测到目标车辆未发生侧向位移的相邻两帧图像时，对基于所述相邻两帧图像的后一帧图像之前的图像所拼接出的所述目标车辆的当前侧向拼接图像进行识别，得到所述目标车辆的识别检测框；

所述第一检测模块用于：当所述识别检测框与所述当前侧向拼接图像的边缘间距大于或等于预设间距值时，判定所述当前侧向拼接图像拼接完整。

8.根据权利要求7所述的车辆侧向拼接图像完整度检测系统，其特征在于，还包括：第二处理模块和第二检测模块；

所述第二处理模块用于：当所述识别检测框与所述当前侧向拼接图像的边缘间距小于所述预设间距值时，将所述相邻两帧图像的后续目标图像序列作为所述目标图像序列，返回调用所述第一处理模块；

所述第二检测模块用于：当预设条件下的所述识别检测框与所述当前侧向拼接图像的边缘间距仍小于所述预设间距值时，判定所述当前侧向拼接图像拼接不完整。

9.一种计算机设备，其特征在于，所述计算机设备包括处理器，所述处理器与存储器耦合，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以使所述计算机设备实现如权利要求1至6任一项所述的车辆侧向拼接图像完整度检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以使计算机可读存储介质实现如权利要求1至6任一项所述的车辆侧向拼接图像完整度检测方法。