CN111507278B - 一种检测路障的方法、装置及计算机设备 - Google Patents

Abstract

本申请公开了一种检测路障的方法、装置及计算机设备，涉及图像处理技术领域，用于解决现有技术中的检测路障准确性较差的技术问题。该方法包括：确定待检测的视频流信息；通过训练后的目标检测模型对所述视频流信息进行检测，获得所述视频流信息中的所有对象的多个检测框信息和类别信息；类别信息与预设类别信息匹配的对象形成第一对象集，所述预设类别信息用于表征包含路障图案的图像类型；确定所述第一对象集中的对象是否满足预设条件，并根据满足所述预设条件的所述第一对象集中的对象，确定路障检测目标，其中，所述预设条件为同一对象在预设间隔帧数的多个图像中的多个检测框信息的差异值不大于预设阈值。

Description

一种检测路障的方法、装置及计算机设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种检测路障的方法、装置及计算机设备。

背景技术

目前，视频监控技术已广泛应用于道路交通相关系统中，为实现交通监视与疏导、违章管理、突发事件应急等提供技术支持。

然而，由于各种基础设施的建设与养护，不同时段和地段都会出现一些道路施工现象，而道路施工会影响个别路段的交通状况，导致交通拥堵甚至可能引发交通事故。因此，如何准确从监控视频中检测路障提示，为用户提供良好的出行保障，成为亟待解决的问题。

发明内容

本申请提供一种检测路障的方法、装置及计算机设备，用于解决现有技术中检测路障准确性较差的技术问题。本申请的技术方案如下：

第一方面，提供一种检测路障的方法，所述方法包括：

确定待检测的视频流信息；

通过训练后的目标检测模型对所述视频流信息进行检测，获得所述视频流信息中的所有对象的多个检测框信息和类别信息；

类别信息与预设类别信息匹配的对象形成第一对象集，所述预设类别信息用于表征包含路障图案的图像类型；

确定所述第一对象集中的对象是否满足预设条件，并根据满足所述预设条件的所述第一对象集中的对象，确定路障检测目标，其中，所述预设条件为同一对象在预设间隔帧数的多个图像中的多个检测框信息的差异值不大于预设阈值。

在一种可能的实施方式中，所述方法还包括：

根据满足所述预设条件的所述第一对象集中的对象，确定静止目标集；

对所述静止目标集中的对象进行分类处理以确定目标静止对象，并根据所述目标静止对象，确定所述视频流对应地点存在道路故障，所述目标静止对象用于表征设置于道路的路障。

在一种可能的实施方式中，对所述静止目标集中的对象进行分类处理以确定目标静止对象，包括：

对所述静止目标集中的对象对应的检测框区域进行特征提取处理，获得所述检测框区域的局部二值模式直方图和方向梯度直方图；

将所述局部二值模式直方图和所述方向梯度直方图进行融合处理，获得所述静止目标集中的对象的纹理和梯度信息，以确定所述静止目标集中的对象的完整信息，所述完整信息用于表征所述对象所对应的多种特征信息；

利用分类器根据所述静止目标集中的对象的完整信息进行二分类处理，并根据分类结果确定目标静止对象。

在一种可能的实施方式中，所述训练后的目标检测模型，采用以下方式进行训练：

确定样本数据集，所述样本数据集包括多个包含路障信息的图像的原始训练样本；

通过条件随机合并操作，在所述原始训练样本中加入路障目标图像，以获得处理后的样本数据集；其中，所述条件随机合操作为在不覆盖原始训练样本的基础上，从路障目标图像数据集中随机抽取预定张数的路障目标图像，并将所述预定张数的路障目标图像合并到除所述原始训练样本对应的路障位置外的位置，且所述预定张数的路障目标图像和所述原始训练样本不重合；

根据处理后的样本数据集对目标检测模型进行训练，获得所述训练后的目标检测模型。

在一种可能的实施方式中，确定样本数据集，包括：

采集包含路障信息的多个图像，并确定所述多个图像中路障的掩模数据，其中，所述掩模数据用于表征将包含路障信息的图像中除路障外的对象进行遮挡所获取的路障的信息；

基于所述掩模数据，确定所述多个图像中所有路障的RGBA四通道的色彩图像，根据所述多个图像中所有路障的RGBA四通道的色彩图像确定样品数据集。

在一种可能的实施方式中，所述路障目标图像数据集通过以下方式确定，包括：

采用边界均衡生成对抗网络BEGAN对所述多个图像中路障的RGBA四通道的色彩图像进行处理，生成多个路障目标图像，并根据所述多个路障目标图像确定路障目标图像数据集；

其中，所述路障目标图像用于表征根据路障的RGBA四通道的色彩图像，生成的与真实路障的RGBA四通道的色彩图像的相似度大于设定阈值的图像。

第二方面，提供一种检测路障的装置，所述装置包括：

第一确定模块，用于确定待检测的视频流信息；

检测模块，用于通过训练后的目标检测模型对所述视频流信息进行检测，获得所述视频流信息中的所有对象的多个检测框信息和类别信息；

处理模块，用于类别信息与预设类别信息匹配的对象形成第一对象集，所述预设类别信息用于表征包含路障图案的图像类型；

第二确定模块，用于确定所述第一对象集中的对象是否满足预设条件，并根据满足所述预设条件的所述第一对象集中的对象，确定路障检测目标，其中，所述预设条件为同一对象在预设间隔帧数的多个图像中的多个检测框信息的差异值不大于预设阈值。

在一种可能的实施方式中，所述装置还包括第三确定模块，用于：

根据满足所述预设条件的所述第一对象集中的对象，确定静止目标集；

对所述静止目标集中的对象进行分类处理以确定目标静止对象，并根据所述目标静止对象，确定所述视频流对应地点存在道路故障，所述目标静止对象用于表征设置于道路的路障。

在一种可能的实施方式中，所述装置还包括训练模块，用于：

确定样本数据集，所述样本数据集包括多个包含路障信息的图像的原始训练样本；

通过条件随机合并操作，在所述原始训练样本中加入路障目标图像，以获得处理后的样本数据集；其中，所述条件随机合操作为在不覆盖原始训练样本的基础上，从路障目标图像数据集中随机抽取预定张数的路障目标图像，并将所述预定张数的路障目标图像合并到除所述原始训练样本对应的路障位置外的位置，且所述预定张数的路障目标图像和所述原始训练样本不重合；

根据处理后的样本数据集对目标检测模型进行训练，获得所述训练后的目标检测模型。

在一种可能的实施方式中，所述训练模块，用于：

采集包含路障信息的多个图像，并确定所述多个图像中路障的掩模数据，其中，所述掩模数据用于表征将包含路障信息的图像中除路障外的对象进行遮挡所获取的路障的信息；

基于所述掩模数据，获得所述多个图像中所有路障的RGBA四通道的色彩图像，根据所述多个图像中所有路障的RGBA四通道的色彩图像确定样品数据集。

在一种可能的实施方式中，所述训练模块，用于：

采用边界均衡生成对抗网络BEGAN对所述多个图像中路障的RGBA四通道的色彩图像进行处理，生成多个路障目标图像，并根据所述多个路障目标图像确定路障目标图像数据集；

其中，所述路障目标图像用于表征根据路障的RGBA四通道的色彩图像，生成的与真实路障的RGBA四通道的色彩图像的相似度大于设定阈值的图像。

第三方面，提供一种计算机设备，该计算机设备包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行第一方面中的任一方法包括的步骤。

第四方面，提供一种存储介质，该存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机设备执行第一方面中的任一方法包括的步骤。

第五方面，提供一种计算机程序产品，当所述计算机程序产品在计算机设备上运行时，使得计算机设备能够执行第一方面中任一方法包括的步骤。

本申请的实施例提供的技术方案至少带来以下有益效果：

在本申请实施例中，可以确定待检测的视频流信息，然后通过训练后的目标检测模型对视频流信息进行检测，从而获得视频流信息中的所有对象的多个检测框信息和类别信息，并将类别信息与预设类别信息匹配的对象确定出，以形成第一对象集，具体的，预设类别信息用于表征包含路障图案的图像类型(例如包含亮色横条相间的路障图案)。进一步地，还可以确定第一对象集中的对象是否满足预设条件，并根据满足预设条件的第一对象集中的对象，确定路障检测目标，其中，预设条件为同一对象在预设间隔帧数的多个图像中的多个检测框信息的差异值不大于预设阈值。

在本申请实施例中，可以先检测出视频流信息中属于第一对象集中的对象，即包含路障图案的图像所对应的对象。然后通过判断第一对象集中的对象是否满足预设条件，确定第一对象集中的对象是否不可移动，从而确定路障检测目标，进而减少对路障检测目标的失误检测，提高对路障检测目标检测的准确性，还可以根据检测出的路障检测目标，为用户提供良好的出行保障，提升用户体验。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或通过实施本而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限定本申请。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例。

图1为本申请实施例中应用场景的示意图；

图2为本申请实施例中的路障图像示意图；

图3为本申请实施例中的处理后样本图像的示意图；

图4为本申请实施例中的检测路障的方法的流程图；

图5为本申请实施例中的检测路障的装置的结构框图；

图6为本申请实施例中的计算机设备的结构示意图；

图7为本申请实施例中的计算机设备的又一结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请的说明书和权利要求书中的术语“第一”和“第二”是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

目前，随着城市化进程的不断加快，车辆不断增多，各种地铁、道路规划等的施工也随之增多，而道路施工、车辆抛锚、交通事故等会影响个别路段的交通状况，导致交通拥堵甚至可能引发交通事故。因此，需要对道路中的路障进行检测，从而为用户提供更精准的出行提示。然而，现有技术中对路障的检测准确性较低，且检测的过程复杂。

鉴于此，本申请实施例提供一种检测路障的方法，通过该方法可以先检测出视频流中属于第一对象集中的对象，即包含路障图案的图像所对应的对象。然后通过判断第一对象集中的对象是否满足预设条件，确定第一对象集中的对象是否不可移动，从而确定路障检测目标，进而减少对路障检测目标的失误检测，提高对路障检测目标检测的准确性。

介绍完本申请实施例的设计思想之后，下面对本申请实施例中的检测路障的技术方案适用的应用场景做一些简单介绍，需要说明的是，本申请实施例描述的应用场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

在本申请实施例中，该技术方案可以应用于需要进行道路路障检测的任一场景，本申请实施例中不做限定，为了便于更好的理解方案，本申请中以道路上行驶车辆进行道路路障检测为例进行说明。

在具体实施过程中，请参见图1所示的一种应用场景示意图，图1包括包含视频流处理单元的处理设备和计算机设备两部分，需要说明的是，图1中仅以一个包含视频流处理单元的处理设备和一个计算机设备进行交互为例进行示出，在具体实施过程中，可以是多个处理设备与一个计算机设备之间进行交互，也可以是多个处理设备和多个计算机设备之间进行交互。需要注意的是，前述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限定。相反，本申请的实施方式可以应用于适用的任何场景。

在具体的实施过程中，处理设备与计算机设备之间可以通过一个或者多个网络进行通信连接。该网络可以是有线网络，也可以是无线网络，例如无线网络可以是移动蜂窝网络，或者可以是无线保真(WIreless-Fidelity，WIFI)网络，当然还可以是其他可能的网络，本申请实施例对此不做限定。

在本申请实施例中，处理设备可以采集道路相关的视频流信息，然后将采集到的道路相关的视频流信息发送给计算机设备；也可以是接收其它的电子设备采集道路相关的视频流信息，然后将接收的视频流信息发送给计算机设备，本申请中对道路相关的视频流信息的获取方式不做限定。进一步地，计算机设备可以使用训练后的目标检测模型对处理设备发送的视频流信息进行处理，确定路障检测目标。

为进一步说明本申请实施例提供的检测路障的方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述方法在实际的处理过程中或者装置执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的应用环境)。

以下结合图4所示的方法流程图对本申请实施例中基于检测路障的方法进行说明，图4所示的各步骤可以由如图1所示的计算机设备执行。在具体实施过程中，该计算机设备可以是服务器，例如是个人计算机、大中型计算机、计算机集群，等等。

下面结合说明书附图介绍本申请实施例提供的技术方案。

在介绍本申请提供的检测路障的方法之前，先介绍本申请实施例中训练后的目标检测模型的训练过程。

在本申请实施例中，可以先确定样品数据集，样本数据集包括多个包含路障信息的图像的原始训练样本，具体的，可以通过以下方式确定样品数据集。首先，可以采集包含路障信息的多个图像，并确定多个图像中路障的掩模数据，其中，掩模数据用于表征将包含路障信息的图像中除路障外的对象进行遮挡所获取的路障的信息；然后可以基于前述的掩模数据，确定多个图像中所有路障的RGBA四通道的色彩图像，根据所有路障的RGBA四通道的色彩图像确定样品数据集。具体的，路障的RGBA四通道的色彩图像可以为图2中所示的路障图像1、路障图像2、路障图像3、路障图像4以及路障图像5。

在具体的实施过程中，确定路障掩模数据的过程可以理解为图像中路障外轮廓的有限个坐标点集合的获取过程，则该路障的掩膜数据可以对应理解为由路障外轮廓的有限个坐标点集合所组成的连通域，然后可以按照前述的确定路障掩模数据的方式确定多个图像中所有路障的掩模数据。

例如，采集的包含路障信息的A图像中包含4个路障，分别为路障1、路障2、路障3以及路障4，则A图像对应的掩模数据包括由路障1外轮廓的有限个坐标点集合组成的连通域1、路障2外轮廓的有限个坐标点集合组成的连通域2、路障3外轮廓的有限个坐标点集合组成的连通域3以及路障4外轮廓的有限个坐标点集合组成的连通域4。

进一步地，在确定出多个图像中所有路障的掩模数据之后，可以将采集的包含路障信息的多个图像，分别与其对应的掩模数据直接融合，从而生成路障的RGBA四通道色彩图像，需要说明的是，本申请实施例中的RGBA四通道可以理解为代表Red(红色)通道、Green(绿色)通道、Blue(蓝色)通道以及Alpha通道。

在本申请实施例中，将每个路障的连通域对应的Alpha通道值设置为255，表示此区域为不透明状态，且将每个路障的连通域外对应的Alpha通道值设置为0，表示此区域为透明状态。即将图像中路障区域内设置为不透明，且将图像中路障区域外设置为透明，从而既保留了图像中的路障信息，还遮挡了图像中的除路障以外的信息。进一步地，根据图像的透明与不透明信息，剪除路障区域外的透明部分，尽可能地保留只包含路障的RGBA四通道色彩图像。也就是说，通过采用掩膜数据与图像相结合的方式，提取出不依赖于背景环境的路障信息，从而可以较为准确的获取到精准的路障的RGBA四通道色彩图像，提高训练样本的质量。

在具体的实施过程中，考虑到相较普通的交通路段场景来说，施工路段场景仍算少数。倘若仅仅使用现有的施工场景中的路障图像做技术支持，并不能很好的监测各种各样的施工事件。因此，本申请提供了一种可以实现在线数据增广的技术方案，用于实现多种路障图像的生成，扩大现有的交通路段场景中的路障图像的数据集，从而提高对路障的检测的准确性。

在具体的实施过程中，考虑到对于路障样本的采集相较行人、车辆等样本较难进行，且采集到的较大部分并不能直接用于道路路障检测。而目标检测模型检测效果的好坏，很大程度上依赖于训练样本的数量和质量。出于这样的实际考虑，本申请采用边界均衡生成对抗网络(Boundary Equilibrium Generative Adversarial Network，BEGAN)进行RGBA四通道路障目标图像的生成，从而为更精准的检测路障提供坚实的基础。

在本申请实施例中，可以采用边界均衡生成对抗网络BEGAN对前述的多个图像中所有路障的RGBA四通道的色彩图像进行处理，生成多个路障目标图像，并根据多个路障目标图像确定路障目标图像数据集；其中，路障目标图像用于表征根据路障的RGBA四通道的色彩图像，生成的与真实路障的RGBA四通道的色彩图像的相似度大于设定阈值的图像。

在具体的实施过程中，生成对抗网络(Generative Adversarial Network,GAN)是一类深度学习方法，主要由两个部分组成，一个部分是生成器，另一个部分是判别器。具体的，生成器用于根据随机噪声图像生成样本，即根据随机输入生成假的生成样本；判别器用于从生成样本和真实样本混合的样本集中判别出哪些是真实的样本，哪些是假的样本。本申请实施例提供的边界均衡生成对抗网络BEGAN，可以理解为生成对抗网络GAN的一个细化网络分支。

在本申请实施例中，通过引入边界均衡生成对抗网络BEGAN，实现路障目标图像的生成。具体的，在边界均衡生成对抗网络BEGAN训练阶段，当真实样本和生成样本的自编码损失满足预设关系时，则可以理解为边界均衡生成对抗网络BEGAN的生成器生成的假样本符合要求，从而可以使边界均衡生成对抗网络BEGAN生成路障目标图像，实现数据增强的需求。

具体的，本申请实施例在边界均衡生成对抗网络BEGAN的基础上，将自动编码器替换为稀疏自动编码器，用以获取更好的特征描述信息，从而提高生成样本的质量。即本申请实施例采用基于稀疏自动编码器的边界均衡生成对抗网络，可以根据现有的包含路障信息的图像，生成高质量的路障目标图像样本，从而可以获得路障目标图像数据集。

在本申请实施例中，在确定出样本数据集和路障目标图像数据集之后，可以通过条件随机合并操作，在原始训练样本中加入路障目标图像，以获得处理后的样本数据集；其中，条件随机合操作为在不覆盖原始训练样本的基础上，从路障目标图像数据集中随机抽取预定张数的路障目标图像，并将预定张数的路障目标图像合并到除原始训练样本对应的路障位置外的位置，且预定张数的路障目标图像和原始训练样本不重合。然后可以根据处理后的样本数据集对目标检测模型进行训练，获得训练后的目标检测模型。

例如，请参见图3，原始训练样本中包含两个路障(即图3中虚框中的路障)，通过前述的条件随机操作，则可以在原始训练样本中增加三个路障(及图3中实体框中的路障)，即确定增加预定张数为3张的路障目标图像，从而得到处理后的样本图像，进而根据多个处理后的样本图像获得处理后的样本数据集。

此外，需要说明的是，在本申请实施例中，若需要进一步提高处理后的样本图像的多样性，还可以在条件随机操作处理前添加对路障目标图像做旋转、缩放、调节亮度等数据增强操作。

在介绍完训练后的目标检测模型的训练过程之后，下面结合说明书附图4介绍本申请实施例提供的，采用上述训练后的目标检测模型进行检测路障的方法。

步骤401：确定待检测的视频流信息；

在本申请实施例中，可以先确定待检测的视频流信息，即可以将处理设备发送的视频流信息根据预设的检测条件进行处理，从而确定待检测的视频流信息。

在具体的实施过程中，确定待检测的视频流信息的方式可以是将处理设备发送的实时采集的视频流信息作为待检测的视频流信息；也可以是预先采集特定道路的视频流信息作为待检测的视频流信息，例如，可以通过设置在A街道边的摄像头采集A街道的视频流信息，然后将采集的视频流信息作为待检测的视频流信息；还可以是选取特定时间段(例如当前时刻的前一天)道路的视频流信息作为待检测的视频流信息，当然也可以是其他的方式，本申请实施例中不做限定。当然，该多个视频流也可以是根据实际的检测需求进行选择，从而可以确定出待检测的视频流。

在本申请实施例中，当确定待检测的视频流信息之后，可以对待检测的视频流信息进行处理。具体的，待检测的视频流信息中包括多帧图像，每帧图像中包括多个对象，例如行人、车辆，树木、垃圾桶、路障、交警等等。也就是说，在本申请实施例中，对象可以理解为图像中的人或物品。

步骤402：通过训练后的目标检测模型对视频流信息进行检测，获得视频流信息中的所有对象的多个检测框信息和类别信息。

步骤403：类别信息与预设类别信息匹配的对象形成第一对象集，预设类别信息用于表征包含路障图案的图像类型。

在本申请实施例中，可以通过训练后的目标检测模型对视频流信息进行检测，从而可以获得视频流信息中所有对象的多个检测框信息和类别信息。也就是说，通过训练后的目标检测模型，可以将视频流信息中每帧图像中的所有对象的检测框信息和类别信息确定出来，且可能一个对象在不同帧的检测框信息是不相同的，因而可以确定出视频流信息中所有对象的多个检测框信息和类别信息。

在具体的实施过程中，本申请实施例中训练后的目标检测模型可以是基于神经网络的模型，具体的，神经网络主要分为特征提取部分和分类定位部分，从而实现对视频流信息中的所有对象检测框信息的确定和类别信息的确定。

在本申请实施例中，当获得视频流信息中的所有对象的多个检测框信息和类别信息之后，确定类别信息与预设类别信息匹配的对象以形成第一对象集，预设类别信息用于表征包含路障图案的图像类型。也就是说，在对视频流信息中所有的对象进行检测之后，可以根据对象的类别信息进行初次筛选检测，这样的方式，可以减少后期数据处理的处理量，提高检测效率，且可以增强对路障检测目标检测准确性。

在本申请实施例中，路障图案可以是红白横条相间路锥图案；也可以是黄黑横条相间的路锥或路杆图案，还可以是其它颜色(例如红色或白色)设置在路中的障碍物图案，当然还可以是包含两个颜色的圆柱形障碍物图案，本申请实施例中不做限定。

步骤404：确定第一对象集中的对象是否满足预设条件，并根据满足预设条件的第一对象集中的对象，确定路障检测目标，其中，预设条件为同一对象在预设间隔帧数的多个图像中的多个检测框信息的差异值不大于预设阈值。

在本申请实施例中，在从所有对象中确定出第一对象集之后，考虑到第一对象集中的对象可能会包含交警、清洁工等身着的工作服与路障图案相似的人，导致对路障目标的检测准确性不高，还可以对第一对象集中的对象进行再次判断。

具体的，可以确定第一对象集中的对象是否满足预设条件，并根据满足预设条件的第一对象集中的对象，确定路障检测目标，其中，预设条件为同一对象在预设间隔帧数的多个图像中的多个检测框信息的差异值不大于预设阈值。也就是说，在本申请实施例中，可以采用多目标跟踪方法即判断同一对象在预设间隔帧数的多个图像中的多个检测框信息的差异值不大于预设阈值的方式，确定第一对象集中的对象是否为静止对象，从而可以过滤掉运动对象，进而保留静止对象，以确定路障检测目标。

具体的，若同一对象在预设间隔帧数的多个图像中的多个检测框信息的差异值不大于预设阈值，则将该对象确定为静止对象；若同一对象在预设间隔帧数的多个图像中的多个检测框信息的差异值大于预设阈值，则将该对象确定为运动对象。

这样的方式，可以根据对象的多个检测框信息和预设条件确定第一对象集中的对象为运动对象还是静止对象，即第一对象集中的对象为穿着与路障图案相似的人，还是设置于道路的路障，即可以进一步地提高对路障检测的准确性，降低对路障误检测的概率，从而提高对路障检测的准确性。

在本申请实施例中，考虑到存在可能穿着与路障图案相似的人(例如身穿反光防护服的环卫工人、道路养护人员、执勤交警等)，在某一段时间内可能不会移动的情况，还可以根据满足预设条件的第一对象集中的对象，确定静止目标集，然后对静止目标集中的对象进行分类处理以确定目标静止对象，并根据目标静止对象，确定视频流对应地点存在道路故障，目标静止对象用于表征设置于道路的路障。也就是说，可以对经过两次筛选处理的对象再进行处理，具体的，先从视频流信息中检测到的所有对象进行第一次筛选，确定类别信息与预设类别信息匹配的第一对象集，然后对第一对象集中的对象进行第二次筛选，即确定第一对象集中的对象是否满足预设条件，从而对第一对象集中满足预设条件的对象进行分类处理，可以进一步地提高检测的精准性，进而为用户提供更准确的道路故障提示信息，提高用户的使用体验。

在本申请实施例中，对经过两次筛选处理的对象再进行处理的方式为：对静止目标集中的对象对应的检测框区域进行特征提取处理，从而可以获得检测框区域的局部二值模式直方图和方向梯度直方图。然后将局部二值模式直方图和方向梯度直方图进行融合处理，获得静止目标集中的对象的纹理和梯度信息，从而可以确定静止目标集中的对象的完整信息，完整信息用于表征对象所对应的多种特征信息。进一步地，可以利用分类器(例如SVM(Support Vector Machine，支持向量机)分类器)根据静止目标集中的对象的完整信息进行二分类处理，并根据分类结果确定目标静止对象。

也就是说，在本申请实施例中，可以对经过两次筛选处理后的对象进行完整的特征提取，并根据提取所获得的完整信息进行路障与非路障的二分类处理，从而可以更为准确的检测路障。

在具体的实施过程中，当确定出路障检测目标后，可以向用户反馈道路施工状态信息，具体的，可以是通过智能设备(例如智能手机、IPAD等)的中的第三方应用向用户反馈，也可以是通过其它电子设备向车辆相关的提示设备发送反馈信息，本申请实施例中不做限制。

基于同一发明构思，本申请实施例提供了一种检测路障的装置，该检测路障的装置能够实现前述的检测路障的方法对应的功能。该检测路障的装置可以是硬件结构、软件模块、或硬件结构加软件模块。该检测路障的装置可以由芯片系统实现，芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。请参见图5所示，该检测路障的装置包括第一确定模块501、检测模块502、处理模块503、以及第二确定模块504。其中：

第一确定模块501，用于确定待检测的视频流信息；

检测模块502，用于通过训练后的目标检测模型对所述视频流信息进行检测，获得所述视频流信息中的所有对象的多个检测框信息和类别信息；

处理模块503，用于类别信息与预设类别信息匹配的对象形成第一对象集，所述预设类别信息用于表征包含路障图案的图像类型；

第二确定模块504，用于确定所述第一对象集中的对象是否满足预设条件，并根据满足所述预设条件的所述第一对象集中的对象，确定路障检测目标，其中，所述预设条件为同一对象在预设间隔帧数的多个图像中的多个检测框信息的差异值不大于预设阈值。

在一种可能的实施方式中，所述装置还包括第三确定模块，用于：

根据满足所述预设条件的所述第一对象集中的对象，确定静止目标集；

对所述静止目标集中的对象进行分类处理以确定目标静止对象，并根据所述目标静止对象，确定所述视频流对应地点存在道路故障，所述目标静止对象用于表征设置于道路的路障。

在一种可能的实施方式中，所述装置还包括训练模块，用于：

确定样本数据集，所述样本数据集包括多个包含路障信息的图像的原始训练样本；

通过条件随机合并操作，在所述原始训练样本中加入路障目标图像，以获得处理后的样本数据集；其中，所述条件随机合操作为在不覆盖原始训练样本的基础上，从路障目标图像数据集中随机抽取预定张数的路障目标图像，并将所述预定张数的路障目标图像合并到除所述原始训练样本对应的路障位置外的位置，且所述预定张数的路障目标图像和所述原始训练样本不重合；

根据处理后的样本数据集对目标检测模型进行训练，获得所述训练后的目标检测模型。

在一种可能的实施方式中，所述训练模块，用于：

采集包含路障信息的多个图像，并确定所述多个图像中所有路障的掩模数据，其中，所述掩模数据用于表征将包含路障信息的图像中除路障外的对象进行遮挡所获取的路障的信息；

基于所述掩模数据，获得所述多个图像中所有路障的RGBA四通道的色彩图像，根据所述多个图像中路障的RGBA四通道的色彩图像确定样品数据集。

在一种可能的实施方式中，所述训练模块，用于：

采用边界均衡生成对抗网络BEGAN对所述多个图像中路障的RGBA四通道的色彩图像进行处理，生成多个路障目标图像，并根据所述多个路障目标图像确定路障目标图像数据集；

其中，所述路障目标图像用于表征根据路障的RGBA四通道的色彩图像，生成的与真实路障的RGBA四通道的色彩图像的相似度大于设定阈值的图像。

前述的如图4所示检测路障的方法的实施例涉及的各步骤的所有相关内容均可以援引到本申请实施例中的检测路障的装置所对应的功能模块的功能描述，在此不再赘述。

本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本申请各个实施例中的各功能单元可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

基于同一发明构思，本申请实施例还提供一种计算机设备，如图6所示，本申请实施例中的计算机设备包括至少一个处理器601，以及与至少一个处理器601连接的存储器602和通信接口603，本申请实施例中不限定处理器601与存储器602之间的具体连接介质，图6中是以处理器601和存储器602之间通过总线600连接为例，总线600在图6中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线600可以分为地址总线、数据总线、控制总线等，为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

在本申请实施例中，存储器602存储有可被至少一个处理器601执行的指令，至少一个处理器601通过执行存储器602存储的指令，可以执行前述的检测路障的方法中所包括的步骤。

其中，处理器601是计算机设备的控制中心，可以利用各种接口和线路连接整个故障检测设备的各个部分，通过运行或执行存储在存储器602内的指令以及调用存储在存储器602内的数据，计算设备的各种功能和处理数据，从而对计算设备进行整体监控。可选的，处理器601可包括一个或多个处理单元，处理器601可集成应用处理器和调制解调处理器，其中，处理器601主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。在一些实施例中，处理器601和存储器602可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

处理器601可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中申请的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所提供的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器602作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器602可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器602是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器602还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。通信接口603是能够用于进行通信的传输接口，可以通过通信接口603接收数据或者发送数据。

参见图7所示的计算机设备的进一步地的结构示意图，该计算机设备还包括帮助计算机设备内的各个器件之间传输信息的基本输入/输出系统(I/O系统)701、用于存储操作系统702、应用程序703和其他程序模块704的大容量存储设备705。

基本输入/输出系统701包括有用于显示信息的显示器706和用于用户输入信息的诸如鼠标、键盘之类的输入设备707。其中显示器706和输入设备707都通过连接到系统总线600的基本输入/输出系统701连接到处理器601。所述基本输入/输出系统701还可以包括输入输出控制器以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器还提供输出到显示屏、打印机或其他类型的输出设备。

所述大容量存储设备705通过连接到系统总线600的大容量存储控制器(未示出)连接到处理器601。所述大容量存储设备705及其相关联的计算机可读介质为该服务器包提供非易失性存储。也就是说，大容量存储设备705可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。

根据本申请的各种实施例，该计算设备包还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即该计算设备可以通过连接在所述系统总线600上的通信接口603连接到网络708，或者说，也可以使用通信接口603来连接到其他类型的网络或远程计算机系统(未示出)。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器602，上述指令可由装置的处理器601执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在一些可能的实施方式中，本申请提供的检测路障的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使该计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的检测路障的方法中的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (7)

1.一种检测路障的方法，其特征在于，所述方法包括：

确定待检测的视频流信息；

通过训练后的目标检测模型对所述视频流信息进行检测，获得所述视频流信息中的所有对象的多个检测框信息和类别信息；

类别信息与预设类别信息匹配的对象形成第一对象集，所述预设类别信息用于表征包含路障图案的图像类型；

确定所述第一对象集中的对象是否满足预设条件，并根据满足所述预设条件的所述第一对象集中的对象，确定路障检测目标，其中，所述预设条件为同一对象在预设间隔帧数的多个图像中的多个检测框信息的差异值不大于预设阈值；

根据满足所述预设条件的所述第一对象集中的对象，确定静止目标集；

对所述静止目标集中的对象进行分类处理以确定目标静止对象，并根据所述目标静止对象，确定所述视频流对应地点存在道路故障，所述目标静止对象用于表征设置于道路的路障；

其中，所述对所述静止目标集中的对象进行分类处理以确定目标静止对象，包括：

对所述静止目标集中的对象对应的检测框区域进行特征提取处理，获得所述检测框区域的局部二值模式直方图和方向梯度直方图；

将所述局部二值模式直方图和所述方向梯度直方图进行融合处理，获得所述静止目标集中的对象的纹理和梯度信息，以确定所述静止目标集中的对象的完整信息，所述完整信息用于表征所述对象所对应的多种特征信息；

利用分类器根据所述静止目标集中的对象的完整信息进行二分类处理，并根据分类结果确定目标静止对象。

2.如权利要求1所述的方法，其特征在于，所述训练后的目标检测模型，采用以下方式进行训练：

确定样本数据集，所述样本数据集包括多个包含路障信息的图像的原始训练样本；

通过条件随机合并操作，在所述原始训练样本中加入路障目标图像，以获得处理后的样本数据集；其中，所述条件随机合操作为在不覆盖原始训练样本的基础上，从路障目标图像数据集中随机抽取预定张数的路障目标图像，并将所述预定张数的路障目标图像合并到除所述原始训练样本对应的路障位置外的位置，且所述预定张数的路障目标图像和所述原始训练样本不重合；

根据处理后的样本数据集对目标检测模型进行训练，获得所述训练后的目标检测模型。

3.如权利要求2所述的方法，其特征在于，确定样本数据集，包括：

采集包含路障信息的多个图像，并确定所述多个图像中路障的掩模数据，其中，所述掩模数据用于表征将包含路障信息的图像中除路障外的对象进行遮挡所获取的路障的信息；

基于所述掩模数据，确定所述多个图像中所有路障的RGBA四通道的色彩图像，根据所述多个图像中所有路障的RGBA四通道的色彩图像确定样品数据集。

4.如权利要求3所述的方法，其特征在于，所述路障目标图像数据集通过以下方式确定，包括：

采用边界均衡生成对抗网络 BEGAN对所述多个图像中所有路障的RGBA四通道的色彩图像进行处理，生成多个路障目标图像，并根据所述多个路障目标图像确定路障目标图像数据集；

其中，所述路障目标图像用于表征根据路障的RGBA四通道的色彩图像，生成的与真实路障的RGBA四通道的色彩图像的相似度大于设定阈值的图像。

5.一种检测路障的装置，其特征在于，所述装置包括：

第一确定模块，用于确定待检测的视频流信息；

检测模块，用于通过训练后的目标检测模型对所述视频流信息进行检测，获得所述视频流信息中的所有对象的多个检测框信息和类别信息；

处理模块，用于类别信息与预设类别信息匹配的对象形成第一对象集，所述预设类别信息用于表征包含路障图案的图像类型；

第二确定模块，用于确定所述第一对象集中的对象是否满足预设条件，并根据满足所述预设条件的所述第一对象集中的对象，确定路障检测目标，其中，所述预设条件为同一对象在预设间隔帧数的多个图像中的多个检测框信息的差异值不大于预设阈值；

第三确定模块，用于：

根据满足所述预设条件的所述第一对象集中的对象，确定静止目标集；

对所述静止目标集中的对象进行分类处理以确定目标静止对象，并根据所述目标静止对象，确定所述视频流对应地点存在道路故障，所述目标静止对象用于表征设置于道路的路障；

所述第三确定模块，具体用于：

对所述静止目标集中的对象对应的检测框区域进行特征提取处理，获得所述检测框区域的局部二值模式直方图和方向梯度直方图；

将所述局部二值模式直方图和所述方向梯度直方图进行融合处理，获得所述静止目标集中的对象的纹理和梯度信息，以确定所述静止目标集中的对象的完整信息，所述完整信息用于表征所述对象所对应的多种特征信息；

利用分类器根据所述静止目标集中的对象的完整信息进行二分类处理，并根据分类结果确定目标静止对象。

6.一种计算机设备，其特征在于，所述计算机设备包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行权利要求1-4任一所述的方法包括的步骤。

7.一种存储介质，其特征在于，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行权利要求1-4任一所述的方法包括的步骤。

Images