CN110348374A - 车辆检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开公开了一种车辆检测方法、装置、电子设备及存储介质。该方法包括：获取初始视频帧中的初始车辆区域，所述初始车辆区域包含车辆的概率大于第一概率阈值；确定所述初始视频帧的初始车辆区域中包含车辆的概率大于第二概率阈值的备选区域，所述第二概率阈值大于所述第一概率阈值；从所述初始视频帧起遍历视频，根据前一视频帧中的备选区域，确定当前视频帧中的备选区域，直至所述视频中的最后视频帧，则以最后视频帧中的备选区域作为车辆检测结果。本公开实施例可以提高车辆检测的速度，以及实现兼顾检测准确率和检测速度。

Description

车辆检测方法、装置、电子设备及存储介质

技术领域

本公开实施例涉及图像处理技术，尤其涉及一种车辆检测方法、装置、电子设备及存储介质。

背景技术

随着图像识别技术的发展，图像识别技术的识别准确率越来越高。例如，在车辆检测领域中，可以根据需要采用一种图像识别方法对一张图像进行车辆检测，获取该图像中的车辆区域。

目前，在视频中检测车辆的方式通常为：将视频划分为多个视频帧，将每个视频帧作为单张图像，分别采用图像识别方法进行车辆检测，以获取每个图像中的准确车辆区域。

上述车辆检测方法，需要对视频中每个视频帧进行车辆检测，导致车辆检测的涉及的数据运算量大，占用空间大，所需的运行资源大。从而上述车辆检测方法仅适合性能好的计算机设备，如服务器。针对性能差的计算机设备，例如移动终端，在采用上述车辆检测方法时，车辆检测的速度慢，效率低。若想提高车辆检测速度，势必会牺牲车辆检测准确率。

发明内容

本公开实施例提供一种车辆检测方法、装置、电子设备及存储介质，可以提高车辆检测的速度，以及实现兼顾检测准确率和检测速度。

第一方面，本公开实施例提供了一种车辆检测方法，该方法包括：

获取初始视频帧中的初始车辆区域，所述初始车辆区域包含车辆的概率大于第一概率阈值；

确定所述初始视频帧的初始车辆区域中包含车辆的概率大于第二概率阈值的备选区域，所述第二概率阈值大于所述第一概率阈值；

从所述初始视频帧起遍历视频，根据前一视频帧中的备选区域，确定当前视频帧中的备选区域，直至所述视频中的最后视频帧，则以最后视频帧中的备选区域作为车辆检测结果。

第二方面，本公开实施例还提供了一种车辆检测装置，该装置包括：

初始视频帧车辆检测模块，用于获取初始视频帧中的初始车辆区域，所述初始车辆区域包含车辆的概率大于第一概率阈值；

初始车辆区域检测模块，用于确定所述初始视频帧的初始车辆区域中包含车辆的概率大于第二概率阈值的备选区域，所述第二概率阈值大于所述第一概率阈值；

车辆检测结果确定模块，用于从所述初始视频帧起遍历视频，根据前一视频帧中的备选区域，确定当前视频帧中的备选区域，直至所述视频中的最后视频帧，则以最后视频帧中的备选区域作为车辆检测结果。

第三方面，本公开实施例还提供了一种电子设备，该电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例所述的车辆检测方法。

第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例所述的车辆检测方法。

本公开实施例通过在初始视频帧中进行车辆检测获取初始车辆区域，并基于初始车辆区域进一步进行车辆检测，得到初始视频帧的备选区域，从初始视频帧遍历视频，根据前一视频帧的备选区域确定当前视频帧的备选区域，将最后视频帧的备选区域作为该视频的车辆检测结果，避免对各视频帧的整个图像区域进行车辆检测，解决了现有技术中在视频中对各视频帧的整个区域进行车辆检测，导致车辆检测效率低，所需资源大的问题，根据前一视频帧的备选区域，确定当前视频帧的检测区域，并进行车辆检测，降低每个视频帧的车辆检测的数据量，从而提高视频车辆检测的效率。

附图说明

图1a是本公开实施例一中的一种车辆检测方法的流程图；

图1b是本公开实施例一中的一种初始视频帧的示意图；

图2是本公开实施例二中的一种车辆检测方法的流程图；

图3是本公开实施例三中的一种车辆检测方法的流程图；

图4是本公开实施例四中的一种车辆检测装置的结构示意图；

图5是本公开实施例五中的一种电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

实施例一

图1a为本公开实施例一中的一种车辆检测方法的流程图，本实施例可适用于检测视频中的车辆，获取包含车辆的区域的情况，该方法可以由车辆检测装置来执行，该装置可以采用软件和/或硬件的方式实现，该装置可以配置于电子设备中，例如终端设备和服务器，典型的终端设备包括手机、车载终端或笔记本电脑等。如图1a所示，该方法具体包括如下步骤：

S110，获取初始视频帧中的初始车辆区域，所述初始车辆区域包含车辆的概率大于第一概率阈值。

对视频的车辆检测实际是对视频包含的各视频帧进行车辆检测。初始视频帧可以是指视频中的视频帧。具体的，视频可以是指预先录制的视频，或者是实时录制的视频。相应的，初始视频帧可以是预先录制的视频中的任意一个视频帧，或者是在视频录制的过程中实时获取的视频帧。

初始车辆区域用于为后续车辆检测步骤缩小检测范围。具体的，每个视频帧是由大量像素点组成的，可以针对视频帧建立平面坐标系，每个像素点在该平面坐标系中对应一个坐标。初始车辆区域可以通过区域顶点对应的像素点的坐标确定，同时，初始车辆区域可以是指从初始视频帧中截取的部分区域。

实际上，为了提高车辆检测的速度，获取视频中疑似包含车辆的区域作为初始车辆区域，同时后续在初始车辆区域中进行车辆检测，以进一步判断初始车辆区域是否包含车辆，从而避免以整个初始视频帧的图像面积作为检测范围进行精细检测，检测数据量大，所需资源多，检测速度慢的情况。

可以理解的是，初始车辆区域包含车辆的概率并不是百分之百，为了减少后续检测的数据量，初始车辆区域包含车辆的概率不能太低，示例性的，初始车辆区域包含车辆的概率大于第一概率阈值。其中，第一概率阈值可以根据需要确定，对此，本公开实施例不做具体限制，示例性的，第一概率阈值为70％。

具体的，可以通过第一车辆检测方法对初始视频帧进行车辆检测，得到初始车辆区域，其中，第一车辆检测方法用于快速获取车辆区域。具体的，初始车辆区域可以是固定形状的区域，如矩形区域。初始车辆区域可以通过区域的边界坐标点确定。例如，获取初始车辆区域的对角顶点的坐标确定初始车辆区域，如左上顶点和右下顶点，或者左下顶点和右上顶点。

此外，初始视频帧中可以确定至少一个初始车辆区域。

S120，确定所述初始视频帧的初始车辆区域中包含车辆的概率大于第二概率阈值的备选区域，所述第二概率阈值大于所述第一概率阈值。

在初始视频帧的初始车辆区域的区域范围内进行车辆检测，进一步定位车辆的区域。备选区域同样用于为后续车辆检测步骤缩小检测范围，以及用于筛选初始车辆区域是否包含车辆。备选区域与初始车辆区域不同，通常备选区域包含车辆的概率大于初始车辆区域包含车辆的概率，备选区域的图像面积小于等于初始车辆区域的图像面积。备选区域实际是在初始车辆区域的基础上进行进一步精细车辆检测得到的区域。备选区域可以是固定形状的区域，如矩形区域。备选区域可以通过区域的边界坐标点确定。例如，获取备选区域的对角顶点的坐标确定备选区域，如左上顶点和右下顶点，或者左下顶点和右上顶点。备选区域同样可以通过区域顶点对应的像素点的坐标确定，同时，备选区域可以是指从初始车辆区域中截取的部分区域。

在一个具体的例子中，如图1b所示，在初始视频帧141中进行车辆检测，得到初始车辆区域142，在初始车辆区域142中进行车辆检测，得到备选区域143。

需要说明的是，如果初始车辆区域不包含车辆，备选区域的图像面积为0，也即该备选区域不存在。

具体的，可以通过第二车辆检测方法对初始视频帧的初始车辆区域进行车辆检测，得到备选区域，其中，第二车辆检测方法用于准确获取车辆区域，第二车辆检测方法的车辆检测的准确率高于第一车辆检测方法。第一车辆检测方法与第二车辆检测方法可以相同，也可以不同，具体可以根据需要进行设定，对此，本公开实施例不做具体限制。若第一车辆检测方法与第二车辆检测方法相同时，两种方法涉及的算法参数不同。示例性的，第一车辆检测方法为采用预先训练的第一图像识别模型对初始车辆区域进行检测，第二车辆检测方法为采用预先训练的第二图像识别模型对备选区域进行检测。第一图像识别模型和第二图像识别模型均可以是机器学习模型，但模型参数不同。

可选的，所述获取初始视频帧中的初始车辆区域，包括：将所述初始视频帧输入第一图像识别模型，得到初始车辆区域。

通过图像识别模型，可以快速准确确定初始车辆区域。

其中，第二概率阈值可以根据需要确定，对此，本公开实施例不做具体限制，示例性的，第一概率阈值为98％。可以理解的是，第二概率阈值大于第一概率阈值，可以确保备选区域作为车辆检测结果的准确率高于初始车辆区域作为车辆检测结果的准确率。

S130，从所述初始视频帧起遍历视频，根据前一视频帧中的备选区域，确定当前视频帧中的备选区域，直至所述视频中的最后视频帧，则以最后视频帧中的备选区域作为车辆检测结果。

在确定初始视频帧的备选区域之后，基于该备选区域，在初始视频帧的后一视频帧中进行车辆检测，确定后一视频帧的备选区域。按照时间顺序，遍历视频，循环上述车辆检测步骤，直到基于视频中的最后视频帧的前一视频帧的备选区域，在最后视频帧中进行检测，确定最后视频帧的备选区域，并作为视频的车辆检测结果。

最后视频帧是指视频中时间顺序上的最后一个视频帧。最后视频帧中的备选区域实际上是指当前最新检测得到的车辆区域。

可选的，所述车辆检测方法还包括：如果当前视频帧中的备选区域为空，则以当前视频帧作为新的初始视频帧重新进行车辆检测；如果遍历到最后视频帧之前，接受到停止指令，则终止车辆检测。

具体的，当前视频帧中的备选区域为空，表明前一视频帧确定的全部备选区域都无车。可以理解的是，在上情况中，继续对前一视频帧的备选区域进行车辆检测，无法得到正确的车辆检测结果，此时，可以将当前视频帧作为初始视频帧重新在整个图像面积的区域范围内进行车辆检测。

此外，若初始视频帧的初始车辆区域为空，表明当前无车，确定该初始视频帧的备选区域也为空，初始视频帧的后一视频帧，同样作为初始视频帧，重新进行车辆检测，直到初始车辆区域不为空。

停止指令用于终止车辆检测。示例性的，若视频是预先录制的视频，停止指令可以是用户输入的停止车辆检测的操作指令。若视频是实时拍摄的视频，停止指令可以是用户输入的视频停止拍摄指令或者跳转至其他应用的跳转指令。此外，停止指令具体还可以是其他指令，本公开实施例不做具体限制。

通过在备选区域为空，对当前视频帧作为初始视频帧重新进行整图车辆检测，释放对备选区域进行车辆检测的资源，应用到整图的车辆检测，从而减少无效车辆检测，提高车辆检测的准确率，以及提高车辆检测的资源利用率。

可选的，所述车辆检测方法还包括：显示各视频帧的备选区域。

具体的，可以在各视频帧中显示匹配的备选区域。示例性的，备选区域可以通过无填充的框线标注显示，备选区域还可以有其他显示方式，对此，本公开实施例不作具体限制。

本公开实施例通过在初始视频帧中进行车辆检测获取初始车辆区域，并基于初始车辆区域进一步进行车辆检测，得到初始视频帧的备选区域，从初始视频帧遍历视频，根据前一视频帧的备选区域确定当前视频帧的备选区域，将最后视频帧的备选区域作为该视频的车辆检测结果，避免对各视频帧的整个图像区域进行车辆检测，解决了现有技术中在视频中对各视频帧的整个区域进行车辆检测，导致车辆检测效率低，所需资源大的问题，根据前一视频帧的备选区域，确定当前视频帧的检测区域，并进行车辆检测，降低每个视频帧的车辆检测的数据量，从而提高视频车辆检测的效率。

实施例二

图2为本公开实施例中的一种车辆检测方法的流程图，该方法以上述步骤为基础进行优化，在步骤：获取初始视频帧中的初始车辆区域，具体化为：将所述初始视频帧输入第一图像识别模型，得到初始车辆区域。以及将步骤：根据前一视频帧中的备选区域，确定当前视频帧中的备选区域，具体化为：如果当前视频帧距离初始视频帧的时间长度不是预设值，则将当前视频帧中与前一视频帧中的备选区域对应的区域输入第二图像识别模型，得到当前视频帧中的备选区域；如果当前视频帧距离初始视频帧的时间长度为预设值，则将当前视频帧输入第一图像识别模型，输出的区域与前一视频帧中的备选区域的合集再输入第二图像识别模型，得到当前视频帧中的备选区域。如图2所示，该方法具体包括如下步骤：

S210，将初始视频帧输入第一图像识别模型，得到初始车辆区域，所述初始车辆区域包含车辆的概率大于第一概率阈值。

本公开实施例中的初始视频帧、第一图像识别模型、初始车辆区域、第一概率阈值、第二概率阈值、备选区域、第二图像识别模型和最后视频帧等均可以参考上述实施例的描述。

需要说明的是，将初始视频帧输入的第一图像识别模型，得到输出的实际检测结果可以与初始车辆区域相同，也可以不同。

可以将第一图像识别模型针对初始视频帧输出的检测结果进行区域范围放大，得到初始车辆区域，即初始车辆区域的图像面积大于该检测结果的图像面积。示例性的，放大倍数可以为2倍，具体可以根据需要进行设定，对此，本公开实施例不做具体限制。

S220，确定所述初始视频帧的初始车辆区域中包含车辆的概率大于第二概率阈值的备选区域，所述第二概率阈值大于所述第一概率阈值。

其中，可以采用第二图像识别模型在初始视频帧的初始车辆区域进行车辆检测，确定备选区域。

S230，从所述初始视频帧起遍历视频，直至所述视频中的最后视频帧。

S240，如果当前视频帧距离初始视频帧的时间长度不是预设值，则将当前视频帧中与前一视频帧中的备选区域对应的区域输入第二图像识别模型，得到当前视频帧中的备选区域。

当前视频帧距离初始视频帧的时间长度用于衡量视频帧的整图检测的间隔时间。可以理解的是，如果有新车进入到视频的拍摄范围时，仅根据前一视频帧确定的备选区域的检测操作，无法检测到新车的所在区域，从而导致车辆检测不准确。通过配置整图检测(对在视频帧的整个图像面积的区域范围内进行检测)的周期，实现每隔一段时间进行整图检测，用于检测是否有新车，避免新车进入却无法检测到的情况。

预设值用于限定新车检测周期，示例性的，预设值为30帧，或者预设值为1秒。此外，预设值还可以是其他值，对此，本公开实施例不做具体限制。

将当前视频帧中与前一视频帧中的备选区域对应的区域作为当前视频帧的待车辆检测区域，输入到第二图像识别模型中进行车辆检测，得到第二图像识别模型输出的备选区域，即待车辆检测区域范围中检测到的车辆区域。

S250，如果当前视频帧距离初始视频帧的时间长度为预设值，则将当前视频帧输入第一图像识别模型，输出的区域与前一视频帧中的备选区域的合集再输入第二图像识别模型，得到当前视频帧中的备选区域。

将当前视频帧输入第一图像识别模型实现，对当前视频帧的整个图像面积区域中进行车辆检测。

输出的区域与前一视频帧中的备选区域的合集，表示前一视频帧中确定的车辆区域和当前视频帧中的新车区域，将合集输入到第二图像识别模型，对合集中的各区域进行车辆检测，可以实现将新车区域添加到车辆检测的循环中，保证有新车进入到视频的拍摄范围内时被检测到。

具体的，第一图像识别模型输出的区域与前一视频帧中的备选区域的合集的确定方式，具体可以是：将第一图像识别模型输出的全部区域中，任选一个区域分别与前一视频帧确定的至少一个备选区域进行重叠率计算，直到第一图像识别模型输出的全部区域全部计算完成。将与前一视频帧确定的至少一个备选区域的重叠率均低于设定重叠率阈值的区域作为新车区域。将确定的全部新车区域与前一视频帧确定的至少一个备选区域作为第一图像识别模型输出的区域与前一视频帧中的备选区域的合集。其中，重叠率的计算方法可以包括基于直方图的方法、基于特征点的方法和基于矩阵分解方法等，此外，还可以通过其他方法计算重叠率，例如，通过预先训练的机器学习模型等，对此，本公开实施例不做具体限制。

可选的，所述第一图像识别模型是通过第一样本集训练形成的机器学习模型，所述第二图像识别模型是通过第二样本集训练形成的机器学习模型；所述第一样本集包括第一正样本和第一负样本，所述第一正样本包括车辆区域，所述第一负样本包括不包含车辆的区域；所述第二样本集包括第二正样本和第二负样本，所述第二正样本包括第一车辆区域，且所述第一车辆区域与所属图像区域面积的比值大于等于比例阈值，所述第二负样本包括第二车辆区域以及不包含车辆的区域，且所述第二车辆区域与所属图像区域面积的比值小于所述比例阈值。

具体的，第一正样本可以包括图像中包含车辆的区域和/或包含车辆的图像，第一负样本可以包括图像中不包含车辆的区域和/或不包含车辆的图像。第二正样本可以包括图像中包含车辆的区域和/或包含车辆的图像，其中，该区域的图像面积与图像的图像区域面积的比值大于等于比例阈值；第二负样本可以包括下述至少一项：图像中不包含车辆的区域、不包含车辆的图像和图像中包含车辆的区域，且该区域与图像区域面积的比值小于比例阈值。

具体的，第一图像识别模型用于识别包含车辆的区域；第二图像识别模型，用于识别出包含车辆的且图像面积较大的区域。

通过配置第一正样本和第一负样本训练第一图像识别模型，以及配置第二正样本和第二负样本训练第二图像识别模型，提高样本的代表性，从而提高图像识别模型的识别准确率。

可选的，所述第一样本集和所述第二样本集为同一数据集；所述第二正样本包括由所述第一正样本中筛选得到的车辆区域的面积与所属图像区域面积的比值大于等于所述比例阈值的区域，所述第二负样本包括所述数据集中除所述第二正样本之外的区域。

通过选用同一个数据集分别训练第一图像识别模型和第二图像识别模型，可以避免人工筛选样本的伪随机性，减少样本选择偏差，提高样本的代表性，从而提高图像识别模型的识别准确率，而且，采用同一个数据集训练两个机器学习模型，减少训练工作量，提高模型训练效率。

S260，以最后视频帧中的备选区域作为车辆检测结果。

本公开实施例通过在距离初始视频帧的时长达到预设值时，将当前视频帧重新输入到第一图像识别模型，获取当前视频帧整图的车辆检测结果，与前一视频帧中的备选区域求和，从而获取备选区域与新车区域，并输入到第二图像识别模型进行进一步检测，实现将新车区域添加到车辆检测循环中，从而实现间隔设定周期在视频中检测是否有新车进入，提高新车的检测准确率，以及当前视频帧的车辆检测准确率，从而后续视频帧根据当前视频帧的车辆检测结果进行后续检测，提高后续视频帧的车辆检测准确率，提高视频的车辆检测的稳定性。

实施例三

图3为本公开实施例三提供的一种车辆检测方法的流程图，本实施例以上述实施例进行优化。具体的，本实施例提供的方法包括：

S310，在视频录制的过程中，实时获取所述视频的视频帧，将首次获取的视频帧作为初始视频帧。

具体的，还可以在视频录制的过程中，当接收到车辆检测指令时，实时获取所述视频的视频帧。

本公开实施例中的初始视频帧、第一图像识别模型、初始车辆区域、第一概率阈值、第二概率阈值、备选区域、第二图像识别模型和最后视频帧等均可以参考上述实施例的描述。

此外，本实施例提供的车辆检测方法，运算速度快，需要资源小，且同时兼顾检测准确率，尤其适合应用于性能一般的电子设备中，如移动终端，具体是手机。

S320，将初始视频帧输入第一图像识别模型，得到所述第一图像识别模型输出的检测结果，并将所述检测结果的区域范围进行扩大，得到初始车辆区域，所述初始车辆区域包含车辆的概率大于第一概率阈值。

示例性的，将检测结果的区域范围扩大到1.5倍后，形成的区域为初始车辆区域。

S330，将所述初始车辆区域输入第二图像识别模型，得到所述初始视频帧中的备选区域，所述备选区域包含车辆的概率大于第二概率阈值，所述第二概率阈值大于所述第一概率阈值。

可选的，所述第一图像识别模型是通过第一样本集训练形成的机器学习模型，所述第二图像识别模型是通过第二样本集训练形成的机器学习模型；所述第一样本集和所述第二样本集为同一数据集；所述第一样本集包括第一正样本和第一负样本，所述第一正样本包括车辆区域，所述第一负样本包括不包含车辆的区域；所述第二样本集包括第二正样本和第二负样本，所述第二正样本包括由所述第一正样本中筛选得到的车辆区域的面积与所属图像区域面积的比值大于等于所述比例阈值的区域，所述第二负样本包括所述数据集中除所述第二正样本之外的区域。

S340，从所述初始视频帧起，将实时获取的视频帧作为当前视频帧，直至所述视频中的最后视频帧。

实际上，在视频录制的过程中，正在拍摄并显示的视频帧即为当前最新的视频帧，也是视频中最后的视频帧。

S350，如果当前视频帧距离初始视频帧的时间长度不是预设值，则将当前视频帧中与前一视频帧中的备选区域对应的区域输入第二图像识别模型，得到当前视频帧中的备选区域。

S360，如果当前视频帧距离初始视频帧的时间长度为预设值，则将当前视频帧输入第一图像识别模型，输出的区域与前一视频帧中的备选区域的合集再输入第二图像识别模型，得到当前视频帧中的备选区域。

S370，以最后视频帧中的备选区域作为车辆检测结果。

S380，显示各视频帧的备选区域。

具体的，在视频录制的过程中，显示实时录制的视频帧，同时显示该视频帧对应的备选区域。

本公开实施例通过使用第一图像识别模型，在实时获取的首个初始视频帧中进行低精度车辆检测，获取初始车辆区域，缩小车辆检测范围，并在初始视频帧的初始车辆区域中使用第二图像识别模型，进行车辆检测，得到初始视频帧的备选区域，实现在小范围内进行高精度车辆检测，提高车辆检测效率，同时在后续视频帧与前一视频帧的备选区域对应的区域中进行车辆检测，实现连续在小范围内进行高精度车辆检测，提高视频的车辆检测效率，以及车辆检测精度，同时，间隔周期时间，对视频帧进行低精度车辆检测，获取新车区域以添加到车辆检测的循环中，提高新车的检测准确率，综上，实现对实时录制的视频的准确快速的车辆检测。

此外，用户可以针对实时显示的备选区域中进行调整操作，例如对车身进行颜色调整，以及对车辆进行分类等，还可以进行其他调整操作，对此，本公开实施例不作具体限制。

在上述实施例的基础上，可选的，在显示各视频帧的备选区域之后，还包括：当接收到车身颜色调整指令时，获取所述车辆检测结果，并确定所述车辆检测结果中与所述车身颜色调整指令匹配的目标备选区域；在当前视频帧的所述目标备选区域中，检测车身区域；将所述当前视频帧的车身区域的颜色调整成与所述车身颜色调整指令匹配的颜色。

在车辆区域中，确定车身区域，并将车身区域匹配的颜色调整成目标颜色，示例性的，将红色车身调整成绿色车身。车身颜色调整用于用户浏览同一款车处于不同颜色的显示效果。其中，车身颜色调整指令用于确定哪个车辆(即哪个备选区域)以及目标颜色。通过对检测后的车辆区域中的车身进行颜色调整，可以在准确确定车辆对象的基础上，增加对车辆的调整方式的灵活性和多样性。

实施例四

图4为本公开实施例四提供的一种车辆检测装置的结构示意图，本实施例可适用于检测视频中的车辆，获取包含车辆的区域的情况。该装置可以采用软件和/或硬件的方式实现，该装置可以配置于电子设备中，例如终端设备。如图4所示，该装置可以包括：初始视频帧车辆检测模块410、初始车辆区域检测模块420和车辆检测结果确定模块430。

初始视频帧车辆检测模块410，用于获取初始视频帧中的初始车辆区域，所述初始车辆区域包含车辆的概率大于第一概率阈值；

初始车辆区域检测模块420，用于确定所述初始视频帧的初始车辆区域中包含车辆的概率大于第二概率阈值的备选区域，所述第二概率阈值大于所述第一概率阈值；

车辆检测结果确定模块430，用于从所述初始视频帧起遍历视频，根据前一视频帧中的备选区域，确定当前视频帧中的备选区域，直至所述视频中的最后视频帧，则以最后视频帧中的备选区域作为车辆检测结果。

本公开实施例通过在初始视频帧中进行车辆检测获取初始车辆区域，并基于初始车辆区域进一步进行车辆检测，得到初始视频帧的备选区域，从初始视频帧遍历视频，根据前一视频帧的备选区域确定当前视频帧的备选区域，将最后视频帧的备选区域作为该视频的车辆检测结果，避免对各视频帧的整个图像区域进行车辆检测，解决了现有技术中在视频中对各视频帧的整个区域进行车辆检测，导致车辆检测效率低，所需资源大的问题，根据前一视频帧的备选区域，确定当前视频帧的检测区域，并进行车辆检测，降低每个视频帧的车辆检测的数据量，从而提高视频车辆检测的效率。

进一步的，所述车辆检测装置还包括：车辆重新检测模块，用于如果当前视频帧中的备选区域为空，则以当前视频帧作为新的初始视频帧重新进行车辆检测；如果遍历到最后视频帧之前，接受到停止指令，则终止车辆检测。

进一步的，所述初始视频帧车辆检测模块420，包括：第一图像识别模型检测单元，用于将所述初始视频帧输入第一图像识别模型，得到初始车辆区域。

进一步的，所述车辆检测结果确定模块430，包括：第二图像识别模型检测单元，用于如果当前视频帧距离初始视频帧的时间长度不是预设值，则将当前视频帧中与前一视频帧中的备选区域对应的区域输入第二图像识别模型，得到当前视频帧中的备选区域；车辆重新检测单元单元，用于如果当前视频帧距离初始视频帧的时间长度为预设值，则将当前视频帧输入第一图像识别模型，输出的区域与前一视频帧中的备选区域的合集再输入第二图像识别模型，得到当前视频帧中的备选区域。

进一步的，所述第一图像识别模型是通过第一样本集训练形成的机器学习模型，所述第二图像识别模型是通过第二样本集训练形成的机器学习模型；所述第一样本集包括第一正样本和第一负样本，所述第一正样本包括车辆区域，所述第一负样本包括不包含车辆的区域；所述第二样本集包括第二正样本和第二负样本，所述第二正样本包括第一车辆区域，且所述第一车辆区域与所属图像区域面积的比值大于等于比例阈值，所述第二负样本包括第二车辆区域以及不包含车辆的区域，且所述第二车辆区域与所属图像区域面积的比值小于所述比例阈值。

进一步的，所述第一样本集和所述第二样本集为同一数据集；所述第二正样本包括由所述第一正样本中筛选得到的车辆区域的面积与所属图像区域面积的比值大于等于所述比例阈值的区域，所述第二负样本包括所述数据集中除所述第二正样本之外的区域。

进一步的，所述车辆检测装置，还包括：备选区域显示模块，用于显示各视频帧的备选区域。

本公开实施例提供的车辆检测装置，与前述实施例提供的车辆检测方法属于同一发明构思，未在本公开实施例中详尽描述的技术细节可参见前述实施例，并且本公开实施例提供的车辆检测装置与前述实施例提供的车辆检测方法具有相同的有益效果。

实施例五

本公开实施例五提供了一种电子设备，下面参考图5，其示出了适于用来实现本公开实施例的电子设备(例如终端设备和服务器)500的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(PDA)、平板电脑(PAD)、便携式多媒体播放器(PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。特别的电子设备500为移动终端。

如图5所示，电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

通常，以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

实施例六

本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取初始视频帧中的初始车辆区域，所述初始车辆区域包含车辆的概率大于第一概率阈值；确定所述初始视频帧的初始车辆区域中包含车辆的概率大于第二概率阈值的备选区域，所述第二概率阈值大于所述第一概率阈值；从所述初始视频帧起遍历视频，根据前一视频帧中的备选区域，确定当前视频帧中的备选区域，直至所述视频中的最后视频帧，则以最后视频帧中的备选区域作为车辆检测结果。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，初始视频帧车辆检测模块还可以被描述为“获取初始视频帧中的初始车辆区域的模块”。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

根据本公开的一个或多个实施例，本公开提供了一种车辆检测方法，包括：

获取初始视频帧中的初始车辆区域，所述初始车辆区域包含车辆的概率大于第一概率阈值；

确定所述初始视频帧的初始车辆区域中包含车辆的概率大于第二概率阈值的备选区域，所述第二概率阈值大于所述第一概率阈值；

从所述初始视频帧起遍历视频，根据前一视频帧中的备选区域，确定当前视频帧中的备选区域，直至所述视频中的最后视频帧，则以最后视频帧中的备选区域作为车辆检测结果。

根据本公开的一个或多个实施例，本公开提供的车辆检测方法，还包括：如果当前视频帧中的备选区域为空，则以当前视频帧作为新的初始视频帧重新进行车辆检测；如果遍历到最后视频帧之前，接受到停止指令，则终止车辆检测。

根据本公开的一个或多个实施例，本公开提供的车辆检测方法中，所述获取初始视频帧中的初始车辆区域，包括：将所述初始视频帧输入第一图像识别模型，得到初始车辆区域。

根据本公开的一个或多个实施例，本公开提供的车辆检测方法中，所述根据前一视频帧中的备选区域，确定当前视频帧中的备选区域，包括：如果当前视频帧距离初始视频帧的时间长度不是预设值，则将当前视频帧中与前一视频帧中的备选区域对应的区域输入第二图像识别模型，得到当前视频帧中的备选区域；如果当前视频帧距离初始视频帧的时间长度为预设值，则将当前视频帧输入第一图像识别模型，输出的区域与前一视频帧中的备选区域的合集再输入第二图像识别模型，得到当前视频帧中的备选区域。

根据本公开的一个或多个实施例，本公开提供的车辆检测方法中，所述第一图像识别模型是通过第一样本集训练形成的机器学习模型，所述第二图像识别模型是通过第二样本集训练形成的机器学习模型；所述第一样本集包括第一正样本和第一负样本，所述第一正样本包括车辆区域，所述第一负样本包括不包含车辆的区域；所述第二样本集包括第二正样本和第二负样本，所述第二正样本包括第一车辆区域，且所述第一车辆区域与所属图像区域面积的比值大于等于比例阈值，所述第二负样本包括第二车辆区域以及不包含车辆的区域，且所述第二车辆区域与所属图像区域面积的比值小于所述比例阈值。

根据本公开的一个或多个实施例，本公开提供的车辆检测方法中，所述第一样本集和所述第二样本集为同一数据集；所述第二正样本包括由所述第一正样本中筛选得到的车辆区域的面积与所属图像区域面积的比值大于等于所述比例阈值的区域，所述第二负样本包括所述数据集中除所述第二正样本之外的区域。

根据本公开的一个或多个实施例，本公开提供的车辆检测方法，还包括：显示各视频帧的备选区域。

根据本公开的一个或多个实施例，本公开提供了一种车辆检测装置，包括：

初始视频帧车辆检测模块，用于获取初始视频帧中的初始车辆区域，所述初始车辆区域包含车辆的概率大于第一概率阈值；

初始车辆区域检测模块，用于确定所述初始视频帧的初始车辆区域中包含车辆的概率大于第二概率阈值的备选区域，所述第二概率阈值大于所述第一概率阈值；

车辆检测结果确定模块，用于从所述初始视频帧起遍历视频，根据前一视频帧中的备选区域，确定当前视频帧中的备选区域，直至所述视频中的最后视频帧，则以最后视频帧中的备选区域作为车辆检测结果。

根据本公开的一个或多个实施例，本公开提供的车辆检测装置，还包括：车辆重新检测模块，用于如果当前视频帧中的备选区域为空，则以当前视频帧作为新的初始视频帧重新进行车辆检测；如果遍历到最后视频帧之前，接受到停止指令，则终止车辆检测。

根据本公开的一个或多个实施例，本公开提供的车辆检测装置中，所述初始视频帧车辆检测模块，包括：第一图像识别模型检测单元，用于将所述初始视频帧输入第一图像识别模型，得到初始车辆区域。

根据本公开的一个或多个实施例，本公开提供的车辆检测装置中，所述车辆检测结果确定模块，包括：第二图像识别模型检测单元，用于如果当前视频帧距离初始视频帧的时间长度不是预设值，则将当前视频帧中与前一视频帧中的备选区域对应的区域输入第二图像识别模型，得到当前视频帧中的备选区域；车辆重新检测单元单元，用于如果当前视频帧距离初始视频帧的时间长度为预设值，则将当前视频帧输入第一图像识别模型，输出的区域与前一视频帧中的备选区域的合集再输入第二图像识别模型，得到当前视频帧中的备选区域。

根据本公开的一个或多个实施例，本公开提供的车辆检测装置中，所述第一图像识别模型是通过第一样本集训练形成的机器学习模型，所述第二图像识别模型是通过第二样本集训练形成的机器学习模型；所述第一样本集包括第一正样本和第一负样本，所述第一正样本包括车辆区域，所述第一负样本包括不包含车辆的区域；所述第二样本集包括第二正样本和第二负样本，所述第二正样本包括第一车辆区域，且所述第一车辆区域与所属图像区域面积的比值大于等于比例阈值，所述第二负样本包括第二车辆区域以及不包含车辆的区域，且所述第二车辆区域与所属图像区域面积的比值小于所述比例阈值。

根据本公开的一个或多个实施例，本公开提供的车辆检测装置中，所述第一样本集和所述第二样本集为同一数据集；所述第二正样本包括由所述第一正样本中筛选得到的车辆区域的面积与所属图像区域面积的比值大于等于所述比例阈值的区域，所述第二负样本包括所述数据集中除所述第二正样本之外的区域。

根据本公开的一个或多个实施例，本公开提供的车辆检测装置，还包括：备选区域显示模块，用于显示各视频帧的备选区域。

根据本公开的一个或多个实施例，本公开提供了一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开提供的任一所述的车辆检测方法。

根据本公开的一个或多个实施例，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开提供任一所述的车辆检测方法。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (10)

1.一种车辆检测方法，其特征在于，包括：

获取初始视频帧中的初始车辆区域，所述初始车辆区域包含车辆的概率大于第一概率阈值；

确定所述初始视频帧的初始车辆区域中包含车辆的概率大于第二概率阈值的备选区域，所述第二概率阈值大于所述第一概率阈值；

从所述初始视频帧起遍历视频，根据前一视频帧中的备选区域，确定当前视频帧中的备选区域，直至所述视频中的最后视频帧，则以最后视频帧中的备选区域作为车辆检测结果。

2.根据权利要求1所述的方法，其特征在于，还包括：

如果当前视频帧中的备选区域为空，则以当前视频帧作为新的初始视频帧重新进行车辆检测；

如果遍历到最后视频帧之前，接受到停止指令，则终止车辆检测。

3.根据权利要求1或2所述的方法，其特征在于，所述获取初始视频帧中的初始车辆区域，包括：

将所述初始视频帧输入第一图像识别模型，得到初始车辆区域。

4.根据权利要求3所述的方法，其特征在于，所述根据前一视频帧中的备选区域，确定当前视频帧中的备选区域，包括：

如果当前视频帧距离初始视频帧的时间长度不是预设值，则将当前视频帧中与前一视频帧中的备选区域对应的区域输入第二图像识别模型，得到当前视频帧中的备选区域；

如果当前视频帧距离初始视频帧的时间长度为预设值，则将当前视频帧输入第一图像识别模型，输出的区域与前一视频帧中的备选区域的合集再输入第二图像识别模型，得到当前视频帧中的备选区域。

5.根据权利要求4所述的方法，其特征在于，所述第一图像识别模型是通过第一样本集训练形成的机器学习模型，所述第二图像识别模型是通过第二样本集训练形成的机器学习模型；所述第一样本集包括第一正样本和第一负样本，所述第一正样本包括车辆区域，所述第一负样本包括不包含车辆的区域；所述第二样本集包括第二正样本和第二负样本，所述第二正样本包括第一车辆区域，且所述第一车辆区域与所属图像区域面积的比值大于等于比例阈值，所述第二负样本包括第二车辆区域以及不包含车辆的区域，且所述第二车辆区域与所属图像区域面积的比值小于所述比例阈值。

6.根据权利要求5所述的方法，其特征在于，所述第一样本集和所述第二样本集为同一数据集；所述第二正样本包括由所述第一正样本中筛选得到的车辆区域的面积与所属图像区域面积的比值大于等于所述比例阈值的区域，所述第二负样本包括所述数据集中除所述第二正样本之外的区域。

7.根据权利要求1所述的方法，其特征在于，还包括：

显示各视频帧的备选区域。

8.一种车辆检测装置，其特征在于，包括：

初始视频帧车辆检测模块，用于获取初始视频帧中的初始车辆区域，所述初始车辆区域包含车辆的概率大于第一概率阈值；

初始车辆区域检测模块，用于确定所述初始视频帧的初始车辆区域中包含车辆的概率大于第二概率阈值的备选区域，所述第二概率阈值大于所述第一概率阈值；

车辆检测结果确定模块，用于从所述初始视频帧起遍历视频，根据前一视频帧中的备选区域，确定当前视频帧中的备选区域，直至所述视频中的最后视频帧，则以最后视频帧中的备选区域作为车辆检测结果。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的车辆检测方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一所述的车辆检测方法。