CN111797727B - 一种检测路面抛洒物的方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种检测路面抛洒物的方法、装置及存储介质，用以解决现有技术中存在的检测抛洒物的准确度较低的技术问题，该方法包括：从视频的当前帧图像中获取去除了预设背景图和检测目标后得到的前景图；并从前景图中，获取监测目标之一的目标车辆的历史轨迹覆盖区域内的多个第一图像碎片；其中，历史轨迹是基于视频内当前帧图像之前的各帧图像中目标车辆的运动情况生成的运动轨迹；将每个第一图像碎片与历史轨迹在上一帧图像中覆盖的每个第二图像碎片进行匹配，将匹配成功的第一图像碎片和第二图像碎片融合在一起，形成第三图像碎片；判断第三图像碎片是否具有预设的抛洒物特征，若为是，确定第三图像碎片对应的路面上遗留有目标车辆的抛洒物。

Description

一种检测路面抛洒物的方法、装置及存储介质

技术领域

本发明涉及安防监控技术领域，尤其是涉及一种检测路面抛洒物的方法、装置及存储介质。

背景技术

在道路运输中，时常有运输车辆在行驶的过程中掉落抛洒物的情况发生，这些掉落在路面的抛洒物不仅影响了市容市貌，还可能引发交通事故。因此，如何检测遗留在路面的抛洒物，将其排除成为业界普遍关注的问题。

在现有技术中，检测抛洒物通常是采用预先建立好的模型去识别抛洒物，然而在现实场景中，路面场景是非常复杂和多变的，无法使用一个模型对所有路面都具有适用性，这样将导致在某些路面上误报或者漏报的情况比较高。

鉴于此，如何提高检测抛洒物的准确度，成为一个亟待解决的技术问题。

发明内容

本发明提供一种检测路面抛洒物的方法、装置及存储介质，用以解决现有技术中存在的检测抛洒物的准确度较低的技术问题。

第一方面，为解决上述技术问题，本发明实施例提供的一种检测路面抛洒物的方法的技术方案如下：

从视频的当前帧图像中获取对应的前景图；其中，所述前景图是在所述当前帧图像中去除预设背景图和检测目标后的多个图像碎片，所述预设背景图是所述视频中，在所述当前帧图像之前画面保持不变的时长大于等于设定时长的部分画面；

从所述前景图中，获取目标车辆的历史轨迹覆盖区域内的多个第一图像碎片；其中，所述目标车辆为所述检测目标之一，所述历史轨迹是基于所述视频内所述当前帧图像之前的各帧图像中目标车辆的运动情况生成的运动轨迹；

将每个所述第一图像碎片与所述历史轨迹在上一帧图像中覆盖的每个第二图像碎片进行匹配，将匹配成功的所述第一图像碎片和所述第二图像碎片融合在一起，形成第三图像碎片；其中，所述上一帧图像为所述视频中与所述当前帧图像相邻的前一帧图像；

判断所述第三图像碎片是否具有预设的抛洒物特征，若为是，确定所述第三图像碎片对应的路面上遗留有所述目标车辆的抛洒物。

可选地，获取初始的所述预设背景图，包括：

从所述视频的第二帧图像开始，判断每帧图像中每个第一像素是否在所述每帧图像对应的目标区域内，直至判断完第N帧图像的最后一个像素为止；其中，若所述每帧图像中一个像素在所述目标区域内，则继续判断下一像素，N为自然数；

针对所述第一像素不在所述每帧图像的目标区域内的情况，所述每帧图像对应的上一帧图像的背景图中与所述第一像素对应的第二像素，和所述背景掩码图中与所述第二像素对应的所述第三像素，执行以下操作：

判断所述第三像素的值是否为1；其中，所述第三像素的值为1时指示所述第二像素值被所述历史帧图像更新过；

若为所述第三像素的值为1，则将所述第一像素的值与所述第二像素的值按比例融合，并用融合后的值更新所述第二像素的值；

若所述第三像素的值为0，则用所述第一像素的值更新所述第二像素的值；

当所述每帧图像为所述第N帧图像时，在判断完所述第N帧图像的最后一个像素后，将所述第N帧图像对应的背景图作为初始的所述预设背景图。

可选地，所述方法还包括：

基于静态点统计图及所述当前帧图像，对所述预设背景图及与之对应的预设背景掩码图进行更新，获得更新后的所述预设背景图及更新后的所述预设背景掩码图；其中，所述预设背景掩码图和所述静态点统计图的大小与所述预设背景图的大小相同，且所述预设背景图中每个位置对应的像素是否为变动的背景像素由所述预设背景掩码图中对应位置像素的值来标识，所述预设背景图中每个位置对应的像素在所述当前帧图之前变动为背景像素的情况用所述静态点统计图对应位置的像素的值记录。

可选地，对所述预设背景图及与之对应的预设背景掩码图进行更新，获得更新后的所述预设背景图及更新后的所述预设背景掩码图，包括：

从所述当前帧图像中的第一个所述第四像素开始，判断当前的所述第一像素是否在所述目标区域内，直至判断完最后一个所述第四像素为止；其中：

若当前的所述第四像素在所述目标区域内，则继续对下一个所述第四像素进行判断；

若当前的所述第四像素不在所述目标区域内，对所述预设背景图中与当前的所述第四像素位置对应的第五像素，和所述预设背景掩码图中与所述第五像素位置对应的第六像素，执行以下操作：

判断当前的所述第四像素是否为稳定的背景像素，若为是则将所述第六像素的值设置为0；所述第六像素的值为0时指示所述第五像素的值未被所述历史帧图像更新过；

若当前的所述第四像素为变动的所述背景像素，则判断所述第六像素的值是否为1；其中，所述第六像素的值为1时指示所述第五像素的值被所述历史帧图像更新过；

若所述第六像素的值为1，则将所述第四像素的值与所述第五像素的值按比例融合，并用融合后的值更新所述第五像素的值；

若所述第六像素的值为0，则用所述第四像素的值更新所述第五像素的值。

可选地，判断第四像素是否为稳定的背景像素，包括：

判断所述静态点统计图中，与所述第四像素位置对应的第七像素的值是否大于第一阈值；其中，所述第七像素的值用于记录对应位置的所述第五像素被历史帧图像确定为高度相似的前景像素的次数；所述第一阈值为一个像素从变动的所述背景像素演变为稳定的所述背景像素的门限值；

若为是，确定所述第四像素为稳定的所述背景像素，并将所述第七像素的值设置为0；

若为否，确定所述第四像素为变动的所述背景像素。

可选地，从视频的当前帧图像中获取对应的前景图之后，还包括：

计算所述前景图中每个前景像素与所述上一帧图像中对应像素的相似度；

若所述相似度大于第二阈值，则将所述静态点统计图中与所述前景像素的位置对应的像素点的值增加1；否则将所述静态点统计图中与所述前景像素的位置对应的像素点的值设置为0。

可选地，计算所述前景图中每个前景像素与所述上一帧图像中对应像素的相似度，包括：

从所述当前帧图像中，获取在所述每个前景像素对应位置周围指定范围内的第一图像；

从所述上一帧图像中，获取在所述每个前景像素对应位置周围所述指定范围内的第二图像；

计算所述第一图像与所述第二图像的相似度。

可选地，所述抛洒物特征为所述第三图像碎片的延伸区域沿一个方向增长；

且，所述第三图像碎片中包含稳定的所述背景像素。

可选地，确定所述第三图像碎片为所述目标车辆的抛洒物后，还包括：

用预设的抛洒物检测模型对所述当前帧图像中的抛洒物进行检测，获得抛洒物对应第一位置区域；其中，所述预设的抛洒物检测模型是通过包含抛洒物的图像输入抛洒物检测模型训练得到的；

判断所述第一位置区域与所述第三图像碎片在所述当前帧图像中的位置区域是否有重叠，若为是确定所述第三图像碎片对应的物体为抛洒物；

否则，确定所述第三图像碎片对应的物体不是抛洒物。

第二方面，本发明实施例还提供一种检测路面抛洒物的装置，包括：

至少一个处理器，以及

与所述至少一个处理器连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，执行如上述第一方面所述的方法。

第四方面，本发明实施例还提供一种可读存储介质，包括：

包括存储器，

所述存储器用于存储指令，当所述指令被处理器执行时，使得包括所述可读存储介质的装置完成如第一方面所述的方法。

通过本发明实施例的上述一个或多个实施例中的技术方案，本发明实施例至少具有如下技术效果：

在本发明提供的实施例中，通过从视频的当前帧图像中获取去除了预设背景图和检测目标后由多个图像碎片组成的前景图，并从前景图中获取作为检测目标之一的目标车辆的历史轨迹覆盖区域内的多个第一图像碎片；然后，将每个第一图像碎片与历史轨迹在上一帧图像中覆盖的每个第二图像碎片进行匹配，将匹配成功的第一图像碎片和第二图像碎片融合在一起，形成第三图像碎片；并判断第三图像碎片是否具有预设的抛洒物特征，若为是，确定第三图像碎片对应的路面上遗留有目标车辆的抛洒物；其中，预设背景图是视频中，在当前帧图像之前画面保持不变的时长大于等于设定时长的部分画面，历史轨迹是基于视频内当前帧图像之前的各帧图像中目标车辆的运动情况生成的运动轨迹，上一帧图像为视频中与当前帧图像相邻的前一帧图像。由于是从目标车辆的历史运动轨迹中提取前景图(即不包含目标车辆的运动前景图)来确定可能的抛洒物对应的第三图像碎片，使得能减少计算量，并更根据第三图像碎片中包含的特征快速准确的确定是否有抛洒物。

附图说明

图1为本发明实施例提供的一种检测路面抛洒物方法的流程图；

图2为本发明实施例提供的监控设备对一路段进行监控的示意图；

图3为本发明实施例提供的预设背景图的示意图；

图4为本发明实施例提供的第N+1帧图像的示意图；

图5为本发明实施例提供的获得第N+1帧图像的前景图的示意图；

图6为本发明实施例提供的获得第N+1帧图像对应的更新后的预设背景图、更新的预设背景掩码图以及更新的静态点统计图的示意图。

具体实施方式

本发明实施列提供一种检测路面抛洒物的方法、装置及存储介质，以解决现有技术中存在的检测抛洒物的准确度较低的技术问题。

本申请实施例中的技术方案为解决上述的技术问题，总体思路如下：

提供一种检测路面抛洒物的方法，包括：从视频的当前帧图像中获取对应的前景图；其中，前景图是在当前帧图像中去除预设背景图和检测目标后的多个图像碎片，预设背景图是视频中，在当前帧图像之前画面保持不变的时长大于等于设定时长的部分画面；从前景图中，获取目标车辆的历史轨迹覆盖区域内的多个第一图像碎片；其中，目标车辆为检测目标之一，历史轨迹是基于视频内当前帧图像之前的各帧图像中目标车辆的运动情况生成的运动轨迹；将每个第一图像碎片与历史轨迹在上一帧图像中覆盖的每个第二图像碎片进行匹配，将匹配成功的第一图像碎片和第二图像碎片融合在一起，形成第三图像碎片；其中，上一帧图像为视频中与当前帧图像相邻的前一帧图像；判断第三图像碎片是否具有预设的抛洒物特征，若为是，确定第三图像碎片对应的路面上遗留有目标车辆的抛洒物。

由于在上述方案中，通过从视频的当前帧图像中获取去除了预设背景图和检测目标后由多个图像碎片组成的前景图，并从前景图中获取作为检测目标之一的目标车辆的历史轨迹覆盖区域内的多个第一图像碎片；然后，将每个第一图像碎片与历史轨迹在上一帧图像中覆盖的每个第二图像碎片进行匹配，将匹配成功的第一图像碎片和第二图像碎片融合在一起，形成第三图像碎片；并判断第三图像碎片是否具有预设的抛洒物特征，若为是，确定第三图像碎片对应的路面上遗留有目标车辆的抛洒物；其中，预设背景图是视频中，在当前帧图像之前画面保持不变的时长大于等于设定时长的部分画面，历史轨迹是基于视频内当前帧图像之前的各帧图像中目标车辆的运动情况生成的运动轨迹，上一帧图像为视频中与当前帧图像相邻的前一帧图像。由于是从目标车辆的历史运动轨迹中提取前景图(即不包含目标车辆的运动前景图)来确定可能的抛洒物对应的第三图像碎片，使得能减少计算量，并更根据第三图像碎片中包含的特征快速准确的确定是否有抛洒物。

为了更好的理解上述技术方案，下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。

请参考图1，本发明实施例提供一种检测路面抛洒物的方法，该方法的处理过程如下。

步骤101：从视频的当前帧图像中获取对应的前景图；其中，前景图是在当前帧图像中去除预设背景图和检测目标后的多个图像碎片，预设背景图是视频中，在当前帧图像之前画面保持不变的时长大于等于设定时长的部分画面。

请参见图2为本发明实施例提供的监控设备对一路段进行监控的示意图。在图2中，监控设备设置在右上方，对图中所示的路段进行监控，在图2所示的路段中，某一时刻在该路段上有2辆车经过，这两辆车记为本申请中所述的检测目标，当然本申请中所述的检测目标并不限于车辆，还可以是人、动物等在该路段上运动的目标。监控设备对该路段进行持续拍摄，得到一个视频为了确定在行经该路段的车辆，如渣土车是否有抛洒物掉落，可以采用步骤101～步骤104的方案。

为了便于说明以该路段中有一辆车经过为例进行说明。

请参见图3为本发明实施例提供的预设背景图的示意图。该预设背景图是由视频的前N帧图像得到的。

假设第N+1帧图像为当前帧图像，图4为本发明实施例提供的第N+1帧图像的示意图。获得第N+1帧图像的前景图所使用的预设背景图为图3所示的图像。

请参见图5为本发明实施例提供的获得第N+1帧图像的前景图的示意图。在图5中，通过从第N+1帧图像去除预设背景图和目标车辆后便可以得到前景图。

提取该前景图可以用下列数据表达式：

其中，F(x，y)为1时指示当前帧图像中坐标(x，y)所对应的像素为前景图中的像素，F(x，y)为0时指示当前帧图像中坐标(x，y)所对应的像素不是前景图中的像素，f(x，y)为当前帧图像中坐标为(x，y)的像素的值，B(x，y)为预设背景图中坐标为(x，y)的像素的值，T为预设背景图与当前帧图像位于同一坐标位置的像素的差值的阈值，阈值用于确定当前帧图像中的任一个像素是否为前景像素。

获得当前帧图像的前景图之后，便可执行步骤102-104。

步骤102：从前景图中，获取目标车辆的历史轨迹覆盖区域内的多个第一图像碎片；其中，目标车辆为检测目标之一，历史轨迹是基于视频内当前帧图像之前的各帧图像中目标车辆的运动情况生成的运动轨迹。

在本发明提供的实施例中，目标车辆，例如可以为渣土车，通过按车辆类获取其历史轨迹覆盖区域内的多个第一图像碎片，可以有效地减少产生误报的可能。

步骤103：将每个第一图像碎片与历史轨迹在上一帧图像中覆盖的每个第二图像碎片进行匹配，将匹配成功的第一图像碎片和第二图像碎片融合在一起，形成第三图像碎片；其中，上一帧图像为视频中与当前帧图像相邻的前一帧图像。

步骤104：判断第三图像碎片是否具有预设的抛洒物特征，若为是，确定第三图像碎片对应的路面上遗留有目标车辆的抛洒物。

抛洒物特征为第三图像碎片的延伸区域沿一个方向增长，且第三图像碎片中包含稳定的背景像素。

由于第三图像碎片是从车辆的历史轨迹中确定出来的部分前景图，利用前景增长即静态点可真，可以减少将其它前景确定为抛洒物的可能，从而减少误报率。

在确定第三图像碎片为所述目标车辆的抛洒物后，还可以进一步确认识别出的抛洒物是否确实是抛洒物，具体可以采用下列方式：

用预设的抛洒物检测模型对当前帧图像中的抛洒物进行检测，获得抛洒物对应第一位置区域；其中，预设的抛洒物检测模型是通过包含抛洒物的图像输入抛洒物检测模型训练得到的。

判断第一位置区域与第三图像碎片在当前帧图像中的位置区域是否有重叠，若为是确定第三图像碎片对应的物体为抛洒物；否则，确定第三图像碎片对应的物体不是抛洒物。

通过使用预设的抛洒物检测模型对识别出的抛洒物进行二次确定，可以减少路面上的光影以及水渍等因素引起的误报，同时还能提高抛洒物检测在其它场景使用的鲁棒性，从而检测抛洒物的准确度及适用性。

若确定为抛洒物可以发出报警，并将该第三图像碎片标识为已报警，这样在后一帧或后几帧中与该第三图像碎片相连的图像碎片被确定为抛洒物时，可以避免重复报警。

在本发明提供的实施例中，从视频的前N帧图像得到的预设背景图被称之为初始的预设背景图，获取初始的预设背景图可以通过以下方式实现：

从视频的第二帧图像开始，判断每帧图像中每个第一像素是否在每帧图像对应的目标区域内，直至判断完第N帧图像的最后一个像素为止；其中，若每帧图像中一个像素在目标区域内，则继续判断下一像素，N为自然数，N的具体取值可以由用户根据实际情况自行设定。

针对第一像素不在每帧图像的目标区域内的情况，每帧图像对应的上一帧图像的背景图中与第一像素对应的第二像素，和背景掩码图中与第二像素对应的第三像素，执行以下操作：

判断第三像素的值是否为1；其中，第三像素的值为1时指示第二像素值被历史帧图像更新过。

若为第三像素的值为1，则将第一像素的值与第二像素的值按比例融合，并用融合后的值更新第二像素的值。

若第三像素的值为0，则用第一像素的值更新第二像素的值。

当每帧图像为第N帧图像时，在判断完第N帧图像的最后一个像素后，将第N帧图像对应的背景图作为初始的预设背景图。

需要说明的是，由于一个视频使用的拍摄设备、拍摄设备所使用的拍摄参数、拍摄设备拍摄的道路都是相同的，因此该视频中的所有帧图像的大小都是相同的，例如拍摄出来的每帧图像都是720×576像素。

为了便于说明，在本申请提供的实施例中，将视频的前N帧图像中每帧图像中的任一个像素都称之为第一像素，该N帧图像中每一帧图像都有对应的相同大小的背景图，每个背景图对应的都有一个相同大小的背景掩码图；其中，第一帧图像的背景图是去除检测目标后得到的，相应的，第一帧图像的背景图对应的背景掩码图中所有像素的值均为0。

第一帧图像之后的背景图，都是由前一帧图像的背景图与当前帧图像的目标区域进行融合后得到的，例如，N取值为3，每帧图像的大小为720×576个像素。

从第二帧图像的第一个第一像素开始，判断第一像素是否在第二图像的目标区域内，直到判断完第二帧图像的最后一个像素(即第720×576个像素)为止，完成将第一帧图像的背景图融合到第二帧图像的背景图(即第二帧图像去除检测目标后的图像)中，具体的融合过程是：

针对任一个不在第二帧图像的目标检测区域内的第一像素，假设在第一帧图像的背景图中，与该第一像素位置对应的像素为第二像素，在背景掩码图中与该第二像素位置对应的像素为第三像素。

判断第三像素的值是否为1(由于第一帧图像的背景图中的像素均未被更新过，所以对应的背景掩码图的所有像素的值均为0)，判断结果为否，所以用第一像素的值直接更新第二像素的值，相应的第三像素的值修改为1。

当第二帧图像中所有像素均完成上述两重判断、处理后，得到的更新后的背景图即为第二帧图像对应的背景图。

通过上述过程将第一帧图像的背景图(第一帧图像去除检测目标后的图像)与第二帧图像去除检测目标的图像进行融合后，得到第二帧图像的背景图之后，便可将此第二帧图像的背景图与第三帧图像去除检测目标后的背景图进行融合，得到第三帧图像对应的背景图，即为初始的预设背景图。

从第三帧图像的第一个第一像素开始，判断第一像素是否在第三图像的目标区域内，直到判断完第三帧图像的最后一个像素(即第720×576个像素)为止，完成将第二帧图像的背景图(即上述更新后的背景图)融合到第三帧图像的背景图(即去除第三帧图像中的检测目标后的背景图)中，具体的融合过程是：

针对任一个不在第二帧图像的目标检测区域内的第一像素，假设在第二帧图像的背景图中，与该第一像素位置对应的像素为第二像素，在背景掩码图中与该第二像素位置对应的像素为第三像素。

判断第三像素的值是否为1(假设该第三像素的值为1，为0的情况参见前面第二帧图像中的处理过程)，判断结构为是，所以用第一像素的值与第二像素的值按比例进行融合，假设第一像素的值为i，第二像素的值为b，第一像素与第二像素进行融合的比例为a，则融合后的值为j＝(1-a)×b+a×i，用j去更新第二像素的值(即更新的第二像素的值为j)。

当第三帧图像中除目标区域外的像素均完成上述两重判断、处理过程后，得到的更新后的背景图即为第三帧图像对应的背景图，也就是初始的预设背景图，相应的与之对应的背景掩码图被称之为初始的预设背景掩码图。

上述过程也可以理解为，将第一帧图像去除检测目标后得到的图像作为背景图，然后逐帧将去除检测目标后的帧图像融合到此背景图中，最终得到初始的预设背景图，该背景图对应的有一个背景掩码图，此背景掩码图用于记录在进行融合时背景图中哪些位置的像素的值被更新过，更新过的用1标识，没被更新过的用0表示。

对于视频中从第N+1帧图像开始，执行步骤101～步骤104，即得到初始的预设背景图后，开始对之后的每帧图像中是否存在抛洒物进行识别，而识别的所采用的方法就是步骤101～步骤104所述的方法。

对于第N+1帧图像而言，步骤101中的预设背景图就是前面所述的初始的预设背景图；对于第N+2帧图像而言，步骤101中的预设背景图就是用N+1帧图像对初始的预设背景图进行融合更新后的背景图，第N+3帧使用的预设背景图依次类推，不再一一赘述。

为了使当前帧图像的后一帧图像能获取其对应的前景图，在得到当前帧图像的前景图后，还需要对当前帧图像使用的预设背景图进行更新，以便后一帧图像使用，可以采用以下方式对当前帧图像使用的预设背景图进行更新：

基于静态点统计图及当前帧图像，对预设背景图及与之对应的预设背景掩码图进行更新，获得更新后的预设背景图及更新后的预设背景掩码图；其中，预设背景掩码图和静态点统计图的大小与预设背景图的大小相同，且预设背景图中每个位置对应的像素是否为变动的背景像素由预设背景掩码图中对应位置像素的值来标识，预设背景图中每个位置对应的像素在当前帧图之前变动为背景像素的情况用静态点统计图对应位置的像素的值记录。

在监控设备的视野中，如绿化带、路面等静止的物体对于视频中的帧图像来说通常是长期保持不变的，在本发明提供的实施例中，将它们在帧图像中对应位置的像素可以称之为背景像素，视频中从车辆上掉落物体下来，在物体掉落的过程中，一帧图像中被遮挡的位置对应的像素可称之为变动的背景像素，当物体静止在路面上后，尽管物体也遮挡了路面，但由于其也将长时保持不动，因此其实际已融入了背景，这时可以将静止物体对遮挡位置对应的像素称之为稳定的背景像素。

由于掉落的物体在掉落到完全静止有一个变化的过程，所以为了确定帧图像对应的前景图中某个像素是变动的背景像素还是稳定的背景像素可以为预设背景图设置一个等大小的静态点统计图。其中，静态点统计图中一个像素的值用于记录与预设背景图中对应位置的像素的值被更新的次数，当该次数达到某个阈值后，确定该像素为稳定的背景像素。

对预设背景图及与之对应的预设背景掩码图进行更新，获得更新后的预设背景图及更新后的预设背景掩码图，可以采用下列方式：

从当前帧图像中的第一个第四像素开始，判断当前的第一像素是否在目标区域内，直至判断完最后一个第四像素为止；其中：

若当前的第四像素在目标区域内，则继续对下一个第四像素进行判断；

若当前的第四像素不在目标区域内，对预设背景图中与当前的第四像素位置对应的第五像素，和预设背景掩码图中与第五像素位置对应的第六像素，执行以下操作：

判断当前的第四像素是否为稳定的背景像素，若为是则将第六像素的值设置为0；第六像素的值为0时指示第五像素的值未被历史帧图像更新过。

若当前的第四像素为变动的背景像素，则判断第六像素的值是否为1；其中，第六像素的值为1时指示第五像素的值被历史帧图像更新过。

若第六像素的值为1，则将第四像素的值与第五像素的值按比例融合，并用融合后的值更新第五像素的值；具体融合的方式可以参见前面获得初始的预设背景图中所述的方式。

若掩码值为0，则用第四像素的值更新第五像素的值。

例如，初始的预设背景图，其对应的静态点统计图中所有像素的值均为0，即当前帧图像为第N+1帧图像时，其使用的预设背景图记为初始的预设背景图，相应使用的静态点统计图中所有像素的值均为0。

若当前帧图像为视频中的第N+1帧图像时，从第N+1帧图像中的第一个第四像素开始，判断当前的第一像素是否在目标区域内，直到判断完第N+1帧图像中的最后一个第四像素，得到用第N+1帧图像更新预设背景图后的更新后的预设背景图，这个更新后的预设背景图作为第N+2帧图像得到其前景图所使用的预设背景图。

其中，若第N+1帧图像中当前的第四像素在目标区域内，则继续判断下一个第四像素是否在目标区域内，即不将目标车辆所在的目标区域内的像素的值融合到预设背景图中。

若当前的第四像素不在目标区域内，对预设背景图中与当前的第四像素位置对应的第五像素，和预设背景掩码图中与第五像素位置对应的第六像素执行以下操作(即将目标车辆所在目标区域之外的前景图与预设背景图进行融合)：

判断当前的第四像素是否为稳定的背景像素，若为是则将第六像素的值设置为0。也就是说当一个变动的背景像素在当前帧图像之前被多次确定为对应帧图像的前景图中的前景像素时，认为该像素已经融入背景，需要将预设掩码图中对应位置的像素值重新设置为0。

若当前的第四像素为变动的背景像素，则需要进一步判断第六像素的值是否为1，若为1则将第四像素的值与第五像素的值按比例融合，并用融合后的值更新第五像素的值；若第六像素的值为0，则用第四像素的值更新第五像素的值，相应的第六像素的值需要设置为1。

通过以上方式，便可得到当前帧图像对应的更新后的预设背景图。

在本发明提供的实施例中，判断第四像素是否为稳定的背景像素，可以采用下列方式实现：

判断静态点统计图中，与第四像素位置对应的第七像素的值是否大于第一阈值；其中，第七像素的值用于记录对应位置的第五像素被历史帧图像确定为高度相似的前景像素的次数；第一阈值为一个像素从变动的背景像素演变为稳定的背景像素的门限值。

若为是，确定第四像素为稳定的背景像素，并将第七像素的值设置为0；若为否，确定第四像素为变动的背景像素。

从视频的当前帧图像中获取对应的前景图之后，需要对静态点统计图进行更新，更新的方式如下：

先计算前景图中每个前景像素与上一帧图像中对应像素的相似度；若相似度大于第二阈值，则将静态点统计图中与前景像素的位置对应的像素点的值增加1；否则将静态点统计图中与前景像素的位置对应的像素点的值设置为0。请参见图6为本发明实施例提供的获得第N+1帧图像对应的更新后的预设背景图、更新的预设背景掩码图以及更新的静态点统计图的示意图。

计算前景图中每个前景像素与上一帧图像中对应像素的相似度，可以采用以下方式：

从当前帧图像中，获取在每个前景像素对应位置周围指定范围内的第一图像；再从上一帧图像中，获取在每个前景像素对应位置周围指定范围内的第二图像；最后计算第一图像与所述第二图像的相似度。

第一图像和第二图像中可以包括对应的局部颜色和纹理特征，也就是通过计算第一图像和第二图像的颜色是否相似、纹理特征是否相似来确定第一图像与第二图像的相似度，将之作为前景图中每个前景像素与上一帧图像中对应像素的相似度。

基于同一发明构思，本发明实施例中提供了一种检测路面抛洒物的装置，包括：至少一个处理器，以及

与所述至少一个处理器连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，执行如上所述的检测路面抛洒物的方法。

基于同一发明构思，本发明实施例还提一种可读存储介质，包括：

包括存储器，所述存储器用于存储指令，当所述指令被处理器执行时，使得包括所述可读存储介质的装置完成如上所述的检测路面抛洒物的方法。

本领域内的技术人员应明白，本发明实施例可提供为方法、系统、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (11)

1.一种检测路面抛洒物的方法，其特征在于，包括：

从视频的当前帧图像中获取对应的前景图；其中，所述前景图是在所述当前帧图像中去除预设背景图和检测目标后的多个图像碎片，所述预设背景图是所述视频中，在所述当前帧图像之前画面保持不变的时长大于等于设定时长的部分画面；

从所述前景图中，获取目标车辆的历史轨迹覆盖区域内的多个第一图像碎片；其中，所述目标车辆为所述检测目标之一，所述历史轨迹是基于所述视频内所述当前帧图像之前的各帧图像中目标车辆的运动情况生成的运动轨迹；

将每个所述第一图像碎片与所述历史轨迹在上一帧图像中覆盖的每个第二图像碎片进行匹配，将匹配成功的所述第一图像碎片和所述第二图像碎片融合在一起，形成第三图像碎片；其中，所述上一帧图像为所述视频中与所述当前帧图像相邻的前一帧图像；

判断所述第三图像碎片是否具有预设的抛洒物特征，若为是，确定所述第三图像碎片对应的路面上遗留有所述目标车辆的抛洒物；其中，所述抛洒物特征为所述第三图像碎片的延伸区域沿一个方向增长，且所述第三图像碎片中包含稳定的背景像素。

2.如权利要求1所述的方法，其特征在于，获取初始的所述预设背景图，包括：

从所述视频的第二帧图像开始，判断每帧图像中每个第一像素是否在所述每帧图像对应的目标区域内，直至判断完第N帧图像的最后一个像素为止；其中，若所述每帧图像中一个像素在所述目标区域内，则继续判断下一像素，N为自然数；

针对所述第一像素不在所述每帧图像的目标区域内的情况，所述每帧图像对应的上一帧图像的背景图中与所述第一像素对应的第二像素，和背景掩码图中与所述第二像素对应的第三像素，执行以下操作：

判断所述第三像素的值是否为1；其中，所述第三像素的值为1时指示所述第二像素值被历史帧图像更新过；

若为所述第三像素的值为1，则将所述第一像素的值与所述第二像素的值按比例融合，并用融合后的值更新所述第二像素的值；

若所述第三像素的值为0，则用所述第一像素的值更新所述第二像素的值；

当所述每帧图像为所述第N帧图像时，在判断完所述第N帧图像的最后一个像素后，将所述第N帧图像对应的背景图作为初始的所述预设背景图。

3.如权利要求2所述的方法，其特征在于，还包括：

基于静态点统计图及所述当前帧图像，对所述预设背景图及与之对应的预设背景掩码图进行更新，获得更新后的所述预设背景图及更新后的所述预设背景掩码图；其中，所述预设背景掩码图和所述静态点统计图的大小与所述预设背景图的大小相同，且所述预设背景图中每个位置对应的像素是否为变动的背景像素由所述预设背景掩码图中对应位置像素的值来标识，所述预设背景图中每个位置对应的像素在所述当前帧图之前变动为背景像素的情况用所述静态点统计图对应位置的像素的值记录。

4.如权利要求3所述的方法，其特征在于，对所述预设背景图及与之对应的预设背景掩码图进行更新，获得更新后的所述预设背景图及更新后的所述预设背景掩码图，包括：

从所述当前帧图像中的第一个第四像素开始，判断当前的所述第一像素是否在所述目标区域内，直至判断完最后一个所述第四像素为止；其中：

若当前的所述第四像素在所述目标区域内，则继续对下一个所述第四像素进行判断；

若当前的所述第四像素不在所述目标区域内，对所述预设背景图中与当前的所述第四像素位置对应的第五像素，和所述预设背景掩码图中与所述第五像素位置对应的第六像素，执行以下操作：

判断当前的所述第四像素是否为稳定的背景像素，若为是则将所述第六像素的值设置为0；所述第六像素的值为0时指示所述第五像素的值未被所述历史帧图像更新过；

若当前的所述第四像素为变动的所述背景像素，则判断所述第六像素的值是否为1；其中，所述第六像素的值为1时指示所述第五像素的值被所述历史帧图像更新过；

若所述第六像素的值为1，则将所述第四像素的值与所述第五像素的值按比例融合，并用融合后的值更新所述第五像素的值；

若所述第六像素的值为0，则用所述第四像素的值更新所述第五像素的值。

5.如权利要求4所述的方法，其特征在于，判断第四像素是否为稳定的背景像素，包括：

判断所述静态点统计图中，与所述第四像素位置对应的第七像素的值是否大于第一阈值；其中，所述第七像素的值用于记录对应位置的所述第五像素被历史帧图像确定为高度相似的前景像素的次数；所述第一阈值为一个像素从变动的所述背景像素演变为稳定的所述背景像素的门限值；

若为是，确定所述第四像素为稳定的所述背景像素，并将所述第七像素的值设置为0；

若为否，确定所述第四像素为变动的所述背景像素。

6.如权利要求3所述的方法，其特征在于，从视频的当前帧图像中获取对应的前景图之后，还包括：

计算所述前景图中每个前景像素与所述上一帧图像中对应像素的相似度；

若所述相似度大于第二阈值，则将所述静态点统计图中与所述前景像素的位置对应的像素点的值增加1；否则将所述静态点统计图中与所述前景像素的位置对应的像素点的值设置为0。

7.如权利要求6所述的方法，其特征在于，计算所述前景图中每个前景像素与所述上一帧图像中对应像素的相似度，包括：

从所述当前帧图像中，获取在所述每个前景像素对应位置周围指定范围内的第一图像；

从所述上一帧图像中，获取在所述每个前景像素对应位置周围所述指定范围内的第二图像；

计算所述第一图像与所述第二图像的相似度。

8.如权利要求1-7任一项所述的方法，其特征在于，所述抛洒物特征为所述第三图像碎片的延伸区域沿一个方向增长；

且，所述第三图像碎片中包含稳定的所述背景像素。

9.如权利要求1-7任一项所述的方法，其特征在于，确定所述第三图像碎片为所述目标车辆的抛洒物后，还包括：

用预设的抛洒物检测模型对所述当前帧图像中的抛洒物进行检测，获得抛洒物对应第一位置区域；其中，所述预设的抛洒物检测模型是通过包含抛洒物的图像输入抛洒物检测模型训练得到的；

判断所述第一位置区域与所述第三图像碎片在所述当前帧图像中的位置区域是否有重叠，若为是确定所述第三图像碎片对应的物体为抛洒物；

否则，确定所述第三图像碎片对应的物体不是抛洒物。

10.一种检测路面抛洒物的装置，其特征在于，包括：

至少一个处理器，以及

与所述至少一个处理器连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，执行如权利要求1-9任一项所述的方法。

11.一种可读存储介质，其特征在于，包括存储器，

所述存储器用于存储指令，当所述指令被处理器执行时，使得包括所述可读存储介质的装置完成如权利要求1～9中任一项所述的方法。

Images