CN114842322A - 遗留物检测方法、装置及电子设备、计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种遗留物检测方法、装置及电子设备、计算机可读存储介质，该方法包括：获取当前帧图像和当前帧图像对应的背景帧图像，当前帧图像对应的背景帧图像基于预设背景帧更新策略更新得到；根据当前帧图像和背景帧图像确定当前帧图像对应的前景图像；利用预设物体检测模型对前景图像进行遗留物检测，得到遗留物检测结果，预设物体检测模型基于非遗留物图像训练得到；在遗留物检测结果为前景图像是非遗留物图像的情况下，利用预设验证策略对遗留物检测结果进行验证，得到验证后的遗留物检测结果。本申请实现了对多种类遗留物以及易变形物体的高效检测，且对检测结果进行了二次验证，降低了遗留物的漏检率，提高了遗留物检测的精度。

Description

遗留物检测方法、装置及电子设备、计算机可读存储介质

技术领域

本申请涉及目标检测技术领域，尤其涉及一种遗留物检测方法、装置及电子设备、计算机可读存储介质。

背景技术

遗留物检测是目标检测领域的一个重要分支，在一些特定应用场景下，遗留物的检测尤为重要。例如，在雪上场景中，如果滑雪场的雪道上出现不该出现的遗留物，如头盔，雪具等，将会给运动员或者滑雪爱好者的正常比赛、娱乐活动乃至生命安全造成危害，因此对雪道上的遗留物进行检测就十分必要。

对此，现有技术中提供的一种检测方案是采用深度学习算法如YOLO(You OnlyLook Once)、SSD(Single Shot MultiBox Detector)算法等对场景中的遗留物进行检测，若检测到学习过的遗留物则进行报警。然而，该方案只能识别模型学习过的遗留物类型，对于新增的遗留物类型无法进行检测和判断，且对于衣服等容易发生形变的物体识别效果很差，而往往这种类型的遗留物也很常见。此外，由于遗留物的类型太多，如可能是头盔、滑雪板、滑雪棍、矿泉水瓶、石头以及衣服等等。针对这种情况，常用的深度学习方法已经无法灵活适应，因为样本种类太多，学习成本太大。

现有技术中提供的另一种检测方案是采用传统的机器学习方法提取图像中的前景区域，然后采用SVM(Support Vector Machines，支持向量机)+HOG(Histogram ofOriented Gradient，方向梯度直方图)等方式对前景区域的目标进行区分，如果是遗留物则进行报警。然而，该方案采取的算法往往在处理速度和精确度上无法与深度学习算法相比较，且实现复杂，在性能上无法满足检测要求。

发明内容

本申请实施例提供了一种遗留物检测方法、装置及电子设备、计算机可读存储介质，以提高遗留物检测的精度和效率。

本申请实施例采用下述技术方案：

第一方面，本申请实施例提供一种遗留物检测方法，所述方法包括：

获取当前帧图像和所述当前帧图像对应的背景帧图像，所述当前帧图像对应的背景帧图像基于预设背景帧更新策略更新得到；

根据所述当前帧图像和所述当前帧图像对应的背景帧图像，确定所述当前帧图像对应的前景图像；

利用预设物体检测模型对所述当前帧图像对应的前景图像进行遗留物检测，得到遗留物检测结果，所述预设物体检测模型基于非遗留物图像训练得到；

在所述遗留物检测结果为所述前景图像是非遗留物图像的情况下，利用预设验证策略对所述遗留物检测结果进行验证，得到所述验证后的遗留物检测结果。

可选地，所述获取当前帧图像和所述当前帧图像对应的背景帧图像包括：

获取前一帧图像对应的背景帧图像；

确定所述前一帧图像中的背景区域；

利用预设背景帧更新策略对所述前一帧图像中的背景区域进行更新，得到所述当前帧图像对应的背景帧图像。

可选地，所述根据所述当前帧图像和所述当前帧图像对应的背景帧图像，确定所述当前帧图像对应的前景图像包括：

确定所述当前帧图像中的像素点与所述背景帧图像中的像素点的灰度值差值的绝对值；

根据所述当前帧图像中的像素点与所述背景帧图像中的像素点的灰度值差值的绝对值，确定所述当前帧图像中的前景像素点；

利用预设图像处理策略对所述当前帧图像中的前景像素点进行处理，得到所述当前帧图像对应的前景图像。

可选地，所述预设物体检测模型可以通过如下方式训练得到：获取待训练图像，所述待训练图像包含非遗留物的标注信息；对所述待训练图像进行预处理，得到预处理后的待训练图像；利用所述预处理后的待训练图像对所述物体检测模型进行训练，得到训练后的物体检测模型；利用预设优化器对所述训练后的物体检测模型进行加速处理，得到所述预设物体检测模型。

可选地，所述利用预设验证策略对所述遗留物检测结果进行验证，得到所述验证后的遗留物检测结果包括：

确定所述遗留物检测结果中的非遗留物的类型是否是动态目标；

若是，则获取多帧历史帧图像进行检测，得到历史帧检测结果；

根据所述历史帧检测结果对所述遗留物检测结果进行验证，得到所述验证后的遗留物检测结果。

可选地，所述根据所述历史帧检测结果对所述遗留物检测结果进行验证，得到所述验证后的遗留物检测结果包括：

若所述历史帧检测结果为所述遗留物检测结果中的非遗留物的类型是动态目标，则直接输出所述遗留物检测结果；

若所述历史帧检测结果为所述遗留物检测结果中的非遗留物的类型是静态目标，则对所述遗留物检测结果进行修正后输出。

可选地，所述利用预设验证策略对所述遗留物检测结果进行验证，得到所述验证后的遗留物检测结果包括：

确定所述前景图像对应的图像场景类型；

根据所述图像场景类型确定所述前景图像对应的目标分布特征；

根据所述前景图像对应的目标分布特征对所述遗留物检测结果进行验证，得到所述验证后的遗留物检测结果。

第二方面，本申请实施例还提供一种遗留物检测装置，其中，所述装置包括：

获取单元，用于获取当前帧图像和所述当前帧图像对应的背景帧图像，所述当前帧图像对应的背景帧图像基于预设背景帧更新策略更新得到；

确定单元，用于根据所述当前帧图像和所述当前帧图像对应的背景帧图像，确定所述当前帧图像对应的前景图像；

遗留物检测单元，用于利用预设物体检测模型对所述当前帧图像对应的前景图像进行遗留物检测，得到遗留物检测结果，所述预设物体检测模型基于非遗留物图像训练得到；

验证单元，用于在所述遗留物检测结果为所述前景图像是非遗留物图像的情况下，利用预设验证策略对所述遗留物检测结果进行验证，得到所述验证后的遗留物检测结果。

第三方面，本申请实施例还提供一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述前述之任一所述方法。

第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行前述之任一所述方法。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本申请实施例的遗留物检测方法，先获取当前帧图像和当前帧图像对应的背景帧图像，当前帧图像对应的背景帧图像基于预设背景帧更新策略更新得到；然后根据当前帧图像和当前帧图像对应的背景帧图像，确定当前帧图像对应的前景图像；之后利用预设物体检测模型对当前帧图像对应的前景图像进行遗留物检测，得到遗留物检测结果，预设物体检测模型基于非遗留物图像训练得到；最后在遗留物检测结果为前景图像是非遗留物图像的情况下，利用预设验证策略对遗留物检测结果进行验证，得到验证后的遗留物检测结果。本申请实施例的遗留物检测方法采用基于机器学习的前景图像分割和基于深度学习的前景图像检测相结合的方法检测遗留物，实现了对多种类遗留物以及易变形物体的高效检测，且对检测结果进行了二次验证，降低了遗留物的漏检率，提高了遗留物检测的精度。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中一种遗留物检测方法的流程示意图；

图2为本申请实施例中一种遗留物检测装置的结构示意图；

图3为本申请实施例中一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

本申请实施例提供了一种遗留物检测方法，如图1所示，提供了本申请实施例中一种遗留物检测方法的流程示意图，所述方法至少包括如下的步骤S110至步骤S140：

步骤S110，获取当前帧图像和所述当前帧图像对应的背景帧图像，所述当前帧图像对应的背景帧图像基于预设背景帧更新策略更新得到。

本申请实施例在进行遗留物检测时，需要先获取摄像头在特定场景下采集到的当前帧图像，这里的特定场景可以根据实际需求灵活设置，例如可以是滑雪场、飞机跑道或者高速公路上等任何存在遗留物检测需求的场景。

此外，还需要获取当前帧图像对应的背景帧图像，这里的背景帧图像可以通过事先设定的背景帧更新策略更新得到，其表征的图像信息是摄像头所拍摄的图像区域中的背景信息，是后续分割前景目标的基础。

步骤S120，根据所述当前帧图像和所述当前帧图像对应的背景帧图像，确定所述当前帧图像对应的前景图像。

由于当前帧图像中可能既包含有前景信息又包含有背景信息，因此本申请实施例在获取到当前帧图像以及当前帧对应的背景帧图像后，可以将二者进行比较，从而从当前帧图像中分割出前景区域，也即需要重点检测的图像区域，并以此得到前景图像。

步骤S130，利用预设物体检测模型对所述当前帧图像对应的前景图像进行遗留物检测，得到遗留物检测结果，所述预设物体检测模型基于非遗留物图像训练得到。

由于实际场景下，遗留物的种类十分丰富，且一些遗留物的检测易受到物体形变的影响，因此，为了提高检测的精度，本申请实施例训练的物体检测模型主要用于检测图像中的非遗留物，这些非遗留物虽然也是图像中存在的前景目标，但并非是该场景下被遗留或者遗失的物体，如人、动物和车辆等。

基于此，本申请实施例可以利用上述预设物体检测模型对前述步骤得到的前景图像进行遗留物检测，该预设物体检测模型能够输出前景图像为非遗留物图像的概率，概率值越大，说明前景图像中包含的前景目标越不可能是遗留物，概率值越小，说明前景图像中包含的前景目标越有可能是遗留物，因此可以通过一个概率值阈值来判断前景图像是否为遗留物图像，从而得到遗留物检测结果。

步骤S140，在所述遗留物检测结果为所述前景图像是非遗留物图像的情况下，利用预设验证策略对所述遗留物检测结果进行验证，得到所述验证后的遗留物检测结果。

上述训练好的预设物体检测模型可以在很大程度上准确检测出图像中是否包含遗留物，能够满足大部分场景下对于遗留物检测的需求，但是出于训练成本和训练效率的考虑，上述预设物体检测模型的检测精度难以达到百分之百，因此，本申请实施例可以对遗留物检测结果进行验证，从而进一步提高遗留物检测结果的准确性。

具体地，当预设物体检测模型检测到前景图像是遗留物图像时，此时可以直接信任模型的检测结果，而当预设物体检测模型检测到前景图像是非遗留物图像时，则需要采取一定验证策略进一步验证遗留物检测结果是否可靠，例如当遗留物的特征与非遗留物的特征十分接近时，预设物体检测模型就可能会将遗留物误识别为非遗留物，进而出现漏检的情况，因此通过上述验证环节可以进一步降低模型的漏检率，进而提高遗留物检测的精度。

本申请实施例的遗留物检测方法采用基于机器学习的前景图像分割和基于深度学习的前景图像检测相结合的方法检测遗留物，实现了对多种类遗留物以及易变形物体的高效检测，且对检测结果进行了二次验证，降低了遗留物的漏检率，提高了遗留物检测的精度。

在本申请的一个实施例中，所述获取当前帧图像和所述当前帧图像对应的背景帧图像包括：获取前一帧图像对应的背景帧图像；确定所述前一帧图像中的背景区域；利用预设背景帧更新策略对所述前一帧图像中的背景区域进行更新，得到所述当前帧图像对应的背景帧图像。

本申请实施例在获取当前帧图像对应的背景帧图像时，可以先获取前一帧图像对应的背景帧图像，由于背景帧更新的目的是尽可能还原出不包含任何前景目标的背景帧图像，因此在进行背景帧图像的更新时，不需要对图像中的前景区域进行更新，只需要更新背景区域。

具体地，对于前一帧图像对应的背景帧图像，可以采用滑动平均法平滑的更新该背景帧图像，从而将光线等影响降到最低，例如可以采用如下方式：

bkframe’＝(1-a)*bkframe+a*curframe

其中，bkframe为更新前的背景帧图像，bkframe’为更新后的背景帧图像，curframe为当前帧图像，a为学习率。

当然，本领域技术人员也可以根据实际需求灵活设置其他背景帧更新策略更新背景帧图像，在此不一一列举。

在本申请的一个实施例中，所述根据所述当前帧图像和所述当前帧图像对应的背景帧图像，确定所述当前帧图像对应的前景图像包括：确定所述当前帧图像中的像素点与所述背景帧图像中的像素点的灰度值差值的绝对值；根据所述当前帧图像中的像素点与所述背景帧图像中的像素点的灰度值差值的绝对值，确定所述当前帧图像中的前景像素点；利用预设图像处理策略对所述当前帧图像中的前景像素点进行处理，得到所述当前帧图像对应的前景图像。

本申请实施例在确定当前帧图像对应的前景图像时，可以先对当前帧图像和背景帧图像进行灰度处理，得到对应的当前帧灰度图像和背景帧灰度图像，然后利用当前帧灰度图像与对应的背景帧灰度图像进行灰度值的差分运算，从而可以确定出当前帧灰度图像中的前景像素点，例如可以采用如下方式：

|It(x,y)-Bt(x,y)|；

其中，It(x,y)为当前帧灰度图像中的任一像素点的灰度值，Bt(x,y)为背景帧灰度图像中的任一像素点的灰度值。对于当前帧灰度图像中的任一像素点，如果|It(x,y)-Bt(x,y)|>T，则可以确定该像素点为前景像素点，否则为背景像素点。

经过上述步骤可以确定出当前帧图像中的前景区域，然后可以采取一系列的形态学处理对前景区域进行形态学操作，如腐蚀、膨胀、开闭操作等，从而获取到连通的前景图像。

由于上述处理后得到的连通的前景图像相当于是从当前帧图像中抠出的局部区域，形状往往不规则，因此本申请实施例可以进一步确定出连通的前景图像所对应的外接矩形，再扩充至一定范围后得到最终的前景图像，从而满足后续预设物体检测模型的检测要求。

另外，还需要说明的是，上述实施例是先进行背景帧图像的更新，再确定当前帧图像对应的前景图像，实际应用时，也可以先将当前帧图像与前一帧图像对应的背景帧图像进行灰度值的减运算确定当前帧图像中的前景区域，再基于当前帧图像中的背景区域进行背景更新，因为相邻两个背景帧图像之间的差异很小。

在本申请的一个实施例中，所述预设物体检测模型可以通过如下方式训练得到：获取待训练图像，所述待训练图像包含非遗留物的标注信息；对所述待训练图像进行预处理，得到预处理后的待训练图像；利用所述预处理后的待训练图像对所述物体检测模型进行训练，得到训练后的物体检测模型；利用预设优化器对所述训练后的物体检测模型进行加速处理，得到所述预设物体检测模型。

具体地，本申请实施例可以采用ResNet50网络来训练预设物体检测模型，先获取待训练图像，这里可以以CIFAR-10等数据集作为训练样本，并混合实际检测场景下的图像数据，如冬奥现场的图像数据等，针对人、狗、车等共计10类常见非遗留物分别得到每类样本两万张图像，其中19000张用于训练，另外1000张用于测试，因此共得到训练样本19万张，测试样本1万张。然后对待训练图像进行预处理，例如可以将待训练图像缩放至32*32的尺寸大小，提高模型训练效率。

之后利用事先定义的ResNet-50网络对预处理后的待训练图像进行特征提取和识别，得到待训练图像的检测结果，利用实现定义好的损失函数对待训练图像的检测结果计算损失值，并以此更新网络参数，当模型的检测精度达到预设要求时，例如模型的准确率为97％和召回率为96％时，结束训练，从而得到训练后的物体检测模型。最后利用TensorRT优化器对模型进行加速处理，得到加速引擎，用于后续推理。TensorRT是一个高性能的深度学习推理优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理。

当然，上述训练过程仅仅为本申请实施例的示意性描述，本领域技术人员可以根据实际需求灵活定义网络结构、损失函数和优化器等，在此不作具体限定。

在本申请的一个实施例中，所述利用预设验证策略对所述遗留物检测结果进行验证，得到所述验证后的遗留物检测结果包括：确定所述遗留物检测结果中的非遗留物的类型是否是动态目标；若是，则获取多帧历史帧图像进行检测，得到历史帧检测结果；根据所述历史帧检测结果对所述遗留物检测结果进行验证，得到所述验证后的遗留物检测结果。

本申请实施例中定义的非遗留物的类型会包含图像中的动态目标，如人、狗等，而遗留物往往是静态目标，基于此可以对遗留物检测结果进行进一步的验证。

具体地，先确定模型检测到的非遗留物的类型是否是人、狗等这一类的动态目标，如果是动态目标，那么动态目标在多帧图像中的位置等特征变化应该是比较明显的，因此可以获取一定帧数的历史帧图像来进行非遗留物的检测，得到历史帧检测结果，再将这多帧的历史帧检测结果进行比较，进而可以确定检测到的非遗留物在多帧图像中是否真正发生运动，由此即可验证模型输出的遗留物检测结果是否准确。

在本申请的一个实施例中，所述根据所述历史帧检测结果对所述遗留物检测结果进行验证，得到所述验证后的遗留物检测结果包括：若所述历史帧检测结果为所述遗留物检测结果中的非遗留物的类型是动态目标，则直接输出所述遗留物检测结果；若所述历史帧检测结果为所述遗留物检测结果中的非遗留物的类型是静态目标，则对所述遗留物检测结果进行修正后输出。

如果对多帧历史帧检测结果进行比较后发现类型为动态目标的非遗留物在多帧图像之间并未发生任何运动，则可能说明模型出现了误检，即将遗留物检测为了非遗留物，这时就需要修正模型的遗留物检测结果并进行遗留物告警等处理。反之，如果对多帧历史帧检测结果进行比较后发现类型为动态目标的非遗留物在多帧图像之间发生了运动，则证明模型的检测结果是准确的，那么直接输出遗留物检测结果即可。

通过上述实施例的验证策略可以在一定程度上降低模型漏检的可能性，最大程度保证所有类型的遗留物均被检测到，进而也能够保证某些特殊场景下的环境的安全性。

在本申请的一个实施例中，所述利用预设验证策略对所述遗留物检测结果进行验证，得到所述验证后的遗留物检测结果包括：确定所述前景图像对应的图像场景类型；根据所述图像场景类型确定所述前景图像对应的目标分布特征；根据所述前景图像对应的目标分布特征对所述遗留物检测结果进行验证，得到所述验证后的遗留物检测结果。

实际应用时，不同场景的目标分布特点不同，同一场景在不同时段、不同季节以及不同场景区域的目标分布特点也可能不同，基于此，本申请实施例可以基于不同场景的特点采用一定的验证策略来进一步验证模型的检测结果，提高检测结果的准确性，同时也能够在一定程度上提高预设物体检测模型对不同应用场景下遗留物检测的普适性，弥补因场景差异而带来的检测误差。

具体地，本申请实施例可以事先统计分析出不同图像场景类型在不同时段、不同季节以及不同场景区域等维度的目标分布特征，例如，正常情况下，在飞机跑道的净空道区域内，除了有跑道灯之外是不能有任何其他障碍物的。又例如，在滑雪场的非营业时间或者在高速公路的临时封闭路段，一般是不能有人和车等运动目标存在的。

基于此，本申请实施例可以确定当前得到的前景图像所对应的图像场景类型，例如是滑雪场、飞机跑道还是高速公路等场景，然后确定当前得到的前景图像所对应的图像采集时段和采集区域位置等，再结合上述图像场景类型在该图像采集时段和采集区域位置对应的目标分布特征进行分析，如果遗留物检测结果符合该目标分布特征，那么证明模型的检测结果是准确的，如果遗留物检测结果不符合该目标分布特征，说明模型的检测结果是不准确的，需要进行遗留物告警等处理。

本申请实施例还提供了一种遗留物检测装置200，如图2所示，提供了本申请实施例中一种遗留物检测装置的结构示意图，所述装置200包括：获取单元210、确定单元220、遗留物检测单元230以及验证单元240，其中：

获取单元210，用于获取当前帧图像和所述当前帧图像对应的背景帧图像，所述当前帧图像对应的背景帧图像基于预设背景帧更新策略更新得到；

确定单元220，用于根据所述当前帧图像和所述当前帧图像对应的背景帧图像，确定所述当前帧图像对应的前景图像；

遗留物检测单元230，用于利用预设物体检测模型对所述当前帧图像对应的前景图像进行遗留物检测，得到遗留物检测结果，所述预设物体检测模型基于非遗留物图像训练得到；

验证单元240，用于在所述遗留物检测结果为所述前景图像是非遗留物图像的情况下，利用预设验证策略对所述遗留物检测结果进行验证，得到所述验证后的遗留物检测结果。

在本申请的一个实施例中，所述获取单元210具体用于：获取前一帧图像对应的背景帧图像；确定所述前一帧图像中的背景区域；利用预设背景帧更新策略对所述前一帧图像中的背景区域进行更新，得到所述当前帧图像对应的背景帧图像。

在本申请的一个实施例中，所述确定单元220具体用于：确定所述当前帧图像中的像素点与所述背景帧图像中的像素点的灰度值差值的绝对值；根据所述当前帧图像中的像素点与所述背景帧图像中的像素点的灰度值差值的绝对值，确定所述当前帧图像中的前景像素点；利用预设图像处理策略对所述当前帧图像中的前景像素点进行处理，得到所述当前帧图像对应的前景图像。

在本申请的一个实施例中，所述预设物体检测模型可以通过如下方式训练得到：获取待训练图像，所述待训练图像包含非遗留物的标注信息；对所述待训练图像进行预处理，得到预处理后的待训练图像；利用所述预处理后的待训练图像对所述物体检测模型进行训练，得到训练后的物体检测模型；利用预设优化器对所述训练后的物体检测模型进行加速处理，得到所述预设物体检测模型。

在本申请的一个实施例中，所述验证单元240具体用于：确定所述遗留物检测结果中的非遗留物的类型是否是动态目标；若是，则获取多帧历史帧图像进行检测，得到历史帧检测结果；根据所述历史帧检测结果对所述遗留物检测结果进行验证，得到所述验证后的遗留物检测结果。

在本申请的一个实施例中，所述验证单元240具体用于：若所述历史帧检测结果为所述遗留物检测结果中的非遗留物的类型是动态目标，则直接输出所述遗留物检测结果；若所述历史帧检测结果为所述遗留物检测结果中的非遗留物的类型是静态目标，则对所述遗留物检测结果进行修正后输出。

在本申请的一个实施例中，所述利验证单元240具体用于：确定所述前景图像对应的图像场景类型；根据所述图像场景类型确定所述前景图像对应的目标分布特征；根据所述前景图像对应的目标分布特征对所述遗留物检测结果进行验证，得到所述验证后的遗留物检测结果。

能够理解，上述遗留物检测装置，能够实现前述实施例中提供的由清算服务器执行的遗留物检测方法的各个步骤，关于遗留物检测方法的相关阐释均适用于遗留物检测装置，此处不再赘述。

图3是本申请的一个实施例电子设备的结构示意图。请参考图3，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成遗留物检测装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

获取当前帧图像和所述当前帧图像对应的背景帧图像，所述当前帧图像对应的背景帧图像基于预设背景帧更新策略更新得到；

根据所述当前帧图像和所述当前帧图像对应的背景帧图像，确定所述当前帧图像对应的前景图像；

利用预设物体检测模型对所述当前帧图像对应的前景图像进行遗留物检测，得到遗留物检测结果，所述预设物体检测模型基于非遗留物图像训练得到；

在所述遗留物检测结果为所述前景图像是非遗留物图像的情况下，利用预设验证策略对所述遗留物检测结果进行验证，得到所述验证后的遗留物检测结果。

上述如本申请图1所示实施例揭示的遗留物检测装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图1中遗留物检测装置执行的方法，并实现遗留物检测装置在图1所示实施例的功能，本申请实施例在此不再赘述。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中遗留物检测装置执行的方法，并具体用于执行：

获取当前帧图像和所述当前帧图像对应的背景帧图像，所述当前帧图像对应的背景帧图像基于预设背景帧更新策略更新得到；

根据所述当前帧图像和所述当前帧图像对应的背景帧图像，确定所述当前帧图像对应的前景图像；

利用预设物体检测模型对所述当前帧图像对应的前景图像进行遗留物检测，得到遗留物检测结果，所述预设物体检测模型基于非遗留物图像训练得到；

在所述遗留物检测结果为所述前景图像是非遗留物图像的情况下，利用预设验证策略对所述遗留物检测结果进行验证，得到所述验证后的遗留物检测结果。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种遗留物检测方法，其中，所述方法包括：

获取当前帧图像和所述当前帧图像对应的背景帧图像，所述当前帧图像对应的背景帧图像基于预设背景帧更新策略更新得到；

根据所述当前帧图像和所述当前帧图像对应的背景帧图像，确定所述当前帧图像对应的前景图像；

利用预设物体检测模型对所述当前帧图像对应的前景图像进行遗留物检测，得到遗留物检测结果，所述预设物体检测模型基于非遗留物图像训练得到；

在所述遗留物检测结果为所述前景图像是非遗留物图像的情况下，利用预设验证策略对所述遗留物检测结果进行验证，得到所述验证后的遗留物检测结果。

2.根据权利要求1所述方法，其中，所述获取当前帧图像和所述当前帧图像对应的背景帧图像包括：

获取前一帧图像对应的背景帧图像；

确定所述前一帧图像中的背景区域；

利用预设背景帧更新策略对所述前一帧图像中的背景区域进行更新，得到所述当前帧图像对应的背景帧图像。

3.根据权利要求1所述方法，其中，所述根据所述当前帧图像和所述当前帧图像对应的背景帧图像，确定所述当前帧图像对应的前景图像包括：

确定所述当前帧图像中的像素点与所述背景帧图像中的像素点的灰度值差值的绝对值；

根据所述当前帧图像中的像素点与所述背景帧图像中的像素点的灰度值差值的绝对值，确定所述当前帧图像中的前景像素点；

利用预设图像处理策略对所述当前帧图像中的前景像素点进行处理，得到所述当前帧图像对应的前景图像。

4.根据权利要求1所述方法，其中，所述预设物体检测模型可以通过如下方式训练得到：

获取待训练图像，所述待训练图像包含非遗留物的标注信息；

对所述待训练图像进行预处理，得到预处理后的待训练图像；

利用所述预处理后的待训练图像对所述物体检测模型进行训练，得到训练后的物体检测模型；

利用预设优化器对所述训练后的物体检测模型进行加速处理，得到所述预设物体检测模型。

5.根据权利要求1所述方法，其中，所述利用预设验证策略对所述遗留物检测结果进行验证，得到所述验证后的遗留物检测结果包括：

确定所述遗留物检测结果中的非遗留物的类型是否是动态目标；

若是，则获取多帧历史帧图像进行检测，得到历史帧检测结果；

根据所述历史帧检测结果对所述遗留物检测结果进行验证，得到所述验证后的遗留物检测结果。

6.根据权利要求5所述方法，其中，所述根据所述历史帧检测结果对所述遗留物检测结果进行验证，得到所述验证后的遗留物检测结果包括：

若所述历史帧检测结果为所述遗留物检测结果中的非遗留物的类型是动态目标，则直接输出所述遗留物检测结果；

若所述历史帧检测结果为所述遗留物检测结果中的非遗留物的类型是静态目标，则对所述遗留物检测结果进行修正后输出。

7.根据权利要求1-6任一项所述方法，其中，所述利用预设验证策略对所述遗留物检测结果进行验证，得到所述验证后的遗留物检测结果包括：

确定所述前景图像对应的图像场景类型；

根据所述图像场景类型确定所述前景图像对应的目标分布特征；

根据所述前景图像对应的目标分布特征对所述遗留物检测结果进行验证，得到所述验证后的遗留物检测结果。

8.一种遗留物检测装置，其中，所述装置包括：

获取单元，用于获取当前帧图像和所述当前帧图像对应的背景帧图像，所述当前帧图像对应的背景帧图像基于预设背景帧更新策略更新得到；

确定单元，用于根据所述当前帧图像和所述当前帧图像对应的背景帧图像，确定所述当前帧图像对应的前景图像；

遗留物检测单元，用于利用预设物体检测模型对所述当前帧图像对应的前景图像进行遗留物检测，得到遗留物检测结果，所述预设物体检测模型基于非遗留物图像训练得到；

验证单元，用于在所述遗留物检测结果为所述前景图像是非遗留物图像的情况下，利用预设验证策略对所述遗留物检测结果进行验证，得到所述验证后的遗留物检测结果。

9.一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1～7之任一所述方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1～7之任一所述方法。

Images