CN115690046B - 一种基于单目深度估计的物品遗留检测与溯源方法及系统 - Google Patents

Abstract

本发明公开了一种基于单目深度估计的物品遗留检测与溯源方法，所述方法包括图像采集，根据图像差分算法初步判定遗留物可疑目标，基于深度估计进一步确认判定遗留物可疑目标，细化物品特征，判断物品类别，遗留物溯源以及报警。采用图像差分处理初步获得遗留物目标，进一步结合单目深度估计算法，对初步确认的遗留物进行进一步的位置确认，由此可以避免由于行人阻挡造成遗留物遗留时间计算中断以及重复计算遗留物的问题，更精确地区分处运动对象、静止对象以及背景，对遗留物的分类，通过对遗留物溯源，为后续的行踪追踪速度提供保障。

Description

一种基于单目深度估计的物品遗留检测与溯源方法及系统

技术领域

本发明涉及视频监控领域，尤其是一种基于单目深度估计的物品遗留检测与溯源方法及系统。

背景技术

如今，乘坐飞机或火车出行是人们生活出行的重要方式，然而在出行过程中会面临安检、候车等过程，并且由于乘客通常会携带较多的行李，从而经常会发生物品遗失的问题，同时，为保证社会安全，对可疑遗留物件的检测已成为机场、体育馆、候车厅和展览馆等公众场合的安防系统不可缺少的内容。

因此，对于人流量较大的公众场合的遗留物检测不管是对于公众安全还是公众生活便利都有重要的意义。

遗留物是指被运动主体携带从运动到静止，然后与运动主体分离，静止超过一定时间并且没有所属主体的物体。现有技术中对遗留物的检测通常基于单一的图像处理方法，例如帧间差分法或背景差分法之一，所述方法受到外界光线等自然环境应较大，并且，单一的图像处理方法难以应对人流量较大的复杂场景。

发明内容

(一)解决的技术问题

为了解决上述技术问题，本发明提供一种基于单目深度估计的物品遗留检测与溯源方法及系统，所述方法基于单目深度估计算法，确定视频图像中目标的三维坐标位置，从而进一步具体确定遗留物所在位置以及遗留时间，并进行遗留物溯源，确定携带该遗留物的人员。

(二)技术方案

为了解决上述存在的技术问题，实现发明目的，本发明是通过以下技术方案实现的：

一种基于单目深度估计的物品遗留检测与溯源方法，其特征在于，包括如下步骤：

S1：图像采集，根据固定位置的摄像机拍摄的视频图像，获取前端摄像机采集的多帧图像；

S2：根据图像差分算法初步判定遗留物可疑目标；

S3：基于深度估计进一步确认判定遗留物可疑目标；

S4：细化物品特征，判断物品类别；具体为针对遗留物的形状大小特征进行特征提取和分类；

S5：遗留物溯源；

反向遍历视频图像序列，跟踪目标遗留物在当前帧之前每一帧的位置坐标，直到追踪到目标遗留物的坐标位置发生变化的图像帧；

S6：物品遗留报警，将上述检测结果传输到系统终端，并进行提示或追踪。

进一步地，所述步骤S2还包括：

S21：图像预处理；

S22：结合帧间差分处理以及背景差分处理，获取运动对象和静止对象；

S23：通过筛选静止物中的遗留物可疑目标，初步判定可疑遗留物。

进一步地，所述结合帧间差分处理以及背景差分处理包括如下：

获取连续的k帧图像p₁、p₂、p₃…p_k；

分别基于p₁的前N帧图像以及p_k的前M帧图像，得到两个背景图像p_bg1、p_bg2；

将p_i、p_j进行差分运算得到d_ij；并计算帧间差分运算平均值：

将p₁、p₂、p₃…p_k分别与背景图像p_bg1、p_bg2进行差分运算，得到背景差分结果d_bu并计算背景差分运算平均值：

融合帧间差分运算与背景差分运算的结果，方式如下：

out＝d_adv∩d_badv

结果out为运动对象。

进一步地，结合背景差分结果与运动对象得到非背景静止对象。

进一步地，所述背景差分处理中，基于高斯模型方法背景建模，表示如下：

P(X_t)＝η(X_t,μ_t,Cov_t)

其中，η为均值为μ_t，协方差为Cov_t的高斯分布概率密度函数。

进一步地，所述筛选静止物中的遗留物可疑目标包括：

a.选择静止物为目标，判定其静止时间：

当静止时间大于静止时间阈值时，转到下一步，否则判定其不是遗留物：

T_静≥T₀

其中T₀为设定的静止时间阈值；

b.判定小距离范围内周围没有固定人员，通过识别的运动人或静止人，判断人与满足条件a的静止物与周围人的距离；

当人距离在静止物周围阈值d₀之内时，开始计时，若时间超过T₁，则判定其不是遗留物；若其小距离范围内周围没有固定人员，则初步判定为遗留物可疑目标。

进一步地，所述基于深度估计进一步确认判定遗留物可疑目标方法包括：图像数据预处理，对采集的图像数据进行去噪、标记处理；划分训练集和验证集；构建网络模型；将单目相机的二维坐标转换为三维坐标，确定目标遗留物的三维坐标，将图像输入到网络模型中，获得目标遗留物的三维坐标；根据三维坐标确定二者之间的距离，距离小于阈值则判定二者为同一物品。

进一步地，所述网络模型的损失函数为：

所述u_i为深度实际值，为深度的估计值，k_s为尺寸相关系数。

进一步地，所述尺寸相关系数k_s可以表示为：

k_s＝k×e^S

S为遗留物所占画面的面积,p为调节系数，与摄像机参数有关。

本发明还提供一种基于单目深度估计的物品遗留检测与溯源系统，包括：

图像采集设备，其用于根据固定位置的摄像机拍摄的视频图像，获取前端摄像机采集的多帧图像；

遗留物初步判定模块，其用于对获取的图像进行预处理，进一步结合帧间差分处理以及背景差分处理的混合运算，获取运动对象和静止对象，经过筛选初步判定遗留物可疑目标；

深度估计判定模块，其结合深度估计确定物品的三维坐标位置，进一步确认判定遗留物可疑目标，根据遗留物的三维坐标位置，合并相同的遗留物信息，并将遗留时间进行累计；

遗留物分类模块，其用于基于神经网络图像识别对遗留物进行类别分类；

遗留物溯源模块，其用于反向遍历视频图像序列，跟踪目标遗留物在当前帧之前每一帧的位置坐标，直到追踪到目标遗留物的坐标位置发生变化；

报警模块，其用于将上述检测结果传输到系统终端，并进行提示或追踪。

(三)有益效果

(1)本发明采用图像差分处理初步获得遗留物目标，进一步结合单目深度估计算法，对初步确认的遗留物进行进一步的位置确认，由此可以避免由于行人阻挡造成遗留物遗留时间计算中断以及重复计算遗留物的问题。

(2)本发明对图像差分处理算法进行了改进，结合帧间差分处理以及背景差分处理，获取运动对象和静止对象。避免了帧间差分处理以及背景差分处理各自的局限性，更精确地区分处运动对象、静止对象以及背景。

(3)在深度估计算法中，基于遗留物的尺寸相差较大，在不同的距离场景中对深度误差的尺度不同的问题，无法很好匹配不同大小的遗失物，从而会导致深度估计结果不准确的情况，本发明对损失函数进行了改进，结合尺寸相关系数以及摄像机参数，实现了深度估计算法应用于遗失物位置的估计。

(4)本发明还通过细化物品特征，判断物品类别，实现对遗留物的分类。

(5)本发明还通过对遗留物溯源，获得携带该遗留物的人员，为后续的行踪追踪速度提供保障。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的基于单目深度估计的物品遗留检测与溯源方法流程示意图；

图2是根据本申请实施例的图像差分处理方法流程示意图；

图3是根据本申请实施例的遗留物初步判定方法示意图；

图4是根据本申请实施例的单目深度估计算法流程图。

具体实施方式

下面结合附图对本公开实施例进行详细描述。

以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

参见图1，一种基于单目深度估计的物品遗留检测与溯源方法包括如下步骤：

S1：图像采集，根据固定位置的摄像机拍摄的视频图像，获取前端摄像机采集的多帧图像。

S2：根据图像差分算法初步判定遗留物可疑目标，具体包括：

S21：图像预处理

对摄像机采集的多帧图像进行图像处理，包括首先将图像进行灰度化处理，得到第k帧图像的灰度值；

S22：结合帧间差分处理以及背景差分处理，获取运动对象和静止对象。

帧间差分处理和背景差分处理由于其工作原理不同，其对背景、运动对象以及静止对象的判断也有差异；帧间差分处理仅能区分运动对象和静止对象，无法分辨静止对象和背景，背景差分处仅能区分背景和非背景，无法区分非背景中个静止对象和运动对象，因此，本发明基于结合帧间差分处理以及背景差分处理的方法，区分出背景、运动对象和静止物。具体方法如图2所示：

(1)获取连续的k帧图像p₁、p₂、p₃…p_k；

(2)分别基于p₁的前N帧图像以及p_k的前M帧图像，得到两个背景图像p_bg1、p_bg2；

(3)将p_i、p_j进行差分运算得到d_ij；并计算帧间差分运算平均值：

(4)将p₁、p₂、p₃…p_k分别与背景图像p_bg、p_bg2进行差分运算，得到背景差分结果d_bi并计算背景差分运算平均值：

(5)融合帧间差分运算与背景差分运算的结果，方式如下：

out＝d_adv∩d_badc

结果out为运动对象；进一步结合背景差分结果得到非背景静止对象。

背景建模是背景差分法的核心：

本发明基于高斯模型方法，对摄像机采集的序列图像上的每一个像素点的灰度值变化看作一个独立随机的过程，并且遵循高斯分布。因此，采用高斯分布模型来表征这个随机的过程，

表示如下：

P(X_t)＝η(X_t,μ_t,Cov_t)

其中，η为均值为μ_t，协方差为Cov_t的高斯分布概率密度函数。

在进行目标检测时，设定一定的匹配规则，将当前帧图像上每个像素点的值与对应的高斯模型进行匹配，如果匹配成功，则认为该像素点属于背景像素点；如果匹配识别，则认为该像素点为前景像素点，进而得到前景目标。同时，利用当前帧像素点的值不断调整高斯函数的参数，实现高斯模型的更新，以适应环境的变化。

S23：初步判定遗留物可疑目标

(1)分别提取运动对象和静止对象轮廓

目标轮廓提取主要是通过对得到的目标二值掩码图像进行分析，其过程为首先采用Canny边缘检测方法将目标的边缘信息提取出来，接着借助得到的图像边缘信息查找运动轮廓信息，从而得到目标轮廓。包括如下步骤：

首先基于高斯滤波对图像进行平滑处理，去除噪声：

计算图像在不同方向上的梯度强度：

进一步计算整个图像的梯度强度和梯度方向：

接着对梯度进行非极大值抑制处理，保留边缘点，过滤非边缘的点。

结合步骤S22得到的运动目标和静止目标的轮廓。

(2)根据运动对象和静止对象轮廓区分运动人、运动物以及静止人和静止物。

(3)筛选静止物中的遗留物可疑目标。

遗留物可疑目标需要具备其为静止物，且小距离范围内周围没有固定人员。因此，根据以下条件进行遗留物可疑目标初步判定，如图3所示：

a.选择步骤(2)中的静止物为目标，判定其静止时间：

当静止时间大于静止时间阈值时，转到下一步，否则判定其不是遗留物：

T_静≥T₀

其中T₀为设定的静止时间阈值。

b.判定小距离范围内周围没有固定人员，通过识别的运动人或静止人，判断人与满足条件a的静止物与周围人的距离。

当人距离在静止物周围阈值d₀之内时，开始计时，若时间超过T₁，则判定其不是遗留物；若其小距离范围内周围没有固定人员，则初步判定为遗留物可疑目标。

S3：基于深度估计进一步确认判定遗留物可疑目标。

在基于步骤S2中得到静止对象的方法会由于路过行人的遮挡而影响判断结果，例如遗留物A被遗留在车站座位上，此时对遗留物采用步骤S2方法进行识别，识别到遗留物A1，接着有行人路过，遮挡该遗留物，当行人走后，系统又一次采用步骤S2的方法进行识别，识别到遗留物A2，而其实遗留物A1与A2为同一物品，因此，本发明结合深度估计确定物品的三维坐标位置，进一步确认判定遗留物可疑目标，根据遗留物的三维坐标位置，合并相同的遗留物信息，并将遗留时间进行累计。

单目摄像头具有成本低、设备较普及、图像获取方便等优点，与多目深度估计技术相比，从单目图像估计深度信息需要处理较少的信息量就可以获得想要的结果。

基于深度估计进一步确认判定遗留物可疑目标方法如图4所示，包括如下步骤：

(1)图像数据预处理

对采集的图像数据进行去噪、标记处理；

(2)划分训练集和验证集

将处理的图像按照7:3比例分为训练集和验证集。

(3)构建网络模型

a.网络结构选择

本发明基于监督学习方法，基于mobile net网络模型进行网络结构的构建。进一步，采用深度可分离卷积，其由逐通道卷积和逐点卷积组成。逐通道卷积对输入图像进行3*3标准卷积，然后进行归一化操作，并输入激活函数；逐点卷积将逐通道卷积结果进行1*1标准卷积以及归一化，并输入激活函数。

b.损失函数选择

现有技术中对损失函数的选择通常采用估计值与实际值的差值作为损失函数，其存在在不同的距离场景中对深度误差的尺度不同的问题，无法很好匹配不同大小的遗失物，基于此，本发明选择损失函数为：

所述u_i为深度实际值，为深度的估计值，k_s为尺寸相关系数。

进一步地，k_s可以表示为：

k_s＝k×e^S

S为遗留物所占画面的面积,k为调节系数，与摄像机参数有关。

采用上述的损失函数，可以从一定程度上弥补损失函数对深度值方向上的偏移敏感，尤其是对于尺寸相差较大的遗失物。

(4)将单目相机的二维坐标转换为三维坐标，确定目标遗留物的三维坐标

将图像输入到网络模型中，获得目标遗留物的三维坐标。

(5)根据三维坐标确定二者之间的距离，距离小于阈值则判定二者为同一物品。

S4：细化物品特征，判断物品类别。

对于机场、车站常见的遗留物类别包括证件、通讯设备、包、行李箱、衣物、现金等，针对上述常见的遗留物的形状大小特征进行特征提取和分类。

进一步地，可以选择地，基于神经网络图像识别对物品进行类别分类。

S5：遗留物溯源

反向遍历视频图像序列，跟踪目标遗留物在当前帧之前每一帧的位置坐标，直到追踪到目标遗留物的坐标位置发生变化。

所述位置坐标基于单目深度估计算法确定。

S6：物品遗留报警

将上述检测结果传输到系统终端，并进行提示或追踪。进一步地，根据遗留物溯源结果，确认遗失物品人员，并根据该人员穿着信息进行提示。

在本实施方式中，通过采用图像差分处理初步获得遗留物目标，进一步结合单目深度估计算法，对初步确认的遗留物进行进一步的位置确认，由此可以避免由于行人阻挡造成遗留物遗留时间计算中断以及重复计算遗留物的问题。

对图像差分处理算法进行了改进，结合帧间差分处理以及背景差分处理，获取运动对象和静止对象。避免了帧间差分处理以及背景差分处理各自的局限性，更精确地区分处运动对象、静止对象以及背景。

在深度估计算法中，基于遗留物的尺寸相差较大，在不同的距离场景中对深度误差的尺度不同的问题，无法很好匹配不同大小的遗失物，从而会导致深度估计结果不准确的情况，本发明对损失函数进行了改进，结合尺寸相关系数以及摄像机参数，实现了深度估计算法应用于遗失物位置的估计。

本发明实施例还提出一种基于单目深度估计的物品遗留检测与溯源系统，包括：

图像采集设备，其用于根据固定位置的摄像机拍摄的视频图像，获取前端摄像机采集的多帧图像；

遗留物初步判定模块，其用于对获取的图像进行预处理，进一步结合帧间差分处理以及背景差分处理的混合运算，获取运动对象和静止对象，经过筛选初步判定遗留物可疑目标。

深度估计判定模块，其结合深度估计确定物品的三维坐标位置，进一步确认判定遗留物可疑目标，根据遗留物的三维坐标位置，合并相同的遗留物信息，并将遗留时间进行累计。

遗留物分类模块，其用于基于神经网络图像识别对遗留物进行类别分类；

遗留物溯源模块，其用于反向遍历视频图像序列，跟踪目标遗留物在当前帧之前每一帧的位置坐标，直到追踪到目标遗留物的坐标位置发生变化。

报警模块，其用于将上述检测结果传输到系统终端，并进行提示或追踪。进一步地，根据遗留物溯源结果，确认遗留物品人员，并根据该人员穿着信息进行提示或追踪。

以上所述的实施例仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (6)

1.一种基于单目深度估计的物品遗留检测与溯源方法，其特征在于，包括如下步骤：

S1：图像采集，根据固定位置的摄像机拍摄的视频图像，获取前端摄像机采集的多帧图像；

S2：根据图像差分算法初步判定遗留物可疑目标；

S3：基于深度估计进一步确认判定遗留物可疑目标；

S4：细化物品特征，判断物品类别；具体为针对遗留物的形状大小特征进行特征提取和分类；

S5：遗留物溯源；

反向遍历视频图像序列，跟踪目标遗留物在当前帧之前每一帧的位置坐标，直到追踪到目标遗留物的坐标位置发生变化的图像帧；

S6：物品遗留报警，将上述检测结果传输到系统终端，并进行提示或追踪；

所述步骤S2还包括：

S21：图像预处理；

S22：结合帧间差分处理以及背景差分处理，获取运动对象和静止对象；

S23：通过筛选静止物中的遗留物可疑目标，初步判定可疑遗留物；

所述结合帧间差分处理以及背景差分处理包括如下：

获取连续的k帧图像p₁、p₂、p₃…p_k；

分别基于p₁的前N帧图像以及p_k的前M帧图像，得到两个背景图像p_bg1、p_bg2；

将p_i、p_j进行差分运算得到d_ij；并计算帧间差分运算平均值：

将p₁、p₂、p₃…p_k分别与背景图像p_bg1、p_bg进行差分运算，得到背景差分结果d_bi并计算背景差分运算平均值：

融合帧间差分运算与背景差分运算的结果，方式如下：

out＝d_adv∩d_badv

结果out为运动对象；

所述基于深度估计进一步确认判定遗留物可疑目标方法包括：图像数据预处理，对采集的图像数据进行去噪、标记处理；划分训练集和验证集；构建网络模型；将单目相机的二维坐标转换为三维坐标，确定目标遗留物的三维坐标，将图像输入到网络模型中，获得目标遗留物的三维坐标；根据三维坐标确定二者之间的距离，距离小于阈值则判定二者为同一物品；

所述网络模型的损失函数为：

u_i为深度实际值，为深度的估计值，k_s为尺寸相关系数。

2.根据权利要求1所述的基于单目深度估计的物品遗留检测与溯源方法，其特征在于，结合背景差分结果与运动对象得到非背景静止对象。

3.根据权利要求1所述的基于单目深度估计的物品遗留检测与溯源方法，其特征在于，所述背景差分处理中，基于高斯模型方法背景建模，表示如下：

P(X_t)＝η(X_t,μ_t,Cov_t)

其中，η为均值为μ_t，协方差为Cov_t的高斯分布概率密度函数。

4.根据权利要求1所述的基于单目深度估计的物品遗留检测与溯源方法，其特征在于，所述筛选静止物中的遗留物可疑目标包括：

a.选择静止物为目标，判定其静止时间：

当静止时间大于静止时间阈值时，转到下一步，否则判定其不是遗留物：

_静≥T₀

其中T₀为设定的静止时间阈值；

b.判定小距离范围内周围没有固定人员，通过识别的运动人或静止人，判断人与满足条件a的静止物与周围人的距离；

当人距离在静止物周围阈值d₀之内时，开始计时，若时间超过T₁，则判定其不是遗留物；若其小距离范围内周围没有固定人员，则初步判定为遗留物可疑目标。

5.根据权利要求4所述的基于单目深度估计的物品遗留检测与溯源方法，其特征在于，所述尺寸相关系数k_s可以表示为：

k_s＝k×e^S

S为遗留物所占画面的面积,k为调节系数，与摄像机参数有关。

6.一种如权利要求1-5之一所述的基于单目深度估计的物品遗留检测与溯源方法的系统，其特征在于，包括：

图像采集设备，其用于根据固定位置的摄像机拍摄的视频图像，获取前端摄像机采集的多帧图像；

遗留物初步判定模块，其用于对获取的图像进行预处理，进一步结合帧间差分处理以及背景差分处理的混合运算，获取运动对象和静止对象，经过筛选初步判定遗留物可疑目标；

深度估计判定模块，其结合深度估计确定物品的三维坐标位置，进一步确认判定遗留物可疑目标，根据遗留物的三维坐标位置，合并相同的遗留物信息，并将遗留时间进行累计；

遗留物分类模块，其用于基于神经网络图像识别对遗留物进行类别分类；

遗留物溯源模块，其用于反向遍历视频图像序列，跟踪目标遗留物在当前帧之前每一帧的位置坐标，直到追踪到目标遗留物的坐标位置发生变化；

报警模块，其用于将上述检测结果传输到系统终端，并进行提示或追踪。