CN111062273B - 一种遗留物品追溯检测与报警方法 - Google Patents

Abstract

本发明属于遗留物检测与报警技术领域，涉及一种遗留物品追溯检测与报警方法；主要工艺步骤包括：步骤一：选定遗留物检测的目标区域，后续步骤处理视频图像时，只需要对ROI区域进行目标的检测；步骤二：利用混合高斯模型建立长期背景模型和短期背景模型，获取视频图像的二值前景图像；步骤三：通过对长、短期背景模型检测得到的两个前景二值图像进行综合判断，确定视频图像中存在的静止目标为疑似遗留物；步骤四：利用有限状态机模型对视频图像中的疑似遗留物做进一步判断，确定其是否为遗留物；该方法步骤合理完善，能够准确的判断监控场景下的遗留物，并能观察到遗留物的形状；采用的遗留物跟踪回溯方法，还能够追溯到遗留物的主人。

Description

一种遗留物品追溯检测与报警方法

技术领域：

本发明属于遗留物检测与报警技术领域，涉及一种利用混合高斯模型、人体检测器等技术检测遗留物品的方法，具体涉及一种遗留物品追溯检测与报警方法。

背景技术：

目前遗留物的检测方法众多，遗留物检测主要通过对视频监控场景进行智能分析，从存在着大量无关人和物的复杂环境中准确检测出遗留物品，能够用于排除公共场所的安全隐患，也能够及时将遗留物收取并协助寻找失主。

在现有技术中，公开号为CN104156942B的中国专利，公开了一种用于复杂环境遗留物的检测方法，包含以下步骤：将基于局部更新的混合高斯背景建模方法和改进的三帧差分法得到的前景目标进行比较，结合基于YCbCr颜色空间的阴影消除方法、连通域分析，分割得到场景内的暂时静止物团块；对每一帧图像采用质心判距法，分别统计每一个团块的静止时间；对于达到时间阈值的静止团块，通过方向梯度直方图行人检测算法排除驻留行人的可能性后，将其标记为遗留物，并通过加速分割检测特征FAST特征点检测算法排除驻留行人的可能性。公开号为CN102509075B的中国专利，公开了一种遗留物检测方法，包括：利用混合高斯模型建立长周期背景模型和短周期背景模型；依据所述背景模型得到视频帧的两个前景二值图，并分别对所述视频帧的两个前景二值图进行径向延伸滤波，分别获得视频帧的长周期前景二值图和短周期前景二值图；获取所述长周期混合高斯模型中单个高斯分布的生命周期信息，并对所述生命周期内视频帧的长周期前景二值图和短周期前景二值图进行累计分析，依据所述生命周期信息和累计分析结果确定静止前景区域；对所述静止前景区域进行分类检测，检测出其中的遗留物。

总而言之，目前遗留检测方法检测遗留物时，一般先通过检测运动目标，然后采用跟踪的方法来判断是否是遗留物，但是由于目标跟踪本身存在难点，且容易出现跟丢的情况，在实际应用场景中遗留检测方法受到很大的限制。

发明内容：

本发明的目的在于克服现有设备存在的缺点，针对现有遗留检测方法存在遗留物难追踪、遗留物主人难确定的缺陷，以及因遗留物主人难确定导致难以确定遗留物的不足，设计提供一种遗留物品追溯检测与报警方法。

为实现上述目的，本发明涉及的一种遗留物品追溯检测与报警方法，其主要工艺步骤包括：

步骤一、选定目标区域：在处理实时监控视频流时，首先根据初始帧图像，选定遗留物检测的目标区域(ROI)，选择的目标区域为最有可能出现遗留物的区域，通过在图像中单击关键点确定，目标区域大小和形状根据实际需要选定，不局限于圆形、不规则多边形；确定目标区域后从实时监控视频流中得到初始帧图像的ROI掩模图像；后续步骤处理视频图像时，只需要对ROI区域进行目标的检测，而不需要对整幅图像进行处理，大大降低了计算代价，更能适用于实际场景中；

步骤二：利用混合高斯模型对在线的监控摄像头拍摄的视频图像建立两个背景模型：长期背景模型和短期背景模型；基于长期背景模型和短期背景模型对采集的每一帧视频图像进行背景图像和前景图像的判断，获取视频图像的二值前景图像，具体实现方式如下：

(1)建立背景模型：使用混合高斯背景模型对图像尺寸大小为m×n的视频序列建立背景模型B(x,y)，将视频图像像素点的变化通过高斯分布来近似拟合，图像中的每一个像素分别采用K(3≤K≤5)个不同的高斯分布进行构建背景模型B(x,y)，背景模型B(x,y)是记录像素RGB颜色空间的混合高斯分布，在每一个像素(x,y)中0≤x≤m-1、0≤y≤n-1；具体表示方式为：

在混合高斯背景模型中，将图像序列中的每一个像素点的像素值的变化{X₁,...,X_i}＝Φ{(x,y),1＜i＜t}，看作此像素点的随机过程，在t时刻像素点(x,y)的像素值取值为X_t的概率为：

其中K表示背景模型中高斯分布的个数，即在背景模型中采用的高斯分布来拟合背景像素点的变化，w_i,t是在t时刻第i个高斯分布的权重，P(X_t,μ_i,t,∑_i,t)为在t时刻第i个高斯概率密度函数，具体计算公式为：

在处理实时监控视频流过程中，背景模型需要不断进行更新，基于像素的背景建模方法，将新获取的一帧图像中的每个像素确定为背景像素，将获取的相关特征更新背景模型，更新后背景模型代表最新观测到的像素值；对每一个确认为新的背景像素I_t(x,y)，更新为背景模型B(x,y)；其中背景模型的学习率λ∈[0,1]，背景模型更新方式如下：

μ_i,t＝(1-ρ)·μ_i,t-1+ρ·X_t

∑_i,t＝(1-ρ)·∑_i,t-1+ρ·diag[(X_t-μ_i,t)^T(X_t-μ_i,t)]

其中，

表示时刻t混合高斯模型中第i个高斯分布的权系数的估计值；μ_i,t和∑_i,t分别代表_t时刻第i个高斯分布P(X_t,μ_i,t,∑_i,t)的均值和方差，ρ为比例系数，学习率λ∈[0,1]；

通过设定学习帧数来确定背景模型更新的时长，当前帧中像素点符合背景模型的某一个高斯分布，则该像素点被确定为背景像素，提取该像素点的颜色特征通过学习率λ来更新背景模型，学习帧数根据具体场景背景模型需要学习的情况进行调整；

(2)创建短期背景模型和长期背景模型：利用混合高斯模型的方法采用不同的学习率进行创建长期背景模型和短期背景模型，采用较小的学习率λ_S创建更新速度快的短期背景模型B_s，采用较大的学习率λ_L产生更新速度较慢的模型，即长期背景模型B_L；λ较小时，背景模型B(x,y)会更快地调整到新的像素数据；当新的颜色I_t(x,y)被捕获并且(x,y)被确定为背景像素，通过设定学习率λ以及背景模型更新公式更新短期背景模型和长期背景模型；

(3)二值前景图像的获取：对于检测获取的图像尺寸为m×n的视频图像序列I_t(t∈N)，遍历获取的一帧图像序列I_t中的像素点(x,y)并进行判断，当每一个像素点(x,y)与第i个高斯分布的均值μ_i,t(t时刻第i个高斯分布的均值)的距离小于第i个高斯分布的方差∑_i,t的3倍时，该像素点(x,y)与第i个高斯分布匹配，遍历图像中每一个像素，对图像每个像素选择合适的高斯分量个数，像素点匹配高斯分布的数量越多，代表像素点属于背景像素，否则，属于前景像素；

根据上述方式对采集的每一帧图像进行背景图像和前景图像的判断，经过短时期背景模型B_S筛选后，获得短时期背景模型B_S的二值前景图像F_S，经过长时期背景模型B_L筛选后，获得长时期背景模型B_L的二值前景图像F_L；

步骤三：通过对长、短期背景模型检测得到的两个前景二值图像进行综合判断，在连续帧视频图像中，存在的检测目标经长期背景模型B_L处理后判定为前景，经短期背景模型B_S处理后判定为背景；则当前连续帧视频图像中存在的检测目标为静止目标，该静止目标即为疑似遗留物；具体过程如下：

当前连续帧视频图像中出现静止目标时，长期背景模型B_L会检测到静止目标并将其作为前景，短期背景模型B_S由于更新速度快，静止目标将会被跟新为背景；将长、短期背景模型检测到的前景进行连接，该点像素采用两位数值码S_i表示：

S_i＝F_L(i)F_S(i)

其中F_L(i),F_S(i)∈{0,1}，F_L(i)、F_S(i)表示前景像素i代表的二进制值；

当S_i＝00表示像素点i代表背景像素，因为通过B_S和B_L检测分别得到背景像素；

当S_i＝01表示像素点i是一个未覆盖的背景像素；

当S_i＝10表示像素点i是一个静止的前景像素；

当S_i＝11表示像素点i是一个移动的目标；

在当前连续帧视频图像中，当被检测的目标像素值i的搜索状态码S_i＝10持续不变；则该目标为疑似遗留物，判断为疑似遗留物的条件包括：1)前景像素存在了较长的时间；2)在规定的一段时间中，目标没有移动和变化；

步骤四：利用有限状态机模型对视频图像中的疑似遗留物做进一步判断，确定其是否为遗留物；具体实现方式如下：

(1)创建储存矩阵；在实现过程中，创建两个3维矩阵m×n×T，T为存储的视频帧数，一个矩阵A用来存储每次读取的图像信息，另一个矩阵B用来存储每帧图像中每个像素的状态S_i值，以此根据帧间相同位置的像素状态S_i来判断遗留物和确定丢失遗留物的主人；

(2)设置初始状态的像素值S_i＝11，S_i＝11表示像素i被当前前景区域遮挡，因此当出现疑似遗留物时，短时期模型很快将静止目标更新为背景模型，长时期背景模型保持不变，像素i的状态改变为S_i＝10，将疑似遗留物判定为候选静态目标，当像素i的状态保持S_i＝10状态一段时间Ts后，像素i成为静态前景的一部分，将疑似遗留物判定为稳定静态目标；在此过程中，只有与疑似遗留物相关联的像素才被视为静态前景像素，否则，与疑似遗留物无关联的像素i的状态将返回初始像素状态S_i＝11；对每一帧图像来说，满足状态码S_i＝10的这些像素点i保存在基于像素的有限状态模型中；像素i与疑似遗留物的关联性通过执行像素连通区域分析方法判断：像素连通区域分析是指对视频图像中检测得到的前景块进行分析，根据像素i颜色特征值通过对视频图像中检测得到的前景图像进行判断，如果像素i颜色特征值为255时，累加像素i的个数，当累积像素i的个数小于设置的最小前景像素点个数(min_fg)或者大于设置的最大前景像素点(max_fg)时，则移除不满足条件的前景图像；当累积的像素点个数满足[min_fg,max_fg]，则该前景图像像素i与疑似遗留物相关联；

(3)如果疑似遗留物判定为稳定静态目标，对与疑似遗留物相关联的前景图像像素i构成的像素块，利用跟踪回溯算法确定疑似遗留物主人；通过确定疑似遗留物的主人是否靠近疑似遗留物，判断疑似遗留物是否为遗留物；如果疑似遗留物主人没有回到稳定静态目标旁边，则稳定静态目标就确定为遗留物；实现跟踪回溯方法如下：

首先，从当前帧时间t回溯到先前帧t₀：在时间t时刻，当疑似遗留物认为是候选静态目标时，并且在疑似遗留物的半径为D的邻域区域范围内没有其他的移动前景目标，则从当前帧时间t回溯到先前帧t₀＝t-T_S，t₀表示最有可能放下物品的时刻，T_S是像素有限状态模型中使用的转换时间常数；

然后，确定疑似遗留物的主人：在t₀时刻，疑似遗留物所处的位置为p，以p为中心，创建尺寸为(r²,δ)时空窗口W₀，其中r为以p为中心的圆的半径，r＝25，δ表示时间间隔[t₀,t₀+δ]；当在第f(0＜f＜T_s)帧图像中确定存在疑似遗留物的位置时，在创建的3维矩阵A中，从第f帧图像位置开始，

结束，共选择/>

帧图像进行分析，获取f帧图像中前景图像像素i颜色特征值为255像素点(x,y)到疑似遗留物目标的中心位置p之间的距离d，如果判断的距离d＜D(其中D为搜索区域长度)，即以疑似遗留物为中心、r＝25的时空窗口W₀中搜索疑似遗留物主人区域；搜索的具体方法为：在W₀的区域范围内使用背景减除方法，将当前帧减去背景建模图像得到前景集合的前景块，从这些前景块中，利用前景块的高宽比值通过人体检测器方法选择一个最接近人体形状的尺寸，根据人体检测器(HOG或者DPM)方法，当检测到目标人时，且目标人的中心点的位置到疑似遗留物目标中心点的距离<D时，则该目标人确定为疑似遗留物的主人；追踪到的疑似遗留物主人的结果图如图5所示；

人体检测器采用多滤波核的滑动窗口技术来检测图像中的目标，通过一个根滤波器和多个部分滤波器检测人体目标，根滤波器描述目标的整体外观，部分滤波器描述目标的部分区域；当区域通过根过滤器以最高得分进行投票时，被检测对象将被定位；为了减少计算的代价，将滑动窗口的技术近似为卷积操作，根据时域卷积等价于频域乘法，采用快速傅里叶变换加速了基于部分的人体检测器，并取得的较好较快的人体检测效果；

再后，将包含人的前景区域对疑似遗留物的主人进行进一步跟踪，并将其图像位置表示为p₁，如果检测到不止一个人，选择最接近p的像素块作为最合适的像素块区域p₁；提取像素块区域p₁的颜色分布作为特征，以p₁为中心，创建一个新的尺寸为(r²,δ)时空窗口W₁，使用Bhattacharyya系数来识别颜色分布与W₁中所有者相似的块，然后前进一帧创建一个以新识别的像素块为中心的窗口W₂；

最后，使用上述过程跟踪所有疑似遗留物的主人的像素块，直到时间超过原始时间t或者跟踪的像素块不在以候选遗留物为中心、半径为D的相邻区域之外；当遗留物满足时空规则时，疑似遗留物确定为遗留物，遗留物报警信号就被触发，时空规则为：(a)时间规则：当疑似遗留物在时间T内没有被丢弃者引起注意，(b)空间规则：当疑似遗留物与其主人之间的距离超过设定的距离D。

本实施例涉及的有限状态机模型，时空规则T_s满足T_s＝30F帧图像，其中F表示捕获的视频帧率；通过检查疑似遗留物的主人的轨迹来验证空间规则，创建的以疑似遗留物为中心，半径为D＝3μ检测区域，该区域设置为圆形，其中μ表示从像素距离转化为真实距离的尺度因子，并判断目标者是否在检测区域内部，当满足空间和时间两个规则时，遗留物报警的信号就会被触发。

本发明与现有技术相比，所设计的遗留物品追溯检测与报警方法步骤完备，不仅可以准确的判断监控场景下的遗留物，而且通过得到的二值前景图像，可以观察到遗留物的形状；采用的遗留物跟踪回溯方法，可以追溯到遗留物的主人，更加具有实用性。

附图说明：

图1为本发明涉及的遗留物品追溯检测与报警方法的工艺流程图。

图2为本发明涉及的转换图的原理示意图。

图3(a)为本发明涉及的截取的存在检测目标的视频图像。

图3(b)为本发明涉及的截取的存在检测目标的视频图像经长期背景模型处理的检测结果图。

图3(c)为本发明涉及的截取的存在检测目标的视频图像经短期背景模型处理的检测结果图。

图4(a)为本发明涉及的截取的当有移动目标(人)出现在检测目标附近的视频图像。

图4(b)为本发明涉及的截取的当有移动目标(人)出现在检测目标附近的视频图像经长期背景模型处理的检测结果图。

图4(c)为本发明涉及的截取的当有移动目标(人)出现在检测目标附近的视频图像经短期背景模型处理的检测结果图。

图5为本发明涉及的追踪到的疑似遗留物主人的结果图。

具体实施方式：

下面通过实施例并结合附图对本发明作进一步说明。

实施例1：

本实施例涉及的一种遗留物品追溯检测与报警方法，其主要工艺步骤包括：

步骤一、选定目标区域：在处理实时监控视频流时，首先根据初始帧图像，选定遗留物检测的目标区域(ROI)，选择的目标区域为最有可能出现遗留物的区域，通过在图像中单击关键点确定，目标区域大小和形状根据实际需要选定，不局限于圆形、不规则多边形；确定目标区域后从实时监控视频流中得到初始帧图像的ROI掩模图像；后续步骤处理视频图像时，只需要对ROI区域进行目标的检测，而不需要对整幅图像进行处理，大大降低了计算代价，更能适用于实际场景中；

步骤二：利用混合高斯模型对在线的监控摄像头拍摄的视频图像建立两个背景模型：长期背景模型和短期背景模型，

(1)建立背景模型：使用混合高斯背景模型对图像尺寸大小为m×n的视频序列建立背景模型B(x,y)，将视频图像像素点的变化通过高斯分布来近似拟合，图像中的每一个像素分别采用K(3≤K≤5)个不同的高斯分布进行构建背景模型B(x,y)，背景模型B(x,y)是记录像素RGB颜色空间的混合高斯分布，在每一个像素(x,y)中0≤x≤m-1、0≤y≤n-1；具体表示方式为：

在混合高斯背景模型中，将图像序列中的每一个像素点的像素值的变化{X₁,...,X_i}＝Φ{(x,y),1＜i＜t}，看作此像素点的随机过程，在t时刻像素点(x,y)的像素值取值为X_t的概率为：

其中K表示背景模型中高斯分布的个数，即在背景模型中采用的高斯分布来拟合背景像素点的变化，w_i,t是在t时刻第i个高斯分布的权重，P(X_t,μ_i,t,∑_i,t)为在t时刻第i个高斯概率密度函数，具体计算公式为：

在处理实时监控视频流过程中，背景模型需要不断进行更新，基于像素的背景建模方法，将新获取的一帧图像中的每个像素确定为背景像素，将获取的相关特征(如颜色特征)更新背景模型，更新后背景模型代表最新观测到的像素值；对每一个确认为新的背景像素I_t(x,y)，更新为背景模型B(x,y)；其中背景模型的学习率λ∈[0,1]，背景模型更新方式如下：

μ_i,t＝(1-ρ)·μ_i,t-1+ρ·X_t

∑_i,t＝(1-ρ)·∑_i,t-1+ρ·diag[(X_t-μ_i,t)^T(X_t-μ_i,t)]

其中，

表示时刻t混合高斯模型中第i个高斯分布的权系数的估计值；μ_i,t和∑_i,t分别代表t时刻第i个高斯分布P(X_t,μ_i,t,∑_i,t)的均值和方差，ρ为比例系数，学习率λ∈[0,1]；

通过设定学习帧数来确定背景模型更新的时长，当前帧中像素点符合背景模型的某一个高斯分布，则该像素点被确定为背景像素，提取该像素点的颜色特征通过学习率λ来更新背景模型，学习帧数根据具体场景背景模型需要学习的情况进行调整；

(2)创建短期背景模型和长期背景模型：利用混合高斯模型的方法采用不同的学习率进行创建长期背景模型和短期背景模型，采用较小的学习率λ_S创建更新速度快的短期背景模型B_s，采用较大的学习率λ_L产生更新速度较慢的模型，即长期背景模型B_L；λ较小时，背景模型B(x,y)会更快地调整到新的像素数据；当新的颜色I_t(x,y)被捕获并且(x,y)被确定为背景像素，通过设定学习率λ以及背景模型更新公式更新短期背景模型和长期背景模型；

(3)二值前景图像的获取：对于检测获取的图像尺寸为m×n的视频图像序列I_t(t∈N)，遍历获取的一帧图像序列I_t中的像素点(x,y)并进行判断，当每一个像素点(x,y)与第i个高斯分布的均值μ_i,t(t时刻第i个高斯分布的均值)的距离小于第i个高斯分布的方差∑_i,t的3倍时，该像素点(x,y)与第i个高斯分布匹配，遍历图像中每一个像素，对图像每个像素选择合适的高斯分量个数，像素点匹配高斯分布的数量越多，代表像素点属于背景像素，否则，属于前景像素；

根据上述方式对采集的每一帧图像进行背景图像和前景图像的判断，经过短时期背景模型B_S筛选后，获得短时期背景模型B_S的二值前景图像F_S，经过长时期背景模型B_L筛选后，获得长时期背景模型B_L的二值前景图像F_L；

步骤三：通过对长、短期背景模型检测得到的两个前景二值图像进行综合判断，确定当前连续帧视频图像中存在静止目标，该静止目标即为疑似遗留物；如果当前连续帧视频图像中出现静止目标时，长期背景模型B_L会检测到静止目标并将其作为前景，短期背景模型B_S由于更新速度快，静止目标将会被跟新为背景；将长、短期背景模型检测到的前景进行连接，该点像素采用两位数值码S_i表示：

S_i＝F_L(i)F_S(i)

其中F_L(i),F_S(i)∈{0,1}，F_L(i)、F_S(i)表示前景像素i代表的二进制值；

当S_i＝00表示像素点i代表背景像素，因为通过B_S和B_L检测分别得到背景像素；

当S_i＝01表示像素点i是一个未覆盖的背景像素；

当S_i＝10表示像素点i是一个静止的前景像素；

当S_i＝11表示像素点i是一个移动的目标；

如图3所示，图3(a)是截取的存在检测目标的视频图像，对截取的视频图像及其后续视频图像利用构建的背景模型进行分析；在基于长期背景模型对视频图像分析获得检测结果中，如图3(b)所示，由于长期背景模型更新速度较慢，检测目标被认定为前景图像

即图3(b)中白色部分代表的前景图像，像素的灰度值为255；黑色部分为背景图像，灰度值为255，此时F_L(i)＝1；在基于短期背景模型分析获得检测结果中，如图3(c)所示，由于短期背景模型更新速度较快，作为前景图像的检测目标将很快被短期背景模型学习认定为背景图像，即在图3(b)中白色部分代表的前景图像很快转变为图3(c)所示的黑色背景图像，此时F_S(i)＝0；基于图3(b)、图3(c)的检测结果，截取的视频图像中检测的目标像素值i的搜索状态码为S_i＝10；

如图4所示，图4(a)是截取的当有移动目标(人)出现在检测目标附近的视频图像，对截取的视频图像及其后续视频图像利用构建的背景模型进行分析；在基于长期背景模型分析获得检测结果中，如图4(b)所示，由于长期背景模型更新速度较慢，检测目标和移动目标被认定为前景图像存在，即图4(b)中白色部分代表的前景图像为检测目标和移动目标，黑色部分为背景图像，此检测目标、移动目标的二值前景图像值均为F_L(i)＝1；在基于短期背景模型分析获得检测结果中，如图4(c)所示，由于短期背景模型更新速度较快，作为前景图像的检测目标由于静止将很快被短期背景模型学习认定为背景图像，即在图4(b)中白色部分代表的检测目标前景图像很快转变为图4(c)所示的黑色背景图像，此时检测目标的二值前景图像值F_S(i)＝0，由于移动目标短期内处于运动状态，白色部分代表的移动目标前景图像不能被短期背景模型学习认定为背景图像，此时移动目标的二值前景图像值为F_S(i)＝1；基于图4(b)、图4(c)的检测结果，截取的视频图像中检测的目标像素值i的搜索状态码为S_i＝10，移动目标像素值i的搜索状态码为S_i＝11；

在当前连续帧视频图像中，当被检测的目标像素值i的搜索状态码S_i＝10持续不变；则该目标为疑似遗留物，判断为疑似遗留物的条件包括：1)前景像素存在了较长的时间；2)在规定的一段时间中，目标没有移动和变化；

步骤四：利用有限状态机模型对视频图像中的疑似遗留物做进一步判断，确定其是否为遗留物；

受环境的影响，背景建模会不完善，在不确定的环境中通过判断单张图像中像素的状态码来确定遗留物，在实际场景中判断是不现实的，通常情况下是失败的；为了更加准确的确定遗留物，采用像素的时间连续性信息来提高遗留物的检测精度；采用有限状态机模型表示一种时间规则，使图像序列中像素的状态码遵循这种规则；静态前景的确定采用图2所示的转换图表示：

(1)创建储存矩阵；在实现过程中，创建两个3维矩阵m×n×T，T为存储的视频帧数，一个矩阵A用来存储每次读取的图像信息，另一个矩阵B用来存储每帧图像中每个像素的状态S_i值，以此根据帧间相同位置的像素状态S_i来判断遗留物和确定丢失遗留物的主人；

(2)设置初始状态的像素值S_i＝11，S_i＝11表示像素i被当前前景区域遮挡，因此当出现疑似遗留物时，短时期模型很快将静止目标更新为背景模型，长时期背景模型保持不变，像素i的状态改变为S_i＝10，将疑似遗留物判定为候选静态目标，当像素i的状态保持S_i＝10状态一段时间Ts后，像素i成为静态前景的一部分，将疑似遗留物判定为稳定静态目标；在此过程中，只有与疑似遗留物相关联的像素才被视为静态前景像素，否则，与疑似遗留物无关联的像素i的状态将返回初始像素状态S_i＝11；对每一帧图像来说，满足状态码S_i＝10的这些像素点i保存在基于像素的有限状态模型中；像素i与疑似遗留物的关联性通过执行像素连通区域分析方法判断：像素连通区域分析是指对视频图像中检测得到的前景块进行分析，根据像素i颜色特征值通过对视频图像中检测得到的前景图像进行判断，如果像素i颜色特征值为255时，累加像素i的个数，当累积像素i的个数小于设置的最小前景像素点个数(min_fg)或者大于设置的最大前景像素点(max_fg)时，则移除不满足条件的前景图像；当累积的像素点个数满足[min_fg,max_fg]，则该前景图像像素i与疑似遗留物相关联；

(3)如果疑似遗留物判定为稳定静态目标，对与疑似遗留物相关联的前景图像像素i构成的像素块，利用跟踪回溯算法确定疑似遗留物主人；通过确定疑似遗留物的主人是否靠近疑似遗留物，判断疑似遗留物是否为遗留物；如果疑似遗留物主人没有回到稳定静态目标旁边，则稳定静态目标就确定为遗留物；实现跟踪回溯方法如下：

首先，从当前帧时间t回溯到先前帧t₀：在时间t时刻，当疑似遗留物认为是候选静态目标时，并且在疑似遗留物的半径为D的邻域区域范围内没有其他的移动前景目标，则从当前帧时间t回溯到先前帧t₀＝t-T_S，t₀表示最有可能放下物品的时刻，T_S是像素有限状态模型中使用的转换时间常数；

然后，确定疑似遗留物的主人：在t₀时刻，疑似遗留物所处的位置为p，以p为中心，创建尺寸为(r²,δ)时空窗口W₀，其中r为以p为中心的圆的半径，r＝25，δ表示时间间隔[t₀,t₀+δ]；当在第f(0＜f＜T_s)帧图像中确定存在疑似遗留物的位置时，在创建的3维矩阵A中，从第f帧图像位置开始，

结束，共选择/>

帧图像进行分析，获取f帧图像中前景图像像素i颜色特征值为255像素点(x,y)到疑似遗留物目标的中心位置p之间的距离d，如果判断的距离d＜D(其中D为搜索区域长度)，即以疑似遗留物为中心、r＝25的时空窗口W₀中搜索疑似遗留物主人区域；搜索的具体方法为：在W₀的区域范围内使用背景减除方法，将当前帧减去背景建模图像得到前景集合的前景块，从这些前景块中，利用前景块的高宽比值通过人体检测器方法选择一个最接近人体形状的尺寸，根据人体检测器(HOG或者DPM)方法，当检测到目标人时，且目标人的中心点的位置到疑似遗留物目标中心点的距离<D时，则该目标人确定为疑似遗留物的主人；追踪到的疑似遗留物主人的结果图如图5所示，

人体检测器采用多滤波核的滑动窗口技术来检测图像中的目标，通过一个根滤波器和多个部分滤波器检测人体目标，根滤波器描述目标的整体外观，部分滤波器描述目标的部分区域；当区域通过根过滤器以最高得分进行投票时，被检测对象将被定位；为了减少计算的代价，将滑动窗口的技术近似为卷积操作，根据时域卷积等价于频域乘法，采用快速傅里叶变换加速了基于部分的人体检测器，并取得的较好较快的人体检测效果；

再后，将包含人的前景区域对疑似遗留物的主人进行进一步跟踪，并将其图像位置表示为p₁，如果检测到不止一个人，选择最接近p的像素块作为最合适的像素块区域p₁；提取像素块区域p₁的颜色分布作为特征，以p₁为中心，创建一个新的尺寸为(r²,δ)时空窗口W₁，使用Bhattacharyya系数来识别颜色分布与W₁中所有者相似的块，然后前进一帧创建一个以新识别的像素块为中心的窗口W₂；

最后，使用上述过程跟踪所有疑似遗留物的主人的像素块，直到时间超过原始时间t或者跟踪的像素块不在以候选遗留物为中心、半径为D的相邻区域之外；当遗留物满足时空规则时，疑似遗留物确定为遗留物，遗留物报警信号就被触发，时空规则为：(a)时间规则：当疑似遗留物在时间T内没有被丢弃者引起注意，(b)空间规则：当疑似遗留物与其主人之间的距离超过设定的距离D。

本实施例涉及的有限状态机模型，时空规则T_s满足T_s＝30F帧图像，其中F表示捕获的视频帧率；通过检查疑似遗留物的主人的轨迹来验证空间规则，创建的以疑似遗留物为中心，半径为D＝3μ检测区域，该区域设置为圆形，其中μ表示从像素距离转化为真实距离的尺度因子，并判断目标者是否在检测区域内部，当满足空间和时间两个规则时，遗留物报警的信号就会被触发。

采用上述方法的好处在于在时空邻域中使用时间间隔δ，当δ内目标发生遮挡时，仍然可以实现对目标的跟踪；该方法在处理暂时性目标遮挡方面更有效，且实现效率高，因为只考虑有限数量的时空窗口中的前景块，追溯算法从遗留物的位置开始搜索遗留物体的目标者，只检查类似的前景块，减少了计算的代价。

Claims (7)

1.一种遗留物品追溯检测与报警方法，其特征在于：其工艺步骤包括：

步骤一：选定目标区域：在处理实时监控视频流时，首先根据初始帧图像，选定遗留物检测的目标区域ROI，选择的目标区域为最有可能出现遗留物的区域，通过在图像中单击关键点确定，目标区域大小和形状根据实际需要选定；确定目标区域后从实时监控视频流中得到初始帧图像的ROI掩模图像；后续步骤处理视频图像时，只需要对ROI区域进行目标的检测，而不需要对整幅图像进行处理；

步骤二：利用混合高斯模型对在线的监控摄像头拍摄的视频图像建立两个背景模型：长期背景模型和短期背景模型；基于长期背景模型和短期背景模型对采集的每一帧视频图像进行背景图像和前景图像的判断，获取视频图像的二值前景图像；

步骤三：通过对长、短期背景模型检测得到的两个前景二值图像进行综合判断，在连续帧视频图像中，存在的检测目标经长期背景模型B_L处理后判定为前景，经短期背景模型B_S处理后判定为背景；则当前连续帧视频图像中存在的检测目标为静止目标，该静止目标即为疑似遗留物；

步骤四：利用有限状态机模型对视频图像中的疑似遗留物做进一步判断，确定其是否为遗留物；具体实现方式如下：

(1)创建储存矩阵；在实现过程中，创建两个3维矩阵m×n×T，T为存储的视频帧数，一个矩阵A用来存储每次读取的图像信息，另一个矩阵B用来存储每帧图像中每个像素的状态S_i值，以此根据帧间相同位置的像素状态S_i来判断遗留物和确定丢失遗留物的主人；

(2)设置初始状态的像素值S_i＝11，S_i＝11表示像素i被当前前景区域遮挡，因此当出现疑似遗留物时，短时期模型很快将静止目标更新为背景模型，长时期背景模型保持不变，像素i的状态改变为S_i＝10，将疑似遗留物判定为候选静态目标，当像素i的状态保持S_i＝10状态一段时间Ts后，像素i成为静态前景的一部分，将疑似遗留物判定为稳定静态目标；在此过程中，只有与疑似遗留物相关联的像素才被视为静态前景像素，否则，与疑似遗留物无关联的像素i的状态将返回初始像素状态S_i＝11；对每一帧图像来说，满足状态码S_i＝10的这些像素点i保存在基于像素的有限状态模型中；像素i与疑似遗留物的关联性通过执行像素连通区域分析方法判断；

(3)如果疑似遗留物判定为稳定静态目标，对与疑似遗留物相关联的前景图像像素i构成的像素块，利用跟踪回溯算法确定疑似遗留物主人；通过确定疑似遗留物的主人是否靠近疑似遗留物，判断疑似遗留物是否为遗留物；如果疑似遗留物主人没有回到稳定静态目标旁边，则稳定静态目标就确定为遗留物。

2.根据权利要求1所述的遗留物品追溯检测与报警方法，其特征在于：所述步骤四中像素i与疑似遗留物的关联性通过执行像素连通区域分析方法判断，其具体过程为：

像素连通区域分析是指对视频图像中检测得到的前景块进行分析，根据像素i颜色特征值通过对视频图像中检测得到的前景图像进行判断，如果像素i颜色特征值为255时，累加像素i的个数，当累积像素i的个数小于设置的最小前景像素点个数min_fg或者大于设置的最大前景像素点个数max_fg时，则移除不满足条件的前景图像；当累积的像素点个数满足[min_fg,max_fg]，则该前景图像像素i与疑似遗留物相关联。

3.根据权利要求1或权利要求2所述的遗留物品追溯检测与报警方法，其特征在于：所述步骤四中利用跟踪回溯算法确定疑似遗留物主人，实现跟踪回溯具体工艺步骤如下：

首先，从当前帧时间t回溯到先前帧t₀：在时间t时刻，当疑似遗留物认为是候选静态目标时，并且在疑似遗留物的半径为D的邻域区域范围内没有其他的移动前景目标，则从当前帧时间t回溯到先前帧t₀＝t-T_S，t₀表示最有可能放下物品的时刻，T_S是像素有限状态模型中使用的转换时间常数；

然后，确定疑似遗留物的主人：在t₀时刻，疑似遗留物所处的位置为p，以p为中心，创建尺寸为(r²,δ)时空窗口W₀，其中r为以p为中心的圆的半径，r＝25，δ表示时间间隔[t₀,t₀+δ]；当在第f帧图像中确定存在疑似遗留物的位置时，其中0＜f＜T_s，在创建的3维矩阵A中，从第f帧图像位置开始，

结束，共选择/>

帧图像进行分析，获取f帧图像中前景图像像素i颜色特征值为255像素点(x,y)到疑似遗留物目标的中心位置p之间的距离d，如果判断的距离d＜D，其中D为搜索区域长度，即以疑似遗留物为中心、r＝25的时空窗口W₀中搜索疑似遗留物主人区域；

再后，将包含人的前景区域对疑似遗留物的主人进行进一步跟踪，并将其图像位置表示为p₁，如果检测到不止一个人，选择最接近p的像素块作为最合适的像素块区域p₁；提取像素块区域p₁的颜色分布作为特征，以p₁为中心，创建一个新的尺寸为(r²,δ)时空窗口W₁，使用Bhattacharyya系数来识别颜色分布与W₁中所有相似的块，然后前进一帧创建一个以新识别的像素块为中心的窗口W₂；

最后，使用上述过程跟踪所有疑似遗留物的主人的像素块，直到时间超过原始时间t或者跟踪的像素块不在以候选遗留物为中心、半径为D的相邻区域之外；当遗留物满足时空规则时，疑似遗留物确定为遗留物，遗留物报警信号就被触发；时空规则为：(a)时间规则：当疑似遗留物在时间T内没有被丢弃者引起注意，(b)空间规则：当疑似遗留物与其主人之间的距离超过设定的距离D。

4.根据权利要求3所述的遗留物品追溯检测与报警方法，其特征在于：所述以疑似遗留物为中心、r＝25的时空窗口中搜索疑似遗留物主人区域，搜索的具体方法为：在W₀的区域范围内使用背景减除方法，将当前帧减去背景建模图像得到前景集合的前景块，从前景集合的前景块中，利用前景块的高宽比值通过人体检测器方法选择一个最接近人体形状的尺寸，根据人体检测器方法，当检测到目标人时，且目标人的中心点的位置到疑似遗留物目标中心点的距离<D时，则该目标人确定为疑似遗留物的主人；

人体检测器采用多滤波核的滑动窗口技术来检测图像中的目标，通过一个根滤波器和多个部分滤波器检测人体目标，根滤波器描述目标的整体外观，部分滤波器描述目标的部分区域；当区域通过根过滤器以最高得分进行投票时，被检测对象将被定位；为了减少计算的代价，将滑动窗口的技术近似为卷积操作，根据时域卷积等价于频域乘法，采用快速傅里叶变换加速基于部分滤波器的人体检测器，以取得的较好较快的人体检测效果。

5.根据权利要求4所述的遗留物品追溯检测与报警方法，其特征在于：所述有限状态机模型，时空规则T_s满足T_s＝30F帧图像，其中F表示捕获的视频帧率；通过检查疑似遗留物的主人的轨迹来验证空间规则，创建的以疑似遗留物为中心，半径为D＝3μ检测区域，该区域设置为圆形，其中μ表示从像素距离转化为真实距离的尺度因子，并判断目标者是否在检测区域内部，当满足空间和时间两个规则时，遗留物报警的信号就会被触发。

6.根据权利要求5所述的遗留物品追溯检测与报警方法，其特征在于：所述步骤二的具体工艺过程如下：

(1)建立背景模型：使用混合高斯背景模型对图像尺寸大小为m×n的视频序列建立背景模型B(x,y)，将视频图像像素点的变化通过高斯分布来近似拟合，图像中的每一个像素分别采用K个不同的高斯分布构建背景模型B(x,y)，其中3≤K≤5，背景模型B(x,y)是记录像素RGB颜色空间的混合高斯分布，在每一个像素(x,y)中0≤x≤m-1、0≤y≤n-1；具体表示方式为：

在混合高斯背景模型中，将图像序列中的每一个像素点的像素值的变化{X₁,...,X_i}＝Φ{(x,y),1＜i＜t}，看作此像素点的随机过程，在t时刻像素点(x,y)的像素值取值为X_t的概率为：

其中K表示背景模型中高斯分布的个数，即在背景模型中采用的高斯分布来拟合背景像素点的变化，w_i,t是在t时刻第i个高斯分布的权重，P(X_t,μ_i,t,∑_i,t)为在t时刻第i个高斯概率密度函数，具体计算公式为：

在处理实时监控视频流过程中，背景模型需要不断进行更新，基于像素的背景建模方法，将新获取的一帧图像中的每个像素确定为背景像素，将获取的相关特征更新背景模型，更新后背景模型代表最新观测到的像素值；对每一个确认为新的背景像素I_t(x,y)，更新为背景模型B(x,y)；其中背景模型的学习率λ∈[0,1]，背景模型更新方式如下：

μ_i,t＝(1-ρ)·μ_i,t-1+ρ·X_t

∑_i,t＝(1-ρ)·∑_i,t-1+ρ·diag[(X_t-μ_i,t)^T(X_t-μ_i,t)]

其中，

表示时刻t混合高斯模型中第i个高斯分布的权系数的估计值；μ_i,t和∑_i,t分别代表t时刻第i个高斯分布P(X_t,μ_i,t,∑_i,t)的均值和方差，ρ为比例系数，学习率λ∈[0,1]；

通过设定学习帧数来确定背景模型更新的时长，当前帧中像素点符合背景模型的某一个高斯分布，则该前帧中的像素点被确定为背景像素，提取该像素点的颜色特征通过学习率λ来更新背景模型，学习帧数根据具体场景背景模型需要学习的情况进行调整；

(2)创建短期背景模型和长期背景模型：利用混合高斯模型的方法采用不同的学习率进行创建长期背景模型和短期背景模型，采用较小的学习率λ_S创建更新速度快的短期背景模型B_s，采用较大的学习率λ_L产生更新速度较慢的模型，即长期背景模型B_L；λ较小时，背景模型B(x,y)会更快地调整到新的像素数据；当新的颜色I_t(x,y)被捕获并且(x,y)被确定为背景像素，通过设定学习率λ以及背景模型更新公式更新短期背景模型和长期背景模型；

(3)二值前景图像的获取：对于检测获取的图像尺寸为m×n的视频图像序列I_t，其中t∈N，遍历获取的一帧图像序列I_t中的像素点(x,y)并进行判断；当每一个像素点(x,y)与第i个高斯分布的均值μ_i,t的距离小于第i个高斯分布的方差∑_i,t的3倍时，其中μ_i,t是t时刻第i个高斯分布的均值，该像素点(x,y)与第i个高斯分布匹配，遍历图像中每一个像素，对图像每个像素选择合适的高斯分量个数，像素点匹配高斯分布的数量越多，代表像素点属于背景像素，否则，属于前景像素；

根据上述方式对采集的每一帧图像进行背景图像和前景图像的判断，经过短时期背景模型B_S筛选后，获得短时期背景模型B_S的二值前景图像F_S，经过长时期背景模型B_L筛选后，获得长时期背景模型B_L的二值前景图像F_L。

7.根据权利要求6所述的遗留物品追溯检测与报警方法，其特征在于：所述步骤三的具体过程如下：

当前连续帧视频图像中出现静止目标时，长期背景模型B_L会检测到静止目标并将其作为前景，短期背景模型B_S由于更新速度快，静止目标将会被跟新为背景；将长、短期背景模型检测到的前景进行连接，得到连接的目标区域，连接的目标区域中像素点采用两位数值码S_i表示：

S_i＝F_L(i)F_S(i)

其中F_L(i),F_S(i)∈{0,1}，F_L(i)、F_S(i)表示前景像素i代表的二进制值；

当S_i＝00表示像素点i代表背景像素，因为通过B_S和B_L检测分别得到背景像素；

当S_i＝01表示像素点i是一个未覆盖的背景像素；

当S_i＝10表示像素点i是一个静止的前景像素；

当S_i＝11表示像素点i是一个移动的目标；

在当前连续帧视频图像中，当被检测的目标像素值i的搜索状态码S_i＝10持续不变；则该目标为疑似遗留物，判断为疑似遗留物的条件包括：1)前景像素存在了较长的时间；2)在规定的一段时间中，目标没有移动和变化。

Images