CN102833464A - 智能视频监控用结构化背景重建方法 - Google Patents
智能视频监控用结构化背景重建方法 Download PDFInfo
- Publication number
- CN102833464A CN102833464A CN2012102567239A CN201210256723A CN102833464A CN 102833464 A CN102833464 A CN 102833464A CN 2012102567239 A CN2012102567239 A CN 2012102567239A CN 201210256723 A CN201210256723 A CN 201210256723A CN 102833464 A CN102833464 A CN 102833464A
- Authority
- CN
- China
- Prior art keywords
- background
- picture
- frame
- module
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012544 monitoring process Methods 0.000 title claims abstract description 24
- 230000033001 locomotion Effects 0.000 claims abstract description 88
- 230000003068 static effect Effects 0.000 claims abstract description 56
- 230000011218 segmentation Effects 0.000 claims description 34
- 239000013598 vector Substances 0.000 claims description 24
- 125000000205 L-threonino group Chemical group [H]OC(=O)[C@@]([H])(N([H])[*])[C@](C([H])([H])[H])([H])O[H] 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 239000004744 fabric Substances 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000002085 persistent effect Effects 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 abstract 2
- 230000008878 coupling Effects 0.000 description 7
- 238000010168 coupling process Methods 0.000 description 7
- 238000005859 coupling reaction Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种智能视频监控用结构化背景重建方法，包括：通过所述图像帧获取与更新模块获取与更新图像，所述画面运动光流估计模块检测所述图像的全画面运动光流，所述画面分割模块进一步对动态的帧间画面进行分割，所述图像均值模块以静态区域为掩膜模板，所述背景局部重建模块将静态区域的像素均值填补到背景图相对应位置；所述背景重建状态检测模块计算背景画面重建的百分比，是否完成重建，如果没有完成，回到第一步获取新的图像帧，如果完成，则将背景通过输出背景模块输出。通过上述方式，本发明采集帧图像数据的时候，间隔一段时间采集到得图像中，重建的准确度很高，不会出现重建错误，快速、有效、清晰地重建监控场景的静态背景画面。
Description
技术领域
本发明涉及视频监控领域，特别是涉及一种智能视频监控用结构化背景重建方法。
背景技术
随着我国民用监控安全系统网络的不断增大，对采集到得视频进行自动化的智能化分析，可提高海量监控录像数据量的有效利用率。智能监控视频分析中，都画面的运动目标提取、追踪、轨迹分析，以及目标搜索、快速定位等，都依赖于监控场景的背景画面。有效准确地重建场景的背景，是基于差分图像的目标提取的基础，当前帧图像与背景图像差分后，运动的目标区域由于差异较大，在差分后的图像中像素值较高，而静态背景区域，由于其画面跟背景画面基本一致，差分后的像素值很小。
一般的基于帧图像均值进行背景重建方法，一直对帧图像按时间进行均值积累，均值积累的背景图像其边缘模糊，画面对比度较小，不利于有效准确地提取到目标的轮廓。一般的基于相领帧间差分分割静态背景和动态前景来重构场景背景，在于两帧的间隔较大，运动目标在两帧之间几乎不存在交叠，或交叠很小。基于这种时间间隔较远帧的差分，差分图像中不存在因运动目标本身交叠，同时交叠区域灰度变化较小的情况下，将目标区域也当做背景区域，导致学习速度慢、特别是运动目标较大、运动速度较慢的情况下，如果运动目标区域的灰度变化比较平缓，学习的背景出现较大的错误。这种错误同时也会积累随着时间而不断积累进背景图像，导致背景重建失败。
发明内容
本发明主要解决的技术问题是提供一种智能视频监控用结构化背景重建方法，能够结合帧平均图像时间积累和背景区域分割两种方法相结合的背景学习方法，可快速、有效、清晰地重建监控场景的静态背景画面。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种智能视频监控用结构化背景重建方法，包括：图像帧获取与更新模块、画面运动光流估计模块、画面分割模块、图像均值模块、背景局部重建模块、背景重建状态检测模块、输出背景模块；
通过所述图像帧获取与更新模块获取与更新图像；
所述画面运动光流估计模块检测所述图像的全画面运动光流，记入缓存中的运动光流队列，并判断运动状态；
所述画面分割模块进一步对动态的帧间画面进行分割，区分出静态、动态、由静态到动态、由动态到静态四类区域；
所述图像均值模块以静态区域为掩膜模板，根据不同的画面状态，更新两幅图像中静态画面部分；
所述背景局部重建模块将静态区域的像素均值填补到背景图相对应位置；
所述背景重建状态检测模块计算背景画面重建的百分比，是否完成重建，如果没有完成，回到第一步获取新的图像帧，继续画面分割，进行帧画面分割和背景重建，如果完成，则将背景通过输出背景模块输出。
在本发明一个较佳实施例中，所述图像帧获取与更新模块在更新帧图像时，每次在更新当前帧图像时，都与前一帧图像的时间间隔间隔2~30秒。
在本发明一个较佳实施例中，所述画面运动光流估计模块将全画面分成大小相等的小区域，每个小区域内进行运动估计，计算各小画面的运动矢量，记入缓存中的运动光流队列；从第三帧开始，每次估计完成，都根据前后帧运动间的关系，判断各类运动状态：持续静止、持续运动、从静止到开始运动、从运动到开始静止。
在本发明一个较佳实施例中，所述画面分割模块进一步对动态帧画面分割进行确认，确定区分出静态和动态区域的正确性；首先需要进一步判定上一步更新帧的图像是否是有效帧，如果是无效图像，需要重新抓图；需要进行以下两种判断：1）计算差分图像的灰度均值AvgDiff，如果灰度均值过大，说明两帧间存在背景亮度变化，可能是某些物体的反光、阳光变化、夜间车灯等，预设一亮度阈值LThres,如果AvgDiff>LThres,则认为出现了亮度变化，则放弃该帧，略过10帧，回到上一步，重新抓一帧；2）计算相邻图像差分后的图像中运动部分的面积占整个画面面积的百分比，如果运动部分超过画面的50%，则放弃该帧，略过10帧，回到上一步，重新抓一帧。
在本发明一个较佳实施例中，所述图像均值模块以持续保持静态的区域为掩膜模板，将两幅图像中静态画面部分求均值；上一步差分的图像，先使用平滑滤波，滤掉噪声，然后进行二值化，以上一步计算得到的灰度均值AvgDiff作为二值化的阈值BThres，由于目标区域差分后的亮度较亮，二值化前，所以需要对BThres进行修正，BThres=AvgDiff*1.1+5，使用修正后的阈值再二值化，进一步有效消除掩膜中的小运动噪声。
在本发明一个较佳实施例中，所述背景局部重建模块根据画面分割模块中的四种区域情况分别作不同的处理：1）将持续保持静态区域，将像素均值填补到背景图相对应位置；2）持续动态区域，画面不能更新，画面保持不变；3）从动态到静止的区域，由于运动物体停止运动造成，该区域内运动物体覆盖住背景，所以当前区域的画面为运动物体，区域不能更新，只进行亮度调整；4）从静止转为运动的区域，由于静止物体开始运动造成，如果区域从未没有更新过，即从背景学习图像直接拷贝新像素覆盖原来由物体遮挡的部分；如果以前有过更新，则调用均值算法进行像素更新。
在本发明一个较佳实施例中，所述背景重建状态检测模块计算背景画面重建的百分比，是否完成重建，如果没有完成，回到第一步获取新的帧图像，继续画面分割，进行帧画面分割和背景重建；画面分割模块在分割出背景区域后，将背景掩膜图和背景更新区域模板图进行或运算，每次被更新的背景区域记入已更新区域模板图，更新完毕后，计算未被更新的部分，如果仍然后未被更新的部分，则回到起始，进行下一次背景更新；如果已经全部更新完毕，则结束背景重建，从输出背景模块输出。
本发明的有益效果是：本发明在采集帧图像数据的时候，不是采集相邻帧，而是间隔一段时间采集，采集到得图像中，运动目标没有交叠部分，虽然这种方法每次重建的背景区域较小，但是重建的准确度很高，不会出现重建错误；
本发明结合了帧平均图像时间积累和背景区域分割两种方法相结合的背景学习方法，可快速、有效、清晰地重建监控场景的静态背景画面；
本发明采用运动估计的前后景分割算法，可以有效区分图像中的真实与虚假运动，有效检测出从静止到运动和从运动到静止的区别，从而消除复杂运动情景下的背景更新。
附图说明
图1是本发明智能视频监控用结构化背景重建方法一较佳实施例的结构示意图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
请参阅图1，本发明实施例包括：
一种智能视频监控用结构化背景重建方法，包括：图像帧获取与更新模块、画面运动光流估计模块、画面分割模块、图像均值模块、背景局部重建模块、背景重建状态检测模块、输出背景模块。
通过所述图像帧获取与更新模块获取与更新图像；所述画面运动光流估计模块检测所述图像的全画面运动光流，记入缓存中的运动光流队列，并判断运动状态；所述画面分割模块进一步对动态的帧间画面进行分割，区分出静态、动态、由静态到动态、由动态到静态四类区域；所述图像均值模块以静态区域为掩膜模板，根据不同的画面状态，更新两幅图像中静态画面部分；所述背景局部重建模块将静态区域的像素均值填补到背景图相对应位置；所述背景重建状态检测模块计算背景画面重建的百分比，是否完成重建，如果没有完成，回到第一步获取新的图像帧，继续画面分割，进行帧画面分割和背景重建，如果完成，则将背景通过输出背景模块输出。
所述图像帧获取与更新模块在更新帧图像时，每次在更新当前帧图像时，都与前一帧图像的时间间隔间隔2~30秒。本发明优选间隔2~3秒，考虑到场景的背景亮度可能因为天气原因而缓慢变化，所以不要超过30秒。
所述画面运动光流估计模块将全画面分成大小相等的小区域，每个小区域内进行运动估计，计算各小画面的运动矢量，记入缓存中的运动光流队列；从第三帧开始，每次估计完成，都根据前后帧运动间的关系，判断各类运动状态：持续静止、持续运动、从静止到开始运动、从运动到开始静止。
所述画面分割模块进一步对动态帧画面分割进行确认，确定区分出静态和动态区域的正确性；首先需要进一步判定上一步更新帧的图像是否是有效帧，如果是无效图像，需要重新抓图；需要进行以下两种判断：1）计算差分图像的灰度均值AvgDiff，如果灰度均值过大，说明两帧间存在背景亮度变化，可能是某些物体的反光、阳光变化、夜间车灯等，预设一亮度阈值LThres,如果AvgDiff>LThres,则认为出现了亮度变化，则放弃该帧，略过10帧，回到上一步，重新抓一帧；2）计算相邻图像差分后的图像中运动部分的面积占整个画面面积的百分比，如果运动部分超过画面的50%，则放弃该帧，略过10帧，回到上一步，重新抓一帧。
所述图像均值模块以持续保持静态的区域为掩膜模板，将两幅图像中静态画面部分求均值；上一步差分的图像，先使用平滑滤波，滤掉噪声，然后进行二值化，以上一步计算得到的灰度均值AvgDiff作为二值化的阈值BThres，由于目标区域差分后的亮度较亮，二值化前，所以需要对BThres进行修正，BThres=AvgDiff*1.1+5，使用修正后的阈值再二值化，进一步有效消除掩膜中的小运动噪声。
所述背景局部重建模块根据画面分割模块中的四种区域情况分别作不同的处理：1）将持续保持静态区域，将像素均值填补到背景图相对应位置。由于上一步比较准确分割到背景区域，可直接将当前帧图像的被认为是背景的区域，拷贝到背景图像中，以更新背景区域。更新后的背景图像中，可能仍然存在运动目标，需要对其他几种状态对背景进行更新状态判断处理。2）持续动态区域，这是由于运动物体较大，运动物体在相邻帧画面由本身遮挡噪声，故这部份画面不能更新，而是保持不变。3）从动态到静止区域，这种状态是由运动物体停止运动造成，因此，该区域位运动物体覆盖住背景，所以当前该区域的画面为运动物体，故该区域不能更新，但是由于全图像亮度可能变化，所以该区域根据领域画面亮度变化，只进行亮度调整。4）从静止到动态区域。这时由于静止物体开始运动造成，这种情况比较复杂，分为两种：a)如果该区域一直没有更新过，即从背景学习图像直接拷贝新像素覆盖原来由物体遮挡的部分；b）如果以前有过更新，则调用均值算法进行像素更新。
所述背景重建状态检测模块计算背景画面重建的百分比，是否完成重建，如果没有完成，回到第一步获取新的帧图像，继续画面分割，进行帧画面分割和背景重建；画面分割模块在分割出背景区域后，将背景掩膜图和背景更新区域模板图进行或运算，每次被更新的背景区域记入已更新区域模板图，更新完毕后，计算未被更新的部分，如果仍然后未被更新的部分，则回到起始，进行下一次背景更新；如果已经全部更新完毕，则结束背景重建，从输出背景模块输出。
本发明的具体工作过程为：
由于监控相机绝大多数都固定不动，背景图像比较稳定，序列图像的变化主要来源于运动物体，最简单的分割方法为先估计每个像素的光流，然后应用静态矢量图像分割方法对像素进行分类。
基于光流的运动分析可以从时间相邻帧的像素梯度最小的方向获得，静止区域像素的梯度方向显然与图像平面法线平行，其它方向则为运动区域，定义帧间时间间隔为1，运动目标在时空图像体中的速度V=(u,v,1)，其中u、v分别为x、y方向的速度，时间轴方向的速度为1。像素灰度值 
在速度V方向上变化为0，即
。显然，对应静止物体，其运动方向跟图像平面的法线平行u=v=0。
在时间体图像中计算运动方向，跟基于平面图像进行运动估计相似，以(x,y,t)像素为中心，取邻域像素，包括空间相邻和时间相邻的像素，共3×3×3=27个像素集合。为简化起见，可在x-t图像中以小窗口为基准进行运动估计，计算其最匹配位置，即计算下式最小值：
通过对窗函数进一步简化，上式可记为矩阵形式：
进一步简化为求下式最小值：
上式可通过最小二乘法求解。上式在图像每个小区域中进行，可计算出画面的运动矢量场，在运动矢量为零的地方即为静止的背景区域，大于零的地方为运动物体。据此可将画面中的运动物体从背景中分割出来。
由于大部分实际图像序列所表达的场景中包含多个运动或运动物体，上述光流运动分割虽然可以从从图像序列中分割出某个或某些特定的运动物体或区域，只要在这些独立运动区域内，运动场为均匀的，如其运动模型可以是常量、线性或二次等等。一般来说，运动区域对应于独立物体，可以由其灰度、颜色和纹理来区分。但由于光流估计对噪声很敏感，且区域均匀性较差，因此在没有附加约束时，分割有很大的难度。同静态图像分割一样，有效的运动分割取决于合适的特征选取，如果仅采用灰度、颜色和纹理特征并利用标准的图像分割方法则不一定仍然有效。
为了准确地进行四类运动类型的区分，在图像分割前，对每一个运动区域进行跟踪，本发明为提高跟踪的可靠性，建立目标特征值，采用特征匹配，提高估计的准确性。
首先在在每一个运动区域里提取一个特征点最为代表点。提取的特征为极值点，可以是十字点和拐点等，其中特征矢量模最大的点作为代表点。后续帧采用同样的画面分割和特征提取算子提取特征。
特征点匹配时，将参考帧中的特征点与后续帧中提取出来的特征点按匹配规则进行对应点匹配计算，计算出每个区域中相对应的所有特征点。常见的匹配方法有两种；点点匹配和点集匹配，各有利弊。由于前后各帧的运动区域都已分割出来，与最近相邻的几个运动区域特征点进行匹配，采用点—点集匹配法。该方法中，首先将图像中的子区域编号。为了降低误匹配，后续帧中每个区域除了代表点之外，还有两三个特征强度略低的特征点，这些点都是相似候选点。匹配分为两步：第一步，将参考帧中的特征点，与后续帧中来自相同区域位置的相似候选点进行匹配。如果该区域没有点能与之匹配，再与周围8个邻域区域的特征点进行匹配。为了加快匹配速度，与周围点匹配的时候，先与代表点进行匹配，如果仍然没有找到匹配点，再与相似候选点匹配，直至找到匹配特征点。
考虑到运动物体对背景的遮挡，有些特征点可能暂时被遮挡，因此，对于没有找到匹配点的特征点tx，并非立即从特征点集合T(t1,t2,…tx…tn)中剔除，而是做上标记tx’=>T(t1,t2,…tx’…tn)，只有这些点经过多次匹配后仍然没有不能找到匹配点，如果经过一段时间后找到了匹配点，重新将该点的标志置为有效特征点。无效特征点的运动矢量计为-1，不影响后续的移动判断。
计算所有特征点的运动矢量，没有找到对应特征点的区域默认其运动矢量为负值，忽略不计。将所有特征点的特征矢量建立画面结构的运动矢量场，然后进行滤波。采用中值滤波法，将每个特征矢量与周围小区域的特征矢量排序，区中值，如果中值与原有值相似，则原有值正确。如果两者相差较大，则取中值代替原有值。滤波后的矢量场里，滤除了错误匹配的矢量。
建立四类运动区域。根据各子区域前后运动矢量间的变化，将画面分成四种区域：如果前后三帧中该区域的矢量都为零，则该帧尾持续静止状态，记为第一类；反之，如果前后三帧中该区域的矢量都大于零，则该帧尾持续运动状态，记为第二类；如果前后三帧中该区域的前两个矢量为零，后一个矢量大于零，则该帧从静止开始进入运动状态，记为第三类；如果前后三帧中该区域的前两个矢量大于零，后一个矢量为零，则该帧从运动开始进入静止状态，记为第四类；
四类运动分别采用不同的更新方法，背景局部重建模块根据画面分割中的四种情况分别作不同的处理。1）第一类持续静止区域，直接调用图像均值模块进行像素均值即可。由于上一步比较准确分割到背景区域，可直接将当前帧图像的被认为是背景的区域，拷贝到背景图像中，以更新背景区域。更新后的背景图像中，可能仍然存在运动目标，需要对其他几种状态对背景进行更新状态判断处理。2）第二类，持续运动区域，不更新。这是由于运动物体较大，运动物体在相邻帧画面由本身遮挡噪声，故这部份画面不能更新，而是保持不变。3）第三类，从运动转转为静止的区域，由于这种状态是由运动物体停止运动造成，因此该区域背景处于被运动物体覆盖住的状态，所以当前该区域的画面为运动物体，故该区域不能更新，但是由于全图像亮度可能变化，所以该区域根据领域画面亮度变化，只进行亮度调整。4）第四类，从静止转为运动的区域。这时由于静止物体开始运动造成，这种情况比较复杂，分为两种：a)如果该区域一直没有更新过，表明物体从来没有运动，这是第一次运动，而从前该区域的物体一直当作背景处理的，这是要更正错误。所以要从背景学习图像直接拷贝新像素覆盖原来由物体遮挡的部分；b）如果以前有过更新，即如果该区域以前是运动物体变为静止后被遮挡，则调用均值算法进行像素更新。
上述四类处理方法，包含所有的背景运动状态，可见，本发明对这四类都进行了不同的对应处理方法，可有效解决各种情境下的背景学习错误。四类运动区域的分割方法可能有各种，但是其基本思想不变。
本发明在采集帧图像数据的时候，不是采集相邻帧，而是间隔一段时间采集，采集到得图像中，运动目标没有交叠部分，虽然这种方法每次重建的背景区域较小，但是重建的准确度很高，不会出现重建错误；
本发明结合了帧平均图像时间积累和背景区域分割两种方法相结合的背景学习方法，可快速、有效、清晰地重建监控场景的静态背景画面；
本发明采用运动估计的前后景分割算法，可以有效区分图像中的真实与虚假运动，有效检测出从静止到运动和从运动到静止的区别，从而消除复杂运动情景下的背景更新。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (7)
1.一种智能视频监控用结构化背景重建方法，其特征在于，包括：图像帧获取与更新模块、画面运动光流估计模块、画面分割模块、图像均值模块、背景局部重建模块、背景重建状态检测模块、输出背景模块；
通过所述图像帧获取与更新模块获取与更新图像；
所述画面运动光流估计模块检测所述图像的全画面运动光流，记入缓存中的运动光流队列，并判断运动状态；
所述画面分割模块进一步对动态的帧间画面进行分割，区分出静态、动态、由静态到动态、由动态到静态四类区域；
所述图像均值模块以静态区域为掩膜模板，根据不同的画面状态，更新两幅图像中静态画面部分；
所述背景局部重建模块将静态区域的像素均值填补到背景图相对应位置；
所述背景重建状态检测模块计算背景画面重建的百分比，是否完成重建，如果没有完成，回到第一步获取新的图像帧，继续画面分割，进行帧画面分割和背景重建，如果完成，则将背景通过输出背景模块输出。
2.根据权利要求1所述的智能视频监控用结构化背景重建方法，其特征在于，所述图像帧获取与更新模块在更新帧图像时，每次在更新当前帧图像时，都与前一帧图像的时间间隔间隔2~30秒。
3.根据权利要求1所述的智能视频监控用结构化背景重建方法，其特征在于，所述画面运动光流估计模块将全画面分成大小相等的小区域，每个小区域内进行运动估计，计算各小画面的运动矢量，记入缓存中的运动光流队列；从第三帧开始，每次估计完成，都根据前后帧运动间的关系，判断各类运动状态：持续静止、持续运动、从静止到开始运动、从运动到开始静止。
4.根据权利要求1所述的智能视频监控用结构化背景重建方法，其特征在于，所述画面分割模块进一步对动态帧画面分割进行确认，确定区分出静态和动态区域的正确性；首先需要进一步判定上一步更新帧的图像是否是有效帧，如果是无效图像，需要重新抓图；需要进行以下两种判断：1）计算差分图像的灰度均值AvgDiff，如果灰度均值过大，说明两帧间存在背景亮度变化，可能是某些物体的反光、阳光变化、夜间车灯等，预设一亮度阈值LThres,如果AvgDiff>LThres,则认为出现了亮度变化，则放弃该帧，略过10帧，回到上一步，重新抓一帧；2）计算相邻图像差分后的图像中运动部分的面积占整个画面面积的百分比，如果运动部分超过画面的50%，则放弃该帧，略过10帧，回到上一步，重新抓一帧。
5.根据权利要求1所述的智能视频监控用结构化背景重建方法，其特征在于，所述图像均值模块以持续保持静态的区域为掩膜模板，将两幅图像中静态画面部分求均值；上一步差分的图像，先使用平滑滤波，滤掉噪声，然后进行二值化，以上一步计算得到的灰度均值AvgDiff作为二值化的阈值BThres，由于目标区域差分后的亮度较亮，二值化前，所以需要对BThres进行修正，BThres=AvgDiff*1.1+5，使用修正后的阈值再二值化，进一步有效消除掩膜中的小运动噪声。
6.根据权利要求1所述的智能视频监控用结构化背景重建方法，其特征在于，所述背景局部重建模块根据画面分割模块中的四种区域情况分别作不同的处理：1）将持续保持静态区域，将像素均值填补到背景图相对应位置；2）持续动态区域，画面不能更新，画面保持不变；3）从动态到静止的区域，由于运动物体停止运动造成，该区域内运动物体覆盖住背景，所以当前区域的画面为运动物体，区域不能更新，只进行亮度调整；4）从静止转为运动的区域，由于静止物体开始运动造成，如果区域从未没有更新过，即从背景学习图像直接拷贝新像素覆盖原来由物体遮挡的部分；如果以前有过更新，则调用均值算法进行像素更新。
7.根据权利要求1所述的智能视频监控用结构化背景重建方法，其特征在于，所述背景重建状态检测模块计算背景画面重建的百分比，是否完成重建，如果没有完成，回到第一步获取新的帧图像，继续画面分割，进行帧画面分割和背景重建；画面分割模块在分割出背景区域后，将背景掩膜图和背景更新区域模板图进行或运算，每次被更新的背景区域记入已更新区域模板图，更新完毕后，计算未被更新的部分，如果仍然后未被更新的部分，则回到起始，进行下一次背景更新；如果已经全部更新完毕，则结束背景重建，从输出背景模块输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210256723.9A CN102833464B (zh) | 2012-07-24 | 2012-07-24 | 智能视频监控用结构化背景重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210256723.9A CN102833464B (zh) | 2012-07-24 | 2012-07-24 | 智能视频监控用结构化背景重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102833464A true CN102833464A (zh) | 2012-12-19 |
| CN102833464B CN102833464B (zh) | 2015-06-17 |
Family
ID=47336418
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210256723.9A Expired - Fee Related CN102833464B (zh) | 2012-07-24 | 2012-07-24 | 智能视频监控用结构化背景重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102833464B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105869190A (zh) * | 2015-01-22 | 2016-08-17 | 富士通株式会社 | 背景图像的重建方法、装置以及监控设备 |
| CN106846360A (zh) * | 2017-01-28 | 2017-06-13 | 三峡大学 | 一种防止暂停目标错误融入背景的方法 |
| CN108305267A (zh) * | 2018-02-14 | 2018-07-20 | 北京市商汤科技开发有限公司 | 物体分割方法、装置、设备、存储介质及程序 |
| CN109272535A (zh) * | 2018-09-07 | 2019-01-25 | 广东中粤电力科技有限公司 | 一种基于图像识别的配电房安全区预警方法 |
| CN109472811A (zh) * | 2017-09-08 | 2019-03-15 | 三星Sds株式会社 | 非感兴趣客体的掩膜处理方法 |
| CN109729231A (zh) * | 2018-12-17 | 2019-05-07 | 中国科学院深圳先进技术研究院 | 一种文件扫描方法、装置及设备 |
| CN111798481A (zh) * | 2019-04-09 | 2020-10-20 | 杭州海康威视数字技术股份有限公司 | 图像序列分割方法及装置 |
| CN112652021A (zh) * | 2020-12-30 | 2021-04-13 | 深圳云天励飞技术股份有限公司 | 相机偏移检测方法、装置、电子设备及存储介质 |
| CN112669294A (zh) * | 2020-12-30 | 2021-04-16 | 深圳云天励飞技术股份有限公司 | 相机遮挡检测方法、装置、电子设备及存储介质 |
| CN112887611A (zh) * | 2021-01-27 | 2021-06-01 | 维沃移动通信有限公司 | 图像处理方法、装置、设备和存储介质 |
| WO2023056833A1 (zh) * | 2021-10-09 | 2023-04-13 | 北京字节跳动网络技术有限公司 | 背景图生成、图像融合方法、装置、电子设备及可读介质 |
| CN116342891A (zh) * | 2023-05-24 | 2023-06-27 | 济南科汛智能科技有限公司 | 一种适用于自闭症儿童结构化教学监控数据管理系统 |
| CN116453246A (zh) * | 2023-06-12 | 2023-07-18 | 深圳市众联视讯科技有限公司 | 识别门外物件且可报警的智能门锁及识别报警方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101216888A (zh) * | 2008-01-14 | 2008-07-09 | 浙江大学 | 基于快速图像配准的视角变化条件下视频前景提取方法 |
| CN101609556A (zh) * | 2008-06-19 | 2009-12-23 | 青岛海信电子产业控股股份有限公司 | 一种背景提取方法 |
| CN101621615A (zh) * | 2009-07-24 | 2010-01-06 | 南京邮电大学 | 一种自适应背景建模及运动目标检测方法 |
| CN101916449A (zh) * | 2010-08-21 | 2010-12-15 | 上海交通大学 | 建立图像处理中基于运动信息的背景模型的方法 |
| JP4746568B2 (ja) * | 2007-01-16 | 2011-08-10 | ヤフー株式会社 | 情報提供装置、情報提供方法、及びプログラム |
-
2012
- 2012-07-24 CN CN201210256723.9A patent/CN102833464B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4746568B2 (ja) * | 2007-01-16 | 2011-08-10 | ヤフー株式会社 | 情報提供装置、情報提供方法、及びプログラム |
| CN101216888A (zh) * | 2008-01-14 | 2008-07-09 | 浙江大学 | 基于快速图像配准的视角变化条件下视频前景提取方法 |
| CN101609556A (zh) * | 2008-06-19 | 2009-12-23 | 青岛海信电子产业控股股份有限公司 | 一种背景提取方法 |
| CN101621615A (zh) * | 2009-07-24 | 2010-01-06 | 南京邮电大学 | 一种自适应背景建模及运动目标检测方法 |
| CN101916449A (zh) * | 2010-08-21 | 2010-12-15 | 上海交通大学 | 建立图像处理中基于运动信息的背景模型的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 胡燕 等: "视频监控中背景的提取和更新算法", 《计算机技术与自动化》 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105869190A (zh) * | 2015-01-22 | 2016-08-17 | 富士通株式会社 | 背景图像的重建方法、装置以及监控设备 |
| CN106846360A (zh) * | 2017-01-28 | 2017-06-13 | 三峡大学 | 一种防止暂停目标错误融入背景的方法 |
| CN109472811A (zh) * | 2017-09-08 | 2019-03-15 | 三星Sds株式会社 | 非感兴趣客体的掩膜处理方法 |
| CN108305267A (zh) * | 2018-02-14 | 2018-07-20 | 北京市商汤科技开发有限公司 | 物体分割方法、装置、设备、存储介质及程序 |
| CN108305267B (zh) * | 2018-02-14 | 2020-08-11 | 北京市商汤科技开发有限公司 | 物体分割方法、装置、设备、存储介质及程序 |
| CN109272535A (zh) * | 2018-09-07 | 2019-01-25 | 广东中粤电力科技有限公司 | 一种基于图像识别的配电房安全区预警方法 |
| CN109729231A (zh) * | 2018-12-17 | 2019-05-07 | 中国科学院深圳先进技术研究院 | 一种文件扫描方法、装置及设备 |
| CN111798481B (zh) * | 2019-04-09 | 2023-10-20 | 杭州海康威视数字技术股份有限公司 | 图像序列分割方法及装置 |
| CN111798481A (zh) * | 2019-04-09 | 2020-10-20 | 杭州海康威视数字技术股份有限公司 | 图像序列分割方法及装置 |
| CN112652021A (zh) * | 2020-12-30 | 2021-04-13 | 深圳云天励飞技术股份有限公司 | 相机偏移检测方法、装置、电子设备及存储介质 |
| CN112669294A (zh) * | 2020-12-30 | 2021-04-16 | 深圳云天励飞技术股份有限公司 | 相机遮挡检测方法、装置、电子设备及存储介质 |
| CN112669294B (zh) * | 2020-12-30 | 2024-04-02 | 深圳云天励飞技术股份有限公司 | 相机遮挡检测方法、装置、电子设备及存储介质 |
| CN112652021B (zh) * | 2020-12-30 | 2024-04-02 | 深圳云天励飞技术股份有限公司 | 相机偏移检测方法、装置、电子设备及存储介质 |
| CN112887611A (zh) * | 2021-01-27 | 2021-06-01 | 维沃移动通信有限公司 | 图像处理方法、装置、设备和存储介质 |
| WO2023056833A1 (zh) * | 2021-10-09 | 2023-04-13 | 北京字节跳动网络技术有限公司 | 背景图生成、图像融合方法、装置、电子设备及可读介质 |
| CN116342891A (zh) * | 2023-05-24 | 2023-06-27 | 济南科汛智能科技有限公司 | 一种适用于自闭症儿童结构化教学监控数据管理系统 |
| CN116342891B (zh) * | 2023-05-24 | 2023-08-15 | 济南科汛智能科技有限公司 | 一种适用于自闭症儿童结构化教学监控数据管理系统 |
| CN116453246A (zh) * | 2023-06-12 | 2023-07-18 | 深圳市众联视讯科技有限公司 | 识别门外物件且可报警的智能门锁及识别报警方法 |
| CN116453246B (zh) * | 2023-06-12 | 2024-02-02 | 深圳市众联视讯科技有限公司 | 识别门外物件且可报警的智能门锁及识别报警方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102833464B (zh) | 2015-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102833464A (zh) | 智能视频监控用结构化背景重建方法 | |
| CN100595792C (zh) | 基于视频技术的车辆检测与跟踪方法 | |
| CN111724439B (zh) | 一种动态场景下的视觉定位方法及装置 | |
| CN102073851B (zh) | 一种城市交通事故自动识别方法和系统 | |
| CN105046198B (zh) | 一种车道检测方法 | |
| CN110390292B (zh) | 基于动态关联模型的遥感视频车辆目标检测与跟踪方法 | |
| CN103077539A (zh) | 一种复杂背景及遮挡条件下的运动目标跟踪方法 | |
| CN104063885A (zh) | 一种改进的运动目标检测与跟踪方法 | |
| CN106952474B (zh) | 基于运动车辆检测的车流量统计方法 | |
| CN106296725A (zh) | 运动目标实时检测与跟踪方法及目标检测装置 | |
| CN102831617A (zh) | 一种运动目标检测与跟踪的方法和系统 | |
| CN102184552A (zh) | 一种基于差分融合与图像边缘信息的运动目标检测方法 | |
| CN102496281B (zh) | 一种基于跟踪与虚拟线圈结合的车辆闯红灯检测方法 | |
| CN103729858A (zh) | 一种视频监控系统中遗留物品的检测方法 | |
| CN103049787A (zh) | 一种基于头肩特征的人数统计方法和系统 | |
| CN105631831A (zh) | 一种雾霾条件下视频图像增强方法 | |
| CN102663362A (zh) | 一种基于灰度特征的运动目标检测方法 | |
| CN112561951B (zh) | 一种基于帧差绝对误差和sad的运动和亮度检测方法 | |
| CN103778785A (zh) | 一种基于停车场环境视频监控的车辆跟踪与检测方法 | |
| CN105931267A (zh) | 一种基于改进ViBe算法的运动物体检测跟踪方法 | |
| CN102930719A (zh) | 用于交通路口场景并基于网络物理系统的视频图像前景检测方法 | |
| CN101420536A (zh) | 视频流背景图像建模方法 | |
| CN103473547A (zh) | 一种用于智能交通检测系统的车辆目标物识别算法 | |
| CN102609957A (zh) | 一种摄像装置画面偏移检测方法及系统 | |
| CN104662560A (zh) | 一种视频图像处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| ASS | Succession or assignment of patent right |
Owner name: CHANGZHOU ZHANHUA ROBOT CO., LTD. Free format text: FORMER OWNER: CHANGZHOU TAIYU INFORMATION TECHNOLOGY CO., LTD. Effective date: 20150414 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20150414 Address after: 213000 Wujin City, Jiangsu province high tech Development Zone, Chang Wu South Road, No. 588, the first phase of the city of A (Tian An Innovation square 405-1) Applicant after: CHANGZHOU ZHANHUA ROBOT Co.,Ltd. Address before: 213000, No. 213, ERON South Road, Jiangsu Economic Development Zone, Changzhou bell tower, No. 8829, high tech Innovation Service Center building, Changzhou bell tower Applicant before: Changzhou Taiyu Information Technology Co.,Ltd. |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20121219 Assignee: CHANGZHOU TELEVIC-KTK ELECTRONICS Co.,Ltd. Assignor: CHANGZHOU ZHANHUA ROBOT Co.,Ltd. Contract record no.: 2015320010106 Denomination of invention: Method for structurally reconstructing background for intelligent video monitoring Granted publication date: 20150617 License type: Exclusive License Record date: 20150624 |
|
| LICC | Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150617 |