CN107872644A - 视频监控方法及装置 - Google Patents

视频监控方法及装置 Download PDF

Info

Publication number
CN107872644A
CN107872644A CN201610849331.1A CN201610849331A CN107872644A CN 107872644 A CN107872644 A CN 107872644A CN 201610849331 A CN201610849331 A CN 201610849331A CN 107872644 A CN107872644 A CN 107872644A
Authority
CN
China
Prior art keywords
moving object
frame image
target
gaussian
tracking target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610849331.1A
Other languages
English (en)
Other versions
CN107872644B (zh
Inventor
马永壮
王勇
王力维
张文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bright Oceans Inter Telecom Co Ltd
Original Assignee
Bright Oceans Inter Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bright Oceans Inter Telecom Co Ltd filed Critical Bright Oceans Inter Telecom Co Ltd
Priority to CN201610849331.1A priority Critical patent/CN107872644B/zh
Publication of CN107872644A publication Critical patent/CN107872644A/zh
Application granted granted Critical
Publication of CN107872644B publication Critical patent/CN107872644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例目的在于提供视频监控方法及装置，以减少动态背景的影响。该方法包括获取当前帧图像，所述当前帧图像表示为第n帧图像；使用混合高斯背景模型，从所述第n帧图像中分离出前景区域；从所述前景区域中确定出运动物体；对所述运动物体进行伪目标过滤处理，以确定出真正的跟踪目标；对所述跟踪目标进行目标跟踪；获取所述跟踪目标的运动轨迹信息并保存。在本发明实施例中，在确定出运动物体后，会对运动物体进行伪目标过滤处理，以去除动态背景中的伪目标，最终得到干净的跟踪目标的运动轨迹，为之后的智能行为分析提供了良好的基础。

Description

视频监控方法及装置
技术领域
本发明涉及计算机领域，特别是涉及视频监控方法及装置。
背景技术
智能视频监控，可基于跟踪目标的运动轨迹信息进行智能行为分析。
在智能视频监控场景中，经常会受动态背景的影响(例如雪花、雨滴，树影晃动、水波晃动等)的影响，而出现漏错报。此外，光线突变等，也会导致视频监控中出现误报。
而目前的技术都无法很好的解决动态背景影响的问题。
发明内容
本发明实施例的目的是提供视频监控方法及装置，以减少动态背景的影响。
为实现上述目的，本发明提供了如下方案：
一种视频监控方法，包括：获取当前帧图像，所述当前帧图像表示为第n帧图像；使用混合高斯背景模型，从所述第n帧图像中分离出前景区域；从所述前景区域中确定出运动物体；对所述运动物体进行伪目标过滤处理，以确定出真正的跟踪目标；对所述跟踪目标进行目标跟踪；获取所述跟踪目标的运动轨迹信息并保存；其中，所述伪目标过滤处理包括：统计所述运动物体在预设时长内的出现总时间，若所述运动物体的出现总时间小于预设阈值时，将所述运动物体作为伪目标过滤；获取所述运动物体的像素高度，并根据所述运动物体的像素高度估算所述运动物体的实际高度；判断估算出的所述运动物体的实际高度是否满足预设的高度条件；若不满足，将所述运动物体作为伪目标过滤；所述对所述跟踪目标进行目标跟踪包括:采用卡尔曼滤波方式根据所述跟踪目标在第n-p帧图像中的位置，预测所述跟踪目标在所述第n帧图像中的位置，获取预测出的位置的LBP特征，作为所述跟踪目标在所述第n帧图像中的LBP特征；比对所述跟踪目标在所述第n帧图像中的LBP特征，与所述跟踪目标在第n-p帧图像中的LBP特征，以及，比对在第n帧图像中检测出的运动物体的LBP特征与所述跟踪目标在第n-p帧图像中的LBP特征；若跟踪目标在n-p帧图像中的LBP特征与该跟踪目标在第n帧图像中检测出的运动物体的LBP特征相符，或者，跟踪目标在n-p帧图像中的LBP特征与在第n帧图像中检测出的运动物体的LBP特征相符，确定所述跟踪目标在所述第n帧图像中被跟踪上；p为不小于1的正整数。
一种视频监控装置，包括：前景处理模块，用于获取当前帧图像，所述当前帧图像表示为第n帧图像；使用混合高斯背景模型，从所述第n帧图像中分离出前景区域；伪目标过滤模块，用于从所述前景区域中确定出运动物体，对所述运动物体进行伪目标过滤处理，以确定出真正的跟踪目标；目标跟踪模块，用于对所述跟踪目标进行目标跟踪；运动轨迹获取模块，用于获取所述跟踪目标的运动轨迹信息并保存；其中，所述伪目标过滤模块用于：统计所述运动物体在预设时长内的出现总时间，若所述运动物体的出现总时间小于预设阈值时，将所述运动物体作为伪目标过滤；获取所述运动物体的像素高度，并根据所述运动物体的像素高度估算所述运动物体的实际高度；判断估算出的所述运动物体的实际高度是否满足预设的高度条件；若不满足，将所述运动物体作为伪目标过滤；所述目标跟踪模块用于：采用卡尔曼滤波方式根据所述跟踪目标在第n-p帧图像中的位置，预测所述跟踪目标在所述第n帧图像中的位置，获取预测出的位置的LBP特征，作为所述跟踪目标在所述第n帧图像中的LBP特征；比对所述跟踪目标在所述第n帧图像中的LBP特征，与所述跟踪目标在第n-p帧图像中的LBP特征，以及，比对在第n帧图像中检测出的运动物体的LBP特征与所述跟踪目标在第n-p帧图像中的LBP特征；若跟踪目标在n-p帧图像中的LBP特征与该跟踪目标在第n帧图像中检测出的运动物体的LBP特征相符，或者，跟踪目标在n-p帧图像中的LBP特征与在第n帧图像中检测出的运动物体的LBP特征相符，确定所述跟踪目标在所述第n帧图像中被跟踪上；p为不小于1的正整数。
在本发明实施例中，在确定出运动物体后，会对运动物体进行伪目标过滤处理，以去除动态背景中的伪目标，最终得到干净的跟踪目标的运动轨迹，为之后的智能行为分析提供了良好的基础。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1、图6b为本发明实施例提供的视频监控装置示例性结构图；
图2a、图2b、图6a、图6c、图9-12，图14为本发明实施例提供的视频监控方法示例性流程图；
图3a、图3b为本发明实施例提供的同一像素点在不同帧图像中的像素值不同的示意图；
图4a、图4b为本发明实施例提供的目标框示意图；
图5a-图5e为本发明实施例提供的连通域挖空示意图；
图7a-图7c为本发明实施例提供的LBP值计算方式示例图；
图8为本发明实施例提供的景深标定示例图；
图13为本发明实施例提供的距离跟踪示意图。
具体实施方式
本发明实施例提供视频监控方法及视频监控装置,以减少动态背景的影响。
上述视频监控装置具体可为台式机、笔记本、监控服务器等。图1示出了上述视频监控装置100的一种示例性结构，至少可包括前景处理模块1、伪目标过滤模块2、目标跟踪模块3和运动轨迹获取模块4。
图2a示出了上述视频监控装置100所执行的视频监控方法的一种示例性流程，其可包括：
步骤201：获取视频流的当前帧图像。
上述视频流一般为摄像头、摄像机等拍摄装置拍摄的实时视频流。当然，上述视频流也可为历史视频流。
由于视频流包含一帧一帧的图像，视频监控装置会一帧一帧处理，视频监控装置当前进行处理的图像即为当前帧图像。为称呼方便，当前帧图像可表示为第n帧图像。
步骤202：使用混合高斯背景模型，从第n帧图像中分离出前景区域。
步骤202也可视为是运动检测。步骤201至步骤202可由前述的前景处理模块1执行。
在一个示例中，可使用上述混合高斯背景模型确定每一像素点在第n帧图像中是否为前景点，得到由前景点构成的前景区域。
需要说明的是，同一像素点在不同帧图像中，可能为前景点，也可能为背景点。并且，同一像素点在不同帧图像中的像素值也可能不同。例如，请参见图3a和图3b，像素点(x0，y0)在无飞鸟飞过的图像(图3a)中为背景点，而在有飞鸟飞过的图像(图3b)中为前景点。并且，像素点(x0，y0)在无飞鸟飞过的图像(图3a)中对应的像素值，与像素点(x0，y0)有飞鸟飞过的图像(图3b)中对应的像素值，并不相同。
这里的像素值，在彩色图像中可指RGB值，对于黑白图像而言，可指灰度值。
后续还将具体介绍如何使用上述混合高斯背景模型确定每一像素点在第n帧图像中是否为前景点。
步骤203：从上述前景区域中确定出运动物体。
在一个示例中，在确定出运动物体后，还可提取该运动物体的LBP特征，用于后续的目标跟踪。本文后续还将进行介绍。
步骤203可由前述的前景处理模块1或伪目标过滤模块2执行。
在一个示例中，请参见图2b，可使用连通域分析的方法获得运动物体的目标框(S2031)。目标框也可称为检测框。获得的目标框可为矩形框(例如，请参见图4a)，也可与运动物体的轮廓相一致(例如，请参见图4b)。
所谓连通域分析就是使用游程编码先把图像的二值图像的每一行变成块来表示，这样有利于简化数据接口，为下一步目标框提取提供的高速便利的条件。
在进行目标框提取时，可分为两步。
第一步，对前景区域进行连通域挖空。
连通域挖空包括：以前景区域中的任一运动块为中心，判断该任一运动块的邻域是否均为运动块，若是，将该任一运动块重新标记为非运动块。若否，选择下一运动块进行判断。以图5a所示，图5a中以A表示非运动块，以B表示运动块。则图5a中，被虚线框起来的运动块，会被重新标记为非运动块。重新标记后情况请参见图5b，图5b中，被虚线框起来的A，即为重新标记后的非运动块。运动块包含前景区域中的多个前景点，运动块的大小可依前景区域的大小而决定。本领域技术人员可依实际需要进行设计，在此不作赘述。
第二步，进行边界搜索。
边界搜索包括：在经连通域挖空的前景区域上，以任一运动块为起始点，对该运动块的8邻域进行判断(判断邻域块是否是运动块)，将是运动块的邻域块标记为与上述运动块同属一个物体的边界，可由起始点沿顺时针方向标记(请参见图5c)，最终回到起始点，在标记过程中同时进行坐标点的更新(主要是更新左上点坐标和右下点坐标)，最后得到整个边界的左上点和右下点坐标。例如，假定在标记过程中，请参见图5d，已标定了B1-B3同属一个物体的边界，则将左上点坐标和右下点坐标更新为矩形r1的左上点坐标和右下点坐标；之后，请参见图5e，又标定了B4与B1-B3同属一个物体的边界，则将左上点坐标和右下点坐标更新为矩形r2的左上点坐标和右下点坐标。
需要说明的是,在进行连通域分析之前，可进行腐蚀膨胀处理(S2032)。腐蚀膨胀处理具体可参照现有的技术，在此不作赘述。
至于游程编码，其基本原理是：用一个符号值或串长代替具有相同值的连续符号，使符号长度少于原始数据的长度。只在各行或者各列数据的符号发生变化时，一次记录该符号及相同符号重复的个数，从而实现数据的压缩。连续符号构成了一段连续的“行程”，行程编码因此而得名。
游程编码记录方式有两种：①逐行记录每个游程的终点列号：②逐行记录每个游程的长度(像元数)。
假定未编码前，栅格图形各符号值如下：
则采用第一种编码方式，上述栅格图形记为：
A,3，B,5
A,1，C,4，A,5。
采用第二种编码方式，上述栅格图形记为：
A,3，B,2
A,1，C,3，A,1。
步骤204：对上述运动物体进行伪目标过滤处理，以确定出真正的跟踪目标；步骤204可由前述的伪目标过滤模块2执行。
步骤205：对跟踪目标进行目标跟踪。
在一个示例中，可采用卡尔曼滤波方式和LBP特征结合来进行目标跟踪。本文后续将进行详细介绍。
步骤205可由前述的目标跟踪模块3执行。
步骤206：获取上述跟踪目标的运动轨迹信息并保存。上述运动轨迹信息可包括跟踪目标在各帧的位置信息。
步骤206可由前述的运动轨迹获取模块4执行。
在步骤206之后，还可包括步骤207：对跟踪目标进行异常行为分析或轨迹分析(请参见图2b)，比如入侵检测，绊线检测，遗留物检测等等。步骤207也可由前述的运动轨迹获取模块4执行。
可见，在本发明实施例中，在确定出运动物体后，会对运动物体进行伪目标过滤处理，以去除动态背景中的伪目标，最终得到干净的跟踪目标的运动轨迹，为之后的智能行为分析提供了良好的基础。
在本发明其他实施例中，请参见图2b，上述所有实施例中的伪目标过滤处理可包括时空跟踪2041。图2b中的各种干扰指的是过滤了各种干扰。
其中，时空跟踪可包括时间跟踪和景深标定跟踪。时空跟踪可理解为进行目标跟踪(也即图2b中的205部分)之前的前期处理。
伪目标过滤处理具体可包括如图6a的操作(也即，由LBP特征跟踪器21可执行如下操作)：
操作A：统计运动物体在预设时长内的出现总时间，若运动物体的出现总时间小于预设阈值时，将运动物体作为伪目标过滤。
操作A对应前述提及的时间跟踪。在一个示例中，若统计出同一运动物体的目标框持续在少于X帧图像中出现时，将该运动物体作为伪目标过滤。反之，若统计出同一运动物体的目标框在大于X帧的图像中连续出现，则可将其作为跟踪目标。X为正整数。可视情况设计X的取值，例如，X可取20。
需要说明的是，在一帧图像中可能检测出多个运动物体。那么，如何确定相邻两帧图像中的运动物体是否是同一物体呢？
在一个示例中，可将相邻两帧图像中目标框有重叠的运动物体，作为同一运动物体。举例来讲，第一帧图像中检测出运动物体A，第二帧图像中检测出运动物体B，若运动物体A的目标框在坐标(或位置)上，与运动物体B存在重叠区域，则运动物体A和运动物体B为同一运动物体，反之，二者不是同一运动物体。
更具体的，在步骤203中得到了运动物体的目标框后，并不立刻确定其为跟踪目标，而是将检测到的运动物体的目标框的坐标(左上角坐标和右下角坐标)存储到数据堆栈里面，如果连续的20帧图像在数据堆栈里面一直存在同一运动物体的目标框，也就是说在时间上这个运动物体一直存在的话，才认为其是真正的跟踪目标。而通常的噪音目标(例如雪花、雨滴、闪电等)很多的情况下在短时间内会消失，所以操作A可过滤一部分短暂出现的噪音目标。
操作B：获取运动物体的像素高度，并根据该运动物体的像素高度估算其实际高度；判断估算出的运动物体的实际高度是否满足预设的高度条件；若不满足，将该运动物体作为伪目标过滤。
具体的，上述像素高度可指的是运动物体的目标框的像素高度。
在一个示例中，可采用线性相机标定景深校准噪音过滤器来执行操作B，也即过滤模块2可包括线性相机标定景深校准噪音过滤器。线性相机标定景深校准噪音过滤器可过滤一些实际高度过小或过大的运动物体。例如雪花、雨滴、飞动的昆虫、摇动的高大的树等。从而可减少此类动态背景噪声的影响。
需要说明的是，传统的相机标定方法比较复杂，而且相机模型都是非线性的，并需要专用的模板，不利于与用户的交互使用。因此，在一个示例中，提供简易的相机标定方式，根据景深的原理近大远小的道理：同一运动物体，若离拍摄装置的距离越近，则其像素高度就越高，反之，离拍摄装置的距离越远，其像素高度就越小。
在本示例中，近似的假设像素高度与实际高度成线性关系。假设物体的像素高度呈现线性变化，则将物体在图像中的像素高度X代入相机模型：H＝AX+B；(1)，则可求出物体的实际高度。
其中，H表示实际高度。A、B是一次项系数和常数，A和B反映了像素高度和实际高度的线性关系。
下面将介绍如何确定上述一次项系数A和B。
请参见图8，预先在摄像机面前不同的地方对同一物体的像素高度进行标定，假定在三个不同的地方对同一物体的像素高度进行标定，则得到同一个物体在不同位置的三个像素高度：X1，X2，X3。该物体的实际高度是已知的。
则得到方程组如下：
H＝AX1+B；(1)
H＝AX2+B；(2)
H＝AX3+B；(3)
上述方程组中，A、B未知，X1，X2，X3和H已知，则可以通过求解线性方程求出A和B。
除时空跟踪，在本发明其他实施例中，伪目标过滤处理还可包括如下操作：
操作C：提取运动物体在预定时长内的运动轨迹特征，若运动轨迹特征符合伪目标的运动轨迹特征，将运动物体作为伪目标过滤。操作C可由前述的伪目标过滤模块2执行。
在一个示例中，可根据运动物体的目标框在多帧(20帧乃至更多帧)图像中的位置，来分析得到该运动物体的运动轨迹特征。
树枝摇动、水波的晃动等，都有反复运动的特征，若提取出的运动物体在预定时长内的运动轨迹特征与之相匹配，将可将其作为伪目标过滤。从而可减少树影的晃动，水波的晃动等动态背景噪声的影响。
在本发明其他实施例中，请参见图6b，目标跟踪模块3可进一步包括基于卡尔曼滤波的LBP特征跟踪器31。
请参见图6c，基于卡尔曼滤波的LBP特征跟踪器31可用于执行如下操作：
操作D1：采用卡尔曼滤波方式根据跟踪目标在第n-p帧图像中的位置，预测跟踪目标在第n帧图像中的位置(在一个示例中，预测出的跟踪目标在第n帧图像中的位置为跟踪目标的目标框的位置)；
卡尔曼滤波基本思想是：采用信号与噪声的状态空间模型，利用前一时刻的估计值(对应跟踪目标在第n-p帧的位置)，求出下一时刻的估计值(对应跟踪目标在第n帧图像中的预测位置)。
采用卡尔曼滤波方式预测位置是比较成熟的技术，在此不作赘述。
需要说明的是，由于运动存在连续性，同一运动物体在相邻两帧图像中的位置变化并不明显，因此，在一个示例中，可每隔p帧预测下运动物体的位置。p的取值可视情况而灵活设计，例如，可设计其等于4、5、8等等。
前述提及了，可以使用连通域分析的方法获得运动物体的目标框。因此，在一个示例中，预测的运动物体的位置可指预测的目标框的覆盖区域。该覆盖区域包括目标框的所有坐标(包括左上角和右下角)的预测值。
对于目标框为矩形框的设计，预测的运动物体的位置也可仅包括左上角坐标预测值或右下角坐标预测值，因为一旦得知了目标框的长宽，只要获得目标框的左上角坐标或右下角坐标，就可以确定出整个目标框的覆盖区域。
操作D2：获取预测出的位置的LBP特征，作为该跟踪目标在第n帧图像中的LBP(Local binary patterns)特征；获取预测出的位置的LBP特征也可称为LBP特征向量提取。
操作D3：提取第n帧中检测出的运动物体的LBP特征；
需要说明的是，操作D3也可在前述步骤203(从上述前景区域中确定出运动物体)中，由前景处理模块1执行。
操作D4：比对跟踪目标在第n-p帧图像中的LBP特征，与该跟踪目标在第n帧图像中的LBP特征；如何比对，可参考现有比对方式，在此不作赘述。
操作D5：比对跟踪目标在第n-p帧图像中的LBP特征，与在第n帧图像中检测出的运动物体的LBP特征；如何比对可参考现有比对方式，在此不作赘述。
假定一共有3个跟踪目标，在第n帧图像中检测出的运动物体是2个，则会将这2个检测出的运动物体分别跟这3个跟踪目标进行比对。
操作D6：判断跟踪目标在n-p帧图像中的LBP特征与该跟踪目标在第n帧图像中检测出的运动物体的LBP特征，或者，跟踪目标在n-p帧图像中的LBP特征与在第n帧图像中检测出的运动物体的LBP特征是否相符，若是，确定该跟踪目标在第n帧图像中被跟踪上，否则，确定该跟踪目标在第n帧图像中未被跟踪上。
需要说明的是，若在第n帧图像中检测出的某一运动物体的LBP特征，与所有跟踪目标的LBP特征均不相符，则认为该运动物体为新出现的运动物体。后续可对其进行时空跟踪等。
还需要说明的是，还存在一种特殊的情况：假定跟踪目标在第n-p帧图像中的LBP特征与该跟踪目标在第n帧图像中的LBP特征之间的相似度为A，跟踪目标在n-p帧图像中的LBP特征与在第n帧图像中检测出的运动物体的LBP特征之间的相似度为B，A和B均大于相似度阈值C。则可取A和B之中的较大值。例如A较大，则可判定跟踪目标在第n-p帧图像中的LBP特征与该跟踪目标在第n帧图像中的LBP特征相符。
反之，若B较大，则可判定跟踪目标在第n-p帧图像中的LBP特征与在第n帧图像中检测出的运动物体的LBP特征相符。
前已述及，由于运动存在连续性，同一运动物体在相邻两帧图像中的位置变化并不明显，因此，在一个示例中，可每隔a帧预测下运动物体的位置，同时提取预测出的位置处的LBP特征。
需要说明的是，LBP算法对光照有鲁棒性，从而可减少因光线突变带来的误报。因此，适应各种光线条件，如：强光、低照度、逆光、阴晴变化。而LBP特征提取与卡尔曼滤波结合，可准确得判断不同帧出现的运动物体是否为同一运动物体。
后续，在确定跟踪目标在第n帧图像中被跟踪上后，可获取该跟踪目标的在第n帧图像中的位置，作为运动轨迹信息保存。
下面将以提取跟踪目标在第n帧预测位置处的LBP特征向量为例，介绍LBP特征向量的提取。
对LBP特征向量进行提取可包括如下操作：
D21：计算跟踪目标(预测)的目标框中每个像素的LBP值；
具体的，以上述目标框中每一个像素点作为中心点，将其与(环形)邻域内的多个邻像素点(简称邻点)进行顺时针或逆时针的比较，如果中心点的像素值比邻点大，则将该邻点赋值为1，否则赋值为0。
对于任一像素点，可以其邻点的赋值按顺时针或逆时针方向排列，得到8位二进制数，作为该任一像素点对应的LBP值。例如，请参见图7a，在一个3*3的矩形窗中，以点A为中心，点A的灰度值为80，其环形邻域的8个邻点的灰度值有的小于点A的灰度值，有的大于点A的灰度值。对点A的8个邻点的赋值后，按顺时针对8个邻点赋值进行后排列得到10110110，则10110110就是点A对应的LBP值。
执行完毕后，上述目标框中每一个像素点都会获得一个LBP值(8位二进制数)，上述8位二进制数通常为转换为十进制数。
在其他实施例中，可对窗口半径以及邻点个数进行设置，使不再局限于在一个3*3的矩形窗中。例如，图7b的窗口半径要大于图7a，图7c中的窗口半径及邻点个数均大于图7a。
D22：对上述目标框中每个像素点进行直方图统计，得到每个像素点的直方图。
所谓的直方图统计，指的是统计每个像素点的LBP值(假定是十进制数)出现的频率。可采用现有方式进行直方图统计，当然，未来也可能会有新方式进行直方图统计，本文在此不作限制。
D23：对上述目标框的所有像素点对应的直方图进行归一化处理。
在一个示例中，可将所有的直方图都除以一个除数，得到的除法运算结果。除数的取值可令所有的除法运算结果均为小于1的小数。则可实现归一化处理。
D24：将每个经归一化处理的直方图进行连接，就得到了跟踪目标在第n帧图像中的LBP纹理特征(即LBP特征向量)。
实际上，直方图以及经归一化的直方图是一个数，将坐标轴上，将各个数的坐标点连接，就得到LBP梳理特征。
跟踪目标在第n-p帧图像中的LBP特征，以及提取的检测出的运动物体的LBP特征也可通过类似的操作来得到的。
D21-D24可由卡尔曼滤波的LBP特征跟踪器31来执行。
图9示出了上述视频监控方法的另一示例性流程。
在本实施例中，整个视频监控方法包括三大部分：运动检测、运动跟踪以及行为分析。其中，
运动检测部分包括：
步骤900：建立混合高斯背景模型。
在本实施例中，混合高斯背景模型最多可使用K(基本为3到5个)个高斯模型来表征每一个像素点的特征。也即，假定每帧图像有100个像素点，则100个像素点对应的混合高斯背景模型最多可包含100*K个高斯模型。
这里的像素点的特征具体可为颜色(像素值)分布特征。在混合高斯背景模型中，认为像素之间的颜色信息互不相关，对各像素点的处理都是相互独立的。对于视频图像中的每一个像素点，其像素值在多帧图像中的变化可看作是不断产生像素值的随机过程，即可用高斯分布来描述每个像素点的颜色呈现概率分布规律，上述分布规律可为单模态(单峰)或多模态(多峰)。
实际上，任意形状的概率分布都可以用多个高斯分布函数(高斯模型)的叠加去近似。对于多峰分布，每一个像素点可按不同权重的多个高斯分布(高斯模型)的叠加来建模，每种高斯分布对应一个可能产生像素点所呈现颜色的状态。
当处理彩色图像时，假定图像像素点的R、G、B三色通道相互独立并具有相同的方差。可将彩色图像各像素点的RGB值转化为灰度值，则每一像素点可使用K(基本为3到5个)高斯模型来表征其灰度特征。
如用xt表示某一像素点在t时刻(t时刻对应第n帧)的像素值(灰度)样本,则为当前帧图像上的每一个像素点建立的K个高斯模型中的第k个高斯模型可表示为:
其中，μk表示第k个高斯模型的均值，δk表示第k个高斯模型的方差。
每个高斯模型还对应一个权重wk。在一个示例中，初始的混合高斯背景模型可通过学习N帧训练图像来建立。更具体的，可通过学习视频流初始的多帧图像来建立。例如，可使用视频流初始的200帧图像来建立混合高斯背景模型。
高斯模型主要由方差和均值两个参数决定，在建模过程中，我们需要对混合高斯模型中的方差、均值、权重等一些参数初始化。在初始化过程中，一般会将方差设置的尽量大些(如15)，而将权重设置得尽量小些(如0.001)。这样设置是由于初始化的高斯模型并不准确，我们需要不停得缩小它的范围，更新其参数值，从而得到最可能的高斯模型。将方差设置得尽量大些，就是为了将尽可能多的像素包含到一个模型里面，从而获得最有可能的模型。
我们是如何得知某一高斯模型是相对来说最有可能的模型，而非应被舍去的模型呢？首先我们要对各个高斯模型按照权重与方差的比率的从大到小进行排序。排在最前面的高斯模型，就是最有可能的模型，而排在最后的高斯模型就是最不可能的模型。
步骤901：获取视频流的新一帧图像(也可称为当前帧图像)，在新一帧图像获得后更新混合高斯背景模型。
混合高斯背景模型的建立和更新，其实质上都是对每一像素点对应的高斯模型的均值、方差和权重的更新的过程。则建立/更新混合高斯背景模型可概括为:使用当前帧图像各像素点的像素值，更新当前帧每一像素点对应的高斯模型。
假定任一像素点的像素值为xt，请参见图10，“更新当前帧每一像素点对应的高斯模型”可包括：
步骤10A：将当前帧任一像素点的像素值xt,与其对应的多个高斯模型进行匹配；
判断像素值xt与任一个高斯模型(可用第k个高斯模型表征任一个高斯模型)是否匹配的条件是，该像素点像素值与第k个高斯模型在前一帧的均值(μk,t-1)的差，小于2.5δk,t-1。用公式可表示为:|xt-μk,t-1|≤2.5δk,t-1。其中，μk,t-1表示第k个高斯模型对应的前一帧(前一帧对应t-1时刻)的均值。
最开始时，可建立3个高斯模型，建立的高斯模型的权重、均值和方差为默认的初始值。
步骤10B：判断是否存在匹配的高斯模型，如果是，进入步骤10F，否则进入步骤10C；
步骤10C：判断该像素点对应的高斯模型的个数是否小于K；若是，进入步骤10D，否则进入步骤10E；
步骤10D：针对该像素点建立一新高斯模型，且该新高斯模型的均值等于该像素点在当前帧的像素值，该新高斯模型的方差和权重为默认的初始值；
步骤10E：使用新高斯模型替换K个高斯模型中的权重最小的高斯模型，且该新高斯模型的均值等于该像素点在当前帧的像素值，该新高斯模型的方差和权重为默认的初始值；
步骤10F：更新上述像素点所对应的多个高斯模型的权重。
更具体的，权重更新公式可为：wk,t＝(1-a)wk,t-1+aMk,t。其中，wk,t表示第k个高斯模型对应的当前帧(t时刻)的权重，wk,t-1表示第k个高斯模型对应的前一帧的权重，a表示学习速度，Mk,t为第k个高斯模型与该像素点的像素值的匹配参数，若匹配，Mk,t＝1，否则Mk,t＝0。需要说明的是，a一般为常数。a可根据经验值设定。a为介于0-1之间的小数。
步骤10G：使用该像素点的像素值xt，更新上述像素点所对应的多个高斯模型的均值和方差。
更具体的，与像素点的像素值xt不匹配的高斯模型的均值和方差不变。而与像素点的像素值xt匹配的高斯模型的均值(μp,t)和方差(δp,t)按照如下的公式进行更新：
μp,t＝(1-a)μp,t-1+axt；δp,t 2＝(1-a)δp,t-1 2+a(xt-μp,t)T(xt-μp,t)。其中，下标p表示与xt匹配的高斯模型，δk,t-1表示与xt匹配的高斯模型在(t-1)时刻的方差。
上述两公式是矩阵运算。
需要说明的是，步骤10D或10E中的新高斯模型，视为与xt不匹配的高斯模型。
上述混合高斯背景模型的建立和更新过程中，可对整体环境的背景进行不断的学习，尤其在动态背景的情况下，能够全天候自适应的学习背景和理解背景，实现全天24小时的监控。
902部分：使用混合高斯背景模型，从第n帧图像中分离出前景区域。
在另一个示例中，可使用上述混合高斯背景模型确定每一像素点在第n帧图像中是否为前景点，得到由前景点构成的前景区域。
前已述及，混合高斯背景模型使用K个高斯模型来表征一个像素点的特征。针对任一像素点(或称为第i个像素点)，可使用第i个像素对应的K个高斯模型，来确定第i个像素点是否为前景点。
902部分可进一步包括：
9021部分：对第i个像素点对应的多个高斯模型按关键字进行降序排列。
关键字计算方式是wk,t/δk,t；
9022部分：判断最小的关键字是否大于阈值T，若是，判定所述第i个像素点在当前帧为前景点，否则，判定所述第i个像素点在当前帧为背景点。
在一个示例中，可在整个运动检测过程中执行整点运算。整点运算包括：将乘法运算采用左移位方式实现，而除法运算采用右移位方式实现。
例如,乘法运算A*120,可用128替代120乘以A。由于128等2的5次幂，可令A循环左移5位得到A1，A1即为乘法运算结果。除法运算亦然。
此外，还可将所有的浮点运算都采用整点的方式，其实现方式是：在进行运算之前，将运算中的浮点数据扩大2N倍(例如210倍)，以将浮点数据转换为整数数据，所述N为正整数，前述提及的xt、μk,t-1、δk,t-1等均可扩大2N倍；在运算结束后，将运算结果缩小2N倍，以保证原来的运算结果不变。
整点运算过程中有两个优势：
1，很多硬件在支持整点运算过程中速度很快，要比浮点运算快很多。比如DSP芯片运算等等。2，在进行整点运算过程中，很多的计算的乘除法是在图像循环里面相对来说比较耗时的，那么使用相对移位的操作来代替近似的乘除运算会大大加速整个过程的计算速度。
步骤900-902可由前述的前景处理模块1执行。
请参见图11，图11示出了运动检测的重要步骤，共包括：
步骤1101：建立混合高斯背景模型。具体细节可参见前述的步骤900，以及步骤901图10所示实施例的“更新当前帧每一像素点对应的高斯模型”部分。
步骤1102：将当前帧任一像素点的像素值xt,与其对应的多个高斯模型进行匹配。具体细节可参见图10所示实施例的步骤10A。
步骤1103：更新混合高斯背景模型。具体细节可参见图10所示实施例的步骤10B至10G。
步骤1104：关键字排序。具体细节可参见前述9021部分。
步骤1105：前景检测。具体细节可参见前述202、9022部分。
步骤1101-1105可由前述的前景处理模块1执行。
运动跟踪部分包括：
903部分：从上述前景区域中确定出运动物体的目标框。
更具体的，请参见图12，903部分可进一步包括：
步骤1201：对前景区域进行腐蚀膨胀处理。
步骤1202：对经腐蚀膨胀处理的前景区域进行连通域挖空。具体细节请参见前述步骤203的描述。在此不作赘述。
904部分：对运动物体的目标框进行时间跟踪。具体细节请参见图6b所示实施例中的操作B中的描述。在此不作赘述。
905部分：对运动物体进行距离跟踪。
这里的距离跟踪是基于卡尔曼滤波和LBP特征的。其具体实现方式包括：
建立一个距离跟踪矩阵，矩阵的跟踪链表和检测链表分别是矩阵的横向和纵向的方向。
例如，请参见图13，矩阵第一横行的0-8表示，在第n帧共检测到9个运动物体的目标框，也可称为检测框，对其标号为0-8。矩阵第一竖列的0-8表示，在第n帧之前确定的9个跟踪目标的目标框，也可称为跟踪框，对其标号为0-8。
需要说明的是，之前介绍过预测跟踪目标在第n帧图像中的目标框的位置，并提取其LBP特征。预测出的跟踪目标在第n帧图像中的目标框，可作为检测框。
矩阵第i行第j列的元素的取值用于表示在第n帧检测出的第i个运动物体(的检测框)与在第n帧之前确定出的第j个跟踪目标的(跟踪框)匹配情况。例如，当取值为0时，表示不匹配，取值为1时，表示匹配。
是否匹配，可提取跟踪框的LBP特征，与检测框的LBP特征进行比对。
也即，距离跟踪是前述操作D1至D6的进一步细化。
请参见图13，当矩阵中的某个元素对应的行和列仅仅有一个是1的情况下，就表明已经跟踪实现了。例如，请参见图13，跟踪链表中的第6个跟踪目标与第1个运动物体对应的元素为0，该元素所在行和列中仅该元素取1，则表示第6个跟踪目标与第1个运动物体为同一物体，第6个跟踪目标被跟踪上。
匹配度比较相似的情况下，若在检测链表中所对应的列中出现了全零的情况下，就表明新出现了一个物体。例如，请参见图13，检测链表中第0个运动物体的检测框所对应的列为全零，也即，第0个运动物体没有任何跟踪目标匹配上，则第0个运动物体为新运动物体。同理，第3个运动物体也为新出现的运动物体。
若在跟踪链表中所对应的行中出现了全是零的情况下，就表明正在跟踪的物体就要快消失了。例如，请参见图13，跟踪链表中第7个跟踪目标所对应的行全零，也即，第7个跟踪目标没有与任何检测出的运动物体匹配上，则第7个跟踪目标未被跟踪上，一般情况下表明第7个跟踪目标快消失了。同理，第8个跟踪目标也未被跟踪上。
在本发明其他实施例中，对于未被跟踪上的跟踪目标，可在预设时长(例如1秒)保持其标号，因为考虑到跟踪目标可能会有暂时被挡住的可能。如超过该预设时长，跟踪目标始终未被跟踪上，则认为该跟踪目标消失，删除其编号。
若在检测链表中所对应的列中出现了多个1的情况下，就表明了物体进行了合并。例如，请参见图13，检测链表中第7个运动物体所对应的列中出现多个1，则表明跟踪目标2、4、5合并为第7个运动物体。
若在跟踪链表中所对应的行中出现了多于1的情况下，就表明了物体分开了。例如，请参见图13，跟踪链表中第1个跟踪目标所对应的行中出现多个1，则表明跟踪目标1分开为运动物体5和6。
需要说明的是，与跟踪目标匹配上的运动物体，会被确定为跟踪目标。之后，在下一帧图像到来时，仍会执行905部分。
906部分：对运动物体进行特征跟踪。具体细节请参见图6a所示实施例中的操作C中的描述。在此不作赘述。
907部分：对运动物体进行景深标定。具体细节请参见图6a所示实施例中的操作B的描述，在此不作赘述。
904-907部分对应前述的伪目标过滤处理，可由伪目标过滤模块2执行。
行为分析部分包括：908部分：获取上述跟踪目标的运动轨迹信息，进行异常行为分析。运动908部分可由轨迹获取模块4执行。
请参见图14，行为分析可包括轨迹分析、入侵检测、周界保护、绊线检测和遗留物检测。具体内容可参考现有方式，在此不作赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种视频监控方法，其特征在于，包括：
获取当前帧图像，所述当前帧图像表示为第n帧图像；
使用混合高斯背景模型，从所述第n帧图像中分离出前景区域；
从所述前景区域中确定出运动物体；
对所述运动物体进行伪目标过滤处理，以确定出真正的跟踪目标；
对所述跟踪目标进行目标跟踪；
获取所述跟踪目标的运动轨迹信息并保存；
其中，所述伪目标过滤处理包括：
统计所述运动物体在预设时长内的出现总时间，若所述运动物体的出现总时间小于预设阈值时，将所述运动物体作为伪目标过滤；
获取所述运动物体的像素高度，并根据所述运动物体的像素高度估算所述运动物体的实际高度；判断估算出的所述运动物体的实际高度是否满足预设的高度条件；若不满足，将所述运动物体作为伪目标过滤；
所述对所述跟踪目标进行目标跟踪包括:
采用卡尔曼滤波方式根据所述跟踪目标在第n-p帧图像中的位置，预测所述跟踪目标在所述第n帧图像中的位置，获取预测出的位置的LBP特征，作为所述跟踪目标在所述第n帧图像中的LBP特征；
比对所述跟踪目标在所述第n帧图像中的LBP特征，与所述跟踪目标在第n-p帧图像中的LBP特征，以及，比对在第n帧图像中检测出的运动物体的LBP特征与所述跟踪目标在第n-p帧图像中的LBP特征；
若跟踪目标在n-p帧图像中的LBP特征与该跟踪目标在第n帧图像中检测出的运动物体的LBP特征相符，或者，跟踪目标在n-p帧图像中的LBP特征与在第n帧图像中检测出的运动物体的LBP特征相符，确定所述跟踪目标在所述第n帧图像中被跟踪上；p为不小于1的正整数。
2.如权利要求1所述的方法，其特征在于，所述伪目标过滤处理还包括：
提取所述运动物体在预定时长内的运动轨迹特征，若所述运动轨迹特征符合伪目标的运动轨迹特征，将所述运动物体作为伪目标过滤。
3.如权利要求2所述的方法，其特征在于，所述根据所述运动物体的像素高度估算所述运动物体的实际高度包括：
将物体在图像中的像素高度X代入相机模型：H＝AX+B，得到物体的实际高度H；
其中，H表示实际高度，A为一次项系数，B为常数，A和B反映了像素高度和实际高度之间的线性关系。
4.如权利要求1所述的方法，其特征在于，在使用混合高斯背景模型，从所述视频流的图像中分离出前景区域之前，还包括：
自学习所述视频流中初始的多帧图像，建立混合高斯背景模型。
5.如权利要求1所述的方法，其特征在于，在获取当前帧图像之后、使用混合高斯背景模型从所述第n帧图像中分离出前景区域之前，还包括：
使用所述第n帧图像在各像素点的像素值，更新混合高斯背景模型。
6.如权利要求5所述的方法，其特征在于，所述混合高斯背景模型最多使用K个高斯模型来表征每一个像素点的特征，K为大于1的正整数；所述高斯模型构成所述混合高斯背景模型；每一高斯模型包括均值、方差和权重；
所述更新高斯背景模型包括：
步骤A：将当前帧任一像素点的像素值xt,与其对应的多个高斯模型进行匹配；所述下标t表示所述当前帧对应的时刻；
步骤B：判断是否存在与所述xt相匹配的高斯模型，若是，进入步骤F，否则进入步骤C；
步骤C：判断所述任一像素点对应的高斯模型的个数是否小于K，若是，进入步骤D，否则进入步骤E；
步骤D：为所述任一像素点建立新高斯模型，所建立的新高斯模型的均值等于所述xt，所述新高斯模型的方差和权重为默认的初始值；
步骤E：使用新高斯模型替换K个高斯模型中的权重最小的高斯模型，所述新高斯模型的均值等于所述xt，所述新高斯模型的方差和权重为默认的初始值；
步骤F：使用权重公式wk,t＝(1-a)wk,t-1+aMk,t，更新上述像素点所对应的多个高斯模型的权重；其中，wk,t表示所述任一像素点对应的第k个高斯模型在t时刻的权重，wk,t-1表示所述任一像素点对应的第k个高斯模型在t-1时刻的的权重，a表示学习速度，Mk,t表示所述任一像素点对应的第k个高斯模型与xt的匹配参数，若第k个高斯模型与xt匹配，Mk,t取值为1，否则取值为0；
使用该像素点的像素值xt，更新上述像素点所对应的多个高斯模型的均值和方差。
7.如权利要求6所述的方法，其特征在于，所述使用混合高斯背景模型，从所述第n帧图像中分离出前景区域包括：
将当前帧任一像素点对应的多个高斯模型按关键字进行降序排列；关键字计算方式是wk,t/δk,t；
判断最小的关键字是否大于阈值T，若是，判定所述任一像素点在当前帧为前景点，否则，判定所述任一像素点在当前帧为背景点。
8.如权利要求5-7任一项所述的方法，其特征在于，还包括：
将更新高斯背景模型所涉及的各种运算中的浮点数据扩大2N倍，以将浮点数据转换为整数数据，所述N为正整数；
在运算结束后，将更新高斯背景模型所涉及的各种运算中的运算结果缩小2N倍。
9.如权利要求5-7任一项所述的方法，其特征在于，
在更新高斯背景模型过程中所涉及的乘法运算，采用左移位方式实现；
在更新高斯背景模型过程中所涉及的除法运算，采用右移位方式实现。
10.一种视频监控装置，其特征在于，包括：
前景处理模块，用于获取当前帧图像，所述当前帧图像表示为第n帧图像；使用混合高斯背景模型，从所述第n帧图像中分离出前景区域；
伪目标过滤模块，用于从所述前景区域中确定出运动物体，对所述运动物体进行伪目标过滤处理，以确定出真正的跟踪目标；
目标跟踪模块，用于对所述跟踪目标进行目标跟踪；
运动轨迹获取模块，用于获取所述跟踪目标的运动轨迹信息并保存；
其中，所述伪目标过滤模块用于：
统计所述运动物体在预设时长内的出现总时间，若所述运动物体的出现总时间小于预设阈值时，将所述运动物体作为伪目标过滤；
获取所述运动物体的像素高度，并根据所述运动物体的像素高度估算所述运动物体的实际高度；判断估算出的所述运动物体的实际高度是否满足预设的高度条件；若不满足，将所述运动物体作为伪目标过滤；
所述目标跟踪模块用于：
采用卡尔曼滤波方式根据所述跟踪目标在第n-p帧图像中的位置，预测所述跟踪目标在所述第n帧图像中的位置，获取预测出的位置的LBP特征，作为所述跟踪目标在所述第n帧图像中的LBP特征；
比对所述跟踪目标在所述第n帧图像中的LBP特征，与所述跟踪目标在第n-p帧图像中的LBP特征，以及，比对在第n帧图像中检测出的运动物体的LBP特征与所述跟踪目标在第n-p帧图像中的LBP特征；
若跟踪目标在n-p帧图像中的LBP特征与该跟踪目标在第n帧图像中检测出的运动物体的LBP特征相符，或者，跟踪目标在n-p帧图像中的LBP特征与在第n帧图像中检测出的运动物体的LBP特征相符，确定所述跟踪目标在所述第n帧图像中被跟踪上；p为不小于1的正整数。
11.如权利要求10所述的方法，其特征在于，所述伪目标过滤模块还用于：
提取所述运动物体在预定时长内的运动轨迹特征，若所述运动轨迹特征符合伪目标的运动轨迹特征，将所述运动物体作为伪目标过滤。
CN201610849331.1A 2016-09-23 2016-09-23 视频监控方法及装置 Active CN107872644B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610849331.1A CN107872644B (zh) 2016-09-23 2016-09-23 视频监控方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610849331.1A CN107872644B (zh) 2016-09-23 2016-09-23 视频监控方法及装置

Publications (2)

Publication Number Publication Date
CN107872644A true CN107872644A (zh) 2018-04-03
CN107872644B CN107872644B (zh) 2020-10-09

Family

ID=61751213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610849331.1A Active CN107872644B (zh) 2016-09-23 2016-09-23 视频监控方法及装置

Country Status (1)

Country Link
CN (1) CN107872644B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108742159A (zh) * 2018-04-08 2018-11-06 浙江安精智能科技有限公司 基于rgb-d相机的饮水机智能控制装置及其控制方法
CN108898652A (zh) * 2018-06-13 2018-11-27 珠海市君天电子科技有限公司 一种皮肤图像设置方法、装置及电子设备
CN109040604A (zh) * 2018-10-23 2018-12-18 Oppo广东移动通信有限公司 拍摄图像的处理方法、装置、存储介质及移动终端
CN109146916A (zh) * 2018-08-22 2019-01-04 浙江大华技术股份有限公司 一种运动物体跟踪方法及装置
CN109167893A (zh) * 2018-10-23 2019-01-08 Oppo广东移动通信有限公司 拍摄图像的处理方法、装置、存储介质及移动终端
CN109741361A (zh) * 2018-12-28 2019-05-10 广州市易售宝互联网科技有限公司 一种均值漂移法运动轨迹记录系统
CN109867186A (zh) * 2019-03-18 2019-06-11 浙江新再灵科技股份有限公司 一种基于智能视频分析技术的电梯困人检测方法及系统
CN110298298A (zh) * 2019-06-26 2019-10-01 北京市商汤科技开发有限公司 目标检测及目标检测网络的训练方法、装置及设备
WO2020063189A1 (zh) * 2018-09-26 2020-04-02 惠州学院 一种视频目标轨迹提取方法及装置
CN111127508A (zh) * 2018-10-31 2020-05-08 杭州海康威视数字技术股份有限公司 一种基于视频的目标跟踪方法及装置
CN111382613A (zh) * 2018-12-28 2020-07-07 中国移动通信集团辽宁有限公司 图像处理方法、装置、设备和介质
CN111767782A (zh) * 2020-04-15 2020-10-13 上海摩象网络科技有限公司 一种跟踪目标确定方法、装置和手持相机
CN112053526A (zh) * 2020-09-29 2020-12-08 上海振华重工(集团)股份有限公司 一种监控系统及监控方法
CN112446358A (zh) * 2020-12-15 2021-03-05 北京京航计算通讯研究所 基于视频图像识别技术的目标检测方法
CN112507913A (zh) * 2020-12-15 2021-03-16 北京京航计算通讯研究所 基于视频图像识别技术的目标检测系统
CN112651377A (zh) * 2021-01-05 2021-04-13 河北建筑工程学院 一种冰雪运动事故检测方法、装置及终端设备
CN112700657A (zh) * 2020-12-21 2021-04-23 北京百度网讯科技有限公司 用于生成检测信息的方法、装置、路侧设备和云控平台
CN113192221A (zh) * 2021-03-12 2021-07-30 广州朗国电子科技有限公司 一种智能电子班牌
CN113496500A (zh) * 2020-04-02 2021-10-12 杭州萤石软件有限公司 一种越界检测方法、装置及存储介质
CN113634356A (zh) * 2021-08-12 2021-11-12 长春市九台区侬富米业有限公司 一种大米和玉米多功能研磨制米面智能系统及方法
CN113847906A (zh) * 2021-09-10 2021-12-28 交通运输部天津水运工程科学研究所 一种基于视觉边缘检测的实验室空间波浪实时测量方法
WO2022241805A1 (zh) * 2021-05-20 2022-11-24 广州广电运通金融电子股份有限公司 一种视频浓缩方法、系统及设备
CN116720387A (zh) * 2023-08-08 2023-09-08 河海大学 一种基于边缘计算的目标复合跟踪系统架构建模方法

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070237393A1 (en) * 2006-03-30 2007-10-11 Microsoft Corporation Image segmentation using spatial-color gaussian mixture models
CN101106700A (zh) * 2007-08-01 2008-01-16 大连海事大学 视频监控系统中的智能化目标细节捕获装置及方法
CN101299274A (zh) * 2008-06-18 2008-11-05 北京中星微电子有限公司 一种移动固定目标的检测方法及系统
CN101930072A (zh) * 2010-07-28 2010-12-29 重庆大学 基于多特征融合的红外弱小运动目标航迹起始方法
CN102136059A (zh) * 2011-03-03 2011-07-27 苏州市慧视通讯科技有限公司 一种基于视频分析的烟雾检测方法
CN102148959A (zh) * 2010-02-09 2011-08-10 北京中星微电子有限公司 一种视频监控系统及其图像的运动目标检测方法
CN102663366A (zh) * 2012-04-13 2012-09-12 中国科学院深圳先进技术研究院 行人目标识别方法及系统
CN102968802A (zh) * 2012-11-28 2013-03-13 无锡港湾网络科技有限公司 一种基于视频监控的运动目标分析跟踪方法及系统
CN103246896A (zh) * 2013-05-24 2013-08-14 成都方米科技有限公司 一种鲁棒性车辆实时检测与跟踪方法
CN103324955A (zh) * 2013-06-14 2013-09-25 浙江智尔信息技术有限公司 一种基于视频处理的行人检测方法
CN103325126A (zh) * 2013-07-09 2013-09-25 中国石油大学(华东) 一种在尺度变化和遮挡情况下的视频目标跟踪方法
US20130258107A1 (en) * 2012-03-29 2013-10-03 Xerox Corporation Method of determining parking lot occupancy from digital camera images
CN103839281A (zh) * 2014-03-27 2014-06-04 武汉大学 一种利用造影微泡测量血流速度的方法
CN104463191A (zh) * 2014-10-30 2015-03-25 华南理工大学 一种基于注意机制的机器人视觉处理方法
US20150161796A1 (en) * 2013-12-09 2015-06-11 Hyundai Motor Company Method and device for recognizing pedestrian and vehicle supporting the same
CN105335701A (zh) * 2015-09-30 2016-02-17 中国科学院合肥物质科学研究院 一种基于hog与d-s证据理论多信息融合的行人检测方法
US20160092736A1 (en) * 2014-09-30 2016-03-31 C/O Canon Kabushiki Kaisha System and method for object re-identification
CN105513053A (zh) * 2015-11-26 2016-04-20 河海大学 一种用于视频分析中背景建模方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070237393A1 (en) * 2006-03-30 2007-10-11 Microsoft Corporation Image segmentation using spatial-color gaussian mixture models
CN101106700A (zh) * 2007-08-01 2008-01-16 大连海事大学 视频监控系统中的智能化目标细节捕获装置及方法
CN101299274A (zh) * 2008-06-18 2008-11-05 北京中星微电子有限公司 一种移动固定目标的检测方法及系统
CN102148959A (zh) * 2010-02-09 2011-08-10 北京中星微电子有限公司 一种视频监控系统及其图像的运动目标检测方法
CN101930072A (zh) * 2010-07-28 2010-12-29 重庆大学 基于多特征融合的红外弱小运动目标航迹起始方法
CN102136059A (zh) * 2011-03-03 2011-07-27 苏州市慧视通讯科技有限公司 一种基于视频分析的烟雾检测方法
US20130258107A1 (en) * 2012-03-29 2013-10-03 Xerox Corporation Method of determining parking lot occupancy from digital camera images
CN102663366A (zh) * 2012-04-13 2012-09-12 中国科学院深圳先进技术研究院 行人目标识别方法及系统
CN102968802A (zh) * 2012-11-28 2013-03-13 无锡港湾网络科技有限公司 一种基于视频监控的运动目标分析跟踪方法及系统
CN103246896A (zh) * 2013-05-24 2013-08-14 成都方米科技有限公司 一种鲁棒性车辆实时检测与跟踪方法
CN103324955A (zh) * 2013-06-14 2013-09-25 浙江智尔信息技术有限公司 一种基于视频处理的行人检测方法
CN103325126A (zh) * 2013-07-09 2013-09-25 中国石油大学(华东) 一种在尺度变化和遮挡情况下的视频目标跟踪方法
US20150161796A1 (en) * 2013-12-09 2015-06-11 Hyundai Motor Company Method and device for recognizing pedestrian and vehicle supporting the same
CN103839281A (zh) * 2014-03-27 2014-06-04 武汉大学 一种利用造影微泡测量血流速度的方法
US20160092736A1 (en) * 2014-09-30 2016-03-31 C/O Canon Kabushiki Kaisha System and method for object re-identification
CN104463191A (zh) * 2014-10-30 2015-03-25 华南理工大学 一种基于注意机制的机器人视觉处理方法
CN105335701A (zh) * 2015-09-30 2016-02-17 中国科学院合肥物质科学研究院 一种基于hog与d-s证据理论多信息融合的行人检测方法
CN105513053A (zh) * 2015-11-26 2016-04-20 河海大学 一种用于视频分析中背景建模方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
孙水发，雷帮军，刘勇著: "《视频前景检测及其在水电工程监测中的应用》", 31 December 2014, 北京：国防工业出版 *
李旭健等: "一种基于改进的混合高斯模型的运动目标检测算法", 《软件导刊》 *
黄玉等: "基于YCbCr的自适应混合高斯模型背景建模", 《计算机工程与科学》 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108742159A (zh) * 2018-04-08 2018-11-06 浙江安精智能科技有限公司 基于rgb-d相机的饮水机智能控制装置及其控制方法
CN108898652A (zh) * 2018-06-13 2018-11-27 珠海市君天电子科技有限公司 一种皮肤图像设置方法、装置及电子设备
CN108898652B (zh) * 2018-06-13 2022-11-25 珠海豹趣科技有限公司 一种皮肤图像设置方法、装置及电子设备
CN109146916B (zh) * 2018-08-22 2021-02-02 浙江大华技术股份有限公司 一种运动物体跟踪方法及装置
CN109146916A (zh) * 2018-08-22 2019-01-04 浙江大华技术股份有限公司 一种运动物体跟踪方法及装置
WO2020063189A1 (zh) * 2018-09-26 2020-04-02 惠州学院 一种视频目标轨迹提取方法及装置
CN109040604A (zh) * 2018-10-23 2018-12-18 Oppo广东移动通信有限公司 拍摄图像的处理方法、装置、存储介质及移动终端
CN109167893A (zh) * 2018-10-23 2019-01-08 Oppo广东移动通信有限公司 拍摄图像的处理方法、装置、存储介质及移动终端
CN109167893B (zh) * 2018-10-23 2021-04-27 Oppo广东移动通信有限公司 拍摄图像的处理方法、装置、存储介质及移动终端
CN109040604B (zh) * 2018-10-23 2020-09-15 Oppo广东移动通信有限公司 拍摄图像的处理方法、装置、存储介质及移动终端
CN111127508B (zh) * 2018-10-31 2023-05-02 杭州海康威视数字技术股份有限公司 一种基于视频的目标跟踪方法及装置
CN111127508A (zh) * 2018-10-31 2020-05-08 杭州海康威视数字技术股份有限公司 一种基于视频的目标跟踪方法及装置
CN109741361A (zh) * 2018-12-28 2019-05-10 广州市易售宝互联网科技有限公司 一种均值漂移法运动轨迹记录系统
CN111382613A (zh) * 2018-12-28 2020-07-07 中国移动通信集团辽宁有限公司 图像处理方法、装置、设备和介质
CN111382613B (zh) * 2018-12-28 2024-05-07 中国移动通信集团辽宁有限公司 图像处理方法、装置、设备和介质
CN109867186B (zh) * 2019-03-18 2020-11-10 浙江新再灵科技股份有限公司 一种基于智能视频分析技术的电梯困人检测方法及系统
CN109867186A (zh) * 2019-03-18 2019-06-11 浙江新再灵科技股份有限公司 一种基于智能视频分析技术的电梯困人检测方法及系统
CN110298298A (zh) * 2019-06-26 2019-10-01 北京市商汤科技开发有限公司 目标检测及目标检测网络的训练方法、装置及设备
CN110298298B (zh) * 2019-06-26 2022-03-08 北京市商汤科技开发有限公司 目标检测及目标检测网络的训练方法、装置及设备
CN113496500A (zh) * 2020-04-02 2021-10-12 杭州萤石软件有限公司 一种越界检测方法、装置及存储介质
CN111767782A (zh) * 2020-04-15 2020-10-13 上海摩象网络科技有限公司 一种跟踪目标确定方法、装置和手持相机
CN111767782B (zh) * 2020-04-15 2022-01-11 上海摩象网络科技有限公司 一种跟踪目标确定方法、装置和手持相机
CN112053526A (zh) * 2020-09-29 2020-12-08 上海振华重工(集团)股份有限公司 一种监控系统及监控方法
CN112446358A (zh) * 2020-12-15 2021-03-05 北京京航计算通讯研究所 基于视频图像识别技术的目标检测方法
CN112507913A (zh) * 2020-12-15 2021-03-16 北京京航计算通讯研究所 基于视频图像识别技术的目标检测系统
CN112700657A (zh) * 2020-12-21 2021-04-23 北京百度网讯科技有限公司 用于生成检测信息的方法、装置、路侧设备和云控平台
CN112651377A (zh) * 2021-01-05 2021-04-13 河北建筑工程学院 一种冰雪运动事故检测方法、装置及终端设备
CN113192221A (zh) * 2021-03-12 2021-07-30 广州朗国电子科技有限公司 一种智能电子班牌
WO2022241805A1 (zh) * 2021-05-20 2022-11-24 广州广电运通金融电子股份有限公司 一种视频浓缩方法、系统及设备
CN113634356A (zh) * 2021-08-12 2021-11-12 长春市九台区侬富米业有限公司 一种大米和玉米多功能研磨制米面智能系统及方法
CN113847906A (zh) * 2021-09-10 2021-12-28 交通运输部天津水运工程科学研究所 一种基于视觉边缘检测的实验室空间波浪实时测量方法
CN116720387A (zh) * 2023-08-08 2023-09-08 河海大学 一种基于边缘计算的目标复合跟踪系统架构建模方法
CN116720387B (zh) * 2023-08-08 2023-10-13 河海大学 一种基于边缘计算的目标复合跟踪系统架构建模方法

Also Published As

Publication number Publication date
CN107872644B (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN107872644B (zh) 视频监控方法及装置
Braham et al. Semantic background subtraction
Chung et al. An efficient hand gesture recognition system based on deep CNN
CN108805897B (zh) 一种改进的运动目标检测vibe方法
US11836931B2 (en) Target detection method, apparatus and device for continuous images, and storage medium
Kim et al. Illumination-invariant background subtraction: Comparative review, models, and prospects
CN111062273B (zh) 一种遗留物品追溯检测与报警方法
CN110120064B (zh) 一种基于互强化与多注意机制学习的深度相关目标跟踪算法
CN104835145B (zh) 基于自适应Codebook背景模型的前景检测方法
CN102542571B (zh) 一种运动目标检测方法及装置
Lee et al. A genetic algorithm-based moving object detection for real-time traffic surveillance
JP2008192131A (ja) 特徴レベル・セグメンテーションを実行するシステムおよび方法
CN112036381B (zh) 视觉跟踪方法、视频监控方法及终端设备
CN110827262A (zh) 一种基于连续有限帧红外图像的弱小目标检测方法
CN113205138A (zh) 人脸人体匹配方法、设备和存储介质
CN111104855B (zh) 一种基于时序行为检测的工作流识别方法
Shi et al. Moving cast shadow detection in video based on new chromatic criteria and statistical modeling
US11210775B1 (en) Gradient-embedded video anomaly detection
CN108288283A (zh) 一种基于相关滤波的视频跟踪方法
CN110136164B (zh) 基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法
CN101567088B (zh) 一种运动物体检测的方法和装置
CN116543333A (zh) 电力系统的目标识别方法、训练方法、装置、设备和介质
Kushwaha et al. Automatic moving object segmentation methods under varying illumination conditions for video data: comparative study, and an improved method
CN110580706A (zh) 一种视频背景模型的提取方法及装置
CN114494342A (zh) 一种同步轨道卫星可见光序列图像海上目标检测跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant