CN104318578A - 一种视频图像分析方法及系统 - Google Patents
一种视频图像分析方法及系统 Download PDFInfo
- Publication number
- CN104318578A CN104318578A CN201410635083.1A CN201410635083A CN104318578A CN 104318578 A CN104318578 A CN 104318578A CN 201410635083 A CN201410635083 A CN 201410635083A CN 104318578 A CN104318578 A CN 104318578A
- Authority
- CN
- China
- Prior art keywords
- distance
- head
- shoulder
- heads
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
本发明提供了一种视频图像分析方法及系统，通过获取监控区域的视频，去除视频中的背景以获取待分析区域，对待分析区域进行头肩检测以获取头肩跟踪轨迹，对待分析区域跳帧进行可变形人形检测以获取人形区域，最后判断头肩跟踪轨迹与相同帧下的人形区域是否有人员位置重合，如果没有，将该条头肩跟踪轨迹予以去除，如果有，将该条头肩跟踪轨迹作为目标人员轨迹予以保留。通过跳帧进行可变形人形检测降低了计算量，并通过可变形人形检测与头肩检测相结合的方法去除头肩检测中的误检情况，提高了头肩检测的可信度，降低了误检率，在人员长时间静止、遮挡等情况下也能准确监控到目标人员轨迹，适用范围广。
Description
技术领域
本发明涉及目标识别技术领域。具体地说涉及一种视频图像分析方法及系统。
背景技术
安防智能监控，可以实时的对监控视频图像中的运动目标进行分析、提取出运动目标。通过对各个运动目标的运动轨迹进行分析，判断出运动目标的行为。如果运动目标出现了保安系统中禁止的行为(如打架)就发出一个告警信息，提醒相关人员注意，降低了对突发事件的漏检率，大大减轻了安保人员的监控负担。
目前业界已经有集成了智能行为分析算法的产品，依靠头肩检测或人形检测算法来对视频图像中的目标人员的运动轨迹进行分析，但该分析方法是基于目标人员是移动并很少停留的假设，通常情况下，这种假设是成立的，它可以有效地减小搜索计算区域，滤除部分误检，并可以将每个误检的影响限制在一个较小的时间段内，但在目标人员长时间静止或者非常拥挤的环境下，却常常出现误检，无法应对目标人员长时间静止、遮挡等情况下的目标跟踪问题。
发明内容
为此，本发明所要解决的技术问题在于现有技术中的视频图像分析方法都是基于目标人员是移动并很少停留的假设，无法应对人员长时间静止、遮挡等情况下的目标跟踪问题，从而提供一种适用于各种环境、误检率低的视频图像分析方法及系统。
为解决上述技术问题，本发明的技术方案如下：
本发明提供了一种视频图像分析方法，包括：
获取监控区域的视频；
去除所述视频中的背景以获取待分析区域；
对所述待分析区域进行头肩检测以获取头肩跟踪轨迹；
对所述待分析区域跳帧进行可变形人形检测以获取人形区域；
判断所述头肩跟踪轨迹与相同帧下的人形区域是否有人员位置重合，如果没有，将该条头肩跟踪轨迹予以去除，如果有，将该条头肩跟踪轨迹作为目标人员跟踪轨迹予以保留。
本发明所述的视频图像分析方法，对所述待分析区域进行头肩检测以获取头肩跟踪轨迹包括：
对所述待分析区域进行头肩检测以获取人员的头肩区域；
将相邻帧的头肩区域进行关联，生成多条头肩短轨迹；
将多条所述头肩短轨迹进行关联，生成多条头肩跟踪轨迹。
本发明所述的视频图像分析方法，所述将相邻帧的头肩区域进行关联，生成多条头肩短轨迹包括：
设定第一阈值；
计算相邻帧的任意两个头肩区域的位置距离；
计算相邻帧的任意两个头肩区域的颜色直方图距离；
计算相邻帧的任意两个头肩区域的所述位置距离与所述颜色直方图距离的加权和，将其作为相邻帧的任意两个头肩区域的综合距离；
将所述任意两个头肩区域的综合距离与所述第一阈值相比较，当所述综合距离小于所述第一阈值时，将其对应的两个头肩区域作为一个关联候选对；
从所述关联候选对中选取出具有最低距离和、最大覆盖、无冲突的关联候选对进行关联，生成多条头肩短轨迹。
本发明所述的视频图像分析方法，所述将多条所述头肩短轨迹进行关联，生成多条头肩跟踪轨迹包括：
设定第二阈值；
计算任意两条头肩短轨迹的位置距离；
计算任意两条头肩短轨迹的颜色直方图距离；
计算任意两条头肩短轨迹的所述位置距离与所述颜色直方图距离的加权和，将其作为任意两条头肩短轨迹的综合距离；
将所述任意两条头肩短轨迹的综合距离与所述第二阈值相比较，当所述综合距离小于所述第二阈值时，将其对应的两条头肩短轨迹作为一个关联候选对；
从所述关联候选对中选取出具有最低距离和、最大覆盖、无冲突的关联候选对进行关联，生成多条头肩跟踪轨迹。
本发明所述的视频图像分析方法，所述从所述关联候选对中选取出具有最低距离和、最大覆盖、无冲突的关联候选对进行关联，生成多条头肩短轨迹或者从所述关联候选对中选取出具有最低距离和、最大覆盖、无冲突的关联候选对进行关联，形成多条头肩跟踪轨迹中，均采用匈牙利算法从所述关联候选对中选取出具有最低距离和、最大覆盖、无冲突的关联候选对进行关联。
本发明所述的视频图像分析方法，对所述待分析区域跳帧进行可变形人形检测以获取人形区域中，每次跳帧的帧数相同。
本发明所述的视频图像分析方法，所述判断所述头肩跟踪轨迹与相同帧下的人形区域是否有人员位置重合，如果没有，将该条头肩跟踪轨迹予以去除，如果有，将该条头肩跟踪轨迹作为目标人员跟踪轨迹予以保留之后还包括：
设定报警时间阈值；
从所述目标人员跟踪轨迹判断是否存在异常情况，并从发现存在异常情况起开始计时，获得异常情况持续时间；
当所述异常情况持续时间超过报警时间阈值时进行报警。
本发明还提供了一种视频图像分析系统，包括：
视频获取单元，用于获取监控区域的视频；
背景去除单元，用于去除所述视频中的背景以获取待分析区域；
头肩检测单元，用于对所述待分析区域进行头肩检测以获取头肩跟踪轨迹；
可变形人形检测单元，用于对所述待分析区域跳帧进行可变形人形检测以获取人形区域；
误检判断单元，用于判断所述头肩跟踪轨迹与相同帧下的人形区域是否有人员位置重合，如果没有，将该条头肩跟踪轨迹予以去除，如果有，将该条头肩跟踪轨迹作为目标人员跟踪轨迹予以保留。
本发明所述的视频图像分析系统，所述头肩检测单元包括：
头肩区域获取子单元，用于对所述待分析区域进行头肩检测以获取人员的头肩区域；
头肩区域关联子单元，用于将相邻帧的头肩区域进行关联，生成多条头肩短轨迹；
头肩短轨迹关联子单元，用于将多条所述头肩短轨迹进行关联，生成多条头肩跟踪轨迹。
本发明所述的视频图像分析系统，所述头肩区域关联子单元包括：
第一设定器，用于设定第一阈值；
第一位置距离计算器，用于计算相邻帧的任意两个头肩区域的位置距离；
第一颜色直方图距离计算器，用于计算相邻帧的任意两个头肩区域的颜色直方图距离；
第一综合距离计算器，用于计算相邻帧的任意两个头肩区域的所述位置距离与所述颜色直方图距离的加权和，将其作为相邻帧的任意两个头肩区域的综合距离；
第一比较器，用于将所述任意两个头肩区域的综合距离与所述第一阈值相比较，当所述综合距离小于所述第一阈值时，将其对应的两个头肩区域作为一个关联候选对；
第一生成器，用于从所述关联候选对中选取出具有最低距离和、最大覆盖、无冲突的关联候选对进行关联，生成多条头肩短轨迹。
本发明所述的视频图像分析系统，所述头肩短轨迹关联子单元包括：
第二设定器，用于设定第二阈值；
第二位置距离计算器，用于计算任意两条头肩短轨迹的位置距离；
第二颜色直方图距离计算器，用于计算任意两条头肩短轨迹的颜色直方图距离；
第二综合距离计算器，用于计算任意两条头肩短轨迹的所述位置距离与所述颜色直方图距离的加权和，将其作为任意两条头肩短轨迹的综合距离；
第二比较器，用于将所述任意两条头肩短轨迹的综合距离与所述第二阈值相比较，当所述综合距离小于所述第二阈值时，将其对应的两条头肩短轨迹作为一个关联候选对；
第二生成器，用于从所述关联候选对中选取出具有最低距离和、最大覆盖、无冲突的关联候选对进行关联，生成多条头肩跟踪轨迹。
本发明所述的视频图像分析系统，所述第一生成器或者所述第二生成器中，均采用匈牙利算法从所述关联候选对中选取出具有最低距离和、最大覆盖、无冲突的关联候选对进行关联。
本发明所述的视频图像分析系统，所述可变形人形检测单元中，每次跳帧的帧数相同。
本发明所述的视频图像分析系统，还包括：
时间阈值设定单元，用于设定报警时间阈值；
异常情况判断单元，用于从所述目标人员跟踪轨迹判断是否存在异常情况，并从发现存在异常情况起开始计时，获得异常情况持续时间；
报警单元，用于当所述异常情况持续时间超过报警时间阈值时进行报警。
本发明的上述技术方案相比现有技术具有以下优点：
本发明提供了一种视频图像分析方法及系统，通过获取监控区域的视频，去除视频中的背景以获取待分析区域，对待分析区域进行头肩检测以获取头肩跟踪轨迹，对待分析区域跳帧进行可变形人形检测以获取人形区域，最后判断头肩跟踪轨迹与相同帧下的人形区域是否有人员位置重合，如果没有，将该条头肩跟踪轨迹予以去除，如果有，将该条头肩跟踪轨迹作为目标人员轨迹予以保留。通过跳帧进行可变形人形检测降低了计算量，并通过可变形人形检测与头肩检测相结合的方法去除头肩检测中的误检情况，提高了头肩检测的可信度，降低了误检率，在人员长时间静止、遮挡等情况下也能准确监控到目标人员轨迹，适用范围广。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中
图1是本发明所述视频图像分析方法的流程图；
图2是本发明所述视频图像分析方法中对待分析区域进行头肩检测以获取头肩跟踪轨迹的流程图；
图3是本发明所述视频图像分析方法中将相邻帧的头肩区域进行关联，生成多条头肩短轨迹的流程图；
图4是本发明所述视频图像分析方法中将多条头肩短轨迹进行关联，生成多条头肩跟踪轨迹的流程图；
图5是本发明所述视频图像分析系统的结构框图。
图中附图标记表示为：1-视频获取单元，2-背景去除单元，3-头肩检测单元，4-可变形人形检测单元，5-误检判断单元，6-时间阈值设定单元，7-异常情况判断单元，8-报警单元，31-头肩区域获取子单元，32-头肩区域关联子单元，33-头肩短轨迹关联子单元，321-第一设定器，322-第一位置距离计算器，323-第一颜色直方图距离计算器，324-第一综合距离计算器，325-第一比较器，326-第一生成器，331-第二设定器，332-第二位置距离计算器，333-第二颜色直方图距离计算器，334-第二综合距离计算器，335-第二比较器，336-第二生成器。
具体实施方式
实施例1
本实施例提供了一种视频图像分析方法，如图1所示，包括：
S1.获取监控区域的视频；
S2.去除所述视频中的背景以获取待分析区域；
S3.对所述待分析区域进行头肩检测以获取头肩跟踪轨迹；
S4.对所述待分析区域跳帧进行可变形人形检测以获取人形区域；
S5.判断所述头肩跟踪轨迹与相同帧下的人形区域是否有人员位置重合，如果没有，将该条头肩跟踪轨迹予以去除，如果有，将该条头肩跟踪轨迹作为目标人员跟踪轨迹予以保留。
具体地，在步骤S2中，对于一段输入的监控视频，可以先采用背景差分法分离移动目标和背景，获得运动目标的二值图，之后对该图进行腐蚀膨胀处理，去掉噪点和空洞。再进行联通域计算，即可分离各移动目标区域并获得各目标的最外层轮廓，去除所述视频中的背景，并将去除背景后的已出现人员区域作为待分析区域，经过上述处理后所获得的目标很可能并不与具体的人员一一对应，这是因为待分析区域中可能包含有多个人，所以需要对待分析区域进一步进行人形检测。
在步骤S3中，具体地可以利用HOG特征训练SVM分类器的方法来进行头肩检测以获取头肩跟踪轨迹。HOG采用了Dalal提供的方案，设定细胞大小为8x8，9个直方图通道，块大小为16x16，采用了2000组正样本与2000组负样本训练SVM分类器。检测窗口大小设定为24x24，以保证对于远端较小的人也能进行检测。
具体地，步骤S4中，考虑到监控场景内的人员可能存在坐、卧、蹲、直立等多种姿态，可变形人形检测可以采用在多姿态场景下具有较好的检测性能的DPM模型(Deformable Part Model)。DPM模型由6个姿态模型组成，对应于如正面、侧面、斜侧等姿态，根据宽高比自动聚类获得。每个姿态模型包含1个整体模型与8个部件模型，整体模型对应于全身，部件模型分别对应于头部、双肩、双臂、躯干、双腿。各模型外观参数以及部件模型允许的畸变度由大量的样本训练得到。由于DPM模型的计算量太大，基于DPM的可变形人形检测可以采用跳帧处理的方式来降低计算量。
优选地，步骤S4中，每次跳帧的帧数可以相同。比如可以每隔15帧进行一次可变形人形检测。
通过采用根据本发明实施例的视频图像分析方法，因为人体的头肩即使在各种不同姿态下，也通常保持较为固定的形状，并且在摄像机架设角度足够高的情况下，头肩具有较小的被遮挡可能，有利于长时间的对人员进行检测、跟踪和计数。但是由于头肩的特征远少于整体人形的特征，基于头肩的检测很容易与某些背景物体或身体其它部位混淆，通常会产生大量误检。而与可变形人形检测相结合，则可以针对性的去除误检。判断所述头肩跟踪轨迹与相同帧下的人形区域是否有人员位置重合，如果没有，则有很达到可能是头肩检测误检造成的虚假目标轨迹，因此应当将该条头肩跟踪轨迹予以去除，如果有重合，再将该条头肩跟踪轨迹作为目标人员跟踪轨迹予以保留。确保了能够准确的获取到监控人员的运动状态。
下面结合附图对上述步骤S3的一种优选实施方式进行详细介绍。
如图2所示，所述步骤S3可以包括：
S31.对所述待分析区域进行头肩检测以获取人员的头肩区域；
S32.将相邻帧的头肩区域进行关联，生成多条头肩短轨迹；
S33.将多条所述头肩短轨迹进行关联，生成多条头肩跟踪轨迹。
优选地，如图3所示，所述步骤S32可以包括：
S321.设定第一阈值；
S322.计算相邻帧的任意两个头肩区域的位置距离；
S323.计算相邻帧的任意两个头肩区域的颜色直方图距离；
S324.计算相邻帧的任意两个头肩区域的所述位置距离与所述颜色直方图距离的加权和，将其作为相邻帧的任意两个头肩区域的综合距离；
S325.将所述任意两个头肩区域的综合距离与所述第一阈值相比较，当所述综合距离小于所述第一阈值时，将其对应的两个头肩区域作为一个关联候选对；
S326.从所述关联候选对中选取出具有最低距离和、最大覆盖、无冲突的关联候选对进行关联，生成多条头肩短轨迹。
具体地，步骤S322和步骤S323中，相邻帧的头肩区域进行关联所采用的目标函数包括两个部分：计算相邻帧的任意两个头肩区域的位置距离的函数和计算相邻帧的任意两个头肩区域的颜色直方图距离的函数其中，分别为t0帧的第i个头肩区域的位置和t1帧的第j个头肩区域的位置(位置信息包括中心坐标与头肩的宽度和高度)，H为颜色直方图计算函数。
具体地，中的实际中改为更佳。表示第i个头肩区域的位置在由t0帧到t1帧的运动方向，相较于与的位置距离更为接近，符合人员的运动趋势，有利于形成流畅的头肩跟踪轨迹。由于需要从预估，这里先根据人员的历史运动信息估计出运动模型，再根据运动模型估计运动模型采用的是卡尔曼滤波器。
具体地，完成所有头肩位置的关联后，则形成了头肩短轨迹。这些轨迹可能会有断裂，通常较短，需要把这些短轨迹(tracklet)连接成长轨迹。
优选地，如图4所示，步骤S33可以包括：
S331.设定第二阈值；
S332.计算任意两条头肩短轨迹的位置距离；
S333.计算任意两条头肩短轨迹的颜色直方图距离；
S334.计算任意两条头肩短轨迹的所述位置距离与所述颜色直方图距离的加权和，将其作为任意两条头肩短轨迹的综合距离；
S335.将所述任意两条头肩短轨迹的综合距离与所述第二阈值相比较，当所述综合距离小于所述第二阈值时，将其对应的两条头肩短轨迹作为一个关联候选对；
S336.从所述关联候选对中选取出具有最低距离和、最大覆盖、无冲突的关联候选对进行关联，生成多条头肩跟踪轨迹。
具体地，步骤S332和步骤S333中计算任意两条头肩短轨迹的位置距离和颜色直方图距离的函数可以参看相邻帧的头肩区域进行关联的函数。只不过在步骤S334中计算任意两条头肩短轨迹的位置距离和颜色直方图距离的加权和时的权重分配有所不同，会根据具体情况再选取。
优选地，步骤S326或者步骤S336中，可以均采用匈牙利算法从所述关联候选对中选取出具有最低距离和、最大覆盖、无冲突的关联候选对进行关联。匈牙利算法是基于Hall定理中充分性证明的思想，它是部图匹配最常见的算法，该算法的核心就是寻找增广路径，它是一种用增广路径求二分图最大匹配的算法。
优选地，步骤S5之后还可以包括：
S6.设定报警时间阈值；
S7.从所述目标人员跟踪轨迹判断是否存在异常情况，并从发现存在异常情况起开始计时，获得异常情况持续时间；
S8.当所述异常情况持续时间超过报警时间阈值时进行报警。
具体地，因为通过可变形人形检测与头肩检测相结合的方式，可以获取到准确的目标人员跟踪轨迹，因此通过目标人员跟踪轨迹，就可以监测到人员的运动状态，准确判断出监控区域内的人员是运动还是静止的，有没有出现打架、单人独处很长时间等异常情况，在出现异常情况时也会及时获知并报警，尤其适用于看守所、监所、放风场所、劳动场所等关押人员出入场所，用来辅助值班人员发现监控视野内(默认检测整个视频画面，也可自定义检测区域)是否存在一个人独自逗留超过预定时间(可设置)的情况。当检测区域内的一个人独自逗留超过指定的之间后，可以产生单次的或连续的告警，提醒值班人员。
根据所述目标人员跟踪轨迹，可以很方便的进行人数统计，并通过划设进出区域的方式，对监控场景内人数的变化进行约束。通过检测划设区域内的运动信息，可以得到可能的人员进出或离开事件信息，并与人员的检测与跟踪结果相结合，可以有效的提高场景内人员计数的正确率。
本实施例所述的视频图像分析方法，通过跳帧进行可变形人形检测降低了计算量，并通过可变形人形检测与头肩检测相结合的方法去除头肩检测中的误检情况，提高了头肩检测的可信度，降低了误检率，在人员长时间静止、遮挡等情况下也能准确监控到目标人员轨迹，适用范围广。
实施例2
本实施例提供了一种视频图像分析系统，如图5所示，包括：
视频获取单元1，用于获取监控区域的视频；
背景去除单元2，用于去除所述视频中的背景以获取待分析区域；
头肩检测单元3，用于对所述待分析区域进行头肩检测以获取头肩跟踪轨迹；
可变形人形检测单元4，用于对所述待分析区域跳帧进行可变形人形检测以获取人形区域；
误检判断单元5，用于判断所述头肩跟踪轨迹与相同帧下的人形区域是否有人员位置重合，如果没有，将该条头肩跟踪轨迹予以去除，如果有，将该条头肩跟踪轨迹作为目标人员跟踪轨迹予以保留。
优选地，所述头肩检测单元3可以包括：
头肩区域获取子单元31，用于对所述待分析区域进行头肩检测以获取人员的头肩区域；
头肩区域关联子单元32，用于将相邻帧的头肩区域进行关联，生成多条头肩短轨迹；
头肩短轨迹关联子单元33，用于将多条所述头肩短轨迹进行关联，生成多条头肩跟踪轨迹。
优选地，所述头肩区域关联子单元32可以包括：
第一设定器321，用于设定第一阈值；
第一位置距离计算器322，用于计算相邻帧的任意两个头肩区域的位置距离；
第一颜色直方图距离计算器323，用于计算相邻帧的任意两个头肩区域的颜色直方图距离；
第一综合距离计算器324，用于计算相邻帧的任意两个头肩区域的所述位置距离与所述颜色直方图距离的加权和，将其作为相邻帧的任意两个头肩区域的综合距离；
第一比较器325，用于将所述任意两个头肩区域的综合距离与所述第一阈值相比较，当所述综合距离小于所述第一阈值时，将其对应的两个头肩区域作为一个关联候选对；
第一生成器326，用于从所述关联候选对中选取出具有最低距离和、最大覆盖、无冲突的关联候选对进行关联，生成多条头肩短轨迹。
优选地，所述头肩短轨迹关联子单元33可以包括：
第二设定器331，用于设定第二阈值；
第二位置距离计算器332，用于计算任意两条头肩短轨迹的位置距离；
第二颜色直方图距离计算器333，用于计算任意两条头肩短轨迹的颜色直方图距离；
第二综合距离计算器334，用于计算任意两条头肩短轨迹的所述位置距离与所述颜色直方图距离的加权和，将其作为任意两条头肩短轨迹的综合距离；
第二比较器335，用于将所述任意两条头肩短轨迹的综合距离与所述第二阈值相比较，当所述综合距离小于所述第二阈值时，将其对应的两条头肩短轨迹作为一个关联候选对；
第二生成器336，用于从所述关联候选对中选取出具有最低距离和、最大覆盖、无冲突的关联候选对进行关联，生成多条头肩跟踪轨迹。
优选地，所述第一生成器326或者所述第二生成器336中，均可以采用匈牙利算法从所述关联候选对中选取出具有最低距离和、最大覆盖、无冲突的关联候选对进行关联。
优选地，所述可变形人形检测单元4中，每次跳帧的帧数可以相同。
优选地，本实施例所述的视频图像分析系统，还包括：
时间阈值设定单元6，用于设定报警时间阈值；
异常情况判断单元7，用于从所述目标人员跟踪轨迹判断是否存在异常情况，并从发现存在异常情况起开始计时，获得异常情况持续时间；
报警单元8，用于当所述异常情况持续时间超过报警时间阈值时进行报警。
本实施例所述的视频图像分析系统，可变形人形检测单元4通过跳帧进行可变形人形检测降低了计算量，并通过误检判断单元5将可变形人形检测与头肩检测相结合去除头肩检测中的误检情况，提高了头肩检测的可信度，降低了误检率，在人员长时间静止、遮挡等情况下也能准确监控到目标人员轨迹，适用范围广。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
Claims (14)
1.一种视频图像分析方法，其特征在于，包括：
获取监控区域的视频；
去除所述视频中的背景以获取待分析区域；
对所述待分析区域进行头肩检测以获取头肩跟踪轨迹；
对所述待分析区域跳帧进行可变形人形检测以获取人形区域；
判断所述头肩跟踪轨迹与相同帧下的人形区域是否有人员位置重合，如果没有，将该条头肩跟踪轨迹予以去除，如果有，将该条头肩跟踪轨迹作为目标人员跟踪轨迹予以保留。
2.根据权利要求1所述的视频图像分析方法，其特征在于，对所述待分析区域进行头肩检测以获取头肩跟踪轨迹包括：
对所述待分析区域进行头肩检测以获取人员的头肩区域；
将相邻帧的头肩区域进行关联，生成多条头肩短轨迹；
将多条所述头肩短轨迹进行关联，生成多条头肩跟踪轨迹。
3.根据权利要求2所述的视频图像分析方法，其特征在于，所述将相邻帧的头肩区域进行关联，生成多条头肩短轨迹包括：
设定第一阈值；
计算相邻帧的任意两个头肩区域的位置距离；
计算相邻帧的任意两个头肩区域的颜色直方图距离；
计算相邻帧的任意两个头肩区域的所述位置距离与所述颜色直方图距离的加权和，将其作为相邻帧的任意两个头肩区域的综合距离；
将所述任意两个头肩区域的综合距离与所述第一阈值相比较，当所述综合距离小于所述第一阈值时，将其对应的两个头肩区域作为一个关联候选对；
从所述关联候选对中选取出具有最低距离和、最大覆盖、无冲突的关联候选对进行关联，生成多条头肩短轨迹。
4.根据权利要求2所述的视频图像分析方法，其特征在于，所述将多条所述头肩短轨迹进行关联，生成多条头肩跟踪轨迹包括：
设定第二阈值；
计算任意两条头肩短轨迹的位置距离；
计算任意两条头肩短轨迹的颜色直方图距离；
计算任意两条头肩短轨迹的所述位置距离与所述颜色直方图距离的加权和，将其作为任意两条头肩短轨迹的综合距离；
将所述任意两条头肩短轨迹的综合距离与所述第二阈值相比较，当所述综合距离小于所述第二阈值时，将其对应的两条头肩短轨迹作为一个关联候选对；
从所述关联候选对中选取出具有最低距离和、最大覆盖、无冲突的关联候选对进行关联，生成多条头肩跟踪轨迹。
5.根据权利要求3或4所述的视频图像分析方法，其特征在于，所述从所述关联候选对中选取出具有最低距离和、最大覆盖、无冲突的关联候选对进行关联，生成多条头肩短轨迹或者从所述关联候选对中选取出具有最低距离和、最大覆盖、无冲突的关联候选对进行关联，形成多条头肩跟踪轨迹中，均采用匈牙利算法从所述关联候选对中选取出具有最低距离和、最大覆盖、无冲突的关联候选对进行关联。
6.根据权利要求1所述的视频图像分析方法，其特征在于，对所述待分析区域跳帧进行可变形人形检测以获取人形区域中，每次跳帧的帧数相同。
7.根据权利要求1所述的视频图像分析方法，其特征在于，所述判断所述头肩跟踪轨迹与相同帧下的人形区域是否有人员位置重合，如果没有，将该条头肩跟踪轨迹予以去除，如果有，将该条头肩跟踪轨迹作为目标人员跟踪轨迹予以保留之后还包括：
设定报警时间阈值；
从所述目标人员跟踪轨迹判断是否存在异常情况，并从发现存在异常情况起开始计时，获得异常情况持续时间；
当所述异常情况持续时间超过报警时间阈值时进行报警。
8.一种视频图像分析系统，其特征在于，包括：
视频获取单元(1)，用于获取监控区域的视频；
背景去除单元(2)，用于去除所述视频中的背景以获取待分析区域；
头肩检测单元(3)，用于对所述待分析区域进行头肩检测以获取头肩跟踪轨迹；
可变形人形检测单元(4)，用于对所述待分析区域跳帧进行可变形人形检测以获取人形区域；
误检判断单元(5)，用于判断所述头肩跟踪轨迹与相同帧下的人形区域是否有人员位置重合，如果没有，将该条头肩跟踪轨迹予以去除，如果有，将该条头肩跟踪轨迹作为目标人员跟踪轨迹予以保留。
9.根据权利要求8所述的视频图像分析系统，其特征在于，所述头肩检测单元(3)包括：
头肩区域获取子单元(31)，用于对所述待分析区域进行头肩检测以获取人员的头肩区域；
头肩区域关联子单元(32)，用于将相邻帧的头肩区域进行关联，生成多条头肩短轨迹；
头肩短轨迹关联子单元(33)，用于将多条所述头肩短轨迹进行关联，生成多条头肩跟踪轨迹。
10.根据权利要求9所述的视频图像分析系统，其特征在于，所述头肩区域关联子单元(32)包括：
第一设定器(321)，用于设定第一阈值；
第一位置距离计算器(322)，用于计算相邻帧的任意两个头肩区域的位置距离；
第一颜色直方图距离计算器(323)，用于计算相邻帧的任意两个头肩区域的颜色直方图距离；
第一综合距离计算器(324)，用于计算相邻帧的任意两个头肩区域的所述位置距离与所述颜色直方图距离的加权和，将其作为相邻帧的任意两个头肩区域的综合距离；
第一比较器(325)，用于将所述任意两个头肩区域的综合距离与所述第一阈值相比较，当所述综合距离小于所述第一阈值时，将其对应的两个头肩区域作为一个关联候选对；
第一生成器(326)，用于从所述关联候选对中选取出具有最低距离和、最大覆盖、无冲突的关联候选对进行关联，生成多条头肩短轨迹。
11.根据权利要求9所述的视频图像分析系统，其特征在于，所述头肩短轨迹关联子单元(33)包括：
第二设定器(331)，用于设定第二阈值；
第二位置距离计算器(332)，用于计算任意两条头肩短轨迹的位置距离；
第二颜色直方图距离计算器(333)，用于计算任意两条头肩短轨迹的颜色直方图距离；
第二综合距离计算器(334)，用于计算任意两条头肩短轨迹的所述位置距离与所述颜色直方图距离的加权和，将其作为任意两条头肩短轨迹的综合距离；
第二比较器(335)，用于将所述任意两条头肩短轨迹的综合距离与所述第二阈值相比较，当所述综合距离小于所述第二阈值时，将其对应的两条头肩短轨迹作为一个关联候选对；
第二生成器(336)，用于从所述关联候选对中选取出具有最低距离和、最大覆盖、无冲突的关联候选对进行关联，生成多条头肩跟踪轨迹。
12.根据权利要求10或11所述的视频图像分析系统，其特征在于，所述第一生成器(326)或者所述第二生成器(336)中，均采用匈牙利算法从所述关联候选对中选取出具有最低距离和、最大覆盖、无冲突的关联候选对进行关联。
13.根据权利要求8所述的视频图像分析系统，其特征在于，所述可变形人形检测单元(4)中，每次跳帧的帧数相同。
14.根据权利要求8所述的视频图像分析系统，其特征在于，还包括：
时间阈值设定单元(6)，用于设定报警时间阈值；
异常情况判断单元(7)，用于从所述目标人员跟踪轨迹判断是否存在异常情况，并从发现存在异常情况起开始计时，获得异常情况持续时间；
报警单元(8)，用于当所述异常情况持续时间超过报警时间阈值时进行报警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410635083.1A CN104318578B (zh) | 2014-11-12 | 2014-11-12 | 一种视频图像分析方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410635083.1A CN104318578B (zh) | 2014-11-12 | 2014-11-12 | 一种视频图像分析方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104318578A true CN104318578A (zh) | 2015-01-28 |
| CN104318578B CN104318578B (zh) | 2017-07-21 |
Family
ID=52373804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410635083.1A Active CN104318578B (zh) | 2014-11-12 | 2014-11-12 | 一种视频图像分析方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104318578B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106600631A (zh) * | 2016-11-30 | 2017-04-26 | 郑州金惠计算机系统工程有限公司 | 基于多目标跟踪的客流统计方法 |
| CN107103279A (zh) * | 2017-03-09 | 2017-08-29 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种在垂直视角下基于深度学习的客流计数方法 |
| CN107122726A (zh) * | 2017-04-19 | 2017-09-01 | 高新兴科技集团股份有限公司 | 一种多姿态行人检测方法 |
| CN107341484A (zh) * | 2017-07-21 | 2017-11-10 | 金鹏电子信息机器有限公司 | 一种基于大数据的网络视频图像分析方法 |
| CN107871111A (zh) * | 2016-09-28 | 2018-04-03 | 苏宁云商集团股份有限公司 | 一种行为分析方法及系统 |
| CN108197507A (zh) * | 2017-12-30 | 2018-06-22 | 刘智 | 一种隐私实时保护方法和系统 |
| CN108268861A (zh) * | 2018-02-11 | 2018-07-10 | 四川虹美智能科技有限公司 | 一种人体卧姿状态识别方法及装置 |
| CN108351968A (zh) * | 2017-12-28 | 2018-07-31 | 深圳市锐明技术股份有限公司 | 一种针对犯罪活动的告警方法、装置、存储介质及服务器 |
| CN110298323A (zh) * | 2019-07-02 | 2019-10-01 | 中国科学院自动化研究所 | 基于视频分析的打架检测方法、系统、装置 |
| CN110443833A (zh) * | 2018-05-04 | 2019-11-12 | 佳能株式会社 | 对象跟踪方法和设备 |
| CN110956769A (zh) * | 2019-12-13 | 2020-04-03 | 珠海大横琴科技发展有限公司 | 一种基于目标位置的周界防入侵系统的监控方法 |
| CN111209781A (zh) * | 2018-11-22 | 2020-05-29 | 珠海格力电器股份有限公司 | 一种统计室内人数的方法及装置 |
| CN111275911A (zh) * | 2020-01-16 | 2020-06-12 | 珠海格力电器股份有限公司 | 一种危险提示方法、设备和计算机可读存储介质 |
| CN111382637A (zh) * | 2018-12-29 | 2020-07-07 | 深圳市优必选科技有限公司 | 行人检测跟踪方法、装置、终端设备及介质 |
| CN112541472A (zh) * | 2020-12-23 | 2021-03-23 | 北京百度网讯科技有限公司 | 一种目标检测方法、装置及电子设备 |
| CN114066944A (zh) * | 2022-01-17 | 2022-02-18 | 天津聚芯光禾科技有限公司 | 基于行人跟踪的光模块生产车间工人岗位行为分析方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070003141A1 (en) * | 2005-06-30 | 2007-01-04 | Jens Rittscher | System and method for automatic person counting and detection of specific events |
| CN101339605A (zh) * | 2008-08-14 | 2009-01-07 | 北京中星微电子有限公司 | 基于视频监控的人数检测系统及方法 |
| CN102063613A (zh) * | 2010-12-28 | 2011-05-18 | 北京智安邦科技有限公司 | 基于头部识别的人群计数方法及装置 |
| CN103049787A (zh) * | 2011-10-11 | 2013-04-17 | 汉王科技股份有限公司 | 一种基于头肩特征的人数统计方法和系统 |
-
2014
- 2014-11-12 CN CN201410635083.1A patent/CN104318578B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070003141A1 (en) * | 2005-06-30 | 2007-01-04 | Jens Rittscher | System and method for automatic person counting and detection of specific events |
| CN101339605A (zh) * | 2008-08-14 | 2009-01-07 | 北京中星微电子有限公司 | 基于视频监控的人数检测系统及方法 |
| CN102063613A (zh) * | 2010-12-28 | 2011-05-18 | 北京智安邦科技有限公司 | 基于头部识别的人群计数方法及装置 |
| CN103049787A (zh) * | 2011-10-11 | 2013-04-17 | 汉王科技股份有限公司 | 一种基于头肩特征的人数统计方法和系统 |
Non-Patent Citations (3)
| Title |
|---|
| ZHE LIN 等: "Shape-Based Human Detection and Segmentation via Hierachical Part-Template Matching", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| 毛志智 等: "基于视觉特征的人形定位算法的提出及实现", 《计算机与数字工程》 * |
| 田广: "基于视觉的行人检测和跟踪技术的研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107871111A (zh) * | 2016-09-28 | 2018-04-03 | 苏宁云商集团股份有限公司 | 一种行为分析方法及系统 |
| CN107871111B (zh) * | 2016-09-28 | 2021-11-26 | 苏宁易购集团股份有限公司 | 一种行为分析方法及系统 |
| CN106600631A (zh) * | 2016-11-30 | 2017-04-26 | 郑州金惠计算机系统工程有限公司 | 基于多目标跟踪的客流统计方法 |
| CN107103279B (zh) * | 2017-03-09 | 2020-06-05 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种在垂直视角下基于深度学习的客流计数方法 |
| CN107103279A (zh) * | 2017-03-09 | 2017-08-29 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种在垂直视角下基于深度学习的客流计数方法 |
| CN107122726A (zh) * | 2017-04-19 | 2017-09-01 | 高新兴科技集团股份有限公司 | 一种多姿态行人检测方法 |
| CN107341484A (zh) * | 2017-07-21 | 2017-11-10 | 金鹏电子信息机器有限公司 | 一种基于大数据的网络视频图像分析方法 |
| CN108351968A (zh) * | 2017-12-28 | 2018-07-31 | 深圳市锐明技术股份有限公司 | 一种针对犯罪活动的告警方法、装置、存储介质及服务器 |
| CN108351968B (zh) * | 2017-12-28 | 2022-04-22 | 深圳市锐明技术股份有限公司 | 一种针对犯罪活动的告警方法、装置、存储介质及服务器 |
| CN108197507A (zh) * | 2017-12-30 | 2018-06-22 | 刘智 | 一种隐私实时保护方法和系统 |
| CN108268861A (zh) * | 2018-02-11 | 2018-07-10 | 四川虹美智能科技有限公司 | 一种人体卧姿状态识别方法及装置 |
| CN108268861B (zh) * | 2018-02-11 | 2020-06-23 | 四川虹美智能科技有限公司 | 一种人体卧姿状态识别方法及装置 |
| CN110443833A (zh) * | 2018-05-04 | 2019-11-12 | 佳能株式会社 | 对象跟踪方法和设备 |
| CN110443833B (zh) * | 2018-05-04 | 2023-09-26 | 佳能株式会社 | 对象跟踪方法和设备 |
| CN111209781A (zh) * | 2018-11-22 | 2020-05-29 | 珠海格力电器股份有限公司 | 一种统计室内人数的方法及装置 |
| CN111209781B (zh) * | 2018-11-22 | 2023-05-23 | 珠海格力电器股份有限公司 | 一种统计室内人数的方法及装置 |
| CN111382637A (zh) * | 2018-12-29 | 2020-07-07 | 深圳市优必选科技有限公司 | 行人检测跟踪方法、装置、终端设备及介质 |
| CN111382637B (zh) * | 2018-12-29 | 2023-08-08 | 深圳市优必选科技有限公司 | 行人检测跟踪方法、装置、终端设备及介质 |
| CN110298323A (zh) * | 2019-07-02 | 2019-10-01 | 中国科学院自动化研究所 | 基于视频分析的打架检测方法、系统、装置 |
| CN110956769A (zh) * | 2019-12-13 | 2020-04-03 | 珠海大横琴科技发展有限公司 | 一种基于目标位置的周界防入侵系统的监控方法 |
| CN111275911B (zh) * | 2020-01-16 | 2021-02-26 | 珠海格力电器股份有限公司 | 一种危险提示方法、设备和计算机可读存储介质 |
| CN111275911A (zh) * | 2020-01-16 | 2020-06-12 | 珠海格力电器股份有限公司 | 一种危险提示方法、设备和计算机可读存储介质 |
| CN112541472A (zh) * | 2020-12-23 | 2021-03-23 | 北京百度网讯科技有限公司 | 一种目标检测方法、装置及电子设备 |
| CN112541472B (zh) * | 2020-12-23 | 2023-11-24 | 北京百度网讯科技有限公司 | 一种目标检测方法、装置及电子设备 |
| CN114066944B (zh) * | 2022-01-17 | 2022-04-12 | 天津聚芯光禾科技有限公司 | 基于行人跟踪的光模块生产车间工人岗位行为分析方法 |
| CN114066944A (zh) * | 2022-01-17 | 2022-02-18 | 天津聚芯光禾科技有限公司 | 基于行人跟踪的光模块生产车间工人岗位行为分析方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104318578B (zh) | 2017-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104318578A (zh) | 一种视频图像分析方法及系统 | |
| CN108241844B (zh) | 一种公交客流统计方法、装置及电子设备 | |
| CN105574501B (zh) | 一种人流视频侦测分析系统 | |
| US10007850B2 (en) | System and method for event monitoring and detection | |
| Shirazi et al. | Vision-based turning movement monitoring: count, speed & waiting time estimation | |
| CA3094424C (en) | Safety monitoring and early-warning method for man-machine interaction behavior of underground conveyor belt operator | |
| CN106241533A (zh) | 基于机器视觉的电梯乘员综合安全智能监控方法 | |
| CN106006266B (zh) | 一种应用于电梯安全监控的机器视觉建立方法 | |
| Liao et al. | Slip and fall event detection using Bayesian Belief Network | |
| CN106571014A (zh) | 一种在视频中识别异常动作的方法和系统 | |
| CN110425005A (zh) | 矿井下皮带运输人员人机交互行为安全监控与预警方法 | |
| CN110796819B (zh) | 一种针对站台黄线入侵越界人员的检测方法及系统 | |
| CN102447835A (zh) | 无盲区多目标协同跟踪方法及系统 | |
| CN105303191A (zh) | 一种前视监视场景下的行人计数方法和装置 | |
| US20180341814A1 (en) | Multiple robots assisted surveillance system | |
| US20230410517A1 (en) | Information processing apparatus, control method, and program | |
| CN106778655A (zh) | 一种基于人体骨架的入口尾随进入检测方法 | |
| CN112184773A (zh) | 一种基于深度学习的安全帽佩戴检测方法及系统 | |
| CN106210633A (zh) | 一种智慧金睛识别越线检测报警方法和装置 | |
| KR101572366B1 (ko) | 지능형 영상 감시 시스템을 위한 납치 상황 인식 방법 | |
| CN117392611A (zh) | 工地安全监测方法、系统、设备及存储介质 | |
| KR101407394B1 (ko) | 방치물 및 도난물 탐지 시스템 | |
| Liu et al. | Analysis and design of public places crowd stampede early-warning simulating system | |
| CN103974028A (zh) | 人员激烈行为侦测方法 | |
| CN107590936A (zh) | 一种基于视频监控的仓库报警系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |