CN110795599A - 基于多尺度图的视频突发事件监测方法及系统 - Google Patents
基于多尺度图的视频突发事件监测方法及系统 Download PDFInfo
- Publication number
- CN110795599A CN110795599A CN201910993172.6A CN201910993172A CN110795599A CN 110795599 A CN110795599 A CN 110795599A CN 201910993172 A CN201910993172 A CN 201910993172A CN 110795599 A CN110795599 A CN 110795599A
- Authority
- CN
- China
- Prior art keywords
- sliding window
- video
- scale
- period
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 230000001186 cumulative effect Effects 0.000 claims description 18
- 238000000546 chi-square test Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 101150064138 MAP1 gene Proteins 0.000 claims description 2
- 101150077939 mapA gene Proteins 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
- G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Library & Information Science (AREA)
- Image Analysis (AREA)
Abstract
本公开公开了基于多尺度图的视频突发事件监测方法及系统，对初步采样的视频数据进行关键帧提取，形成视频摘要序列；对视频摘要序列进行视频序列周期估计，从而估算视频监测内容的运行周期；对视频摘要序列以周期为单位进行多尺度图模型建模并不断更新模型参数；将一组多尺度图中与其他多尺度图距离度量和最小的图定义为中值图并不断更新中值图，从而将视频突发事件监测问题转换为与中值图的距离度量问题；在每个监测周期，将多尺度图模型与中值图进行差异度计算；在视频突发事件检测系统运行过程中，利用长度固定的滑动窗口对视频摘要序列进行突发事件监测。
Description
技术领域
本公开涉及视频监控技术领域，特别是涉及基于多尺度图的视频突发事件监测方法及系统。
背景技术
本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。
在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：
当前，视频监控技术呈现新的变化趋势:一方面随着信息技术的不断发展，智能视频技术逐渐取代传统视频监控技术，旨在实现实时监控、跟踪分析等功能，增大了监控系统操作的复杂性；另一方面，视频监控内容激增，新的监控需求要求视频监控系统具备视频内容全局上的异常检测能力，处理内容增加，处理能力增大，导致监控系统的处理视频的复杂程度增加；
传统智能视频监控技术，站在“目标监控”的立场上，对检测目标进行确认、跟踪、行为识别与匹配，难以应对上述全局内容上的突发事件监测。行为识别与匹配依赖于行为模板的建立，难以应对突发行为的异常检测。因此，基于目标检测、跟踪、识别的智能视频监控系统无法基于上述全局视频下进行异常事件监测，最终导致视频监控系统迁移能力不足，不同应用场景下的业务需求变化无法得到快速响应并完成实时迁移。
发明内容
为了解决现有技术的不足，本公开提供了基于多尺度图的视频突发事件监测方法及系统；该方法对原始视频数据进行关键帧提取，形成视频摘要序列，然后根据DTW算法进行视频内容周期估算，得到视频监测内容的运转周期，以周期为单位生成多尺度图模型并得到一组多尺度图模型的中值图，利用中值图对每个运转周期内的视频内容进行观测和计算并执行异常检测，定位异常周期，有效的完成视频突发事件监测。
第一方面，本公开提供了基于多尺度图的视频突发事件监测方法；
基于多尺度图的视频突发事件监测方法，包括：
输入待监测视频，对待监测视频进行关键帧提取，构建视频摘要序列；
对视频摘要序列进行视频内容周期估算，从而得到视频内容的运转周期；
基于每个运转周期内的所有关键帧，构建每个运转周期的多尺度图；
设定第一滑动窗口，所述第一滑动窗口内包含若干个运转周期；计算第一滑动窗口内每一个多尺度图与第一滑动窗口内其他所有多尺度图的差异系数，将每一个多尺度图对应的所有差异系数累积求和，将累积求和最小值对应的多尺度图视为第一滑动窗口的中值图；
将第一滑动窗口内的每一运转周期待监测的多尺度图与第一滑动窗口的中值图进行比较，得到差异系数Ln，将差异系数Ln与预定义阈值进行比较，如果大于等于预定义阈值，则得出第一滑动窗口中该运转周期内发生突发事件；否则，第一滑动窗口继续向下滑动一个周期，并更新第一滑动窗口内的多尺度图序列与中值图，执行新一轮突发事件的监测。
第二方面，本公开还提供了基于多尺度图的视频突发事件监测系统；
基于多尺度图的视频突发事件监测系统，包括：
关键帧提取模块，其被配置为：输入待监测视频，对待监测视频进行关键帧提取，构建视频摘要序列；
运转周期计算模块，其被配置为：对视频摘要序列进行视频内容周期估算，从而得到视频内容的运转周期；
多尺度图构建模块，其被配置为：基于每个运转周期内的所有关键帧，构建每个运转周期的多尺度图；
中值图获取模块，其被配置为：设定第一滑动窗口，所述第一滑动窗口内包含若干个运转周期；计算第一滑动窗口内每一个多尺度图与第一滑动窗口内其他所有多尺度图的差异系数，将每一个多尺度图对应的所有差异系数累积求和，将累积求和最小值对应的多尺度图视为第一滑动窗口的中值图；
突发事件监测模块，其被配置为：将第一滑动窗口内的每一运转周期待监测的多尺度图与第一滑动窗口的中值图进行比较，得到差异系数Ln，将差异系数 Ln与预定义阈值进行比较，如果大于等于预定义阈值，则得出第一滑动窗口中该运转周期内发生突发事件；否则，第一滑动窗口继续向下滑动一个周期，并更新第一滑动窗口内的多尺度图序列与中值图，执行新一轮突发事件的监测。
第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。
第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。
与现有技术相比，本公开的有益效果是：
(1)本发明在视频监控运行过程中对采集数据进行突发事件检测进而有效的监测视频内容，无需先验知识，可进行在线实时无监督视频突发事件监测。
(2)本发明的方法提出基于多尺度图模型对周期视频内容进行建模，理论上能更好的描述周期下视频内容的关联性。同时，该方法通过多尺度图模型之间的差异度量解决视频突发事件监测的关键问题，克服了传统“目标监控”行为匹配方式无法反映全局内容上的视频突发事件的缺点，能够实现对全局内容的突发事件监测，增强了不同场景下视频突发事件监测的迁移能力。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1是第一个实施例的视频突发事件监测方法的流程图；
图2是第一个实施例的多尺度图模型示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
专业术语解释：
视频摘要序列：利用帧间差分法从原始视频数据中提取的可以代表一定内容的帧，M＝{m1,m2,...mn...}。
多尺度：对关键帧从多种角度进行描述，通过HSV、HOG特征对关键帧节点进行特征化，通过节点间H-S直方图的卡方检验和及HOG特征的相似度按照一定权重加和后对边eij赋权重。
多尺度图：以周期为单位，周期内的关键帧为节点，提取关键帧的HOG特征、H-S直方图归一化后作为节点的特征，任意两节点间H-S直方图的卡方检验及HOG特征的相似度按照一定权重加和后作为边eij的权重构成多尺度图G，该图反映了一个周期内关键帧内容上的关联性，如图2所示。
差异系数：两个多尺度图对应边的欧式距离累加和称为差异系数，差异系数反映两个多尺度图之间结构的差异性。
中值图：利用一个长度固定的第一滑动窗口，对第一滑动窗口内的多尺度图序列进行比较，得到各图之间的差异系数，取差异系数累加和最小的多尺度图作为中值图，中值图可以解决最小化优化问题。
实施例一，本实施例提供了基于多尺度图的视频突发事件监测方法；
如图1所示，基于多尺度图的视频突发事件监测方法，包括：
步骤(1)：输入待监测视频，对待监测视频进行关键帧提取，构建视频摘要序列；
步骤(2)：对视频摘要序列进行视频内容周期估算，从而得到视频内容的运转周期；
步骤(3)：基于每个运转周期内的所有关键帧，构建每个运转周期的多尺度图；
步骤(4)：设定第一滑动窗口，所述第一滑动窗口内包含若干个运转周期；计算第一滑动窗口内每一个多尺度图与第一滑动窗口内其他所有多尺度图的差异系数，将每一个多尺度图对应的所有差异系数累积求和，将累积求和最小值对应的多尺度图视为第一滑动窗口的中值图；
步骤(5)：将第一滑动窗口内的每一运转周期待监测的多尺度图与第一滑动窗口的中值图进行比较，得到差异系数Ln，将差异系数Ln与预定义阈值进行比较，如果大于等于预定义阈值，则得出第一滑动窗口中该运转周期内发生突发事件；否则，第一滑动窗口继续向下滑动一个周期，并更新第一滑动窗口内的多尺度图序列与中值图，执行新一轮突发事件的监测。
作为一个或多个实施例，所述步骤(1)中，输入待监测视频，对待监测视频进行关键帧提取，构建视频摘要序列；具体步骤包括：
步骤(1-1)：关键帧提取：采用帧间差分法对输入的待监测视频进行关键帧提取；
步骤(1-2)：构建视频摘要序列：将步骤(1-1)中提取出的关键帧按照时间顺序构成视频摘要序列M＝{m1,m2,...mn}，
其中，k是节点mk的标识。
应理解的，所述步骤(1-1)的有益效果是：剔除冗余内容，减少后续监测过程的数据处理量，提高实时性。
应理解的，所述步骤(1-2)的视频摘要序列可以反映完整的视频内容。
作为一个或多个实施例，所述步骤(2)中，对视频摘要序列进行视频内容周期估算，从而得到视频内容的运转周期；具体步骤包括：
步骤(2-1)：关键帧向量化：在得到视频摘要序列后，为体现颜色的直观特性，将视频摘要序列中的关键帧由RGB空间转换到HSV空间中，；
步骤(2-2)：设定若干个不同长度的第二滑动窗口，将每一个长度的第二滑动窗口在视频摘要序列中的关键帧上滑动，每滑动一次得到一个关键帧序列；计算相邻关键帧序列的DTW(Dynamic Time Warping，动态时间归整)累计距离；
根据相邻关键帧序列的DTW累计距离，计算累计距离增长率；
累计距离增长率最小值，所对应的第二滑动窗口的长度，即为视频内容的运转周期。
应理解的，所述步骤(2-1)：关键帧向量化：在得到视频摘要序列后，将关键帧转换到HSV空间中，分别将H空间划分为0-7量化等级，S、V空间划分为 0-2量化等级，将HSV空间的量化等级累加求和形成多维矢量。
应理解的，所述步骤(2-2)：相邻滑动窗口计算DTW累计距离：截取不同长度pi∈[Min_lp,Max_lp]计算相邻关键帧序列的DTW累计距离并形成累计距离矩阵D＝{d_pMin_lp,d_pMin_lp+1,...d_pMax_lp}，其中Min_lp为最小预测周期，Max_lp为最大预测周期，根据滑动窗口获取时序上相邻的两个关键帧序列Seq1,Seq2，其中 Seq1＝{k1,k2,...kpi}，Seq2＝{kpi+1,kpi+2,...k2pi}，两个相邻序列间的累计距离 d_pi＝DTW(Seq1,Seq2)。
估算视频内容周期：根据累计距离构造累计距离增长率矩阵 R＝{r_pMin_lp,r_pMin_lp+1,...r_pMax_lp}，
周期period等于累计距离增长率rate最小的周期长度。
作为一个或多个实施例，所述步骤(3)中，基于每个运转周期内的所有关键帧，构建每个运转周期的多尺度图；具体步骤包括：
步骤(3-1)：提取每个运转周期内每个关键帧的HOG(Histogram of OrientedGradient,方向梯度直方图)特征和H-S(Hue-Saturation，色彩-饱和度)直方图；
步骤(3-2)：计算任意两个关键帧的HOG特征的相似度；计算任意两个关键帧的H-S直方图的卡方检验值；计算任意两个关键帧的HOG特征的相似度与 H-S直方图的卡方检验值的加权求和；
以每个周期内的关键帧作为节点，以加权求和所得到的值作为节点之间连线的权值；构建每个运转周期的多尺度图。
应理解的，所述步骤(3-1)：提取周期内关键帧特征：对一个周期内的关键帧提取HOG特征、H-S直方图归一化后作为关键帧的特征，降低后续所需处理数据大小及冗余。
应理解的，所述步骤(3-2)：建立多尺度图模型：以一个周期内的关键帧作为多尺度图的节点，任意两个节点间H-S直方图的卡方检验值及HOG特征的相似度按照一定权重加和后作为边eij的权值dij：
dij＝CHISQR_ALT{ki,kj}+Similarity{ki,kj}；
构成多尺度图G。
作为一个或多个实施例，所述步骤(4)中，设定第一滑动窗口，所述第一滑动窗口内包含若干个运转周期；计算第一滑动窗口内每一个多尺度图与第一滑动窗口内其他所有多尺度图的差异系数，将每一个多尺度图对应的所有差异系数累积求和，将累积求和最小值对应的多尺度图视为第一滑动窗口的中值图；具体步骤包括：
利用固定长度为Lg的第一滑动窗口，所述第一滑动窗口内包含若干个运转周期；第一滑动窗口内的所有运转周期的多尺度图，形成多尺度图序列 S＝{G1,G2,...GLg}，其中，GLg表示第Lg个多尺度图；
计算第一滑动窗口内每一个多尺度图与第一滑动窗口内其他所有多尺度图的差异系数Ln，任意两个多尺度图之间的差异系数Ln表示任意两个周期间内容的相似性；其中，
Ln＝DEWV{G,G'}，
其中，G代表当前多尺度图，G'代表第一滑动窗口内其他任一用于比较的多尺度图；
其中，X为多尺度图内包含的关键帧顶点个数，dij代表当前多尺度图第i个顶点与第j个顶点间边eij的权值，dij'代表用于比较的多尺度图对应的第i个顶点与第j个顶点间边eij'的权值；
将第一滑动窗口内每一个多尺度图对应的所有差异系数累积求和，将累积求和最小值对应的多尺度图视为第一滑动窗口的中值图；
定义中值图
为第一滑动窗口内差异系数累计和最小的图：
其中，Lg代表第一滑动窗口的固定长度，S是第一滑动窗口内的所有运转周期的多尺度图形成的多尺度图序列，S＝{G1,G2,...GLg}，G为多尺度图序列内计算差异系数累计和的当前多尺度图，Gi为第一滑动窗口内其他用于与G参照的多尺度图。
作为一个或多个实施例，所述步骤(5)中，将第一滑动窗口内的每一运转周期待监测的多尺度图与第一滑动窗口的中值图进行比较，得到差异系数Ln，将差异系数Ln与预定义阈值进行比较，如果大于等于预定义阈值，则得出第一滑动窗口中该运转周期内发生突发事件；否则，第一滑动窗口继续向下滑动一个周期，并更新第一滑动窗口内的多尺度图序列与中值图，执行新一轮突发事件的监测；具体步骤包括：
利用中值图与当前待检测多尺度图Gh进行比较，得差异系数Ln，将Ln与预定义阈值λ进行比较，若Ln≥λ，则判断当前运转周期发生突发事件；反之，若 Ln<λ，第一滑动窗口向后滑动一个周期并更新多尺度图序列S与中值图执行新一轮突发事件检测。
实施例二，本实施例还提供了基于多尺度图的视频突发事件监测系统；
基于多尺度图的视频突发事件监测系统，包括：
关键帧提取模块，其被配置为：输入待监测视频，对待监测视频进行关键帧提取，构建视频摘要序列；
运转周期计算模块，其被配置为：对视频摘要序列进行视频内容周期估算，从而得到视频内容的运转周期；
多尺度图构建模块，其被配置为：基于每个运转周期内的所有关键帧，构建每个运转周期的多尺度图；
中值图获取模块，其被配置为：设定第一滑动窗口，所述第一滑动窗口内包含若干个运转周期；计算第一滑动窗口内每一个多尺度图与第一滑动窗口内其他所有多尺度图的差异系数，将每一个多尺度图对应的所有差异系数累积求和，将累积求和最小值对应的多尺度图视为第一滑动窗口的中值图；
突发事件监测模块，其被配置为：将第一滑动窗口内的每一运转周期待监测的多尺度图与第一滑动窗口的中值图进行比较，得到差异系数Ln，将差异系数 Ln与预定义阈值进行比较，如果大于等于预定义阈值，则得出第一滑动窗口中该运转周期内发生突发事件；否则，第一滑动窗口继续向下滑动一个周期，并更新第一滑动窗口内的多尺度图序列与中值图，执行新一轮突发事件的监测。
实施例三，本实施例还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例一所述方法的步骤。
实施例四，本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述方法的步骤。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.基于多尺度图的视频突发事件监测方法，其特征是，包括：
输入待监测视频，对待监测视频进行关键帧提取，构建视频摘要序列；
对视频摘要序列进行视频内容周期估算，从而得到视频内容的运转周期；
基于每个运转周期内的所有关键帧，构建每个运转周期的多尺度图；
设定第一滑动窗口，所述第一滑动窗口内包含若干个运转周期；计算第一滑动窗口内每一个多尺度图与第一滑动窗口内其他所有多尺度图的差异系数，将每一个多尺度图对应的所有差异系数累积求和，将累积求和最小值对应的多尺度图视为第一滑动窗口的中值图；
将第一滑动窗口内的每一运转周期待监测的多尺度图与第一滑动窗口的中值图进行比较，得到差异系数Ln，将差异系数Ln与预定义阈值进行比较，如果大于等于预定义阈值，则得出第一滑动窗口中该运转周期内发生突发事件；否则，第一滑动窗口继续向下滑动一个周期，并更新第一滑动窗口内的多尺度图序列与中值图，执行新一轮突发事件的监测。
2.如权利要求1所述的方法，其特征是，所述步骤(1)中，输入待监测视频，对待监测视频进行关键帧提取，构建视频摘要序列；具体步骤包括：
步骤(1-1)：关键帧提取：采用帧间差分法对输入的待监测视频进行关键帧提取；
步骤(1-2)：构建视频摘要序列：将步骤(1-1)中提取出的关键帧按照时间顺序构成视频摘要序列M＝{m1,m2,...mn}，
其中，k是节点mk的标识。
3.如权利要求1所述的方法，其特征是，所述步骤(2)中，对视频摘要序列进行视频内容周期估算，从而得到视频内容的运转周期；具体步骤包括：
步骤(2-1)：关键帧向量化：在得到视频摘要序列后，为体现颜色的直观特性，将视频摘要序列中的关键帧由RGB空间转换到HSV空间中；
步骤(2-2)：设定若干个不同长度的第二滑动窗口，将每一个长度的第二滑动窗口在视频摘要序列中的关键帧上滑动，每滑动一次得到一个关键帧序列；计算相邻关键帧序列的DTW累计距离；
根据相邻关键帧序列的DTW累计距离，计算累计距离增长率；
累计距离增长率最小值，所对应的第二滑动窗口的长度，即为视频内容的运转周期。
4.如权利要求3所述的方法，其特征是，所述步骤(2-2)：相邻滑动窗口计算DTW累计距离：截取不同长度pi∈[Min_lp,Max_lp]计算相邻关键帧序列的DTW累计距离并形成累计距离矩阵D＝{d_pMin_lp,d_pMin_lp+1,...d_pMax_lp}，其中Min_lp为最小预测周期，Max_lp为最大预测周期，根据滑动窗口获取时序上相邻的两个关键帧序列Seq1,Seq2，其中
两个相邻序列间的累计距离d_pi＝DTW(Seq1,Seq2)；
估算视频内容周期：根据累计距离构造累计距离增长率矩阵R＝{r_pMin_lp,r_pMin_lp+1,...r_pMax_lp}，
周期period等于累计距离增长率rate最小的周期长度。
5.如权利要求1所述的方法，其特征是，所述步骤(3)中，基于每个运转周期内的所有关键帧，构建每个运转周期的多尺度图；具体步骤包括：
步骤(3-1)：提取每个运转周期内每个关键帧的方向梯度直方图HOG特征和色彩-饱和度H-S直方图；
步骤(3-2)：计算任意两个关键帧的HOG特征的相似度；计算任意两个关键帧的H-S直方图的卡方检验值；计算任意两个关键帧的HOG特征的相似度与H-S直方图的卡方检验值的加权求和；
以每个周期内的关键帧作为节点，以加权求和所得到的值作为节点之间连线的权值；构建每个运转周期的多尺度图。
6.如权利要求1所述的方法，其特征是，所述步骤(4)中，设定第一滑动窗口，所述第一滑动窗口内包含若干个运转周期；计算第一滑动窗口内每一个多尺度图与第一滑动窗口内其他所有多尺度图的差异系数，将每一个多尺度图对应的所有差异系数累积求和，将累积求和最小值对应的多尺度图视为第一滑动窗口的中值图；具体步骤包括：
利用固定长度为Lg的第一滑动窗口，所述第一滑动窗口内包含若干个运转周期；第一滑动窗口内的所有运转周期的多尺度图，形成多尺度图序列S＝{G1,G2,...GLg}，其中，GLg表示第Lg个多尺度图；
计算第一滑动窗口内每一个多尺度图与第一滑动窗口内其他所有多尺度图的差异系数Ln，任意两个多尺度图之间的差异系数Ln表示任意两个周期间内容的相似性；其中，
Ln＝DEWV{G,G'}，
其中，G代表当前多尺度图，G'代表第一滑动窗口内其他任一用于比较的多尺度图；
其中，X为多尺度图内包含的关键帧顶点个数，dij代表当前多尺度图第i个顶点与第j个顶点间边eij的权值，dij'代表用于比较的多尺度图对应的第i个顶点与第j个顶点间边eij'的权值；
将第一滑动窗口内每一个多尺度图对应的所有差异系数累积求和，将累积求和最小值对应的多尺度图视为第一滑动窗口的中值图；
定义中值图为第一滑动窗口内差异系数累计和最小的图：
其中，Lg代表第一滑动窗口的固定长度，S是第一滑动窗口内的所有运转周期的多尺度图形成的多尺度图序列，S＝{G1,G2,...GLg}，G为多尺度图序列内计算差异系数累计和的当前多尺度图，Gi为第一滑动窗口内其他用于与G参照的多尺度图。
7.如权利要求1所述的方法，其特征是，所述步骤(5)中，将第一滑动窗口内的每一运转周期待监测的多尺度图与第一滑动窗口的中值图进行比较，得到差异系数Ln，将差异系数Ln与预定义阈值进行比较，如果大于等于预定义阈值，则得出第一滑动窗口中该运转周期内发生突发事件；否则，第一滑动窗口继续向下滑动一个周期，并更新第一滑动窗口内的多尺度图序列与中值图，执行新一轮突发事件的监测；具体步骤包括：
利用中值图与当前待检测多尺度图Gh进行比较，得差异系数Ln，将Ln与预定义阈值λ进行比较，若Ln≥λ，则判断当前运转周期发生突发事件；反之，若Ln<λ，第一滑动窗口向后滑动一个周期并更新多尺度图序列S与中值图
执行新一轮突发事件检测。
8.基于多尺度图的视频突发事件监测系统，其特征是，包括：
关键帧提取模块，其被配置为：输入待监测视频，对待监测视频进行关键帧提取，构建视频摘要序列；
运转周期计算模块，其被配置为：对视频摘要序列进行视频内容周期估算，从而得到视频内容的运转周期；
多尺度图构建模块，其被配置为：基于每个运转周期内的所有关键帧，构建每个运转周期的多尺度图；
中值图获取模块，其被配置为：设定第一滑动窗口，所述第一滑动窗口内包含若干个运转周期；计算第一滑动窗口内每一个多尺度图与第一滑动窗口内其他所有多尺度图的差异系数，将每一个多尺度图对应的所有差异系数累积求和，将累积求和最小值对应的多尺度图视为第一滑动窗口的中值图；
突发事件监测模块，其被配置为：将第一滑动窗口内的每一运转周期待监测的多尺度图与第一滑动窗口的中值图进行比较，得到差异系数Ln，将差异系数Ln与预定义阈值进行比较，如果大于等于预定义阈值，则得出第一滑动窗口中该运转周期内发生突发事件；否则，第一滑动窗口继续向下滑动一个周期，并更新第一滑动窗口内的多尺度图序列与中值图，执行新一轮突发事件的监测。
9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项方法所述的步骤。
10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项方法所述的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910993172.6A CN110795599B (zh) | 2019-10-18 | 2019-10-18 | 基于多尺度图的视频突发事件监测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910993172.6A CN110795599B (zh) | 2019-10-18 | 2019-10-18 | 基于多尺度图的视频突发事件监测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110795599A true CN110795599A (zh) | 2020-02-14 |
| CN110795599B CN110795599B (zh) | 2022-04-15 |
Family
ID=69439388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910993172.6A Active CN110795599B (zh) | 2019-10-18 | 2019-10-18 | 基于多尺度图的视频突发事件监测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110795599B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111510792A (zh) * | 2020-05-22 | 2020-08-07 | 山东师范大学 | 基于自适应加权图差异分析的视频摘要生成方法及系统 |
| CN111914118A (zh) * | 2020-07-22 | 2020-11-10 | 珠海大横琴科技发展有限公司 | 基于大数据的视频分析方法、装置、设备及存储介质 |
| WO2023142550A1 (zh) * | 2022-01-27 | 2023-08-03 | 上海商汤智能科技有限公司 | 异常事件检测方法及装置、计算机设备、存储介质、计算机程序、计算机程序产品 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070025614A1 (en) * | 2005-07-28 | 2007-02-01 | Microsoft Corporation | Robust shot detection in a video |
| CN105761263A (zh) * | 2016-02-19 | 2016-07-13 | 浙江大学 | 一种基于镜头边界检测和聚类的视频关键帧提取方法 |
| CN106951870A (zh) * | 2017-02-15 | 2017-07-14 | 重庆警察学院 | 主动视觉注意的监控视频显著事件智能检测预警方法 |
| CN107132064A (zh) * | 2017-05-17 | 2017-09-05 | 山东大学 | 基于多传感器的旋转机械系统运行状态监测方法及系统 |
| CN107833221A (zh) * | 2017-11-29 | 2018-03-23 | 武汉大学 | 一种基于多通道特征融合和机器学习的漏水监测方法 |
| CN108596951A (zh) * | 2018-03-30 | 2018-09-28 | 西安电子科技大学 | 一种融合特征的目标跟踪方法 |
| CN109636795A (zh) * | 2018-12-19 | 2019-04-16 | 安徽大学 | 实时无跟踪的监控视频遗留物检测方法 |
| CN109902612A (zh) * | 2019-02-22 | 2019-06-18 | 北京工业大学 | 一种基于无监督学习的监控视频异常检测方法 |
| CN110147469A (zh) * | 2019-05-14 | 2019-08-20 | 腾讯音乐娱乐科技（深圳）有限公司 | 一种数据处理方法、设备及存储介质 |
-
2019
- 2019-10-18 CN CN201910993172.6A patent/CN110795599B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070025614A1 (en) * | 2005-07-28 | 2007-02-01 | Microsoft Corporation | Robust shot detection in a video |
| CN105761263A (zh) * | 2016-02-19 | 2016-07-13 | 浙江大学 | 一种基于镜头边界检测和聚类的视频关键帧提取方法 |
| CN106951870A (zh) * | 2017-02-15 | 2017-07-14 | 重庆警察学院 | 主动视觉注意的监控视频显著事件智能检测预警方法 |
| CN107132064A (zh) * | 2017-05-17 | 2017-09-05 | 山东大学 | 基于多传感器的旋转机械系统运行状态监测方法及系统 |
| CN107833221A (zh) * | 2017-11-29 | 2018-03-23 | 武汉大学 | 一种基于多通道特征融合和机器学习的漏水监测方法 |
| CN108596951A (zh) * | 2018-03-30 | 2018-09-28 | 西安电子科技大学 | 一种融合特征的目标跟踪方法 |
| CN109636795A (zh) * | 2018-12-19 | 2019-04-16 | 安徽大学 | 实时无跟踪的监控视频遗留物检测方法 |
| CN109902612A (zh) * | 2019-02-22 | 2019-06-18 | 北京工业大学 | 一种基于无监督学习的监控视频异常检测方法 |
| CN110147469A (zh) * | 2019-05-14 | 2019-08-20 | 腾讯音乐娱乐科技（深圳）有限公司 | 一种数据处理方法、设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| LOPAMUDRA MUKHERJEE,VIKAS SINGH, JIMING PENG, JINHUI XU: "Generalized Median Graphs Theory and Applications", 《2007 IEEE 11TH INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
| RAMZI CHAIEB,KARIM KALTI,MUHAMMAD MUZZAMIL LUQMAN,MICKAËL COUSTA: "Fuzzy generalized median graphs computation Application to content-based document retrieval", 《PATTERN RECOGNITION》 * |
| 曲阳: "视频检索中的镜头分割及关键帧提取方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111510792A (zh) * | 2020-05-22 | 2020-08-07 | 山东师范大学 | 基于自适应加权图差异分析的视频摘要生成方法及系统 |
| CN111510792B (zh) * | 2020-05-22 | 2022-04-15 | 山东师范大学 | 基于自适应加权图差异分析的视频摘要生成方法及系统 |
| CN111914118A (zh) * | 2020-07-22 | 2020-11-10 | 珠海大横琴科技发展有限公司 | 基于大数据的视频分析方法、装置、设备及存储介质 |
| WO2023142550A1 (zh) * | 2022-01-27 | 2023-08-03 | 上海商汤智能科技有限公司 | 异常事件检测方法及装置、计算机设备、存储介质、计算机程序、计算机程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110795599B (zh) | 2022-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109559320B (zh) | 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及系统 | |
| CN108133188B (zh) | 一种基于运动历史图像与卷积神经网络的行为识别方法 | |
| Varadarajan et al. | Spatial mixture of Gaussians for dynamic background modelling | |
| CN110120064B (zh) | 一种基于互强化与多注意机制学习的深度相关目标跟踪算法 | |
| CN110795599B (zh) | 基于多尺度图的视频突发事件监测方法及系统 | |
| CN108830145B (zh) | 一种基于深度神经网络的人数统计方法及存储介质 | |
| CN107369166B (zh) | 一种基于多分辨率神经网络的目标跟踪方法及系统 | |
| CN112488073A (zh) | 目标检测方法、系统、设备及存储介质 | |
| CN111161315B (zh) | 一种基于图神经网络的多目标跟踪方法和系统 | |
| JP6547744B2 (ja) | 画像処理システム、画像処理方法及びプログラム | |
| CN111462191B (zh) | 一种基于深度学习的非局部滤波器无监督光流估计方法 | |
| CN110349187A (zh) | 基于tsk模糊分类器的目标跟踪方法、装置及存储介质 | |
| CN112419202B (zh) | 基于大数据及深度学习的野生动物图像自动识别系统 | |
| WO2019167784A1 (ja) | 位置特定装置、位置特定方法及びコンピュータプログラム | |
| CN113328908B (zh) | 异常数据的检测方法、装置、计算机设备和存储介质 | |
| CN113283368B (zh) | 一种模型训练方法、人脸属性分析方法、装置及介质 | |
| CN112989987B (zh) | 用于识别人群行为的方法、装置、设备以及存储介质 | |
| CN110163060B (zh) | 图像中人群密度的确定方法及电子设备 | |
| CN108647587A (zh) | 人数统计方法、装置、终端及存储介质 | |
| CN113011322A (zh) | 监控视频特定异常行为的检测模型训练方法及检测方法 | |
| CN113920159A (zh) | 一种基于全卷积孪生网络的红外空中小目标跟踪方法 | |
| CN115564710A (zh) | 基于lk光流法的火灾烟雾检测方法、装置及存储介质 | |
| Pillai et al. | Fine-Tuned EfficientNetB4 Transfer Learning Model for Weather Classification | |
| CN112579824A (zh) | 视频数据分类方法、装置、电子设备及存储介质 | |
| CN114821767B (zh) | 基于动态时间扭曲的图卷积神经网络动作识别方法、电子设备及储存介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240326 Address after: Room 905, Unit 3, Building 3, Jinwan Garden, No. 368 Zhongxing North Road, Aotou, Daya Bay, Huizhou City, Guangdong Province, 516000 (office only) Patentee after: Huizhou Daya Bay Area Smart City Construction Investment Co.,Ltd. Country or region after: China Address before: No.1 Daxue Road, University Science Park, Changqing District, Jinan City, Shandong Province Patentee before: SHANDONG NORMAL University Country or region before: China |