CN113158720B - 一种基于双模特征和注意力机制的视频摘要方法及装置 - Google Patents

一种基于双模特征和注意力机制的视频摘要方法及装置 Download PDF

Info

Publication number
CN113158720B
CN113158720B CN202011481458.5A CN202011481458A CN113158720B CN 113158720 B CN113158720 B CN 113158720B CN 202011481458 A CN202011481458 A CN 202011481458A CN 113158720 B CN113158720 B CN 113158720B
Authority
CN
China
Prior art keywords
video
attention
value
curve
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011481458.5A
Other languages
English (en)
Other versions
CN113158720A (zh
Inventor
王赠凯
李攀攀
赵一凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Institute Of Electronic Information Products Inspection Zhejiang Informatization And Industrialization Integration Promotion Center
Jiaxing University
Original Assignee
Zhejiang Institute Of Electronic Information Products Inspection Zhejiang Informatization And Industrialization Integration Promotion Center
Jiaxing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Institute Of Electronic Information Products Inspection Zhejiang Informatization And Industrialization Integration Promotion Center, Jiaxing University filed Critical Zhejiang Institute Of Electronic Information Products Inspection Zhejiang Informatization And Industrialization Integration Promotion Center
Priority to CN202011481458.5A priority Critical patent/CN113158720B/zh
Publication of CN113158720A publication Critical patent/CN113158720A/zh
Application granted granted Critical
Publication of CN113158720B publication Critical patent/CN113158720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于双模特征和注意力机制的视频摘要方法及装置，该方法包括：通过马尔科夫随机场模型和自适应阈值法对视频数据进行预处理；对预处理后的视频数据进行双模特征提取；对该短时声音能量特征和视觉运动强度特征的融合结果进行平滑处理，以获取针对于该视频数据的用户注意力曲线；根据预先设定的目标视频片段确定策略，在该用户注意力曲线中确定出用户注意力高于预设的注意力阈值的目标视频片段；通过预先训练好的异常行为识别模型获取该目标视频片段中的异常行为。能够对冗长的监控视频进行自动浓缩，提取出其中用户感兴趣的片段，自动识别视频中运动目标和异常行为，实现监控视频的智能高效浏览，减轻工作人员负担，提高监控效率。

Description

一种基于双模特征和注意力机制的视频摘要方法及装置
技术领域
本发明涉及视频摘要技术领域，具体涉及一种基于双模特征和注意力机制的视频摘要方法及装置。
背景技术
随着智慧城市建设的不断推进，城市的公共场所、公共交通系统和案件多发区域已经构建起全面的视频监控网络，对各类危害城市公共安全的群体性事件、突发事件以及交通违法等日常安全事件进行监控，从而提升城市的应急处理能力和安全防范能力。然而，大量摄像头的长期运转以及视频分辨率和帧率的不断提高，产生了海量的视频数据；同时，视频安防数据具有价值密度低而价值高的特点。例如，在7×24小时连续不间断监控过程中，可能有用的数据仅仅1、2分钟，甚至1、2秒。若仍采用传统人海战术为主的视频线索查找方法，显然很难在事件发生的第一时间查找到线索，即使找到了重点图像，也要进行人工抓拍，并且要记录下对应的原始视频图像的时间点等信息，也是工作量很大，导致数据利用率和处理效率低下。为了分析某一安全事件，在传统的人工处理方式下，需要花费大量的时间浏览大量视频才能够获取所分析主体的完整信息，由于人的生理特征所限，长时间观看视频录像，容易产生视觉疲劳，还有可能漏掉重要图像和线索。这不仅费时、费力，还抓不到要点、理不清线索，造成了所谓“信息过载”问题的发生，甚至还能引发焦虑、烦躁等不良情绪。
发明内容
为克服相关技术中存在的问题，本公开的目的是提供一种基于双模特征和注意力机制的视频摘要方法及装置。
为了实现上述目的，根据本公开实施例的第一方面，提供一种基于双模特征和注意力机制的视频摘要方法，所述方法包括：
通过马尔科夫随机场模型和自适应阈值法对视频监控器在第一时间段内拍摄到的视频数据进行预处理；
对预处理后的视频数据进行双模特征提取，其中，所述双模特征包括短时声音能量特征和视觉运动强度特征；
对所述短时声音能量特征和视觉运动强度特征的融合结果进行平滑处理，以获取针对于所述视频数据的用户注意力曲线；
根据预先设定的目标视频片段确定策略，在所述用户注意力曲线中确定出用户注意力高于预设的注意力阈值的目标视频片段；
通过预先训练好的异常行为识别模型获取所述目标视频片段中的异常行为。
可选的，所述根据预先设定的目标视频片段确定策略，在所述用户注意力曲线中确定出用户注意力高于预设的注意力阈值的第二时间段内的目标视频片段，包括：
确定滑动窗口的大小w和移动步长s、注意力阈值δ，用户感兴趣视频片段长度阈值ξ；
在所述用户注意力曲线上移动所述滑动窗口，若所述用户注意力曲线的峰值点在所述滑动窗口的至之间，将所述峰值点确定为波峰；
若所述用户注意力曲线的谷值点在所述滑动窗口的至之间，将所述谷值点确定为波谷；
在所述用户注意力曲线上两个连续的波谷间的视频片段确定为候选视频片段；
在所有的所述候选视频片段中去除点波峰值小于δ的视频片段，和视频片段长度小于ξ的视频片段，将其余的所述候选视频片段确定为所述目标视频片段。
可选的，所述对预处理后的视频数据进行双模特征提取，包括：
通过短时声音能量特征提取公式获取所述短时声音能量特征，所述短时声音能量特征提取公式为：
yi(n)＝w(n)×x((i-1)×inc+n),1≤n≤L,1≤i≤fn
其中，STE(i)为所述视频数据中第i帧的短时声音能量特征，x(n)为音频时域信号，w(n)为汉明窗函数，yi(n)是第i个音频帧的卷积值，n＝1,2,…,L，i＝1,2,…,fn，L为帧长，inc为帧移长度，fn为音频分帧后的总帧数；
通过所述视觉运动强度特征提取公式获取所述视觉运动强度特征，所述视觉运动强度特征提取公式为：
其中，MA(j)为所述视频数据中第j帧的运动强度大小，为第(j-1)帧和第j帧运动块的运动矢量，表示所有运动块的最大运动矢量，K为视频帧中运动块的数目。
可选的，所述对所述短时声音能量特征和视觉运动强度特征的融合结果进行平滑处理，以获取针对于所述视频数据的用户注意力曲线，包括：
通过融合结果处理公式分别对所述短时声音能量特征和视觉运动强度特征进行平滑和归一化处理；其中所述融合结果处理公式为：
其中，gi(k)表示计算得到的第i个模态特征，g′i(k)是归一化后的特征值，K(l1,β1)表示凯撒窗函数，l1和β1分别是凯撒窗函数的长度控制参数和形状控制参数，表示平滑后得到特征值，Gi(k)是对归一化后的特征值；
通过用户注意力曲线生成公式分别对所述短时声音能量特征和视觉运动强度特征进行加权融合、平滑处理和归一化处理后生成所述用户注意力曲线；其中，所述用户注意力生成曲线包括：
其中，ηi表示第i个模态特征值的融合权重，A′(k)表示双模特征加权融合后生成的曲线，l2和β2分别是凯撒窗函数的长度控制参数和形状控制参数，表示A′(k)经过凯撒平滑处理后生成的曲线，A(k)是对进行归一化处理后生成的用户注意力曲线。
可选的，所述通过预先训练好的异常行为识别模型获取所述目标视频片段中的异常行为，包括：
分别对每个目标视频片段进行均匀采样，获取长度为N的视频帧序列；
通过预先训练好的卷积神经网络模型提取所述视频帧序列的特征向量F＝{f1,f2,…,fN}；
将所述视频帧序列的特征向量F输入长短时记忆网络，获取长度为N的隐状态序列H＝{h1,h2,…,hN}；
将隐状态序列H输入注意力网络，通过注意力值确定公式计算每个隐状态的注意力值；其中所述通过注意力值确定公式为：
αn＝softmax(WThn+b)
其中，αn为第n个隐状态的注意力值，W和b分别为多层感知机的权重和偏置；
通过注意力机制结合公式将特征向量F与注意力值向量α加权，得到结合注意力机制的特征向量Fatt；其中，所述注意力机制结合公式为：
将所述结合注意力机制的特征向量Fatt作为softmax分类器的输入，根据所述softmax分类器输出的结果确定所述异常行为。
根据本公开实施例的第二方面，提供一种基于双模特征和注意力机制的视频摘要装置，所述装置包括：
预处理模块，通过马尔科夫随机场模型和自适应阈值法对视频监控器在第一时间段内拍摄到的视频数据进行预处理；
特征提取模块，与所述预处理模块连接，对预处理后的视频数据进行双模特征提取，其中，所述双模特征包括短时声音能量特征和视觉运动强度特征；
曲线生成模块，与所述特征提取模块连接，对所述短时声音能量特征和视觉运动强度特征的融合结果进行平滑处理，以获取针对于所述视频数据的用户注意力曲线；
视频摘要模块，与所述曲线生成模块连接，根据预先设定的目标视频片段确定策略，在所述用户注意力曲线中确定出用户注意力高于预设的注意力阈值的目标视频片段；
异常检测模块，与所述视频摘要模块连接，片段通过预先训练好的异常行为识别模型获取所述目标视频片段中的异常行为。
可选的，所述视频摘要模块，包括：
阈值确定单元，确定滑动窗口的大小w和移动步长s、注意力阈值δ，用户感兴趣视频片段长度阈值ξ；
波峰确定单元，与所述阈值确定单元连接，在所述用户注意力曲线上移动所述滑动窗口，若所述用户注意力曲线的峰值点在所述滑动窗口的至之间，将所述峰值点确定为波峰；
波谷确定单元，与所述波峰确定单元连接，若所述用户注意力曲线的谷值点在所述滑动窗口的至之间，将所述谷值点确定为波谷；
候选视频确定单元，与所述波谷确定单元连接，在所述用户注意力曲线上两个连续的波谷间的视频片段确定为候选视频片段；
目标视频确定模块，与所述候选视频确定模块连接，在所有的所述候选视频片段中去除点波峰值小于δ的视频片段，和视频片段长度小于ξ的视频片段，将其余的所述候选视频片段确定为所述目标视频片段。
可选的，所述特征提取模块，包括：
短时声音能量特征提取单元，通过短时声音能量特征提取公式获取所述短时声音能量特征，所述短时声音能量特征提取公式为：
yi(n)＝w(n)×x((i-1)×inc+n),1≤n≤L,1≤i≤fn
其中，STE(i)为所述视频数据中第i帧的短时声音能量特征，x(n)为音频时域信号，w(n)为汉明窗函数，yi(n)是第i个音频帧的卷积值，n＝1,2,…,L，i＝1,2,…,fn，L为帧长，inc为帧移长度，fn为音频分帧后的总帧数；
视觉运动强度特征提取单元，与所述短时声音能量特征提取单元连接，通过所述视觉运动强度特征提取公式获取所述视觉运动强度特征，所述视觉运动强度特征提取公式为：
其中，MA(j)为所述视频数据中第j帧的运动强度大小，为第(j-1)帧和第j帧运动块的运动矢量，表示所有运动块的最大运动矢量，K为视频帧中运动块的数目。
可选的，所述曲线生成模块，包括：
融合单元，通过融合结果处理公式分别对所述短时声音能量特征和视觉运动强度特征进行平滑和归一化处理；其中所述融合结果处理公式为：
其中，gi(k)表示计算得到的第i个模态特征，g′i(k)是归一化后的特征值，K(l1,β1)表示凯撒窗函数，l1和β1分别是凯撒窗函数的长度控制参数和形状控制参数，表示平滑后得到特征值，Gi(k)是对归一化后的特征值；
曲线生成单元，与所述融合单元连接，通过用户注意力曲线生成公式分别对所述短时声音能量特征和视觉运动强度特征进行加权融合、平滑处理和归一化处理后生成所述用户注意力曲线；其中，所述用户注意力生成曲线包括：
其中，ηi表示第i个模态特征值的融合权重，A′(k)表示双模特征加权融合后生成的曲线，l2和β2分别是凯撒窗函数的长度控制参数和形状控制参数，表示A′(k)经过凯撒平滑处理后生成的曲线，A(k)是对进行归一化处理后生成的用户注意力曲线。
可选的，所述异常检测模块，包括：
序列提取单元，分别对每个目标视频片段进行均匀采样，获取长度为N的视频帧序列；
特征提取单元，与所述序列提取单元连接，通过预先训练好的卷积神经网络模型提取所述视频帧序列的特征向量F＝{f1,f2,…,fN}；
序列获取单元，与所述特征提取单元连接，将所述视频帧序列的特征向量F输入长短时记忆网络，获取长度为N的隐状态序列H＝{h1,h2,…,hN}；
注意力值确定单元，与所述序列获取单元连接，将隐状态序列H输入注意力网络，通过注意力值确定公式计算每个隐状态的注意力值；其中所述通过注意力值确定公式为：
αn＝softmax(WThn+b)
其中，αn为第n个隐状态的注意力值，W和b分别为多层感知机的权重和偏置；
注意力结合单元，与所述注意力值确定单元连接，通过注意力机制结合公式将特征向量F与注意力值向量α加权，得到结合注意力机制的特征向量Fatt；其中，所述注意力机制结合公式为：
异常确定单元，与所述注意力结合单元连接，将所述结合注意力机制的特征向量Fatt作为softmax分类器的输入，根据所述softmax分类器输出的结果确定所述异常行为。
通过本发明公开的技术方案，能够达到以下有益效果：
(1)融合监控视频中的音频特征和视觉特征，建立能正确反映视频观看者关注度变化状况的用户注意力曲线，并在此基础上实现准确的用户感兴趣片段提取。
(2)利用深度学习模型快速准确地检测和识别视频中的运动目标，同时结合时域注意力机制识别视频中的异常事件。
(3)有效去除监控视频中大量冗余低效的视频，保留了用户感兴趣的视频片段，缩短了视频播放时间，能够节约大量人力物力。
附图说明
图1为本发明提供的一种基于双模特征和注意力机制的视频摘要方法流程示意图；
图2为根据图1示出的一种视频背景建方法的模流程示意图；
图3为根据图1示出的一种视频镜头边界检测方法的流程示意图；
图4为本发明提供的一种基于双模特征和注意力机制的视频摘要装置的结构框图；
图5为根据图4示出的一种视频摘要模块的结构框图；
图6为根据图4示出的一种特征提取模块的结构框图；
图7为根据图4示出的一种曲线生成模块的结构框图；
图8为根据图4示出的一种异常检测模块的结构框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
图1为本发明提供的一种基于双模特征和注意力机制的视频摘要方法流程示意图，如图1所示，该方法包括：
在步骤110中，通过马尔科夫随机场模型和自适应阈值法对视频监控器在第一时间段内拍摄到的视频数据进行预处理。
示例地，对视频数据进行预处理包括：通过马尔科夫机场模型对拍摄到的视频数据中的视频背景进行建模和通过自适应阈值法对镜头的边界进行检测。
其中，基于马尔可夫随机场模型的视频背景建模的具体步骤如图2所示：步骤1：将输入视频帧X＝{xs|s∈S}从RGB颜色空间转换为YcbCr空间，忽略其亮度分量，其中S表示输入视频帧中的像素点集，xs表示视频帧上像素点的观测值；
步骤2：初始化视频帧的分类数K、固定势函数β以及算法最大迭代次数T；
步骤3：利用K-均值算法计算视频帧初始分割结果；
步骤4：根据下式估计特征场均值参数μ：
其中，Nm是视频帧中被标记为第m类的像素的个数，ys表示视频帧中像素点s对应的标号；
步骤5：根据下式估计特征场方差参数σ2：
步骤6：将μ和σ2代入下式计算特征场能量：
其中Y＝{ys|s∈S}表示标号场；
步骤7：根据下式计算标号场能量：
其中Vc(Vc)是定义在标号场Y的势团c上的势能函数，采用二阶邻域模型：
步骤8：计算标号场和特征场总能量，更新像素点标号，并遍历计算，与上次迭代后的总量相比较，直至能量差值小于设定的阈值或迭代次数为T为止。
基于适应阈值法对镜头的边界进行检测的具体步骤如图3所示，步骤如下：
步骤1：将输入视频帧从RGB颜色空间转换为HSV空间；
步骤2：将视频帧大小调整为S×S，划分成大小为B×B的帧块，其中B<S；
步骤3：对视频帧进行维纳滤波；
步骤4：根据下式计算每个图像块的局部二值模式特征LBP；
其中，P是圆形邻域中的像素点的个数，R是邻域半径，I(x,y)表示圆形邻域中心点的亮度值，L为门限函数，
步骤5：计算输入视频帧的局部二值模式特征直方图，并对该直方图进行归一化处理，将每个帧块的局部二值模式特征直方图连接得到输入视频帧LBP特征向量：
步骤6：计算相邻视频帧LBP特征向量的欧式距离，得到相邻视频帧间差Δ＝(Δ1,Δ2,…,ΔN)，N为视频帧总数；
步骤7：如果相邻视频帧间差Δi大于阈值ρ，则认为该处产生突变，为镜头边界，其中ρ是自适应阈值，ρ＝μΔ+σΔ×γ，μΔ为Δ的均值，σΔ为Δ的方差，γ为取值范围[1,3]的常数。
在步骤120中，对预处理后的视频数据进行双模特征提取，其中，该双模特征包括短时声音能量特征和视觉运动强度特征。
示例地，通过短时声音能量特征提取公式获取该短时声音能量特征，该短时声音能量特征提取公式为：
yi(n)＝w(n)×x((i-1)×inc+n),1≤n≤L,1≤i≤fn
其中，STE(i)为该视频数据中第i帧的短时声音能量特征，x(n)为音频时域信号，w(n)为汉明窗函数，yi(n)是第i个音频帧的卷积值，n＝1,2,…,L，i＝1,2,…,fn，L为帧长，inc为帧移长度，fn为音频分帧后的总帧数；
通过该视觉运动强度特征提取公式获取该视觉运动强度特征，该视觉运动强度特征提取公式为：
其中，MA(j)为该视频数据中第j帧的运动强度大小，为第(j-1)帧和第j帧运动块的运动矢量，表示所有运动块的最大运动矢量，K为视频帧中运动块的数目。
在步骤130中，对该短时声音能量特征和视觉运动强度特征的融合结果进行平滑处理，以获取针对于该视频数据的用户注意力曲线。
示例地，通过融合结果处理公式分别对该短时声音能量特征和视觉运动强度特征进行平滑和归一化处理；其中该融合结果处理公式为：
其中，gi(k)表示计算得到的第i个模态特征，g′i(k)是归一化后的特征值，K(l1,β1)表示凯撒窗函数，l1和β1分别是凯撒窗函数的长度控制参数和形状控制参数，表示平滑后得到特征值，Gi(k)是对归一化后的特征值；
通过用户注意力曲线生成公式分别对该短时声音能量特征和视觉运动强度特征进行加权融合、平滑处理和归一化处理后生成该用户注意力曲线；其中，该用户注意力生成曲线包括：
其中，ηi表示第i个模态特征值的融合权重，A′(k)表示双模特征加权融合后生成的曲线，l2和β2分别是凯撒窗函数的长度控制参数和形状控制参数，表示A′(k)经过凯撒平滑处理后生成的曲线，A(k)是对进行归一化处理后生成的用户注意力曲线。
在步骤140中，根据预先设定的目标视频片段确定策略，在该用户注意力曲线中确定出用户注意力高于预设的注意力阈值的目标视频片段。
示例地，确定滑动窗口的大小w和移动步长s、注意力阈值δ，用户感兴趣视频片段长度阈值ξ；在该用户注意力曲线上移动该滑动窗口，若该用户注意力曲线的峰值点在该滑动窗口的至之间，将该峰值点确定为波峰；若该用户注意力曲线的谷值点在该滑动窗口的至之间，将该谷值点确定为波谷；在该用户注意力曲线上两个连续的波谷间的视频片段确定为候选视频片段；在所有的该候选视频片段中去除点波峰值小于δ的视频片段，和视频片段长度小于ξ的视频片段，将其余的该候选视频片段确定为该目标视频片段。
在步骤150中，通过预先训练好的异常行为识别模型获取该目标视频片段中的异常行为。
示例地，分别对每个目标视频片段进行均匀采样，获取长度为N的视频帧序列；通过预先训练好的卷积神经网络模型提取该视频帧序列的特征向量F＝{f1,f2,…,fN}；将该视频帧序列的特征向量F输入长短时记忆网络，获取长度为N的隐状态序列H＝{h1,h2,…,hN}；将隐状态序列H输入注意力网络，通过注意力值确定公式计算每个隐状态的注意力值；其中该通过注意力值确定公式为：
αn＝softmax(WThn+b)
其中，αn为第n个隐状态的注意力值，W和b分别为多层感知机的权重和偏置；
通过注意力机制结合公式将特征向量F与注意力值向量α加权，得到结合注意力机制的特征向量Fatt；其中，该注意力机制结合公式为：
将该结合注意力机制的特征向量Fatt作为softmax分类器的输入，根据该softmax分类器输出的结果确定该异常行为。
另外，可以理解的是，为了便于用户对视频监控器拍摄到的视频进行浏览，可以分为多个层次对用户展示该视频，例如，按照用户的感兴趣程度将上述视频数据分为多个视频片段(在上述多个视频片段中，用户的注意力高于预设的注意力阈值的视频片段即为该目标视频片段)，或者按照视频片段的长度将上述视频数据分为多个视频片段，或者按照是否有异常行为将上述视频数据分为有异常行为和无异常行为的多个视频片段，用户可以根据自己的需求选择想要浏览的视频片段。
综上所述，本发明公开一种基于双模特征和注意力机制的视频摘要方法，该方法包括：通过马尔科夫随机场模型和自适应阈值法对视频数据进行预处理；对预处理后的视频数据进行双模特征提取；对该短时声音能量特征和视觉运动强度特征的融合结果进行平滑处理，以获取针对于该视频数据的用户注意力曲线；根据预先设定的目标视频片段确定策略，在该用户注意力曲线中确定出用户注意力高于预设的注意力阈值的目标视频片段；通过预先训练好的异常行为识别模型获取该目标视频片段中的异常行为。能够对冗长的监控视频进行自动浓缩，提取出其中用户感兴趣的片段，自动识别视频中运动目标和异常行为，实现监控视频的智能高效浏览，减轻工作人员负担，提高监控效率。
图4为本发明提供的一种基于双模特征和注意力机制的视频摘要装置的结构框图，如图4所示，该装置400包括：
预处理模块410，通过马尔科夫随机场模型和自适应阈值法对视频监控器在第一时间段内拍摄到的视频数据进行预处理；
特征提取模块420，与所述预处理模块410连接，对预处理后的视频数据进行双模特征提取，其中，所述双模特征包括短时声音能量特征和视觉运动强度特征；
曲线生成模块430，与所述特征提取模块420连接，对所述短时声音能量特征和视觉运动强度特征的融合结果进行平滑处理，以获取针对于所述视频数据的用户注意力曲线；
视频摘要模块440，与所述曲线生成模块430连接，根据预先设定的目标视频片段确定策略，在所述用户注意力曲线中确定出用户注意力高于预设的注意力阈值的目标视频片段；
异常检测模块450，与所述视频摘要模块440连接，片段通过预先训练好的异常行为识别模型获取所述目标视频片段中的异常行为。
图5为根据图4示出的一种视频摘要模块的结构框图，如图5所示，所述视频摘要模块440，包括：
阈值确定单元441，确定滑动窗口的大小w和移动步长s、注意力阈值δ，用户感兴趣视频片段长度阈值ξ；
波峰确定单元442，与所述阈值确定单元441连接，在所述用户注意力曲线上移动所述滑动窗口，若所述用户注意力曲线的峰值点在所述滑动窗口的至之间，将所述峰值点确定为波峰；
波谷确定单元443，与所述波峰确定单元442连接，若所述用户注意力曲线的谷值点在所述滑动窗口的至之间，将所述谷值点确定为波谷；
候选视频确定单元444，与所述波谷确定单元443连接，在所述用户注意力曲线上两个连续的波谷间的视频片段确定为候选视频片段；
目标视频确定模块445，与所述候选视频确定模块444连接，在所有的所述候选视频片段中去除点波峰值小于δ的视频片段，和视频片段长度小于ξ的视频片段，将其余的所述候选视频片段确定为所述目标视频片段。
图6为根据图4示出的一种特征提取模块的结构框图，如图6所示，所述特征提取模块420，包括：
短时声音能量特征提取单元421，通过短时声音能量特征提取公式获取所述短时声音能量特征，所述短时声音能量特征提取公式为：
yi(n)＝w(n)×x((i-1)×inc+n),1≤n≤L,1≤i≤fn
其中，STE(i)为所述视频数据中第i帧的短时声音能量特征，x(n)为音频时域信号，w(n)为汉明窗函数，yi(n)是第i个音频帧的卷积值，n＝1,2,…,L，i＝1,2,…,fn，L为帧长，inc为帧移长度，fn为音频分帧后的总帧数；
视觉运动强度特征提取单元422，与所述短时声音能量特征提取单元421连接，通过所述视觉运动强度特征提取公式获取所述视觉运动强度特征，所述视觉运动强度特征提取公式为：
其中，MA(j)为所述视频数据中第j帧的运动强度大小，为第(j-1)帧和第j帧运动块的运动矢量，表示所有运动块的最大运动矢量，K为视频帧中运动块的数目。
图7为根据图4示出的一种曲线生成模块的结构框图，如图7所示，所述曲线生成模块430，包括：
融合单元431，通过融合结果处理公式分别对所述短时声音能量特征和视觉运动强度特征进行平滑和归一化处理；其中所述融合结果处理公式为：
其中，gi(k)表示计算得到的第i个模态特征，g′i(k)是归一化后的特征值，K(l1,β1)表示凯撒窗函数，l1和β1分别是凯撒窗函数的长度控制参数和形状控制参数，表示平滑后得到特征值，Gi(k)是对归一化后的特征值；
曲线生成单元432，与所述融合单元431连接，通过用户注意力曲线生成公式分别对所述短时声音能量特征和视觉运动强度特征进行加权融合、平滑处理和归一化处理后生成所述用户注意力曲线；其中，所述用户注意力生成曲线包括：
其中，ηi表示第i个模态特征值的融合权重，A′(k)表示双模特征加权融合后生成的曲线，l2和β2分别是凯撒窗函数的长度控制参数和形状控制参数，表示A′(k)经过凯撒平滑处理后生成的曲线，A(k)是对进行归一化处理后生成的用户注意力曲线。
图8为根据图4示出的一种异常检测模块的结构框图，如图8所示，所述异常检测模块450，包括：
序列提取单元451，分别对每个目标视频片段进行均匀采样，获取长度为N的视频帧序列；
特征提取单元452，与所述序列提取单元451连接，通过预先训练好的卷积神经网络模型提取所述视频帧序列的特征向量F＝{f1,f2,…,fN}；
序列获取单元453，与所述特征提取单元452连接，将所述视频帧序列的特征向量F输入长短时记忆网络，获取长度为N的隐状态序列H＝{h1,h2,…,hN}；
注意力值确定单元454，与所述序列获取单元453连接，将隐状态序列H输入注意力网络，通过注意力值确定公式计算每个隐状态的注意力值；其中所述通过注意力值确定公式为：
αn＝softmax(WThn+b)
其中，αn为第n个隐状态的注意力值，W和b分别为多层感知机的权重和偏置；
注意力结合单元455，与所述注意力值确定单元454连接，通过注意力机制结合公式将特征向量F与注意力值向量α加权，得到结合注意力机制的特征向量Fatt；其中，所述注意力机制结合公式为：
异常确定单元456，与所述注意力结合单元455连接，将所述结合注意力机制的特征向量Fatt作为softmax分类器的输入，根据所述softmax分类器输出的结果确定所述异常行为。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，本领域技术人员在考虑说明书及实践本公开后，容易想到本公开的其它实施方案，均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。同时本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。本公开并不局限于上面已经描述出的精确结构，本公开的范围仅由所附的权利要求来限制。

Claims (8)

1.一种基于双模特征和注意力机制的视频摘要方法，其特征在于，所述方法包括：
通过马尔科夫随机场模型和自适应阈值法对视频监控器在第一时间段内拍摄到的视频数据进行预处理，其中，通过马尔科夫随机场模型对拍摄到的视频数据中的视频背景进行建模，包括：将输入视频帧X＝{xs|s∈S}从RGB颜色空间转换为YcbCr空间，忽略其亮度分量，其中S表示输入视频帧中的像素点集，xs表示视频帧上像素点的观测值；初始化视频帧的分类数K、固定势函数β以及算法最大迭代次数T；利用K-均值算法计算视频帧初始分割结果；根据下式估计特征场均值参数μ：
其中，Nm是视频帧中被标记为第m类的像素的个数，ys表示视频帧中像素点s对应的标号；根据下式估计特征场方差参数σ2：
将μ和σ2代入下式计算特征场能量：
其中，Y＝{ys|s∈S}表示标号场；根据下式计算标号场能量：
E2(Y)＝∑c∈CVc(Yc)，
其中Vc(Yc)是定义在标号场Y的势团c上的势能函数，采用二阶邻域模型：计算标号场和特征场总能量，更新像素点标号，并遍历计算，与上次迭代后的总量相比较，直至能量差值小于设定的阈值或迭代次数为T为止；
通过自适应阈值法对镜头的边界进行检测，包括：将输入视频帧从RGB颜色空间转换为HSV空间；将视频帧大小调整为S×S，划分成大小为B×B的帧块，其中B<S；对视频帧进行维纳滤波；根据下式计算每个图像块的局部二值模式特征LBP；
其中，P是圆形邻域中的像素点的个数，R是邻域半径，I(x,y)表示圆形邻域中心点的亮度值，L为门限函数，计算输入视频帧的局部二值模式特征直方图，并对该直方图进行归一化处理，将每个帧块的局部二值模式特征直方图连接得到输入视频帧LBP特征向量；计算相邻视频帧LBP特征向量的欧式距离，得到相邻视频帧间差Δ＝(Δ1,Δ2,…,ΔN)，N为视频帧总数；如果相邻视频帧间差Δi大于阈值ρ，则认为该处产生突变，为镜头边界，其中ρ是自适应阈值，ρ＝μΔ+σΔ×γ，μΔ为Δ的均值，σΔ为Δ的方差，γ为取值范围[1,3]的常数；
对预处理后的视频数据进行双模特征提取，其中，所述双模特征包括短时声音能量特征和视觉运动强度特征；
对所述短时声音能量特征和视觉运动强度特征的融合结果进行平滑处理，以获取针对于所述视频数据的用户注意力曲线；
根据预先设定的目标视频片段确定策略，在所述用户注意力曲线中确定出用户注意力高于预设的注意力阈值的目标视频片段；
通过预先训练好的异常行为识别模型获取所述目标视频片段中的异常行为；
所述通过预先训练好的异常行为识别模型获取所述目标视频片段中的异常行为，包括：分别对每个目标视频片段进行均匀采样，获取长度为N的视频帧序列；通过预先训练好的卷积神经网络模型提取所述视频帧序列的特征向量F＝{f1,f2,…,fN}；将所述视频帧序列的特征向量F输入长短时记忆网络，获取长度为N的隐状态序列H＝{h1,h2,…,hN}；将隐状态序列H输入注意力网络，通过注意力值确定公式计算每个隐状态的注意力值；其中所述通过注意力值确定公式为：αn＝softmax(WThn+b)，其中，αn为第n个隐状态的注意力值，W和b分别为多层感知机的权重和偏置；通过注意力机制结合公式将特征向量F与注意力值向量α加权，得到结合注意力机制的特征向量Fatt；其中，所述注意力机制结合公式为：
将所述结合注意力机制的特征向量Fatt作为softmax分类器的输入，根据所述softmax分类器输出的结果确定所述异常行为。
2.根据权利要求1所述的基于双模特征和注意力机制的视频摘要方法，其特征在于，所述根据预先设定的目标视频片段确定策略，在所述用户注意力曲线中确定出用户注意力高于预设的注意力阈值的第二时间段内的目标视频片段，包括：
确定滑动窗口的大小w和移动步长s、注意力阈值δ，用户感兴趣视频片段长度阈值ξ；
在所述用户注意力曲线上移动所述滑动窗口，若所述用户注意力曲线的峰值点在所述滑动窗口的至之间，将所述峰值点确定为波峰；
若所述用户注意力曲线的谷值点在所述滑动窗口的至之间，将所述谷值点确定为波谷；
在所述用户注意力曲线上两个连续的波谷间的视频片段确定为候选视频片段；
在所有的所述候选视频片段中去除点波峰值小于δ的视频片段，和视频片段长度小于ξ的视频片段，将其余的所述候选视频片段确定为所述目标视频片段。
3.根据权利要求1所述的基于双模特征和注意力机制的视频摘要方法，其特征在于，所述对预处理后的视频数据进行双模特征提取，包括：
通过短时声音能量特征提取公式获取所述短时声音能量特征，所述短时声音能量特征提取公式为：
yi(n)＝w(n)×x((i-1)×inc+n),1≤n≤L,1≤i≤fn
其中，STE(i)为所述视频数据中第i帧的短时声音能量特征，x(n)为音频时域信号，w(n)为汉明窗函数，yi(n)是第i个音频帧的卷积值，n＝1,2,…,L，i＝1,2,…,fn，L为帧长，inc为帧移长度，fn为音频分帧后的总帧数；
通过所述视觉运动强度特征提取公式获取所述视觉运动强度特征，所述视觉运动强度特征提取公式为：
其中，MA(j)为所述视频数据中第j帧的运动强度大小，为第(j-1)帧和第j帧运动块的运动矢量，表示所有运动块的最大运动矢量，K为视频帧中运动块的数目。
4.根据权利要求1所述的基于双模特征和注意力机制的视频摘要方法，其特征在于，所述对所述短时声音能量特征和视觉运动强度特征的融合结果进行平滑处理，以获取针对于所述视频数据的用户注意力曲线，包括：
通过融合结果处理公式分别对所述短时声音能量特征和视觉运动强度特征进行平滑和归一化处理；其中所述融合结果处理公式为：
其中，gi(k)表示计算得到的第i个模态特征，gi ′(k)是归一化后的特征值，k(l1,β1)表示凯撒窗函数，l1和β1分别是凯撒窗函数的长度控制参数和形状控制参数，表示平滑后得到特征值，Gi(k)是对归一化后的特征值；
通过用户注意力曲线生成公式分别对所述短时声音能量特征和视觉运动强度特征进行加权融合、平滑处理和归一化处理后生成所述用户注意力曲线；其中，所述用户注意力生成曲线包括：
其中，ηi表示第i个模态特征值的融合权重，A′(k)表示双模特征加权融合后生成的曲线，l2和β2分别是凯撒窗函数的长度控制参数和形状控制参数，表示A′(k)经过凯撒平滑处理后生成的曲线，A(k)是对进行归一化处理后生成的用户注意力曲线。
5.一种基于双模特征和注意力机制的视频摘要装置，其特征在于，所述装置包括：
预处理模块，通过马尔科夫随机场模型和自适应阈值法对视频监控器在第一时间段内拍摄到的视频数据进行预处理，其中，通过马尔科夫随机场模型对拍摄到的视频数据中的视频背景进行建模，包括：将输入视频帧X＝{xs|s∈S}从RGB颜色空间转换为YcbCr空间，忽略其亮度分量，其中S表示输入视频帧中的像素点集，xs表示视频帧上像素点的观测值；初始化视频帧的分类数K、固定势函数β以及算法最大迭代次数T；利用K-均值算法计算视频帧初始分割结果；根据下式估计特征场均值参数μ：
其中，Nm是视频帧中被标记为第m类的像素的个数，ys表示视频帧中像素点s对应的标号；根据下式估计特征场方差参数σ2：
将μ和σ2代入下式计算特征场能量：
其中，Y＝{ys|s∈S}表示标号场；根据下式计算标号场能量：
E2(Y)＝∑c∈CVc(Yc)，
其中Vc(Yc)是定义在标号场Y的势团c上的势能函数，采用二阶邻域模型：计算标号场和特征场总能量，更新像素点标号，并遍历计算，与上次迭代后的总量相比较，直至能量差值小于设定的阈值或迭代次数为T为止；
通过自适应阈值法对镜头的边界进行检测，包括：将输入视频帧从RGB颜色空间转换为HSV空间；将视频帧大小调整为S×S，划分成大小为B×B的帧块，其中B<S；对视频帧进行维纳滤波；根据下式计算每个图像块的局部二值模式特征LBP；
其中，P是圆形邻域中的像素点的个数，R是邻域半径，I(x,y)表示圆形邻域中心点的亮度值，L为门限函数，计算输入视频帧的局部二值模式特征直方图，并对该直方图进行归一化处理，将每个帧块的局部二值模式特征直方图连接得到输入视频帧LBP特征向量；计算相邻视频帧LBP特征向量的欧式距离，得到相邻视频帧间差Δ＝(Δ1,Δ2,…,ΔN)，N为视频帧总数；如果相邻视频帧间差Δi大于阈值ρ，则认为该处产生突变，为镜头边界，其中ρ是自适应阈值，ρ＝μΔ+σΔ×γ，μΔ为Δ的均值，σΔ为Δ的方差，γ为取值范围[1,3]的常数；
特征提取模块，与所述预处理模块连接，对预处理后的视频数据进行双模特征提取，其中，所述双模特征包括短时声音能量特征和视觉运动强度特征；
曲线生成模块，与所述特征提取模块连接，对所述短时声音能量特征和视觉运动强度特征的融合结果进行平滑处理，以获取针对于所述视频数据的用户注意力曲线；
视频摘要模块，与所述曲线生成模块连接，根据预先设定的目标视频片段确定策略，在所述用户注意力曲线中确定出用户注意力高于预设的注意力阈值的目标视频片段；
异常检测模块，与所述视频摘要模块连接，片段通过预先训练好的异常行为识别模型获取所述目标视频片段中的异常行为；
所述异常检测模块，包括：序列提取单元，分别对每个目标视频片段进行均匀采样，获取长度为N的视频帧序列；特征提取单元，与所述序列提取单元连接，通过预先训练好的卷积神经网络模型提取所述视频帧序列的特征向量F＝{f1,f2,…,fN}；序列获取单元，与所述特征提取单元连接，将所述视频帧序列的特征向量F输入长短时记忆网络，获取长度为N的隐状态序列H＝{h1,h2,…,hN}；注意力值确定单元，与所述序列获取单元连接，将隐状态序列H输入注意力网络，通过注意力值确定公式计算每个隐状态的注意力值；其中所述通过注意力值确定公式为：αn＝softmax(WThn+b)，其中，αn为第n个隐状态的注意力值，W和b分别为多层感知机的权重和偏置；注意力结合单元，与所述注意力值确定单元连接，通过注意力机制结合公式将特征向量F与注意力值向量α加权，得到结合注意力机制的特征向量Fatt；其中，所述注意力机制结合公式为：异常确定单元，与所述注意力结合单元连接，将所述结合注意力机制的特征向量Fatt作为softmax分类器的输入，根据所述softmax分类器输出的结果确定所述异常行为。
6.根据权利要求5所述的基于双模特征和注意力机制的视频摘要装置，其特征在于，所述视频摘要模块，包括：
阈值确定单元，确定滑动窗口的大小w和移动步长s、注意力阈值δ，用户感兴趣视频片段长度阈值ξ；
波峰确定单元，与所述阈值确定单元连接，在所述用户注意力曲线上移动所述滑动窗口，若所述用户注意力曲线的峰值点在所述滑动窗口的至之间，将所述峰值点确定为波峰；
波谷确定单元，与所述波峰确定单元连接，若所述用户注意力曲线的谷值点在所述滑动窗口的至之间，将所述谷值点确定为波谷；
候选视频确定单元，与所述波谷确定单元连接，在所述用户注意力曲线上两个连续的波谷间的视频片段确定为候选视频片段；
目标视频确定模块，与所述候选视频确定模块连接，在所有的所述候选视频片段中去除点波峰值小于δ的视频片段，和视频片段长度小于ξ的视频片段，将其余的所述候选视频片段确定为所述目标视频片段。
7.根据权利要求5所述的基于双模特征和注意力机制的视频摘要装置，其特征在于，所述特征提取模块，包括：
短时声音能量特征提取单元，通过短时声音能量特征提取公式获取所述短时声音能量特征，所述短时声音能量特征提取公式为：
yi(n)＝w(n)×x((i-1)×inc+n),1≤n≤L,1≤i≤fn
其中，STE(i)为所述视频数据中第i帧的短时声音能量特征，x(n)为音频时域信号，w(n)为汉明窗函数，yi(N)是第i个音频帧的卷积值，N＝1,2,…,L，i＝1,2,…,fn，L为帧长，inc为帧移长度，fn为音频分帧后的总帧数；
视觉运动强度特征提取单元，与所述短时声音能量特征提取单元连接，通过所述视觉运动强度特征提取公式获取所述视觉运动强度特征，所述视觉运动强度特征提取公式为：
其中，MA(j)为所述视频数据中第j帧的运动强度大小，为第(j-1)帧和第j帧运动块的运动矢量，表示所有运动块的最大运动矢量，K为视频帧中运动块的数目。
8.根据权利要求5所述的基于双模特征和注意力机制的视频摘要装置，其特征在于，所述曲线生成模块，包括：
融合单元，通过融合结果处理公式分别对所述短时声音能量特征和视觉运动强度特征进行平滑和归一化处理；其中所述融合结果处理公式为：
其中，gi(k)表示计算得到的第i个模态特征，gi ′(k)是归一化后的特征值，K(l1,β1)表示凯撒窗函数，l1和β1分别是凯撒窗函数的长度控制参数和形状控制参数，表示平滑后得到特征值，Gi(k)是对归一化后的特征值；
曲线生成单元，与所述融合单元连接，通过用户注意力曲线生成公式分别对所述短时声音能量特征和视觉运动强度特征进行加权融合、平滑处理和归一化处理后生成所述用户注意力曲线；其中，所述用户注意力生成曲线包括：
其中，ηi表示第i个模态特征值的融合权重，A′(k)表示双模特征加权融合后生成的曲线，l2和β2分别是凯撒窗函数的长度控制参数和形状控制参数，表示A′(k)经过凯撒平滑处理后生成的曲线，A(k)是对进行归一化处理后生成的用户注意力曲线。
CN202011481458.5A 2020-12-15 2020-12-15 一种基于双模特征和注意力机制的视频摘要方法及装置 Active CN113158720B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011481458.5A CN113158720B (zh) 2020-12-15 2020-12-15 一种基于双模特征和注意力机制的视频摘要方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011481458.5A CN113158720B (zh) 2020-12-15 2020-12-15 一种基于双模特征和注意力机制的视频摘要方法及装置

Publications (2)

Publication Number Publication Date
CN113158720A CN113158720A (zh) 2021-07-23
CN113158720B true CN113158720B (zh) 2024-06-18

Family

ID=76882580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011481458.5A Active CN113158720B (zh) 2020-12-15 2020-12-15 一种基于双模特征和注意力机制的视频摘要方法及装置

Country Status (1)

Country Link
CN (1) CN113158720B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912744B (zh) * 2023-07-20 2024-09-13 湘南学院 基于物联网的智能监控系统及其方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956953A (zh) * 2019-11-29 2020-04-03 中山大学 基于音频分析与深度学习的争吵识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105228033B (zh) * 2015-08-27 2018-11-09 联想(北京)有限公司 一种视频处理方法及电子设备
CN108810513B (zh) * 2018-06-27 2020-03-13 深圳看到科技有限公司 全景视频的画面质量显示方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956953A (zh) * 2019-11-29 2020-04-03 中山大学 基于音频分析与深度学习的争吵识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种新的视频兴奋内容建模和视频摘要提取方法;卜庆凯等;《信号处理》;1-6 *
卜庆凯等.一种新的视频兴奋内容建模和视频摘要提取方法.《信号处理》.2009,1-6. *

Also Published As

Publication number Publication date
CN113158720A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
Singh et al. Muhavi: A multicamera human action video dataset for the evaluation of action recognition methods
CN110717411A (zh) 一种基于深层特征融合的行人重识别方法
CN104751136B (zh) 一种基于人脸识别的多相机视频事件回溯追踪方法
US7869657B2 (en) System and method for comparing images using an edit distance
CN113283282B (zh) 一种基于时域语义特征的弱监督时序动作检测方法
JP2004199669A (ja) 顔検出
CN110163041A (zh) 视频行人再识别方法、装置及存储介质
CN110399835B (zh) 一种人员停留时间的分析方法、装置及系统
CN112580525B (zh) 一种基于行人再识别的病例活动轨迹监测方法
CN107358141B (zh) 数据识别的方法及装置
CN110728216A (zh) 一种基于行人属性自适应学习的无监督行人再识别方法
CN111814588B (zh) 行为检测方法以及相关设备、装置
CN110110648A (zh) 基于视觉感知与人工智能的动作提名方法
Shirsat et al. Proposed system for criminal detection and recognition on CCTV data using cloud and machine learning
CN117058595B (zh) 视频语义特征和可扩展粒度感知时序动作检测方法及装置
CN109446897B (zh) 基于图像上下文信息的场景识别方法及装置
CN111241987B (zh) 基于代价敏感的三支决策的多目标模型视觉追踪方法
CN114782997A (zh) 基于多损失注意力自适应网络的行人重识别方法及系统
CN116977937A (zh) 一种行人重识别的方法及系统
CN113158720B (zh) 一种基于双模特征和注意力机制的视频摘要方法及装置
Pantazis et al. Salsum: Saliency-based video summarization using generative adversarial networks
CN117292307B (zh) 一种基于粗时间粒度的时序动作提名生成方法及系统
Yadav et al. Human Illegal Activity Recognition Based on Deep Learning Techniques
Mantini et al. Camera Tampering Detection using Generative Reference Model and Deep Learned Features.
KR102230559B1 (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant