CN103297851A - 长视频中目标内容的快速统计与自动审核方法及装置 - Google Patents

Abstract

本发明公开了一种长视频中目标内容的快速统计与自动审核方法，该方法包括以下步骤：抽取长视频和目标视频的关键帧序列；提取关键帧序列的局部二值模式直方图特征和空间灰度序特征；在长视频序列中快速查找目标视频，进行目标视频的粗定位；采用时空约束极大连通区域方法，在长视频序列中精确定位目标视频；判断目标视频在长视频中是否定位完成；根据定位结果，进行长视频内容统计和可疑目标的自动审核。本发明能够对大规模长视频进行自动处理，能够进行长视频内容的快速统计和可疑目标内容的自动审核。

Description

长视频中目标内容的快速统计与自动审核方法及装置

技术领域

本发明涉及多媒体视频处理技术领域，尤其是一种长视频中目标内容的快速统计与自动审核方法，可应用于广播电视视频广告统计和监管方面。

背景技术

随着计算机、多媒体等技术的迅猛发展，视频规模呈几何级增长。人们在享受视频内容的同时，也面临着由于视频规模急剧膨胀带来的种种烦恼。例如：广告视频作为一种特殊的视频应用形式，大量存在于各电视台、视频点播网站中，通过播出广告，广告业主宣传了自己的商品，电视台或视频网站也获取了取丰厚的利润，但是，由于视频规模巨大，对广告内容的有效统计与监管却存在极大的困难。

在广告制作过程中，广告业主往往将同一商品的广告编辑成不同时长的版本，分别选择不同电视台的不同时段播出。由于广告播出的费用不菲，广告业主往往希望能够物有所值，希望统计不同电视台播出广告的次数、时长等信息，以监控电视台是否按照合同履行了广告播出任务。另外，由于视频广告的功能极为特殊，相关政府部门对视频广告的播出进行了严格的规定，需要监管视频广告播出的内容、播出的时长和时间范围等。为了满足广告业主和政府相关部门对视频广告的上述需求，需要统计各个广告在不同电视台出现的时间、次数等信息。因此，如何从浩瀚的视频海洋中迅速获取视频广告的位置信息，进行广告内容的统计和审核，已经成为一个挑战性的问题。

然而，由于视频内容连续，而且规模巨大，传统基于手工的方式成本高、效率低，不能满足对广告内容迅速统计和高效审核的需求，必须利用计算机强大的处理性能，实现大规模广告内容的快速统计与广告内容的自动审核。目前，一种常用的自动处理方法是基于音频的内容自动统计与审核方法，但是，当广告长度小于5秒时，这种方法的精度急剧下降，另外，网络中存在大量没有语音信息的视频广告，无法使用基于语音内容的方法，因此，需要探索一种基于视频的广告内容统计与审核方法，作为上述方法的补充。

发明内容

本发明针对现有手工统计与审核方法成本高、效率低，不适合海量视频内容的有效统计与审核，及基于音频的内容自动统计与审核方法在音频长度小于5秒时精度不高，且无法适用于没有语音信息的情况，提出一种长视频内容快速统计与可疑目标自动审核方法。

本发明提出的一种长视频中目标内容的快速统计与自动审核方法，该方法包括以下步骤：

步骤1，分别抽取长视频和目标视频的关键帧序列；

步骤2，从步骤1获取的所述长视频和目标视频的关键帧序列中，分别提取局部二值模式直方图特征和空间灰度序特征；

步骤3，利用所提取的局部二值模式直方图特征和空间灰度序特征，通过基于局部二值模式直方图的部分匹配方法和基于最长公共子串的匹配方法进行粗定位，获得所述目标视频在长视频中的粗定位结果，所述粗定位结果为包含目标视频关键帧序列的候选视频片段；

步骤4，对于所述粗定位结果，采用时空约束极大连通区域法，精确定位目标视频；

步骤5，根据步骤4获取的目标视频在长视频序列中的精确定位结果，进行长视频内容统计和审核。

本发明还公开了一种长视频中目标内容的快速统计与自动审核装置，该装置包括：

关键帧序列抽取模块，其分别抽取长视频和目标视频的关键帧序列；

特征提取模块，其从获取的所述长视频和目标视频的关键帧序列中，分别提取局部二值模式直方图特征和空间灰度序特征；

粗定位模块，其利用所提取的局部二值模式直方图特征和空间灰度序特征，通过基于局部二值模式直方图的部分匹配方法和基于最长公共子串的匹配方法进行粗定位，获得所述目标视频在长视频中的粗定位结果，所述粗定位结果为包含目标视频关键帧序列的候选视频片段；

精确定位模块，其对于所述粗定位结果，采用时空约束极大连通区域法，精确定位目标视频；

统计和审核模块，其根据获取的目标视频在长视频序列中的精确定位结果，进行长视频内容统计和审核。

本发明针对视频片段仅为部分拷贝的特点，首先采用局部二值模式直方图部分匹配的方法快速过滤长视频中与目标视频不相关的绝大多数视频片段，然后再采用基于最长公共子串的方法进一步预定位，大幅减少精确定位阶段候选视频片段的个数，进而大幅减少定位时间；本发明在精确定位阶段，利用时空约束极大连通区域检测所有视频拷贝子片段，并根据时序约束关系选择合适的视频子片段，组成最终的视频部分拷贝片段，进一步实现目标视频在长视频中的精确定位；本发明在精确定位的基础上，根据精确定位结果，统计所有目标在长视频中出现的次数、时长、不同时间范围内不同目标连续出现的时长，最后，审核上述统计结果是否超出给定的阈值。利用本发明提供的预定位和精确方法可以在长视频中对部分拷贝的目标视频进行快速精确定位，在精确定位的基础上，有效实现目标视频快速统计和内容的自动审核。

附图说明

图1是部分拷贝视频片段的示例图。

图2是本发明长视频内容快速统计与可疑目标自动审核方法流程图。

图3是本发明中局部二值模式直方图特征提取过程示意图。

图4是本发明中空间灰度序特征提取过程示意图。

图5是目标视频和候选视频之间最长连续公共子串示意图。

图6是时空约束极大连通区域示意图。

图7是稠密相似度矩阵中的时空约束极大连通区域示意图。

具体实施方式

下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

本发明提出了一种长视频内容快速统计与可疑目标自动审核方法。该发明的目的在于，针对如图1所示的部分拷贝视频片段情况，从长视频中将多个目标视频快速定位出来，并根据定位结果，进行目标内容的快速统计与目标自动审核。图1给出的部分拷贝视频片段示例说明，本发明所指的长视频中包含多处与目标视频相似的区域，并且，每个区域与目标视频中匹配的图像序列对象可能不一样。

图2示出了本发明中长视频内容快速统计与可疑目标自动审核方法流程图。如图2所示，本发明所提出的长视频内容快速统计与可疑目标自动审核方法包括以下六个步骤：

步骤1，采用等时间间隔的方式，分别抽取长视频和目标视频的关键帧序列；

目前提取视频关键帧的一种常用方法是基于镜头切分的方法，该方法在具体实施过程中具有一定的时间复杂度，而本发明中涉及长视频，并且要求快速处理，因此，本发明中采用等时间间隔的方式进行关键帧抽取，即：每隔H帧抽取一帧图像作为关键帧。这里H越小，关键帧序列越密集，后续定位精度越高，但是越耗时，因此，为了权衡速度与性能，优选地取H的值为4到8之间。

步骤2，从步骤1获取的长视频和目标视频的关键帧序列中，分别提取局部二值模式直方图特征和空间灰度序特征；

由于局部特征在具体应用中的时间复杂度较大，因此，本发明中采用全局特征。基于特征提取和相似性计算的速度及特征判别能力与鲁棒性的考虑，提取局部二值模式直方图特征和空间灰度序特征。

图3示出了本发明中局部二值模式直方图特征的提取过程示意图。如图3所示，该提取过程包括以下步骤：

步骤A1，将关键帧序列中的每帧图像转化成灰度图像，并在去除图像顶部和底部各20％的图像干扰区域的前提下，将灰度图像的剩余区域划分成k×k个均匀大小的矩形图像块，优选地k的取值为3；

步骤A2，计算各矩形图像块的平均灰度值，其中，图3中步骤A2中灰色阴影区域表示中心矩形块；

步骤A3，对所述步骤A2所示的每个关键帧图像，按顺时针方向，从关键帧图像的左上角矩形块开始，比较与中心矩形块平均灰度值的关系；如果大于中心矩形块平均灰度值，则当前矩形块的值为1，否则为0，最终得到每个关键帧图像的二值化结果，如图3中A3部分所示。其中，关键帧图像二值化结果的值域为{00000000，00000001，00000011，……，11111111}，总计256个值，本发明将值域中的每个值称为一个“柄”，每个“柄”对应为一个索引序号，称为“柄序号”，其范围为1到256。

步骤A4，统计所有关键帧的局部二值化结果，得到视频片段的局部二值模式直方图特征，如图3中A4部分所示。在图3中A4部分，直方图的横坐标表示柄序号，纵坐标表示每个柄对应的二进值在视频片段中出现的次数，即频率；

图4示出了本发明中空间灰度序特征的提取过程示意图。如图4所示，该提取过程包括以下步骤：

步骤B1，将关键帧序列中的每帧图像转化成灰度图像，并在去除图像顶部和底部各20％的图像干扰区域的前提下，将灰度图像的剩余区域划分成k×k个均匀大小的矩形图像块，如图4中步骤B1所示k的取值为3；

步骤B2，计算各矩形块的平均灰度值；

步骤B3，对各矩形块的平均灰度值，按照从小到大进行排序，得到所述矩形块的序号值。

步骤3，通过两步法在长视频序列的当前候选视频片段中快速查找目标视频，进行目标视频的粗定位，即：首先基于局部二值模式直方图的部分匹配方法进行不相关内容的快速过滤，在此结果上，采用基于最长公共子串的匹配方法，进一步实现目标视频在长视频中的粗定位；所述粗定位结果为包含有目标视频关键帧序列的当前候选视频片段；再获得粗定位结果的情况下，执行步骤4，否则直接转步骤5执行。

图5示出了本发明中最长公共子串匹配过程示意图。如图5所述，最长公共子串是指目标视频和候选视频之间连续的，且序列匹配的公共关键帧图像序列。

在所述步骤3中，设置一个滑动步长为1，且与目标视频关键帧序列长度相同的滑动窗口，从长视频关键帧序列的起始位置开始滑动。

所述步骤3采用的基于局部二值模式直方图的部分匹配方法进一步包括以下步骤：

步骤D1，将滑动窗口当前位置对应的关键帧序列作为当前候选视频片段，并根据公式

计算对应当前候选视频片段和目标视频关键帧序列的两个直方图中频率值均大于0的各柄之间的相似度，其中，w表示柄序号，

表示目标视频关键帧序列的直方图V_q中序号为w的柄，

表示当前候选视频片段i的直方图

中序号为w的柄，p^w为直方图中第w个柄对应的频率；

步骤D2，针对步骤D1中获取的直方图中每个柄的相似度，按照相似度由大到小的顺序对各柄进行排序；

步骤D3，直方图的最终相似度为排在前d个柄的相似度总和经过归一化后的结果，即：

$\mathrm{sim}(V_q,V_{t_i})=\frac{1}{d}\underset{1\≤w_x\≤d}{\mathrm{\Σ}}\frac{\min (p_q^{w_x},p_{t_i}^{w_x})}{\max (p_q^{w_x},p_{t_i}^{w_x})},$

其中，V_q为目标视频关键帧序列的直方图，

为长视频中第i个候选视频片段关键帧序列的直方图，d为预定义的值，其取值为：αD向上取整后的值，α为权值，优选地α的取值范围为0.4到0.6之间，D为步骤A3所述柄的总个数，取值为256。

步骤D4，如果

则表示两个直方图对应的视频序列相互匹配，其中，T₁表示相似性阈值，优选地T₁取值为0.25。

所述步骤3中采用的基于最长公共子串的匹配方法进一步包括以下步骤：

步骤E1，利用空间灰度序特征，以序列匹配方式，计算目标视频关键帧序列与长视频关键帧序列中满足步骤D4相似性阈值条件的候选视频片段对应的关键帧相似度序列，其中，相似度计算公式为：

$\mathrm{sim}(F_{q,j},F_{t_i,j})=1-\frac{1}{C}{\mathrm{\Σ}}_{(u,v)=\left(\mathrm{1,1}\right)}^{(k,k)}|S_{q,j}(u,v)-S_{t_i,j}(u,v)|,$

其中，F_q，j、

分别表示目标视频关键帧序列中第j个关键帧和长视频中候选视频片段t_i中第j个关键帧，S_q，j(u，v)、

分别表示目标视频和候选视频片段中第j个关键帧坐标为(u，v)对应的矩形块的序号值，(u，v)表示关键帧图像的矩形区域坐标，如图4中B3部分的9个矩形区域，坐标按从上到下，从左到右的顺序，最左上角的矩形区域坐标为(1，1)，最右下角的矩形区域坐标为(3，3)，(k，k)表示最右下角的矩形区域坐标值，即所述矩形区域坐标的最大值，优选地k取值为3，C为归一化因子，其计算公式为 $C={\mathrm{\Σ}}_{i=1}^{k^2}|k^2+1-2i|;$

步骤E2，统计相似度大于给定阈值T₂时对应的关键帧匹配对数，如果匹配对数少于给定阈值β，则认为该候选视频片段不可能存在最长公共子串，此时说明当前候选视频片段中不存在目标视频序列帧，则直接转步骤5执行；

步骤E3，对于关键帧匹配数大于β的候选视频片段，从相似度序列起始位置开始，查找长度大于给定阈值β的公共子串，并将长度最长的公共子串作为最长公共子串，如果不存在长度大于给定阈值β的最长公共子串，则说明当前候选视频片段中不存在目标视频序列帧，直接转步骤5执行；

步骤E4，比较查找到的最长公共子串与当前候选最长公共子串的长度，若查找到的最长公共子串的长度大于当前候选最长公共子串的长度，则将查找到的最长公共子串记为当前候选最长公共子串，其中初始的当前候选最长公子串为空；

步骤E5，将候选视频片段在长视频关键帧序列中所处的位置向后移动1个关键帧步长，并更新当前候选视频片段，并转步骤E1执行；迭代执行M次，其中M为候选视频片段和目标视频关键帧序列的长度，以最终的候选最长公共子串，作为最终检测到的最长公共子串，并以包含该最长公共子串的候选视频片段作为最终粗定位的结果。

由上述步骤可知，基于最长公共子串的粗定位算法的最大时间复杂度为O(M²N)，实际时间复杂度介于O(MN)到O(M²N)之间(N为长视频中候选视频片段的个数)，并且由于部分拷贝视频片段之间可能存在多个拷贝视频子片段，在一定范围内选择长度最长的公共子串有利于提高检测的可靠性，并能够减少进入下一步定位的候选视频片段的个数。

步骤4，在粗定位的基础上，即采用时空约束极大连通区域方法，在所述粗定位结果对应的候选视频片段中精确定位目标视频；然后，判断长视频关键帧序列是否已经检测完毕，如果没有，则在长视频关键帧序列中向后移动滑动窗口(μ+1)M个关键帧步长，得到新的候选视频片段，并重新执行步骤3；否则，执行步骤6；

时空约束极大连通区域是目标视频与长视频中候选视频片段关键帧序列相似度矩阵中的一个区域，该区域由一组满足时空约束的矩阵点组成，其中，空间约束是指该区域内任一结点对应的目标视频关键帧与候选关键帧之间的相似性大于给定阈值；时间约束性是指该区域内的结点在目标视频关键帧序列上和候选视频片段上在8邻域均连通的区域。其中，关键帧图像矩阵中与一个像素点相邻的8个点，成为8邻域。

图6示出了本发明中时空约束极大连通区域示意图。如图6所示，该图例中共包含两个符合上述条件的时空约束极大连通区域，分别为：目标视频关键帧序列的第1帧到第8帧与候选视频片段帧序列中的第3帧到第10帧，目标视频关键帧序列的第9帧到第14帧与候选视频片段帧序列中第15帧到第26帧。

所述步骤4中，采用的时空约束极大连通区域方法进一步包括以下步骤：

步骤F1，记粗定位获取的候选视频片段为T_i，将该片段在长视频关键帧序列中的起始点向前移动μM个关键帧，结束点向后推移μM个关键帧，形成一个长度为(2μ+1)M的候选视频片段T_i′，其中，M为目标视频的长度，μ为尺度因子，优选地μ取值为1或2；

步骤F2，计算目标视频片段与候选视频片段T_i′之间的相似性矩阵，构造稠密相似性矩阵W；

步骤F3，构造稠密相似性矩阵W中的所有时空约束极大连通区域；

步骤F4，遍历所有时空约束极大连通区域，如果某连通区域的起始点和结束点的坐标差值(Δx，Δy)均小于阈值L或比值Δx/Δy、Δy/Δx均大于给定阈值ε，则认为该连通区域为不合格连通区域，其中所述连通区域的起始点和结束点的坐标指对应的目标视频关键帧序列和候选视频片段中的关键帧序号；

步骤F5，按照列向优先原则，根据起始点的位置坐标由小到大的顺序，对所有合格的时空约束极大连通区域排序；记第一个时空约束极大连通区域为A，疑似目标区域的起始位置为A的起始点位置(S_x，S_y)，疑似目标区域的结束位置为A的结束点位置(E_x，E_y)；

步骤F6，以连通区域A为初始区域，向下向后检测是否存在满足时序差值约束的其它时空约束极大连通区域，其中，时序差值约束为：该连通区域的起始点位置(S′_x，S′_y)与当前疑似目标区域结束点位置(E_x，E_y)的差值(Δx，Δy)均小于给定阈值λ，如果存在，则用该连通区域的结束点位置更新(E_x，E_y)；迭代上述过程直至检测完所有连通区域，获取检测到的疑似目标区域，其起始点为(S_x，S_y)，结束点为(E_x，E_y)；

步骤F7，按照步骤F5的排序结果，重新选择一个时空约束极大连通区域A，重复步骤F6，直至遍历完所有时空约束极大连通区域；

步骤F8，对于所有的疑似目标区域，首先进行时长约束过滤，去除总时长小于给定阈值ρ的片段，然后进行去重操作，并将最长疑似目标区域所在的起始位置作为目标视频在长视频中出现的一个起始位置。

所述步骤F2中构造稠密相似性矩阵W进一步包括：首先计算目标关键帧序列与候选视频片段之间的空间相似度，并根据空间约束条件将该空间相似度矩阵二值化，获取如图6所示的时空约束极大连通区域；然后对该区域中标记为“1”的矩形结点对应的候选视频片段和目标视频关键帧序列的帧号记为坐标信息，将标记为“0”的结点的值记为(0，0)，获取稠密相似性矩阵W，如图7所示。

所述步骤F3，由稠密相似性矩阵W构造时空约束极大连通区域的步骤进一步包括：

步骤F31，按照列向优先原则，一次遍历稠密矩阵中的矩阵结点，记检测到的第一个非(0，0)节点为(x，y)，以(x，y)为起始点创建一个未完成连通区域；

步骤F32，继续遍历其余矩阵结点，对于检测新的非(0，0)的结点，更新(x，y)，依次判断其与现有未完成连通区域是否连通，如果连通，则将其加入到该未完成连通区域的末尾，如果(x，y)与所有未完成连通区域均不连通，则以(x，y)为起始点创建一个新的未完成连通区域；

步骤F33，判断当前所有未完成连通区域是否已经结束；

步骤F34，重复执行步骤F32和F33，直至遍历完稠密矩阵中的每个结点；

步骤F35，依次判断检测到的连通区域，合并存在重叠元素的连通区域，生成最终的极大连通区域集合。

步骤5，判断长视频关键帧序列是否检测完毕，如果没有，则在长视频关键帧序列中向后移动滑动窗口1个关键帧步长，得到新的候选视频片段，并重新执行步骤3，直至长视频序列全部检查、定位完毕；

步骤6，根据步骤4获取的目标视频在长视频序列中的定位结果，进行长视频内容统计和可疑目标的自动审核。

所述步骤6中长视频内容统计和可疑目标的自动审核包括：根据目标视频在长视频中的精确定位结果，统计目标视频内容在长视频中出现的总次数、出现的时间分布情况和在敏感时段内出现的次数和时长；通过比较目标视频在长视频中在敏感时段内出现的次数和时长与给定阈值的大小关系来进行目标内容审核，如果大于给定阈值，则确定目标视频内容播放违规。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (12)

1.一种长视频中目标内容的快速统计与自动审核方法，该方法包括以下步骤：

步骤1，分别抽取长视频和目标视频的关键帧序列；

步骤2，从步骤1获取的所述长视频和目标视频的关键帧序列中，分别提取局部二值模式直方图特征和空间灰度序特征；

步骤3，利用所提取的局部二值模式直方图特征和空间灰度序特征，通过基于局部二值模式直方图的部分匹配方法和基于最长公共子串的匹配方法进行粗定位，获得所述目标视频在长视频中的粗定位结果，所述粗定位结果为包含目标视频关键帧序列的候选视频片段；

步骤4，对于所述粗定位结果，采用时空约束极大连通区域法，精确定位目标视频；

步骤5，根据步骤4获取的目标视频在长视频序列中的精确定位结果，进行长视频内容统计和审核。

2.根据权利要求1所述的方法，其特征在于，步骤3之前还包括：将长视频关键帧序列中第1帧至第M帧作为当前候选视频片段，其中M为目标视频关键帧序列的长度；步骤5之前包括：在步骤4中获得了粗定位结果时，在长视频关键帧序列中将当前候选视频片段向后移(μ+1)M帧，作为新的当前候选视频片段，其中，μ为尺度因子，而在步骤4中没有获得粗定位结果时，在长视频关键帧序列中将当前候选视频片段向后移1帧，作为新的当前候选视频片段，并返回步骤3继续执行，直到检测完所有的长视频关键帧序列。

3.根据权利要求1所述的方法，其特征在于，所述步骤2中采用的局部二值模式直方图特征的提取进一步包括以下步骤：

步骤A1，将关键帧序列中的每个关键帧图像转化成灰度图像，将灰度图像的剩余区域划分成k×k个均匀大小的矩形图像块；

步骤A2，计算各矩形图像块的平均灰度值；

步骤A3，对每个关键帧图像，按顺时针顺序，从左上角矩形块开始，比较与中心矩形块平均灰度值的大小关系，进行二值化；

步骤A4，统计所有关键帧的局部二值化结果，得到局部二值模式直方图特征。

4.根据权利要求1所述的方法，其特征在于，所述步骤2中采用的空间灰度序特征的提取进一步包括以下步骤：

步骤B1，将关键帧图像转化成灰度图像，将灰度图像的剩余区域划分成k×k个均匀大小的矩形图像块；

步骤B2，计算各矩形块的平均灰度值；

步骤B3，对各矩形块的平均灰度值，按照从小到大进行排序，顺序号为对应矩形块的值。

5.根据权利要求1所述的方法，其特征在于，所述步骤3中首先采用基于局部二值模式直方图的部分匹配方法确定长视频关键帧序列中当前候选视频片段是否可能为粗定位结果，并且在当前候选视频片段可能为粗定位结果的情况下，采用基于最长公共子串的匹配方法判断所述当前候选视频片段是否为最终的粗定位结果。

6.根据权利要求3所述的方法，其特征在于，所述采用的基于局部二值模式直方图的部分匹配方法进行粗定位进一步包括以下步骤：

步骤D1，计算目标视频关键帧序列和长视频关键帧序列中当前候选视频片段对应的两个局部二值模式直方图中频率均大于0的各柄之间的相似度候选视频片段；

步骤D2，按照相似度由大到小的顺序对各柄进行排序；

步骤D3，根据排在前面特定数目的柄的相似度得到所述局部二值模式直方图的最终相似度；

步骤D4，如果最终相似度大于预定值，则表示当前候选视频片段为可能的粗定位结果。

7.根据权利要求6所述的方法，其特征在于，步骤D1中柄之间的相似度如下计算：

$\mathrm{sim}(V_q^w,V_{t_i}^w)=\min (p_q^w,p_{t_i}^w)/\max (p_q^w,p_{t_i}^w)$

其中，w表示柄的序号，

表示目标视频关键帧序列对应的直方图V_q中序号为w的柄，

表示当前候选视频片段i对应的直方图

中序号为w的柄，p^w为直方图中第w个柄对应的频率；

所述局部二值模式直方图的最终相似度如下计算：

$\mathrm{sim}(V_q,V_{t_i})=\frac{1}{d}\underset{1\≤w_x\≤d}{\mathrm{\Σ}}\frac{\min (p_q^{w_x},p_{t_i}^{w_x})}{\max (p_q^{w_x},p_{t_i}^{w_x})}$

其中，d为预定义的值。

8.根据权利要求5所述的方法，其特征在于，所述步骤3中采用的基于最长公共子串的匹配方法进一步包括以下步骤：

步骤E1，利用空间灰度序特征，以序列匹配方式计算目标视频关键帧序列与长视频关键帧序列中的当前候选视频片段对应的关键帧相似度序列；

步骤E2，统计相似度大于给定阈值T₂时对应的关键帧匹配对数，如果匹配对数少于给定阈值β，则认为该候选视频片段不可能存在最长公共子串，即不可能为粗定位结果；

步骤E3，对于关键帧匹配数大于β的候选视频片段，从相似度序列起始位置开始，查找长度大于给定阈值β的最长公共子串；

步骤E4，将所查找到的最长公共子串与当前候选最长公共子串中长度更长的记为当前候选最长公共子串；

步骤E5，并将所述当前候选视频片段在长视频关键帧序列中所处的位置向后移动1个关键帧步长，并更新当前候选视频片段，并转步骤E1执行，迭代执行M次，其中M为目标视频关键帧序列的长度，得到最终的最长公共子串。

9.根据权利要求8所述的方法，其特征在于，关键帧之间的相似度如下计算：

$\mathrm{sim}(F_{q,j},F_{t_i,j})=1-\frac{1}{C}{\mathrm{\Σ}}_{(u,v)=\left(\mathrm{1,1}\right)}^{(k,k)}|S_{q,j}(u,v)-S_{t_i,j}(u,v)|$

其中，F_q，j、分别表示目标视频关键帧序列中第j个关键帧和当前候选视频片段t_i中第j个关键帧，S_q，j、

分别表示目标视频关键帧序列和当前候选视频片段中第j个关键帧对应的空间灰度序特征，(μ，v)表示第j个关键帧图像的空间灰度序特征对应的矩形区域坐标，(k，k)表示所述矩形区域坐标的最大值，优选地k取值为3，C为归一化因子，其计算公式为 $C={\mathrm{\Σ}}_{i=1}^{k^2}|k^2+1-2i|.$

10.根据权利要求1所述的方法，其特征在于，所述步骤4中，采用的时空约束极大连通区域方法进一步包括以下步骤：

步骤F1，记粗定位结果对应的候选片段为T_i，将该片段在长视频关键帧序列中的起始点向前移动μM个关键帧，结束点向后推移μM个关键帧，形成一个长度为(2μ+1)M的候选片段T_i′；

步骤F2，计算目标视频关键帧序列与所述候选片段T_i′之间的相似性矩阵，构造稠密相似性矩阵w；

步骤F3，构造所述稠密相似性矩阵w中的所有时空约束极大连通区域；

步骤F4，遍历所有时空约束极大连通区域，如果某连通区域的起始点和结束点的坐标差值(Δx，Δy)均小于阈值L或比值Δx/Δy、Δy/Δx均大于给定阈值ε，则认为该连通区域为不合格连通区域；

步骤F5，按照列向优先原则，根据起始点的位置坐标由小到大的顺序，对所有合格的时空约束极大连通区域排序；记第一个时空约束极大连通区域为A，设置疑似目标区域的起始位置为A的起始点位置(S_x，S_y)，疑似目标区域的结束位置为A的结束点位置(E_x，E_y)；

步骤F6，以连通区域A为初始区域，向下向后检测是否存在满足时序差值约束的其它时空约束极大连通区域，其中，时序差值约束为：该连通区域的起始点位置与当前疑似目标区域结束点位置的差值均小于给定阈值λ，如果存在，则用该连通区域的结束点位置更新疑似目标区域的结束位置；迭代上述过程直至检测完所有连通区域，获取检测到的疑似目标区域；

步骤F7，按照步骤F5的排序结果，重新选择一个时空约束极大连通区域，重复步骤F6，直至遍历完所有时空约束极大连通区域；

步骤F8，对于所有的疑似目标区域，首先进行时长约束过滤，去除总时长小于给定阈值ρ的区域，然后进行去重操作，并将最长目标疑似区域作为最终的精确定位结果。

11.根据权利要求1所述的方法，其特征在于，所述步骤5中长视频内容统计和审核包括：根据目标视频在长视频中的精确定位结果，统计目标视频在长视频中出现的总次数、出现的时间分布情况和在敏感时段内出现的次数和时长；通过比较目标视频在长视频中在敏感时段内出现的次数和时长与给定阈值的大小关系来进行可疑目标内容的自动审核。

12.一种长视频中目标内容的快速统计与自动审核装置，该装置包括：

关键帧序列抽取模块，其分别抽取长视频和目标视频的关键帧序列；

特征提取模块，其从获取的所述长视频和目标视频的关键帧序列中，分别提取局部二值模式直方图特征和空间灰度序特征；

粗定位模块，其利用所提取的局部二值模式直方图特征和空间灰度序特征，通过基于局部二值模式直方图的部分匹配方法和基于最长公共子串的匹配方法进行粗定位，获得所述目标视频在长视频中的粗定位结果，所述粗定位结果为包含目标视频关键帧序列的候选视频片段；

精确定位模块，其对于所述粗定位结果，采用时空约束极大连通区域法，精确定位目标视频；

统计和审核模块，其根据获取的目标视频在长视频序列中的精确定位结果，进行长视频内容统计和审核。

Images