CN108010044A - 一种视频边界检测的方法 - Google Patents

一种视频边界检测的方法 Download PDF

Info

Publication number
CN108010044A
CN108010044A CN201610962372.1A CN201610962372A CN108010044A CN 108010044 A CN108010044 A CN 108010044A CN 201610962372 A CN201610962372 A CN 201610962372A CN 108010044 A CN108010044 A CN 108010044A
Authority
CN
China
Prior art keywords
similarity
segment
video
frame
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610962372.1A
Other languages
English (en)
Other versions
CN108010044B (zh
Inventor
孙伟芳
朱立松
黄建杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCTV INTERNATIONAL NETWORKS WUXI Co Ltd
Original Assignee
CCTV INTERNATIONAL NETWORKS WUXI Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCTV INTERNATIONAL NETWORKS WUXI Co Ltd filed Critical CCTV INTERNATIONAL NETWORKS WUXI Co Ltd
Priority to CN201610962372.1A priority Critical patent/CN108010044B/zh
Publication of CN108010044A publication Critical patent/CN108010044A/zh
Application granted granted Critical
Publication of CN108010044B publication Critical patent/CN108010044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了计算机视频信息处理技术领域的一种视频边界检测的方法，所述该视频边界检测的方法，具体步骤如下：S1：通过计算每一帧的像素间标准差；S4：计算所有非孤立片段的中间帧和首尾的直方图相似度；S5：合并连续非孤立片段为疑似渐变镜头片段，本方法先通过像素差计算方式删除单色帧，把视频进行分段，计算片段首尾帧的直方图相似度，根据该信息删除冗余视频片段，其余视频片段分为孤立和非孤立分别检测镜头突变和渐变,该方法所有的计算都没有重复计算，考虑了图像的位置信息以及颜色信息，镜头切换检测的方法有别于其它方法，不仅可以检测出镜头渐变，而且可以检测出位置和长度，算法有一定的鲁棒性，思想简单有效。

Description

一种视频边界检测的方法
技术领域
本发明涉及计算机视频信息处理技术领域，具体为一种视频边界检测的方法。
背景技术
镜头边界检测的基础，在于同一个镜头内的视觉内容相近、不同镜头间的视频内容差异大，特征区别明显。视频的镜头变换主要分为切变和渐变两种类型，切变是前一个镜头的末帧没有过渡的紧接着下一个镜头的首帧，渐变是在一段时间内通过溶解、淡入/淡出、擦除等视觉效果，逐渐完成镜头的变换，一般持续几帧到十几帧。
目前很多围绕视频切变和渐变的研究，一部分研究只单一的针对切变或者渐变镜头，另一部分能够同时检测出渐变和切变的方法复杂度往往比较高。制约镜头边界检测算法处理速度主要原因在于反复提取特征对比，待处理视频图片数量较多。
现有的检测方法视频检测做时未考虑视频字幕(底部固定滚动画面)、台标和黑标等因素的影响，检测算法在做视频帧间颜色相似性时未考虑位置信息。现有算法中渐变检测或者未检测出渐变长度和位置，或者是检测过程复杂度太高，耗时且准确率不高，未去除单色帧的影响。为此，我们发明了一种视频边界检测的方法投入使用，以解决上述问题。
发明内容
本发明的目的在于提供一种视频边界检测的方法，以解决上述背景技术中提出的现有的检测方法视频检测做时未考虑视频字幕(底部固定滚动画面)、台标和黑标等因素的影响，检测算法在做视频帧间颜色相似性时未考虑位置信息。现有算法中渐变检测或者未检测出渐变长度和位置，或者是检测过程复杂度太高，耗时且准确率不高，未去除单色帧的影响的问题。
为实现上述目的，本发明提供如下技术方案：一种视频边界检测的方法，所述该视频边界检测的方法，具体步骤如下：
S1：通过计算每一帧的像素间标准差，如果标准差接近于0，则为单色帧，剔除所有单色帧，再以20帧为间隔，将待检测视频分割为一系列长度为21帧的视频片段，然后，计算每个视频片段的首尾帧间直方图相似度；
S2：动态选取阈值，并计算步骤S1中所有视频片段的剔除阈值；
S3：剩余所有视频片段中相邻片段都被剔除的片段称为孤立片段，设d20(n+1)和d20(n-1)被剔除，则d20(n)为孤立片段，计算该片段与未被剔除的相邻片段间的首尾间直方图相似性，记为d20(n-2,n)和d20(n,n+2)，若1＜d20(n)/d20(n-2,n)＜T1或者1＜d20(n)/d20(n,n+2)＜T1，表明该视频片段帧间没有大的特征差异，剔除；
S4：计算所有非孤立片段的中间帧和首尾的直方图相似度和若且则表明该视频片段没有大的特征差异，剔除；
S5：合并连续非孤立片段为疑似渐变镜头片段，针对孤立片段，按顺序计算片段中相邻两帧间的直方图相似性，记片段d20(n)中所有相邻帧间相似度中最大值和除最大值外的均值分别为和
S6：选取疑似渐变视频中按步骤S1中分段的首尾帧相似度最大的片段m，代表渐变最剧烈的片段，计算片段中相邻两帧间的直方图相似性，选取所对应的两帧，分别与该片段首和尾计算帧间相似性d10和d20；
S7：所对应的两帧分别为x1和x2，依次分别计算两边的帧间相似性，再计算x1至x1+10和x2至x2+10的标准差为δX1和δX2，然后再逐一加帧计算后续的标准差；
S8：相似度较大的一侧视频片段，首先计算10帧内的标准差，再依次逐一加帧计算该后续的标准差；
S9：设剩余片段长度为L，当L≤25时，因为新的渐变不能发生在25帧以内，否则人眼无法识别，进入步骤S5中进行切变再检测，当L＞25的视频片段按照步骤S6进行迭代。
优选的，所述步骤S1中，直方图相似度均以去除图片上部10％，下部15％，留下中间75％部分，分成4块计算每帧的HSV直方图信息，并计算对应分量计算帧间相似性，再加权求和，归一化，其中，直方图相似度的具体计算方法为：
式中：d(i,i+1)代表归一化后的i和i+1帧间直方图相似性，H(j)表示的是第i帧内等级为j的直方图的值，M是直方图的总等级数。尤其是对于某些要强调的直方图等级的情况，使用权值W(j)，b代表矩形块的个数，Ck代表第k个矩形块的权值，d(20n,20(n+1))代表第n个时间片段的首尾特征差值，用d20(n)简写。
优选的，所述步骤S2中，动态阈值计算方法为：
式中：μG表示视频中所有片段首尾特征d20(n)的均值，μL表示一组阈值单元中10个片段首尾特征差值的均值，δL是阈值单元内各个片段的特征距离标准差，在式中，a是一个参数，将会在训练参数中确定，将特征差值小于等于阈值TL且不满足(d20(n))＞3d20(n-1)∪d20(n)＞3d20(n+1)∩d20(n)＞0.8μG的视频片段剔除。
优选的，所述步骤S3中，T1代表直方图相似度的一个接近1的倍数。
优选的，所述步骤S5中，所有相邻帧间相似度的具体判断方法如下：
S51：若表明该片段中间有大镜头或者花屏等异常情况，一方影响检测结果，剔除；
S52：若其中T2为两个直方图相似度间的较大倍数，表明首尾帧间相似度和最大帧间相似度大小差不多，而最大帧间相似度与其它平均帧间相似度相差不大或者整个视频片段特征变化趋势不明显，代表该片段中间无典型镜头变换，剔除；
S53：若表明首尾帧间相似度和最大相似度差不多，而最大帧间相似度远远大于其它平均帧间相似度，代表该片段中有镜头突变，为突变处；
S54：若表明片段中所有帧间相似度不高，而由于该片段帧数在25帧以内，不可能发生人眼可识别的渐变，代表该片段中有镜头的晃动或者移动，剔除。
优选的，所述步骤S6中，1＜d10/d20＜T1或1＜d20/d10＜T1，表明该片段最大值两边的特征变化类似，假设d10较大，1＜d10/d20＜T1，当时，表明两边帧间相似度很大，代表该片段为突变片段，为突变位置，m片段两侧剩余的视频片段分别按照步骤S6重新迭代，当表明两边帧间变化不大，整个疑似渐变片段为无镜头变化片段，剔除，当d10/d20＞T1或者d20/d10＞T1时，表明该片段最大值两边的特征变化不一致，代表所在的位置在渐变的两端的其中一端，假设d10较大，则d10对应的一侧片段转到步骤S8中，d20对应的一侧片段转到步骤S6中。
优选的，所述步骤S7中，当δx1/δx1+1＞T3或者δX2/δX2+1＞T3时，其中T3为两个直方图相似度的标准差的较大倍数，分别表示左边或者右边对应的位置为渐变结束点，中间视频片段长度为渐变长度，若两边有剩余视频片段转到步骤S9中，否则，继续迭代直至片段结束。
优选的，所述步骤S8中，设第K帧和第K+1的标准差分别为δK和δK+1，直至δK/δK+1>T3时，其中T3为两个直方图相似度的标准差的较大倍数，则K为渐变结束所在的位置，渐变长度为所在位置到第K帧，剩余视频片段转下一步骤中，否则，则继续迭代至片段结束。
与现有技术相比，本发明的有益效果是：本方法先通过像素差计算方式删除单色帧，把视频进行分段，计算片段首尾帧的直方图相似度，根据该信息删除冗余视频片段，其余视频片段分为孤立和非孤立分别检测镜头突变和渐变，该方法所有的计算都没有重复计算，并且最大限度保留最多信息的前提下进行非边界帧的剔除，平衡了镜头边界检测的效率和正确率，考虑了图像的位置信息以及颜色信息，比较综合全面的衡量了图片的信息，渐变检测的方法有别于其它方法，不仅可以检测出位置和长度，而且思想简单有效。
附图说明
图1为本发明工作流程图；
图2为本发明动态选取阈值片段示意图；
图3为本发明片段首和尾计算帧间相似性示意图；
图4为本发明疑似渐变片段示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-4，本发明提供一种技术方案：一种视频边界检测的方法，所述该视频边界检测的方法，具体步骤如下：
S1：通过计算每一帧的像素间标准差，如果标准差接近于0，则为单色帧，剔除所有单色帧，再以20帧为间隔，将待检测视频分割为一系列长度为21帧的视频片段，然后，计算每个视频片段的首尾帧间直方图相似度，直方图相似度均以去除图片上部10％，下部15％，留下中间75％部分，分成4块计算每帧的HSV直方图信息，并计算对应分量计算帧间相似性，再加权求和，归一化，其中，直方图相似度的具体计算方法为：
式中：d(i,i+1)代表归一化后的i和i+1帧间直方图相似性，H(j)表示的是第i帧内等级为j的直方图的值，M是直方图的总等级数。尤其是对于某些要强调的直方图等级的情况，使用权值W(j)，b代表矩形块的个数，Ck代表第k个矩形块的权值，d(20n,20(n+1))代表第n个时间片段的首尾特征差值，用d20(n)简写；
S2：动态选取阈值，并计算步骤S1中所有视频片段的剔除阈值，如d20(n)按照图2选取阈值单元，当n＜6时，阈值计算单元是第1-10个视频片段，按照图2选取阈值单元，动态阈值计算方法为：
式中：μG表示视频中所有片段首尾特征d20(n)的均值，μL表示一组阈值单元中10个片段首尾特征差值的均值，δL是阈值单元内各个片段的特征距离标准差，在式中，a是一个参数，将会在训练参数中确定，将特征差值小于等于阈值TL且不满足(d20(n))＞3d20(n-1)∪d20(n)＞3d20(n+1)∩d20(n)＞0.8μG的视频片段剔除；
S3：剩余所有视频片段中相邻片段都被剔除的片段称为孤立片段，设d20(n+1)和d20(n-1)被剔除，则d20(n)为孤立片段，计算该片段与未被剔除的相邻片段间的首尾间直方图相似性，记为d20(n-2,n)和d20(n,n+2)，若1＜d20(n)/d20(n-2,n)＜T1或者1＜d20(n)/d20(n,n+2)＜T1，表明该视频片段帧间没有大的特征差异，剔除，T1代表直方图相似度的一个接近1的倍数；
S4：计算所有非孤立片段的中间帧和首尾的直方图相似度和若且则表明该视频片段没有大的特征差异，剔除；
S5：合并连续非孤立片段为疑似渐变镜头片段，针对孤立片段，按顺序计算片段中相邻两帧间的直方图相似性，记片段d20(n)中所有相邻帧间相似度中最大值和除最大值外的均值分别为和所有相邻帧间相似度的具体判断方法如下：
S51：若表明该片段中间有大镜头或者花屏等异常情况，一方影响检测结果，剔除；
S52：若其中T2为两个直方图相似度间的较大倍数，表明首尾帧间相似度和最大帧间相似度大小差不多，而最大帧间相似度与其它平均帧间相似度相差不大或者整个视频片段特征变化趋势不明显，代表该片段中间无典型镜头变换，剔除；
S53：若表明首尾帧间相似度和最大相似度差不多，而最大帧间相似度远远大于其它平均帧间相似度，代表该片段中有镜头突变，为突变处；
S54：若表明片段中所有帧间相似度不高，而由于该片段帧数在25帧以内，不可能发生人眼可识别的渐变，代表该片段中有镜头的晃动或者移动，剔除；
S6：选取疑似渐变视频中按步骤S1中分段的首尾帧相似度最大的片段m，代表渐变最剧烈的片段，计算片段中相邻两帧间的直方图相似性，选取所对应的两帧，分别与该片段首和尾计算帧间相似性d10和d20，如图3所示，1＜d10/d20＜T1或1＜d20/d10＜T1，表明该片段最大值两边的特征变化类似，假设d10较大，1＜d10/d20＜T1，当时，表明两边帧间相似度很大，代表该片段为突变片段，为突变位置，m片段两侧剩余的视频片段分别按照步骤S6重新迭代，当表明两边帧间变化不大，整个疑似渐变片段为无镜头变化片段，剔除，当d10/d20＞T1或者d20/d10＞T1时，表明该片段最大值两边的特征变化不一致，代表所在的位置在渐变的两端的其中一端，假设d10较大，则d10对应的一侧片段转到步骤S8中，d20对应的一侧片段转到步骤S6中；
S7：所对应的两帧分别为x1和x2，依次分别计算两边的帧间相似性，再计算x1至x1+10和x2至x2+10的标准差为δX1和δX2，然后再逐一加帧计算后续的标准差，如图4所示，例如两边11帧的标准差为δx1+1和δx2+1，当δx1/δx1+1＞T3或者δX2/δX2+1＞T3时，分别表示左边或者右边对应的位置为渐变结束点，中间视频片段长度为渐变长度，若两边有剩余视频片段转到步骤S9中，否则，继续迭代直至片段结束；
S8：相似度较大的一侧视频片段，首先计算10帧内的标准差，再依次逐一加帧计算该后续的标准差，设第K帧和第K+1的标准差分别为δK和δK+1，直至δK/δK+1>T3时，其中T3为两个直方图相似度的标准差的较大倍数，则K为渐变结束所在的位置，渐变长度为所在位置到第K帧，剩余视频片段转下一步骤中，否则，则继续迭代至片段结束；
S9：设剩余片段长度为L，当L≤25时，因为新的渐变不能发生在25帧以内，否则人眼无法识别，进入步骤S5中进行切变再检测，当L＞25的视频片段按照步骤S6进行迭代。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种视频边界检测的方法，其特征在于：所述该视频边界检测的方法，具体步骤如下：
S1：通过计算每一帧的像素间标准差，如果标准差接近于0，则为单色帧，剔除所有单色帧，再以20帧为间隔，将待检测视频分割为一系列长度为21帧的视频片段，然后，计算每个视频片段的首尾帧间直方图相似度；
S2：动态选取阈值，并计算步骤S1中所有视频片段的剔除阈值；
S3：剩余所有视频片段中相邻片段都被剔除的片段称为孤立片段，设d20(n+1)和d20(n-1)被剔除，则d20(n)为孤立片段，计算该片段与未被剔除的相邻片段间的首尾间直方图相似性，记为d20(n-2,n)和d20(n,n+2)，若1＜d20(n)/d20(n-2,n)＜T1或者1＜d20(n)/d20(n,n+2)＜T1，表明该视频片段帧间没有大的特征差异，剔除；
S4：计算所有非孤立片段的中间帧和首尾的直方图相似度和若且则表明该视频片段没有大的特征差异，剔除；
S5：合并连续非孤立片段为疑似渐变镜头片段，针对孤立片段，按顺序计算片段中相邻两帧间的直方图相似性，记片段d20(n)中所有相邻帧间相似度中最大值和除最大值外的均值分别为和
S6：选取疑似渐变视频中按步骤S1中分段的首尾帧相似度最大的片段m，代表渐变最剧烈的片段，计算片段中相邻两帧间的直方图相似性，选取所对应的两帧，分别与该片段首和尾计算帧间相似性d10和d20；
S7：所对应的两帧分别为x1和x2，依次分别计算两边的帧间相似性，再计算x1至x1+10和x2至x2+10的标准差为δX1和δX2，然后再逐一加帧计算后续的标准差；
S8：相似度较大的一侧视频片段，首先计算10帧内的标准差，再依次逐一加帧计算该后续的标准差；
S9：设剩余片段长度为L，当L≤25时，因为新的渐变不能发生在25帧以内，否则人眼无法识别，进入步骤S5中进行切变再检测，当L＞25的视频片段按照步骤S6进行迭代。
2.根据权利要求1所述的一种视频边界检测的方法，其特征在于：所述步骤S1中，直方图相似度均以去除图片上部10％，下部15％，留下中间75％部分，分成4块计算每帧的HSV直方图信息，并计算对应分量计算帧间相似性，再加权求和，归一化，其中，直方图相似度的具体计算方法为：
<mrow> <mi>D</mi> <mi>B</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>i</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </munderover> <mi>W</mi> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <mo>|</mo> <msub> <mi>H</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>j</mi> <mo>,</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>H</mi> <mrow> <mi>i</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>j</mi> <mo>,</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>|</mo> </mrow>
<mrow> <mi>D</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>i</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>b</mi> </munderover> <msub> <mi>C</mi> <mi>k</mi> </msub> <mo>&amp;CenterDot;</mo> <mi>D</mi> <mi>B</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>i</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow>
<mrow> <mi>d</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>i</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mi>D</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>i</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow> <mrow> <mi>X</mi> <mo>.</mo> <mi>Y</mi> </mrow> </mfrac> </mrow>
式中：d(i,i+1)代表归一化后的i和i+1帧间直方图相似性，H(j)表示的是第i帧内等级为j的直方图的值，M是直方图的总等级数。尤其是对于某些要强调的直方图等级的情况，使用权值W(j)，b代表矩形块的个数，Ck代表第k个矩形块的权值，d(20n,20(n+1))代表第n个时间片段的首尾特征差值，用d20(n)简写。
3.根据权利要求1所述的一种视频边界检测的方法，其特征在于：所述步骤S2中，动态阈值计算方法为：
<mrow> <msub> <mi>T</mi> <mi>L</mi> </msub> <mo>=</mo> <msub> <mi>&amp;mu;</mi> <mi>L</mi> </msub> <mo>+</mo> <mi>a</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>+</mo> <msub> <mn>1</mn> <mi>n</mi> </msub> <mo>(</mo> <mfrac> <msub> <mi>&amp;mu;</mi> <mi>G</mi> </msub> <msub> <mi>&amp;mu;</mi> <mi>L</mi> </msub> </mfrac> <mo>)</mo> <mo>)</mo> </mrow> <msub> <mi>&amp;delta;</mi> <mi>L</mi> </msub> </mrow>
式中：μG表示视频中所有片段首尾特征d20(n)的均值，μL表示一组阈值单元中10个片段首尾特征差值的均值，δL是阈值单元内各个片段的特征距离标准差，在式中，a是一个参数，将会在训练参数中确定，将特征差值小于等于阈值TL且不满足(d20(n))＞3d20(n-1)∪d20(n)＞3d20(n+1)∩d20(n)＞0.8μG的视频片段剔除。
4.根据权利要求1所述的一种视频边界检测的方法，其特征在于：所述步骤S3中，T1代表直方图相似度的一个接近1的倍数。
5.根据权利要求1所述的一种视频边界检测的方法，其特征在于：所述步骤S5中，所有相邻帧间相似度的具体判断方法如下：
S51：若表明该片段中间有大镜头或者花屏等异常情况，一方影响检测结果，剔除；
S52：若其中T2为两个直方图相似度间的较大倍数，表明首尾帧间相似度和最大帧间相似度大小差不多，而最大帧间相似度与其它平均帧间相似度相差不大或者整个视频片段特征变化趋势不明显，代表该片段中间无典型镜头变换，剔除；
S53：若表明首尾帧间相似度和最大相似度差不多，而最大帧间相似度远远大于其它平均帧间相似度，代表该片段中有镜头突变，为突变处；
S54：若表明片段中所有帧间相似度不高，而由于该片段帧数在25帧以内，不可能发生人眼可识别的渐变，代表该片段中有镜头的晃动或者移动，剔除。
6.根据权利要求1所述的一种视频边界检测的方法，其特征在于：所述步骤S6中，1＜d10/d20＜T1或1＜d20/d10＜T1，表明该片段最大值两边的特征变化类似，假设d10较大，1＜d10/d20＜T1，当时，表明两边帧间相似度很大，代表该片段为突变片段，为突变位置，m片段两侧剩余的视频片段分别按照步骤S6重新迭代，当表明两边帧间变化不大，整个疑似渐变片段为无镜头变化片段，剔除，当d10/d20＞T1或者d20/d10＞T1时，表明该片段最大值两边的特征变化不一致，代表所在的位置在渐变的两端的其中一端，假设d10较大，则d10对应的一侧片段转到步骤S8中，d20对应的一侧片段转到步骤S6中。
7.根据权利要求1所述的一种视频边界检测的方法，其特征在于：所述步骤S7中，当δx1/δx1+1＞T3或者δX2/δX2+1＞T3时，其中T3为两个直方图相似度的标准差的较大倍数，分别表示左边或者右边对应的位置为渐变结束点，中间视频片段长度为渐变长度，若两边有剩余视频片段转到步骤S9中，否则，继续迭代直至片段结束。
8.根据权利要求1所述的一种视频边界检测的方法，其特征在于：所述步骤S8中，设第K帧和第K+1的标准差分别为δK和δK+1，直至δK/δK+1>T3时，则K为渐变结束所在的位置，渐变长度为所在位置到第K帧，剩余视频片段转下一步骤中，否则，则继续迭代至片段结束。
CN201610962372.1A 2016-10-28 2016-10-28 一种视频边界检测的方法 Active CN108010044B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610962372.1A CN108010044B (zh) 2016-10-28 2016-10-28 一种视频边界检测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610962372.1A CN108010044B (zh) 2016-10-28 2016-10-28 一种视频边界检测的方法

Publications (2)

Publication Number Publication Date
CN108010044A true CN108010044A (zh) 2018-05-08
CN108010044B CN108010044B (zh) 2021-06-15

Family

ID=62048458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610962372.1A Active CN108010044B (zh) 2016-10-28 2016-10-28 一种视频边界检测的方法

Country Status (1)

Country Link
CN (1) CN108010044B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151499A (zh) * 2018-09-26 2019-01-04 央视国际网络无锡有限公司 视频审核方法及装置
WO2020029883A1 (zh) * 2018-08-09 2020-02-13 阿里巴巴集团控股有限公司 一种视频指纹生成方法和装置
WO2020124633A1 (zh) * 2018-12-19 2020-06-25 惠科股份有限公司 彩膜基板加工方法和系统
CN111860185A (zh) * 2020-06-23 2020-10-30 北京无限创意信息技术有限公司 一种镜头边界检测方法及系统
CN112511719A (zh) * 2020-11-10 2021-03-16 陕西师范大学 屏幕内容视频运动类型的判断方法
CN114266779A (zh) * 2021-12-22 2022-04-01 中国建设银行股份有限公司 直播视频的裁剪方法以及直播视频的裁剪装置
CN115633218A (zh) * 2022-10-20 2023-01-20 深圳市菲菲教育发展有限公司 一种视频剪辑方法、储存介质及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685398A (zh) * 2011-09-06 2012-09-19 天脉聚源(北京)传媒科技有限公司 一种新闻视频场景生成方法
CN104952073A (zh) * 2015-06-15 2015-09-30 上海交通大学 基于深度学习的镜头边缘检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685398A (zh) * 2011-09-06 2012-09-19 天脉聚源(北京)传媒科技有限公司 一种新闻视频场景生成方法
CN104952073A (zh) * 2015-06-15 2015-09-30 上海交通大学 基于深度学习的镜头边缘检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李秀环: "镜头边界检测及关键帧提取研究", 《中国优秀硕士学位论文全文数据库》 *
葛宝: "视频镜头边界检测研究", 《中国优秀博硕士学位论文全文数据库 (硕士)》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020029883A1 (zh) * 2018-08-09 2020-02-13 阿里巴巴集团控股有限公司 一种视频指纹生成方法和装置
CN110826365A (zh) * 2018-08-09 2020-02-21 阿里巴巴集团控股有限公司 一种视频指纹生成方法和装置
CN110826365B (zh) * 2018-08-09 2023-06-23 阿里巴巴集团控股有限公司 一种视频指纹生成方法和装置
US11961299B2 (en) 2018-08-09 2024-04-16 Alibaba Group Holding Limited Method and apparatus for generating video fingerprint
CN109151499A (zh) * 2018-09-26 2019-01-04 央视国际网络无锡有限公司 视频审核方法及装置
WO2020124633A1 (zh) * 2018-12-19 2020-06-25 惠科股份有限公司 彩膜基板加工方法和系统
CN111860185A (zh) * 2020-06-23 2020-10-30 北京无限创意信息技术有限公司 一种镜头边界检测方法及系统
CN112511719A (zh) * 2020-11-10 2021-03-16 陕西师范大学 屏幕内容视频运动类型的判断方法
CN114266779A (zh) * 2021-12-22 2022-04-01 中国建设银行股份有限公司 直播视频的裁剪方法以及直播视频的裁剪装置
CN115633218A (zh) * 2022-10-20 2023-01-20 深圳市菲菲教育发展有限公司 一种视频剪辑方法、储存介质及装置

Also Published As

Publication number Publication date
CN108010044B (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN108010044B (zh) 一种视频边界检测的方法
CN109859171B (zh) 一种基于计算机视觉和深度学习的楼面缺陷自动检测方法
CN106937114B (zh) 用于对视频场景切换进行检测的方法和装置
CN105069456B (zh) 一种车牌字符分割方法及装置
Shivakumara et al. Efficient video text detection using edge features
CN104835145B (zh) 基于自适应Codebook背景模型的前景检测方法
US20050123052A1 (en) Apparatus and method for detection of scene changes in motion video
CN107679469B (zh) 一种基于深度学习的非极大值抑制方法
CN109850518B (zh) 一种基于红外图像的实时矿用胶带预警撕裂检测方法
CN108830204B (zh) 面对目标的监控视频中异常检测方法
CN106327513B (zh) 基于卷积神经网络的镜头边界检测方法
EP2393290B1 (en) Video identifier creation device
CN109978858B (zh) 一种基于前景检测的双框架缩略图像质量评价方法
CN107424163A (zh) 一种基于TextTiling的镜头边界检测方法
CN112188309B (zh) 基于累计差异度和奇异值分解的镜头边界检测方法和装置
CN106951831B (zh) 一种基于深度摄像机的行人检测跟踪方法
KR101667011B1 (ko) 입체 영상의 장면 전환 검출 장치 및 방법
CN110769262A (zh) 一种视频图像压缩方法及系统
CN106446832B (zh) 一种基于视频的实时检测行人的方法
CN111199166B (zh) 基于频域和空域特征的视频拉条的检测和恢复方法
CN109359513B (zh) 一种基于边缘检测和颜色匹配的异常检测方法
CN108573217B (zh) 一种结合局部结构化信息的压缩跟踪方法
CN111951254B (zh) 基于边缘引导加权平均的源相机识别方法及系统
CN112085683B (zh) 一种显著性检测中的深度图可信度检测方法
CN111382736B (zh) 车牌图像的获取方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant