CN108509917A - 基于镜头类相关性分析的视频场景分割方法和装置 - Google Patents

基于镜头类相关性分析的视频场景分割方法和装置 Download PDF

Info

Publication number
CN108509917A
CN108509917A CN201810290282.1A CN201810290282A CN108509917A CN 108509917 A CN108509917 A CN 108509917A CN 201810290282 A CN201810290282 A CN 201810290282A CN 108509917 A CN108509917 A CN 108509917A
Authority
CN
China
Prior art keywords
shot
frame
cluster
camera lens
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810290282.1A
Other languages
English (en)
Other versions
CN108509917B (zh
Inventor
吉长江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yingpu Technology Co ltd
Original Assignee
Beijing Yingpu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yingpu Technology Co Ltd filed Critical Beijing Yingpu Technology Co Ltd
Priority to CN201810290282.1A priority Critical patent/CN108509917B/zh
Publication of CN108509917A publication Critical patent/CN108509917A/zh
Application granted granted Critical
Publication of CN108509917B publication Critical patent/CN108509917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于镜头类相关性分析的视频场景分割方法和装置。该方法包括：镜头分割步骤：对视频进行镜头分割，得到镜头序列；镜头类计算步骤：计算所述镜头序列中各个镜头之间相似度，将镜头相似度超过第一阈值并且时间间隔不超过第二阈值的镜头分到同一镜头类中，生成镜头类序列；和场景分割步骤：根据所述镜头类序列中各个镜头类之间的相关系数对镜头类进行合并，得到分割后的视频场景。本申请提供的场景分割方法，基于镜头类相关性分析进行视频场景分割，解决了语义级别的视频场景分割问题。

Description

基于镜头类相关性分析的视频场景分割方法和装置
技术领域
本申请涉及图像处理领域，特别是涉及一种基于镜头类相关性分析的视频场景分割方法和装置。
背景技术
在视频中，镜头是指摄像机的一个连续拍摄过程，场景是指语义相关的一组镜头序列。场景检测的目的，是将视频分割为语义级别的片段。镜头的分割相对简单，可以借助于相邻帧的相似度判断；而场景的分割则更加复杂，这是由视频作品剪辑方法的多样性造成的。组成场景的镜头在视觉上可能存在巨大差别，但从语义上却表达着同一个主题。例如车内的人看着窗外不断变换的风景，而镜头在人和风景间来回的切换。再比如对话场景和访谈节目，镜头在对话者双方之间不断进行切换，但应该属于同一情景。现有技术采用视频帧之间的相关性对镜头进行分割，因而经常将同一场景下不断切换的帧分到不同的场景中。由于无法实现语义级别的视频场景分割，这影响了后续数据处理和分析的准确性。
发明内容
本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。
根据本申请的一个方面，提供了一种视频场景分割方法，包括：
镜头分割步骤：对视频进行镜头分割，得到镜头序列；
镜头类计算步骤：计算所述镜头序列中各个镜头之间相似度，将镜头相似度超过第一阈值并且时间间隔不超过第二阈值的镜头分到同一镜头类中，生成镜头类序列；和
场景分割步骤：根据所述镜头类序列中各个镜头类之间的相关系数对镜头类进行合并，得到分割后的视频场景。
本申请提供的场景分割方法，基于镜头类相关性分析进行视频场景分割，解决了语义级别的视频场景分割问题。
可选地，所述镜头分割步骤包括：
镜头划分步骤：对于视频中的每一帧，计算该帧与该帧的前一帧的帧间差，在所述帧间差小于第三阈值，并且帧间差累加和不超过第四阈值的情况下，则将该帧与前一帧划分为同一个镜头，其中所述帧间差累加和是所述前一帧所属镜头的起始帧到该帧之间相邻两帧的帧间差之和；和
镜头序列生成步骤：将镜头按照时间顺序生成该视频的镜头序列。
可选地，所述镜头类计算步骤包括：
镜头相似度计算步骤：对于镜头序列中的每一个镜头，计算该镜头中的每一帧与该镜头的前一个镜头中的每一帧之间相似度的均值，得到两个镜头的相似度；
镜头分类步骤：在两个镜头的相似度超过第一阈值并且时间间隔不超过第二阈值的情况下，将该镜头分到所述前一个镜头所属的镜头类中；和
镜头类序列生成步骤：将镜头类按照时间顺序生成视频的镜头类序列。
可选地，所述场景分割步骤包括：
镜头类相关系数计算步骤：计算两个镜头类之间的相关系数，得到相关系数矩阵；和
镜头类合并步骤：对于所述镜头类序列中的每一个镜头类，根据所述相关系数矩阵，在所述镜头类序列中的镜头类和该镜头类的前一个镜头类的相关系数不超过第五阈值的情况下，将该镜头类合并到所述前一个镜头类中，得到分割后的视频场景。
根据本申请的另一个方面，还提供了一种视频场景分割装置，包括：
镜头分割模块，其配置成用于对视频进行镜头分割，得到镜头序列；
镜头类计算模块，其配置成用于计算所述镜头序列中各个镜头之间相似度，将镜头相似度超过第一阈值并且时间间隔不超过第二阈值的镜头分到同一镜头类中，生成镜头类序列；和
场景分割模块，其配置成用于根据所述镜头类序列中各个镜头类之间的相关系数对镜头类进行合并，得到分割后的视频场景。
本申请提供的场景分割装置解决了语义级别的视频场景分割问题。
可选地，所述镜头分割模块包括：
镜头划分模块，其配置成对于视频中的每一帧，计算该帧与该帧的前一帧的帧间差，在所述帧间差小于第三阈值，并且帧间差累加和不超过第四阈值的情况下，则将该帧与前一帧划分为同一个镜头，其中所述帧间差累加和是所述前一帧所属镜头的起始帧到该帧之间相邻两帧的帧间差之和；和
镜头序列生成模块，其配置成用于将镜头按照时间顺序生成该视频的镜头序列。
可选地，所述镜头类计算模块包括：
镜头相似度计算模块，其配置成用于对于镜头序列中的每一个镜头，计算该镜头中的每一帧与该镜头的前一个镜头中的每一帧之间相似度的均值，得到两个镜头的相似度；
镜头分类模块，其配置成用于在两个镜头的相似度超过第一阈值并且时间间隔不超过第二阈值的情况下，将该镜头分到所述前一个镜头所属的镜头类中；和
镜头类序列生成模块，其配置成用于将镜头类按照时间顺序生成视频的镜头类序列。
可选地，所述场景分割模块包括：
镜头类相关系数计算模块，其配置成用于计算两个镜头类之间的相关系数，得到相关系数矩阵；和
镜头类合并模块，其配置成对于所述镜头类序列中的每一个镜头类，根据所述相关系数矩阵，在所述镜头类序列中的镜头类和该镜头类的前一个镜头类的相关系数不超过第五阈值的情况下，将该镜头类合并到所述前一个镜头类中，得到分割后的视频场景。
根据本申请的另一个方面，还一种计算机设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的方法。
根据本申请的另一个方面，还一种计算机可读存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如上述的方法。
根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
图1是根据本申请的视频场景分割方法的一个实施例的流程图；
图2是本申请的方法的镜头分割步骤的一个实施例的流程图；
图3是本申请的方法的镜头类计算步骤的一个实施例的流程图；
图4是本申请的方法的场景分割步骤的一个实施例的流程图；
图5是根据本申请的视频场景分割装置的一个实施例的框图；
图6是本申请的装置的镜头分割模块的一个实施例的框图；
图7是本申请的装置的镜头类计算模块的一个实施例的框图；
图8是本申请的装置的场景分割模块的一个实施例的框图；
图9是本申请的计算机设备的一个实施例的框图；
图10是本申请的计算机可读存储介质的一个实施例的框图。
具体实施方式
根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。
根据本申请的一个方面，提供了一种视频场景分割方法。图1是根据本申请的视频场景分割方法的一个实施例的流程图。该方法包括：
该方法包括S1镜头分割步骤：对视频进行镜头分割，得到镜头序列。
该方法还包括S2镜头类计算步骤：计算所述镜头序列中各个镜头之间相似度，将镜头相似度超过第一阈值并且时间间隔不超过第二阈值的镜头分到同一镜头类中，生成镜头类序列。
该方法还包括S3场景分割步骤：根据所述镜头类序列中各个镜头类之间的相关系数对镜头类进行合并，得到分割后的视频场景。
本申请提供的场景分割方法，是基于镜头类相关性分析进行视频场景分割的方法，该方法解决了语义级别的视频场景分割问题。
在S1镜头分割步骤：对视频进行镜头分割，得到镜头序列中，对于一段视频，先对该视频进行镜头分割，得到镜头序列S。S＝s1s2...si...sn-1sn,i＝1,2,...,n。其中，si表示第i个镜头。n表示镜头的数量。镜头分割可以采用多种方法实现。
图2是本申请的方法的镜头分割步骤的一个实施例的流程图。在一个可选实施方案中，所述S1镜头分割步骤包括：
S11帧间差计算步骤：对于视频中的每一帧，计算该帧与该帧的前一帧的帧间差，在所述帧间差小于第三阈值，并且帧间差累加和不超过第四阈值的情况下，则将该帧与前一帧划分为同一个镜头，其中所述帧间差累加和是所述前一帧所属镜头的起始帧到该帧之间相邻两帧的帧间差之和；和
S12镜头序列生成步骤：将镜头按照时间顺序生成该视频的镜头序列。
该镜头分割方法，不但考虑了帧的数值的关系还考虑了视频时间的因素，能够快速地对镜头进行分割，并且能够得到准确的分割结果。
例如，帧f2和帧f3是视频中的两个相邻的帧。将f3与f2的对应位置的像素点的RGB(红绿蓝)分量分别作差，计算所有像素点的差值的总和，得到相邻两帧的帧间差。如果该帧间差小于第三阈值，例如，低阈值T1，并且累计帧间差尚未达到第四阈值，例如，高阈值T2，则认为此相邻帧属于同一镜头；否则属于两个不同的镜头。其中，累计帧间差可以通过将多个帧间差进行累加得到。例如，当帧f1和帧f2属于同一镜头，并且帧f1和帧f2之间的帧间差与帧f2和帧f3之间的帧间差相加小于T2，则认为帧f3与帧f1属于一个镜头。
可以理解的是，除了RGB颜色空间外，还可以采用其他颜色空间中的数值进行镜头分割。例如，颜色空间还包括：CMY(三基色)、HSV(Hue,Saturation,Value，色调、饱和度、亮度)、HIS(Hue,Saturation,Intensity，色调、饱和度、强度)。
对于S2镜头类计算步骤：计算所述镜头序列中各个镜头之间相似度，将镜头相似度超过第一阈值并且时间间隔不超过第二阈值的镜头分到同一镜头类中，生成镜头类序列，镜头类是处于镜头和场景中的一个中间概念，其粒度比镜头更大，比场景更小。通过镜头类计算步骤，能够得到具有内容相似性、并且在时间上相接近的镜头的集合，降低为后续数据处理的数量和难度。值得注意的是，从时间序列上看，形成镜头类的镜头也可能不集中或者不连续。例如，在“车内的人看着窗外不断变换的风景”的视频中，通过该步骤能够将车内的人的镜头划分为一个镜头类，而窗外的风景镜头划分为另一个镜头类。
图3是本申请的方法的镜头类计算步骤的一个实施例的流程图。在一个可选实施方案中，所述S2镜头类计算步骤包括：
S21镜头相似度计算步骤：对于镜头序列中的每一个镜头，计算该镜头中的每一帧与该镜头的前一个镜头中的每一帧之间相似度的均值，得到两个镜头的相似度；
S22镜头分类步骤：在两个镜头的相似度超过第一阈值并且时间间隔不超过第二阈值的情况下，将该镜头分到所述前一个镜头所属的镜头类中；和
S23镜头类序列生成步骤：将镜头类按照时间顺序生成视频的镜头类序列。
在S21镜头相似度计算步骤中，两个镜头间的相似度可以是每个镜头中所有视频帧两两之间相似度的均值。镜头之间的相似度可以采用下式计算：
其中，Sim(sm,sn)表示镜头sm和镜头sn之间的镜头相似度，fi表示镜头sm中的帧，fj表示镜头sn中的帧，l和k分别表示镜头sm和镜头sn中帧的数量。SimFF表示帧间相似度。
该步骤充分利用了各个镜头之间所有帧的相似程度，得到的相似度结果能够准确地标注两个镜头之间的关联关系。
可选地，帧间相似度可以用HSV颜色空间中的帧间相似度表示，可以用如下公式计算：
其中，l表示归一化的级数，bins是HSV直方图的bin(盒子)的数目，表示归一化的总级数，Hfi(l)和Hfj(l)分别表示帧fi和帧fj的第l级对应的像素点数量。
对于HSV颜色空间，可以对所述帧的HSV数据进行归一化处理，构建归一化后HSV直方图，该直方图的横轴表示归一化的级数，纵轴表示所述级数对应的像素点数量。归一化处理时，可选地，把H、S、V分别分为8份、3份、3份，即8-3-3模式，此时级数取值为8+3+3＝14。确定级数并进行归一化处理的原因是考虑到人类的视觉分辨能力和计算机的处理速度，因此按照颜色的不同范围和主观颜色感知进行间隔不等的归一化处理，即量化处理。
采用归一化的HSV直方图方法计算帧间相似度，由于对数据进行了归一化处理，因此能够提高运算速度和准确度。
在S22镜头分类步骤中，根据镜头之间的相似度生成镜头类集合SC＝{sc1,sc2,...,scp}，P表示集合中镜头类的数量。可选地，可以采用如下计算方法：在两个镜头的相似度超过第一阈值T'并且时间间隔不超过第二阈值Tt的情况下，将该镜头分到所述前一个镜头所属的镜头类中。在不满足这两个条件的情况下，认为两个镜头属于不同的镜头类。
S22镜头分类步骤包括以下步骤：
S221：对镜头类集合和镜头指针进行初始化。初始化镜头类集合：S＝s1s2...si...sn-1sn，SC＝{}，将当前镜头指针index的初始值设置为1。
S222：如果当前镜头指针index大于n，则镜头分类步骤停止，否则采用下面的公式将sindex与sindex之后的每一个镜头si(i＝index+1,index+2,...,n)分别进行相似度的比较，
其中T'为第一阈值，Tt为第二阈值；f表示从镜头序列S中的镜头s到镜头类集合SC的映射，f:S→SC，f()表示类别；如果f(si)＝f(sindex)，则将f(si)加入镜头类集合SC中，同时，将sindex后面所有与sindex属于同一类别的镜头从镜头序列中移除，即S＝S-{si}。
S223：将镜头指针index的值加1，重复步骤S222。
例如，在S＝s1s2...si...sn-1sn中，当index＝1时，将s1与s2、s3……sn逐一进行比较，假设，s2至s5均满足条件，能够与s1划分为同一个镜头类，则将s1至s5的镜头类别写入镜头类集合SC中，并且将s2至s5从镜头序列S中移除，当指针index指向下一个镜头时，指向的是s6，再重复上述步骤。
该方法将已经计算过的镜头从镜头序列中移除，能够避免重复计算，极大地缩小计算时间，提高了处理效率。
该步骤考虑了帧间相似度和时间两个因素，通过遍历的方法对每一个镜头进行了分类，运算速度快，分类结果准确。
对于S3场景分割步骤：根据所述镜头类序列中各个镜头类之间的相关系数对镜头类进行合并，得到分割后的视频场景。图4是本申请的方法的场景分割步骤的一个实施例的流程图。在一个可选实施方案中，所述S3场景分割步骤包括：
S31镜头类相关系数计算步骤：计算两个镜头类之间的相关系数，得到相关系数矩阵；
S32镜头类合并步骤：对于所述镜头类序列中的每一个镜头类，根据所述相关系数矩阵，在所述镜头类序列中的镜头类和该镜头类的前一个镜头类的相关系数不超过第五阈值的情况下，将该镜头类合并到所述前一个镜头类中，得到分割后的视频场景。
两个镜头类之间的相关系数可以通过如下公式计算：
其中，Cor(SCx,SCy)表示两个镜头类SCx、SCy之间的相关系数，between(SCx|SCy)表示镜头序列中两个相邻的镜头类SCx之间的属于镜头类SCy的镜头数目，Count(SCx)表示镜头序列中属于镜头类SCx的镜头数目。
通过计算两个镜头类之间的相关系数，能够对两个镜头类之间相互交错的关系进行定量分析；将相关性强的镜头类进行合并，就可以完成对视频的语义级别的场景分割任务。相关性系数所反映的不但包括内容的“相似性”，也反映了内容在时间序列上交错关系的有无、交错程度的强弱。
例如，根据步骤S1得到镜头序列如下：S＝s1s2...s19s20，根据步骤221定义的映射，得到：
f(s1)＝f(s2)＝f(s3)＝f(s4)＝f(s5)＝SC1，
f(s6)＝f(s8)＝f(s10)＝f(s11)＝SC2，
f(s7)＝f(s9)＝f(s12)＝SC3，
f(s13)＝f(s14)＝f(s15)＝f(s16)＝SC4，
f(s17)＝f(s18)＝f(s19)＝SC5，
f(s20)＝SC6。
则可以将镜头序列按照镜头类的所属关系重写，得到镜头类序列：
SC＝{SC1SC1SC1SC1SC1SC2SC3SC1SC3SC2SC2SC3SC4SC4SC4SC4SC5SC5SC5SC6}；
根据步骤S32的相关系数公式，可以计算出这6个镜头类之间彼此的相关系数矩阵P，其中矩阵中的元素Cor(SCx,SCy)表示镜头类的相关系数。
按照时间轴顺序，对镜头类序列中的元素进行合并，将相关系数大于第五阈值Tc的镜头类合并为一个场景。
例如，若设Tc＝0，则合并过程及结果如下：
SC1SC1SC1SC1SC1SC2SC3SC1SC3SC2SC2SC3SC4SC4SC4SC4SC5SC5SC5SC6
↓
SC1SC4SC5SC6
在选择该阈值的情况下，最终得到4个场景片段的分割结果，该分割结果是顺序进展的。
例如，若设Tc＝0.5，则合并过程及结果如下：
SC1SC1SC1SC1SC1SC2SC3SC1SC3SC2SC2SC3SC4SC4SC4SC4SC5SC5SC5SC6
↓
SC1SC2SC1SC2SC4SC5SC6
在选择该阈值的情况下，最终得到7个场景片段的分割结果，该分割结果是交错进展。
其中，第五阈值是可以根据需要设定的，通过设置不同的阈值，可以得到不同粒度的分割结果。
通过定义镜头类之间的相关系数，能够通过有限次的运算，快速对镜头类进行合并，得到语义级别的分割结果，避免得到过于零散的分割结果。
根据本申请的另一个方面，还提供了一种视频场景分割装置。图5是根据本申请的视频场景分割装置的一个实施例的框图。
该装置包括镜头分割模块1，其配置成用于对视频进行镜头分割，得到镜头序列。
该装置还包括镜头类计算模块2，其配置成用于计算所述镜头序列中各个镜头之间相似度，将镜头相似度超过第一阈值并且时间间隔不超过第二阈值的镜头分到同一镜头类中，生成镜头类序列。
该装置还包括场景分割模块3，其配置成用于根据所述镜头类序列中各个镜头类之间的相关系数对镜头类进行合并，得到分割后的视频场景。
本申请提供的场景分割装置，是基于镜头类相关性分析进行视频场景分割的方法，该方法解决了语义级别的视频场景分割问题。
图6是本申请的装置的镜头分割模块的一个实施例的框图。在一个可选实施方案中，所述镜头分割模块1包括：
镜头划分模块11，其配置成用于对于视频中的每一帧，计算该帧与该帧的前一帧的帧间差，在所述帧间差小于第三阈值，并且帧间差累加和不超过第四阈值的情况下，则将该帧与前一帧划分为同一个镜头，其中所述帧间差累加和是所述前一帧所属镜头的起始帧到该帧之间相邻两帧的帧间差之和；和
镜头序列生成模块12，其配置成用于将镜头按照时间顺序生成该视频的镜头序列。
该镜头分割模块不但考虑了帧的数值的关系还考虑了视频时间的因素，能够快速地对镜头进行分割，并且能够得到准确的分割结果。
图7是本申请的装置的镜头类计算模块的一个实施例的框图。在一个可选实施方案中，所述镜头类计算模块2包括：
镜头相似度计算模块21，其配置成用于对于镜头序列中的每一个镜头，计算该镜头中的每一帧与该镜头的前一个镜头中的每一帧之间相似度的均值，得到两个镜头的相似度；
镜头分类模块22，其配置成用于在两个镜头的相似度超过第一阈值并且时间间隔不超过第二阈值的情况下，将该镜头分到所述前一个镜头所属的镜头类中；和
镜头类序列生成模块23，其配置成用于将镜头类按照时间顺序生成视频的镜头类序列。
该模块充分利用了各个镜头之间所有帧的相似程度，得到的相似度结果能够准确地标注两个镜头之间的关联关系。
其中，可选地，帧间相似度可以用HSV颜色空间中的帧间相似度表示。
镜头分类模块22包括：
初始化模块221，其配置成用于对镜头类集合和镜头指针进行初始化；
类别判断模块222，其配置成如果当前镜头指针index大于等于n，则镜头分类步骤停止，若否，则遍历从当前镜头指针index之后所有镜头si(i＝index+1,...,n)：对于每一个si，判断si和sindex这两个镜头是否属于同一个类别；如果f(si)＝f(sindex)，则将f(si)加入镜头类集合SC中，同时，将sindex后面所有与sindex属于同一类别的镜头从镜头序列中移除。
循环模块223，其配置成用于将镜头指针index的值加1，重复类别判断模块222。
图8是本申请的装置的场景分割模块的一个实施例的框图。可选地，所述场景分割模块3包括：
镜头类相关系数计算模块31，其配置成用于计算两个镜头类之间的相关系数，得到相关系数矩阵；和
镜头类合并模块32，其配置成用于对于所述镜头类序列中的每一个镜头类，根据所述相关系数矩阵，在所述镜头类序列中的镜头类和该镜头类的前一个镜头类的相关系数不超过第五阈值的情况下，将该镜头类合并到所述前一个镜头类中，得到分割后的视频场景。
两个镜头类之间的相关系数可以通过上面方法中的提及的公式进行计算。通过计算两个镜头类之间的相关系数，能够对两个镜头类之间相互交错的关系进行定量分析；将相关性强的镜头类进行合并，就可以完成对视频的语义级别的场景分割任务。
如图9所示，本申请实施例还提供了一种计算机设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述方法中的任意一个。该计算机程序被图9中处理器执行。
如图10所示，本申请实施例还提供了一种计算机可读存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现上述方法中的任意一个。
本申请实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时，使得计算机执行上述方法中的任意一个。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、获取其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(英文：non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(英文：magnetic tape)，软盘(英文：floppy disk)，光盘(英文：optical disc)及其任意组合。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种视频场景分割方法，包括：
镜头分割步骤：对视频进行镜头分割，得到镜头序列；
镜头类计算步骤：计算所述镜头序列中各个镜头之间相似度，将镜头相似度超过第一阈值并且时间间隔不超过第二阈值的镜头分到同一镜头类中，生成镜头类序列；和
场景分割步骤：根据所述镜头类序列中各个镜头类之间的相关系数对镜头类进行合并，得到分割后的视频场景。
2.根据权利要求1所述的方法，其特征在于，所述镜头分割步骤包括：
镜头划分步骤：对于视频中的每一帧，计算该帧与该帧的前一帧的帧间差，在所述帧间差小于第三阈值，并且帧间差累加和不超过第四阈值的情况下，则将该帧与前一帧划分为同一个镜头，其中所述帧间差累加和是所述前一帧所属镜头的起始帧到该帧之间相邻两帧的帧间差之和；和
镜头序列生成步骤：将镜头按照时间顺序生成该视频的镜头序列。
3.根据权利要求1或2所述的方法，其特征在于，所述镜头类计算步骤包括：
镜头相似度计算步骤：对于镜头序列中的每一个镜头，计算该镜头中的每一帧与该镜头的前一个镜头中的每一帧之间相似度的均值，得到两个镜头的相似度；
镜头分类步骤：在两个镜头的相似度超过第一阈值并且时间间隔不超过第二阈值的情况下，将该镜头分到所述前一个镜头所属的镜头类中；和
镜头类序列生成步骤：将镜头类按照时间顺序生成视频的镜头类序列。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述场景分割步骤包括：
镜头类相关系数计算步骤：计算两个镜头类之间的相关系数，得到相关系数矩阵；和
镜头类合并步骤：对于所述镜头类序列中的每一个镜头类，根据所述相关系数矩阵，在所述镜头类序列中的镜头类和该镜头类的前一个镜头类的相关系数不超过第五阈值的情况下，将该镜头类合并到所述前一个镜头类中，得到分割后的视频场景。
5.一种视频场景分割装置，包括：
镜头分割模块，其配置成用于对视频进行镜头分割，得到镜头序列；
镜头类计算模块，其配置成用于计算所述镜头序列中各个镜头之间相似度，将镜头相似度超过第一阈值并且时间间隔不超过第二阈值的镜头分到同一镜头类中，生成镜头类序列；和
场景分割模块，其配置成用于根据所述镜头类序列中各个镜头类之间的相关系数对镜头类进行合并，得到分割后的视频场景。
6.根据权利要求5所述的装置，其特征在于，所述镜头分割模块包括：
镜头划分模块，其配置成对于视频中的每一帧，计算该帧与该帧的前一帧的帧间差，在所述帧间差小于第三阈值，并且帧间差累加和不超过第四阈值的情况下，则将该帧与前一帧划分为同一个镜头，其中所述帧间差累加和是所述前一帧所属镜头的起始帧到该帧之间相邻两帧的帧间差之和；和
镜头序列生成模块，其配置成用于将镜头按照时间顺序生成该视频的镜头序列。
7.根据权利要求5或6所述的装置，其特征在于，所述镜头类计算模块包括：
镜头相似度计算模块，其配置成用于对于镜头序列中的每一个镜头，计算该镜头中的每一帧与该镜头的前一个镜头中的每一帧之间相似度的均值，得到两个镜头的相似度；
镜头分类模块，其配置成用于在两个镜头的相似度超过第一阈值并且时间间隔不超过第二阈值的情况下，将该镜头分到所述前一个镜头所属的镜头类中；和
镜头类序列生成模块，其配置成用于将镜头类按照时间顺序生成视频的镜头类序列。
8.根据权利要求5至7中任一项所述的装置，其特征在于，所述场景分割模块包括：
镜头类相关系数计算模块，其配置成用于计算两个镜头类之间的相关系数，得到相关系数矩阵；和
镜头类合并模块，其配置成对于所述镜头类序列中的每一个镜头类，根据所述相关系数矩阵，在所述镜头类序列中的镜头类和该镜头类的前一个镜头类的相关系数不超过第五阈值的情况下，将该镜头类合并到所述前一个镜头类中，得到分割后的视频场景。
9.一种计算机设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的方法。
10.一种计算机可读存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如权利要求1至4中任一项所述的方法。
CN201810290282.1A 2018-03-30 2018-03-30 基于镜头类相关性分析的视频场景分割方法和装置 Active CN108509917B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810290282.1A CN108509917B (zh) 2018-03-30 2018-03-30 基于镜头类相关性分析的视频场景分割方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810290282.1A CN108509917B (zh) 2018-03-30 2018-03-30 基于镜头类相关性分析的视频场景分割方法和装置

Publications (2)

Publication Number Publication Date
CN108509917A true CN108509917A (zh) 2018-09-07
CN108509917B CN108509917B (zh) 2020-03-03

Family

ID=63380064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810290282.1A Active CN108509917B (zh) 2018-03-30 2018-03-30 基于镜头类相关性分析的视频场景分割方法和装置

Country Status (1)

Country Link
CN (1) CN108509917B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783691A (zh) * 2018-12-29 2019-05-21 四川远鉴科技有限公司 一种深度学习和哈希编码的视频检索方法
CN110619284A (zh) * 2019-08-28 2019-12-27 腾讯科技（深圳）有限公司 一种视频场景划分方法、装置、设备及介质
CN111327945A (zh) * 2018-12-14 2020-06-23 北京沃东天骏信息技术有限公司 用于分割视频的方法和装置
CN112785606A (zh) * 2021-01-26 2021-05-11 上海明略人工智能(集团)有限公司 一种镜头分割方法、装置、电子设备和计算机可读介质
CN112804578A (zh) * 2021-01-28 2021-05-14 广州虎牙科技有限公司 氛围特效生成方法、装置、电子设备和存储介质
CN113014831A (zh) * 2021-03-05 2021-06-22 上海明略人工智能(集团)有限公司 用于对体育视频进行场景获取的方法及装置、设备
CN113269086A (zh) * 2021-05-24 2021-08-17 苏州睿东科技开发有限公司 一种vlog剪辑方法和剪辑系统
CN113825012A (zh) * 2021-06-04 2021-12-21 腾讯科技（深圳）有限公司 视频数据处理方法和计算机设备
CN115866189A (zh) * 2023-03-01 2023-03-28 吉视传媒股份有限公司 一种云会议的视频数据安全传输方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917643A (zh) * 2010-07-09 2010-12-15 清华大学 一种全自动2d转3d技术中的实时镜头检测方法和装置
CN102833492A (zh) * 2012-08-01 2012-12-19 天津大学 一种基于颜色相似度的视频场景分割方法
CN103440640A (zh) * 2013-07-26 2013-12-11 北京理工大学 一种视频场景聚类及浏览方法
CN104394422A (zh) * 2014-11-12 2015-03-04 华为软件技术有限公司 一种视频分割点获取方法及装置
EP3032454A1 (en) * 2014-12-10 2016-06-15 Honda Research Institute Europe GmbH Method and system for adaptive ray based scene analysis of semantic traffic spaces and vehicle equipped with such system
CN107657228A (zh) * 2017-09-25 2018-02-02 中国传媒大学 视频场景相似性分析方法及系统、视频编解码方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917643A (zh) * 2010-07-09 2010-12-15 清华大学 一种全自动2d转3d技术中的实时镜头检测方法和装置
CN102833492A (zh) * 2012-08-01 2012-12-19 天津大学 一种基于颜色相似度的视频场景分割方法
CN103440640A (zh) * 2013-07-26 2013-12-11 北京理工大学 一种视频场景聚类及浏览方法
CN104394422A (zh) * 2014-11-12 2015-03-04 华为软件技术有限公司 一种视频分割点获取方法及装置
EP3032454A1 (en) * 2014-12-10 2016-06-15 Honda Research Institute Europe GmbH Method and system for adaptive ray based scene analysis of semantic traffic spaces and vehicle equipped with such system
CN107657228A (zh) * 2017-09-25 2018-02-02 中国传媒大学 视频场景相似性分析方法及系统、视频编解码方法及系统

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11275950B2 (en) 2018-12-14 2022-03-15 Beijing Wodong Tianjun Information Technology Co., Ltd. Method and apparatus for segmenting video
CN111327945A (zh) * 2018-12-14 2020-06-23 北京沃东天骏信息技术有限公司 用于分割视频的方法和装置
CN111327945B (zh) * 2018-12-14 2021-03-30 北京沃东天骏信息技术有限公司 用于分割视频的方法和装置
CN109783691A (zh) * 2018-12-29 2019-05-21 四川远鉴科技有限公司 一种深度学习和哈希编码的视频检索方法
CN109783691B (zh) * 2018-12-29 2022-06-21 北京远鉴信息技术有限公司 一种深度学习和哈希编码的视频检索方法
CN110619284A (zh) * 2019-08-28 2019-12-27 腾讯科技（深圳）有限公司 一种视频场景划分方法、装置、设备及介质
CN110619284B (zh) * 2019-08-28 2023-09-05 腾讯科技（深圳）有限公司 一种视频场景划分方法、装置、设备及介质
CN112785606A (zh) * 2021-01-26 2021-05-11 上海明略人工智能(集团)有限公司 一种镜头分割方法、装置、电子设备和计算机可读介质
CN112785606B (zh) * 2021-01-26 2024-04-09 上海明略人工智能(集团)有限公司 一种镜头分割方法、装置、电子设备和计算机可读介质
CN112804578A (zh) * 2021-01-28 2021-05-14 广州虎牙科技有限公司 氛围特效生成方法、装置、电子设备和存储介质
CN113014831A (zh) * 2021-03-05 2021-06-22 上海明略人工智能(集团)有限公司 用于对体育视频进行场景获取的方法及装置、设备
CN113014831B (zh) * 2021-03-05 2024-03-12 上海明略人工智能(集团)有限公司 用于对体育视频进行场景获取的方法及装置、设备
CN113269086A (zh) * 2021-05-24 2021-08-17 苏州睿东科技开发有限公司 一种vlog剪辑方法和剪辑系统
CN113825012A (zh) * 2021-06-04 2021-12-21 腾讯科技（深圳）有限公司 视频数据处理方法和计算机设备
CN115866189B (zh) * 2023-03-01 2023-05-16 吉视传媒股份有限公司 一种云会议的视频数据安全传输方法
CN115866189A (zh) * 2023-03-01 2023-03-28 吉视传媒股份有限公司 一种云会议的视频数据安全传输方法

Also Published As

Publication number Publication date
CN108509917B (zh) 2020-03-03

Similar Documents

Publication Publication Date Title
CN108509917A (zh) 基于镜头类相关性分析的视频场景分割方法和装置
Xiao et al. Fast image dehazing using guided joint bilateral filter
Guo et al. Fast background subtraction based on a multilayer codebook model for moving object detection
US9042662B2 (en) Method and system for segmenting an image
US8660342B2 (en) Method to assess aesthetic quality of photographs
US8605795B2 (en) Video editing methods and systems
Ji et al. Video abstraction based on the visual attention model and online clustering
Mendi et al. Sports video summarization based on motion analysis
Zhao et al. Domain decluttering: Simplifying images to mitigate synthetic-real domain shift and improve depth estimation
JP2018045693A (ja) 動画像背景除去方法及び動画像背景除去システム
WO2013178725A1 (en) Segmentation of a foreground object in a 3d scene
CN111753762B (zh) 视频中关键标识的识别方法、装置、设备以及存储介质
US20230021533A1 (en) Method and apparatus for generating video with 3d effect, method and apparatus for playing video with 3d effect, and device
Fu et al. Robust image segmentation using contour-guided color palettes
JP2015518594A (ja) デジタル画像分析のため空間制約を用いた統合インタラクティブセグメンテーション法
CN111681198A (zh) 一种形态学属性滤波多模融合成像方法、系统及介质
Shahrian et al. Temporally coherent and spatially accurate video matting
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
US9786055B1 (en) Method and apparatus for real-time matting using local color estimation and propagation
CN106604057A (zh) 视频处理方法及装置
Zhao et al. Saliency map-aided generative adversarial network for raw to rgb mapping
CN114449362B (zh) 视频封面的选取方法、装置、设备及存储介质
CN113627342B (zh) 视频深度特征提取优化的方法、系统、设备及存储介质
CN115272057A (zh) 卡通素描图像重构网络的训练及其重构方法与设备
Wolf et al. Inpainting Networks Learn to Separate Cells in Microscopy Images.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200929

Address after: Room 108, No. 318, Shuixiu Road, Jinze town (Xichen), Qingpu District, Shanghai 201700

Patentee after: Shanghai Yingpu Technology Co.,Ltd.

Address before: 100000 room 5, 521, room 5, 22 Chao Wai Street, Chaoyang District, Beijing.

Patentee before: BEIJING MOVIEBOOK SCIENCE AND TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Video scene segmentation method and device based on shot class correlation analysis

Effective date of registration: 20230425

Granted publication date: 20200303

Pledgee: Bank of Communications Co.,Ltd. Beijing Tongzhou Branch

Pledgor: Shanghai Yingpu Technology Co.,Ltd.

Registration number: Y2023990000234

PE01 Entry into force of the registration of the contract for pledge of patent right
PP01 Preservation of patent right

Effective date of registration: 20231128

Granted publication date: 20200303

PP01 Preservation of patent right