CN113014831A - 用于对体育视频进行场景获取的方法及装置、设备 - Google Patents

用于对体育视频进行场景获取的方法及装置、设备 Download PDF

Info

Publication number
CN113014831A
CN113014831A CN202110244042.XA CN202110244042A CN113014831A CN 113014831 A CN113014831 A CN 113014831A CN 202110244042 A CN202110244042 A CN 202110244042A CN 113014831 A CN113014831 A CN 113014831A
Authority
CN
China
Prior art keywords
scene
shot
acquiring
scenes
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110244042.XA
Other languages
English (en)
Other versions
CN113014831B (zh
Inventor
范清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Minglue Artificial Intelligence Group Co Ltd
Original Assignee
Shanghai Minglue Artificial Intelligence Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Minglue Artificial Intelligence Group Co Ltd filed Critical Shanghai Minglue Artificial Intelligence Group Co Ltd
Priority to CN202110244042.XA priority Critical patent/CN113014831B/zh
Publication of CN113014831A publication Critical patent/CN113014831A/zh
Application granted granted Critical
Publication of CN113014831B publication Critical patent/CN113014831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及场景分割技术领域，公开一种用于对体育视频进行场景获取的方法，包括：获取镜头集合；其中，镜头集合包括多个镜头，镜头包括若干视频帧；获取镜头集合中各镜头之间的镜头相关性；根据镜头相关性获取候选场景集合；候选场景集合包括多个第一场景；获取各第一场景之间的光流相似度；根据光流相似度从候选场景集合中获取第二场景。本申请通不仅考虑了镜头之间的相关程度，还以镜头的光流参数作为依据获取场景，对体育视频进行场景获取有较高的准确性，同时由于不需要对视频数据进行标注处理，更容易实现。本申请还公开一种用于对体育视频进行场景获取的装置及设备。

Description

用于对体育视频进行场景获取的方法及装置、设备
技术领域
本申请涉及场景分割技术领域，例如涉及一种用于对体育视频进行场景获取的方法、装置和设备。
背景技术
目前，随着智能移动设备技术的发展，用户可以随时随地的利用平板电脑、手机等创作和收看视频内容。无论在视频生成或是视频检索任务中，都需要抽取视频的元数据来表达视频内容。因此，很有必要将视频分割成更小的语义单位，比如各种不同类型的场景，来加快视频数据的处理。由于数据标注或版权原因，针对体育类型的视频，目前尚未有完备的可用数据集来通过机器学习的方式进行场景识别或分割。而视频分享网络可获取的体育视频大多呈现固定的模式，如“赞助广告-比赛-赞助广告”，快速检测出体育视频中的这种常见模式并以此为边界分割出体育视频的场景，对于体育视频的编辑创作，甚至是检索都有重要的意义。
在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：
由于难以获取体育类视频场景获取模型的训练数据，通过机器学习的方式对体育类视频进行场景获取的准确性较低。
发明内容
为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
本公开实施例提供了一种用于对体育视频进行场景获取的方法、装置和设备，以能够针对体育视频进行较为准确的场景获取。
在一些实施例中，用于对体育视频进行场景获取的方法包括：
获取镜头集合；其中，所述镜头集合包括多个镜头，所述镜头包括若干视频帧；
获取所述镜头集合中各所述镜头之间的镜头相关性；
根据所述镜头相关性获取候选场景集合；所述候选场景集合包括多个第一场景；
获取各所述第一场景之间的光流相似度；
根据所述光流相似度从所述候选场景集合中获取第二场景。
在一些实施例中，用于对体育视频进行场景获取的装置包括处理器和存储有程序指令的存储器，处理器被配置为在执行程序指令时，执行上述的用于对体育视频进行场景获取的方法。
在一些实施例中，设备包括上述的用于对体育视频进行场景获取的装置。
本公开实施例提供的用于对体育视频进行场景获取的方法、装置和设备，可以实现以下技术效果：相较现有技术只能通过不完善的训练数据来构建体育类视频场景获取模型来进行相关场景获取的方式，本申请通过获取镜头集合中各镜头之间的镜头相关性，根据镜头相关性获取第一场景；然后获取各第一场景之间的光流相似度，并根据光流相似度从候选场景集合中获取第二场景，不仅考虑了镜头之间的相关程度，还以镜头的光流参数作为依据获取场景，对体育视频进行场景获取有较高的准确性，同时由于不需要对视频数据进行标注处理，更容易实现。
以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
图1是本公开实施例提供的一个用于对体育视频进行场景获取的方法的示意图；
图2是本公开实施例提供的一个用于对体育视频进行场景获取的装置的示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
除非另有说明，术语“多个”表示两个或两个以上。
本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。
术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。
结合图1所示，本公开实施例提供一种用于对体育视频进行场景获取的方法，包括：
步骤S1，获取镜头集合；其中，镜头集合包括多个镜头，镜头包括若干视频帧；
步骤S2，获取镜头集合中各镜头之间的镜头相关性；
步骤S3，根据镜头相关性获取候选场景集合；候选场景集合包括多个第一场景；
步骤S4，获取各第一场景之间的光流相似度；
步骤S5，根据光流相似度从候选场景集合中获取第二场景。
采用本公开实施例提供的用于对体育视频进行场景获取的方法，相较现有技术只能通过不完善的训练数据来构建体育类视频场景获取模型来进行相关场景获取的方式，本申请通过获取镜头集合中各镜头之间的镜头相关性，根据镜头相关性获取第一场景；然后获取各第一场景之间的光流相似度，并根据光流相似度从候选场景集合中获取第二场景，不仅考虑了镜头之间的相关程度，还以镜头的光流参数作为依据获取场景，对体育视频进行场景获取有较高的准确性，同时由于不需要对视频数据进行标注处理，更容易实现。
可选地，获取镜头集合包括：获取待处理视频；对待处理视频进行镜头分割，获得镜头集合。
可选地，对待处理视频进行镜头分割获得镜头集合，包括：按照视频的时间顺序对待处理视频进行镜头分割，获得按时间顺序排列的镜头；将所有按时间顺序排列的镜头确定为镜头集合。
可选地，对待处理视频进行镜头分割获得镜头集合，包括：利用视频镜头分割技术对待处理视频进行镜头分割，获得镜头集合。在一些实施例中，利用TransNet(传输网络模型)对待处理视频进行镜头分割，获得镜头集合。
可选地，获取镜头集合中各镜头之间的镜头相关性，包括：获取镜头集合中各镜头的关键帧；根据关键帧获取各镜头之间的镜头相关性。
可选地，获取镜头集合中各镜头的关键帧包括：将镜头集合中各镜头的视频帧从RGB(Red红，Green绿，Blue蓝)颜色空间转换到HSV(Hue色调，Saturation饱和度，Value亮度)颜色空间；根据HSV颜色空间获取视频帧的HSV参数；根据预设规则对视频帧的HSV参数进行量化，获得视频帧的HSV量化分量；将视频帧的HSV量化分量进行归一化，获得视频帧的HSV特征矢量；根据视频帧的HSV特征矢量获取视频帧对应的HSV直方图；根据视频帧的HSV直方图获取视频帧对应的镜头的关键帧。可选地，HSV参数包括色调参数、饱和度参数和亮度参数。可选地，HSV量化分量包括色调分量、饱和度分量和亮度分量。
可选地，根据预设规则对HSV参数进行量化，获得HSV量化分量，包括：根据预设的色调量化规则对色调参数进行量化，获得色调分量。可选地，色调量化规则包括：将色调参数分成第一预设数量个区间，对各区间分别进行量化。在一些实施例中，如表1所示的色调量化规则的示例表；如表1所示，将色调参数分成八个区间，在色调参数h∈[316,20]的情况下，色调分量H＝0；在色调参数h∈[21,40]的情况下，色调分量H＝1；在色调参数h∈[41,75]的情况下，色调分量H＝2；在色调参数h∈[76,155]的情况下，色调分量H＝3；在色调参数h∈[156,190]的情况下，色调分量H＝4；在色调参数h∈[191,270]的情况下，色调分量H＝5；在色调参数h∈[271,295]的情况下，色调分量H＝6；在色调参数h∈[296,315]的情况下，色调分量H＝7。
表1
色调分量H 色调参数h
H＝0 h∈[316,20]
H＝1 h∈[21,40]
H＝2 h∈[41,75]
H＝3 h∈[76,155]
H＝4 h∈[156,190]
H＝5 h∈[191,270]
H＝6 h∈[271,295]
H＝7 h∈[296,315]
可选地，根据预设规则对HSV参数进行量化，获得HSV量化分量，还包括：根据预设的饱和度量化规则对饱和度参数进行量化，获得饱和度分量。可选地，饱和度量化规则包括：将饱和度参数分成第二预设数量个区间，对各区间分别进行量化。在一些实施例中，如表2所示的饱和度量化规则的示例表；如表2所示，将饱和度参数分成四个区间，在饱和度参数s∈[0,0.15]的情况下，饱和度分量S＝0；在饱和度参数s∈(0.15,0.4]的情况下，饱和度分量S＝1；在饱和度参数s∈(0.4,0.75]的情况下，饱和度分量S＝2；在饱和度参数s∈(0.75,1]的情况下，饱和度分量S＝3。
表2
Figure BDA0002963404230000051
Figure BDA0002963404230000061
可选地，根据预设规则对HSV参数进行量化，获得HSV量化分量，还包括：根据预设的亮度量化规则对亮度参数进行量化，获得亮度分量。可选地，亮度量化规则包括：将亮度参数分成第三预设数量个区间，对各区间分别进行量化。在一些实施例中，如表3所示的亮度量化规则的示例表；如表3所示，将亮度参数分成四个区间，在亮度参数v∈[0,0.15]的情况下，亮度分量V＝0；在亮度参数v∈(0.15,0.4]的情况下，亮度分量V＝1；在亮度参数v∈(0.4,0.75]的情况下，亮度分量V＝2；在亮度参数v∈(0.75,1]的情况下，亮度分量V＝3。
表3
亮度分量V 亮度参数v
V＝0 v∈[0,0.15]
V＝1 v∈(0.15,0.4]
V＝2 v∈(0.4,0.75]
V＝3 v∈(0.75,1]
可选地，通过计算G＝16H+4S+V获得HSV特征矢量；其中，G为HSV特征矢量，H为色调分量，S为饱和度分量，V为亮度分量。
可选地，获取HSV特征矢量对应的HSV直方图，包括：获取HSV特征矢量各bin(颜色区间)的像素数量，将各像素数量除以图像分辨率，获得HSV特征矢量对应的HSV直方图。在一些实施例中，HSV特征矢量的取值范围[0,1,...,127]，将HSV特征矢量中各bin的像素数量分别除以图像分辨率，获得HSV特征矢量对应的128bin的HSV直方图。
可选地，根据HSV直方图获取对应的镜头的关键帧，包括：根据HSV直方图获取镜头的各视频帧之间的相似度；根据镜头的各视频帧之间的相似度获取镜头中各视频帧的关键度；根据关键度获取镜头的关键帧。
可选地，通过计算
Figure BDA0002963404230000071
获得镜头的各视频帧之间的相似度；其中，D(fi,fj)为镜头的第i视频帧与第j视频帧之间的相似度，fi为镜头的第i视频帧，fj为镜头的第j视频帧，B为HSV直方图bin的总数，Hi(b)为第i视频帧对应的HSV直方图的第b个bin，Hj(b)为第j视频帧对应的HSV直方图的第b个bin。
可选地，根据镜头的各视频帧之间的相似度获取镜头中各视频帧的关键度包括：在镜头中的第i视频帧与除第i视频帧之外的其他视频帧之间的相似度满足第三预设条件的情况下，将满足第三预设条件的相似度数量确定为第i视频帧的关键度。
可选地，第三预设条件为大于或等于第一预设阈值。可选地，第一预设阈值为0.95。
可选地，根据关键度获取镜头的关键帧包括：将镜头中关键度最高的视频帧确定为该镜头的关键帧。
可选地，将镜头中各视频帧按照关键度的大小顺序进行排序，选取排名前预设名次的视频帧确定为该镜头的关键帧。可选地，预设名次为第二名。
可选地，通过计算
Figure BDA0002963404230000072
获得各镜头之间的镜头相关性；其中，
Figure BDA0002963404230000073
为第x镜头与第y镜头之间的镜头相关性，Kx为第x镜头的关键帧集合，Ky为第y镜头的关键帧集合，fx i'为第x镜头的第i′个关键帧，fy j'为第y镜头的第j′个关键帧，D(fx i',fy j')为第x镜头的第i'个关键帧与第y镜头的第j'个关键帧之间的相似度。
可选地，根据各镜头之间的镜头相关性获取候选场景集合，包括：根据各镜头之间的镜头相关性获取各镜头的镜头相关性特征值；根据各镜头的镜头相关性特征值获取候选场景集合。由于体育类视频其实末尾部分的“赞助广告”场景颜色相关性较高，这样，通过镜头相关性获取场景，将体育视频中的连续高颜色相关场景聚合到一起，对获取“赞助广告”场景具有较高的准确性。
可选地，通过计算
Figure BDA0002963404230000081
获得镜头的镜头相关性特征值；其中，SCWn为第n个镜头的镜头相关性特征值，
Figure BDA0002963404230000082
为第n个镜头与第m个镜头的关键帧之间的相似度，可选地，在时间顺序排列的镜头集合中，第m个镜头在第n个镜头之前；可选地，m＝n-k；k为第n个镜头与第m个镜头之间的间隔距离。TMk为镜头相关性加权系数，n、m、k、N均为正整数；可选地，N＝10
可选地，通过计算TMk＝1.0-0.05·k获得镜头相关性加权系数；其中，k表示两个镜头的间隔距离，k为正整数。
可选地，将镜头集合中第一个镜头的镜头相关性特征值确定为0；在除第一个镜头以外的其他镜头的镜头相关性特征值大于1的情况下，将该镜头的镜头相关性特征值确定为1。
可选地，根据镜头相关性特征值获取候选场景集合，包括：当镜头集合中第a个镜头与第a-1个镜头之间的镜头相关性特征值满足第四预设条件的情况下，将第a个镜头作为第一场景边界；根据第一场景边界获取第一场景；获取所有第一场景作为候选场景集合。可选地，候选场景集合中的所有第一场景按照时间顺序进行排序。
可选地，当镜头集合中第a个镜头与第a-1个镜头之间的镜头相关性特征值满足第四预设条件，包括：当镜头集合中第a个镜头与第a-1个镜头之间的镜头相关性特征值之比小于或等于第一镜头相关性阈值。可选地，第一镜头相关性阈值为85％。
可选地，获取各第一场景之间的光流相似度，包括：获取各第一场景的光流特征值；根据光流特征值获取各第一场景之间的光流特征变化值；将光流特征变化值确定为各第一场景之间的光流相似度。
可选地，通过计算
Figure BDA0002963404230000083
获得第一场景的光流特征值；其中，AOF为第一场景的光流特征值，L为第一场景的总帧数，Vl为第一场景中的第l视频帧与第l+1个视频帧之间的像素数目之差，l为正整数。
可选地，获取各第一场景的光流特征值，包括：利用光流算法获取各第一场景的光流特征值。在一些实施例中，根据LUCAS-KANADE(卢卡斯-加拿大)光流算法获取第一场景的光流特征值。
可选地，根据光流特征值获取各第一场景之间的光流特征变化值，包括：将各第一场景之间的光流特征值的比值确定为各第一场景之间的光流特征变化值。
可选地，根据光流相似度从候选场景集合中获取第二场景，包括：将候选场景集合中满足第一预设条件的光流相似度所对应的第一场景进行合并，获得第二场景。这样，不仅通过镜头之间的相关性获得第一场景，还通过光流相似度合并了运动变化较小的第一场景，提高了获取场景的准确性。
可选地，满足第一预设条件的光流相似度，包括：光流相似度大于或等于设定阈值。可选地，设定阈值为80％。在一些实施例中，在候选集合中，连续两个第一场景之间的光流相似度大于或等于设定阈值的情况下，将该连续两个第一场景进行合并。在一些实施例中，在候选集合中至少存在三个连续第一场景的情况下，在第一个第一场景与第三个第一场景的光流相似度大于或等于设定阈值的情况下，将该连续三个第一场景进行合并。
可选地，根据光流相似度从候选场景集合中获取第二场景后，还包括：获取第二场景的运动相关程度，将时序相邻且运动相关程度满足第二预设条件的第二场景进行合并，获得第三场景。由于体育类视频中间部分的“体育比赛”颜色相关性较低而运动相关性较高，相比于只通过镜头相关性获取场景，这样，通过运动相关程度再次获取场景，将高运动场景聚合到一起，可以提高获取运动类视频场景的准确性。
可选地，获取第二场景的运动相关程度，包括：将各第二场景之间的光流特征值的差值作为第二场景的运动相关程度。
可选地，将时序相邻且运动相关程度满足第二预设条件的第二场景进行合并，包括：将时序相邻且运动相关程度大于或等于第二预设阈值的第二场景进行合并。
可选地，通过计算
Figure BDA0002963404230000101
获得第二预设阈值；其中，T为第二预设阈值，WV为视频的分辨率的宽，HV为视频的分辨率的高，SF为光流窗口大小。可选地，SF＝16。
可选地，根据镜头相关性获取候选场景集合后，还包括：将候选场景集合中只包括一个镜头的第一场景确定为第一候选场景，将候选场景集合中除第一候选场景外的第一场景确定为第二候选场景；获取第一候选场景与第二候选场景之间的场景相似度；根据场景相似度将第一候选场景与第二候选场景进行合并。这样，合并根据镜头相关性获取的候选场景集合中具有单一镜头的场景，提高获取场景的准确性。
可选地，获取第一候选场景与第二候选场景之间的场景相似度，包括：获取第一候选场景的关键帧与第二候选场景的关键帧之间的关键帧相似度；将该关键帧相似度确定为第一候选场景与第二候选场景之间的场景相似度。
可选地，通过计算
Figure BDA0002963404230000102
获得第一候选场景的关键帧与第二候选场景的关键帧之间的关键帧相似度；其中，D(f'i”,f”j”)为第一候选场景的第i”个关键帧与第二候选场景的第j”个关键帧之间的相似度，f'i”为第一候选场景的第i”个关键帧，f”j”分为第二候选场景的第j”个关键帧，B'为HSV直方图bin的总数，H'i”(b')为第一候选场景的第i”个关键帧对应的HSV直方图的第b'个bin，H”j”(b')为第二候选场景的第j”个关键帧对应的HSV直方图的第b'个bin。
可选地，根据场景相似度将第一候选场景与第二候选场景进行合并，包括：当第一候选场景与第二候选场景之间的场景相似度大于第三预设阈值的情况下，合并第一候选场景与第二候选场景。在一些实施例中，第三预设阈值为95％。
由于体育类视频的场景大多呈现固定模式，如“赞助广告-比赛-赞助广告”。通过本公开实施例提供的获取镜头集合中各镜头之间的镜头相关性，根据镜头相关性获取第一场景；然后获取各第一场景之间的光流相似度，并根据光流相似度从候选场景集合中获取第二场景，能够快速检测出体育视频中的固定模式，并以此为边界分割出体育视频的场景。相较现有技术只能通过不完善的训练数据来构建体育类视频场景获取模型来进行相关场景获取的方式，本公开实施例提供的方法不仅考虑了镜头之间的相关程度，还以镜头的光流参数作为依据获取场景，提高了体育视频进行场景获取的准确性，同时由于不需要对视频数据进行标注处理，更容易实现。并且对于体育视频的编辑创作，甚至是检索都有重要的意义。
结合图2所示，本公开实施例提供一种用于对体育视频进行场景获取的装置，包括处理器(processor)100和存储器(memory)101。可选地，该装置还可以包括通信接口(Communication Interface)102和总线103。其中，处理器100、通信接口102、存储器101可以通过总线103完成相互间的通信。通信接口102可以用于信息传输。处理器100可以调用存储器101中的逻辑指令，以执行上述实施例的用于对体育视频进行场景获取的方法。
此外，上述的存储器101中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器101作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器100通过运行存储在存储器101中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述实施例中用于对体育视频进行场景获取的方法。
存储器101可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器101可以包括高速随机存取存储器，还可以包括非易失性存储器。
采用本公开实施例提供的用于对体育视频进行场景获取的装置，相较现有技术只能通过不完善的训练数据来构建体育类视频场景获取模型来进行相关场景获取的方式，本申请通过获取镜头集合中各镜头之间的镜头相关性，根据镜头相关性获取第一场景；然后获取各第一场景之间的光流相似度，并根据光流相似度从候选场景集合中获取第二场景，不仅考虑了镜头之间的相关程度，还以镜头的光流参数作为依据获取场景，对体育视频进行场景获取有较高的准确性，同时由于不需要对视频数据进行标注处理，更容易实现。
本公开实施例提供了一种设备，包含上述的用于对体育视频进行场景获取的装置。可选地，设备包括：手机、平板电脑、计算机、服务器等。
该设备相较现有技术只能通过不完善的训练数据来构建体育类视频场景获取模型来进行相关场景获取的方式，本申请通过获取镜头集合中各镜头之间的镜头相关性，根据镜头相关性获取第一场景；然后获取各第一场景之间的光流相似度，并根据光流相似度从候选场景集合中获取第二场景，不仅考虑了镜头之间的相关程度，还以镜头的光流参数作为依据获取场景，对体育视频进行场景获取有较高的准确性，同时由于不需要对视频数据进行标注处理，更容易实现。
以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选地，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (10)

1.一种用于对体育视频进行场景获取的方法，其特征在于，包括：
获取镜头集合；其中，所述镜头集合包括多个镜头，所述镜头包括若干视频帧；
获取所述镜头集合中各镜头之间的镜头相关性；
根据所述镜头相关性获取候选场景集合；所述候选场景集合包括多个第一场景；
获取各第一场景之间的光流相似度；
根据所述光流相似度从所述候选场景集合中获取第二场景。
2.根据权利要求1所述的方法，其特征在于，所述获取镜头集合包括：
获取待处理视频；
对所述待处理视频进行镜头分割，获得镜头集合。
3.根据权利要求1所述的方法，其特征在于，所述获取镜头集合中各镜头之间的镜头相关性，包括：
获取所述镜头集合中各镜头的关键帧；
根据所述关键帧获取各所述镜头之间的镜头相关性。
4.根据权利要求1所述的方法，其特征在于，所述根据镜头相关性获取候选场景集合，包括：
根据所述镜头相关性获取各镜头的镜头相关性特征值；
根据所述镜头相关性特征值获取候选场景集合。
5.根据权利要求1所述的方法，其特征在于，获取各第一场景之间的光流相似度，包括：
获取各第一场景的光流特征值；
根据所述光流特征值获取各第一场景之间的光流特征变化值；将所述光流特征变化值确定为各第一场景之间的光流相似度。
6.根据权利要求1所述的方法，其特征在于，根据所述光流相似度从所述候选场景集合中获取第二场景，包括：
将所述候选场景集合中满足第一预设条件的光流相似度所对应的第一场景进行合并，获得第二场景。
7.根据权利要求1至6任一项所述的方法，其特征在于，根据所述光流相似度从所述候选场景集合中获取第二场景后，还包括：
获取所述第二场景的运动相关程度，将时序相邻且所述运动相关程度满足第二预设条件的第二场景进行合并，获得第三场景。
8.根据权利要求1至6任一项所述的方法，其特征在于，所述根据镜头相关性获取候选场景集合后，还包括：
将所述候选场景集合中只包括一个镜头的第一场景确定为第一候选场景，将所述候选场景集合中除所述第一候选场景外的第一场景确定为第二候选场景；
获取所述第一候选场景与所述第二候选场景之间的场景相似度；
根据所述场景相似度将所述第一候选场景与所述第二候选场景进行合并。
9.一种用于对体育视频进行场景获取的装置，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在运行所述程序指令时，执行如权利要求1至8任一项所述的用于对体育视频进行场景获取的方法。
10.一种设备，其特征在于，包括如权利要求9所述的用于对体育视频进行场景获取的装置。
CN202110244042.XA 2021-03-05 2021-03-05 用于对体育视频进行场景获取的方法及装置、设备 Active CN113014831B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110244042.XA CN113014831B (zh) 2021-03-05 2021-03-05 用于对体育视频进行场景获取的方法及装置、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110244042.XA CN113014831B (zh) 2021-03-05 2021-03-05 用于对体育视频进行场景获取的方法及装置、设备

Publications (2)

Publication Number Publication Date
CN113014831A true CN113014831A (zh) 2021-06-22
CN113014831B CN113014831B (zh) 2024-03-12

Family

ID=76406449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110244042.XA Active CN113014831B (zh) 2021-03-05 2021-03-05 用于对体育视频进行场景获取的方法及装置、设备

Country Status (1)

Country Link
CN (1) CN113014831B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073864A (zh) * 2010-12-01 2011-05-25 北京邮电大学 四层结构的体育视频中足球项目检测系统及实现
CN103440640A (zh) * 2013-07-26 2013-12-11 北京理工大学 一种视频场景聚类及浏览方法
CN103945227A (zh) * 2014-04-16 2014-07-23 上海交通大学 基于光流聚类的视频语义块分割方法
CN106778688A (zh) * 2017-01-13 2017-05-31 辽宁工程技术大学 一种拥挤场景监控视频中人群流异常事件的检测方法
CN107301402A (zh) * 2017-06-30 2017-10-27 锐捷网络股份有限公司 一种现实场景关键帧的确定方法、装置、介质及设备
CN107590420A (zh) * 2016-07-07 2018-01-16 北京新岸线网络技术有限公司 视频分析中的场景关键帧提取方法及装置
CN108509917A (zh) * 2018-03-30 2018-09-07 北京影谱科技股份有限公司 基于镜头类相关性分析的视频场景分割方法和装置
CN108596944A (zh) * 2018-04-25 2018-09-28 普联技术有限公司 一种提取运动目标的方法、装置及终端设备
CN109344780A (zh) * 2018-10-11 2019-02-15 上海极链网络科技有限公司 一种基于声音和视觉的多模态视频场景分割方法
CN109740499A (zh) * 2018-12-28 2019-05-10 北京旷视科技有限公司 视频分割方法、视频动作识别方法、装置、设备及介质
CN110111357A (zh) * 2019-04-03 2019-08-09 天津大学 一种视频显著性检测方法
CN110166827A (zh) * 2018-11-27 2019-08-23 深圳市腾讯信息技术有限公司 视频片段的确定方法、装置、存储介质及电子装置
CN110210379A (zh) * 2019-05-30 2019-09-06 北京工业大学 一种结合关键运动特征和颜色特征的镜头边界检测方法
CN110348369A (zh) * 2019-07-08 2019-10-18 北京字节跳动网络技术有限公司 一种视频场景分类方法、装置、移动终端及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073864A (zh) * 2010-12-01 2011-05-25 北京邮电大学 四层结构的体育视频中足球项目检测系统及实现
CN103440640A (zh) * 2013-07-26 2013-12-11 北京理工大学 一种视频场景聚类及浏览方法
CN103945227A (zh) * 2014-04-16 2014-07-23 上海交通大学 基于光流聚类的视频语义块分割方法
CN107590420A (zh) * 2016-07-07 2018-01-16 北京新岸线网络技术有限公司 视频分析中的场景关键帧提取方法及装置
CN106778688A (zh) * 2017-01-13 2017-05-31 辽宁工程技术大学 一种拥挤场景监控视频中人群流异常事件的检测方法
CN107301402A (zh) * 2017-06-30 2017-10-27 锐捷网络股份有限公司 一种现实场景关键帧的确定方法、装置、介质及设备
CN108509917A (zh) * 2018-03-30 2018-09-07 北京影谱科技股份有限公司 基于镜头类相关性分析的视频场景分割方法和装置
CN108596944A (zh) * 2018-04-25 2018-09-28 普联技术有限公司 一种提取运动目标的方法、装置及终端设备
CN109344780A (zh) * 2018-10-11 2019-02-15 上海极链网络科技有限公司 一种基于声音和视觉的多模态视频场景分割方法
CN110166827A (zh) * 2018-11-27 2019-08-23 深圳市腾讯信息技术有限公司 视频片段的确定方法、装置、存储介质及电子装置
CN109740499A (zh) * 2018-12-28 2019-05-10 北京旷视科技有限公司 视频分割方法、视频动作识别方法、装置、设备及介质
CN110111357A (zh) * 2019-04-03 2019-08-09 天津大学 一种视频显著性检测方法
CN110210379A (zh) * 2019-05-30 2019-09-06 北京工业大学 一种结合关键运动特征和颜色特征的镜头边界检测方法
CN110348369A (zh) * 2019-07-08 2019-10-18 北京字节跳动网络技术有限公司 一种视频场景分类方法、装置、移动终端及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
程文刚, 须德, 郎丛妍: "一种有效的视频场景检测方法", 中国图象图形学报, no. 08 *

Also Published As

Publication number Publication date
CN113014831B (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
Wang et al. Detect globally, refine locally: A novel approach to saliency detection
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
EP2124159B1 (en) Image learning, automatic annotation, retrieval method, and device
CN111340123A (zh) 一种基于深度卷积神经网络的图像分数标签预测方法
US20100067863A1 (en) Video editing methods and systems
Ma et al. Deep blur mapping: Exploiting high-level semantics by deep neural networks
Chadha et al. Video classification with CNNs: Using the codec as a spatio-temporal activity sensor
CN109101913A (zh) 行人重识别方法和装置
Giraldo et al. Graph CNN for moving object detection in complex environments from unseen videos
CN110147469A (zh) 一种数据处理方法、设备及存储介质
Li et al. Primary video object segmentation via complementary cnns and neighborhood reversible flow
CN111182364A (zh) 一种短视频版权检测方法及系统
Kompella et al. A semi-supervised recurrent neural network for video salient object detection
CN112101344A (zh) 一种视频文本跟踪方法及装置
CN115578590A (zh) 基于卷积神经网络模型的图像识别方法、装置及终端设备
CN104410867A (zh) 改进的视频镜头检测方法
CN112488072A (zh) 一种人脸样本集获取方法、系统及设备
Naveen Kumar et al. High performance algorithm for content-based video retrieval using multiple features
CN113014831B (zh) 用于对体育视频进行场景获取的方法及装置、设备
Gupta et al. A learning-based approach for automatic image and video colorization
US20230072445A1 (en) Self-supervised video representation learning by exploring spatiotemporal continuity
Tsingalis et al. Shot type characterization in 2D and 3D video content
CN112966673A (zh) 一种行人重识别模型的构建方法及行人重识别方法
Sudha et al. Reducing semantic gap in video retrieval with fusion: A survey
Dvornik Learning with Limited Annotated Data for Visual Understanding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant