CN115115981A - 数据处理方法、装置、设备、存储介质及计算机程序产品 - Google Patents

数据处理方法、装置、设备、存储介质及计算机程序产品 Download PDF

Info

Publication number
CN115115981A
CN115115981A CN202210701609.6A CN202210701609A CN115115981A CN 115115981 A CN115115981 A CN 115115981A CN 202210701609 A CN202210701609 A CN 202210701609A CN 115115981 A CN115115981 A CN 115115981A
Authority
CN
China
Prior art keywords
video
global
sequence
local
similarity matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210701609.6A
Other languages
English (en)
Inventor
熊鹏飞
徐鲁辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210701609.6A priority Critical patent/CN115115981A/zh
Publication of CN115115981A publication Critical patent/CN115115981A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了数据处理方法、装置、设备、存储介质及计算机程序产品，可应用于人工智能、车载等领域或场景，该方法包括：获取包括M个视频帧的待处理视频帧序列，对M个视频帧中的每一个视频帧进行全局特征提取和局部特征提取，得到每一个视频帧的全局特征向量和局部特征向量；根据得到的M个全局特征向量和M个局部特征向量分别构造M个视频帧的全局相似度矩阵和局部相似度矩阵；根据全局相似度矩阵和局部相似度矩阵确定待处理视频帧序列对应的时序特征序列，对时序特征序列进行时序增强处理，对增强处理后的时序特征序列进行处理，确定每一个视频帧的场景分割点检测结果。通过该方法可以提高视频场景分割的准确率。

Description

数据处理方法、装置、设备、存储介质及计算机程序产品
技术领域
本申请涉及计算机技术领域，尤其涉及数据处理方法、数据处理装置、计算机设备、计算机可读存储介质及计算机程序产品。
背景技术
场景分割是视频剪辑中一种非常重要的技术，其目的是将视频按照场景变化，拆分成不同故事背景的片段，其核心就是确定视频中的场景分割定位点(即确定不同场景)。目前，基于聚类的场景分割方法是比较流行的，该方法基于特征模型抽取视频帧特征，然后通过聚类等方法，将具有相似特征的片段聚类在一起，从而确定场景片段。
但基于聚类的方法受限于后端特征聚类，对于场景复杂的视频确定场景分割点的准确度不够高。因此，如何更为准确的确定视频中的场景分割点成为亟待解决的技术问题。
发明内容
本申请实施例提供了数据处理方法、装置、设备、存储介质及计算机程序产品，可以提高视频场景分割的准确率。
本申请实施例一方面公开了一种数据处理方法，该方法包括：
获取目标视频的待处理视频帧序列，所述待处理视频帧序列包括M个视频帧，M为大于1的正整数；
对所述M个视频帧中的每一个视频帧进行全局特征提取和局部特征提取，得到所述每一个视频帧的全局特征向量和局部特征向量；
根据得到的M个全局特征向量，构造所述M个视频帧的全局相似度矩阵，根据得到的M个局部特征向量，构造所述M个视频帧的局部相似度矩阵；
根据所述全局相似度矩阵和所述局部相似度矩阵确定所述待处理视频帧序列对应的时序特征序列，对所述时序特征序列进行时序增强处理，得到增强处理后的时序特征序列；
对所述增强处理后的时序特征序列进行处理，确定所述M个视频帧中的每一个视频帧的场景分割点检测结果。
本申请实施例一方面公开了一种数据处理装置，该装置包括：
获取单元，用于获取目标视频的待处理视频帧序列，所述待处理视频帧序列包括M个视频帧，M为大于1的正整数；
处理单元，用于：
对所述M个视频帧中的每一个视频帧进行全局特征提取和局部特征提取，得到所述每一个视频帧的全局特征向量和局部特征向量；
根据得到的M个全局特征向量，构造所述M个视频帧的全局相似度矩阵，根据得到的M个局部特征向量，构造所述M个视频帧的局部相似度矩阵；
根据所述全局相似度矩阵和所述局部相似度矩阵确定所述待处理视频帧序列对应的时序特征序列，对所述时序特征序列进行时序增强处理，得到增强处理后的时序特征序列；
对所述增强处理后的时序特征序列进行处理，确定所述M个视频帧中的每一个视频帧的场景分割点检测结果。
本申请实施例一方面公开了一种计算机设备，该计算机设备包括处理器，适于实现一条或多条计算机程序；以及，计算机可读存储介质，所述计算机可读存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由所述处理器加载并执行以上述的数据处理方法。
本申请实施一方面公开了一种计算机可读存储介质，所述计算机可读存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由处理器加载并执行上述的数据处理方法。
本申请实施例一方面公开了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行上述的数据处理方法。
本申请实施例中，数据处理方法主要包括：获取目标视频的待处理视频帧序列，该待处理视频帧序列包括M个视频帧，对M个视频帧中的每一个视频帧进行全局特征提取和局部特征提取，得到每一个视频帧的全局特征向量和局部特征向量；再根据得到的M个全局特征向量，构造M个视频帧的全局相似度矩阵，根据得到的M个局部特征向量，构造M个视频帧的局部相似度矩阵；根据全局相似度矩阵和局部相似度矩阵确定待处理视频帧序列对应的时序特征序列，结合全局特征和局部特征，不仅要参考图像帧之间的全局相似度，还要参考图像帧之间的局部相似度，结合两者能够更加准确的判断图像帧之间是否具备相同的场景，然后对时序特征序列进行时序增强处理，得到增强处理后的时序特征序列，相当于为特征序列加入时间先后性，避免因时序错乱造成场景分割点识别错误；然后再对增强处理后的时序特征序列进行处理，确定M个视频帧中的每一个视频帧的场景分割点检测结果。该方法可以确定出每一个视频帧是否是场景分割帧，具体的，本申请通过多个相似度矩阵，并结合局部特征和全局特征，再为特征加入时序性，可以使得对视频帧之间的相似度确认更为准确，从而可以提高视频帧是否是场景分割帧的判断准确率，也即是可以提高视频场景分割的准确率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例公开的一种数据处理系统的架构示意图；
图2是本申请实施例公开的一种数据处理方法的流程示意图；
图3a是本申请实施例公开的一种时序变形器的结构示意图；
图3b是本申请实施例公开的一种变形编码器的结构示意图；
图4是本申请实施例公开的一种数据处理系统框架图；
图5是本申请实施例公开的另一种数据处理方法的流程示意图；
图6是本申请实施例公开的一种数据处理装置的结构示意图；
图7是本申请实施例公开的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了有效提升对视频帧之间相似度比较的准确度，从而准确的找出视频中的场景分割帧，本申请实施例提出了一种数据处理方法，该方法可以解决上述问题，且本申请提供的数据处理方法涉及人工智能技术以及人工智能技术下属的计算机视觉技术与机器学习等技术，下面对相关技术进行阐述：
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请涉及人工智能技术下属的计算机视觉技术以及机器学习。计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟随和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
请参见图1，图1为本申请实施例的一种数据处理系统的架构示意图，如图1所示，该数据处理系统100可以至少包括终端设备101以及计算机设备102，其中，终端设备101和计算机设备102可以实现通信连接，其连接方式可以包括有线连接和无线连接，在此不进行限定。在具体的实现过程中，终端设备101主要是用于显示结果，在本申请中，可以M个视频帧中每一个视频帧的场景分割点检测结果，也可以用于显示基于分割点输出的视频片段；计算机设备102主要是用于获取目标视频的待处理视频帧序列，以及对待处理视频帧序列进行处理，包括特征提取、构造相似度矩阵、以及时序增强处理等，从而得到M个视频帧中的每一个视频帧的场景分割点检测结果。
在一种可能的实现方式中，上述所提及的终端设备101包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器等；上述的计算机设备102可以是服务器，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。图1只是示例性地表征数据处理系统的架构图，并不对此进行限定。例如，图1中计算机设备102可以部署成区块链网络中的节点，或者将计算机设备102可以接入区块链网络，使得计算机设备102可以将目标视频的待处理视频帧序列、M个视频帧中的每一个视频帧的场景分割点检测结果上传至区块链网络进行存储，以防止内部数据被篡改，从而保证数据安全性。
结合上述数据处理系统，本申请实施例的数据处理方法大致可以包括：计算设备102从终端设备101获取目标视频的待处理视频帧序列，该待处理视频帧序列包括M个视频帧，对M个视频帧中的每一个视频帧进行全局特征提取和局部特征提取，得到每一个视频帧的全局特征向量和局部特征向量；再根据得到的M个全局特征向量，构造M个视频帧的全局相似度矩阵，根据得到的M个局部特征向量，构造M个视频帧的局部相似度矩阵；根据全局相似度矩阵和局部相似度矩阵确定待处理视频帧序列对应的时序特征序列，对时序特征序列进行时序增强处理，得到增强处理后的时序特征序列；相当于为特征序列加入时间先后，对增强处理后的时序特征序列进行处理，确定M个视频帧中的每一个视频帧的场景分割点检测结果，计算机设备102还可以将分割点检测结果发送给终端设备101，以使得终端设备101可以基于场景分割点检测结果进行视频内容制作等操作。通过该方法，可以确定每一个视频帧是否是场景分割点，同时，本申请通过多个相似度矩阵，再为特征加入时序性，可以使得对视频帧之间的相似度判断更为准确，根据更为准确的相似度矩阵可以提高判断视频帧是否是场景分割帧的准确率，也即是可以提高视频场景分割的准确率。
本申请所提及的数据处理方法可以应用于任意视频剪辑的场景。其典型的场景包括：1)在视频类应用的创作辅助的任务中，将用户输入的视频，拆分为场景独立的片段，继而满足用户混剪，精彩片段提取的需求；2)在版权场景中，可以将长视频拆分为场景独立的片段视频，进行片段之间的相似度比较，提升相似判断的准确度和效率；3)在视频类创作辅助任务中，针对每个拆好场景的视频片段打上细粒度标签，满足用户精确检索的需求；4)在视频内容分发任务中，针对拆好的视频场景片段，加上对应的描述，自动分发出去。
本申请实施例所提及的数据处理方法还可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。还可以将该数据处理系统部署在区块链网络中。需要说明的是，在本申请的具体实施方式中，涉及到目标视频、目标视频的待处理视频序列等相关的数据，所涉及使用到的数据均是经过用户授权的。当本申请以上实施例运用到具体产品或技术中时，所涉及使用到的数据需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
基于上述对数据处理系统架构的阐述，本申请实施例公开了一种数据处理方法，请参见图2，为本申请实施例公开的一种数据处理方法的流程示意图，该数据处理方法可以由计算机设备执行的，该数据处理方法具体可以包括步骤S201～S205：
S201、获取目标视频的待处理视频帧序列，待处理视频帧序列包括M个视频帧，M为大于1的正整数。
其中，待处理视频帧序列包括M个视频帧，M个视频帧按照视频有时间先后性，也就是第一个视频帧时间靠前，接近视频开始，最后一个视频帧靠后，接近视频的结尾。
在一种可能的实现方式中，在确定待处理视频帧序列之前，可以先获取目标视频，目标视频可以是任一类型的视频，目标视频可以是用户实时拍摄的，也可以是数据库中获取的，在获取到目标视频后，对目标视频进行等间隔抽帧处理，得到目标视频的待处理视频帧。本申请考虑到精度与时间和计算资源的均衡，采用稀疏抽帧的方式，具体可以是等间隔抽帧，如1秒1帧，由于大部分场景变化，不会少于1秒，因此按照1秒1帧的抽取方式，并不会导致场景分割点的漏召回。例如，对于一个(1600,25fps)的目标视频，采用1fps(帧率，1秒1帧)的抽样方式，可以得到64个视频帧，又或者对于一个T秒的目标视频，采用1秒1帧的抽取方式，可以得到待处理视频帧序列，一共包括T个视频帧，包括{I1，I2,…,IT}。当然，稠密采样可以获得更精确的分割精度，在实际应用中，受限于模型处理时间，一般可以采用稀疏抽帧的方式。在一些情况下，待处理视频帧序列中的视频帧也可以被视频中的其他关键帧，或者基于学习的抽帧方法所得到的视频帧所替代，又或者，可以处理目标视频的全部视频帧(处理时间长、复杂度高)，在本申请中对此不做限定。
S202、对M个视频帧中的每一个视频帧进行全局特征提取和局部特征提取，得到每一个视频帧的全局特征向量和局部特征向量。
在本申请中，是对每个视频帧都需要同时进行全局特征提取以及局部特征提取，其中，全局指的是针对一个视频帧的全部内容，局部指的是针对一个视频帧中的特定对象。每一个视频帧都同时提取了一个全局特征向量和一个局部特征向量，本申请中示例性的有M个视频帧，也就有M个全局特征向量和M个局部特征向量。
在一种可能的实现方式中，在进行局部特征向量提取之前，需要先确定局部信息是什么，也就是先确定局部对象，然后根据局部对象进行局部特征提取。在一个视频帧中，图像包括了前景和背景，例如，对于包含人物的风景视频，一般前景多为人物，背景多为风景，一般人物发生变化、场景可能就发生了变化，因此，一方面，可以根据前景人物确定局部对象，但又不排除一些特殊情况，因此，另一方面可以根据视频帧的热力图确定局部对象，其热力值最高的，就可以将其作为局部对象，进而进行局部特征提取。或者在训练过程中，可以预先标注局部对象，可以根据标签信息确定出局部对象，从而进行局部特征提取。
在一种可能的实现方式中，可以采用CLIP预训练模型作为特征抽取器。针对每一个视频帧，CLIP模型会将视频帧转化为固定大小的小块，经过变形器(transformer)得到图像特征。除了上述方法，还可以通过其他图像特征提取算法，如尺度不变换特征变换(Scaleinvariant feature Transform，SIFT)、方向梯度直方图(Histogram of OrientedGradient，HOG)等方法对视频帧进行特征提取；也可以通过基于深度机器学习的神经网络，如卷积神经网络(Convolutional Neural Network，CNN)等进行特征提取，具体可以根据实际情况进行选择，本申请实施例不作限定。
其中，在进行全局特征提取或者局部特征提取时，可以通过一种特征提取方式提取到每个视频帧对应的一种单特征作为特征向量，也可以通过多种特征提取方式提取到每个视频帧对应的多种单特征向量再对其进行结合，得到特征向量。
S203、根据得到的M个全局特征向量，构造M个视频帧的全局相似度矩阵，根据得到的M个局部特征向量，构造M个视频帧的局部相似度矩阵。
其中，相似度矩阵是基于特征向量之间的距离构造的。全局相似度矩阵和局部相似度矩阵可以通过一种方式确定(即一种距离计算方式)，也可以通过多种方式确定(即多种距离计算方式)。
在一种可能的实现方式中，以多种距离计算方式为例，距离计算方式包括余弦距离和欧氏距离，因此，在构造M个视频帧的全局相似度矩阵，具体可以包括：计算第一全局特征向量和第二全局特征向量之间的余弦距离和欧式距离，第一全局特征向量为所述M个全局特征向量中的任意一个，第二全局特征向量为M个全局特征向量中的任意一个，在计算过程中，针对任意全局特征向量，还需要计算该全局特征向量和本身的余弦距离和欧式距离；根据计算得到的全局特征向量之间的余弦距离，确定第一全局相似度矩阵；再根据计算得到的全局特征向量之间的欧式距离，确定第二全局相似度矩阵；最后将第一全局相似度矩阵和第二全局相似度矩阵确定为M个视频帧的全局相似度矩阵。
同样的，在构造M个视频帧的局部相似度矩阵，具体可以包括：计算第一局部特征向量和第二局部特征向量之间的余弦距离和欧式距离，第一局部特征向量为所述M个局部特征向量中的任意一个，第二局部特征向量为M个局部特征向量中的任意一个，在计算过程中，针对任意局部特征向量，还需要计算该局部特征向量和本身的余弦距离和欧式距离；根据计算得到的局部特征向量之间的余弦距离，确定第一局部相似度矩阵；根据计算得到的局部特征向量之间的欧式距离，确定第二局部相似度矩阵；最后将第一局部相似度矩阵和第二局部相似度矩阵确定为M个视频帧的局部相似度矩阵。
其中，余弦距离计算方法如公式(1)：
Figure BDA0003699954540000091
欧式距离计算方法如公式(2)：
D(i,j)＝‖Fi‖-||Fj|| (2)
公式(1)和公式(2)都是向量间的计算。其中，针对第一全局相似度矩阵、第二全局相似度矩阵可以先对其分别进行归一化处理，然后再进行串联，得到全局相似度矩阵。同理，针对第一局部相似度矩阵以及第二局部相似度矩阵也可以先对其分别进行归一化处理，然后再进行串联，得到局部相似度矩阵，此处的归一化处理就是将视频帧之间的相似度值规范在一个范围内，以便于后续处理。
在本申请中，同时获取视频帧之间的全局相似度矩阵和局部相似度矩阵，可以更为准确的判断视频帧是否相似。例如，对于有着相同背景的且均显示有一个人的两帧图像，若是仅采用全局相似度进行相似度判断，极有可能将这两帧图像判断成相同帧，如果加入局部特征，如人的头发、服饰等特征，当局部特征都相似，就可以更为准确地判断两帧是相似的，由此一来，相似度的判断就更为准确了。
S204、根据全局相似度矩阵和所述局部相似度矩阵确定待处理视频帧序列对应的时序特征序列，对时序特征序列进行时序增强处理，得到增强处理后的时序特征序列。
在一种可能的实现方式中，先将全局相似度矩阵和局部相似度矩阵进行拼接处理，得到拼接相似度矩阵，然后利用帧间相似度处理网络对拼接相似度矩阵进行处理，得到时序特征序列；其中，时序特征序列包括M个时序特征，每一个时序特征对应M个视频帧中的一个视频帧。
在一种可能的实现方中，当全局相似度矩阵包括第一全局相似度矩阵和第二相似度矩阵，局部相似度矩阵包括第一局部相似度矩阵和第二局部相似度矩阵时，得到时序特征序列具体可以包括：将第一全局相似度矩阵、第二全局相似度矩阵、第一局部相似度矩阵以及第二局部相似度矩阵进行拼接处理，得到拼接相似度矩阵；此处的拼接处理可以是简单的串联；再利用帧间相似度处理网络对拼接相似度矩阵进行处理，得到时序特征序列，帧间相似度处理网络可以是神经网络中的全连接层；其中，时序特征序列包括M个时序特征，每一个时序特征对应M个视频帧中的一个视频帧，也可以将该时序特征序列理解层一个时序特征矩阵，矩阵的每一行代表一个视频帧。
进一步的，在确定出时序特征序列后，利用时序增强网络对时序特征序列进行时序增强处理，得到增强处理后的时序特征序列；其中，增强处理后的时序特征序列包括M个增强处理后的时序特征，每一个增强处理后的时序特征对应M个视频帧中的一个视频帧；时序增强网络具体可以指的是时序变形器，时序变形器可以通过自相关和互相关来增强时序特征之间的关系，本申请采取了标准的transformer模块，该模块包含若干个层encoder，将所有序列特征经过attention和MLP操作之后转化为同样的特征序列输出，继而通过全局池化，得到最终的特征输出。
具体的时序变形器结构图可以如图3a所示，主要包括嵌入层(Linear Projectionof Flattened Patches)、变形编码器(Transformer Ecoder)、MLP Head(用于分类)，基于时序变形器的结构，可以将处理过程分成步骤S1-S5：
S1：将图片切分为patch；对于本申请，就是将一个时序特征序列进行拆分，有多少个时序特征序列就进行相应次数的拆分。
S2：将步骤S1中拆分的patch转化成嵌入信息(embedding)，可以先利用压缩(flatten)将patch进行降维，然后将降维后的进行线性映射，得到embedding。除了利用Linear层进行线性映射，还可以使用卷积成实现embedding的获取。在本申请中，利用线性映射的方法得到时序特征序列每个patch对应的patch embedding。
S3：生成所有序列的位置编码，从而得到位置embedding，将位置embedding和步骤S2中的embedding进行相加。在本申请中，在对时序特征序列进行拆分时，便可生成其对应的位置embedding，然后将位置embedding和patch对应的embedding组合，得到组合的embedding。
S4：将组合的embedding输入到TRM(Transformer Encoder)模型进行处理，得到输入特征序列并对其进行整合。其中，Transformer Encoder架构图如图3b所示，主要是利用注意力机制进行处理，包括L个模块，每个模块包括第一归一化层、注意力层、第二归一化层以及多层感知层(MLP，通俗的理解也就是卷积层)。在本申请中，将组合的embedding输入到TRM中，经过层层处理，最后进行全局池化处理，得到增强处理后的时序特征序列。
S5：分类处理，详见步骤S205。
在本申请中，对于该步骤，具体可以包括：针对时序特征序列中的每个特征元素，每个特征元素可以认为是一组向量，代表一个视频帧，对每个特征元素进行分块处理，得到每个特征元素的分块信息，并基于每个特征元素和每个特征元素的分块信息确定每个特征元素的位置嵌入信息；对每个特征元素的分块信息进行特征转换处理，得到每个特征元素的特征嵌入信息；将每个特征元素的特征嵌入信息和每个特征元素的位置嵌入信息进行组合，得到每个特征元素的组合嵌入信息；最后将组合嵌入信息输入到变形器中进行处理，得到增强后的时序特征序列，每个视频帧对应一个增强后的时序特征序列。
S205、对增强处理后的时序特征序列进行处理，确定M个视频帧中的每一个视频帧的场景分割点检测结果。
其中，增强处理后的时序特征序列依然包括M个特征，也就是M个增强处理后的时序特征序列。
在一种可能的实现方式中，利用分类网络对增强处理后的时序特征序列进行处理，得到每一个增强处理后的时序特征所对应的分类概率值，然后再对各个分类概率值进行处理，得到M个视频帧的场景分割点检测结果。该分类概率值主要是用于指示对应的视频帧是否是场景分割点。由于模型的分类结果可能存在偏差，为了得到精确的分割点，本申请采用非极大值抑制方法对分类概率值进行处理，从而使得分类结果更为准确。
具体的，非极大值抑制方法是将多个分类概率值中差值在设定范围内的任意两个分类概率值进行合并处理，并将合并处理后得到的分类概率值与概率阈值进行比较，根据比较结果确定M个视频帧中的每一个视频帧的场景分割点检测结果。非极大值抑制(Non-maximum suppression，NMS)是一种去除非极大值的算法，常用于计算机视觉中的边缘检测、物体识别等。主要算法流程：给出一张图片和上面许多物体检测的候选框(即每个框可能都代表某种物体)，但是这些框很可能有互相重叠的部分，要做的就是只保留最优的框。假设有N个框，每个框被分类器计算得到的分数为Si，1<＝i<＝N。先建造一个存放待处理候选框的集合H，初始化为包含全部N个框，同时建造一个存放最优框的集合M，初始化为空集。1.将所有集合H中的框进行排序，选出分数最高的框m，从集合H移到集合M；2.遍历集合H中的框，分别与框m计算交并比(Interection-over-union，IoU)，如果IoU高于某个阈值(一般为0～0.5)，则认为此框与m重叠，将此框从集合H中去除；3.回到第1步进行迭代，直到集合H为空，集合M中的框即为结果。在本申请中，为保证输出的结果和输入的视频帧数量相对应，示例性的，对于三个视频帧，对应的分类概率值分别是[0.9,0.8,0.1]，根据上述的阐述，假定差值的设定范围为0～0.5，0.8与0.9的差值为0.1，则将0.8和0.9进行合并，由于0.1和0.9的差值太大，就不进行合并，由此得到的结果为[0.9,0.9,0.1]，然后再对其进行二值化处理(即将合并处理后得到的分类概率值与概率阈值进行比较)，最终的结果为[1,1,0]，基于该结果，可以确定出第一帧和第二帧为场景分割帧，第三帧为非场景分割帧。
对于本申请的数据处理方法，以一个视频为例，具体数据处理系统框架图可以如图4所示，包括预处理、编码处理、确定相似度矩帧、分类器处理以及后处理，具体的可以总结为以下几个步骤，首先，对于输入的目标视频(1600,25fps)，先进行帧采样(可以为1秒1帧)，并通过编码器对其进行特征提取，得到每一帧的特征向量。其次，计算所有帧之间的相似度(图中为64帧，得到64*64矩阵)。然后，该相似度矩阵通过归一化得到64维时序特征序列，图4中时序示出的特征序列是64*512的矩阵，其中，512表示的是一个序列的长度，长度并不是固定的，数值越大，处理时间越长，但数值太小，精度不够，因此可以采取一个适中的数值，本申请采用的是512，将时序特征输入变形器(transformer)进行进一步特征增强，得到增强处理后的时序特征序列。最后，增强处理后的时序特征序列经过分类处理，以及后处理得到最终的场景分割点检测结果。
在本申请中，主要阐述的是获取目标视频的待处理视频帧序列，该待处理视频帧序列包括M个视频帧，对M个视频帧中的每一个视频帧进行全局特征提取和局部特征提取，得到每一个视频帧的全局特征向量和局部特征向量；再根据得到的M个全局特征向量，构造M个视频帧的全局相似度矩阵，根据得到的M个局部特征向量，构造M个视频帧的局部相似度矩阵；根据全局相似度矩阵和局部相似度矩阵确定待处理视频帧序列对应的时序特征序列，结合全局同特征和局部特征，不仅要参考图像帧之间的全局相似度，还要参考图像帧之间的局部相似度，结合两者能够更加准确的判断图像帧之间是否具备相同的场景，然后对时序特征序列进行时序增强处理，得到增强处理后的时序特征序列，相当于为特征序列加入时间先后性，避免因时序错乱造成场景分割点识别错误；然后再对增强处理后的时序特征序列进行处理，确定M个视频帧中的每一个视频帧的场景分割点检测结果。该方法可以确定出每一个视频帧是否是场景分割帧，具体的，本申请通过多个相似度矩阵，并结合局部特征和全局特征，再为特征加入时序性，可以使得对视频帧之间的相似度确认更为准确，从而可以提高视频帧是否是场景分割帧的判断准确率，也即是可以提高视频场景分割的准确率。
基于上述实施例，本申请实施例公开了另一种数据处理方法，请参见图5，图5是本申请实施例公开的另一种数据处理方法的流程示意图，该数据处理方法可以由计算机设备执行的，该数据处理方法具体可以包括步骤S501～S508：
S501、获取目标视频。
S502、对目标视频进行等间隔抽帧处理，得到目标视频的待处理视频帧序列，待处理视频帧序列包括M个视频帧。
S503、对M个视频帧中的每一个视频帧进行全局特征提取和局部特征提取，得到每一个视频帧的全局特征向量和局部特征向量。
S504、根据得到的M个全局特征向量，构造M个视频帧的全局相似度矩阵，根据得到的M个局部特征向量，构造M个视频帧的局部相似度矩阵。
S505、根据全局相似度矩阵和所述局部相似度矩阵确定待处理视频帧序列对应的时序特征序列，对时序特征序列进行时序增强处理，得到增强处理后的时序特征序列。
S506、对增强处理后的时序特征序列进行处理，确定M个视频帧中的每一个视频帧的场景分割点检测结果。
其中，步骤S501～S506在图2示出的相关实施例进行了详细的阐述，这里就不再赘述。前述的阐述，既可以当作是模型的预测也可以当作是模型的训练，在本申请中，在模型的训练过程中，并不是离线抽取图像特征，再以特征作为后续的输入，而是将该模型作为完整训练框架的一部分，一起训练。训练过程中，基于数据集的调整，预训练模型参数会修改，使得精度更高。对于给定的视频帧序列{I1，I2，…，In}，可以得到一组特征序列{F1，F2，…，Fn}。模型的训练步骤和前述一样，因此，可以基于前述步骤，确定出一个数据处理模型，该数据处理模型可以对任意视频进行处理，得到该视频中抽帧后的各个视频帧是否为场景分割帧的检测结果。
基于此，本申请准备了包含1万条不同场景变化下的影视综和UGC(UserGenerated Content，用户生成内容)视频数据集，人工标注出其中的场景分割点。其中8千视频作为训练集，剩下2千作为测试。基于本申请的数据处理方法，相比基于镜头的方法、离线特征分类方法以及端到端的方法，本申请的方法精度有了明显的提升，详见表1：
表1
准确率 召回率 F1-score
基于镜头的方法 0.7370 0.7157 0.7262
离线特征分类 0.8478 0.7515 0.7968
端到端的方法 0.9064 0.8135 0.8575
本申请 0.9256 0.8442 0.8830
根据表1可知，本申请的方法准确率、召回率以及F1-score都呈现出更好的效果。其中，F1-score分数是准确率P(Precision)和召回率R(Recall)的调和平均数。
S507、针对M个视频帧中的任一视频帧，从目标视频中获取任一视频帧的前一视频帧。
由于本申请处理的是抽帧处理后的视频帧序列，并不包含目标视频的所有视频帧，因此，还可以对场景分割点检测结果进行验证。
在一种可能的实现方式中，在确定出M个视频帧的场景分割点检测结果后，针对M个视频帧中的任一视频帧，从目标视频中获取任一视频帧的前一视频帧，这里的前一视频帧是紧挨着任一视频帧的，时间先于任一视频帧。
S508、若任一视频帧的场景分割点检测结果指示任一视频帧为场景分割点，且前一视频帧与任一视频帧所指示的场景不一致，则确定任一视频帧为场景分割点。
在一种可能的实现方中，在获取到任一视频帧后，先根据场景分割点检测结果确定该任一视频帧是否为场景分割点，若是，则将该任一视频帧和前述获取的前一视频帧的场景进行比较，若是场景不一致，则确定该任一视频帧为场景分割帧，这样一来，又增加了场景分割点检测结果的准确性。
上述也提及本申请所提出的数据处理方法可以应用于多种场景，以打标签为例，具体可以包括：根据场景分割点检测结果对目标视频进行划分，得到多个视频片段；为多个视频片段生成视频标签集合，不同的视频片段对应的视频标签不同；接收视频获取请求，并对视频获取请求进行解析，得到视频获取请求的请求视频标签；从视频标签集合中获取与请求视频标签相匹配的目标视频标签，并返回目标视频标签对应的视频片段。视频获取请求可以是用户在检索时直接输入的关键字/词，可以根据该关键字/词直接输出对应的目标视频片段，以满足用户需求。
在另一种可能的实现方式中，该数据处理方法还用于视频剪辑场景，例如，当用户上传目标视频后，计算机设备根据该数据处理方法确定出场景分割点检测结果，继而根据场景分割点检测结果将目标视频拆分成独立的视频片段，并直接输出多个独立的视频片段，用户可以基于这些视频片段实现视频的混剪，选择中意的视频片段，丢弃效果不太好的视频片段。
本申请实施例中，除了确定视频帧是否为场景分割点，还针对场景分割点检测结果进行了验证，并展示了实验效果。本申请主要利用基于端到端的训练框架，并结合不同维度的相似度矩阵，由此提高了图像帧之间的相似度，然后再对特征的时序进行增强，可以提高视频帧是否为场景分割帧的判断准确率，也即是可以提高视频场景分割的准确率，最后通过非极大值抑制方法，确定出最后场景分割点检测结果，进一步提升了准确率，相较于其他场景分割方法，采用本申请所提出的数据处理方法进行场景分割，得到的场景分割点检测结果精确度更高，且适用性也更广。
基于上述的方法实施例，本申请实施例还提供了一种数据处理装置的结构示意图。参见图6，为本申请实施例提供的一种数据处理装置的结构示意图。图6所示的数据处理装置600可运行如下单元：
获取单元601，用于获取目标视频的待处理视频帧序列，所述待处理视频帧序列包括M个视频帧，M为大于1的正整数；
处理单元602，用于：
对所述M个视频帧中的每一个视频帧进行全局特征提取和局部特征提取，得到所述每一个视频帧的全局特征向量和局部特征向量；
根据得到的M个全局特征向量，构造所述M个视频帧的全局相似度矩阵，根据得到的M个局部特征向量，构造所述M个视频帧的局部相似度矩阵；
根据所述全局相似度矩阵和所述局部相似度矩阵确定所述待处理视频帧序列对应的时序特征序列，对所述时序特征序列进行时序增强处理，得到增强处理后的时序特征序列；
对所述增强处理后的时序特征序列进行处理，确定所述M个视频帧中的每一个视频帧的场景分割点检测结果。
在一种可能的实现方式中，所述处理单元602根据所述全局相似度矩阵和所述局部相似度矩阵确定所述待处理视频帧序列对应的时序特征序列时，具体用于：
将所述全局相似度矩阵和所述局部相似度矩阵进行拼接处理，得到拼接相似度矩阵；
利用帧间相似度处理网络对所述拼接相似度矩阵进行处理，得到时序特征序列；其中，所述时序特征序列包括M个时序特征，每一个时序特征对应所述M个视频帧中的一个视频帧。
在一种可能的实现方式中，所述处理单元602根据得到的M个全局特征向量，构造所述M个视频帧的全局相似度矩阵时，具体用于：
计算第一全局特征向量和第二全局特征向量之间的余弦距离和欧式距离，所述第一全局特征向量为所述M个全局特征向量中的任意一个，所述第二全局特征向量为所述M个全局特征向量中的任意一个；
根据计算得到的全局特征向量之间的余弦距离，确定第一全局相似度矩阵，根据计算得到的全局特征向量之间的欧式距离，确定第二全局相似度矩阵，将所述第一全局相似度矩阵和所述第二全局相似度矩阵确定为所述M个视频帧的全局相似度矩阵。
其中，所述处理单元602根据得到的M个局部特征向量，构造所述M个视频帧的局部相似度矩阵时，具体用于：
计算第一局部特征向量和第二局部特征向量之间的余弦距离和欧式距离，所述第一局部特征向量为所述M个局部特征向量中的任意一个，所述第二局部特征向量为所述M个局部特征向量中的任意一个；
根据计算得到的局部特征向量之间的余弦距离，确定第一局部相似度矩阵，根据计算得到的局部特征向量之间的欧式距离，确定第二局部相似度矩阵，将所述第一局部相似度矩阵和所述第二局部相似度矩阵确定为所述M个视频帧的局部相似度矩阵。
在一种可能的实现方式中，所述处理单元602所述将所述全局相似度矩阵和所述局部相似度矩阵进行拼接处理，得到拼接相似度矩阵时，具体用于：
将所述第一全局相似度矩阵、所述第二全局相似度矩阵、所述第一局部相似度矩阵以及所述第二局部相似度矩阵进行拼接处理，得到拼接相似度矩阵。
在一种可能的实现方式中，所述处理单元602对所述时序特征序列进行时序增强处理，得到增强处理后的时序特征序列时，具体用于：
利用时序增强网络对所述时序特征序列进行时序增强处理，得到增强处理后的时序特征序列；其中，所述增强处理后的时序特征序列包括M个增强处理后的时序特征，每一个增强处理后的时序特征对应所述M个视频帧中的一个视频帧；
所述处理单元602对所述增强处理后的时序特征序列进行处理，确定所述M个视频帧中的每一个视频帧的场景分割点检测结果时，具体用于：
利用分类网络对所述增强处理后的时序特征序列进行处理，得到所述每一个增强处理后的时序特征所对应的分类概率值；
将多个分类概率值中差值在设定范围内的任意两个分类概率值进行合并处理，并将合并处理后得到的分类概率值与概率阈值进行比较；
根据比较结果确定所述M个视频帧中的每一个视频帧的场景分割点检测结果。
在一种可能的实现方式中，所述获取单元601获取目标视频的待处理视频帧序列时，具体用于：
获取所述目标视频；
对所述目标视频进行等间隔抽帧处理，得到所述目标视频的待处理视频帧序列。
在一种可能的实现方式中，所述处理单元602，还用于：
针对所述M个视频帧中的任一视频帧，从所述目标视频中获取所述任一视频帧的前一视频帧；
若所述任一视频帧的场景分割点检测结果指示所述任一视频帧为场景分割点，且所述前一视频帧与所述任一视频帧所指示的场景不一致，则确定所述任一视频帧为场景分割点。
根据本申请的一个实施例，图2所示的数据处理方法所涉及的各个步骤可以是由图6所示的数据处理装置中的各个单元来执行的。例如，图2所示的数据处理方法中的步骤S201可由图6所示的数据处理装置中的获取单元601来执行，步骤S202-S205可由图6所示的数据处理装置中的处理单元602来执行。再如，图5示出的数据处理方法中的步骤S501和步骤S507可由图6所示的数据处理装置中的获取单元601来执行，步骤S502-S506以及步骤S508可由图6所示的数据处理装置中的处理单元602来执行。
根据本申请的另一个实施例，图6所示的数据处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，基于数据处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
根据本申请的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2以及图5所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图6中所示的数据处理装置，以及来实现本申请实施例的数据处理方法。所述计算机程序可以记载于例如计算机可读存储介质上，并通过计算机可读存储介质装载于上述计算机设备中，并在其中运行。
本申请实施例中，获取单元601获取目标视频的待处理视频帧序列，该待处理视频帧序列包括M个视频帧，处理单元602对M个视频帧中的每一个视频帧进行全局特征提取和局部特征提取，得到每一个视频帧的全局特征向量和局部特征向量；再根据得到的M个全局特征向量，构造M个视频帧的全局相似度矩阵，根据得到的M个局部特征向量，构造M个视频帧的局部相似度矩阵；根据全局相似度矩阵和局部相似度矩阵确定待处理视频帧序列对应的时序特征序列，结合全局同特征和局部特征，不仅要参考图像帧之间的全局相似度，还要参考图像帧之间的局部相似度，结合两者能够更加准确的判断图像帧之间是否具备相同的场景，然后处理单元602对时序特征序列进行时序增强处理，得到增强处理后的时序特征序列，相当于为特征序列加入时间先后性，避免因时序错乱造成场景分割点识别错误；然后处理单元602再对增强处理后的时序特征序列进行处理，确定M个视频帧中的每一个视频帧的场景分割点检测结果。该方法可以确定出每一个视频帧是否是场景分割帧，具体的，本申请通过多个相似度矩阵，并结合局部特征和全局特征，再为特征加入时序性，可以使得对视频帧之间的相似度确认更为准确，从而可以提高视频帧是否是场景分割帧的判断准确率，也即是可以提高视频场景分割的准确率。
基于上述方法以及装置实施例，本申请实施例提供了一种计算机设备，参见图7，为本申请实施例提供的一种计算机设备的结构示意图。图7所示的计算机设备700至少包括处理器701、输入接口702、输出接口703、计算机存储介质704以及存储器705。其中，处理器701、输入接口702、输出接口703、计算机存储介质704以及存储器705可通过总线或其他方式连接。
计算机存储介质704可以存储在计算机设备700的存储器705中，所述计算机存储介质704用于存储计算机程序，所述计算机程序包括程序指令，所述处理器701用于执行所述计算机存储介质704存储的程序指令。处理器701(或称CPU(Central Processing Unit，中央处理器))是计算机设备700的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条计算机指令从而实现相应方法流程或相应功能。
本申请实施例还提供了一种计算可读机存储介质(Memory)，所述计算机可读存储介质可以是计算机设备700中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备700中的内置存储介质，当然也可以包括计算机设备700支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了计算机设备700的操作系统。并且，在该存储空间中还存放了适于被处理器701加载并执行的一条或多条计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如可以是至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机可读存储介质。
在一个实施例中，所述计算机可读存储介质可由处理器701加载并执行计算机可读存储介质中存放的一条或多条计算机程序，以实现上述有关图2以及图5的数据处理方法的相应步骤。具体实现中，计算机可读存储介质中的一条或多条指令由处理器701加载并执行如下步骤：
获取目标视频的待处理视频帧序列，所述待处理视频帧序列包括M个视频帧，M为大于1的正整数；
对所述M个视频帧中的每一个视频帧进行全局特征提取和局部特征提取，得到所述每一个视频帧的全局特征向量和局部特征向量；
根据得到的M个全局特征向量，构造所述M个视频帧的全局相似度矩阵，根据得到的M个局部特征向量，构造所述M个视频帧的局部相似度矩阵；
根据所述全局相似度矩阵和所述局部相似度矩阵确定所述待处理视频帧序列对应的时序特征序列，对所述时序特征序列进行时序增强处理，得到增强处理后的时序特征序列；
对所述增强处理后的时序特征序列进行处理，确定所述M个视频帧中的每一个视频帧的场景分割点检测结果。
在一种可能的实现方式中，所述处理器701根据所述全局相似度矩阵和所述局部相似度矩阵确定所述待处理视频帧序列对应的时序特征序列时，具体用于：
将所述全局相似度矩阵和所述局部相似度矩阵进行拼接处理，得到拼接相似度矩阵；
利用帧间相似度处理网络对所述拼接相似度矩阵进行处理，得到时序特征序列；其中，所述时序特征序列包括M个时序特征，每一个时序特征对应所述M个视频帧中的一个视频帧。
在一种可能的实现方式中，所述处理器701根据得到的M个全局特征向量，构造所述M个视频帧的全局相似度矩阵时，具体用于：
计算第一全局特征向量和第二全局特征向量之间的余弦距离和欧式距离，所述第一全局特征向量为所述M个全局特征向量中的任意一个，所述第二全局特征向量为所述M个全局特征向量中的任意一个；
根据计算得到的全局特征向量之间的余弦距离，确定第一全局相似度矩阵，根据计算得到的全局特征向量之间的欧式距离，确定第二全局相似度矩阵，将所述第一全局相似度矩阵和所述第二全局相似度矩阵确定为所述M个视频帧的全局相似度矩阵。
其中，所述处理器701根据得到的M个局部特征向量，构造所述M个视频帧的局部相似度矩阵时，具体用于：
计算第一局部特征向量和第二局部特征向量之间的余弦距离和欧式距离，所述第一局部特征向量为所述M个局部特征向量中的任意一个，所述第二局部特征向量为所述M个局部特征向量中的任意一个；
根据计算得到的局部特征向量之间的余弦距离，确定第一局部相似度矩阵，根据计算得到的局部特征向量之间的欧式距离，确定第二局部相似度矩阵，将所述第一局部相似度矩阵和所述第二局部相似度矩阵确定为所述M个视频帧的局部相似度矩阵。
在一种可能的实现方式中，所述处理器701将所述全局相似度矩阵和所述局部相似度矩阵进行拼接处理，得到拼接相似度矩阵时，具体用于：
将所述第一全局相似度矩阵、所述第二全局相似度矩阵、所述第一局部相似度矩阵以及所述第二局部相似度矩阵进行拼接处理，得到拼接相似度矩阵。
在一种可能的实现方式中，所述处理器701对所述时序特征序列进行时序增强处理，得到增强处理后的时序特征序列时，具体用于：
利用时序增强网络对所述时序特征序列进行时序增强处理，得到增强处理后的时序特征序列；其中，所述增强处理后的时序特征序列包括M个增强处理后的时序特征，每一个增强处理后的时序特征对应所述M个视频帧中的一个视频帧；
所述处理器701对所述增强处理后的时序特征序列进行处理，确定所述M个视频帧中的每一个视频帧的场景分割点检测结果时，具体用于：
利用分类网络对所述增强处理后的时序特征序列进行处理，得到所述每一个增强处理后的时序特征所对应的分类概率值；
将多个分类概率值中差值在设定范围内的任意两个分类概率值进行合并处理，并将合并处理后得到的分类概率值与概率阈值进行比较；
根据比较结果确定所述M个视频帧中的每一个视频帧的场景分割点检测结果。
在一种可能的实现方式中，所述处理器701获取目标视频的待处理视频帧序列时，具体用于：
获取所述目标视频；对所述目标视频进行等间隔抽帧处理，得到所述目标视频的待处理视频帧序列。
在一种可能的实现方式中，所述处理器701还用于：
针对所述M个视频帧中的任一视频帧，从所述目标视频中获取所述任一视频帧的前一视频帧；若所述任一视频帧的场景分割点检测结果指示所述任一视频帧为场景分割点，且所述前一视频帧与所述任一视频帧所指示的场景不一致，则确定所述任一视频帧为场景分割点。
根据本申请的一个方面，本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中。处理器701从计算机可读存储介质中读取该计算机程序，处理器701执行该计算机程序，使得计算机设备700执行图2以及图5的数据处理方法。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可能可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种数据处理方法，其特征在于，所述方法包括：
获取目标视频的待处理视频帧序列，所述待处理视频帧序列包括M个视频帧，M为大于1的正整数；
对所述M个视频帧中的每一个视频帧进行全局特征提取和局部特征提取，得到所述每一个视频帧的全局特征向量和局部特征向量；
根据得到的M个全局特征向量，构造所述M个视频帧的全局相似度矩阵，根据得到的M个局部特征向量，构造所述M个视频帧的局部相似度矩阵；
根据所述全局相似度矩阵和所述局部相似度矩阵确定所述待处理视频帧序列对应的时序特征序列，对所述时序特征序列进行时序增强处理，得到增强处理后的时序特征序列；
对所述增强处理后的时序特征序列进行处理，确定所述M个视频帧中的每一个视频帧的场景分割点检测结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述全局相似度矩阵和所述局部相似度矩阵确定所述待处理视频帧序列对应的时序特征序列，包括：
将所述全局相似度矩阵和所述局部相似度矩阵进行拼接处理，得到拼接相似度矩阵；
利用帧间相似度处理网络对所述拼接相似度矩阵进行处理，得到时序特征序列；其中，所述时序特征序列包括M个时序特征，每一个时序特征对应所述M个视频帧中的一个视频帧。
3.根据权利要求2所述的方法，其特征在于，所述根据得到的M个全局特征向量，构造所述M个视频帧的全局相似度矩阵，包括：
计算第一全局特征向量和第二全局特征向量之间的余弦距离和欧式距离，所述第一全局特征向量为所述M个全局特征向量中的任意一个，所述第二全局特征向量为所述M个全局特征向量中的任意一个；
根据计算得到的全局特征向量之间的余弦距离，确定第一全局相似度矩阵，根据计算得到的全局特征向量之间的欧式距离，确定第二全局相似度矩阵，将所述第一全局相似度矩阵和所述第二全局相似度矩阵确定为所述M个视频帧的全局相似度矩阵；
其中，所述根据得到的M个局部特征向量，构造所述M个视频帧的局部相似度矩阵，包括：
计算第一局部特征向量和第二局部特征向量之间的余弦距离和欧式距离，所述第一局部特征向量为所述M个局部特征向量中的任意一个，所述第二局部特征向量为所述M个局部特征向量中的任意一个；
根据计算得到的局部特征向量之间的余弦距离，确定第一局部相似度矩阵，根据计算得到的局部特征向量之间的欧式距离，确定第二局部相似度矩阵，将所述第一局部相似度矩阵和所述第二局部相似度矩阵确定为所述M个视频帧的局部相似度矩阵。
4.根据权利要求3所述的方法，其特征在于，所述将所述全局相似度矩阵和所述局部相似度矩阵进行拼接处理，得到拼接相似度矩阵，包括：
将所述第一全局相似度矩阵、所述第二全局相似度矩阵、所述第一局部相似度矩阵以及所述第二局部相似度矩阵进行拼接处理，得到拼接相似度矩阵。
5.根据权利要求2-4任一项所述的方法，其特征在于，所述对所述时序特征序列进行时序增强处理，得到增强处理后的时序特征序列，包括：
利用时序增强网络对所述时序特征序列进行时序增强处理，得到增强处理后的时序特征序列；其中，所述增强处理后的时序特征序列包括M个增强处理后的时序特征，每一个增强处理后的时序特征对应所述M个视频帧中的一个视频帧；
所述对所述增强处理后的时序特征序列进行处理，确定所述M个视频帧中的每一个视频帧的场景分割点检测结果，包括：
利用分类网络对所述增强处理后的时序特征序列进行处理，得到所述每一个增强处理后的时序特征所对应的分类概率值；
将多个分类概率值中差值在设定范围内的任意两个分类概率值进行合并处理，并将合并处理后得到的分类概率值与概率阈值进行比较；
根据比较结果确定所述M个视频帧中的每一个视频帧的场景分割点检测结果。
6.根据权利要求1所述的方法，其特征在于，所述获取目标视频的待处理视频帧序列，包括：
获取所述目标视频；
对所述目标视频进行等间隔抽帧处理，得到所述目标视频的待处理视频帧序列。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
针对所述M个视频帧中的任一视频帧，从所述目标视频中获取所述任一视频帧的前一视频帧；
若所述任一视频帧的场景分割点检测结果指示所述任一视频帧为场景分割点，且所述前一视频帧与所述任一视频帧所指示的场景不一致，则确定所述任一视频帧为场景分割点。
8.一种数据处理装置，其特征在于，所述装置包括：
获取单元，用于获取目标视频的待处理视频帧序列，所述待处理视频帧序列包括M个视频帧，M为大于1的正整数；
处理单元，用于：
对所述M个视频帧中的每一个视频帧进行全局特征提取和局部特征提取，得到所述每一个视频帧的全局特征向量和局部特征向量；
根据得到的M个全局特征向量，构造所述M个视频帧的全局相似度矩阵，根据得到的M个局部特征向量，构造所述M个视频帧的局部相似度矩阵；
根据所述全局相似度矩阵和所述局部相似度矩阵确定所述待处理视频帧序列对应的时序特征序列，对所述时序特征序列进行时序增强处理，得到增强处理后的时序特征序列；
对所述增强处理后的时序特征序列进行处理，确定所述M个视频帧中的每一个视频帧的场景分割点检测结果。
9.一种计算机设备，其特征在于，所述计算机设备包括输入接口和输出接口，所述计算机设备还包括：
处理器，适于实现一条或多条计算机程序；以及，
计算机可读存储介质，所述计算机可读存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由所述处理器加载并执行如权利要求1-7任一项所述的数据处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由处理器加载并执行如权利要求1-7任一项所述的数据处理方法。
11.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取所述计算机程序，处理器执行所述计算机程序，使得计算机设备执行如权利要求1-7任一项所述的数据处理方法。
CN202210701609.6A 2022-06-17 2022-06-17 数据处理方法、装置、设备、存储介质及计算机程序产品 Pending CN115115981A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210701609.6A CN115115981A (zh) 2022-06-17 2022-06-17 数据处理方法、装置、设备、存储介质及计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210701609.6A CN115115981A (zh) 2022-06-17 2022-06-17 数据处理方法、装置、设备、存储介质及计算机程序产品

Publications (1)

Publication Number Publication Date
CN115115981A true CN115115981A (zh) 2022-09-27

Family

ID=83328367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210701609.6A Pending CN115115981A (zh) 2022-06-17 2022-06-17 数据处理方法、装置、设备、存储介质及计算机程序产品

Country Status (1)

Country Link
CN (1) CN115115981A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116546274A (zh) * 2023-07-07 2023-08-04 荣耀终端有限公司 视频切分方法、选取方法、合成方法及相关装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116546274A (zh) * 2023-07-07 2023-08-04 荣耀终端有限公司 视频切分方法、选取方法、合成方法及相关装置
CN116546274B (zh) * 2023-07-07 2023-10-20 荣耀终端有限公司 视频切分方法、选取方法、合成方法及相关装置

Similar Documents

Publication Publication Date Title
CN114663670A (zh) 一种图像检测方法、装置、电子设备及存储介质
CN110598019B (zh) 重复图像识别方法及装置
CN111209897B (zh) 视频处理的方法、装置和存储介质
CN113298197B (zh) 数据聚类方法、装置、设备及可读存储介质
CN112804558B (zh) 视频拆分方法、装置及设备
CN113590854B (zh) 一种数据处理方法、设备以及计算机可读存储介质
CN113762326A (zh) 一种数据识别方法、装置、设备及可读存储介质
Zhang et al. CFANet: Efficient detection of UAV image based on cross-layer feature aggregation
CN112101154B (zh) 视频分类方法、装置、计算机设备和存储介质
CN115115981A (zh) 数据处理方法、装置、设备、存储介质及计算机程序产品
CN114519863A (zh) 人体重识别方法、人体重识别装置、计算机设备及介质
CN112668662B (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
CN104778272B (zh) 一种基于区域挖掘和空间编码的图像位置估计方法
CN113822134A (zh) 一种基于视频的实例跟踪方法、装置、设备及存储介质
CN113761282A (zh) 视频查重方法、装置、电子设备以及存储介质
CN111767839A (zh) 一种车辆行驶轨迹确定方法、装置、设备及介质
CN114067356B (zh) 基于联合局部引导与属性聚类的行人重识别方法
Liu et al. 3D action recognition using multi-temporal skeleton visualization
Yang et al. Enhanced deep feature representation for person search
CN114329050A (zh) 视觉媒体数据去重处理方法、装置、设备和存储介质
CN114329070A (zh) 视频特征提取方法、装置、计算机设备和存储介质
CN115439922A (zh) 对象行为识别方法、装置、设备及介质
Murtaza et al. TAB: Temporally aggregated bag-of-discriminant-words for temporal action proposals
Cao et al. Adaptive and robust feature selection for low bitrate mobile augmented reality applications
Wang et al. Joint Face Detection and Initialization for Face Alignment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination