CN112464814A - 视频处理方法、装置、电子设备及存储介质 - Google Patents

视频处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112464814A
CN112464814A CN202011358245.3A CN202011358245A CN112464814A CN 112464814 A CN112464814 A CN 112464814A CN 202011358245 A CN202011358245 A CN 202011358245A CN 112464814 A CN112464814 A CN 112464814A
Authority
CN
China
Prior art keywords
information
video frames
video
neural network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011358245.3A
Other languages
English (en)
Inventor
汪琦
冯知凡
杨虎
柴春光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202011358245.3A priority Critical patent/CN112464814A/zh
Publication of CN112464814A publication Critical patent/CN112464814A/zh
Priority to US17/450,158 priority patent/US20220027634A1/en
Priority to EP21201637.2A priority patent/EP3933686A3/en
Priority to JP2021166004A priority patent/JP7299282B2/ja
Priority to KR1020210142151A priority patent/KR20210134528A/ko
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本申请公开了视频处理方法、装置、电子设备及存储介质，涉及人工智能领域，尤其涉及深度学习、模型训练、知识图谱、视频处理等领域。具体实现方案为：获取多个第一视频帧，对所述多个第一视频帧进行细粒度拆分，得到多个第二视频帧；根据与所述多个第二视频帧相关的多模态信息，对所述多个第二视频帧进行特征编码，得到用于表征所述多模态信息融合的特征融合信息；根据所述特征融合信息，对所述多个第二视频帧进行相似度匹配，根据相似度匹配结果得到目标视频。采用本申请，可以提高视频拆分的准确性。

Description

视频处理方法、装置、电子设备及存储介质
技术领域
本申请涉及人工智能领域，本申请尤其涉及深度学习、模型训练、知识图谱、视频处理等领域。
背景技术
便携设备、手机终端等电子设备相比以往更加智能化，芯片的解析能力更强，尤其对视频信息的解析、画面渲染等比以往更快、更清晰，使得用户对视频画质的需求高于以往，尤其是针对高时效性场景(如阅兵场景、体育赛事、实时的视频直播等)而言，对每个视频瞬间的精彩画面，用户都希望捕捉到，需要更为准确且清晰的视频画面。
视频处理中，以视频拆分为例，可以通过人工方式实现视频拆分，但是不仅会耗费大量的人工成本，且无法满足上述高时效性场景的要求；而对于非人工的一些视频拆分方式，无法充分理解视频帧的内容信息(如文本、视频中物体、动作等)，对视频事件的连贯性(如镜头变换导致的场景切换等)也不能很好的把控，导致对视频画面解读的准确性大大降低，影响了最终目标视频所呈现的视频画质效果。
发明内容
本申请提供了一种视频处理方法、装置、电子设备及存储介质。
根据本申请的一方面，提供了一种视频处理方法，包括：
获取多个第一视频帧，对所述多个第一视频帧进行细粒度拆分，得到多个第二视频帧；
根据与所述多个第二视频帧相关的多模态信息，对所述多个第二视频帧进行特征编码，得到用于表征所述多模态信息融合的特征融合信息；
根据所述特征融合信息，对所述多个第二视频帧进行相似度匹配，根据相似度匹配结果得到目标视频。
根据本申请的另一方面，提供了一种视频处理装置，包括：
拆分模块，用于获取多个第一视频帧，对所述多个第一视频帧进行细粒度拆分，得到多个第二视频帧；
编码模块，用于根据与所述多个第二视频帧相关的多模态信息，对所述多个第二视频帧进行特征编码，得到用于表征所述多模态信息融合的特征融合信息；
视频处理模块，用于根据所述特征融合信息，对所述多个第二视频帧进行相似度匹配，根据相似度匹配结果得到目标视频。
根据本申请的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本申请任意一实施例所提供的方法。
根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使该计算机执行本申请任意一项实施例所提供的方法。
采用本申请，可以获取多个第一视频帧，对所述多个第一视频帧进行细粒度拆分，以得到多个第二视频帧。根据与所述多个第二视频帧相关的多模态信息，对所述多个第二视频帧进行特征编码，可以得到用于表征所述多模态信息融合的特征融合信息。根据所述特征融合信息，对所述多个第二视频帧进行相似度匹配，可以根据相似度匹配结果得到目标视频。由于可以基于该多模态信息进行特征编码，以得到包含更多视频内容细节的信息，根据相似度匹配后，得到的目标视频更为精确，从而提高了视频拆分的准确性。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请实施例的视频处理的高时效场景的多个视频帧示意图；
图2是根据本申请实施例的视频处理方法的流程示意图；
图3是根据本申请实施例的实现视频处理方法的系统模块的架构图；
图4是根据本申请实施例的基于多模态信息实现特征编码的示意图；
图5是根据本申请实施例的相似度匹配的示意图；
图6是根据本申请实施例的视频合并的示意图；
图7是根据本申请实施例的视频处理装置的组成结构示意图；
图8是用来实现本申请实施例的视频处理方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。本文中术语“第一”、“第二”表示指代多个类似的技术用语并对其进行区分，并不是限定顺序的意思，或者限定只有两个的意思，例如，第一特征和第二特征，是指代有两类/两个特征，第一特征可以为一个或多个，第二特征也可以为一个或多个。
另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。
视频拆分是因互联网视频和新媒体短视频内容平台的需要，对传统电视媒体节目进行的二次加工，即将原来完整的一条节目内容，按照某种逻辑思维或特定需要，将其拆分成多条视频。互联网视频内容的主要来源包括传统电视媒体的节目、各类机构视频成品、影视公司影视作品，通过将这些视频拆分，可以深度挖掘有价值的信息，重新编辑后，可用于交互式网络电视(IPTV)、OTT、手机电视和新媒体短视频平台，满足新媒体视听节目碎片化要求，是视音频编辑行业一个新的尝试和探索。
传统通过人工的视频拆分技术，是采用人力对视频进行剪辑和视频拆分，处理时间长，在视频量大的情况下产能提升慢，因此无法应用在高时效性等场景，不仅耗费了大量的时间和经历，而且无法满足经济成本及时效性的要求。而对于非人工的视频拆分技术而言，比如，非机器学习的传统视频拆分算法，虽然可以基于色调及块匹配进行视频拆分，但是仅考虑了图片、镜头之间的视觉信息，无法充分理解视频帧的内容信息。又如，基于机器学习的视频拆分技术，虽然可以基于聚类的方法进行视频拆分(包括关键帧的提取、图像特征的描述、聚类等)，但是没有考虑到视频事件的连贯性，在一些镜头切换比较频繁的场景(如图1所示的体育赛事中的多个视频帧构成的精彩瞬间等)，或者复杂的事件场景中存在多镜头连续变换的视频，视频拆分的效果表现的不好，视频拆分的准确率低。
根据本申请的实施例，提供了一种视频处理方法，图2是根据本申请实施例的视频处理方法的流程示意图，该方法可以应用于视频处理装置，例如，该装置可以部署于终端或服务器或其它处理设备执行的情况下，可以执行视频帧拆分、视频帧特征编码、视频帧相似度匹配以得到最终的目标视频等等。其中，终端可以为用户设备(UE，User Equipment)、移动设备、蜂窝电话、无绳电话、个人数字处理(PDA，Personal Digital Assistant)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图2所示，包括：
S101、获取多个第一视频帧，对所述多个第一视频帧进行细粒度拆分，得到多个第二视频帧。
S102、根据与所述多个第二视频帧相关的多模态信息，对所述多个第二视频帧进行特征编码，得到用于表征所述多模态信息融合的特征融合信息。
S103、根据所述特征融合信息，对所述多个第二视频帧进行相似度匹配，根据相似度匹配结果得到目标视频。
上述S101中，可以根据用于表征镜头及色彩变换的参数，对所述多个第一视频帧进行细粒度拆分，以得到所述多个第二视频帧。用于表征镜头及色彩变换的参数，从镜头的角度而言，可以包括针对视频边缘的拆分、基于视频中的块匹配进行视频拆分、基于统计判决进行视频拆分，基于双阈值比较(通过设定2个阈值的比较来区分是镜头突变还是镜头渐变等)进行视频拆分等。从色彩变换的角度而言，可以包括基于色调进行视频拆分。
上述S102中，可以根据所述多模态信息，对所述多个第二视频帧进行特征提取及特征融合处理，得到所述特征融合信息。其中特征融合处理可以采用多个神经网络模型、或者整合为多功能提取的一个神经网络模型作为专家模型，以分别对与第二视频帧相关的多模态信息进行特征提取。其中，多模态信息包括：知识图谱信息、所述文本信息、所述音频信息、所述色调信息、所述物体信息、所述动作信息中的至少一种。
上述S103中，可以根据所述特征融合信息，对所述多个第二视频帧的相似度进行打分，将打分结果作为所述相似度匹配结果，所述相似度匹配结果为针对同一事件内容的相邻视频帧相似的情况下，将所述相邻视频帧进行视频合并，直至对所述多个第二视频帧分别依据相邻视频帧合并结束，根据视频合并结果得到所述目标视频。
采用本申请，可以获取多个第一视频帧，对所述多个第一视频帧进行细粒度拆分，以得到多个第二视频帧。根据与所述多个第二视频帧相关的多模态信息，对所述多个第二视频帧进行特征编码，可以得到用于表征所述多模态信息融合的特征融合信息。根据所述特征融合信息，对所述多个第二视频帧进行相似度匹配，可以根据相似度匹配结果得到目标视频。由于可以基于该多模态信息进行特征编码，可以得到包含更多视频内容细节的信息，根据相似度匹配后，得到的目标视频更为精确，从而提高了视频拆分的准确性。
一示例中，可以通过视频拆分模块、多模态特征编码模块、相似度匹配模块(主要针对相邻视频片段的相似度匹配)、视频帧拼接模块来实现上述S101-S103。具体的，可以获取输入该视频拆分模块的多个第一视频帧后，按镜头及色彩变换对获取的多个第一视频帧进行细粒度拆分，得到多个第二视频帧。对输入该多模态特征编码模块的该多个第二视频帧，根据多模态信息进行特征编码(如多模态信息的特征提取及特征融合)，得到融合多模态信息后的特征信息。将该特征信息输入该相似度匹配模块执行视频相似度匹配，得到相似度匹配结果(如相似度的打分结果)。相似度匹配结果为针对同一事件内容的两个相邻视频帧相似的情况下，基于同一事件内的视频片段进行还原的策略，通过该视频片段拼接模块分别将针对同一事件内容的两个相邻视频帧进行视频合并，得到视频处理最终的视频拆分结果。由于是针对同一事件内容的相似度合并，更关注于视频内容细节上的相似度，因此，视频拆分更准确，大大提高了最终视频拆分结果的准确度。
一实施方式中，还包括：根据预先训练好的第一神经网络模型，从所述多个第二视频帧中识别出所述多模态信息。
一示例中，第一神经网络模型可以有多个专家模型构成，也可以集成多个专家模型各自的功能到一个神经网络中，以第一神经网络模型集成多个专家模型各自的功能到一个神经网络为例，该第一神经网络模型可以包括：知识图谱提取器、文本提取器、音频提取器、色调提取器、物体提取器及动作提取器。其中，可以根据第一神经网络模型中的知识图谱提取器(或称基于知识图谱的结构化标签向量提取器)，识别出知识图谱信息(如knowledge特征)，可以根据第一神经网络模型中的文本提取器(或称基于文本的文本向量提取器)，识别出文本信息(如text特征)，可以根据所述第一神经网络模型中的音频提取器(或称基于音频的音频向量提取器)，识别出音频信息(如audio特征)，可以根据所述第一神经网络模型中的色调提取器(或称基于图像的RGB提取器)，识别出色调信息(如RGB特征)，可以根据所述第一神经网络模型中的物体提取器(或称基于目标检测的物体特征提取器)，识别出物体信息(如object特征)，可以根据所述第一神经网络模型中的动作提取器(基于动作识别的动作向量提取器)，识别出动作信息(如action特征)。其中，所述多模态信息包括：所述知识图谱信息、所述文本信息、所述音频信息、所述色调信息、所述物体信息、所述动作信息中的至少一种。
采用本实施方式，将本申请的智能视频拆分技术与基于机器学习的多个专家模型相结合来实现多模态信息的特征识别、特征提取及特征融合。进一步是针对所融合的特征信息(称之为特征融合信息)来实现相似度比对，从而能得到更充分的视频内容细节信息，以深入理解视频内容及事件知识，从而得到最为精确的视频拆分结果，大大提高了最终视频拆分结果的准确度。
一实施方式中，可以根据预先训练好的第一神经网络模型，如视频特征提取模型F(υ)，从所述多个第二视频帧中识别及提取出所述多模态信息。可以根据第二神经网络模型，如视频特征识别模型M(υ)，对所述多模态信息中各类信息进行区分。根据第三神经网络模型，如视频所对应时序信息的提取模型T(υ)，对与所述多模态信息相关的时序信息进行识别及提取，并记录上述视频特征提取的时间偏移表示，对所述第一神经网络模型、第二神经网络模型、所述第三神经网络模型的输出结果进行融合，得到上述特征融合信息，由于特征融合信息可以描述出更多视频内容的细节，因此，可以帮助后续相似度比对时提高匹配速度及精度，从而针对同一事件内容的两个相邻视频帧进行相似度匹配后得到视频处理最终的视频拆分结果，更为精确，视频拆分更准确，大大提高了最终视频拆分结果的准确度。
应用示例：
应用本申请实施例一处理流程包括如下内容：
图3是根据本申请实施例的实现视频处理方法的系统模块的架构图，基于视频拆分模块(主要按镜头及色彩变换对视频进行细粒度拆分)、多模态特征编码模块(主要利用多模态信息对视频进行特征编码)、相似度匹配模块(主要针对相邻视频片段进行相似度匹配，进而还可以对视频片段按同一事件内容进行视频合并，以得到最终的视频拆分结果)构成的系统，可以实现本申请的智能视频拆分流程。通过融合多模态信息来深入理解了视频内容及事件知识，结合深度学习对视频进行拆分。如图3所示，包括如下内容：
一、视频拆分模块
通过视频拆分模块可以实现视频片段的细粒度拆分，细粒度拆分的原则主要包括：1)基于色调的拆分，可以直接计算两帧的灰度差，如果总的帧差大于某一设定阈值，则存在镜头突变；2)基于边缘的拆分，边缘特性可用于镜头分割，可以先计算出帧间的总体位移，并以此进行配准，然后计算边缘的数量和位置；3)基于块匹配的拆分，以非压缩视频所采用的块匹配镜头为例，可以采用运动平滑性度量来检测镜头的变化；4)基于统计判决的拆分，利用运动补偿特征及自适应阈值方式，以及视频序列的时序镜头突变模式和镜头长度分布信息，建立一个统计判决模型，通过该统计判决模型所推导出的判据可使镜头检测错误率降到最低；5)基于双阈值比较的拆分，可以设置两个阈值(如Tb、Ts)。当帧差大于Tb时，存在镜头突变；当帧差小于Tb而大于Ts时存在镜头渐变。当接续帧的帧差开始超过Ts时，这一帧称为镜头渐变的起始帧，以此类推。
二、多模态特征编码模块
图4是根据本申请实施例的基于多模态信息实现特征编码的示意图，多模态特征编码主要通过多个专家模型获得若干专家向量(experts embedding)，通过这些expertsembedding完成对整个视频的多模态信息刻画和特征提取。如图4所示，包括如下内容：
视频级向量(embedding)表示，由多模态特征编码模块的一个示例，如多模态变换器(MMT，Multi-modual Transformer)得出。MMT可以遵循Transformer编码器的架构，Transformer编码器由堆叠的自注意力机制(Self-Attention)层和全连接层组成。MMT的输入Ω(υ)是一组embedding表示，所有维度均相同，规定为dmodel维,它们中的每一个都embedding都代表了一组特征表示，此输入如公式(1)所示：
Ω(υ)＝F(υ)+M(υ)+T(υ) (1)
其中，公式(1)中各参数的含义描述如下：
Ω(υ)表示视频帧特征编码后的向量输出；
F(υ)表示视频特征提取模型，用于提取视频中的多模态信息，其中，
Figure BDA0002803258520000081
表示提取知识图谱信息(如knowledge特征)，“kno”为knowledge特征的缩写，“k”表示向量的维度，“agg”表示平均向量；以此类推，可以分别对文本信息(如text特征)、音频信息(如audio特征)、色调信息(如RGB特征)、物体信息(如object特征)及动作信息(如action特征)进行提取；
M(υ)表示视频特征识别模型，用于区分多模态信息中不同类型的信息；
T(υ)表示视频所对应时序信息的提取模型，用于提取并记录时序信息(即时序向量)，以将特征提取的时间偏移表示记录下来，其中，
Figure BDA0002803258520000082
表示提取的时序信息，“D”表示多少秒。
就通过F(υ)提取的上述多模态信息而言，为了从视频数据固有的不同形式中学习有效的表示，可以通过各种专家模型作为视频特征提取器来提取上述多模态信息，各种专家模型主要包含基于知识图谱的结构化标签embedding提取器、基于文本的textembedding提取器，基于音频的audio embedding提取器、基于图像RGB提取器，以及基于目标检测的object特征提取器和基于动作识别的action embedding提取器，通过对各种专家模型分别提取的上述多模态信息进行特征融合，能够在各种内容维度，对视频信息进行全方位的表征。通过特征融合，可以基于所学习到的不同专家模型所提取的上述多模态信息之间的关系，并利用交叉模式和长序列时间关系来进行联合表示，从而使用不同经过预训练的专家模型
Figure BDA0002803258520000091
可以得到更为准确的视频内容细节。
每个专家模型都是受过特定任务训练得到的，然后用于多模态信息的特征提取。对于一个视频υ，每个专家模型可以提取一个序列包含K个特征(features)，记为：
Figure BDA0002803258520000092
通过各种专家模型提取视频的feature表征，由于使用不同的专家模型进行特征提取，因此，为了将所提取到的不同专家向量的特征(或称特征向量)映射到一个通用dmodel维，可以采用N个linear layes(每个专家提取器一个)，将所有特征投影到
Figure BDA0002803258520000093
Transformer编码器为其每个特征输入生成一个embedding，从而对于多个特征会提供多个embedding表示。为了获得每个特征的唯一embedding表示，可以定义了一个汇总
Figure BDA0002803258520000094
该embedding将收集的特征情境化(集合当前的表示)，通过最大池化来初始化此嵌入：
Figure BDA0002803258520000095
于是整个输入Feature序列的形式如公式(2)所示：
Figure BDA0002803258520000096
公式(2)中，N表示专家模型的数量(N为大于1的正整数)，K表示向量维度(K大于1的正整数)。
就通过M(υ)区分多模态信息中不同类型的信息而言，为了更好的处理和区分多模态信息，MMT需要区分出当前处理的embedding嵌入，是源自哪个专家模型的输入，可以学习了N个dmodel维的embeddings嵌入{E1,…,En}，以区分不同专家的embedding表示。专家模型的embeddings到视频编码器的序列采用以下公式(3)所示的形式：
E(υ)＝[E1,E1,…,E1,…,EN,EN,…,EN] (3)
公式(3)中，N表示专家模型的数量(N为大于1的正整数)。
就通过T(υ)记录时序信息而言，提供了有关视频中每个特征提取到MMT源自的时间信息。一个视频最长持续时间可以为tmax秒，以“秒”为度量参数，按秒学习一个dmodel维的D＝|tmax|，形如{T1,…,TD}。在时间范围[t，t+1)中提取的每个专家模式feature的将表示为Tt+1。例如，在视频中以2.2秒提取的特征将通过时间嵌入T3进行时间编码。学习了两个附加的时间嵌入Tagg和Tunk，分别对聚合特征和未知的时间信息特征进行编码。最后，Temporalembeddings T序列采用以下公式(4)所示的形式：
T(υ)＝[Tagg,T1,…,TD…,Tagg,T1,…,TD] (4)
公式(4)中，Tagg表示时间信息的平均向量，TD表示第D秒(D为大于1秒的数值)的时间信息。
MMT的实现方式如下公式(5)所示：
Figure BDA0002803258520000101
公式(5)中，N表示专家模型的数量，同时，用ψ_agg(υ)表示视频汇总的信息。Ω(υ)表示MMT的输入。
三、相似度匹配模块：
图5是根据本申请实施例的相似度匹配的示意图，基于相似度匹配模块主要完成两个相邻视频片段的相似度计算，相似度匹配采取上下对称的模块设计。通过对多个专家模型embeding的相似度计算，利用权重运算(权重可以通过注意力机制进行自动学习)获得相似度打分，以得到相似度匹配结果。且损失函数可以采用双向最大边界损失函数(bi-directional max-margin ranking loss)，如下公式(6)所示：
Figure BDA0002803258520000102
公式(6)中，
Figure BDA0002803258520000103
表示上述损失函数，B表示用于样本批处理的超参数(batch size)，sij＝similarity(vi,vj),sij表示两个视频片段的相似度，m是margin，可以取值为(0,1)。
四、相似度匹配模块或在上述图3基础上在相似度匹配模块后新增一个视频帧拼接模块来专门用于视频拼接处理
图6是根据本申请实施例的视频合并的示意图，以集成该视频拼接处理的相似度匹配模块为例，如图6所示，通过相似度匹配模块可以实现相邻视频片段的合并拼接，主要将同一个事件内的视频细片段进行还原，如果判定两个相邻的视频片段相似，则将两个视频进行合并，依次进行比较，得出最终的视频拆分结果。
采用本应用示例，可以融合用于提取多模态信息的多个专家模型的信息，对多模态信息进行捕捉和融合，从而全方位的刻画整个视频内容，提升视频画面的呈现效果；能够通过深度学习的方式进行大规模大批量的视频拆分，并且整个过程更加高效且更加低成本，满足高时效性视频要求；结合基于KG的结构化标签技术(如实体、主题等)，基于文本的表示技术，基于视觉的(RGB、Object、Action)等，能够从视频内容角度对视频进行拆分，解决多镜头频繁切换导致拆分效果差的问题；可扩展性强，使用场景不仅局限于视频技术，可以适用于任何视频的相似度匹配场景：如视频指纹识别，视频短带长、相同视频匹配等。
根据本申请的实施例，提供了一种视频处理装置，图7是根据本申请实施例的视频处理装置的组成结构示意图，如图7所示，包括：拆分模块41，用于获取多个第一视频帧，对所述多个第一视频帧进行细粒度拆分，得到多个第二视频帧；编码模块42，用于根据与所述多个第二视频帧相关的多模态信息，对所述多个第二视频帧进行特征编码，得到用于表征所述多模态信息融合的特征融合信息；视频处理模块43，用于根据所述特征融合信息，对所述多个第二视频帧进行相似度匹配，根据相似度匹配结果得到目标视频。
一实施方式中，所述拆分模块，用于根据用于表征镜头及色彩变换的参数，对所述多个第一视频帧进行细粒度拆分，得到所述多个第二视频帧。
一实施方式中，所述编码模块，用于根据所述多模态信息，对所述多个第二视频帧进行特征提取及特征融合处理，得到所述特征融合信息。
一实施方式中，所述视频处理模块，用于根据所述特征融合信息，对所述多个第二视频帧的相似度进行打分，将打分结果作为所述相似度匹配结果；所述相似度匹配结果为针对同一事件内容的相邻视频帧相似的情况下，所述相邻视频帧进行视频合并，直至对所述多个第二视频帧分别依据相邻视频帧合并结束，根据视频合并结果得到所述目标视频。
一实施方式中，还包括识别模块，用于根据预先训练好的第一神经网络模型，从所述多个第二视频帧中识别出所述多模态信息。
一实施方式中，所述识别模块，用于根据所述第一神经网络模型中的知识图谱提取器，识别出知识图谱信息；根据所述第一神经网络模型中的文本提取器，识别出文本信息；根据所述第一神经网络模型中的音频提取器，识别出音频信息；根据所述第一神经网络模型中的色调提取器，识别出色调信息；根据所述第一神经网络模型中的物体提取器，识别出物体信息；根据所述第一神经网络模型中的动作提取器，识别出动作信息；所述多模态信息包括：所述知识图谱信息、所述文本信息、所述音频信息、所述色调信息、所述物体信息、所述动作信息中的至少一种。
一实施方式中，还包括融合模块，用于根据第二神经网络模型，对所述多模态信息中各类信息进行区分；根据第三神经网络模型，对与所述多模态信息相关的时序信息进行识别；对所述第一神经网络模型、第二神经网络模型、所述第三神经网络模型的输出结果进行融合，得到所述特征融合信息。
本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图8所示，是用来实现本申请实施例的视频处理方法的电子设备的框图。该电子设备可以为前述部署设备或代理设备。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图8所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。
存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的视频处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的视频处理方法。
存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的视频处理方法对应的程序指令/模块(例如，附图7所示的拆分模块、编码模块、视频处理模块等模块)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的视频处理方法。
存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
视频处理方法的电子设备，还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。
输入装置803可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPS)服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
采用本申请，可以获取多个第一视频帧，对所述多个第一视频帧进行细粒度拆分，以得到多个第二视频帧。根据与所述多个第二视频帧相关的多模态信息，对所述多个第二视频帧进行特征编码，可以得到用于表征所述多模态信息融合的特征融合信息。根据所述特征融合信息，对所述多个第二视频帧进行相似度匹配，可以根据相似度匹配结果得到目标视频。采用本申请，由于可以基于该多模态信息进行特征编码，可以得到包含更多视频内容细节的信息，根据相似度匹配后，得到的目标视频更为精确，从而提高了视频拆分的准确性。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (16)

1.一种视频处理方法，所述方法包括：
获取多个第一视频帧，对所述多个第一视频帧进行细粒度拆分，得到多个第二视频帧；
根据与所述多个第二视频帧相关的多模态信息，对所述多个第二视频帧进行特征编码，得到用于表征所述多模态信息融合的特征融合信息；
根据所述特征融合信息，对所述多个第二视频帧进行相似度匹配，根据相似度匹配结果得到目标视频。
2.根据权利要求1所述的方法，其中，所述获取多个第一视频帧，对所述多个第一视频帧进行细粒度拆分，得到多个第二视频帧，包括：
根据用于表征镜头及色彩变换的参数，对所述多个第一视频帧进行细粒度拆分，得到所述多个第二视频帧。
3.根据权利要求1所述的方法，其中，所述根据与所述多个第二视频帧相关的多模态信息，对所述多个第二视频帧进行特征编码，得到用于表征所述多模态信息融合的特征融合信息，包括：
根据所述多模态信息，对所述多个第二视频帧进行特征提取及特征融合处理，得到所述特征融合信息。
4.根据权利要求1所述的方法，其中，所述根据所述特征融合信息，对所述多个第二视频帧进行相似度匹配，根据相似度匹配结果得到目标视频，包括：
根据所述特征融合信息，对所述多个第二视频帧的相似度进行打分，将打分结果作为所述相似度匹配结果；
所述相似度匹配结果为针对同一事件内容的相邻视频帧相似的情况下，将所述相邻视频帧进行视频合并，直至对所述多个第二视频帧分别依据相邻视频帧合并结束，根据视频合并结果得到所述目标视频。
5.根据权利要求2-4中任一项所述的方法，还包括：
根据预先训练好的第一神经网络模型，从所述多个第二视频帧中识别出所述多模态信息。
6.根据权利要求5所述的方法，其中，所述根据预先训练好的第一神经网络模型，从所述多个第二视频帧中识别出所述多模态信息，包括：
根据所述第一神经网络模型中的知识图谱提取器，识别出知识图谱信息；
根据所述第一神经网络模型中的文本提取器，识别出文本信息；
根据所述第一神经网络模型中的音频提取器，识别出音频信息；
根据所述第一神经网络模型中的色调提取器，识别出色调信息；
根据所述第一神经网络模型中的物体提取器，识别出物体信息；
根据所述第一神经网络模型中的动作提取器，识别出动作信息；
所述多模态信息包括：所述知识图谱信息、所述文本信息、所述音频信息、所述色调信息、所述物体信息、所述动作信息中的至少一种。
7.根据权利要求6所述的方法，还包括：
根据第二神经网络模型，对所述多模态信息中各类信息进行区分；
根据第三神经网络模型，对与所述多模态信息相关的时序信息进行识别；
对所述第一神经网络模型、第二神经网络模型、所述第三神经网络模型的输出结果进行融合，得到所述特征融合信息。
8.一种视频处理装置，所述装置包括：
拆分模块，用于获取多个第一视频帧，对所述多个第一视频帧进行细粒度拆分，得到多个第二视频帧；
编码模块，用于根据与所述多个第二视频帧相关的多模态信息，对所述多个第二视频帧进行特征编码，得到用于表征所述多模态信息融合的特征融合信息；
视频处理模块，用于根据所述特征融合信息，对所述多个第二视频帧进行相似度匹配，根据相似度匹配结果得到目标视频。
9.根据权利要求8所述的装置，其中，所述拆分模块，用于：
根据用于表征镜头及色彩变换的参数，对所述多个第一视频帧进行细粒度拆分，得到所述多个第二视频帧。
10.根据权利要求8所述的装置，其中，所述编码模块，用于：
根据所述多模态信息，对所述多个第二视频帧进行特征提取及特征融合处理，得到所述特征融合信息。
11.根据权利要求8所述的装置，其中，所述视频处理模块，用于：
根据所述特征融合信息，对所述多个第二视频帧的相似度进行打分，将打分结果作为所述相似度匹配结果；
所述相似度匹配结果为针对同一事件内容的相邻视频帧相似的情况下，将所述相邻视频帧进行视频合并，直至对所述多个第二视频帧分别依据相邻视频帧合并结束，根据视频合并结果得到所述目标视频。
12.根据权利要求9-11中任一项所述的装置，还包括识别模块，用于：
根据预先训练好的第一神经网络模型，从所述多个第二视频帧中识别出所述多模态信息。
13.根据权利要求12所述的装置，其中，所述识别模块，用于：
根据所述第一神经网络模型中的知识图谱提取器，识别出知识图谱信息；
根据所述第一神经网络模型中的文本提取器，识别出文本信息；
根据所述第一神经网络模型中的音频提取器，识别出音频信息；
根据所述第一神经网络模型中的色调提取器，识别出色调信息；
根据所述第一神经网络模型中的物体提取器，识别出物体信息；
根据所述第一神经网络模型中的动作提取器，识别出动作信息；
所述多模态信息包括：所述知识图谱信息、所述文本信息、所述音频信息、所述色调信息、所述物体信息、所述动作信息中的至少一种。
14.根据权利要求13所述的装置，还包括融合模块，用于：
根据第二神经网络模型，对所述多模态信息中各类信息进行区分；
根据第三神经网络模型，对与所述多模态信息相关的时序信息进行识别；
对所述第一神经网络模型、第二神经网络模型、所述第三神经网络模型的输出结果进行融合，得到所述特征融合信息。
15.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行权利要求1-7中任一项所述的方法。
CN202011358245.3A 2020-11-27 2020-11-27 视频处理方法、装置、电子设备及存储介质 Pending CN112464814A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202011358245.3A CN112464814A (zh) 2020-11-27 2020-11-27 视频处理方法、装置、电子设备及存储介质
US17/450,158 US20220027634A1 (en) 2020-11-27 2021-10-06 Video processing method, electronic device and storage medium
EP21201637.2A EP3933686A3 (en) 2020-11-27 2021-10-08 Video processing method, apparatus, electronic device, storage medium, and program product
JP2021166004A JP7299282B2 (ja) 2020-11-27 2021-10-08 ビデオ処理方法、装置、電子デバイス、記憶媒体、及びプログラム
KR1020210142151A KR20210134528A (ko) 2020-11-27 2021-10-22 비디오 처리 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011358245.3A CN112464814A (zh) 2020-11-27 2020-11-27 视频处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112464814A true CN112464814A (zh) 2021-03-09

Family

ID=74809546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011358245.3A Pending CN112464814A (zh) 2020-11-27 2020-11-27 视频处理方法、装置、电子设备及存储介质

Country Status (5)

Country Link
US (1) US20220027634A1 (zh)
EP (1) EP3933686A3 (zh)
JP (1) JP7299282B2 (zh)
KR (1) KR20210134528A (zh)
CN (1) CN112464814A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033662A (zh) * 2021-03-25 2021-06-25 北京华宇信息技术有限公司 多视频关联方法及装置
CN113177538A (zh) * 2021-06-30 2021-07-27 腾讯科技（深圳）有限公司 一种视频循环识别方法、装置、计算机设备及存储介质
CN113239184A (zh) * 2021-07-09 2021-08-10 腾讯科技（深圳）有限公司 知识库获取方法、装置、计算机设备及存储介质
CN113301382A (zh) * 2021-05-07 2021-08-24 北京百度网讯科技有限公司 视频处理方法、设备、介质及程序产品
CN113360712A (zh) * 2021-05-21 2021-09-07 北京百度网讯科技有限公司 视频表示的生成方法、装置和电子设备
CN113569942A (zh) * 2021-07-26 2021-10-29 上海明略人工智能(集团)有限公司 短视频事件分类方法、系统、电子设备及存储介质
CN113747239A (zh) * 2021-09-08 2021-12-03 北京快来文化传播集团有限公司 视频剪辑方法及其装置
CN114186093A (zh) * 2021-12-13 2022-03-15 北京百度网讯科技有限公司 多媒体数据的处理方法、装置、设备和介质
CN114598933A (zh) * 2022-03-16 2022-06-07 平安科技（深圳）有限公司 一种视频内容处理方法、系统、终端及存储介质
CN114610911A (zh) * 2022-03-04 2022-06-10 中国电子科技集团公司第十研究所 多模态知识本征表示学习方法、装置、设备及存储介质
WO2023068756A1 (ko) * 2021-10-19 2023-04-27 삼성전자 주식회사 멀티 모달리티를 제공하는 웨어러블 디바이스 및 이의 동작 방법

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11610402B2 (en) * 2021-05-11 2023-03-21 CLIPr Co. System and method for crowdsourcing a video summary for creating an enhanced video summary
KR102411095B1 (ko) * 2021-12-30 2022-06-22 주식회사 파일러 광고 적합 콘텐츠 탐색 시스템 및 방법
CN114064967B (zh) * 2022-01-18 2022-05-06 之江实验室 多粒度级联交互网络的跨模态时序行为定位方法及装置
KR102438743B1 (ko) * 2022-03-02 2022-08-31 인하대학교 산학협력단 클라우드 서비스용 3d 매뉴얼을 2d 인터랙티브 비디오로 변환하는 방법 및 장치
CN114581821A (zh) * 2022-02-23 2022-06-03 腾讯科技（深圳）有限公司 一种视频检测方法、系统及存储介质和服务器
CN115499707A (zh) * 2022-09-22 2022-12-20 北京百度网讯科技有限公司 视频相似度的确定方法和装置
CN117278776A (zh) * 2023-04-23 2023-12-22 青岛尘元科技信息有限公司 多通道视频内容实时比对方法和装置、设备及存储介质
CN116186330B (zh) * 2023-04-23 2023-07-11 之江实验室 一种基于多模态学习的视频去重方法及装置
CN117152650A (zh) * 2023-04-23 2023-12-01 青岛尘元科技信息有限公司 海量视频的视频内容分析方法和视频事件信息网络
CN117132926B (zh) * 2023-10-27 2024-02-09 腾讯科技（深圳）有限公司 一种视频处理的方法、相关装置、设备以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605991A (zh) * 2013-10-28 2014-02-26 复旦大学 一种视频广告的自动检测方法
CN104199933A (zh) * 2014-09-04 2014-12-10 华中科技大学 一种多模态信息融合的足球视频事件检测与语义标注方法
CN106682108A (zh) * 2016-12-06 2017-05-17 浙江大学 一种基于多模态卷积神经网络的视频检索方法
CN107589828A (zh) * 2016-07-07 2018-01-16 深圳狗尾草智能科技有限公司 基于知识图谱的人机交互方法及系统
CN110263729A (zh) * 2019-06-24 2019-09-20 腾讯科技（深圳）有限公司 一种镜头边界检测的方法、模型训练方法以及相关装置
CN111783709A (zh) * 2020-07-09 2020-10-16 中国科学技术大学 针对教育视频的信息预测方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3358692B2 (ja) * 1995-08-02 2002-12-24 日本電信電話株式会社 映像ブロック分類方法及び装置
US20090123086A1 (en) * 2005-10-31 2009-05-14 Sharp Kabushiki Kaisha View environment control system
JP5209593B2 (ja) * 2009-12-09 2013-06-12 日本電信電話株式会社 映像編集装置，映像編集方法および映像編集プログラム
US9436876B1 (en) * 2014-12-19 2016-09-06 Amazon Technologies, Inc. Video segmentation techniques
US10628486B2 (en) * 2017-11-15 2020-04-21 Google Llc Partitioning videos
EP3912132A4 (en) * 2019-02-28 2022-12-07 Stats Llc SYSTEM AND METHOD FOR GENERATION OF PLAYER TRACKING DATA FROM BROADCAST VIDEO

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605991A (zh) * 2013-10-28 2014-02-26 复旦大学 一种视频广告的自动检测方法
CN104199933A (zh) * 2014-09-04 2014-12-10 华中科技大学 一种多模态信息融合的足球视频事件检测与语义标注方法
CN107589828A (zh) * 2016-07-07 2018-01-16 深圳狗尾草智能科技有限公司 基于知识图谱的人机交互方法及系统
CN106682108A (zh) * 2016-12-06 2017-05-17 浙江大学 一种基于多模态卷积神经网络的视频检索方法
CN110263729A (zh) * 2019-06-24 2019-09-20 腾讯科技（深圳）有限公司 一种镜头边界检测的方法、模型训练方法以及相关装置
CN111783709A (zh) * 2020-07-09 2020-10-16 中国科学技术大学 针对教育视频的信息预测方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANTOINE MIECH等: "Learning a Text-Video Embedding from Incomplete and Heterogeneous Data", 《ARXIV》, pages 90 - 16 *
VALENTIN GABEUR等: "Multi-modal Transformer for Video Retrieval", 《ARXIV》, pages 1 - 18 *
刘合安: "《人脑认知与跨媒体分析推理技术在教育中的应用研究》", 吉林出版集团股份有限公司, pages: 90 - 93 *
苏筱涵等: "基于深度网络的多模态视频场景分割算法", 《武汉理工大学学报( 信息与管理工程版)》, vol. 42, no. 3, pages 246 - 251 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033662A (zh) * 2021-03-25 2021-06-25 北京华宇信息技术有限公司 多视频关联方法及装置
CN113301382B (zh) * 2021-05-07 2022-12-13 北京百度网讯科技有限公司 视频处理方法、设备、介质及程序产品
CN113301382A (zh) * 2021-05-07 2021-08-24 北京百度网讯科技有限公司 视频处理方法、设备、介质及程序产品
CN113360712A (zh) * 2021-05-21 2021-09-07 北京百度网讯科技有限公司 视频表示的生成方法、装置和电子设备
CN113360712B (zh) * 2021-05-21 2022-12-06 北京百度网讯科技有限公司 视频表示的生成方法、装置和电子设备
CN113177538B (zh) * 2021-06-30 2021-08-24 腾讯科技（深圳）有限公司 一种视频循环识别方法、装置、计算机设备及存储介质
CN113177538A (zh) * 2021-06-30 2021-07-27 腾讯科技（深圳）有限公司 一种视频循环识别方法、装置、计算机设备及存储介质
CN113239184A (zh) * 2021-07-09 2021-08-10 腾讯科技（深圳）有限公司 知识库获取方法、装置、计算机设备及存储介质
CN113239184B (zh) * 2021-07-09 2021-11-02 腾讯科技（深圳）有限公司 知识库获取方法、装置、计算机设备及存储介质
CN113569942B (zh) * 2021-07-26 2024-04-05 上海明略人工智能(集团)有限公司 短视频事件分类方法、系统、电子设备及存储介质
CN113569942A (zh) * 2021-07-26 2021-10-29 上海明略人工智能(集团)有限公司 短视频事件分类方法、系统、电子设备及存储介质
CN113747239A (zh) * 2021-09-08 2021-12-03 北京快来文化传播集团有限公司 视频剪辑方法及其装置
WO2023068756A1 (ko) * 2021-10-19 2023-04-27 삼성전자 주식회사 멀티 모달리티를 제공하는 웨어러블 디바이스 및 이의 동작 방법
CN114186093A (zh) * 2021-12-13 2022-03-15 北京百度网讯科技有限公司 多媒体数据的处理方法、装置、设备和介质
CN114610911A (zh) * 2022-03-04 2022-06-10 中国电子科技集团公司第十研究所 多模态知识本征表示学习方法、装置、设备及存储介质
CN114610911B (zh) * 2022-03-04 2023-09-19 中国电子科技集团公司第十研究所 多模态知识本征表示学习方法、装置、设备及存储介质
CN114598933B (zh) * 2022-03-16 2022-12-27 平安科技（深圳）有限公司 一种视频内容处理方法、系统、终端及存储介质
CN114598933A (zh) * 2022-03-16 2022-06-07 平安科技（深圳）有限公司 一种视频内容处理方法、系统、终端及存储介质
WO2023173539A1 (zh) * 2022-03-16 2023-09-21 平安科技（深圳）有限公司 一种视频内容处理方法、系统、终端及存储介质

Also Published As

Publication number Publication date
JP2022020647A (ja) 2022-02-01
US20220027634A1 (en) 2022-01-27
JP7299282B2 (ja) 2023-06-27
KR20210134528A (ko) 2021-11-10
EP3933686A3 (en) 2022-04-27
EP3933686A2 (en) 2022-01-05

Similar Documents

Publication Publication Date Title
CN112464814A (zh) 视频处理方法、装置、电子设备及存储介质
Gao et al. Listen to look: Action recognition by previewing audio
CN109117777B (zh) 生成信息的方法和装置
US9785865B2 (en) Multi-stage image classification
US20190066732A1 (en) Video Skimming Methods and Systems
CN110751224B (zh) 视频分类模型的训练方法、视频分类方法、装置及设备
US8605957B2 (en) Face clustering device, face clustering method, and program
CN111026914B (zh) 视频摘要模型的训练方法、视频摘要生成方法及装置
CN112381104A (zh) 一种图像识别方法、装置、计算机设备及存储介质
WO2023197979A1 (zh) 一种数据处理方法、装置、计算机设备及存储介质
US20140321750A1 (en) Dynamic gesture recognition process and authoring system
Mademlis et al. Multimodal stereoscopic movie summarization conforming to narrative characteristics
CN111836118B (zh) 视频处理方法、装置、服务器及存储介质
CN111491187A (zh) 视频的推荐方法、装置、设备及存储介质
CN111444819B (zh) 切割帧确定方法、网络训练方法、装置、设备及存储介质
CN113507630B (zh) 比赛视频的拆条方法和装置
CN112291634A (zh) 视频处理方法及装置
CN117764115A (zh) 多模态模型的多任务预训练方法、多模态识别方法及设备
CN109598206B (zh) 动态手势识别方法及装置
CN115171014B (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
CN108733737B (zh) 视频库的建立方法及装置
CN116137671A (zh) 一种封面生成方法、装置、设备及介质
CN114627036B (zh) 多媒体资源的处理方法、装置、可读介质和电子设备
WO2022194084A1 (zh) 视频播放方法、终端设备、装置、系统及存储介质
Bhaumik et al. Real-time video segmentation using a vague adaptive threshold

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination