CN113569706B - 视频场景分割点判断方法、系统、存储介质及电子设备 - Google Patents

视频场景分割点判断方法、系统、存储介质及电子设备 Download PDF

Info

Publication number
CN113569706B
CN113569706B CN202110835482.2A CN202110835482A CN113569706B CN 113569706 B CN113569706 B CN 113569706B CN 202110835482 A CN202110835482 A CN 202110835482A CN 113569706 B CN113569706 B CN 113569706B
Authority
CN
China
Prior art keywords
video
sample
feature
model
equal part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110835482.2A
Other languages
English (en)
Other versions
CN113569706A (zh
Inventor
胡郡郡
唐大闰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Minglue Artificial Intelligence Group Co Ltd
Original Assignee
Shanghai Minglue Artificial Intelligence Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Minglue Artificial Intelligence Group Co Ltd filed Critical Shanghai Minglue Artificial Intelligence Group Co Ltd
Priority to CN202110835482.2A priority Critical patent/CN113569706B/zh
Publication of CN113569706A publication Critical patent/CN113569706A/zh
Application granted granted Critical
Publication of CN113569706B publication Critical patent/CN113569706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种视频场景分割点判断方法、系统、存储介质及电子设备，视频场景分割点判断方法包括：视频特征获取步骤：对视频进行划分获得多个所述视频等份，通过深度学习预训练模型对每个所述视频等份进行提取特征，获得对应每一所述视频等份的第一视频特征；模型处理步骤：将多个所述第一视频特征输入到通过临近一致性正则化约束后的分割点判断模型进行处理获得对应每一所述视频等份的分类概率；判断步骤:通过阈值对每个所述等份视频的分类概率进行判断确定场景分割点。本发明通过一致性正则化约束，能够提高表征能力。

Description

视频场景分割点判断方法、系统、存储介质及电子设备
技术领域
本发明属于视频场景分割点判断领域，具体涉及一种视频场景分割点判断方法、系统、存储介质及电子设备。
背景技术
基于事件检测的方法(Dence Boundary Generator)。但是此方法每个事件会有重叠的时间区域，而场景分割要求每个segment没有时间上的重叠。
发明内容
本申请实施例提供了一种视频场景分割点判断方法、系统、存储介质及电子设备，以至少解决现有的视频场景分割点判断方法分割事件时间区域重叠的问题。
本发明提供了一种视频场景分割点判断方法，其中，包括：
视频特征获取步骤：对视频进行划分获得多个视频等份，通过深度学习预训练模型对每个所述视频等份进行提取特征，获得对应每一所述视频等份的第一视频特征；
模型处理步骤：将多个所述第一视频特征输入到通过临近一致性正则化约束后的分割点判断模型进行处理获得对应每一所述视频等份的分类概率；
判断步骤:通过阈值对每个所述视频等份的分类概率进行判断确定场景分割点。
上述视频场景分割点判断方法，其中，所述视频特征获取步骤包括：
视频等份获得步骤：将所述视频按照时间分成多个所述视频等份；
获得视频特征维度步骤:使用所述深度学习预训练模型对每个所述视频等份进行特征提取，获得对应每个所述视频等份的所述第一视频特征。
上述视频场景分割点判断方法，其中，所述模型处理步骤包括：
样本视频等份获得步骤：将样本视频按照时间分成多个样本视频等份；
获得样本视频特征维度步骤:使用所述深度学习预训练模型对每个所述样本视频等份提取特征，获得对应每个所述样本视屏等份的第一样本特征；
模型构建步骤：构建所述分割点判断模型并通过所述第一样本特征对所述分割点判断模型进行训练；
分类概率获得步骤：根据所述第一视频特征通过训练后的所述分割点判断模型获得对应每一所述视频等份的分类概率。
上述视频场景分割点判断方法，其中，所述模型构建步骤包括：
分割点构建步骤：根据所述第一样本特征构造每一分场景分割点的第二样本特征；
第二样本特征处理步骤：搭建并通过Encoder网络对所述第二样本特征进行处理获得第三样本特征；
预测步骤：搭建并通过Predictor网络对所述第三样本特征进行预测获得样本场景分割点；
约束步骤：通过分类损失函数和一致性正则化损失函数对所述样本场景分割点进行约束。
本发明还提供了一种视频场景分割点判断系统，其中，包括：
视频特征获取模块，所述视频特征获取模块对视频进行划分获得多个视频等份，通过深度学习预训练模型对每个所述视频等份进行提取特征，获得对应每一所述视频等份的第一视频特征；
模型处理模块，所述模型处理模块将多个所述第一视频特征输入到通过临近一致性正则化约束后的分割点判断模型进行处理获得对应每一所述视频等份的分类概率；
判断模块，所述判断模块通过阈值对每个所述等份视频的分类概率进行判断确定场景分割点。
上述视频场景分割点判断系统，其中，所述视频特征获取模块包括：
视频等份获得单元，所述视频等份获得单元将所述视频按照时间分成多个所述视频等份；
获得视频特征维度单元，所述获得视频特征维度单元使用所述深度学习预训练模型对每个所述视频等份进行特征提取，获得对应每个所述视频等份的所述第一视频特征。
上述视频场景分割点判断系统，其中，所述模型处理模块包括：
样本视频等份获得单元，所述样本视频等份获得单元将样本视频按照时间分成多个样本视频等份；
获得样本视频特征维度单元，所述获得样本视频特征维度单元使用深度学习预训练模型对每个所述样本视频等份提取特征，获得对应每个所述样本视屏等份的第一样本特征；
模型构建单元，所述模型构建单元构建所述分割点判断模型并通过所述第一样本特征对所述分割点判断模型进行训练；
分类概率获得单元，所述分类概率获得单元根据所述第一视频特征通过训练后的所述分割点判断模型获得对应每一所述视频等份的分类概率。
上述视频场景分割点判断系统，其中，所述模型构建单元包括：
分割点构建组件，所述分割点构建组件根据所述第一样本特征构造每一分场景分割点的第二样本特征；
第二样本特征处理组件，所述第二样本特征处理组件搭建并通过Encoder网络对所述第二样本特征进行处理获得第三样本特征；
预测组件，所述预测组件搭建并通过Predictor网络对所述第三样本特征进行预测获得样本场景分割点；
约束组件，所述约束组件通过分类损失函数和一致性正则化损失函数对所述样本场景分割点进行约束。
一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上述任一所述的视频场景分割点判断方法。
一种存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如上述任一所述的视频场景分割点判断方法。
本发明的有益效果在于：
本发明属于深度学习技术中的计算机视觉领域。本发明使用了一致性损失，能够有较好的特征表达；每个点取的特征是此视频等份以及左右两个视频等份特征，甚至是更多的视频等份，感受比较大，能够有较好的鲁棒性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
在附图中：
图1是本发明的视频场景分割点判断方法的流程图；
图2是本发明的分步骤S1的流程图；
图3是本发明的分步骤S2的流程图；
图4是本发明的分步骤S23的流程图；
图5是本发明的视频场景分割图；
图6是本发明的模型示意图；
图7是本发明的视频场景分割点判断系统的结构示意图；
图8是根据本发明实施例的电子设备的框架图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
在详细阐述本发明各个实施例之前，对本发明的核心发明思想予以概述，并通过下述若干实施例予以详细阐述。
实施例一：
请参照图1，图1是视频场景分割点判断方法的流程图。如图1所示，本发明的视频场景分割点判断方法包括：
视频特征获取步骤S1：对视频进行划分获得多个视频等份，通过深度学习预训练模型对每个所述视频等份进行提取特征，获得对应每一所述视频等份的第一视频特征；
模型处理步骤S2：将多个所述第一视频特征输入到通过临近一致性正则化约束后的分割点判断模型进行处理获得对应每一所述视频等份的分类概率；
判断步骤S3:通过阈值对每个所述视频等份的分类概率进行判断确定场景分割点。
请参照图2，图2是视频特征获取步骤S1的流程图。如图2所示，所述视频特征获取步骤S1包括：
视频等份获得步骤S11：将所述视频按照时间分成多个所述视频等份；
获得视频特征维度步骤S12:使用所述深度学习预训练模型对每个所述视频等份进行特征提取，获得对应每个所述视频等份的所述第一视频特征。
请参照图3，图3是模型处理步骤S2的流程图。如图3所示，所述模型处理步骤S2包括：
样本视频等份获得步骤S21：将样本视频按照时间分成多个样本视频等份；
获得样本视频特征维度步骤S22:使用深度学习预训练模型对每个所述样本视频等份提取特征，获得对应每个所述样本视屏等份的第一样本特征；
模型构建步骤S23：构建所述分割点判断模型并通过所述第一样本特征对所述分割点判断模型进行训练；
分类概率获得步骤S24：根据所述第一视频特征通过训练后的所述分割点判断模型获得对应每一所述视频等份的分类概率。
请参照图4，图4是模型构建步骤S23的流程图。如图4所示，模型构建步骤S23包括：
分割点构建步骤S231：根据所述第一样本特征构造每一分场景分割点的第二样本特征；
第二样本特征处理步骤S232：搭建并通过Encoder网络对所述第二样本特征进行处理获得第三样本特征；
预测步骤S233：搭建并通过Predictor网络对所述第三样本特征进行预测获得样本场景分割点；
约束步骤S234：通过分类损失函数和一致性正则化损失函数对所述样本场景分割点进行约束。
视频场景分割图如图5所示，整体模型方案如图6所示。
具体地说，训练阶段包括：
步骤1:将一个视频按照时间分成L等份，每等份的视频称为一个clip。
步骤2:使用深度学习预训练模型对每个clip提取特征，每个clip得到1*D的特征表达(D为特征维度)，那么L个clip得到L*D的特征。
步骤3:构造每个点的特征，每个点取这个点所在clip的特征以及左右两个clip的特征，那么每个点的特征为[Fleft,Fmid,Fright],维度为3*D。
步骤4:Encoder网络搭建，目的是对每个点的特征进行更高级语义的表征，并且将D降低为128维，那么每个点的特征变成3*128维。
步骤5：Predictor网络搭建，目的是对每个点的特征进行预测，标签为是否为真实分割点。
步骤6:设计损失函数：损失函数包含两个：分类损失函数为Lcls＝gmasklog(p)+(1-gmask)log(1-p)
其中gmask设置为：当某个点与groundtruth的距离小于等于1时认为是正例，反之为负例。
一致性正则化损失函数为：
其中cosin<FleftFright>+为当某个点为真实分割点的余弦相似度，cosin<FleftFright>-为当某个点不为真实分割点的余弦相似度
步骤7:反向传播训练模型
推理阶段：
步骤1:按照训练阶段一样，得到每个视频的特征L*D。
步骤2:前向传播经过encoder网络和predictor网络，得到每个clip的分类概率，卡一定的阈值即可判断是否为场景分割点。
实施例二：
请参照图7，图7是本发明的视频场景分割点判断系统的结构示意图。如图7所示本发明的一种视频场景分割点判断系统，其中，包括：
视频特征获取模块，所述视频特征获取模块对视频进行划分获得多个所述视频等份，通过深度学习预训练模型对每个所述视频等份进行提取特征，获得对应每一所述视频等份的第一视频特征；
模型处理模块，所述模型处理模块将多个所述第一视频特征输入到通过临近一致性正则化约束后的分割点判断模型进行处理获得对应每一所述视频等份的分类概率；
判断模块，所述判断模块通过阈值对每个所述等份视频的分类概率进行判断确定场景分割点。
其中，所述视频特征获取模块包括：
视频等份获得单元，所述视频等份获得单元将所述视频按照时间分成多个所述视频等份；
获得视频特征维度单元，所述获得视频特征维度单元使用深度学习预训练模型对每个所述视频等份进行特征提取，获得对应每个所述视屏等份的所述第一视频特征。
其中，所述模型处理模块包括：
样本视频等份获得单元，所述样本视频等份获得单元将样本视频按照时间分成多个样本视频等份；
获得样本视频特征维度单元，所述获得样本视频特征维度单元使用深度学习预训练模型对每个所述样本视频等份提取特征，获得对应每个所述样本视屏等份的第一样本特征；
模型构建单元，所述模型构建单元构建所述分割点判断模型并通过所述第一样本特征对所述分割点判断模型进行训练；
分类概率获得单元，所述分类概率获得单元根据所述第一视频特征通过训练后的所述分割点判断模型获得对应每一所述视频等份的分类概率。
其中，所述模型构建单元包括：
分割点构建组件，所述分割点构建组件根据所述第一样本特征构造每一分场景分割点的第二样本特征；
第二样本特征处理组件，所述第二样本特征处理组件搭建并通过Encoder网络对所述第二样本特征进行处理获得第三样本特征；
预测组件，所述预测组件搭建并通过Predictor网络对所述第三样本特征进行预测获得样本场景分割点；
约束组件，所述约束组件通过分类损失函数和一致性正则化损失函数对所述样本场景分割点进行约束。
实施例三：
结合图8所示，本实施例揭示了一种电子设备的一种具体实施方式。电子设备可以包括处理器81以及存储有计算机程序指令的存储器82。
具体地，上述处理器81可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性(Non-Volatile)存储器。在特定实施例中，存储器82包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。
处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种视频场景分割点判断方法。
在其中一些实施例中，电子设备还可包括通信接口83和总线80。其中，如图8所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线80包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线80可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(FrontSide Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该电子设备可以基于视频场景分割点判断，从而实现结合图1-图4描述的方法。
另外，结合上述实施例中视频场景分割点判断方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种视频场景分割点判断方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
综上所述，基于本发明的有益效果在于，本方案实现了视频场景分割点判断，本发明使用了一致性损失，能够有较好的特征表达；每个点取的特征是此clip以及左右两个clip的特征，甚至是更多的clip，感受比较大，能够有较好的鲁棒性。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本发明的保护范围应以所附权利要求的保护范围为准。

Claims (6)

1.一种视频场景分割点判断方法，其特征在于，包括：
视频特征获取步骤：对视频进行划分获得多个视频等份，通过深度学习预训练模型对每个所述视频等份进行提取特征，获得对应每一所述视频等份的第一视频特征；
模型处理步骤：将多个所述第一视频特征输入到通过临近一致性正则化约束后的分割点判断模型进行处理获得对应每一所述视频等份的分类概率；
判断步骤:通过阈值对每个所述视频等份的分类概率进行判断确定场景分割点；
其中，所述模型处理步骤包括：
样本视频等份获得步骤：将样本视频按照时间分成多个样本视频等份；
获得样本视频特征维度步骤:使用所述深度学习预训练模型对每个所述样本视频等份提取特征，获得对应每个所述样本视频等份的第一样本特征；
模型构建步骤：构建所述分割点判断模型并通过所述第一样本特征对所述分割点判断模型进行训练；
分类概率获得步骤：根据所述第一视频特征通过训练后的所述分割点判断模型获得对应每一所述视频等份的分类概率；
其中，所述模型构建步骤包括：
分割点构建步骤：根据所述第一样本特征构造每一分场景分割点的第二样本特征；
第二样本特征处理步骤：搭建并通过Encoder网络对所述第二样本特征进行处理获得第三样本特征；
预测步骤：搭建并通过Predictor网络对所述第三样本特征进行预测获得样本场景分割点；
约束步骤：通过分类损失函数和一致性正则化损失函数对所述样本场景分割点进行约束。
2.如权利要求1所述的视频场景分割点判断方法，其特征在于，所述视频特征获取步骤包括：
视频等份获得步骤：将所述视频按照时间分成多个所述视频等份；
获得视频特征维度步骤:使用所述深度学习预训练模型对每个所述视频等份进行特征提取，获得对应每个所述视频等份的所述第一视频特征。
3.一种视频场景分割点判断系统，其特征在于，包括：
视频特征获取模块，所述视频特征获取模块对视频进行划分获得多个视频等份，通过深度学习预训练模型对每个所述视频等份进行提取特征，获得对应每一所述视频等份的第一视频特征；
模型处理模块，所述模型处理模块将多个所述第一视频特征输入到通过临近一致性正则化约束后的分割点判断模型进行处理获得对应每一所述视频等份的分类概率；
判断模块，所述判断模块通过阈值对每个所述等份视频的分类概率进行判断确定场景分割点；
其中，所述模型处理模块包括：
样本视频等份获得单元，所述样本视频等份获得单元将样本视频按照时间分成多个样本视频等份；
获得样本视频特征维度单元，所述获得样本视频特征维度单元使用深度学习预训练模型对每个所述样本视频等份提取特征，获得对应每个所述样本视频等份的第一样本特征；
模型构建单元，所述模型构建单元构建所述分割点判断模型并通过所述第一样本特征对所述分割点判断模型进行训练；
分类概率获得单元，所述分类概率获得单元根据所述第一视频特征通过训练后的所述分割点判断模型获得对应每一所述视频等份的分类概率；
其中，所述模型构建单元包括：
分割点构建组件，所述分割点构建组件根据所述第一样本特征构造每一分场景分割点的第二样本特征；
第二样本特征处理组件，所述第二样本特征处理组件搭建并通过Encoder网络对所述第二样本特征进行处理获得第三样本特征；
预测组件，所述预测组件搭建并通过Predictor网络对所述第三样本特征进行预测获得样本场景分割点；
约束组件，所述约束组件通过分类损失函数和一致性正则化损失函数对所述样本场景分割点进行约束。
4.如权利要求3所述的视频场景分割点判断系统，其特征在于，所述视频特征获取模块包括：
视频等份获得单元，所述视频等份获得单元将所述视频按照时间分成多个所述视频等份；
获得视频特征维度单元，所述获得视频特征维度单元使用所述深度学习预训练模型对每个所述视频等份进行特征提取，获得对应每个所述视频等份的所述第一视频特征。
5.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至2中任一项所述的视频场景分割点判断方法。
6.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至2中任一项所述的视频场景分割点判断方法。
CN202110835482.2A 2021-07-23 2021-07-23 视频场景分割点判断方法、系统、存储介质及电子设备 Active CN113569706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110835482.2A CN113569706B (zh) 2021-07-23 2021-07-23 视频场景分割点判断方法、系统、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110835482.2A CN113569706B (zh) 2021-07-23 2021-07-23 视频场景分割点判断方法、系统、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN113569706A CN113569706A (zh) 2021-10-29
CN113569706B true CN113569706B (zh) 2024-03-01

Family

ID=78166632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110835482.2A Active CN113569706B (zh) 2021-07-23 2021-07-23 视频场景分割点判断方法、系统、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN113569706B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563444A (zh) * 2017-09-05 2018-01-09 浙江大学 一种零样本图像分类方法及系统
CN110213670A (zh) * 2019-05-31 2019-09-06 北京奇艺世纪科技有限公司 视频处理方法、装置、电子设备及存储介质
CN111191654A (zh) * 2019-12-30 2020-05-22 重庆紫光华山智安科技有限公司 道路数据生成方法、装置、电子设备及存储介质
CN111696110A (zh) * 2020-06-04 2020-09-22 山东大学 场景分割方法及系统
CN112132897A (zh) * 2020-09-17 2020-12-25 中国人民解放军陆军工程大学 一种基于深度学习之语义分割的视觉slam方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563444A (zh) * 2017-09-05 2018-01-09 浙江大学 一种零样本图像分类方法及系统
CN110213670A (zh) * 2019-05-31 2019-09-06 北京奇艺世纪科技有限公司 视频处理方法、装置、电子设备及存储介质
CN111191654A (zh) * 2019-12-30 2020-05-22 重庆紫光华山智安科技有限公司 道路数据生成方法、装置、电子设备及存储介质
CN111696110A (zh) * 2020-06-04 2020-09-22 山东大学 场景分割方法及系统
CN112132897A (zh) * 2020-09-17 2020-12-25 中国人民解放军陆军工程大学 一种基于深度学习之语义分割的视觉slam方法

Also Published As

Publication number Publication date
CN113569706A (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
CN111666960B (zh) 图像识别方法、装置、电子设备及可读存储介质
CN113569705B (zh) 场景分割点判断方法、系统、存储介质及电子设备
CN111681256B (zh) 图像边缘检测方法、装置、计算机设备和可读存储介质
CN115546601B (zh) 一种多目标识别模型及其构建方法、装置及应用
CN111798836B (zh) 一种自动切换语种方法、装置、系统、设备和存储介质
CN115473841B (zh) 网络路径的确定方法、装置及存储介质
CN113569704B (zh) 分割点判断方法、系统、存储介质及电子设备
CN112686317A (zh) 神经网络训练方法、装置、电子设备及存储介质
CN113569703B (zh) 真实分割点判断方法、系统、存储介质及电子设备
CN113743277A (zh) 一种短视频分类方法及系统、设备和存储介质
CN113569706B (zh) 视频场景分割点判断方法、系统、存储介质及电子设备
CN112906800B (zh) 基于图像组自适应的协同显著性检测方法
CN117132591A (zh) 一种基于多模态信息的电池数据处理方法和系统
CN114065947B (zh) 一种数据访问推测方法、装置、存储介质及电子设备
CN115731451A (zh) 模型训练方法、装置、电子设备及存储介质
CN114677504A (zh) 目标检测方法、装置、设备终端和可读存储介质
CN113947154A (zh) 一种目标检测方法、系统、电子设备及存储介质
CN113821661B (zh) 图像检索方法、系统、存储介质及电子设备
CN113742525A (zh) 自监督视频哈希学习方法、系统、电子设备及存储介质
CN113569684A (zh) 短视频场景分类方法、系统、电子设备及存储介质
CN112257726A (zh) 目标检测训练方法、系统、电子设备及计算机可读存储介质
CN112417856B (zh) 提升机器写作质量的方法、系统、计算机设备及存储介质
CN113822445B (zh) 模型集成预测方法、系统、电子设备及存储介质
CN113569857B (zh) 字幕识别方法、系统、存储介质及电子设备
CN113343669B (zh) 一种学习字向量方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant