CN117519609A - 一种视频文件的处理方法、装置及电子设备 - Google Patents

一种视频文件的处理方法、装置及电子设备 Download PDF

Info

Publication number
CN117519609A
CN117519609A CN202410002872.5A CN202410002872A CN117519609A CN 117519609 A CN117519609 A CN 117519609A CN 202410002872 A CN202410002872 A CN 202410002872A CN 117519609 A CN117519609 A CN 117519609A
Authority
CN
China
Prior art keywords
feature
processed
information
target
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410002872.5A
Other languages
English (en)
Other versions
CN117519609B (zh
Inventor
宋玉龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Suzhou Software Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202410002872.5A priority Critical patent/CN117519609B/zh
Publication of CN117519609A publication Critical patent/CN117519609A/zh
Application granted granted Critical
Publication of CN117519609B publication Critical patent/CN117519609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/172Caching, prefetching or hoarding of files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608Saving storage space on storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062Securing storage systems
    • G06F3/0622Securing storage systems in relation to access
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种视频文件的处理方法、装置及电子设备,涉及数据存取技术领域,本申请可通过对视频文件进行视频帧拆分,并分别提取视频帧中的目标特征,并对目标特征进行拼接,将拼接后的目标特征图进行存储,相对于存储视频文件,存储目标特征图可极大地减少视频文件对存储空间的占用,同时,在向存储空间传输的过程中,传输目标特征图也能减少流量消耗,与直接提取视频文件相比,减少了直接从存储空间中进行提取消耗的流量。

Description

一种视频文件的处理方法、装置及电子设备
技术领域
本申请涉及数据存取技术领域,尤其涉及一种视频文件的处理方法、装置及电子设备。
背景技术
随着多媒体和信息化产业的不断发展,高清摄像装置等硬件技术的升级,视频文件从数量和体积上急剧扩展,随之带来了视频文件归档存储的大量需求。比如,安防领域,交通监控视频有明确的存储时间要求,电影等视频资源需要长期存储,医疗影像、监控视频等合规性视频文件更需要长期保存。
现阶段,基于对象存储的归档产品或系统,可以为客户提供海量存储空间,通过客户端和标准API接口为用户提供非结构化数据(图片、音视频、文本等格式文件)的存储服务,满足用户在任何地方通过互联网对数据进行管理和访问的需求。
然而,绝大多数提供数据归档服务的产品或系统,单纯将视频文件根据播放时间进行信息分片并上传,按照播放时间顺序在云端进行整合和存储,一方面收取视频上传下载所消耗的流量费用,另一方面还要根据存储使用量及存储时长收取存储费。在对云端的存储空间作出极大要求的同时,也极大地增加了视频文件的存储成本。
发明内容
有鉴于此,本申请提供了一种视频文件的处理方法、装置及电子设备,主要目的在于解决现有的视频存储过程中,需要极大地占用存储空间,并且视频传输过程中,需要消耗极大流量费用,造成长时间使用成本较高问题。
第一方面,本申请提供了一种视频文件的存储方法,包括:
从所述视频文件中拆分出多个视频帧;
对所述多个视频帧分别进行特征提取,获取目标特征;
利用所述多个视频帧在所述视频文件中的时序信息,对所述目标特征进行拼接,生成目标特征图;
在预设存储空间对所述目标特征图进行存储。
可选的,所述从所述视频文件中拆分出多个视频帧,包括:
以预设提取间隔从所述视频文件中拆分出多个视频帧。
可选的,在预设存储空间对所述目标特征图进行存储之后,所述方法还包括:
响应于视频文件的还原指令,提取预设存储空间中的目标特征图;
对所述目标特征图进行特征裁剪,获取待处理特征;
读取所述待处理特征,还原所述视频帧;
基于所述视频帧,生成所述视频文件。
可选的,所述读取所述待处理特征,还原所述视频帧,包括:
对所述待处理特征进行分组,获得多组待处理特征集;
基于所述多组待处理特征集中的时序信息,对所述多组待处理特征集进行排布;
利用视频帧还原模型,将所述多组待处理特征集分别还原为多个视频帧,所述多组待处理特征集与所述多个视频帧一一对应。
可选的,所述利用视频帧还原模型,将多组所述待处理特征集分别还原为多个视频帧,包括:
按序从所述多组待处理特征集中提取一组待处理特征集输入至对应的网络单元,各个网络单元依据所述多组待处理特征集的时序信息排布;
依据所述多组待处理特征集的时序信息,按序将目标特征集对应的网络单元作为所述当前网络单元,并执行后续步骤,直至还原全部当前视频帧,所述目标特征集为所述多组待处理特征集中的一组;
获取当前网络单元的前相邻网络单元和后相邻网络单元;
通过所述前相邻网络单元中的第一待处理特征集和所述后相邻网络单元中的第二待处理特征集,对所述当前网络单元中待处理特征集的目标特征信息进行特征细化;
对细化后的所述目标特征信息进行特征对齐,还原为所述当前视频帧。
可选的,所述通过所述前相邻网络单元中的第一待处理特征集和所述后相邻网络单元中的第二待处理特征集,对所述当前网络单元中待处理特征集的目标特征信息进行特征细化,包括:
通过两组所述前相邻网络单元中的第一待处理特征集和两组所述后相邻网络单元中的第二待处理特征集,对所述当前网络单元中待处理特征集的目标特征信息进行特征细化。
可选的,所述通过两组所述前相邻网络单元中的第一待处理特征集和两组所述后相邻网络单元中的第二待处理特征集,对所述当前网络单元中待处理特征集的目标特征信息进行特征细化,包括:
对所述各个网络单元中待处理特征集的特征信息进行等级划分,所述特征细化过程依据所述特征信息的等级由低到高执行;
确定当前特征信息的第一等级信息,所述当前特征信息为所述目标特征信息中的至少一种;
通过两组所述前相邻网络单元中第一待处理特征集的第一等级特征信息、两组所述后相邻网络单元中第二待处理特征集的第一等级特征信息和所述当前网络单元中待处理特征集的第二等级特征信息,对所述目标特征信息进行特征细化,所述第二等级特征信息比所述第一等级特征信息低一个等级。
可选的,在通过两组所述相邻网络单元中第一待处理特征集中的第一等级特征信息、两组所述后相邻网络单元中第二待处理特征集的第一等级特征信息和所述当前网络单元中当前待处理特征集的第二等级特征信息,对所述目标特征信息进行特征细化之前,所述方法还包括:
在当前网络单元与所述前相邻网络单元中插入新网络单元;
将所述当前网络单元的待处理特征集的特征信息输出至新网络单元,作为新特征信息;
利用所述第二待处理特征集,对所述新特征信息进行初始细化,包含初始细化的新特征信息的所述新网络单元作为所述前相邻网络单元。
可选的,所述对细化后的所述目标特征信息进行特征对齐,还原为所述当前视频帧,包括:
对细化后的所述目标特征信息进行特征预对齐,获得对齐初始值;
利用残差值对所述对齐初始值进行数值调整,获得对齐修正结果;
通过亚像素卷积,对所述对齐修正结果进行特征采样,确定所述对齐修正结果的准确性;
循环执行上述步骤直至对齐修正结果高于预设值,还原高分辨率的当前视频帧。
第二方面,本申请提供了一种视频文件的处理装置,包括:
拆分模块,用于从所述视频文件中拆分出多个视频帧;
提取模块,用于对所述多个视频帧分别进行特征提取,获取目标特征;
拼接模块,用于利用所述多个视频帧在所述视频文件中的时序信息,对所述目标特征进行拼接,生成目标特征图;
存储模块,用于在预设存储空间对所述目标特征图进行存储。
第三方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述的视频文件的处理方法。
第四方面,本申请提供了一种电子设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现第一方面的视频文件的处理方法。
借由上述技术方案,本申请提供的一种视频文件的处理方法、装置及电子设备,与目前现有的视频存储方法相比,本申请可通过对视频文件进行视频帧拆分,并分别提取视频帧中的目标特征,并对目标证进行拼接,将拼接后的目标特征图进行存储,相对于存储视频文件,存储目标特征图可极大地减少视频文件对存储空间的占用,同时,在向存储空间传输的过程中,传输目标特征图也能减少流量消耗。
具体的,在进行视频文件的存储时,可首先从视频文件中拆分出多个视频帧;再对多个视频帧分别进行特征提取,获取目标特征;然后利用多个视频帧在视频文件中的时序信息,对目标特征进行拼接,生成目标特征图;最后在预设存储空间对目标特征图进行存储。
通过应用本申请的技术方案,在进行视频存储时,以视频文件生成的占用空间更小的目标特征图存储于存储空间,减少了存储空间的存储占用,也减少目标特征图向存储空间之间进行传输消耗的传输成本。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的一种视频文件的处理的流程示意图;
图2示出了本申请实施例中一种特征对齐方法的结构示意图;
图3示出了本申请实施例中一种对目标特征信息进行细化和对齐的结构示意图;
图4示出了本申请实施例提供的亚像素卷积的执行过程示意图;
图5示出了本申请实施例提供的一种视频帧的还原网络示意图;
图6示出了本申请实施例提供的一种视频帧还原模型的训练方法;
图7示出了本申请实施例提供的一种视频文件的处理装置结构图。
具体实施方式
下面将参照附图更详细地描述本申请的实施例。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
为了解决现有的视频存储过程中,需要极大地占用存储空间,并且视频传输过程中,需要消耗极大流量费用,造成长时间使用成本较高问题。本实施例提供了一种视频文件的存储方法,如图1所示,可应用于图像处理设备(如智能手机、平板电脑、无人机、智能机器人等智能终端)端侧,该方法包括:
步骤101、从视频文件中拆分出多个视频帧。
在本实施例中提出,对视频文件进行图像帧的转化,根据对帧的播放速率,将视频文件拆分成特定数量的图像帧,并根据视频文件对应的全部帧,生成图像帧的集。从图像帧的集中,拆分出视频帧。
在更进一步的实施例中,从视频文件中拆分出多个视频帧,包括:
以预设提取间隔从视频文件中拆分出多个视频帧。
在从视频文件拆分出的图像帧的集中获取视频帧的具体方式,可以间隔提取的方式获取多个视频帧。同时,示例性的,可以以间隔1帧或间隔2帧的方式从图像帧的集中获取多个视频帧。
采用本实施例技术方案,可以将视频文件以视频帧的方式进行表示,同时,以预设提取间隔的方式提取目标特征图,可以在不影响视频文件整体的前提下,尽量减少后续生成的目标特征的占用空间。
步骤102、对多个视频帧分别进行特征提取,获取目标特征。
在本实施例内容中,分别在多个视频帧中进行特征提取,提取每个视频帧的特征信息,并将提取的特征信息作为目标特征。本实施例内容,从视频帧中提取目标特征,以目标特诊分别表示每帧视频帧的帧信息,实现对信息的精简。
步骤103、利用多个视频帧在视频文件中的时序信息,对目标特征进行拼接,生成目标特征图。
参考视频帧在视频文件中的时序信息,对视频帧对应的目标特征进行排布,使目标特征有序排布生成目标特征图。
步骤104、在预设存储空间对目标特征图进行存储。
生成目标特征图之后,将目标特征图传输至预设存储空间,令存储空间保存目标特征图。
本实施例内容提出,将视频格式的视频文件转化为目标特征图,其中,特征图中记录有表达视频帧的特征信息的目标特征。将视频文件以目标特征图的形式进行传输和存储,减少了存储空间的存储占用,也减少目标特征图向存储空间之间进行传输消耗的传输成本。
进一步的,在预设存储空间对所述目标特征图进行存储之后,所述方法还包括:
提取预设存储空间中的目标特征图。
当预设存储空间存储有目标特征图时,响应于还原视频文件的指令,从预设存储空间中提取目标特征图,并将目标特征图参与后续的视频文件还原过程。
对目标特征图进行特征裁剪,获取待处理特征。
在目标特征中拼接有来自多个视频帧的目标特征,因此,为了实现对视频帧的还原,需要将目标特征图进行裁剪,并将裁剪后的特征作为待处理特征。更进一步的,在拼接生成目标特征图是以多个视频帧在视频文件中的时序信息为基础的,那么在进行对目标特征图进行裁剪,生成待处理特征时,可以以目标特征图中存储的时序信息进行待处理特征的有序获取。
读取待处理特征,还原视频帧。
在本实施例内容中,在获取待处理特征之后,以待处理特征所存储的信息实现对视频帧的还原。
基于视频帧,生成视频文件。
在实现对视频帧的还原之后,对视频帧进行排序,通过对视频帧的播放,实现对原视频的播放,并实现对视频文件的生成。
在本实施例技术方案中,在实现将视频文件以目标特征图的形式进行保存的基础上,本实施例技术方案进一步提出实现对视频文件进行还原的方案,使得本申请不仅能够实现以目标特征图的形式保存视频文件,还能够实现依靠目标特征图视线对视频文件的还原,实现以更小空间实现对视频文件内容存储和传输的基础上,进一步保证存储和还原的可靠性。
在一种可能的实施例中,读取待处理特征,生成视频帧,包括:
对待处理特征进行分组,获得多组待处理特征集;基于多组待处理特征集中的时序信息,对多组待处理特征集进行排布;利用视频帧还原模型,将多组待处理特征集分别还原为多个视频帧,多组待处理特征集与多个视频帧一一对应。
在本实施例内容中,针对视频帧的生成过程,具体公开,将从目标特征图裁剪生成的待处理特征进行分组,使分组后的每组待处理特征集能够还原为视频帧。同时,保证还原过程中的准确性,对待处理特征集进行按序排布,使待处理特征集最终生成的视频帧以拆分时的时序进行排列。
在本实施例技术方案中,为了保证还原过程中的准确性和有序性,本实施例技术方案进一步公开,对待处理特征进行分组,并进行按时序排列,每组待处理特征与一帧视频帧相互对应。
在一种可能的实施例中,利用视频帧还原模型,将多组待处理特征集分别还原为多个视频帧,包括:
按序从多组待处理特征集中提取一组待处理特征集输入至对应的网络单元,各个网络单元依据多组待处理特征集的时序信息排布;依据多组待处理特征集的时序信息,按序将目标特征集对应的网络单元作为当前网络单元,并执行后续步骤,直至还原全部当前视频帧,目标特征集为多组待处理特征集中的一组;获取当前网络单元的前相邻网络单元和后相邻网络单元;通过前相邻网络单元中的第一待处理特征集和后相邻网络单元中的第二待处理特征集,对当前网络单元中待处理特征集的目标特征信息进行特征细化;对细化后的目标特征信息进行特征对齐,还原为当前视频帧。
在本实施例内容中,针对待处理特征集还原为视频帧的具体过程,本实施例进行了详细说明,即为了实现通过待处理特征集还原为一个统一是视频帧,需要对待处理特征集中的所有特征信息进行特征对齐,特征对齐是将不同数据集中的特征进行统一,使不同数据集之间拥有一致的特征表示。在本实施例内容中,将每组待处理特征集传输至网络单元,每个网络单元对应的每组待处理特征集生成一帧视频帧。
同时,为了保证最终生成视频帧的准确性,在进行特征对齐之前,本实施例进一步提出,对待处理特征集的目标特征信息进行特征细化,其中,特征细化的步骤是以前相邻网络单元和后相邻网络单元中的待处理特征集对当前网络单元中的待处理特征集进行特征细化。通过不同视频帧对应的待处理特征集的特征细化过程,可以在待处理特征还原为视频帧的过程中,利用前后不同的时空位置聚集信息,使最终生成的视频帧的效果提高在遮挡区域和纹理区域的鲁棒性和有效性,保证视频帧的还原质量。同时,本实施例进一步说明,根据网络单元的时序排布顺序,按序将网络单元作为当前网络单元,实现对每一组网络单元中待处理特征集的特征细化,并进一步实现每一帧图像帧的还原效果。
示例性的,在本实施例的技术方案中,为了实现每个网络单元中的特征对齐,本实施例技术方案中进一步包括一种特征对齐方法的结构示意图,如图2所示,可变形对齐相比光流的优势在于偏移多样性。然而,可变形对齐模块很难训练。训练的不稳定尝尝导致补偿溢出,从而影响性能。为了在克服在特征对齐过程中容易出现的不稳定性的同时利用偏移分量,根据可变形对齐和光流对齐之间存在着很强的关系,本方法利用光流来引导可变形对齐,光流指导的可变形对准。光流用于预对齐特征。然后将对齐的特征连接起来以产生DCN偏移(光流的残差)。然后将DCN偏移用于未经过变形的特征。为了简单起见,这里只绘制了第一阶连接,省略了第二阶连接。
在第i帧特征图所在时间条线中,首先通过扭曲/>
(1)
其中,表示光流,/>表示前相邻网络单元中的待处理特征的特征信息,其中W表示仿射变换。
然后使用上式初步对齐的特征来计算残差偏移量和调制掩膜/>,其中残差偏移量和光流相加得到DCN偏移量为/>
(2)
(3)
其中,C 0C m表示卷积计算,σ表示残差计算,g i表示线性模型(LR)的特征值。
然后将DCN偏移应用于未经变形的特征
(4)
其中,D表示为可变形卷积。
上述公式仅用于对齐单个特征,对于二阶传播做如下调整(通道叠加起来一起参与计算)
(5)
(6)
(6)
(7)
(8)
在一种可能的实施例中,通过前相邻网络单元中的第一待处理特征集和后相邻网络单元中的第二待处理特征集,对当前网络单元中待处理特征集的目标特征信息进行特征细化,包括:
通过两组前相邻网络单元中的第一待处理特征集和两组后相邻网络单元中的第二待处理特征集,对当前网络单元中待处理特征集的目标特征信息进行特征细化。
在本实施例的技术方案中,进一步提出,以前后各两组相邻网络单元中的待处理特征集,共四组待处理特征集对当前网络单元中的待处理特征集进行特征细化,以保证利用当前网络单元中的待处理特征集生成的视频帧清晰准确。
在一种可能的实施例中,通过两组前相邻网络单元中的第一待处理特征集和两组后相邻网络单元中的第二待处理特征集,对当前网络单元中待处理特征集的目标特征信息进行特征细化,包括:
对各个网络单元中待处理特征集的特征信息进行等级划分,特征细化过程依据特征信息的等级由低到高执行;确定当前特征信息的第一等级信息,当前特征信息为目标特征信息中的至少一种;通过两组前相邻网络单元中第一待处理特征集的第一等级特征信息、两组后相邻网络单元中第二待处理特征集的第一等级特征信息和当前网络单元中待处理特征集的第二等级特征信息,对目标特征信息进行特征细化,第二等级特征信息比第一等级特征信息低一个等级。
在本实施例技术方案中,为了精确实现对当前网络单元中特征信息进行细化,本实施例技术方案进一步提出,在实现对目标特征信息进行细化时,以确认目标特征信息的等级,并根据本网络单元中的上一级特征信息,以及相邻网络单元中的同级特征信息,共同实现对目标特征等级的细化。本实施例技术方案中,为了保证对特征信息对齐的准确性和连续性,进一步公开,在对特征信息进行细化和对齐之前,需要对待处理特征集进行分级,对待处理特征集中的特征信息进行分级处理,分级处理代表了特征信息的处理顺序。同时,同一网络单元中,相邻等级的特征信息之间存在相关性,因此,上一级特征信息可以对下一级的特征信息的细化过程起到指导作用。
进一步的,本实施例技术方案可以如图3所示,图3公开一种对目标特征信息进行细化和对齐的结构示意图,图3中在光流指导的可变形对齐网络中,对目标特征信息进行特征细化和对齐,目标特征信息的上一级特征信息/>,两个前相邻网络单元中的同级特征信息/>和/>以及两个后相邻网络单元中的同级特征信息/>和/>共同指导目标特征信息进行细化和对齐,输出细化和对齐结果C。
(9)
,/>,/>,/>为第i帧到/>、/>、/>、/>帧的光流,/>表示流引导的可变形对齐操作。
在一种可能的实施例中,在通过两组相邻网络单元中第一待处理特征集中的第一等级特征信息、两组后相邻网络单元中第二待处理特征集的第一等级特征信息和当前网络单元中当前待处理特征集的第二等级特征信息,对目标特征信息进行特征细化之前,方法还包括:
在当前网络单元与前相邻网络单元中插入新网络单元;将当前网络单元的待处理特征集的特征信息输出至新网络单元,作为新特征信息;利用第二待处理特征集,对新特征信息进行初始细化,包含初始细化的新特征信息的新网络单元作为前相邻网络单元。
在本实施例技术方案中,还进一步包括视频帧插帧的相关技术方案,为了提高视频帧之间的关联性,在两个相邻帧之间插入过渡帧,以提高最终视频帧生成的视频文件播放效果的流畅性。其中,插帧的具体过程,是在当前网络单元和前相邻网格单元之间插入一个新网格单元,其中,此处的前相邻网格单元是与当前网络单元最接近的前相邻网格单元。并且新网格单元中的待处理特征集与当前网格单元中的待处理特征相同,但是由与当前网格单元最近的后相邻网格单元中的待处理特征信息进行细化的。另外,需要注意的是,插入新网格单元之后,新网格单元作为当前网格单元新的前网格单元。循环执行上述步骤,实现网格单元的插入过程,并进一步实现插帧过程,同时,在进行网格单元间的特征细化和对齐时,进一步保证相邻帧之间特征信息之间的强相关性,保证最终生成的视频文件播放的清晰性和流畅性。
在一种可能的实施例中,对细化后的目标特征信息进行特征对齐,还原为当前视频帧,包括:
对细化后的目标特征信息进行特征预对齐,获得对齐初始值;利用残差值对对齐初始值进行数值调整,获得对齐修正结果;通过亚像素卷积,对对齐修正结果进行特征采样,确定对齐修正结果的准确性;循环执行上述步骤直至对齐修正结果高于预设值,还原高分辨率的当前视频帧。
本实施例技术方案中,提出了特征对齐与亚像素卷积的递归执行过程,其中,亚像素卷积的执行过程如图4所示,图4表示亚像素卷积的执行过程示意图。通过亚像素卷积实现特征图的上采样,将递归二阶网络单元低分辨率特征图通过卷积和多通道间的重组得到高分辨率特征图,该过程与其他上采样操作相比能减少大量人工因素带来的风险,图4所示为3*3特征图的两倍放大过程。假设输入的低分辨率特征图为W*Hr为放大倍数,通过特征提取得到的特征输出,再经过特征重组操作将特征图中每个像素的/>个通道排列成/>的区域,与高分辨率特征图中的一个/>的子块相对应,最终得到/>的高分辨率特征图。通过二阶流引导可变形对齐网络和亚像素卷积层的递归调用,实现不同倍数的视频帧重建,并且保证网络整体参数数量不会增加,实现用户在归档文件时自定义压缩率的目的。
同时本实施例内容中,进一步提出,在实现特征对齐与亚像素卷积之间,还包括残差调整的过程,对所有网格单元生成的特征对齐的结果,串联起来传递到堆叠的残差块中:
(10)
其中,/>表示残差块,/>表示沿通道维度的级联。
针对本实施例技术方案,公开一种视频帧的还原网络示意图,如图5所示,还原网络中包括若干网格单元,用于实现对各个视频帧的还原,每个网格单元中包含若干二阶网格单元、残差区块和亚像素卷积单元,二阶网格单元分别用于实现对各个特征信息的细化和对齐,同时不同的网格单元之间的二阶网格单元之间相互连接,用于进行特征信息的传输和细化指导。所有的二阶网格单元、残差区块和亚像素卷积单元以及最终的生成的高帧率视频帧HR可共同作为重建模块,用于实现对视频帧的还原。
在本申请实施例的另一方面,本申请提供一种视频帧还原模型的训练方法,如图6所示,具体步骤如下:
首先采用如REDS等的高清视频数据进行网络训练。将高清视频数据提取连续的视频序列,然后将这些视频帧按照间隔1帧、2帧的方式,选取需要的视频帧。将这些准备好的连续视频帧输入特征提取模块。在特征提取模块中,通过降采样区块的递归调用,得到m个特征,将m个特征级联成1张大特征图,对应一个输入视频帧。将这些大特征图通过公网传输到对象存储中,并执行取回操作,模拟网络传输过程中产生的噪音。将取回的多帧大特征图输入重建模块。在二阶流引导可变形对齐网络部分通过第一层的横向跳跃连接,实现根据前两帧特征预测下一帧特征的作用,达到视频插帧的目的,并且通过下面多层的横向跳跃连接,可以使来自不同帧的信息可以被当前帧利用,以细化当前帧的特征。
通过二阶传播网络单元的横向前置跳跃连接和横向后置跳跃连接,以及纵向传播,可以更好的从不同的时序位置聚集信息,提高在遮挡区域和纹理区域的鲁棒性和有效性。将二阶传播网络学习到的特征通过亚像素卷积层进行上采样,生成对应高分辨率视频帧。
最后将生成的高分辨率视频帧与原始高分辨率视频帧计算损失函数,根据损失函数对模型进行训练,直至参数收敛。另一方面,将生成的高分辨率视频帧通过特征提取网络进行特征图提取,将特征提取网络提取到的重建视频帧对应的特征图与整个网络的第一层原始视频帧(GT)对应的特征图(即从云端对象存储获取到的特征图)进行计算特征损失/>,从而进一步约束整个网络的解空间,使网络更容易训练和拟合。在网络训练成功之后,当输入视频序列时,通过本发明所提网络,即可实现视频序列对应特征图的提取及从对象存储取回的特征图重建成高清视频序列的作用。
进一步的,作为图1所示方法的具体实现,本实施例提供了一种视频文件的处理装置,如图7所示,该装置包括:拆分模块71、提取模块72、拼接模块73、存储模块74。
拆分模块71,用于从所述视频文件中拆分出多个视频帧;
提取模块72,用于对所述多个视频帧分别进行特征提取,获取目标特征;
拼接模块73,用于利用所述多个视频帧在所述视频文件中的时序信息,对所述目标特征进行拼接,生成目标特征图;选择模块34,被配置为从所述不同光源中,选择所述相对标准偏差信息符合预设条件的目标光源;
存储模块74,用于在预设存储空间对所述目标特征图进行存储。
在具体的应用场景中,拆分模块71,用于以预设提取间隔从所述视频文件中拆分出多个视频帧。
在具体的应用场景中,视频文件的处理装置还包括:还原模块75,用于:
响应于视频文件的还原指令,提取预设存储空间中的目标特征图;
对所述目标特征图进行特征裁剪,获取待处理特征;
读取所述待处理特征,还原视频帧;
基于所述视频帧,生成所述视频文件。
在具体的应用场景中,还原模块75,具体用于:
对所述待处理特征进行分组,获得多组待处理特征集;
基于所述多组待处理特征集中的时序信息,对所述多组待处理特征集进行排布;
利用视频帧还原模型,将所述多组待处理特征集分别还原为多个视频帧,所述多组待处理特征集与所述多个视频帧一一对应。
在具体的应用场景中,还原模块75,具体用于:
按序从所述多组待处理特征集中提取一组待处理特征集输入至对应的网络单元,各个网络单元依据所述多组待处理特征集的时序信息排布;
依据所述多组待处理特征集的时序信息,按序将目标特征集对应的网络单元作为所述当前网络单元,并执行后续步骤,直至还原全部当前视频帧,所述目标特征集为所述多组待处理特征集中的一组;
获取当前网络单元的前相邻网络单元和后相邻网络单元;
通过所述前相邻网络单元中的第一待处理特征集和所述后相邻网络单元中的第二待处理特征集,对所述当前网络单元中待处理特征集的目标特征信息进行特征细化;
对细化后的所述目标特征信息进行特征对齐,还原为所述当前视频帧。
在具体的应用场景中,还原模块75,具体用于:
通过两组所述前相邻网络单元中的第一待处理特征集和两组所述后相邻网络单元中的第二待处理特征集,对所述当前网络单元中待处理特征集的目标特征信息进行特征细化。
在具体的应用场景中,还原模块75,具体用于:
对所述各个网络单元中待处理特征集的特征信息进行等级划分,所述特征细化过程依据所述特征信息的等级由低到高执行;
确定当前特征信息的第一等级信息,所述当前特征信息为所述目标特征信息中的至少一种;
通过两组所述前相邻网络单元中第一待处理特征集的第一等级特征信息、两组所述后相邻网络单元中第二待处理特征集的第一等级特征信息和所述当前网络单元中待处理特征集的第二等级特征信息,对所述目标特征信息进行特征细化,所述第二等级特征信息比所述第一等级特征信息低一个等级。
在具体的应用场景中,还原模块75,还具体用于:
在当前网络单元与所述前相邻网络单元中插入新网络单元;
将所述当前网络单元的待处理特征集的特征信息输出至新网络单元,作为新特征信息;
利用所述第二待处理特征集,对所述新特征信息进行初始细化,包含初始细化的新特征信息的所述新网络单元作为所述前相邻网络单元。
在具体的应用场景中,还原模块75,具体用于:
对细化后的所述目标特征信息进行特征预对齐,获得对齐初始值;
利用残差值对所述对齐初始值进行数值调整,获得对齐修正结果;
通过亚像素卷积,对所述对齐修正结果进行特征采样,确定所述对齐修正结果的准确性;
循环执行上述步骤直至对齐修正结果高于预设值,还原高分辨率的当前视频帧。
需要说明的是,本实施例提供的一种图像处理装置所涉及各功能单元的其它相应描述,可以参考图1的对应描述,在此不再赘述。
基于上述如图1所示方法,相应的,本实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述如图1所示的方法。
基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施场景的方法。
基于上述如图1所示的方法,以及图7所示的虚拟装置实施例,为了实现上述目的,本申请实施例还提供了一种电子设备,如智能手机、平板电脑、无人机、智能机器人等智能终端,该设备包括存储介质和处理器;存储介质,用于存储计算机程序;处理器,用于执行计算机程序以实现上述如图1所示的方法。
可选的,上述实体设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency,RF)电路,传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等,可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)等。
本领域技术人员可以理解,本实施例提供的上述实体设备结构并不构成对该实体设备的限定,可以包括更多或更少的部件,或者组合某些部件,或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述实体设备硬件和软件资源的程序,支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信,以及与信息处理实体设备中其它硬件和软件之间通信。
基于上述如图1所示的方法,以及图7所示的虚拟装置实施例,本实施例还提供了一种芯片,包括一个或多个接口电路和一个或多个处理器;所述接口电路用于从电子设备的存储器接收信号,并向所述处理器发送所述信号,所述信号包括存储器中存储的计算机指令;当所述处理器执行所述计算机指令时,使得所述电子设备执行上述如图1所示的方法。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现,也可以通过硬件实现。
与目前现有的视频存储方法相比,本申请可通过对视频文件进行视频帧拆分,并分别提取视频帧中的目标特征,并对目标证进行拼接,将拼接后的目标特征图进行存储,相对于存储视频文件,存储目标特征图可极大地减少视频文件对存储空间的占用,同时,在向存储空间传输的过程中,传输目标特征图也能减少流量消耗。
具体的,在进行视频文件的存储时,可首先从视频文件中拆分出多个视频帧;再对多个视频帧分别进行特征提取,获取目标特征;然后利用多个视频帧在视频文件中的时序信息,对目标特征进行拼接,生成目标特征图;最后在预设存储空间对目标特征图进行存储。
通过应用本申请的技术方案,在进行视频存储时,以视频文件生成的占用空间更小的目标特征图存储于存储空间,减少了存储空间的存储占用,也减少目标特征图向存储空间之间进行传输消耗的传输成本。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式,使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所述的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种视频文件的处理方法,其特征在于,包括:
从所述视频文件中拆分出多个视频帧;
对所述多个视频帧分别进行特征提取,获取目标特征;
利用所述多个视频帧在所述视频文件中的时序信息,对所述目标特征进行拼接,生成目标特征图;
在预设存储空间对所述目标特征图进行存储。
2.根据权利要求1所述的方法,其特征在于,所述从所述视频文件中拆分出多个视频帧,包括:
以预设提取间隔从所述视频文件中拆分出多个视频帧。
3.根据权利要求1所述的方法,其特征在于,在预设存储空间对所述目标特征图进行存储之后,所述方法还包括:
响应于视频文件的还原指令,提取预设存储空间中的目标特征图;
对所述目标特征图进行特征裁剪,获取待处理特征;
读取所述待处理特征,还原所述视频帧;
基于所述视频帧,生成视频文件。
4.根据权利要求3所述的方法,其特征在于,所述读取所述待处理特征,还原所述视频帧,包括:
对所述待处理特征进行分组,获得多组待处理特征集;
基于所述多组待处理特征集中的时序信息,对所述多组待处理特征集进行排布;
利用视频帧还原模型,将所述多组待处理特征集分别还原为多个视频帧,所述多组待处理特征集与所述多个视频帧一一对应。
5.根据权利要求4所述的方法,其特征在于,所述利用视频帧还原模型,将多组所述待处理特征集分别还原为多个视频帧,包括:
按序从所述多组待处理特征集中提取一组待处理特征集输入至对应的网络单元,各个网络单元依据所述多组待处理特征集的时序信息排布;
依据所述多组待处理特征集的时序信息,按序将目标特征集对应的网络单元作为当前网络单元,并执行后续步骤,直至还原全部当前视频帧,所述目标特征集为所述多组待处理特征集中的一组;
获取所述当前网络单元的前相邻网络单元和后相邻网络单元;
通过所述前相邻网络单元中的第一待处理特征集和所述后相邻网络单元中的第二待处理特征集,对所述当前网络单元中待处理特征集的目标特征信息进行特征细化;
对细化后的所述目标特征信息进行特征对齐,还原为所述当前视频帧。
6.根据权利要求5所述的方法,其特征在于,所述通过所述前相邻网络单元中的第一待处理特征集和所述后相邻网络单元中的第二待处理特征集,对所述当前网络单元中待处理特征集的目标特征信息进行特征细化,包括:
通过两组所述前相邻网络单元中的第一待处理特征集和两组所述后相邻网络单元中的第二待处理特征集,对所述当前网络单元中待处理特征集的目标特征信息进行特征细化。
7.根据权利要求6所述的方法,其特征在于,所述通过两组所述前相邻网络单元中的第一待处理特征集和两组所述后相邻网络单元中的第二待处理特征集,对所述当前网络单元中待处理特征集的目标特征信息进行特征细化,包括:
对所述各个网络单元中待处理特征集的特征信息进行等级划分,所述特征细化过程依据所述特征信息的等级由低到高执行;
确定当前特征信息的第一等级信息,所述当前特征信息为所述目标特征信息中的至少一种;
通过两组所述前相邻网络单元中第一待处理特征集的第一等级特征信息、两组所述后相邻网络单元中第二待处理特征集的第一等级特征信息和所述当前网络单元中待处理特征集的第二等级特征信息,对所述目标特征信息进行特征细化,所述第二等级特征信息比所述第一等级特征信息低一个等级。
8.根据权利要求7所述的方法,其特征在于,在通过两组所述相邻网络单元中第一待处理特征集中的第一等级特征信息、两组所述后相邻网络单元中第二待处理特征集的第一等级特征信息和所述当前网络单元中当前待处理特征集的第二等级特征信息,对所述目标特征信息进行特征细化之前,所述方法还包括:
在当前网络单元与所述前相邻网络单元中插入新网络单元;
将所述当前网络单元的待处理特征集的特征信息输出至新网络单元,作为新特征信息;
利用所述第二待处理特征集,对所述新特征信息进行初始细化,包含初始细化的新特征信息的所述新网络单元作为所述前相邻网络单元。
9.根据权利要求5所述的方法,其特征在于,所述对细化后的所述目标特征信息进行特征对齐,还原为所述当前视频帧,包括:
对细化后的所述目标特征信息进行特征预对齐,获得对齐初始值;
利用残差值对所述对齐初始值进行数值调整,获得对齐修正结果;
通过亚像素卷积,对所述对齐修正结果进行特征采样,确定所述对齐修正结果的准确性;
循环执行上述步骤直至对齐修正结果高于预设值,还原高分辨率的当前视频帧。
10.一种视频文件的处理装置,其特征在于,包括:
拆分模块,用于从所述视频文件中拆分出多个视频帧;
提取模块,用于对所述多个视频帧分别进行特征提取,获取目标特征;
拼接模块,用于利用所述多个视频帧在所述视频文件中的时序信息,对所述目标特征进行拼接,生成目标特征图;
存储模块,用于在预设存储空间对所述目标特征图进行存储。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法。
12.一种电子设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法。
CN202410002872.5A 2024-01-02 2024-01-02 一种视频文件的处理方法、装置及电子设备 Active CN117519609B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410002872.5A CN117519609B (zh) 2024-01-02 2024-01-02 一种视频文件的处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410002872.5A CN117519609B (zh) 2024-01-02 2024-01-02 一种视频文件的处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN117519609A true CN117519609A (zh) 2024-02-06
CN117519609B CN117519609B (zh) 2024-04-09

Family

ID=89766761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410002872.5A Active CN117519609B (zh) 2024-01-02 2024-01-02 一种视频文件的处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN117519609B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111654723A (zh) * 2020-05-14 2020-09-11 北京百度网讯科技有限公司 视频质量提升方法、装置、电子设备和存储介质
CN113850718A (zh) * 2021-06-01 2021-12-28 天翼智慧家庭科技有限公司 一种基于帧间特征对齐的视频同步时空超分方法
CN115294420A (zh) * 2022-07-08 2022-11-04 泰康保险集团股份有限公司 一种特征提取模型的训练方法、重识别方法及装置
CN115631093A (zh) * 2021-11-25 2023-01-20 北京百度网讯科技有限公司 视频超分模型训练方法和装置、视频超分处理方法和装置
CN115731604A (zh) * 2021-08-27 2023-03-03 中移(杭州)信息技术有限公司 模型训练方法、手势识别方法、装置、设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111654723A (zh) * 2020-05-14 2020-09-11 北京百度网讯科技有限公司 视频质量提升方法、装置、电子设备和存储介质
CN113850718A (zh) * 2021-06-01 2021-12-28 天翼智慧家庭科技有限公司 一种基于帧间特征对齐的视频同步时空超分方法
CN115731604A (zh) * 2021-08-27 2023-03-03 中移(杭州)信息技术有限公司 模型训练方法、手势识别方法、装置、设备和存储介质
CN115631093A (zh) * 2021-11-25 2023-01-20 北京百度网讯科技有限公司 视频超分模型训练方法和装置、视频超分处理方法和装置
CN115294420A (zh) * 2022-07-08 2022-11-04 泰康保险集团股份有限公司 一种特征提取模型的训练方法、重识别方法及装置

Also Published As

Publication number Publication date
CN117519609B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN109165573B (zh) 用于提取视频特征向量的方法和装置
US8290309B2 (en) Super-resolution method for image display
CN108810622A (zh) 视频帧的提取方法、装置、计算机可读介质及电子设备
CN111970562A (zh) 视频处理方法、视频处理装置、存储介质与电子设备
CN113642673B (zh) 图像生成方法、装置、设备及存储介质
US11785195B2 (en) Method and apparatus for processing three-dimensional video, readable storage medium and electronic device
CN111325096B (zh) 直播流采样方法、装置及电子设备
US11893770B2 (en) Method for converting a picture into a video, device, and storage medium
WO2023193521A1 (zh) 一种视频修复的方法、相关装置、设备以及存储介质
CN115063297A (zh) 基于参数重构的图像超分辨率重建方法及系统
CN112532998A (zh) 抽取视频帧的方法、装置、设备和可读存储介质
WO2024082933A1 (zh) 视频处理方法、装置、电子设备及存储介质
CN117519609B (zh) 一种视频文件的处理方法、装置及电子设备
CN115880381A (zh) 图像处理方法、图像处理装置、模型训练方法
CN111626922B (zh) 图片生成方法、装置、电子设备及计算机可读存储介质
CN111506241A (zh) 直播间的特效显示方法、装置、电子设备及计算机介质
CN111860363A (zh) 一种视频图像的处理方法及装置、电子设备、存储介质
CN111669476A (zh) 水印处理方法、装置、电子设备和介质
CN114584709B (zh) 变焦特效的生成方法、装置、设备及存储介质
CN111666449B (zh) 视频检索方法、装置、电子设备和计算机可读介质
CN113905177A (zh) 视频生成方法、装置、设备及存储介质
CN113766255A (zh) 视频流合并方法、装置、电子设备及计算机介质
CN111696041A (zh) 图像处理方法、装置及电子设备
CN112417276A (zh) 分页数据获取方法、装置、电子设备及计算机可读存储介质
CN112261441A (zh) 一种视频数据的处理方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant