CN111654723B - 视频质量提升方法、装置、电子设备和存储介质 - Google Patents
视频质量提升方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111654723B CN111654723B CN202010408915.1A CN202010408915A CN111654723B CN 111654723 B CN111654723 B CN 111654723B CN 202010408915 A CN202010408915 A CN 202010408915A CN 111654723 B CN111654723 B CN 111654723B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- characteristic
- feature
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000006872 improvement Effects 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 27
- 238000005070 sampling Methods 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 19
- 238000013135 deep learning Methods 0.000 abstract description 10
- 238000004590 computer program Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Television Systems (AREA)
Abstract
本申请公开了视频质量提升方法、装置、电子设备和存储介质，涉及视频处理和深度学习领域。具体实现方案为：从原始视频中，提取相邻的第一图像帧和第二图像帧；对第一图像帧提取第一图像特征，对第二图像帧提取第二图像特征；根据第一图像特征和第二图像特征之间的特征连续性，插值生成目标图像特征；对第一图像特征、目标图像特征和第二图像特征，分别进行图像还原，得到各帧目标图像；根据各帧目标图像，生成目标视频。该方案能够实现提升视频质量。
Description
技术领域
本申请涉及视频处理和深度学习技术领域，尤其涉及一种视频质量提升方法、装置、电子设备和存储介质。
背景技术
随着移动互联网的兴起，用户存储和转发信息的方式逐渐从文字、图片过渡到视频，目前视频已经成为用户生成内容的主要载体。
相关技术中，通过视频插帧技术，在视频帧之间插入中间帧，增加视频帧率，从而提升用户的观感体验。
但是这种直接在视频现有图像中进行插帧的方式，可能导致视频变形严重。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
本申请提出一种视频质量提升方法、装置、电子设备和存储介质，以实现提升视频质量。
本申请第一方面实施例提出了一种视频质量提升方法，包括：
从原始视频中，提取相邻的第一图像帧和第二图像帧；
对所述第一图像帧提取第一图像特征，对所述第二图像帧提取第二图像特征；
根据所述第一图像特征和所述第二图像特征之间的特征连续性，插值生成目标图像特征；
对所述第一图像特征、所述目标图像特征和所述第二图像特征，分别进行图像还原，得到各帧目标图像；根据各帧所述目标图像，生成目标视频。
本申请第二方面实施例提出了一种视频质量提升装置，包括：
第一提取模块，用于从原始视频中，提取相邻的第一图像帧和第二图像帧；
第二提取模块，用于对所述第一图像帧提取第一图像特征，对所述第二图像帧提取第二图像特征；
插值模块，用于根据所述第一图像特征和所述第二图像特征之间的特征连续性，插值生成目标图像特征；
还原模块，用于对所述第一图像特征、所述目标图像特征和所述第二图像特征，分别进行图像还原，得到各帧目标图像；
生成模块，用于根据各帧所述目标图像，生成目标视频。
本申请第三方面实施例提出了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请第一方面实施例提出的视频质量提升方法。
本申请第四方面实施例提出了一种计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请第一方面实施例提出的视频质量提升方法。
本申请第五方面实施例提出了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现本申请第一方面实施例提出的视频质量提升方法。
上述申请中的一个实施例具有如下优点或有益效果：
通过从原始视频中，提取相邻的第一图像帧和第二图像帧；对第一图像帧提取第一图像特征，对第二图像帧提取第二图像特征；根据第一图像特征和第二图像特征之间的特征连续性，插值生成目标图像特征；对第一图像特征、目标图像特征和第二图像特征，分别进行图像还原，得到各帧目标图像；根据各帧目标图像，生成目标视频。本申请中，将视频中的图像帧映射到特征域，在特征域对相邻图像帧的图像特征进行插值计算得到目标图像特征后，再还原得到图像，由于图像特征相较于图像像素在时域上分布更加连续，也携带了更多空域的图像像素信息，因此，基于图像特征进行插值的方式相较于基于图像像素进行插值的方式而言，处理效果更加平滑，图像质量更优。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定，本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解。其中：
图1为本申请实施例一所提供的视频质量提升方法的流程示意图；
图2为本申请实施例二所提供的视频质量提升方法的流程示意图；
图3为本申请实施例三所提供的视频质量提升方法的流程示意图；
图4为本申请实施例中视频帧的处理流程示意图；
图5为本申请实施例四所提供的视频质量提升装置的结构示意图；
图6为本申请实施例五所提供的电子设备的结构示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本申请实施例的视频质量提升方法、装置、电子设备和存储介质。
图1为本申请实施例一所提供的视频质量提升方法的流程示意图。
本申请实施例以该视频质量提升方法被配置于视频质量提升装置中来举例说明，该视频质量提升装置可以应用于任一电子设备中，以使该电子设备可以执行视频质量提升功能。
其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑(PersonalComputer，简称PC)、移动终端、服务器等，移动终端例如可以为手机、平板电脑、个人数字助理、穿戴式设备、车载设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
如图1所示，该视频质量提升方法可以包括以下步骤：
步骤101，从原始视频中，提取相邻的第一图像帧和第二图像帧。
本申请实施例中，原始视频可以为离线视频，比如为电子设备本地存储的视频，或者，原始视频还可以为电子设备实时采集的视频，或者，原始视频可以为在线视频，等等，本申请对此并不做限制。
本申请实施例中，可以基于视频图像帧提取技术，从原始视频中，提取相邻的两帧图像，作为第一图像帧和第二图像帧。
步骤102，对第一图像帧提取第一图像特征，对第二图像帧提取第二图像特征。
本申请实施例中，在提取到相邻的第一图像帧和第二图像帧之后，可以对第一图像帧进行特征提取，得到第一图像特征，并对第二图像帧进行特征提取，得到第二图像特征。例如，可以基于图像特征提取算法，对第一图像帧进行特征提取，得到第一图像特征，以及对第二图像帧进行特征提取，得到第二图像特征，或者，可以基于深度学习技术，对第一图像帧提取第一图像特征，对第二图像帧提取第二图像特征，本申请对此并不做限制。其中，图像特征可以包括颜色特征、纹理特征、形状特征和空间关系特征。
步骤103，根据第一图像特征和第二图像特征之间的特征连续性，插值生成目标图像特征。
需要说明的是，由于图像特征相较于图像像素在时域上分布更加连续，也携带了更多空域的图像像素信息，因此，基于图像特征进行插值，可以提升图像的处理效果，提升视频质量。
具体地，可以根据第一图像特征和第二图像特征之间的特征连续性，对第一图像特征和第二图像特征进行插值计算，得到目标图像特征。比如，可以对相邻图像帧，即第t-1帧和第t+1帧的图像特征进行插值，生成第t帧的图像特征。
步骤104，对第一图像特征、目标图像特征和第二图像特征，分别进行图像还原，得到各帧目标图像。
本申请实施例中，在插值得到目标图像特征后，可以对第一图像特征、目标图像特征和第二图像特征，分别进行图像还原，得到各帧目标图像。仍以上述例子示例，对第t-1帧、第t帧、第t+1帧的图像特征分别进行还原，得到第t-1帧、第t帧、第t+1帧的图像帧。
步骤105，根据各帧目标图像，生成目标视频。
本申请实施例中，在还原得到各帧目标图像后，可以根据各帧目标图像，生成目标视频。本申请中，将视频中的图像帧映射到特征域，在特征域对相邻图像帧的图像特征进行插值计算得到目标图像特征后，再还原得到图像，由于图像特征相较于图像像素在时域上分布更加连续，也携带了更多空域的图像像素信息，因此，基于图像特征进行插值的方式相较于基于图像像素进行插值的方式而言，处理效果更加平滑，图像质量更优。
本申请实施例的视频质量提升方法，通过从原始视频中，提取相邻的第一图像帧和第二图像帧；对第一图像帧提取第一图像特征，对第二图像帧提取第二图像特征；根据第一图像特征和第二图像特征之间的特征连续性，插值生成目标图像特征；对第一图像特征、目标图像特征和第二图像特征，分别进行图像还原，得到各帧目标图像；根据各帧目标图像，生成目标视频。本申请中，将视频中的图像帧映射到特征域，在特征域对相邻图像帧的图像特征进行插值计算得到目标图像特征后，再还原得到图像，由于图像特征相较于图像像素在时域上分布更加连续，也携带了更多空域的图像像素信息，因此，基于图像特征进行插值的方式相较于基于图像像素进行插值的方式而言，处理效果更加平滑，图像质量更优。
作为一种可能的实现方式，为了提升视频处理效率，可以基于深度学习技术，对第一图像特征和第二图像特征进行插值处理，得到目标图像特征。下面结合实施例二，对上述过程进行详细说明。
图2为本申请实施例二所提供的视频质量提升方法的流程示意图。
如图2所示，该视频质量提取方法可以包括以下步骤：
步骤201，从原始视频中，提取相邻的第一图像帧和第二图像帧。
例如，标记第一图像帧为第t-1帧图像，第二图像帧为第t+1帧图像。
步骤202，对第一图像帧提取第一图像特征，对第二图像帧提取第二图像特征；其中，第一图像特征包括阵列排布的各第一特征值，第二图像特征包括阵列排布的各第二特征值。
例如，标记第一图像特征为矩阵A1，标记第二图像特征为矩阵A3。
步骤203，将阵列排布的各第一特征值，与阵列排布的各第二特征值，根据阵列排布位置对齐。
例如，可以将A1的第一行第一列的元素与A3的第一行第一列的元素对齐，将A1的第一行第二列的元素与A3的第二行第二列的元素对齐，将A1的第一行第三列的元素与A3的第二行第三列的元素对齐，…。
步骤204，将各第一特征值和对齐的各第二特征值输入特征插值网络，得到阵列排布的各目标特征值；其中，各目标特征值，是根据相应阵列排布位置上具有对齐关系的第一特征值和第二特征值，以及根据相邻阵列排布位置上的目标特征值，基于特征连续性生成的。
步骤205，将阵列排布的各目标特征值作为目标图像特征。
本申请实施例中，可以基于特征插值网络，对第一图像特征和第二图像特征进行插值运算，得到目标图像特征。具体地，可以将各第一特征值和对齐的各第二特征值输入特征插值网络，得到阵列排布的各目标特征值，将阵列排布的各目标特征值作为目标图像特征。例如，标记目标图像特征为矩阵A2。
其中，为了提升图像的处理效果，避免处理后的视频帧出现变形的情况，特征插值网络可以根据相应阵列排布位置上具有对齐关系的第一特征值和第二特征值，以及根据相邻阵列排布位置上的目标特征值，基于特征连续性，生成各目标特征值。
步骤206，对第一图像特征、目标图像特征和第二图像特征，分别进行图像还原，得到各帧目标图像。
例如，对第一图像特征进行还原，得到第t-1帧图像，对目标图像特征进行还原，得到第t帧图像，对第二图像特征进行还原，得到第t+1帧图像。
步骤207，根据各帧目标图像，生成目标视频。
本申请实施例中，在还原得到各帧目标图像后，可以根据各帧目标图像的位置关系，生成目标视频。
在本申请实施例的一种可能的实现方式中，为了进一步提升图像处理效果，在特征插值网络输出得到各目标特征值之后，可以将阵列排布的各目标特征值，根据阵列排布位置，对齐阵列排布的各第一特征值和阵列排布的各第二特征值，之后，将具有对齐关系的第一特征值、第二特征值和目标特征值，进行平滑处理。
作为一种示例，为了提升图像的处理效率，可以基于深度学习技术，对上述特征值进行平滑处理。例如，可以将具有对齐关系的第一特征值、第二特征值和目标特征值输入信息互补网络，得到平滑处理后的第一特征值、第二特征值和目标特征值，从而充分利用连续图像帧之间的时域信息。
为了进一步利用连续图像帧之间的时域信息，本申请中，信息互补网络可以由卷积长短期记忆(Convolutional Long Short-Term Memory，简称ConvLSTM)层构成，在时序信息上进行长短期记忆学习，从而实现连续帧的图像特征之间的平滑处理，达到连续帧的图像特征之间的信息互补的目的。其中，ConvLSTM可以同时提取时间特征和空间特征。
作为一种可能的实现方式，可以基于深度学习技术，分别对第一图像帧和第二图像帧进行特征提取，得到第一图像特征和第二图像特征。比如，可以基于特征抽取网络，抽取第一图像帧的图像特征，得到第一图像特征，以及抽取第二图像帧的图像特征，得到第二图像特征。
在本申请实施例的一种可能的实现方式中，为了提升视频质量，为用户提供优质的视频观看体验，本申请中，在对第一图像特征、目标图像特征和第二图像特征进行图像还原时，可以以较高的分辨率进行图像还原，从而实现为用户播放时呈现出高分辨的视频。下面结合实施例三，对上述过程进行详细说明。
图3为本申请实施例三所提供的视频质量提升方法的流程示意图。
如图3所示，该视频质量提升方法可以包括以下步骤：
步骤301，从原始视频中，提取相邻的第一图像帧和第二图像帧；其中，原始视频的分辨率为原始分辨率。
步骤302，对第一图像帧提取第一图像特征，对第二图像帧提取第二图像特征。
步骤303，根据第一图像特征和第二图像特征之间的特征连续性，插值生成目标图像特征。
步骤301至303的执行过程可以参见上述实施例的执行过程，在此不做赘述。
步骤304，对第一图像特征、目标图像特征和第二图像特征，分别以目标分辨率进行图像还原，得到目标分辨率的各帧目标图像；其中，目标分辨率大于原始分辨率。
本申请实施例中，为了提升视频质量，为用户提供优质的视频观看体验，在图像还原时，可以对第一图像特征、目标图像特征和第二图像特征，分别以目标分辨率进行图像还原，得到目标分辨率的各帧目标图像；其中，目标分辨率大于原始分辨率。
举例而言，原始视频的原始分辨率为1920*1080，为了实现为用户播放时呈现出高分辨的视频，目标分辨率可以为原始分辨率的两倍，即目标分辨率可以为3480*2160。
步骤305，根据各帧目标图像，生成目标视频。
在本申请实施例的一种可能的实现方式中，为了提升图像处理效率，可以基于深度学习技术，对图像特征进行还原，得到各帧目标图像。具体地，可以将第一图像特征、目标图像特征和第二图像特征分别输入视频帧重建网络，以得到相应的目标图像。
其中，视频重建网络，用于对输入的第一图像特征、目标图像特征和第二图像特征分别进行上采样；根据上采样得到的图像特征，图像还原得到相应的目标图像。
在本申请实施例的一种可能的实现方式中，为了同时实现视频的分辨率变换，以及图像还原，本申请中，视频重建网络可以包括：上采样层和图像还原层。
其中，上采样层，用于对输入的第一图像特征、目标图像特征和第二图像特征分别进行上采样，上采样率为目标分辨率与原始分辨率之比；图像还原层，用于根据上采样层上采样得到的图像特征，图像还原得到相应的目标图像；图像还原层，采用目标分辨率的训练样本图和相应训练样本图的图像特征进行有监督训练，学习得到目标分辨率的图像与图像特征之间的映射关系。
本申请实施例中，上采样率可以由电子设备的内置程序预先设置，或者，为了提升该视频质量提升方法的适用性，上采样率还可以由用户根据自身需求设置，对此不做限制。比如，该上采样率可以为2，当原始分辨率为1920*1080时，上采样层可以将第一图像特征、目标图像特征和第二图像特征分别进行上采样，得到分辨率为3840*2160的相应的图像特征。
本申请实施例中，在上采样层上采样得到各图像特征后，可以由图像还原层还原得到相应目标图像。其中，图像还原层，已预先采用目标分辨率的训练样本图和相应训练样本图的图像特征进行有监督训练，学习得到目标分辨率的图像与图像特征之间的映射关系。由此，可以实现在图像还原的基础上，提升视频的分辨率，有效改善用户的观看体验。
在本申请实施例的一种可能的实现方式中，为了提升图像处理效率，可以基于深度学习技术，对视频中相邻之间的图像帧进行特征提取。具体的，可以采用深层卷积神经网络对第一图像帧和第二图像帧进行特征提取。
进一步的，为了提升图像特征提取的丰富性，深层卷积神经网络可以采用多种尺寸的卷积核进行特征提取，例如该深层卷积神经网络可以采用全局和局部等各种尺度的卷积核进行特征提取。
需要说明的是，视频传输需要较高的网络带宽，视频的存储亦需要较大的硬盘空间。相关技术中，为了节省视频的传输和存储开销，可以通过视频服务传输和存储较低分辨率的视频，之后通过视频超分辨率技术，将低分辨率的视频转换成高分辨率的视频，为用户播放时呈现出高分辨的视频，为用户提供优质的视频观看体验。
但是，目前大部分视频的拍摄帧率处于24-30fps(Frames Per Second，每秒传输帧数)之间，在视频播放时，可能出现卡顿、跳跃、抖动等现象，其观感体验远不如处于60-120fps之间的高帧率的视频。相关技术中，可以通过视频插帧技术，在视频帧之间插入中间帧，增加视频帧率，使得视频观看起来更加顺畅，减少跳跃，抖动等现象，极大地提升用户的观看体验。
然而相关技术中，是将超分辨率技术和插帧技术串行应用在视频上，这种方式下，计算复杂度高，效率低下，产出的视频效果不理想，存在抖动、模糊、变形等现象。
而本申请中，基于深度学习技术，对提取后的相邻图像帧进行特征提取、插值运算、平滑处理、上采样、还原，可以提升视频的处理效率。同时，基于深度学习技术，对视频进行处理，在放大视频的空间分辨率和时间分辨率的基础上，考虑到视频中像素的时间空间信息，时空超分效果更好。并且，由于图像特征相较于图像像素在时域上分布更加连续，也携带了更多空域的图像像素信息，因此，基于图像特征进行插值的方式相较于基于图像像素进行插值的方式而言，处理效果更加平滑，图像质量更优。
作为一种示例，参见图4，图4为本申请实施例中视频帧的处理流程示意图。在提取到相邻的视频帧，即第t-1帧视频帧和第t+1帧视频帧后，可以基于特征抽取网络，提取第t-1帧视频帧和第t+1帧视频帧的图像特征，充分利用视频帧各个像素中的空间信息，之后，可以基于特征插值网络对第t-1帧的图像特征和第t+1帧的图像特征，进行插值运算，得到第t帧的图像特征，接着，基于信息互补网络，例如ConvLSTM对第t-1帧的图像特征、第t+1帧的图像特征和第t+1帧的图像特征，进行互补性的融合，从而实现连续帧的图像特征之间的平滑处理，充分利用连续帧之间的时域信息，最后，基于视频帧重建网络对信息互补网络融合后的图像特征进行还原，得到超分后的第t-1帧的视频帧、第t帧的视频帧以及第t帧的视频帧。
为了实现上述实施例，本申请还提出一种视频质量提升装置。
图5为本申请实施例四所提供的视频质量提升装置的结构示意图。
如图5所示，该视频质量提升装置500包括：第一提取模块510、第二提取模块520、插值模块530、还原模块540以及生成模块550。
其中，第一提取模块510，用于从原始视频中，提取相邻的第一图像帧和第二图像帧。
第二提取模块520，用于对第一图像帧提取第一图像特征，对第二图像帧提取第二图像特征。
插值模块530，用于根据第一图像特征和第二图像特征之间的特征连续性，插值生成目标图像特征。
还原模块540，用于对第一图像特征、目标图像特征和第二图像特征，分别进行图像还原，得到各帧目标图像。
生成模块550，用于根据各帧目标图像，生成目标视频。
作为一种可能的实现方式，第一图像特征包括阵列排布的各第一特征值，第二图像特征包括阵列排布的各第二特征值；插值模块530，具体用于：将阵列排布的各第一特征值，与阵列排布的各第二特征值，根据阵列排布位置对齐；将各第一特征值和对齐的各第二特征值输入特征插值网络，得到阵列排布的各目标特征值；其中，各目标特征值，是根据相应阵列排布位置上具有对齐关系的第一特征值和第二特征值，以及根据相邻阵列排布位置上的目标特征值，基于特征连续性生成的；将阵列排布的各目标特征值作为目标图像特征。
作为另一种可能的实现方式，插值模块530，还用于：将阵列排布的各目标特征值，根据阵列排布位置，对齐阵列排布的各第一特征值和阵列排布的各第二特征值；将具有对齐关系的第一特征值、第二特征值和目标特征值，进行平滑处理。
作为一种可能的实现方式，原始视频为原始分辨率；还原模块540，具体用于：对第一图像特征、目标图像特征和第二图像特征，分别以目标分辨率进行图像还原，得到目标分辨率的各帧目标图像；其中，目标分辨率大于原始分辨率。
作为另一种可能的实现方式，还原模块540，还用于：将第一图像特征、目标图像特征和第二图像特征分别输入视频帧重建网络，以得到相应的目标图像；其中，视频重建网络，用于对输入的第一图像特征、目标图像特征和第二图像特征分别进行上采样；根据上采样得到的图像特征，图像还原得到相应的目标图像。
作为一种可能的实现方式，视频重建网络，包括：上采样层和图像还原层；其中，上采样层，用于对输入的第一图像特征、目标图像特征和第二图像特征分别进行上采样，上采样率为目标分辨率与原始分辨率之比；图像还原层，用于根据上采样层上采样得到的图像特征，图像还原得到相应的目标图像；图像还原层，采用目标分辨率的训练样本图和相应训练样本图的图像特征进行有监督训练，学习得到目标分辨率的图像与图像特征之间的映射关系。
作为一种可能的实现方式，第二提取模块520，具体用于：采用深层卷积神经网络对第一图像帧和第二图像帧进行特征提取；其中，深层卷积神经网络，用于采用多种尺寸的卷积核进行特征提取。
需要说明的是，前述图1至图4实施例对视频质量提升方法的解释说明也适用于该实施例的视频质量提升装置，此处不再赘述。
本申请实施例的视频质量提升装置，通过从原始视频中，提取相邻的第一图像帧和第二图像帧；对第一图像帧提取第一图像特征，对第二图像帧提取第二图像特征；根据第一图像特征和第二图像特征之间的特征连续性，插值生成目标图像特征；对第一图像特征、目标图像特征和第二图像特征，分别进行图像还原，得到各帧目标图像；根据各帧目标图像，生成目标视频。本申请中，将视频中的图像帧映射到特征域，在特征域对相邻图像帧的图像特征进行插值计算得到目标图像特征后，再还原得到图像，由于图像特征相较于图像像素在时域上分布更加连续，也携带了更多空域的图像像素信息，因此，基于图像特征进行插值的方式相较于基于图像像素进行插值的方式而言，处理效果更加平滑，图像质量更优。
为了实现上述实施例，本申请还提出一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本申请前述实施例提出的视频质量提升方法。
为了实现上述实施例，本申请还提出一种计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行本申请前述实施例提出的视频质量提升方法。
为了实现上述实施例，本申请还提出一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如本申请前述实施例提出的视频质量提升方法。
根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和计算机程序产品。
如图6所示，是根据本申请实施例的视频质量提升方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的视频质量提升方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的视频质量提升方法。
存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的视频质量提升方法对应的程序指令/模块(例如，附图5所示的第一提取模块510、第二提取模块520、插值模块530、还原模块540和生成模块550)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的视频质量提升方法。
存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过从原始视频中，提取相邻的第一图像帧和第二图像帧；对第一图像帧提取第一图像特征，对第二图像帧提取第二图像特征；根据第一图像特征和第二图像特征之间的特征连续性，插值生成目标图像特征；对第一图像特征、目标图像特征和第二图像特征，分别进行图像还原，得到各帧目标图像；根据各帧目标图像，生成目标视频。本申请中，将视频中的图像帧映射到特征域，在特征域对相邻图像帧的图像特征进行插值计算得到目标图像特征后，再还原得到图像，由于图像特征相较于图像像素在时域上分布更加连续，也携带了更多空域的图像像素信息，因此，基于图像特征进行插值的方式相较于基于图像像素进行插值的方式而言，处理效果更加平滑，图像质量更优。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (9)
1.一种视频质量提升方法，其特征在于，所述方法包括：
从原始视频中，提取相邻的第一图像帧和第二图像帧；
对所述第一图像帧提取第一图像特征，对所述第二图像帧提取第二图像特征；
根据所述第一图像特征和所述第二图像特征之间的特征连续性，插值生成目标图像特征；
对所述第一图像特征、所述目标图像特征和所述第二图像特征，分别进行图像还原，得到各帧目标图像；
根据各帧所述目标图像，生成目标视频，其中，图像特征包括：颜色特征、纹理特征、形状特征和空间关系特征；所述第一图像特征包括阵列排布的各第一特征值，所述第二图像特征包括阵列排布的各第二特征值；
所述根据所述第一图像特征和所述第二图像特征之间的特征连续性，插值生成目标图像特征，包括：
将阵列排布的各第一特征值，与阵列排布的各第二特征值，根据阵列排布位置对齐；
将各第一特征值和对齐的各第二特征值输入特征插值网络，得到阵列排布的各目标特征值；其中，各目标特征值，是根据相应阵列排布位置上具有对齐关系的第一特征值和第二特征值，以及根据相邻阵列排布位置上的目标特征值，基于特征连续性生成的；
将所述阵列排布的各目标特征值作为所述目标图像特征。
2.根据权利要求1所述的视频质量提升方法，其特征在于，所述将各第一特征值和对齐的各第二特征值输入特征插值网络，得到阵列排布的各目标特征值之后，还包括：
将阵列排布的各目标特征值，根据阵列排布位置，对齐阵列排布的各第一特征值和阵列排布的各第二特征值；
将具有对齐关系的所述第一特征值、所述第二特征值和所述目标特征值，进行平滑处理。
3.根据权利要求1-2任一项所述的视频质量提升方法，其特征在于，所述原始视频为原始分辨率；所述对所述第一图像特征、所述目标图像特征和所述第二图像特征，分别进行图像还原，得到各帧目标图像，包括：
对所述第一图像特征、所述目标图像特征和所述第二图像特征，分别以目标分辨率进行图像还原，得到所述目标分辨率的各帧目标图像；其中，所述目标分辨率大于所述原始分辨率。
4.根据权利要求3所述的视频质量提升方法，其特征在于，所述对所述第一图像特征、所述目标图像特征和所述第二图像特征，分别以目标分辨率进行图像还原，得到所述目标分辨率的各帧目标图像，包括：
将所述第一图像特征、所述目标图像特征和所述第二图像特征分别输入视频帧重建网络，以得到相应的所述目标图像；
其中，所述视频重建网络，用于对输入的所述第一图像特征、所述目标图像特征和所述第二图像特征分别进行上采样；根据上采样得到的图像特征，图像还原得到相应的所述目标图像。
5.根据权利要求4所述的视频质量提升方法，其特征在于，所述视频重建网络，包括：上采样层和图像还原层；
其中，所述上采样层，用于对输入的所述第一图像特征、所述目标图像特征和所述第二图像特征分别进行上采样，上采样率为所述目标分辨率与所述原始分辨率之比；
所述图像还原层，用于根据所述上采样层上采样得到的图像特征，图像还原得到相应的所述目标图像；所述图像还原层，采用所述目标分辨率的训练样本图和相应训练样本图的图像特征进行有监督训练，学习得到所述目标分辨率的图像与图像特征之间的映射关系。
6.根据权利要求1-2任一项所述的视频质量提升方法，其特征在于，所述对所述第一图像帧提取第一图像特征，对所述第二图像帧提取第二图像特征，包括：
采用深层卷积神经网络对所述第一图像帧和所述第二图像帧进行特征提取；其中，所述深层卷积神经网络，用于采用多种尺寸的卷积核进行特征提取。
7.一种视频质量提升装置，其特征在于，所述装置包括：
第一提取模块，用于从原始视频中，提取相邻的第一图像帧和第二图像帧；
第二提取模块，用于对所述第一图像帧提取第一图像特征，对所述第二图像帧提取第二图像特征；
插值模块，用于根据所述第一图像特征和所述第二图像特征之间的特征连续性，插值生成目标图像特征；
还原模块，用于对所述第一图像特征、所述目标图像特征和所述第二图像特征，分别进行图像还原，得到各帧目标图像；
生成模块，用于根据各帧所述目标图像，生成目标视频；其中，图像特征包括：颜色特征、纹理特征、形状特征和空间关系特征；所述插值模块，包括：所述第一图像特征包括阵列排布的各第一特征值，所述第二图像特征包括阵列排布的各第二特征值；
所述根据所述第一图像特征和所述第二图像特征之间的特征连续性，插值生成目标图像特征，包括：
将阵列排布的各第一特征值，与阵列排布的各第二特征值，根据阵列排布位置对齐；
将各第一特征值和对齐的各第二特征值输入特征插值网络，得到阵列排布的各目标特征值；其中，各目标特征值，是根据相应阵列排布位置上具有对齐关系的第一特征值和第二特征值，以及根据相邻阵列排布位置上的目标特征值，基于特征连续性生成的；
将所述阵列排布的各目标特征值作为所述目标图像特征。
8.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的视频质量提升方法。
9.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的视频质量提升方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010408915.1A CN111654723B (zh) | 2020-05-14 | 2020-05-14 | 视频质量提升方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010408915.1A CN111654723B (zh) | 2020-05-14 | 2020-05-14 | 视频质量提升方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111654723A CN111654723A (zh) | 2020-09-11 |
| CN111654723B true CN111654723B (zh) | 2022-04-12 |
Family
ID=72352630
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010408915.1A Active CN111654723B (zh) | 2020-05-14 | 2020-05-14 | 视频质量提升方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111654723B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114286126A (zh) * | 2020-09-28 | 2022-04-05 | 阿里巴巴集团控股有限公司 | 视频处理方法及装置 |
| CN112788236B (zh) * | 2020-12-31 | 2022-08-09 | 维沃移动通信有限公司 | 视频帧处理方法、装置、电子设备和可读存储介质 |
| CN114979703B (zh) * | 2021-02-18 | 2024-10-01 | 阿里巴巴集团控股有限公司 | 处理视频数据的方法和处理图像数据的方法 |
| CN113012293B (zh) * | 2021-03-22 | 2023-09-29 | 平安科技（深圳）有限公司 | 石刻模型构建方法、装置、设备及存储介质 |
| CN113362224B (zh) * | 2021-05-31 | 2024-08-16 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
| CN113747242B (zh) * | 2021-09-06 | 2023-03-24 | 海宁奕斯伟集成电路设计有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN117519609B (zh) * | 2024-01-02 | 2024-04-09 | 中移(苏州)软件技术有限公司 | 一种视频文件的处理方法、装置及电子设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102236889A (zh) * | 2010-05-18 | 2011-11-09 | 王洪剑 | 一种基于多帧运动估计和融合的超分辨率重构方法 |
| CN105427243A (zh) * | 2015-10-29 | 2016-03-23 | 中国科学院自动化研究所 | 基于自适应插值核学习的视频超分辨率重建方法 |
| CN105787901A (zh) * | 2016-03-21 | 2016-07-20 | 昆明理工大学 | 一种用于太阳高分辨图像序列中相邻两帧间的多尺度速度场测量方法 |
| CN108182694A (zh) * | 2017-12-29 | 2018-06-19 | 浙江大学 | 一种基于插值的运动估计与自适应视频重建方法 |
| CN110381268A (zh) * | 2019-06-25 | 2019-10-25 | 深圳前海达闼云端智能科技有限公司 | 生成视频的方法，装置，存储介质及电子设备 |
| CN110443754A (zh) * | 2019-08-06 | 2019-11-12 | 安徽大学 | 一种数字图像分辨率提升的方法 |
| CN110572710A (zh) * | 2019-09-25 | 2019-12-13 | 北京达佳互联信息技术有限公司 | 视频生成方法、装置、设备及存储介质 |
| CN110809126A (zh) * | 2019-10-28 | 2020-02-18 | 北京影谱科技股份有限公司 | 一种基于自适应可变形卷积的视频帧插值方法及系统 |
| CN110969577A (zh) * | 2019-11-29 | 2020-04-07 | 北京交通大学 | 一种基于深度双重注意力网络的视频超分辨率重建方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100913088B1 (ko) * | 2005-01-21 | 2009-08-21 | 엘지전자 주식회사 | 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치 |
| US10327008B2 (en) * | 2010-10-13 | 2019-06-18 | Qualcomm Incorporated | Adaptive motion vector resolution signaling for video coding |
| EP3300381B1 (en) * | 2015-05-19 | 2021-03-10 | Sony Corporation | Image processing device, image processing method, reception device and transmission device |
-
2020
- 2020-05-14 CN CN202010408915.1A patent/CN111654723B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102236889A (zh) * | 2010-05-18 | 2011-11-09 | 王洪剑 | 一种基于多帧运动估计和融合的超分辨率重构方法 |
| CN105427243A (zh) * | 2015-10-29 | 2016-03-23 | 中国科学院自动化研究所 | 基于自适应插值核学习的视频超分辨率重建方法 |
| CN105787901A (zh) * | 2016-03-21 | 2016-07-20 | 昆明理工大学 | 一种用于太阳高分辨图像序列中相邻两帧间的多尺度速度场测量方法 |
| CN108182694A (zh) * | 2017-12-29 | 2018-06-19 | 浙江大学 | 一种基于插值的运动估计与自适应视频重建方法 |
| CN110381268A (zh) * | 2019-06-25 | 2019-10-25 | 深圳前海达闼云端智能科技有限公司 | 生成视频的方法，装置，存储介质及电子设备 |
| CN110443754A (zh) * | 2019-08-06 | 2019-11-12 | 安徽大学 | 一种数字图像分辨率提升的方法 |
| CN110572710A (zh) * | 2019-09-25 | 2019-12-13 | 北京达佳互联信息技术有限公司 | 视频生成方法、装置、设备及存储介质 |
| CN110809126A (zh) * | 2019-10-28 | 2020-02-18 | 北京影谱科技股份有限公司 | 一种基于自适应可变形卷积的视频帧插值方法及系统 |
| CN110969577A (zh) * | 2019-11-29 | 2020-04-07 | 北京交通大学 | 一种基于深度双重注意力网络的视频超分辨率重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111654723A (zh) | 2020-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111654723B (zh) | 视频质量提升方法、装置、电子设备和存储介质 | |
| CN111182254B (zh) | 一种视频处理方法、装置、设备及存储介质 | |
| CN111709878B (zh) | 人脸超分辨率实现方法、装置、电子设备及存储介质 | |
| CN112584077B (zh) | 视频的插帧方法、装置及电子设备 | |
| US11363271B2 (en) | Method for video frame interpolation, related electronic device and storage medium | |
| CN111192215B (zh) | 图像处理方法、装置、设备和可读存储介质 | |
| US11641446B2 (en) | Method for video frame interpolation, and electronic device | |
| CN113014936B (zh) | 视频插帧方法、装置、设备以及存储介质 | |
| CN111524166A (zh) | 视频帧的处理方法和装置 | |
| CN110827380A (zh) | 图像的渲染方法、装置、电子设备及计算机可读介质 | |
| CN111277861A (zh) | 提取视频中热点片段的方法以及装置 | |
| CN110647936B (zh) | 视频超分辨率重建模型的训练方法、装置和电子设备 | |
| CN113014937A (zh) | 视频插帧方法、装置、设备以及存储介质 | |
| CN110647934B (zh) | 视频超分辨率重建模型的训练方法、装置和电子设备 | |
| CN112508964B (zh) | 图像分割方法、装置、电子设备和存储介质 | |
| CN111367443A (zh) | 一种信息交互方法、装置、电子设备和介质 | |
| CN113542802B (zh) | 视频的转场方法和装置 | |
| CN111754493A (zh) | 图像噪点强度评估方法、装置、电子设备及存储介质 | |
| CN112508830A (zh) | 图像处理模型的训练方法、装置、设备及存储介质 | |
| CN113254680B (zh) | 多媒体信息的封面图处理方法、客户端和电子设备 | |
| CN111680623A (zh) | 姿态转换方法及装置、电子设备、存储介质 | |
| CN111601042B (zh) | 图像采集方法、图像展示方法及装置 | |
| US20240331085A1 (en) | Viewing distance based resolution control for video coding | |
| US12113949B2 (en) | System and method for depth data coding | |
| US20240212179A1 (en) | System and method for depth data coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |