CN109934776A - 模型生成方法、视频增强方法、装置及计算机可读存储介质 - Google Patents
模型生成方法、视频增强方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109934776A CN109934776A CN201811594363.7A CN201811594363A CN109934776A CN 109934776 A CN109934776 A CN 109934776A CN 201811594363 A CN201811594363 A CN 201811594363A CN 109934776 A CN109934776 A CN 109934776A
- Authority
- CN
- China
- Prior art keywords
- image
- video
- sample
- enhancing
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明提供了一种模型生成方法、视频增强方法、装置及计算机可读存储介质，属于网络技术领域。该方法可以将样本图片集中的每个样本图像对输入初始增强模型，利用初始增强模型基于每个样本图像对中的样本图像及辅助图像，对每个样本图像进行增强处理，然后，计算损失值，若损失值在预设范围内，将初始增强模型作为视频增强模型。这样，利用该生成的视频增强模型在对待分类视频进行处理时，能够基于该待分类视频中每帧图像以及每帧图像增强后的前一帧图像，对每帧图像进行增强，这样，通过结合增强后的前一帧图像的信息，可以使得增强后的图像之间不会出现太大差异，进而提高了增强效果。
Description
技术领域
本发明属于网络技术领域，特别是涉及一种模型生成方法、视频增强方法、装置及计算机可读存储介质。
背景技术
随着网络的不断发展，用户经常会拍摄视频，但受到用户拍摄设备质量以及拍摄环境的影响，拍摄的视频中的帧图像可能会出现质量较差的情况，例如，对比度、饱和度过高或过低，因此，如何对视频中帧图像进行增强，以提高视频质量，成为人们广泛的问题。
现有技术中，通常是利用增强算法对每帧图像进行增强，但是，直接对每帧图像依次进行增强，会导致帧图像之间的增强效果的差异较大，进而会导致视频的播放效果较差。
发明内容
本发明提供一种模型生成方法、视频增强方法、装置及计算机可读存储介质，以便解决对视频的增强效果较差的问题。
依据本发明的第一方面，提供了一种模型生成方法，应该方法包括：
将样本图片集中的每个样本图像对输入初始增强模型；一个所述样本图片对包括样本图像、所述样本图像的辅助图像以及样本增强图像，所述辅助图像是基于所述样本增强图像生成的；
根据每个样本图像对中的样本图像及辅助图像，并利用所述初始增强模型对每个所述样本图像进行增强处理；
基于每个增强后的样本图像以及所述样本图像的样本增强图像，计算所述初始增强模型的损失值；
若所述损失值在预设范围内，将所述初始增强模型作为视频增强模型。
可选的，所述样本图像与所述样本图像的样本增强图像的内容相同，所述样本增强图像的质量优于所述样本图像；
所述基于每个增强后的样本图像以及所述样本图像的样本增强图像，计算所述初始增强模型的损失值之后，所述方法还包括：
若所述损失值不在预设范围内，基于所述损失值表示的误差程度调整所述初始增强模型的参数，并基于所述样本图片集对调整后的初始增强模型继续训练。
可选的，所述将样本图片集中的每个样本图像对输入初始增强模型之前，所述方法还包括：
对于每个样本图像对，对所述样本图像对中的样本增强图像进行指定处理；所述指定处理至少包括裁剪处理、旋转处理以及模糊处理中的两种或多种；
将处理后的样本增强图像的大小调节至所述样本图像对中样本图像的大小，得到所述样本图像对中的辅助图像。
可选的，所述初始增强模型包括输入层、卷积层、全连接层以及反卷积层；所述卷积层中的参数至少包括：卷积核的值，所述全连接层中的参数至少包括权重矩阵；
所述根据每个样本图像对中的样本图像及辅助图像，并利用所述初始增强模型对每个所述样本图像进行增强处理，包括：
对于每个所述样本图像，通过所述输入层将所述样本图像中每个像素对应的颜色通道值与所述辅助图像中相同位置的像素对应的色彩通道值进行组合，得到每个像素对应的多个通道值；
通过所述卷积层将所述样本图像中每个像素对应的多个通道值组成的像素矩阵，与所述卷积核进行卷积运算，得到卷积后的第一像素矩阵；
通过所述全连接层将所述权重矩阵与所述第一像素矩阵相乘，得到第二像素矩阵；
通过所述反卷积层对所述第二像素矩阵进行反卷积运算，得到增强后的样本图像。
依据本发明的第二方面，提供了一种视频增强方法，该方法包括：
将待处理视频输入视频增强模型；
通过所述视频增强模型对所述待处理视频中的每帧图像进行增强处理，得到目标视频；其中，所述视频增强模型是利用第一方面所述的方法生成的。
可选的，所述将待处理视频输入视频增强模型，包括：
根据待处理视频中每帧图像之间的色彩相似度，将所述待处理视频切分为多个待处理视频段；
将各待处理视频段依次输入所述视频增强模型。
可选的，所述通过所述视频增强模型对所述待处理视频中的每帧图像进行增强处理，得到目标视频，包括：
对于每个所述待处理视频段，利用所述视频增强模型对所述待处理视频段中的第一帧图像进行增强处理，以及对除所述第一帧图像之外的任一图像，基于所述图像以及所述图像的前一帧图像，对所述图像进行增强处理，得到目标视频段；
将各目标视频段组合得到所述目标视频。
可选的，所述视频增强模型包括输入层、卷积层、全连接层以及反卷积层；
所述基于所述图像以及所述图像的前一帧图像，对所述图像进行增强处理，包括：
通过所述输入层将所述图像中每个像素对应的颜色通道值与所述前一帧图像中相同位置的像素对应的色彩通道值进行组合，得到每个像素对应的多个通道值；
通过所述卷积层将所述图像中每个像素对应的多个通道值组成的像素矩阵，与所述卷积层中的卷积核进行卷积运算，得到卷积后的第一像素矩阵；
通过所述全连接层将所述全连接层中的权重矩阵与所述第一像素矩阵相乘，得到第二像素矩阵；
通过所述反卷积层对所述第二像素矩阵进行反卷积运算。
可选的，所述根据待处理视频中每帧图像之间的色彩相似度，将所述待处理视频切分为多个待处理视频段，包括：
将所述待处理视频中的每帧图像转换至颜色-编码方法YUV颜色空间；
对于每帧图像，根据所述图像中每个像素的U通道值以及V通道值，以及所述图像的前一帧图像中每个像素的U通道值以及V通道值，计算所述图像与前一帧图像之间的色彩相似度值，得到所述图像对应的色彩相似度值；
计算所述图像对应的色彩相似度值与所述前一帧图像对应的色彩相似度值的差值，得到所述图像对应的色彩相似度差值；
对于每帧图像，将对应的色彩相似度差值等于指定阈值的图像确定为分割点，以及，将对应的色彩相似度差值大于指定阈值且前一帧图像对应的色彩相似度差值小于指定阈值的图像，确定为分割点；
根据各分割点对所述待处理视频进行分割，得到多个待处理视频段。
可选的，所述将各目标视频段组合得到所述目标视频，包括：
对于每个目标视频段中的每帧图像，执行以下操作：将所述图像转换至颜色模型LAB颜色空间；以及，将转换后的所述图像中每个像素的L通道值设置为所述像素的原始L通道值；以及，将设置后的所述图像转换至红绿蓝RGB颜色空间；
将执行所述操作后的各目标视频段组合得到所述目标视频。
依据本发明的第三方面，提供了一种模型生成装置，该装置包括：
输入模块，用于将样本图片集中的每个样本图像对输入初始增强模型；一个所述样本图片对包括样本图像、所述样本图像的辅助图像以及样本增强图像，所述辅助图像是基于所述样本增强图像生成的；
第一处理模块，用于根据每个样本图像对中的样本图像及辅助图像，并利用所述初始增强模型对每个所述样本图像进行增强处理；
计算模块，用于基于每个增强后的样本图像以及所述样本图像的样本增强图像，计算所述初始增强模型的损失值；
确定模块，用于若所述损失值在预设范围内，将所述初始增强模型作为视频增强模型。
可选的，所述样本图像与所述样本图像的样本增强图像的内容相同，所述样本增强图像的质量优于所述样本图像；
所述装置还包括：
调整模块，用于若所述损失值不在预设范围内，基于所述损失值表示的误差程度调整所述初始增强模型的参数，并基于所述样本图片集对调整后的初始增强模型继续训练。
可选的，所述装置还包括：
第二处理模块，用于对于每个样本图像对，对所述样本图像对中的样本增强图像进行指定处理；所述指定处理至少包括裁剪处理、旋转处理以及模糊处理中的两种或多种；
调节模块，用于将处理后的样本增强图像的大小调节至所述样本图像对中样本图像的大小，得到所述样本图像对中的辅助图像。
可选的，所述初始增强模型包括输入层、卷积层、全连接层以及反卷积层；所述卷积层中的参数至少包括：卷积核的值，所述全连接层中的参数至少包括权重矩阵；
所述第一处理模块，用于：
对于每个所述样本图像，通过所述输入层将所述样本图像中每个像素对应的颜色通道值与所述辅助图像中相同位置的像素对应的色彩通道值进行组合，得到每个像素对应的多个通道值；
通过所述卷积层将所述样本图像中每个像素对应的多个通道值组成的像素矩阵，与所述卷积核进行卷积运算，得到卷积后的第一像素矩阵；
通过所述全连接层将所述权重矩阵与所述第一像素矩阵相乘，得到第二像素矩阵；
通过所述反卷积层对所述第二像素矩阵进行反卷积运算，得到增强后的样本图像。
依据本发明的第四方面，提供了一种视频增强装置，该装置包括：
输入模块，用于将待处理视频输入视频增强模型；
处理模块，用于通过所述视频增强模型对所述待处理视频中的每帧图像进行增强处理，得到目标视频；其中，所述视频增强模型是利用第三方面所述的装置生成的。
可选的，所述输入模块，包括：
切分子模块，用于根据待处理视频中每帧图像之间的色彩相似度，将所述待处理视频切分为多个待处理视频段；
输入子模块，用于将各待处理视频段依次输入所述视频增强模型。
可选的，所述处理模块，包括：
处理子模块，用于对于每个所述待处理视频段，利用所述视频增强模型对所述待处理视频段中的第一帧图像进行增强处理，以及对除所述第一帧图像之外的任一图像，基于所述图像以及所述图像的前一帧图像，对所述图像进行增强处理，得到目标视频段；
组合子模块，用于将各目标视频段组合得到所述目标视频。
可选的，所述视频增强模型包括输入层、卷积层、全连接层以及反卷积层；
所述处理子模块，用于：
通过所述输入层将所述图像中每个像素对应的颜色通道值与所述前一帧图像中相同位置的像素对应的色彩通道值进行组合，得到每个像素对应的多个通道值；
通过所述卷积层将所述图像中每个像素对应的多个通道值组成的像素矩阵，与所述卷积层中的卷积核进行卷积运算，得到卷积后的第一像素矩阵；
通过所述全连接层将所述全连接层中的权重矩阵与所述第一像素矩阵相乘，得到第二像素矩阵；
通过所述反卷积层对所述第二像素矩阵进行反卷积运算。
可选的，所述切分子模块，用于：
将所述待处理视频中的每帧图像转换至YUV颜色空间；
对于每帧图像，根据所述图像中每个像素的U通道值以及V通道值，以及所述图像的前一帧图像中每个像素的U通道值以及V通道值，计算所述图像与前一帧图像之间的色彩相似度值，得到所述图像对应的色彩相似度值；
计算所述图像对应的色彩相似度值与所述前一帧图像对应的色彩相似度值的差值，得到所述图像对应的色彩相似度差值；
对于每帧图像，将对应的色彩相似度差值等于指定阈值的图像确定为分割点，以及，将对应的色彩相似度差值大于指定阈值且前一帧图像对应的色彩相似度差值小于指定阈值的图像，确定为分割点；
根据各分割点对所述待处理视频进行分割，得到多个待处理视频段。
可选的，所述组合子模块，用于：
对于每个目标视频段中的每帧图像，执行以下操作：将所述图像转换至LAB颜色空间；以及，将转换后的所述图像中每个像素的L通道值设置为所述像素的原始L通道值；以及，将设置后的所述图像转换至RGB颜色空间；
将执行所述操作后的各目标视频段组合得到所述目标视频。
依据本发明的第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的任一模型生成方法，以及第二方面所述的任一视频增强方法的步骤。
针对在先技术，本发明具备如下优点：
可以将样本图片集中的每个样本图像对输入初始增强模型，其中，该样本图片对包括样本图像以及样本图像的样本增强图像，接着，可以根据每个样本图像对中的样本图像及样本图像的辅助图像，并利用初始增强模型对每个样本图像进行增强处理，该辅助图像是基本图像的样本增强图像生成的，接着，基于每个增强后的样本图像以及样本图像的样本增强图像，计算初始增强模型的损失值，最后，若损失值在预设范围内，将初始增强模型作为视频增强模型。本发明实施例中，以基于样本增强图像生成的辅助图像模拟视频中图像的增强后的前一帧图像，通过样本图像以及辅助图像来生成视频增强模型，使得后续使用过程中，利用该生成的视频增强模型在对待分类视频进行处理时，能够基于该待分类视频中每帧图像以及每帧图像增强后的前一帧图像，对每帧图像进行增强，这样，通过结合增强后的前一帧图像的信息，可以使得增强后的图像之间不会出现太大差异，进而提高了增强效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例提供的一种模型生成方法的步骤流程图；
图2-1是本发明实施例提供的另一种模型生成方法的步骤流程图；
图2-2是本发明实施例提供的一种初始增强模型的结构示意图；
图2-3是本发明实施例提供的一种样本图像及辅助图像的增强过程示意图；
图3是本发明实施例提供的一种视频增强方法的步骤流程图；
图4是本发明实施例提供的另一种视频增强方法的步骤流程图；
图5是本发明实施例提供的又一种视频增强方法的步骤流程图；
图6是本发明实施例提供的一种模型生成装置的框图；
图7是本发明实施例提供的一种视频增强装置的框图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
图1是本发明实施例提供的一种模型生成方法的步骤流程图，如图1所示，该方法可以包括：
步骤101、将样本图片集中的每个样本图像对输入初始增强模型；一个所述样本图片对包括样本图像、所述样本图像的辅助图像以及样本增强图像，所述辅助图像是基于所述样本增强图像生成的。
本发明实施例中，样本图片集可以由多对样本图像对组成，其中，该样本图像对中包括的样本图像以及样本增强图像可以是大小、内容相同的图像，样本增强图像的质量优于样本图像，示例的，该样本图像可以是亮度、对比度以及饱和度均适中的图像，样本图像可以是亮度、对比度以及饱和度过高或过低的图像。进一步地，该辅助图像可以是对样本增强图像进行指定操作得到的，这样，由于是以样本增强图像为基础得到的该辅助图像，因此该辅助图像与样本图像存在一定的差异，且质量优于样本图像。
进一步地，该初始增强模型可以是开发人员基于神经网络模型预先构建的，该初始意图识别模型可以包括多层结构，每层结构可以实现不同的处理。
步骤102、根据每个样本图像对中的样本图像及辅助图像，并利用所述初始增强模型对每个所述样本图像进行增强处理。
实际应用场景中，视频中大多数的帧图像与其前一帧图像的差异往往都是图像中的主体的位置或者是背景有细微变化，两者之间的差异一般不会太大，而本发明实施例中的辅助图像是基于对样本增强图像进行指定操作得到的，该辅助图像具有与样本图像存在一定的差异且质量优于样本图像的特点。因此，本发明实施例中，可以以该辅助图像模拟该样本图像的增强后的前一帧图像。进一步地，可以将每个样本图像及其辅助图像输入初始增强模型，使初始增强模型结合样本图像及其辅助图像对样本图像进行增强处理。
步骤103、基于每个增强后的样本图像以及所述样本图像的样本增强图像，计算所述初始增强模型的损失值。
本步骤中，该损失值可以表示增强后的样本图像与样本增强图像之间的偏差程度，具体在计算时，对于每个增强后的样本图像，可以计算增强后的样本图像中每个像素的像素值与该样本图像的样本增强图像中每个像素的像素值的差值，然后计算差值的均方差，得到该初始增强模型的损失值。
步骤104、若所述损失值在预设范围内，将所述初始增强模型作为视频增强模型。
本发明实施例中，该预设范围可以根据实际应用场景和实际需求设定，本发明实施例对其不加以限制。进一步地，如果损失值在预设范围内，则可以认为增强后的样本图像与样本增强图像之间的偏差程度足够小，此时，可以认为增强后的样本图像的增强效果足够自然，该初始增强模型对图像的处理能力足够好，相应地，可以将该初始增强模型作为视频增强模型。
综上所述，本发明实施例提供的模型生成方法，可以将样本图片集中的每个样本图像对输入初始增强模型，其中，该样本图片对包括样本图像以及样本图像的样本增强图像，接着，可以根据每个样本图像对中的样本图像及样本图像的辅助图像，并利用初始增强模型对每个样本图像进行增强处理，该辅助图像是基本图像的样本增强图像生成的，接着，基于每个增强后的样本图像以及样本图像的样本增强图像，计算初始增强模型的损失值，最后，若损失值在预设范围内时，将初始增强模型作为视频增强模型。本发明实施例中，以基于样本增强图像生成的辅助图像模拟视频中图像的增强后的前一帧图像，通过样本图像以及辅助图像来生成视频增强模型，使得后续使用过程中，利用该生成的视频增强模型在对待分类视频进行处理时，能够基于该待分类视频中每帧图像以及每帧图像增强后的前一帧图像，对每帧图像进行增强，这样，通过结合增强后的前一帧图像的信息，可以使得增强后的图像之间不会出现太大差异，进而提高了增强效果。
图2-1是本发明实施例提供的另一种模型生成方法的步骤流程图，如图2-1所示，该方法可以包括：
步骤201、对于每个样本图像对，对所述样本图像对中的样本增强图像进行指定处理。
本步骤中，该指定处理可以是包括裁剪处理、旋转处理以及模糊处理中的两种或多种。其中，该模糊处理可以是基于线性滤波算法实现的，该模糊操作可以为均值模糊、中值模糊、自定义模糊，等等。本步骤中，通过对样本增强图像进行裁剪处理、旋转处理和/或模糊处理，可以使得辅助图像中的主体的位置或背景相较于样本图像存在细微变化，进而保证生成的辅助图像能够模拟样本图像的增强后的前一帧图像。需要说明的是，为了保证辅助图像与样本图像的差异不会过大，还可以预先设定该裁剪操作对样本增强图像的裁剪程度小于预设阈值。
步骤202、将处理后的样本增强图像的大小调节至所述样本图像对中样本图像的大小，得到所述样本图像对中的辅助图像。
由于对样本增强图像进行指定处理之后，可能会导致处理后的样本增强图像的大小发生变化，为了方便后续步骤中初始增强模型结合辅助图像及样本图像进行处理，本步骤中，可以将处理后的样本增强图像的大小调节至样本图像的大小，保证两者的大小一致，相应地，可以将调整后的样本增强图像作为辅助图像。
步骤203、将样本图片集中的每个样本图像对输入初始增强模型。
具体的，本步骤的实现方式可以参考前述步骤101，本发明实施例对此不作限定。
步骤204、根据每个样本图像对中的样本图像及辅助图像，并利用所述初始增强模型对每个所述样本图像进行增强处理。
具体的，该初始增强模型可以包括输入层、卷积层、全连接层以及反卷积层，该卷积层中的参数至少可以包括卷积核的值，该全连接层中的参数至少包括权重矩阵，示例的，图2-2是本发明实施例提供的一种初始增强模型的结构示意图，从图2-2可以看出，该初始增强模型包括输入层、卷积层、全连接层以及反卷积层。
进一步地，本步骤可以通过下述子步骤(1)～子步骤(4)实现：
子步骤(1)：对于每个所述样本图像，通过所述输入层将所述样本图像中每个像素对应的颜色通道值与所述辅助图像中相同位置的像素对应的色彩通道值进行组合，得到每个像素对应的多个通道值。
本步骤中，像素对应的色彩通道值可以是像素对应的颜色空间中表征色彩的颜色通道的值，示例的，在对应的颜色空间为RGB颜色空间时，由于RGB颜色空间中，R通道、G通道以及B通道均为表征色彩的通道，因此，像素对应的色彩通道值可以是R通道的值、G通道的值以及B通道的值；在对应的颜色空间为LAB颜色空间时，由于LAB颜色空间中，L通道为表征亮度的通道，A通道以及B通道为表征色彩的通道，因此，像素对应的色彩通道值可以是A通道的值以及B通道的值；在对应的颜色空间为YUV颜色空间时，由于YUV颜色空间中，Y通道为表征亮度的通道，U通道以及V通道为表征色彩的通道，因此，像素对应的色彩通道值可以是U通道的值以及V通道的值。其中，RGB颜色空间中的R为图像的红色分量，G为图像的绿色分量，Blue为图像的蓝色分量，LAB颜色空间中的L为图像的亮度分量，A为图像从绿色到红色的分量，B为图像从蓝色到黄色的分量，YUV颜色空间中的Y为图像的亮度分量，U为图像偏向红色的色差分量，V为图像偏向蓝色的色差分量。
相应地，在颜色空间为RGB时，通过组合可以得到样本图像中每个像素对应的6个色彩通道值，在颜色空间为LAB或YUV时，通过组合可以得到样本图像中每个像素对应的5个色彩通道值。需要说明的是，为了减小模型处理的数据量，实际应用中，还可以先将样本图像以及辅助图像缩小至预设尺寸，再通过输入层进行处理。
子步骤(2)：通过所述卷积层将所述样本图像中每个像素对应的多个通道值组成的像素矩阵，与所述卷积核进行卷积运算，得到卷积后的第一像素矩阵。
本步骤中，该卷积核可以是一个矩阵，该卷积核的大小可以是预先设定的，示例的，该卷积核的大小可以为5*5，本发明实施例对此不作限定。具体的，在进行卷积运算时，可以是基于该初始增强模型中的卷积层进行的，该卷积层可以由多个卷积子层组成，每个卷积子层可以利用该卷积子层中定义的卷积核依次对样本图像中每个像素对应的多个通道值组成的像素矩阵进行卷积操作，为了保证处理效果，每个卷积子层中定义的卷积核的个数可以不同，本发明实施例对此不作限定。
子步骤(3)：通过所述全连接层将所述权重矩阵与所述第一像素矩阵相乘，得到第二像素矩阵。
本步骤中，通过将卷积后的第一像素矩阵与权重矩阵相乘，实现对第一像素矩阵的全连接处理，其中，该权重矩阵可以是预先定义的，该权重矩阵的大小可以与第一像素矩阵的大小相同，由于第一像素矩阵是通过卷积核提取的，体现的是输入的样本图像及辅助图像的所有局部特征，本步骤中，通过对所有局部特征进行全连接处理，使得初始增强模型学习局部特征的同时，学习到全局特征，进而提高初始增强模型的处理效果。
子步骤(4)：通过所述反卷积层对所述第二像素矩阵进行反卷积运算，得到增强后的样本图像。
本步骤中，该反卷积层可以由多个反卷积子层组成，该反卷积层包括的反卷积子层的可以与卷积层中包含的卷积子层一一对应，每个反卷积子层进行反卷积运算时，可以是利用其对应的卷积子层中定义的卷积核进行的，具体的，可以通过上采样将第二像素矩阵调整为与样本图像相同大小的矩阵，然后利用卷积核对调整后的第二像素矩阵进行反卷积，最后，可以将处理之后的第二像素矩阵构成的图像，作为增强后的样本图像。以卷积层包括6个卷积子层、反卷积层包括6个反卷积子层为例，图2-3是本发明实施例提供的一种样本图像及辅助图像的增强过程示意图，如图2-3所示，图2-3中黑色圆点覆盖的长方形区域表示由输入层对输入的样本图像及辅助图像处理之后得到的每个像素对应的多个通道值所组成的像素矩阵，A表示第一个卷积子层对该像素矩阵进行卷积操作之后，得到的像素矩阵，B表示第二个卷积子层对第一个卷积子层输出的像素矩阵进行卷积操作之后，得到的像素矩阵，以此类推，C、D、E、F分别表示第三个、第四个、第五个、第六个卷积子层对前一个卷积子层输出的像素矩阵进行卷积操作之后，得到的像素矩阵。
进一步地，N表示全连接层中的权重矩阵，G表示经过全连接层处理之后，得到的第二像素矩阵，H表示第一个反卷积子层对第二像素矩阵进行反卷积操作之后，得到的像素矩阵，I表示第二个反卷积子层对第一个反卷积子层输出的像素矩阵进行反卷积操作之后，得到的像素矩阵，以此类推，J、K、L、M分别表示第三个、第四个、第五个、第六个反卷积子层对前一个反卷积子层输出的像素矩阵进行反卷积操作之后，得到的像素矩阵。需要说明的是，由于每一个卷积子层中设置的卷积核的数量不同，因此每个卷积子层处理之后，得到的像素矩阵的大小不同，例如，第二个卷积子层输出的像素矩阵表示的长度和宽度，可以是第一个卷积子层输出的像素矩阵表示的长度和宽度的一半，第三个卷积子层输出的像素矩阵表示的长度和宽度，可以是第二个卷积子层输出的像素矩阵表示的长度和宽度的一半。
步骤205、基于每个增强后的样本图像以及所述样本图像的样本增强图像，计算所述初始增强模型的损失值。
具体的，本步骤的实现方式可以参照上述步骤103，本发明实施例对此不作限定。
步骤206、若所述损失值在预设范围内，将所述初始增强模型作为视频增强模型。
具体的，本步骤的实现方式可以参照上述步骤104，本发明实施例对此不作限定。
步骤207、若所述损失值不在预设范围内，基于所述损失值表示的误差程度调整所述初始增强模型的参数，并基于所述样本图片集对调整后的初始增强模型继续训练。
本步骤中，如果损失值不在预设范围内，则可以认为增强后的样本图像与样本增强图像之间的偏差程度较大，该初始增强模型的误差较大，该初始增强模型对图像的处理能力还不够以满足需求，因此，可以对初始增强模型中的参数进行调整，即，对卷积层中卷积核的值进行调整，以及对全连接层中的权重矩阵进行调整。具体的，该损失值表示的误差程度可以为损失函数的梯度值，在基于损失值表示的误差程度，对初始分类模型进行调整时，可以利用随机梯度下降算法实现参数调整，具体的，可以先对损失函数做梯度运算，计算损失函数的梯度值，得到误差程度，然后计算梯度值与预设步长的乘积，最后计算参数与该乘积之差，得到调整后的参数。接着，可以对调整后的初始增强模型继续训练，以使初始增强模型处理得到的图像更加接近真实的增强图，相应地，在多轮迭代训练过程中，如果某一轮的初始增强模型的损失值在预设范围内，则可以将该轮的初始增强模型作为视频增强模型。
综上所述，本发明实施例提供的模型生成方法，可以将样本图片集中的每个样本图像对输入初始增强模型，其中，该样本图片对中包括样本图像以及样本图像的样本增强图像，接着，可以根据每个样本图像对中的样本图像及样本图像的辅助图像，并利用初始增强模型对每个样本图像进行增强处理，该辅助图像是基本图像的样本增强图像生成的，接着，基于每个增强后的样本图像以及样本图像的样本增强图像，计算初始增强模型的损失值，最后，若损失值在预设范围内时，将初始增强模型作为视频增强模型，若损失值不在预设范围内时，调整初始增强模型的参数，并对调整后的初始增强模型继续训练。本发明实施例中，以基于样本增强图像生成的辅助图像模拟视频中图像的增强后的前一帧图像，通过样本图像以及辅助图像来生成视频增强模型，使得后续使用过程中，利用该生成的视频增强模型在对待分类视频进行处理时，能够基于该待分类视频中每帧图像以及每帧图像增强后的前一帧图像，对每帧图像进行增强，这样，通过结合增强后的前一帧图像的信息，可以使得增强后的图像之间不会出现太大差异，进而提高了增强效果。
图3是本发明实施例提供的一种视频增强方法的步骤流程图，如图3所示，该方法可以包括：
步骤301、将待处理视频输入视频增强模型。
本发明实施例中，该待处理视频可以是包含的图像质量较差，需要进行增强处理的视频，该视频增强模型可以是上述模型生成方法实施例中生成的。
步骤302、通过所述视频增强模型对所述待处理视频中的每帧图像进行增强处理，得到目标视频。
本发明实施例中，由于该视频增强模型是基于样本图像以及辅助图像训练生成的，其中，该辅助图像可以模拟视频中图像的增强后的前一帧图像，因此，在使用该视频增强模型对待处理视频进行处理时，视频增强模型能够基于该待分类视频中的帧图像以及该帧图像增强后的前一帧图像，对该帧图像进行增强，这样，通过结合增强后的前一帧图像的信息，可以使得增强后的目标视频中各帧图像之间不会出现太大差异，进而提高增强效果。
综上所述，本发明实施例提供的视频增强方法，可以将待处理视频输入视频增强模型，然后通过该视频增强模型对待处理视频中的每帧图像进行增强处理，得到目标视频，其中，该视频增强模型是基于样本图像以及辅助图像训练生成的，该辅助图像可以模拟视频中图像的增强后的前一帧图像，因此，在使用该视频增强模型对待处理视频进行处理时，视频增强模型能够基于该待分类视频中的帧图像以及该帧图像增强后的前一帧图像，对该帧图像进行增强，这样，通过结合增强后的前一帧图像的信息，可以使得增强后的目标视频中各帧图像之间不会出现太大差异，进而提高增强效果。
图4是本发明实施例提供的另一种视频增强方法的步骤流程图，如图4所示，该方法可以包括：
步骤401、根据待处理视频中每帧图像之间的色彩相似度，将所述待处理视频切分为多个待处理视频段。
实际应用中，视频中可能会存在场景切换，这样，两个场景之间相邻的两帧图像之间就会存在较大差异，例如，从冷色调场景切换至暖色调场景时，冷色调场景的最后一帧图像与其下一帧图像，即，暖色调场景的第一帧图像，就会存在较大差异，如果直接对整个待处理视频进行处理，在对待处理视频中暖色调场景的第一帧图像进行处理时，参照增强后的冷色调场景的最后一帧图像，可能会导致对该暖色调场景的第一帧图像增强效果与原始效果的背离程度较大，同时会影响后续的帧图像，例如，可能会导致后续的帧图像都由暖色调变为冷色调，导致最终得到的目标视频不够自然，因此，本步骤中，可以根据待处理视频中每帧图像之间的色彩相似度，将所述待处理视频切分为多个待处理视频段，以便于后续步骤中对每个待处理视频段分别进行处理，进而避免场景转换后的帧图像受到前一场景中帧图像的影响，导致增强效果不够自然。
具体的，本步骤中可以通过下述子步骤(5)～子步骤(9)来实现：
子步骤(5)：将所述待处理视频中的每帧图像转换至YUV颜色空间。
一般，视频中的帧图像都是采用RGB颜色空间，为了便于计算色彩相似度，本步骤中，可以先将每帧图像转换至YUV颜色空间，具体的，对于每帧图像，可以将基于该帧图像中每个像素的RGB值，通过下述公式计算每个像素的YUV值：
Y＝0.299R+0.587G+0.114B；
U＝-0.147R-0.289G+0.436B；
V＝0.615R-0.515G-0.100B；
然后，基于每个像素的YUV值对像素进行调整，进而实现转换。
子步骤(6)：对于每帧图像，根据所述图像中每个像素的U通道值以及V通道值，以及所述图像的前一帧图像中每个像素的U通道值以及V通道值，计算所述图像与前一帧图像之间的色彩相似度值，得到所述图像对应的色彩相似度值。
由于YUV颜色空间中，Y通道仅体现像素的亮度信息，因此，本步骤中，可以基于图像中每个像素U通道及V通道进行计算，具体的，该图像与前一帧图像之间的色彩相似度可以为SSIM相似度，在计算时，可以先计算该图像中所有像素的U通道值以及V通道值的均值及标准差，计算上一帧图像中所有像素的U通道值以及V通道值的均值及标准差，以及计算该帧图像与上一帧图像的协方差，接着，基于该帧图像的均值以及前一帧图像的均值，通过下述公式计算第一分量L：
L＝(2XiXj+C1)/(Xi2+Xj2+C1)；
其中，Xi表示该帧图像的均值，Xj表示该前一帧图像的均值，C1表示第一预设系数。
接着，基于该帧图像的标准差以及上一帧图像的标准差，通过下述公式计算第二分量：
C＝(2YiYj+C2)/(Yi2+Yj2+C2)；
其中，Yi表示该帧图像的标准差，Yj表示该前一帧图像的标准差，C2表示第二预设系数。
接着，基于该帧图像的标准差、上一帧图像的标准差以及该帧图像与上一帧图像的协方差，通过下述公式计算第三分量：
S＝(Zij+C3)/(YiYj+C3)；
其中，Zij表示该帧图像与前一帧图像的协方差，C3表示第三预设系数。
最后，计算第一分量、第二分量以及第三分量的乘积，得到该帧图像与上一帧图像的色彩相似度值。
子步骤(7)：计算所述图像对应的色彩相似度值与所述前一帧图像对应的色彩相似度值的差值，得到所述图像对应的色彩相似度差值。
本步骤中，该帧图像对应的色彩相似度值与前一帧图像对应的色彩相似度值的差值，可以体现帧图像相对于前一帧图像的变化程度，如果变化程度较小，则可以认为帧图像与前一帧图像为同一场景中的图像，在对帧图像进行处理时，可以参照增强后的前一帧图像，相应地，如果变化程度较大，则可以认为帧图像与前一帧图像为不同场景中的图像，在对帧图像进行处理时，不能参照增强后的前一帧图像。
当然，实际应用中，也可以通过其他方式来计算每帧图像对应的色彩相似度差值，具体的，可以先计算每帧图像对应的色彩相似度值，然后以第i帧图像为横轴，对应的色彩相似度值为纵轴，建立坐标系，并基于每帧对应的色彩相似度值生成帧间相似度曲线，然后对该曲线求一阶导，得到帧间差异曲线，该帧间差异曲线中每个点即为每帧图像对应色彩相似度差值。
子步骤(8)：对于每帧图像，将对应的色彩相似度差值等于指定阈值的图像确定为分割点，以及，将对应的色彩相似度差值大于指定阈值且前一帧图像对应的色彩相似度差值小于指定阈值的图像，确定为分割点。
示例的，假设待处理视频中包括20帧图像，其中，第7帧图像对应的色彩相似度差值等于指定阈值，第14帧图像对应的色彩相似度差值大于指定阈值且第13帧图像对应的色彩相似度差值小于指定阈值，则可以将第7帧图像以及第14帧图像作为分割点。
子步骤(9)：根据各分割点对所述待处理视频进行分割，得到多个待处理视频段。
具体的，可以将分割点对应的帧图像作为视频段的第一帧图像进行分割，示例的，可以将从第7帧图像以及第14帧图像进行分割，将第1帧图像至第6帧图像划分为一个视频段，将第7帧图像至第13帧图像划分为一个视频段、第14帧图像至第20帧图像划分为一个视频段，得到3个待处理视频段。
步骤402、将每个待处理视频段依次输入所述视频增强模型。
示例的，可以先将第1帧图像至第6帧图像组成的待处理视频段输入视频增强模型中进行处理，接着，再将第7帧图像至第13帧图像组成的待处理视频段输入视频增强模型中进行处理，最后，将第14帧图像至第20帧图像组成的待处理视频段输入视频增强模型中进行处理。
步骤403、对于每个所述待处理视频段，利用所述视频增强模型对所述待处理视频段中的第一帧图像进行增强处理，以及对除所述第一帧图像之外的任一图像，基于所述图像以及所述图像的前一帧图像，对所述图像进行增强处理，得到目标视频段。
具体的，该视频增强模型可以包括输入层、卷积层、全连接层以及反卷积层，相应地，在对待处理视频段中的第一帧图像进行增强处理时，输入层可以将第一帧图像中每个像素对应的色彩通道值输入卷积层，卷积层将该第一帧图像中每个像素对应的色彩通道值组成的像素矩阵，与卷积核进行卷积运算，接着，全连接层可以将全连接层中的权重矩阵与卷积后得到的像素矩阵相乘，接着，反卷积层可以对于经过全连接层处理之后得到的像素矩阵进行反卷积运算，最后，可以将经过反卷积层处理之后的像素矩阵构成的图像，作为增强后的第一帧图像。
进一步地，对除第一帧图像之外的任一图像，基于所述图像以及所述图像的前一帧图像，对所述图像进行增强处理的步骤，可以通过下述子步骤(10)～子步骤(13)实现：
子步骤(10)：通过所述输入层将所述图像中每个像素对应的颜色通道值与所述前一帧图像中相同位置的像素对应的色彩通道值进行组合，得到每个像素对应的多个通道值。
具体的，在颜色空间为RGB时，输入层可以将该图像中每个像素对应的R通道值、G通道值以及B通道值与前一帧图像中相同位置的像素对应的R通道值、G通道值以及B通道值进行组合，得到6个通道值，在颜色空间为LAB时，输入层可以将该图像中每个像素对应L通道值、A通道值以及B通道值与前一帧图像中相同位置的像素对应的A通道值以及B通道值进行组合，得到5个通道值，在颜色空间为YUV时，输入层可以将该图像中每个像素对应Y通道值、U通道值以及V通道值与前一帧图像中相同位置的像素对应的U通道值以及V通道值进行组合，得到5个通道值。
子步骤(11)：通过所述卷积层将所述图像中每个像素对应的多个通道值组成的像素矩阵，与所述卷积层中的卷积核进行卷积运算，得到卷积后的第一像素矩阵。
本步骤中，该卷积核可以是在训练过程中得到的，该卷积核可以是一个矩阵，该卷积核的大小可以是预先设定的，本发明实施例对此不作限定。具体的，该卷积层可以由多个卷积子层组成，每个卷积子层可以利用该卷积子层中定义的卷积核依次对该图像中每个像素对应的多个通道值组成的像素矩阵进行卷积操作。
子步骤(12)：通过所述全连接层将所述全连接层中的权重矩阵与所述第一像素矩阵相乘，得到第二像素矩阵。
本步骤中，该权重矩阵可以是在训练过程中通过训练得到的，通过将第一像素矩阵与权重矩阵相乘，实现对第二像素矩阵的全连接处理。
子步骤(13)：通过所述反卷积层对所述第二像素矩阵进行反卷积运算。
本步骤中，该反卷积层可以由多个反卷积子层组成，该反卷积层包括的反卷积子层的可以与卷积层中包含的卷积子层一一对应，每个反卷积子层进行反卷积运算时，可以是利用其对应的卷积子层中定义的卷积核进行的，具体的，可以通过上采样将第二像素矩阵调整为与该图像相同大小的矩阵，然后利用卷积核对调整后的第二像素矩阵进行反卷积，最后，可以将处理之后的第二像素矩阵构成的图像，作为增强后的该图像。需要说明的是，为了减小模型处理的数据量，实际应用中，还可以先将每帧图像缩小至预设尺寸，再通过输入层进行处理。
步骤404、将各目标视频段组合得到所述目标视频。
具体的，本步骤可以对于每个目标视频段中的每帧图像，先执行以下子步骤(14)～子步骤(16)示出的操作：
子步骤(14)：将所述图像转换至LAB颜色空间。
具体的，可以先基于LAB颜色空间中L通道值、A通道值以及B通道值与该帧图像当前对应的颜色空间中通道值的数值关系，计算该帧图像中每个像素对应的L通道值、A通道值以及B通道值，最后基于每个像素对应的L通道值、A通道值以及B通道值，对像素进行调整，进而实现转换。当然，也可以预先将待处理视频中的每帧图像转换至LAB颜色空间，这样，在对每个目标视频段进行组合时，可以省略本步骤中的转换操作。
子步骤(15)：将转换后的所述图像中每个像素的L通道值设置为所述像素的原始L通道值。
本步骤中，该原始L通道值表示该帧图像未经过处理之前，像素的L通道值。由于LAB颜色空间中，L通道中蕴含着图像的纹理信息，因此，本步骤中通过将像素的L通道值设置为原始L通道值，使得增强后的图像中具备原始的纹理信息，进而可以保证增强后的图像具备和该图像未经过处理之前相同的清晰度，避免由于对图像进行处理所导致的清晰度降低，显示效果变差的问题。
子步骤(16)将设置后的所述图像转换至RGB颜色空间。
具体的，可以先基于RGB颜色空间中R通道值、G通道值以及B通道值与LAB颜色空间中L通道值、A通道值以及B通道的对应关系，计算该帧图像中每个像素对应的R通道值、G通道值以及B通道值，最后基于每个像素对应的R通道值、G通道值以及B通道值，对像素进行调整，进而实现转换，由于实际应用场景中，显示装置往往是采用图像的R通道值、G通道值以及B通过值来驱动硬件中对于这三个通道的颜色荧光粉发出不同亮度的光线，进而实现图像显示，因此，本发明实施例中，通过将图像最终转换至RGB颜色空间，使得显示装置无需对图像进行额外的处理，直接基于该图像的各个通道的值即可进行显示，进而可以保证图像的显示效率。
进一步地，在对每个目标视频段中的每帧图像执行完上述操作之后，可以通过下述子步骤(17)得到目标视频：
子步骤(17)：将执行所述操作后的各目标视频段组合得到所述目标视频。
本步骤中，可以根据每个执行完上述操作后的各目标视频段之间的顺序关系进行组合，示例的，可以按照由第1帧图像至第6帧图像组成的待处理视频段生成的目标视频段，由第7帧图像至第13帧图像组成的待处理视频段生成的目标视频段，由第14帧图像至第20帧图像组成的待处理视频段生成的目标视频段的顺序，进行组合，得到目标视频。
综上所述，本发明实施例提供的视频增强方法，可以根据待处理视频中每帧图像之间的色彩相似度，将待处理视频切分为多个待处理视频段，然后将每个待处理视频段依次输入视频增强模型，对于每个待处理视频段，利用视频增强模型对待处理视频段中的第一帧图像进行增强处理，以及对除第一帧图像之外的任一图像，基于图像以及所述图像的前一帧图像，对所述图像进行增强处理，得到目标视频段，这样，通过将待处理视频划分为多个待处理视频段，可以避免待处理视频中场景转换后的帧图像受到前一场景中帧图像的影响，导致增强效果不够自然，进一步地，该视频增强模型是基于样本图像以及辅助图像训练生成的，该辅助图像可以模拟视频中图像的增强后的前一帧图像，因此，在使用该视频增强模型对待处理视频进行处理时，视频增强模型能够基于该待分类视频段中的帧图像以及该帧图像增强后的前一帧图像，对该帧图像进行增强，这样，通过结合增强后的前一帧图像的信息，可以使得增强后的目标视频中各帧图像之间不会出现太大差异，进而提高增强效果。
图5是本发明实施例提供的又一种视频增强方法的步骤流程图，如图5所示，该方法可以包括：
步骤501、将样本图片集中的每个样本图像对输入初始增强模型；一个所述样本图片对包括样本图像、所述样本图像的辅助图像以及样本增强图像，所述辅助图像是基于所述样本增强图像生成的。
具体的，本步骤的实现方式可以参照上述步骤101，本发明实施例对此不作限定。
步骤502、根据每个样本图像对中的样本图像及辅助图像，并利用所述初始增强模型对每个所述样本图像进行增强处理。
具体的，本步骤的实现方式可以参照上述步骤102，本发明实施例对此不作限定。
步骤503、基于每个增强后的样本图像以及所述样本图像的样本增强图像，计算所述初始增强模型的损失值。
具体的，本步骤的实现方式可以参照上述步骤103，本发明实施例对此不作限定。
步骤504、若所述损失值在预设范围内，将所述初始增强模型作为视频增强模型。
具体的，本步骤的实现方式可以参照上述步骤104，本发明实施例对此不作限定。
步骤505、将待处理视频输入视频增强模型。
具体的，本步骤的实现方式可以参照上述步骤301，本发明实施例对此不作限定。
步骤506、通过所述视频增强模型对所述待处理视频中的每帧图像进行增强处理，得到目标视频。
具体的，本步骤的实现方式可以参照上述步骤302，本发明实施例对此不作限定。
综上所述，本发明实施例提供的视频增强方法，将样本图片集中的每个样本图像对输入初始增强模型，其中，该样本图片对包括样本图像以及样本图像的样本增强图像，接着，可以根据每个样本图像对中的样本图像及样本图像的辅助图像，并利用初始增强模型对每个样本图像进行增强处理，该辅助图像是基本图像的样本增强图像生成的，接着，可以基于每个增强后的样本图像以及样本图像的样本增强图像，计算初始增强模型的损失值，若损失值在预设范围内时，将初始增强模型作为视频增强模型，接着，可以将待处理视频输入视频增强模型，然后通过该视频增强模型对待处理视频中的每帧图像进行增强处理，得到目标视频，由于该视频增强模型是基于样本图像以及辅助图像训练生成的，该辅助图像可以模拟视频中图像的增强后的前一帧图像，因此，在使用该视频增强模型对待处理视频进行处理时，视频增强模型能够基于该待分类视频中的帧图像以及该帧图像增强后的前一帧图像，对该帧图像进行增强，这样，通过结合增强后的前一帧图像的信息，可以使得增强后的目标视频中各帧图像之间不会出现太大差异，进而提高增强效果。
图6是本发明实施例提供的一种模型生成装置的框图，如图6所示，该装置60可以包括：
输入模块601，用于将样本图片集中的每个样本图像对输入初始增强模型；一个所述样本图片对包括样本图像、所述样本图像的辅助图像以及样本增强图像，所述辅助图像是基于所述样本增强图像生成的；
第一处理模块602，用于根据每个样本图像对中的样本图像及辅助图像，并利用所述初始增强模型对每个所述样本图像进行增强处理；
计算模块603，用于基于每个增强后的样本图像以及所述样本图像的样本增强图像，计算所述初始增强模型的损失值；
确定模块604，用于若所述损失值在预设范围内，将所述初始增强模型作为视频增强模型。
可选的，所述样本图像与所述样本图像的样本增强图像的内容相同，所述样本增强图像的质量优于所述样本图像；
所述装置60还包括：
调整模块，用于若所述损失值不在预设范围内，基于所述损失值表示的误差程度调整所述初始增强模型的参数，并基于所述样本图片集对调整后的初始增强模型继续训练。
可选的，所述装置60还包括：
第二处理模块，用于对于每个样本图像对，对所述样本图像对中的样本增强图像进行指定处理；所述指定处理至少包括裁剪处理、旋转处理以及模糊处理中的两种或多种；
调节模块，用于将处理后的样本增强图像的大小调节至所述样本图像对中样本图像的大小，得到所述样本图像对中的辅助图像。
可选的，所述初始增强模型包括输入层、卷积层、全连接层以及反卷积层；所述卷积层中的参数至少包括：卷积核的值，所述全连接层中的参数至少包括权重矩阵；
所述第一处理模块602，用于：
对于每个所述样本图像，通过所述输入层将所述样本图像中每个像素对应的颜色通道值与所述辅助图像中相同位置的像素对应的色彩通道值进行组合，得到每个像素对应的多个通道值；
通过所述卷积层将所述样本图像中每个像素对应的多个通道值组成的像素矩阵，与所述卷积核进行卷积运算，得到卷积后的第一像素矩阵；
通过所述全连接层将所述权重矩阵与所述第一像素矩阵相乘，得到第二像素矩阵；
通过所述反卷积层对所述第二像素矩阵进行反卷积运算，得到增强后的样本图像。
综上所述，本发明实施例提供的模型生成装置，可以将样本图片集中的每个样本图像对输入初始增强模型，其中，该样本图片对中包括样本图像以及样本图像的样本增强图像，接着，可以根据每个样本图像对中的样本图像及样本图像的辅助图像，并利用初始增强模型对每个样本图像进行增强处理，该辅助图像是基本图像的样本增强图像生成的，接着，基于每个增强后的样本图像以及样本图像的样本增强图像，计算初始增强模型的损失值，最后，当损失值在预设范围内时，将初始增强模型作为视频增强模型。本发明实施例中，以基于样本增强图像生成的辅助图像模拟视频中图像的增强后的前一帧图像，通过样本图像以及辅助图像来生成视频增强模型，使得后续使用过程中，利用该生成的视频增强模型在对待分类视频进行处理时，能够基于该待分类视频中每帧图像以及每帧图像增强后的前一帧图像，对每帧图像进行增强，这样，通过结合增强后的前一帧图像的信息，可以使得增强后的图像之间不会出现太大差异，进而提高了增强效果。
图7是本发明实施例提供的一种视频增强装置的框图，如图7所示，该装置70可以包括：
输入模块701，用于将待处理视频输入视频增强模型；
处理模块702，用于通过所述视频增强模型对所述待处理视频中的每帧图像进行增强处理，得到目标视频；其中，所述视频增强模型是利用上述模型生成装置实施例中所述的装置生成的。
可选的，所述输入模块701，包括：
切分子模块，用于根据待处理视频中每帧图像之间的色彩相似度，将所述待处理视频切分为多个待处理视频段；
输入子模块，用于将各待处理视频段依次输入所述视频增强模型。
可选的，所述处理模块702，包括：
处理子模块，用于对于每个所述待处理视频段，利用所述视频增强模型对所述待处理视频段中的第一帧图像进行增强处理，以及对除所述第一帧图像之外的任一图像，基于所述图像以及所述图像的前一帧图像，对所述图像进行增强处理，得到目标视频段。
组合子模块，用于将各目标视频段组合得到所述目标视频。
可选的，所述视频增强模型包括输入层、卷积层、全连接层以及反卷积层；
所述处理子模块，用于：
通过所述输入层将所述图像中每个像素对应的颜色通道值与所述前一帧图像中相同位置的像素对应的色彩通道值进行组合，得到每个像素对应的多个通道值；
通过所述卷积层将所述图像中每个像素对应的多个通道值组成的像素矩阵，与所述卷积层中的卷积核进行卷积运算，得到卷积后的第一像素矩阵；
通过所述全连接层将所述全连接层中的权重矩阵与所述第一像素矩阵相乘，得到第二像素矩阵；
通过所述反卷积层对所述第二像素矩阵进行反卷积运算。
可选的，所述切分子模块，用于：
将所述待处理视频中的每帧图像转换至YUV颜色空间；
对于每帧图像，根据所述图像中每个像素的U通道值以及V通道值，以及所述图像的前一帧图像中每个像素的U通道值以及V通道值，计算所述图像与前一帧图像之间的色彩相似度值，得到所述图像对应的色彩相似度值；
计算所述图像对应的色彩相似度值与所述前一帧图像对应的色彩相似度值的差值，得到所述图像对应的色彩相似度差值；
对于每帧图像，将对应的色彩相似度差值等于指定阈值的图像确定为分割点，以及将对应的色彩相似度差值大于指定阈值且前一帧图像对应的色彩相似度差值小于指定阈值的图像，确定为分割点；
根据各分割点对所述待处理视频进行分割，得到多个待处理视频段。
可选的，所述组合子模块，用于：
对于每个目标视频段中的每帧图像，执行以下操作：将所述图像转换至LAB颜色空间；以及，将转换后的所述图像中每个像素的L通道值设置为所述像素的原始L通道值；以及，将设置后的所述图像转换至RGB颜色空间；
将执行所述操作后的各目标视频段组合得到所述目标视频。
综上所述，本发明实施例提供的视频增强装置，可以将待处理视频输入视频增强模型，然后通过该视频增强模型对待处理视频中的每帧图像进行增强处理，得到目标视频，其中，该视频增强模型是基于样本图像以及辅助图像训练生成的，该辅助图像可以模拟视频中图像的增强后的前一帧图像，因此，在使用该视频增强模型对待处理视频进行处理时，视频增强模型能够基于该待分类视频中的帧图像以及该帧图像增强后的前一帧图像，对该帧图像进行增强，这样，通过结合增强后的前一帧图像的信息，可以使得增强后的目标视频中各帧图像之间不会出现太大差异，进而提高增强效果。
对于上述装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
另外，本发明实施例还提供一种终端，包括处理器，存储器，存储在存储器上并可在处理上运行的计算机程序，该计算机程序被处理器执行时实现上述模型生成方法及视频增强方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述模型生成方法及视频增强方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，可以为只读存储器(Read-OnlyMemory，简称ROM)、随机存取存储器(RandomAccessMemory，简称RAM)、磁碟或者光盘等。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域技术人员易于想到的是：上述各个实施例的任意组合应用都是可行的，故上述各个实施例之间的任意组合都是本发明的实施方案，但是由于篇幅限制，本说明书在此就不一一详述了。
在此提供的模型生成方法及视频增强方法不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的模型生成方法及视频增强方法方法中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (21)
1.一种模型生成方法，其特征在于，所述方法包括：
将样本图片集中的每个样本图像对输入初始增强模型；一个所述样本图片对包括样本图像、所述样本图像的辅助图像以及样本增强图像，所述辅助图像是基于所述样本增强图像生成的；
根据每个样本图像对中的样本图像及辅助图像，并利用所述初始增强模型对每个所述样本图像进行增强处理；
基于每个增强后的样本图像以及所述样本图像的样本增强图像，计算所述初始增强模型的损失值；
若所述损失值在预设范围内，将所述初始增强模型作为视频增强模型。
2.根据权利要求1所述的方法，其特征在于，所述样本图像与所述样本图像的样本增强图像的内容相同，所述样本增强图像的质量优于所述样本图像；
所述基于每个增强后的样本图像以及所述样本图像的样本增强图像，计算所述初始增强模型的损失值之后，所述方法还包括：
若所述损失值不在预设范围内，基于所述损失值表示的误差程度调整所述初始增强模型的参数，并基于所述样本图片集对调整后的初始增强模型继续训练。
3.根据权利要求1所述的方法，其特征在于，所述将样本图片集中的每个样本图像对输入初始增强模型之前，所述方法还包括：
对于每个样本图像对，对所述样本图像对中的样本增强图像进行指定处理；所述指定处理至少包括裁剪处理、旋转处理以及模糊处理中的两种或多种；
将处理后的样本增强图像的大小调节至所述样本图像对中样本图像的大小，得到所述样本图像对中的辅助图像。
4.根据权利要求1所述的方法，其特征在于，所述初始增强模型包括输入层、卷积层、全连接层以及反卷积层；所述卷积层中的参数至少包括：卷积核的值，所述全连接层中的参数至少包括权重矩阵；
所述根据每个样本图像对中的样本图像及辅助图像，并利用所述初始增强模型对每个所述样本图像进行增强处理，包括：
对于每个所述样本图像，通过所述输入层将所述样本图像中每个像素对应的颜色通道值与所述辅助图像中相同位置的像素对应的色彩通道值进行组合，得到每个像素对应的多个通道值；
通过所述卷积层将所述样本图像中每个像素对应的多个通道值组成的像素矩阵，与所述卷积核进行卷积运算，得到卷积后的第一像素矩阵；
通过所述全连接层将所述权重矩阵与所述第一像素矩阵相乘，得到第二像素矩阵；
通过所述反卷积层对所述第二像素矩阵进行反卷积运算，得到增强后的样本图像。
5.一种视频增强方法，其特征在于，所述方法包括：
将待处理视频输入视频增强模型；
通过所述视频增强模型对所述待处理视频中的每帧图像进行增强处理，得到目标视频；其中，所述视频增强模型是利用权利要求1至4中任一项所述的方法生成的。
6.根据权利要求5所述的方法，其特征在于，所述将待处理视频输入视频增强模型，包括：
根据待处理视频中每帧图像之间的色彩相似度，将所述待处理视频切分为多个待处理视频段；
将各待处理视频段依次输入所述视频增强模型。
7.根据权利要求6所述的方法，其特征在于，所述通过所述视频增强模型对所述待处理视频中的每帧图像进行增强处理，得到目标视频，包括：
对于每个所述待处理视频段，利用所述视频增强模型对所述待处理视频段中的第一帧图像进行增强处理，以及对除所述第一帧图像之外的任一图像，基于所述图像以及所述图像的前一帧图像，对所述图像进行增强处理，得到目标视频段；
将各目标视频段组合得到所述目标视频。
8.根据权利要求7所述的方法，其特征在于，所述视频增强模型包括输入层、卷积层、全连接层以及反卷积层；
所述基于所述图像以及所述图像的前一帧图像，对所述图像进行增强处理，包括：
通过所述输入层将所述图像中每个像素对应的颜色通道值与所述前一帧图像中相同位置的像素对应的色彩通道值进行组合，得到每个像素对应的多个通道值；
通过所述卷积层将所述图像中每个像素对应的多个通道值组成的像素矩阵，与所述卷积层中的卷积核进行卷积运算，得到卷积后的第一像素矩阵；
通过所述全连接层将所述全连接层中的权重矩阵与所述第一像素矩阵相乘，得到第二像素矩阵；
通过所述反卷积层对所述第二像素矩阵进行反卷积运算。
9.根据权利要求6所述的方法，其特征在于，所述根据待处理视频中每帧图像之间的色彩相似度，将所述待处理视频切分为多个待处理视频段，包括：
将所述待处理视频中的每帧图像转换至颜色-编码方法YUV颜色空间；
对于每帧图像，根据所述图像中每个像素的U通道值以及V通道值，以及所述图像的前一帧图像中每个像素的U通道值以及V通道值，计算所述图像与前一帧图像之间的色彩相似度值，得到所述图像对应的色彩相似度值；
计算所述图像对应的色彩相似度值与所述前一帧图像对应的色彩相似度值的差值，得到所述图像对应的色彩相似度差值；
对于每帧图像，将对应的色彩相似度差值等于指定阈值的图像确定为分割点，以及，将对应的色彩相似度差值大于指定阈值且前一帧图像对应的色彩相似度差值小于指定阈值的图像，确定为分割点；
根据各分割点对所述待处理视频进行分割，得到多个待处理视频段。
10.根据权利要求7所述的方法，其特征在于，所述将各目标视频段组合得到所述目标视频，包括：
对于每个目标视频段中的每帧图像，执行以下操作：将所述图像转换至颜色模型LAB颜色空间；以及，将转换后的所述图像中每个像素的L通道值设置为所述像素的原始L通道值；以及，将设置后的所述图像转换至红绿蓝RGB颜色空间；
将执行所述操作后的各目标视频段组合得到所述目标视频。
11.一种模型生成装置，其特征在于，所述装置包括：
输入模块，用于将样本图片集中的每个样本图像对输入初始增强模型；一个所述样本图片对包括样本图像、所述样本图像的辅助图像以及样本增强图像，所述辅助图像是基于所述样本增强图像生成的；
第一处理模块，用于根据每个样本图像对中的样本图像及辅助图像，并利用所述初始增强模型对每个所述样本图像进行增强处理；
计算模块，用于基于每个增强后的样本图像以及所述样本图像的样本增强图像，计算所述初始增强模型的损失值；
确定模块，用于若所述损失值在预设范围内，将所述初始增强模型作为视频增强模型。
12.根据权利要求11所述的装置，其特征在于，所述样本图像与所述样本图像的样本增强图像的内容相同，所述样本增强图像的质量优于所述样本图像；
所述装置还包括：
调整模块，用于若所述损失值不在预设范围内，基于所述损失值表示的误差程度调整所述初始增强模型的参数，并基于所述样本图片集对调整后的初始增强模型继续训练。
13.根据权利要求11所述的装置，其特征在于，所述装置还包括：
第二处理模块，用于对于每个样本图像对，对所述样本图像对中的样本增强图像进行指定处理；所述指定处理至少包括裁剪处理、旋转处理以及模糊处理中的两种或多种；
调节模块，用于将处理后的样本增强图像的大小调节至所述样本图像对中样本图像的大小，得到所述样本图像对中的辅助图像。
14.根据权利要求11所述的装置，其特征在于，所述初始增强模型包括输入层、卷积层、全连接层以及反卷积层；所述卷积层中的参数至少包括：卷积核的值，所述全连接层中的参数至少包括权重矩阵；
所述第一处理模块，用于：
对于每个所述样本图像，通过所述输入层将所述样本图像中每个像素对应的颜色通道值与所述辅助图像中相同位置的像素对应的色彩通道值进行组合，得到每个像素对应的多个通道值；
通过所述卷积层将所述样本图像中每个像素对应的多个通道值组成的像素矩阵，与所述卷积核进行卷积运算，得到卷积后的第一像素矩阵；
通过所述全连接层将所述权重矩阵与所述第一像素矩阵相乘，得到第二像素矩阵；
通过所述反卷积层对所述第二像素矩阵进行反卷积运算，得到增强后的样本图像。
15.一种视频增强装置，其特征在于，所述装置包括：
输入模块，用于将待处理视频输入视频增强模型；
处理模块，用于通过所述视频增强模型对所述待处理视频中的每帧图像进行增强处理，得到目标视频；其中，所述视频增强模型是利用权利要求11至14中任一项所述的装置生成的。
16.根据权利要求15所述的装置，其特征在于，所述输入模块，包括：
切分子模块，用于根据待处理视频中每帧图像之间的色彩相似度，将所述待处理视频切分为多个待处理视频段；
输入子模块，用于将各待处理视频段依次输入所述视频增强模型。
17.根据权利要求16所述的装置，其特征在于，所述处理模块，包括：
处理子模块，用于对于每个所述待处理视频段，利用所述视频增强模型对所述待处理视频段中的第一帧图像进行增强处理，以及对除所述第一帧图像之外的任一图像，基于所述图像以及所述图像的前一帧图像，对所述图像进行增强处理，得到目标视频段；
组合子模块，用于将各目标视频段组合得到所述目标视频。
18.根据权利要求17所述的装置，其特征在于，所述视频增强模型包括输入层、卷积层、全连接层以及反卷积层；
所述处理子模块，用于：
通过所述输入层将所述图像中每个像素对应的颜色通道值与所述前一帧图像中相同位置的像素对应的色彩通道值进行组合，得到每个像素对应的多个通道值；
通过所述卷积层将所述图像中每个像素对应的多个通道值组成的像素矩阵，与所述卷积层中的卷积核进行卷积运算，得到卷积后的第一像素矩阵；
通过所述全连接层将所述全连接层中的权重矩阵与所述第一像素矩阵相乘，得到第二像素矩阵；
通过所述反卷积层对所述第二像素矩阵进行反卷积运算。
19.根据权利要求16所述的装置，其特征在于，所述切分子模块，用于：
将所述待处理视频中的每帧图像转换至YUV颜色空间；
对于每帧图像，根据所述图像中每个像素的U通道值以及V通道值，以及所述图像的前一帧图像中每个像素的U通道值以及V通道值，计算所述图像与前一帧图像之间的色彩相似度值，得到所述图像对应的色彩相似度值；
计算所述图像对应的色彩相似度值与所述前一帧图像对应的色彩相似度值的差值，得到所述图像对应的色彩相似度差值；
对于每帧图像，将对应的色彩相似度差值等于指定阈值的图像确定为分割点，以及，将对应的色彩相似度差值大于指定阈值且前一帧图像对应的色彩相似度差值小于指定阈值的图像，确定为分割点；
根据各分割点对所述待处理视频进行分割，得到多个待处理视频段。
20.根据权利要求17所述的装置，其特征在于，所述组合子模块，用于：
对于每个目标视频段中的每帧图像，执行以下操作：将所述图像转换至LAB颜色空间；以及，将转换后的所述图像中每个像素的L通道值设置为所述像素的原始L通道值；以及，将设置后的所述图像转换至RGB颜色空间；
将执行所述操作后的各目标视频段组合得到所述目标视频。
21.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一所述的模型生成方法，以及权利要求5至10中任一所述的视频增强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811594363.7A CN109934776B (zh) | 2018-12-25 | 2018-12-25 | 模型生成方法、视频增强方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811594363.7A CN109934776B (zh) | 2018-12-25 | 2018-12-25 | 模型生成方法、视频增强方法、装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109934776A true CN109934776A (zh) | 2019-06-25 |
| CN109934776B CN109934776B (zh) | 2021-05-25 |
Family
ID=66984761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811594363.7A Active CN109934776B (zh) | 2018-12-25 | 2018-12-25 | 模型生成方法、视频增强方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109934776B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110738611A (zh) * | 2019-09-20 | 2020-01-31 | 网宿科技股份有限公司 | 一种视频画质增强方法、系统及设备 |
| CN110852965A (zh) * | 2019-10-31 | 2020-02-28 | 湖北大学 | 一种基于生成对抗网络的视频光照增强方法及系统 |
| CN111091075A (zh) * | 2019-12-02 | 2020-05-01 | 北京华捷艾米科技有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
| CN111681177A (zh) * | 2020-05-18 | 2020-09-18 | 腾讯科技（深圳）有限公司 | 视频处理方法及装置、计算机可读存储介质、电子设备 |
| CN112241935A (zh) * | 2019-07-18 | 2021-01-19 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置及设备、存储介质 |
| CN112420168A (zh) * | 2020-11-12 | 2021-02-26 | 武汉联影医疗科技有限公司 | 数据写入数据库的方法、装置、设备和存储介质 |
| CN112561818A (zh) * | 2020-12-14 | 2021-03-26 | 英特灵达信息技术(深圳)有限公司 | 一种图像增强方法、装置、电子设备及存储介质 |
| WO2021082171A1 (zh) * | 2019-10-28 | 2021-05-06 | 网宿科技股份有限公司 | 一种增强视频画质的方法和装置 |
| CN112884683A (zh) * | 2021-01-11 | 2021-06-01 | 北京霍因科技有限公司 | 一种视频图像的增强处理方法、装置及电子设备 |
| CN113034412A (zh) * | 2021-02-25 | 2021-06-25 | 北京达佳互联信息技术有限公司 | 视频处理方法及装置 |
| CN113395440A (zh) * | 2020-03-13 | 2021-09-14 | 华为技术有限公司 | 一种图像处理方法及电子设备 |
| CN113706393A (zh) * | 2020-05-20 | 2021-11-26 | 武汉Tcl集团工业研究院有限公司 | 视频增强方法、装置、设备及存储介质 |
| WO2023005386A1 (zh) * | 2021-07-27 | 2023-02-02 | 京东科技控股股份有限公司 | 模型训练方法和装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070160152A1 (en) * | 2003-12-08 | 2007-07-12 | Kanazawa University Technology Licensing Organization Ltd. | System for encoding/decoding motion picture and method for encoding/decoding motion picture |
| CN101739712A (zh) * | 2010-01-25 | 2010-06-16 | 四川大学 | 基于视频的3d人脸表情动画驱动方法 |
| CN102609686A (zh) * | 2012-01-19 | 2012-07-25 | 宁波大学 | 一种行人检测方法 |
| US9607365B1 (en) * | 2016-10-31 | 2017-03-28 | HDRlog SARL | Systems and methods for enhancing quality of image media |
| CN107169993A (zh) * | 2017-05-12 | 2017-09-15 | 甘肃政法学院 | 利用公安视频监控模糊图像对目标物进行检测识别方法 |
| CN107481209A (zh) * | 2017-08-21 | 2017-12-15 | 北京航空航天大学 | 一种基于卷积神经网络的图像或视频质量增强方法 |
| CN108259994A (zh) * | 2018-01-15 | 2018-07-06 | 复旦大学 | 一种提高视频空间分辨率的方法 |
-
2018
- 2018-12-25 CN CN201811594363.7A patent/CN109934776B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070160152A1 (en) * | 2003-12-08 | 2007-07-12 | Kanazawa University Technology Licensing Organization Ltd. | System for encoding/decoding motion picture and method for encoding/decoding motion picture |
| CN101739712A (zh) * | 2010-01-25 | 2010-06-16 | 四川大学 | 基于视频的3d人脸表情动画驱动方法 |
| CN102609686A (zh) * | 2012-01-19 | 2012-07-25 | 宁波大学 | 一种行人检测方法 |
| US9607365B1 (en) * | 2016-10-31 | 2017-03-28 | HDRlog SARL | Systems and methods for enhancing quality of image media |
| CN107169993A (zh) * | 2017-05-12 | 2017-09-15 | 甘肃政法学院 | 利用公安视频监控模糊图像对目标物进行检测识别方法 |
| CN107481209A (zh) * | 2017-08-21 | 2017-12-15 | 北京航空航天大学 | 一种基于卷积神经网络的图像或视频质量增强方法 |
| CN108259994A (zh) * | 2018-01-15 | 2018-07-06 | 复旦大学 | 一种提高视频空间分辨率的方法 |
Non-Patent Citations (2)
| Title |
|---|
| REN YANG 等: "Multi-Frame Quality Enhancement for Compressed Video", 《COMPUTER VISION AND PATTERN RECOGNITION》 * |
| 刘村 等: "基于卷积神经网络的视频图像超分辨率重建方法", 《计算机应用研究》 * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112241935B (zh) * | 2019-07-18 | 2023-05-26 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置及设备、存储介质 |
| CN112241935A (zh) * | 2019-07-18 | 2021-01-19 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置及设备、存储介质 |
| CN110738611B (zh) * | 2019-09-20 | 2022-08-16 | 网宿科技股份有限公司 | 一种视频画质增强方法、系统及设备 |
| CN110738611A (zh) * | 2019-09-20 | 2020-01-31 | 网宿科技股份有限公司 | 一种视频画质增强方法、系统及设备 |
| WO2021082171A1 (zh) * | 2019-10-28 | 2021-05-06 | 网宿科技股份有限公司 | 一种增强视频画质的方法和装置 |
| CN110852965A (zh) * | 2019-10-31 | 2020-02-28 | 湖北大学 | 一种基于生成对抗网络的视频光照增强方法及系统 |
| CN111091075B (zh) * | 2019-12-02 | 2023-09-05 | 北京华捷艾米科技有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
| CN111091075A (zh) * | 2019-12-02 | 2020-05-01 | 北京华捷艾米科技有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
| CN113395440A (zh) * | 2020-03-13 | 2021-09-14 | 华为技术有限公司 | 一种图像处理方法及电子设备 |
| WO2021180131A1 (zh) * | 2020-03-13 | 2021-09-16 | 华为技术有限公司 | 一种图像处理方法及电子设备 |
| CN111681177B (zh) * | 2020-05-18 | 2022-02-25 | 腾讯科技（深圳）有限公司 | 视频处理方法及装置、计算机可读存储介质、电子设备 |
| CN111681177A (zh) * | 2020-05-18 | 2020-09-18 | 腾讯科技（深圳）有限公司 | 视频处理方法及装置、计算机可读存储介质、电子设备 |
| CN113706393A (zh) * | 2020-05-20 | 2021-11-26 | 武汉Tcl集团工业研究院有限公司 | 视频增强方法、装置、设备及存储介质 |
| CN112420168A (zh) * | 2020-11-12 | 2021-02-26 | 武汉联影医疗科技有限公司 | 数据写入数据库的方法、装置、设备和存储介质 |
| CN112420168B (zh) * | 2020-11-12 | 2023-06-23 | 武汉联影医疗科技有限公司 | 数据写入数据库的方法、装置、设备和存储介质 |
| CN112561818A (zh) * | 2020-12-14 | 2021-03-26 | 英特灵达信息技术(深圳)有限公司 | 一种图像增强方法、装置、电子设备及存储介质 |
| CN112561818B (zh) * | 2020-12-14 | 2024-05-28 | 英特灵达信息技术(深圳)有限公司 | 一种图像增强方法、装置、电子设备及存储介质 |
| CN112884683A (zh) * | 2021-01-11 | 2021-06-01 | 北京霍因科技有限公司 | 一种视频图像的增强处理方法、装置及电子设备 |
| CN113034412A (zh) * | 2021-02-25 | 2021-06-25 | 北京达佳互联信息技术有限公司 | 视频处理方法及装置 |
| WO2022179087A1 (zh) * | 2021-02-25 | 2022-09-01 | 北京达佳互联信息技术有限公司 | 视频处理方法及装置 |
| CN113034412B (zh) * | 2021-02-25 | 2024-04-19 | 北京达佳互联信息技术有限公司 | 视频处理方法及装置 |
| WO2023005386A1 (zh) * | 2021-07-27 | 2023-02-02 | 京东科技控股股份有限公司 | 模型训练方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109934776B (zh) | 2021-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109934776A (zh) | 模型生成方法、视频增强方法、装置及计算机可读存储介质 | |
| CN105915909B (zh) | 一种高动态范围图像分层压缩方法 | |
| CN109416832A (zh) | 高效的基于直方图的亮度外观匹配 | |
| CN103886565B (zh) | 基于目的性优化及直方图均衡化的夜间彩色图像增强方法 | |
| CN110378848B (zh) | 一种基于衍生图融合策略的图像去雾方法 | |
| CN109584170B (zh) | 基于卷积神经网络的水下图像复原方法 | |
| CN110428366A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| DE102019106252A1 (de) | Verfahren und System für Lichtquellenschätzung zur Bildverarbeitung | |
| US9947258B2 (en) | Image processing method and image processing apparatus | |
| CN110351511A (zh) | 基于场景深度估计的视频帧率上变换系统及方法 | |
| CN106355563A (zh) | 一种图像去雾方法和装置 | |
| CN113454680A (zh) | 图像处理器 | |
| CN109859152A (zh) | 模型生成方法、图像增强方法、装置及计算机可读存储介质 | |
| CN101277453A (zh) | 成像装置和成像装置中的成像结果处理方法 | |
| CN109410164A (zh) | 多尺度卷积神经网络的卫星全色与多光谱图像融合方法 | |
| CN107895350B (zh) | 一种基于自适应双伽玛变换的hdr图像生成方法 | |
| CN110276731A (zh) | 内镜图像颜色还原方法及装置 | |
| US20150356945A1 (en) | Gamut Mapping With Blended Scaling and Clamping | |
| US20150326878A1 (en) | Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression | |
| CN105763768A (zh) | 一种图像处理方法、装置和系统 | |
| Zhang et al. | A real-time semi-supervised deep tone mapping network | |
| CN109685750A (zh) | 图像增强方法及计算设备 | |
| KR101769042B1 (ko) | 착시의 분석 장치, 원화상대로 지각시키도록 착시를 가미한 착시 가미 화상 생성 장치, 착시의 분석 방법, 원화상대로 지각시키도록 착시를 가미한 착시 가미 화상 생성 방법 및 프로그램 | |
| CN107194901A (zh) | 图像处理方法、装置、计算机设备和计算机可读存储介质 | |
| Hanumantharaju et al. | A novel FPGA implementation of adaptive color image enhancement based on HSV color space |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |