CN110324635A - 分像素插值方法、系统、计算机设备和介质 - Google Patents
分像素插值方法、系统、计算机设备和介质 Download PDFInfo
- Publication number
- CN110324635A CN110324635A CN201810294119.2A CN201810294119A CN110324635A CN 110324635 A CN110324635 A CN 110324635A CN 201810294119 A CN201810294119 A CN 201810294119A CN 110324635 A CN110324635 A CN 110324635A
- Authority
- CN
- China
- Prior art keywords
- pixels
- block
- image element
- element interpolation
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 36
- 230000000644 propagated effect Effects 0.000 claims abstract description 21
- 238000005070 sampling Methods 0.000 claims description 34
- 238000013528 artificial neural network Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 9
- 230000001902 propagating effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000035622 drinking Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000006854 communication Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供了一种分像素插值方法、系统、计算机设备和介质。其中，一种分像素插值方法，包括：对训练集中的每一张原始图像进行处理，得到整像素块和分像素块；将整像素块前向传播到卷积神经网络，得到分像素块的预测值；计算分像素块的预测值与分像素块的均方差；将均方差反向传播到卷积神经网络，以更新卷积神经网络各层的权值，循环迭代直至卷积神经网络收敛，得到分像素插值网络。通过本发明的技术方案，实现了通过单一网络即可插值出属于不同分像素位的参考块，并使得视频压缩的性能得到提升。
Description
技术领域
本发明涉及视频编码技术领域，具体而言，涉及一种分像素插值方法，一种分像素插值系统，一种计算机设备和一种计算机可读存储介质。
背景技术
在数字视频的使用传播过程中，视频编解码是一项不可或缺的关键技术。视频编解码技术通过对视频进行编码端的编码压缩以及解码端的解码恢复，极大地降低了数字视频在存储和传输过程中的开销，使得数字视频在日常生活中的使用得以实现。其中，运动补偿是视频编解码技术利用帧间冗余信息提升视频压缩率的一个关键方法。
在运动补偿过程中，编码器会在已编码视频帧中搜索与当前待编码视频帧块相似的已编码参考块，基于相似的已编码参考块，编码器可以仅编码记录待编码块与参考块之间的残差，从而减少编码所需存储空间，提升压缩率。然而，由于视频采样的离散化特性，在运动补偿寻找已编码参考块的过程中，当待编码块与参考块之间的运动偏移处于亚像素精度时，在参考帧中将难以找到与待编码块足够相似的参考块。
为此，在运动补偿技术中，分像素插值算法被用于对已编码相邻帧中的参考块进行亚像素级的插值，生成处于不同亚像素精度的分像素块，从而获取更多的参考信息，得到更加相似的参考块以进一步辅助编码压缩。目前的编码技术普遍采取手工设计的简单固定的插值滤波器进行插值，这一类插值方法由于采取的插值滤波器简单而固定，往往不能很好地处理多样的视频信号。
受启发于深度神经网络技术在图像处理问题中的成功应用，一些方法在分像素插值算法中引入了深度神经网络，并获得了一定的性能提升。但是，已有的方法尚未将深度神经网络应用到所有的分像素位的插值，性能还比较有限。且有的方法需要为每一个分像素位插值训练一个模型，比较繁琐。
因此，如何实现一种更加灵活有效的分像素插值方法，通过单一网络即可插值出属于不同分像素位的参考块，并使得视频压缩的性能得到提升，成为目前亟待解决的技术问题。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此，本发明的一方面在于提出了一种分像素插值方法。
本发明的另一方面在于提出了一种分像素插值系统。
本发明的再一方面在于提出了一种计算机设备。
本发明的又一方面在于提出了一种计算机可读存储介质。
有鉴于此，本发明提出了一种分像素插值方法，包括：对训练集中的每一张原始图像进行处理，得到整像素块和分像素块；将整像素块前向传播到卷积神经网络，得到分像素块的预测值；计算分像素块的预测值与分像素块的均方差；将均方差反向传播到卷积神经网络，以更新卷积神经网络各层的权值，循环迭代直至卷积神经网络收敛，得到分像素插值网络。
根据本发明的净饮机的分像素插值方法，首先是训练过程，即让神经网络学习已编码参考块到属于不同分像素位的参考块的映射。假设要实现1/N像素位的分像素插值算法，需要先收集足够多样的原始图片，经过隔点采样、高斯模糊和编码模拟等步骤生成训练数据，获取一批整像素块和分像素块的训练对。让生成的整像素块前向流过神经网络，得到最后预测出的分像素位块，将预测出的分像素位块与训练对中的分像素块进行均方差的计算，计算结果作为误差值，反向传播到神经网络各层，以更新网络中的权值。以此迭代，直到神经网络模型收敛。通过本发明的技术方案，实现了通过单一网络即可插值出属于不同分像素位的参考块，并使得视频压缩的性能得到提升。
另外，根据本发明上述的净饮机的分像素插值方法，还可以具有如下附加的技术特征：
在上述技术方案中，优选地，对训练集中的每一张原始图像进行处理的步骤，包括：对原始图像进行隔点下采样得到初步整像素块，再进行编码，得到整像素块；对原始图像进行标准差值为预设区间内随机数的高斯模糊，再对模糊图片进行隔点下采样得到分像素块。
在该技术方案中，对于整像素块的生成，首先隔点下采样得到初步的整像素块，然后利用编码器进行编码，得到编码重建的结果；对于分像素块的生成，首先对原始图片进行标准差值为预设区间内随机数的高斯模糊，对得到的模糊图片再进行隔点下采样得到分像素块。
在上述任一技术方案中，优选地，将整像素块前向传播到卷积神经网络，得到分像素块的预测值的步骤，包括：提取整像素块的共享特征图；根据分像素块的像素位将共享特征图复制相应的份数，并对复制得到的多个共享特征图进行差分变换，得到分像素块的预测值。
在该技术方案中，神经网络首先基于输入的已编码参考块经过多层卷积提取共享特征图，再利用提取的共享特征图进行统一差分变换，得到不同分像素位块与输入的整像素块的残差，最后生成不同分像素位块的预测值。
在上述任一技术方案中，优选地，该分像素插值方法还包括：根据分像素块的分像素位设置预设区间。
在该技术方案中，对于分像素块的生成，首先对原始图片进行标准差值为预设区间内随机数的高斯模糊，对得到的模糊图片再进行隔点下采样得到分像素块。其中，预设区间通过分像素块的分像素位进行设置。
在上述任一技术方案中，优选地，当分像素位为1/2像素位时，预设区间为[0.5,0.6]；当分像素位为1/4像素位时，预设区间为[0.7,0.8]。
在该技术方案中，生成的分像素块为1/2像素位时，标准差值的范围在0.5到0.6；生成的分像素块为1/4像素位时，标准差值的范围在0.7到0.8；生成的分像素块为1/N像素位时，标准差值范围为对应的预设区间。
在上述任一技术方案中，优选地，该分像素插值方法还包括：将已编码的分像素块输入到分像素插值网络，获取插值结果。
在该技术方案中，在获取训练完毕的网络模型后，将模型应用到编码器的帧间运动补偿算法中，替换原有分像素插值算法即可。具体来说，当编码器要对已编码参考块进行插值时，将参考块输入得到网络中进行前向计算，网络输出即为交付编码器后续使用的分像素插值结果。
本发明还提出了一种分像素插值系统，包括：处理单元，用于对训练集中的每一张原始图像进行处理，得到整像素块和分像素块；学习单元，用于将整像素块前向传播到卷积神经网络，得到分像素块的预测值；计算单元，用于计算分像素块的预测值与分像素块的均方差；学习单元，还用于将均方差反向传播到卷积神经网络，以更新卷积神经网络各层的权值，循环迭代直至卷积神经网络收敛，得到分像素插值网络。
根据本发明的净饮机的分像素插值系统，首先是训练过程，即让神经网络学习已编码参考块到属于不同分像素位的参考块的映射。假设要实现1/N像素位的分像素插值算法，需要先收集足够多样的原始图片，经过隔点采样、高斯模糊和编码模拟等步骤生成训练数据，获取一批整像素块和分像素块的训练对。让生成的整像素块前向流过神经网络，得到最后预测出的分像素位块，将预测出的分像素位块与训练对中的分像素块进行均方差的计算，计算结果作为误差值，反向传播到神经网络各层，以更新网络中的权值。以此迭代，直到神经网络模型收敛。通过本发明的技术方案，实现通过单一网络即可插值出属于不同分像素位的参考块，并使得视频压缩的性能得到提升。
在上述技术方案中，优选地，处理单元，具体用于：对原始图像进行隔点下采样得到初步整像素块，再进行编码，得到整像素块；对原始图像进行标准差值为预设区间内随机数的高斯模糊，再对模糊图片进行隔点下采样得到分像素块。
在该技术方案中，对于整像素块的生成，首先隔点下采样得到初步的整像素块，然后利用编码器进行编码，得到编码重建的结果；对于分像素块的生成，首先对原始图片进行标准差值为预设区间内随机数的高斯模糊，对得到的模糊图片再进行隔点下采样得到分像素块。
在上述任一技术方案中，优选地，学习单元，具体用于：提取整像素块的共享特征图；根据分像素块的像素位将共享特征图复制相应的份数，并对复制得到的多个共享特征图进行差分变换，得到分像素块的预测值。
在该技术方案中，神经网络首先基于输入的已编码参考块经过多层卷积提取共享特征图，再利用提取的共享特征图进行统一差分变换，得到不同分像素位块与输入的整像素块的残差，最后生成不同分像素位块的预测值。
在上述任一技术方案中，优选地，处理单元，还用于：根据分像素块的分像素位设置预设区间。
在该技术方案中，对于分像素块的生成，首先对原始图片进行标准差值为预设区间内随机数的高斯模糊，对得到的模糊图片再进行隔点下采样得到分像素块。其中，预设区间通过分像素块的分像素位进行设置。
在上述任一技术方案中，优选地，当分像素位为1/2像素位时，预设区间为[0.5,0.6]；当分像素位为1/4像素位时，预设区间为[0.7,0.8]。
在该技术方案中，生成的分像素块为1/2像素位时，标准差值的范围在0.5到0.6；生成的分像素块为1/4像素位时，标准差值的范围在0.7到0.8；生成的分像素块为1/N像素位时，标准差值范围为对应的预设区间。
在上述任一技术方案中，优选地，该分像素插值系统还包括：插值单元，用于将已编码的分像素块输入到分像素插值网络，获取插值结果。
在该技术方案中，在获取训练完毕的网络模型后，将模型应用到编码器的帧间运动补偿算法中，替换原有分像素插值算法即可。具体来说，当编码器要对已编码参考块进行插值时，将参考块输入得到网络中进行前向计算，网络输出即为交付编码器后续使用的分像素插值结果。
本发明还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器用于执行如上述技术方案中任一项的分像素插值方法的步骤。
本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现了如上述技术方案中任一项的分像素插值方法的步骤。
本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1示出了根据本发明的一个实施例的分像素插值方法的流程示意图；
图2示出了根据本发明的另一个实施例的分像素插值方法的流程示意图；
图3示出了根据本发明的再一个实施例的分像素插值方法的流程示意图；
图4示出了根据本发明的又一个实施例的分像素插值方法的流程示意图；
图5示出了根据本发明的一个实施例的分像素插值系统的示意框图；
图6示出了根据本发明的另一个实施例的分像素插值系统的示意框图；
图7示出了根据本发明的一个具体实施例的卷积神经网络模型的示意图；
图8示出了根据本发明的一个具体实施例的基于卷积神经网络模型的训练数据生成方法的示意图；
图9示出了根据本发明的一个实施例的计算机设备的示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
如图1所示，根据本发明的一个实施例的分像素插值方法的流程示意图。其中，该分像素插值方法，包括：
步骤102，对训练集中的每一张原始图像进行处理，得到整像素块和分像素块；
步骤104，将整像素块前向传播到卷积神经网络，得到分像素块的预测值；
步骤106，计算分像素块的预测值与分像素块的均方差；
步骤108，将均方差反向传播到卷积神经网络，以更新卷积神经网络各层的权值，循环迭代直至卷积神经网络收敛，得到分像素插值网络。
本发明提供的净饮机的分像素插值方法，首先是训练过程，即让神经网络学习已编码参考块到属于不同分像素位的参考块的映射。假设要实现1/N像素位的分像素插值算法，需要先收集足够多样的原始图片，经过隔点采样、高斯模糊和编码模拟等步骤生成训练数据，获取一批整像素块和分像素块的训练对。让生成的整像素块前向流过神经网络，得到最后预测出的分像素位块，将预测出的分像素位块与训练对中的分像素块进行均方差的计算，计算结果作为误差值，反向传播到神经网络各层，以更新网络中的权值。以此迭代，直到神经网络模型收敛。通过本发明的实施例，实现通过单一网络即可插值出属于不同分像素位的参考块，并使得视频压缩的性能得到提升。
如图2所示，根据本发明的另一个实施例的分像素插值方法的流程示意图。其中，该分像素插值方法，包括：
步骤202，对原始图像进行隔点下采样得到初步整像素块，再进行编码，得到整像素块；以及对原始图像进行标准差值为预设区间内随机数的高斯模糊，再对模糊图片进行隔点下采样得到分像素块；
步骤204，将整像素块前向传播到卷积神经网络，得到分像素块的预测值；
步骤206，计算分像素块的预测值与分像素块的均方差；
步骤208，将均方差反向传播到卷积神经网络，以更新卷积神经网络各层的权值，循环迭代直至卷积神经网络收敛，得到分像素插值网络。
在该实施例中，对于整像素块的生成，首先隔点下采样得到初步的整像素块，然后利用编码器进行编码，得到编码重建的结果；对于分像素块的生成，首先对原始图片进行标准差值为预设区间内随机数的高斯模糊，对得到的模糊图片再进行隔点下采样得到分像素块。
如图3所示，根据本发明的再一个实施例的分像素插值方法的流程示意图。其中，该分像素插值方法，包括：
步骤302，对原始图像进行隔点下采样得到初步整像素块，再进行编码，得到整像素块；以及对原始图像进行标准差值为预设区间内随机数的高斯模糊，再对模糊图片进行隔点下采样得到分像素块；
步骤304，将整像素块前向传播到卷积神经网络，提取整像素块的共享特征图；
步骤306，根据分像素块的像素位将共享特征图复制相应的份数，并对复制得到的多个共享特征图进行差分变换，得到分像素块的预测值；
步骤308，计算分像素块的预测值与分像素块的均方差；
步骤310，将均方差反向传播到卷积神经网络，以更新卷积神经网络各层的权值，循环迭代直至卷积神经网络收敛，得到分像素插值网络。
在该实施例中，神经网络首先基于输入的已编码参考块经过多层卷积提取共享特征图，再利用提取的共享特征图进行统一差分变换，得到不同分像素位块与输入的整像素块的残差，最后生成不同分像素位块的预测值。
如图4所示，根据本发明的又一个实施例的分像素插值方法的流程示意图。其中，该分像素插值方法，包括：
步骤402，对原始图像进行隔点下采样得到初步整像素块，再进行编码，得到整像素块；
步骤404，根据分像素块的分像素位设置预设区间；
步骤406，对原始图像进行标准差值为预设区间内随机数的高斯模糊，再对模糊图片进行隔点下采样得到分像素块；
步骤408，将整像素块前向传播到卷积神经网络，提取整像素块的共享特征图；
步骤410，根据分像素块的像素位将共享特征图复制相应的份数，并对复制得到的多个共享特征图进行差分变换，得到分像素块的预测值；
步骤412，计算分像素块的预测值与分像素块的均方差；
步骤414，将均方差反向传播到卷积神经网络，以更新卷积神经网络各层的权值，循环迭代直至卷积神经网络收敛，得到分像素插值网络。
在该实施例中，对于分像素块的生成，首先对原始图片进行标准差值为预设区间内随机数的高斯模糊，对得到的模糊图片再进行隔点下采样得到分像素块。其中，预设区间通过分像素块的分像素位进行设置。
在上述任一实施例中，优选地，当分像素位为1/2像素位时，预设区间为[0.5,0.6]；当分像素位为1/4像素位时，预设区间为[0.7,0.8]。
在该实施例中，生成的分像素块为1/2像素位时，标准差值的范围在0.5到0.6；生成的分像素块为1/4像素位时，标准差值的范围在0.7到0.8；生成的分像素块为1/N像素位时，标准差值范围为对应的预设区间。
在上述任一实施例中，优选地，该分像素插值方法还包括：将已编码的分像素块输入到分像素插值网络，获取插值结果。
在该实施例中，在获取训练完毕的网络模型后，将模型应用到编码器的帧间运动补偿算法中，替换原有分像素插值算法即可。具体来说，当编码器要对已编码参考块进行插值时，将参考块输入得到网络中进行前向计算，网络输出即为交付编码器后续使用的分像素插值结果。
如图5所示，根据本发明的一个实施例的分像素插值系统的示意框图。其中，该分像素插值系统500，包括：
处理单元502，用于对训练集中的每一张原始图像进行处理，得到整像素块和分像素块；
学习单元504，用于将整像素块前向传播到卷积神经网络，得到分像素块的预测值；
计算单元506，用于计算分像素块的预测值与分像素块的均方差；
学习单元504，还用于将均方差反向传播到卷积神经网络，以更新卷积神经网络各层的权值，循环迭代直至卷积神经网络收敛，得到分像素插值网络。
本发明提供的净饮机的分像素插值系统500，首先是训练过程，即让神经网络学习已编码参考块到属于不同分像素位的参考块的映射。假设要实现1/N像素位的分像素插值算法，需要先收集足够多样的原始图片，经过隔点采样、高斯模糊和编码模拟等步骤生成训练数据，获取一批整像素块和分像素块的训练对。让生成的整像素块前向流过神经网络，得到最后预测出的分像素位块，将预测出的分像素位块与训练对中的分像素块进行均方差的计算，计算结果作为误差值，反向传播到神经网络各层，以更新网络中的权值。以此迭代，直到神经网络模型收敛。通过本发明的实施例，实现通过单一网络即可插值出属于不同分像素位的参考块，并使得视频压缩的性能得到提升。
在本发明的一个实施例中，优选地，处理单元502，具体用于：对原始图像进行隔点下采样得到初步整像素块，再进行编码，得到整像素块；对原始图像进行标准差值为预设区间内随机数的高斯模糊，再对模糊图片进行隔点下采样得到分像素块。
在该实施例中，对于整像素块的生成，首先隔点下采样得到初步的整像素块，然后利用编码器进行编码，得到编码重建的结果；对于分像素块的生成，首先对原始图片进行标准差值为预设区间内随机数的高斯模糊，对得到的模糊图片再进行隔点下采样得到分像素块。
在本发明的一个实施例中，优选地，学习单元504，具体用于：提取整像素块的共享特征图；根据分像素块的像素位将共享特征图复制相应的份数，并对复制得到的多个共享特征图进行差分变换，得到分像素块的预测值。
在该实施例中，神经网络首先基于输入的已编码参考块经过多层卷积提取共享特征图，再利用提取的共享特征图进行统一差分变换，得到不同分像素位块与输入的整像素块的残差，最后生成不同分像素位块的预测值。
在本发明的一个实施例中，优选地，处理单元502，还用于：根据分像素块的分像素位设置预设区间。
在该实施例中，对于分像素块的生成，首先对原始图片进行标准差值为预设区间内随机数的高斯模糊，对得到的模糊图片再进行隔点下采样得到分像素块。其中，预设区间通过分像素块的分像素位进行设置。
在上述任一实施例中，优选地，当分像素位为1/2像素位时，预设区间为[0.5,0.6]；当分像素位为1/4像素位时，预设区间为[0.7,0.8]。
在该实施例中，生成的分像素块为1/2像素位时，标准差值的范围在0.5到0.6；生成的分像素块为1/4像素位时，标准差值的范围在0.7到0.8；生成的分像素块为1/N像素位时，标准差值范围为对应的预设区间。
如图6所示，根据本发明的另一个实施例的分像素插值系统的示意框图。其中，该分像素插值系统600，包括：
处理单元602，用于对训练集中的每一张原始图像进行处理，得到整像素块和分像素块；
学习单元604，用于将整像素块前向传播到卷积神经网络，得到分像素块的预测值；
计算单元606，用于计算分像素块的预测值与分像素块的均方差；
学习单元604，还用于将均方差反向传播到卷积神经网络，以更新卷积神经网络各层的权值，循环迭代直至卷积神经网络收敛，得到分像素插值网络；
插值单元608，用于将已编码的分像素块输入到分像素插值网络，获取插值结果。
在该实施例中，在获取训练完毕的网络模型后，将模型应用到编码器的帧间运动补偿算法中，替换原有分像素插值算法即可。具体来说，当编码器要对已编码参考块进行插值时，将参考块输入得到网络中进行前向计算，网络输出即为交付编码器后续使用的分像素插值结果。
具体实施例：假设已经构建了如图7中的卷积神经网络模型，并且有N张训练图像{I1,I2,…,IN}作为训练数据，训练1/4精度和1/2精度的分像素块插值网络。
训练过程如下：
步骤一，将训练集{I1,I2,…,IN}中的每一张图像进行如图8所示的训练数据生成。对于整像素块的生成，首先隔点下采样得到初步的整像素块，然后利用编码器进行编码，得到编码重建的结果对于分像素块的生成，首先对图片进行标准差值为区间[0.7,0.8]内随机数的高斯模糊(1/2分像素块生成时，标准差值为区间为0.5到0.6)。再对模糊图片进行隔点采样得到1/4分像素块
步骤二，将整像素块与1/4像素块组成训练数据对，在其中随机选取一些对构成训练数据集
将输入网络，进行前向传播，得到输出图像组(即分像素块的预测值)
步骤三，利用步骤二生成的和分像素块计算均方差(即获得误差值)。
步骤四，获得误差值之后，对网络进行误差值的反向传播，以训练网络更新网络权值。
步骤五，重复步骤一至步骤四直到神经网络收敛。
检测过程如下：
在训练完成1/2和1/4分像素插值网络后，在编码器实际测试中，将检索的已编码参考块输入到1/2和1/4分像素插值网络，获取插值结果，编码器基于输出的分像素插值结果进行后续运动补偿计算。
本发明还提出了一种计算机设备，图9示出了本发明的一个实施例的计算机设备1的示意图。其中，该计算机设备1包括：存储器12、处理器14及存储在存储器12上并可在处理器14上运行的计算机程序，处理器14用于执行如上述实施例中任一项的分像素插值方法的步骤。
本发明提供的计算机设备1，其所包含的处理器14用于执行如上述任一实施例中的分像素插值方法的方法的步骤，因而该计算机设备1能够实现该方法的全部有益效果，不再赘述。
本发明第五方面的实施例，提出了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现了如上述实施例中任一项的分像素插值方法的步骤。
本发明提供的计算机可读存储介质，其上存储的计算机程序被处理器执行时实现了如上述任一实施例中的分像素插值方法的步骤，因而该计算机可读存储介质能够实现该方法的全部有益效果，不再赘述。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (14)
1.一种分像素插值方法，其特征在于，包括：
对训练集中的每一张原始图像进行处理，得到整像素块和分像素块；
将所述整像素块前向传播到卷积神经网络，得到所述分像素块的预测值；
计算所述分像素块的预测值与所述分像素块的均方差；
将所述均方差反向传播到所述卷积神经网络，以更新所述卷积神经网络各层的权值，循环迭代直至所述卷积神经网络收敛，得到分像素插值网络。
2.根据权利要求1所述的分像素插值方法，其特征在于，所述对训练集中的每一张原始图像进行处理的步骤，包括：
对所述原始图像进行隔点下采样得到初步整像素块，再进行编码，得到所述整像素块；
对所述原始图像进行标准差值为预设区间内随机数的高斯模糊，再对模糊图片进行隔点下采样得到所述分像素块。
3.根据权利要求1所述的分像素插值方法，其特征在于，将所述整像素块前向传播到卷积神经网络，得到所述分像素块的预测值的步骤，包括：
提取所述整像素块的共享特征图；
根据所述分像素块的像素位将所述共享特征图复制相应的份数，并对复制得到的多个所述共享特征图进行差分变换，得到所述分像素块的预测值。
4.根据权利要求2或3所述的分像素插值方法，其特征在于，还包括：
根据所述分像素块的分像素位设置所述预设区间。
5.根据权利要求4所述的分像素插值方法，其特征在于，
当所述分像素位为1/2像素位时，所述预设区间为[0.5,0.6]；
当所述分像素位为1/4像素位时，所述预设区间为[0.7,0.8]。
6.根据权利要求5所述的分像素插值方法，其特征在于，还包括：
将已编码的分像素块输入到所述分像素插值网络，获取插值结果。
7.一种分像素插值系统，其特征在于，包括：
处理单元，用于对训练集中的每一张原始图像进行处理，得到整像素块和分像素块；
学习单元，用于将所述整像素块前向传播到卷积神经网络，得到所述分像素块的预测值；
计算单元，用于计算所述分像素块的预测值与所述分像素块的均方差；
所述学习单元，还用于将所述均方差反向传播到所述卷积神经网络，以更新所述卷积神经网络各层的权值，循环迭代直至所述卷积神经网络收敛，得到分像素插值网络。
8.根据权利要求7所述的分像素插值系统，其特征在于，所述处理单元，具体用于：
对所述原始图像进行隔点下采样得到初步整像素块，再进行编码，得到所述整像素块；
对所述原始图像进行标准差值为预设区间内随机数的高斯模糊，再对模糊图片进行隔点下采样得到所述分像素块。
9.根据权利要求7所述的分像素插值系统，其特征在于，所述学习单元，具体用于：
提取所述整像素块的共享特征图；
根据所述分像素块的像素位将所述共享特征图复制相应的份数，并对复制得到的多个所述共享特征图进行差分变换，得到所述分像素块的预测值。
10.根据权利要求8或9所述的分像素插值系统，其特征在于，所述处理单元，还用于：
根据所述分像素块的分像素位设置所述预设区间。
11.根据权利要求10所述的分像素插值系统，其特征在于，
当所述分像素位为1/2像素位时，所述预设区间为[0.5,0.6]；
当所述分像素位为1/4像素位时，所述预设区间为[0.7,0.8]。
12.根据权利要求11所述的分像素插值系统，其特征在于，还包括：
插值单元，用于将已编码的分像素块输入到所述分像素插值网络，获取插值结果。
13.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器用于执行如权利要求1至6中任一项所述的分像素插值方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现了如权利要求1至6中任一项所述的分像素插值方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810294119.2A CN110324635B (zh) | 2018-03-30 | 2018-03-30 | 分像素插值方法、系统、计算机设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810294119.2A CN110324635B (zh) | 2018-03-30 | 2018-03-30 | 分像素插值方法、系统、计算机设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110324635A true CN110324635A (zh) | 2019-10-11 |
| CN110324635B CN110324635B (zh) | 2021-06-15 |
Family
ID=68112400
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810294119.2A Expired - Fee Related CN110324635B (zh) | 2018-03-30 | 2018-03-30 | 分像素插值方法、系统、计算机设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110324635B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016132147A1 (en) * | 2015-02-19 | 2016-08-25 | Magic Pony Technology Limited | Enhancement of visual data |
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| CN107481188A (zh) * | 2017-06-23 | 2017-12-15 | 珠海经济特区远宏科技有限公司 | 一种图像超分辨率重构方法 |
-
2018
- 2018-03-30 CN CN201810294119.2A patent/CN110324635B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016132147A1 (en) * | 2015-02-19 | 2016-08-25 | Magic Pony Technology Limited | Enhancement of visual data |
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| CN107481188A (zh) * | 2017-06-23 | 2017-12-15 | 珠海经济特区远宏科技有限公司 | 一种图像超分辨率重构方法 |
Non-Patent Citations (2)
| Title |
|---|
| WENZHE SHI等: "Real一Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| 任杰等: "基于隐式分段自回归模型的图像插值算法", 《软件学报》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110324635B (zh) | 2021-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107463989B (zh) | 一种基于深度学习的图像去压缩伪影方法 | |
| CN104067619B (zh) | 视频解码器、视频解码方法以及视频解码程序的记录介质 | |
| CN102137263B (zh) | 基于cnm关键帧分类的分布式视频编码及解码方法 | |
| Lee et al. | An end-to-end joint learning scheme of image compression and quality enhancement with improved entropy minimization | |
| CN103037214A (zh) | 视频压缩方法 | |
| CN110677651A (zh) | 一种视频压缩方法 | |
| CN107087200A (zh) | 针对高效率视频编码标准的跳过编码模式提前判决方法 | |
| CN112102163B (zh) | 基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法 | |
| CN109949217A (zh) | 基于残差学习和隐式运动补偿的视频超分辨率重建方法 | |
| CN115131675A (zh) | 一种基于参考影像纹理迁移的遥感影像压缩方法及系统 | |
| CN113132729B (zh) | 一种基于多参考帧的环路滤波方法及电子装置 | |
| CN114651270A (zh) | 通过时间可变形卷积进行深度环路滤波 | |
| CN104918047A (zh) | 一种双向运动估计的排除方法和装置 | |
| CN110324635A (zh) | 分像素插值方法、系统、计算机设备和介质 | |
| CN108712653B (zh) | 基于迭代相关性噪声细化的单向分布式视频解码方法 | |
| CN112954350B (zh) | 一种基于帧分类的视频后处理优化方法及装置 | |
| CN111901592A (zh) | 预测编码神经网络权重更新方法及装置 | |
| Zhang et al. | Super-resolution image reconstruction via adaptive sparse representation and joint dictionary training | |
| CN111698514B (zh) | 一种基于深度学习的多模式分像素插值方法 | |
| CN112468826A (zh) | 一种基于多层gan的vvc环路滤波方法及系统 | |
| CN109788288A (zh) | 码率控制中i帧量化步长的估算方法及装置 | |
| Ouyang et al. | Towards quantized DCT coefficients restoration for compressed images | |
| CN114598874B (zh) | 视频量化编解码方法、装置、设备及存储介质 | |
| CN117915107B (zh) | 图像压缩系统、图像压缩方法、存储介质与芯片 | |
| WO2021095245A1 (ja) | 画像処理方法、データ処理方法、画像処理装置、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230323 Address after: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District Patentee after: Peking University Address before: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District Patentee before: Peking University Patentee before: PEKING UNIVERSITY FOUNDER GROUP Co.,Ltd. Patentee before: BEIJING FOUNDER ELECTRONICS Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230619 Address after: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District Patentee after: Peking University Patentee after: New founder holdings development Co.,Ltd. Patentee after: BEIJING FOUNDER ELECTRONICS Co.,Ltd. Address before: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District Patentee before: Peking University |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210615 |