CN109978764A - 一种图像处理方法及计算设备 - Google Patents
一种图像处理方法及计算设备 Download PDFInfo
- Publication number
- CN109978764A CN109978764A CN201910180498.7A CN201910180498A CN109978764A CN 109978764 A CN109978764 A CN 109978764A CN 201910180498 A CN201910180498 A CN 201910180498A CN 109978764 A CN109978764 A CN 109978764A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- training
- low
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 48
- 238000010801 machine learning Methods 0.000 claims abstract description 47
- 238000012549 training Methods 0.000 claims description 94
- 238000001914 filtration Methods 0.000 claims description 72
- 238000005070 sampling Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 19
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000005484 gravity Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 1
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像处理方法及计算设备，所述方法包括步骤：获取与原始图像对应的低分辨率图像；将所述低分辨率图像与所述原始图像作为输入图像输入到图像处理机器学习模型组件中，获取相较于所述原始图像具有更高分辨率且更丰富的细节信息的高分辨率完整图像，其中，所述图像处理机器学习模型组件利用预先获取的多组图像集进行训练得到，其中，所述多组图像集包括高分辨率完整图像集、高分辨率图像集以及低分辨率图像集。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种图像处理方法及计算设备。
背景技术
近年来，利用引导图的引导滤波方法在执行图像滤波时，既可保持图像边缘性又可使图像的纹理部分与引导图近似，因此在图像增强、图像抠图、图像去雾等场景中大受欢迎。基于此，提出一种利用引导滤波单元与卷积神经网络耦合的图像处理方法(例如，深度引导滤波)，该方法可引入引导滤波层形成深度引导滤波网络，从而可将高分辨率图像作为低分辨率图像的引导图并输出高分辨图像。但这种方法的图像处理结果存在图像细节丢失、图像过于平滑等问题。因此，需要一种图像处理效果更好(例如，图像细节丰富并且图像不会过于平滑)的技术方案。
发明内容
为此，本发明提供一种图像处理方法及计算设备，以力图解决或者至少缓解上面存在的问题。
根据本发明的一个方面，提供一种图像处理方法，适于在计算设备中执行，该方法包括如下步骤：获取与原始图像对应的低分辨率图像；将所述低分辨率图像与所述原始图像作为输入图像输入到图像处理机器学习模型组件中，获取相较于所述原始图像具有更高分辨率且更丰富的细节信息的高分辨率完整图像，其中，所述图像处理机器学习模型组件利用预先获取的多组图像集进行训练得到，其中，所述多组图像集包括高分辨率完整图像集、高分辨率图像集以及低分辨率图像集。
可选地，所述图像处理机器学习模型组件是通过深度引导滤波组件与分组卷积网络组件耦合生成的。
可选地，所述深度引导滤波组件包括卷积神经网络组件和引导滤波组件。
可选地，所述图像处理机器学习模型组件是通过将深度引导滤波组件的输出图像以及利用深度引导滤波组件的中间图像获取的残差图像作为分组卷积网络组件的输入图像而获得的。
可选地，将所述低分辨率图像与所述原始图像作为输入图像输入到图像处理机器学习模型组件中获取相较于所述原始图像具有更高分辨率且更丰富的细节信息的高分辨率完整图像包括：将所述低分辨率图像输入到卷积神经网络组件，获取卷积输出图像；将所述原始图像、所述低分辨率图像以及卷积输出图像输入到所述引导滤波组件获取第一输出图像；获取对卷积输出图像利用上采样方法执行上采样后的上采样图像与所述原始图像的残差图像；将所述第一输出图像与残差图像作为输入图像输入到所述分组卷积网络组件，获取与原始图像对应的高分辨率完整图像。
可选地，所述图像处理机器学习模型组件利用预先获取的多组图像集进行训练得到包括：获取包括训练使用的高分辨率图像的高分辨率图像集、包括训练使用的低分辨率图像的低分辨率图像集和包括训练使用的高分辨率完整图像的高分辨率完整图像集；将高分辨率图像集中的每个高分辨率图像与低分辨率图像集中对应的每个低分辨率图像分别输入到所述图像处理机器学习模型组件，获取包括训练输出图像的训练输出图像集；利用所述训练输出图像与对应的高分辨率完整图像集之间的差值，调整所述图像处理机器学习模型组件的全网络参数，直到所述图像处理机器学习模型组件达到预设要求。
可选地，将高分辨率图像集中的每个高分辨率图像与低分辨率图像集中对应的每个低分辨率图像分别输入到所述图像处理机器学习模型组件获取包括训练输出图像的训练输出图像集包括：将低分辨率图像输入到卷积神经网络组件，获取训练卷积输出图像；将高分辨率图像、低分辨率图像以及卷积输出图像输入到所述引导滤波组件获取第一训练输出图像；获取对训练卷积输出图像利用上采样方法执行上采样后的上采样训练图像与所述高分辨率图像的残差图像；将所述第一训练输出图像与残差图像作为输入图像输入到所述分组卷积网络组件，获取训练输出图像。
可选地，所述预设要求是指利用L1范数作为损失函数的对第一训练输出图像与高分辨率完整图像的第一损失函数值与利用L2范数作为损失函数的训练输出图像与高分辨率完整图像的第二损失值按照预定权重比例组合而获得的。
可选地，所述预定权重比例按照训练次数的增加按照预定规则降低第一损失函数值的比重。
可选地，所述多组图像集是指利用从与每个画面对应的多个图像中分别提取出高分辨率完整图像、高分辨率图像以及低分辨率图像来形成高分辨率完整图像集、高分辨率图像集以及低分辨率图像集。
根据本发明的一个方面，提供一种计算设备，所述设备包括：一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。
根据本发明的一个方面，提供一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行上述方法中的任一方法。
综上所述，根据本发明的示例性实施例的图像处理方法利用图像处理机器学习模型组件获取原始图像的高分辨率完整图像，实现对原始图像的细节增强并且可提高图像分辨率。更进一步地，可将深度引导滤波组件与分组卷积网络进行耦合，从而可在利用深度引导滤波组件实现对原始图像的细节增强的效果后利用分组卷积网络组件获取分辨率更高且细节更丰富的图像。
附图说明
为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明的一个实施例的计算设备100的示意图；
图2示出了本发明的一个实施例的图像处理方法200的流程图；
图3示出了应用根据本发明的一个实施例的深度引导滤波组件对原始图像执行图像处理的示意图；
图4示出了应用根据本发明的一个实施例的图像处理方法对原始图像执行图像处理的示意图；
图5示出了应用根据本发明的一个实施例的图像处理装置的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1是示例计算设备100的框图。在基本的配置102中，计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。
取决于期望的配置，处理器104可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用，或者在一些实现中，存储器控制器118可以是处理器104的一个内部部分。
取决于期望的配置，系统存储器106可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器106可以包括操作系统120、一个或者多个程序122以及程序数据124。在一些实施方式中，程序122可以布置为在操作系统上由一个或多个处理器104利用程序数据124执行指令。
计算设备100还可以包括有助于从各种接口设备(例如，输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156，它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160，其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。
计算设备100可以实现为服务器，例如文件服务器、数据库服务器、应用程序服务器和WEB服务器等，也可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以是诸如蜂窝电话、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。计算设备100还可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。
在一些实施例中，计算设备100被配置为执行根据本发明的图像处理方法。其中，计算设备100的一个或多个程序122包括用于执行根据本发明的图像处理方法的指令。
在对图2进行描述之前需要明确的是：本发明中所涉及的深度引导滤波组件是指将引导滤波单元与卷积神经网络耦合的组件，其中，所述引导滤波单元可利用引导图像对输入图像进行滤波处理，使得输出图像大体上与输入图像相似，但是纹理部分与引导图相似。基于此，深度引导滤波组件引入神经卷积网络，在执行引导滤波之前，将低分辨率图像输入神经卷积网络，同样输出低分辨率图像，最后，利用这些图像输入引导滤波层，经过引导滤波处理后，获取最终图像。也就是说，所述深度引导滤波组件完全依靠于神经卷积网络对低分辨率图像的处理结果。
图2示出了本发明的一个实施例的图像处理方法200的流程图，所述图像处理方法200适用于计算设备(例如图1所示的计算设备100)中执行。
为了便于描述，在此将在本发明中出现的图像进行命名，具体如下，原始图像可表示为M或Ih，与原始图像M对应的低分辨率图像可表示为Il，输出的高分辨率完整图像可表示为Oh。
如图2所示，方法200始于步骤S210。在步骤S210，获取与原始图像M对应的低分辨率图像，分辨率是指图像中存储的信息量，即，每英寸图像内具有多少像素点，因此分辨率也通常被叫做像素每英寸，例如，某个图像的分辨率为1280*960，这样，低分辨率图像则表示分辨率比较低的图像。
根据本申请的示例性实施例，可通过对原始图像执行下采样处理来获取与原始图像对应的低分辨率图像，其中，所述下采样处理可简单理解为执行缩小操作，所述下采样处理可包括但不限于最近邻插值、双线性插值、均值插值、中值插值。
随后，在步骤S220，将低分辨率图像Il与原始图像M作为输入图像输入到图像处理机器学习模型组件中，获取相较于原始图像M具有更高分辨率且更丰富的细节信息的高分辨率完整图像Oh，其中，图像处理机器学习模型组件利用预先获取的多组图像集进行训练得到，其中，多组图像集包括高分辨率完整图像集、高分辨率图像集以及低分辨率图像集。
应注意，多组图像集是指利用从与每个画面对应的多个图像中分别提取出高分辨率完整图像、高分辨率图像以及低分辨率图像来分别形成的高分辨率完整图像集、高分辨率图像集以及低分辨率图像集。高分辨率完整图像的分辨率高且细节信息丰富，所以是用户期望获取的图像，而高分辨率图像虽然图像分辨率高但是图像细节不丰富，低分辨率图像的分辨率低且细节信息不丰富。
在本实施例中，可通过以下步骤获取这些训练集(以上所述的高分辨率完整图像集、高分辨率图像集以及低分辨率图像集)：获取多个高分辨率且细节丰富的图像作为高分辨率完整图像集，随后，在高分辨率完整图像集中增加噪声，获取高分辨率图像集，最后将这些高分辨率图像集进行下采样获取低分辨率图像集。
也就是说，将以上图像集输入到图像处理机器学习模型中，利用这些图像集中存在的对应关系对图像处理机器学习模型进行训练，使其达到预定要求。根据本发明的一个实施例，可将训练集中的这些图像集预留一部分作为测试集，应注意，测试集的大小可由技术人员根据经验来确定。
根据本申请的示例性实施例，图像处理机器学习模型组件可通过深度引导滤波组件与分组卷积网络组件耦合生成的。也就是说，在本申请中，图像处理机器学习模型组件是通过将深度引导滤波组件的输出图像以及利用深度引导滤波的中间图像获取的残差图像作为分组卷积网络组件的输入图像而获得的。应注意，所述分组卷积网络组件中应用的分组卷积网络是本领域技术人员已知的算法，在此将不再详述。
因此，在训练阶段，可对深度引导滤波组件与分组卷积网络进行协同训练，以实现对图像处理机器学习模型组件训练的目的。而为了实现协同训练，可在训练初期，增加深度引导滤波组件的权重，这样把训练的重心放在深度引导滤波组件上，后续逐渐降低深度引导滤波组件的权重，不断增加分组卷积网络组件的权重，从而实现对所述图像处理机器模型组件的训练。
应注意，在利用多组图像集进行训练时，可分阶段确定深度引导组件与分组卷积网络组件进行组合的预定权重比例。在实施过程中，可根据时间来调整预定权重比例，例如，在训练的前五毫秒；也可根据次数来调整预定权重比例，例如，在训练的前十次。当按照训练次数来调整预定权重比例时，可假设训练T次以内，预定权重比例不变，超过T次，预设权重比例可按照以下公式1进行调整：
W1:W2＝3*(2/(exp(-(k-T)-1)：1 公式1
其中，W1：W2为深度引导滤波组件与分组卷积网络组件的预定权重比例，k表示为总迭代次数，T优选为50。
也就是说，初始阶段(例如，前50次训练)，深度引导滤波组件与分组卷积网络组件的比例可以是3:1，随后，该比例逐渐减小，最后预定权重比例仅与分组卷积网络组件有关，也就说，最后，预设要求仅与所述分组卷积网络组件有关。
以下将具体说明对图像处理机器学习模型组件的训练过程。图像处理机器学习模型组件利用预先获取的多组图像集进行训练得到包括：获取包括训练使用的高分辨率图像的高分辨率图像集、包括训练使用的低分辨率图像的低分辨率图像集和包括训练使用的高分辨率完整图像的高分辨率完整图像集；将高分辨率图像集中的每个高分辨率图像与低分辨率图像集中对应的每个低分辨率图像分别输入到图像处理机器学习模型组件，获取包括训练输出图像的训练输出图像集；利用训练输出图像与对应的高分辨率完整图像集之间的差值，调整图像处理机器学习模型组件的全网络参数，直到图像处理机器学习模型组件达到预设要求。
换言之，可将低分辨率图像输入到卷积神经网络组件，获取训练卷积输出图像；将高分辨率图像、低分辨率图像以及卷积输出图像输入到引导滤波组件，获取第一训练输出图像；获取对训练卷积输出图像利用上采样方法执行上采样后的上采样训练图像与高分辨率图像的残差图像；将第一训练输出图像与残差图像作为输入图像输入到分组卷积网络组件，获取训练输出图像。
预设要求是利用L1范数作为损失函数的对第一训练输出图像与高分辨率完整图像的第一损失函数值、与利用L2范数作为损失函数的训练输出图像与高分辨率完整图像的第二损失值按照预定权重比例组合而获得的。预定权重比例按照训练次数的增加而按照预定规则降低第一损失函数值的比重。
在本实施例中，第一损失值可以是利用如以下公式2提供的L1范数作为损失函数获取的损失函数值。
Loss(x,y)＝1/n∑|xi-yi| 公式2
其中，xi表示利用深度引导滤波组件输出的图像(即，第一训练输出图像)的像素值，yi表示目标图像(即，高分辨率完整图像)的像素值，i表示像素的位置，n表示图像中的总像素值。利用L1范数作为损失函数，可以趋向于产生少量的特征，而其它特征都为0。
第二损失值是利用L2范数作为损失函数的训练输出图像与高分辨率完整图像的第二损失值，如公式3所示。
Loss＝∑n i＝1＝(yi-f(xi))2 公式3
其中，n表示图像中像素的总数，f()代表输出图像的灰度值，y代表低分辨率完整图像的灰度值，x代表某个像素。
以下将结合图3对深度引导滤波组件进行详细描述，如图3所示，对输入图像Ih进行下采样获取与输入图像Ih对应的低分辨率图像Il，随后，可将应用于卷积神经网络Cl(Il)，产生于低分辨率图像对应的低分辨率输出图像Gl，随后，利用Ih、Il以及Gl作为输入，经过引导滤波层获取高分辨率图像Gh。应注意，在描述的过程中，将每个图像作为单通道图像进行描述，若每个图像由多通道(例如，3通道)构成，则可分别对每个图像执行以上操作。因此，在对图3中示出的深度引导滤波组件进行训练时，高分辨率图像集合、低分辨率图像集合和高分辨率完整图像集之间的对应关系，即可实现对深度引导滤波组件的训练。
预设要求是指利用L1范数作为损失函数的第一训练输出图像与高分辨率完整图像的第一损失函数值、与利用L2范数作为损失函数的训练输出图像与高分辨率完整图像的第二损失函数值按照预定权重比例的组合值达到第二预定阈值。
此外，在对深度引导滤波组件以及分组卷积网络执行训练时，可对训练集(也就是以上提到的多个图像集)执行扰动处理，扰动处理包括但不限于随机噪声处理以及随机模糊处理，其中，所述随机噪声处理可包括但不限于高斯噪声、椒盐噪声等，而随机模糊处理可包括但不限于高斯模糊、均值模糊等，其中，利用以上方法产生的随机数可作为扰动处理的参数。
在利用以上方法，完成对图像处理机器学习模型组件的训练后，可将低分辨率图像与原始图像共同输入到训练完成的图像处理机器学习模型组件，获取与高分辨率输出图像对应的高分辨率完整图像。
具体来说，在对图像处理机器学习组件训练完成后，将上述原始图像以及与上述原始图像对应的低分辨率图像输入到图像处理机器学习模型组件中后，可利用卷积神经网络组件，获取卷积输出图像。随后，将原始图像、低分辨率图像以及卷积输出图像输入到引导滤波组件获取第一输出图像。接下来，获取对卷积输出图像利用上采样方法执行上采样后的上采样图像与所述原始图像的残差图像。最后，将第一输出图像与残差图像作为输入图像输入到分组卷积网络组件，获取与原始图像对应的高分辨率完整图像。
根据本发明的一个实施例，按照构成低分辨率图像与原始图像的图像通道分别将每个图像通道对应的图像数据输入到图像处理机器学习模型组件中，获取与每个图像通道对应的最终图像数据；利用各个通道的最终图像数据，生成高分辨率完整图像。
为了更清楚地描述本申请的流程，以下将结合图4进行详细描述。
图4示出了应用根据本发明的一个实施例的图像处理方法对原始图像执行图像处理的示意图。
如图4所述，为了便于描述，原始图像可看作高分辨率图像Ih，随后可对高分辨率图像Ih执行下采样处理，获得低分辨率图像Il，可将低分辨率图像Il应用于卷积神经网络Cl(Il)，产生于低分辨率图像对应的低分辨率输出图像Gl，随后，利用Ih、Il以及Gl作为输入，经过引导滤波层获取低分辨率完整图像Gh。也就是说，可利用如图3中所示的深度引导滤波组件获取的图像Gh，最后将图像Gh输入到分组卷积网络层，获取输出图像Oh。这样，输出图像Oh不仅细节增强并且可提高了分辨率。
也就是说，根据本发明的一个实施例，原始图像在经过如图4中的引导滤波网络与分组卷积网络后转换为高分辨率完整图像。在该实施例中，引导滤波网络与分组卷积网络均包括数据输入层、卷积计算层、激活层、池化层和全连接层。
在本发明的一个实施例中，在引导滤波网络中，卷积计算层的参数可设置如下：卷积核可被设置为3*3，而针对边界补零这一参数的值来说，可采用1，也就是说，表示将卷积层所输入图像的边缘向外1个像素单位的各行与各列以0填充，并且步长(stride)设置为1，分组(group)表示输入输出对应的分组，默认为1，也就是说默认输出输入的所有通道各为一组。输出一个通道由输入所有通道进行卷积运算。
在本发明的一个实施例中，在分组卷积网络中，卷积计算层的参数可设置如下：卷积核可被设置为1*1，而针对边界补零这一参数的值来说，可采用1，也就是说，表示将卷积层所输入图像的边缘向外1个像素单位的各行与各列以0填充，并且步长(stride)设置为1，分组(group)表示输入输出对应的分组，默认为3，也就说输入通道与输出通道的比值为3。以RGB图像为例来说，第一输出图像的R通道与残差图像的R通道一组，第一输出图像的G通道与残差图像的G通道一组,第一输出图像的B通道与残差图像的B通道一组，形成了三组，分别对这三组进行1×1卷积，每一组输出为一张1280×960的特征图，三组输出则是三张1280×960的特征图。此外，空洞卷积(dilation)设置为1，也就是说，执行常规的空洞卷积。
而以上提到的引导滤波网络的和分组卷积网络中的激活层可采用PReLU(Parametric Rectified Linear Unit)以及Leaky ReLU(带泄露整流函数)、Tanh作为激活层的激活函数，以调整经过卷积层和批标准化层的输出，避免下一层的输出为上一层的线性组合而无法逼近任意函数。
综上所述，根据本发明的示例性实施例的图像处理方法利用图像处理机器学习模型组件获取原始图像的高分辨率完整图像，实现对原始图像的细节增强并且可提高图像分辨率。更进一步地，可将深度引导滤波组件与分组卷积网络进行耦合，从而可在利用深度引导滤波组件实现对原始图像的细节增强的效果后利用分组卷积网络组件获取分辨率更高且细节更丰富的图像。更进一步地，可在训练过程中，对各个图像集增加扰动操作，从而提高网络适应性。更进一步地，可在对深度引导滤波组件训练完成的情况下，对深度引导滤波组件与分组卷积网络组件进行协同训练，从而能够更准确地描述图像。进一步地，将深度引导滤波组件与分组卷积网络组件按照预定权重比例进行组合，并随着训练次数的增加使其慢慢过渡到按照分组卷积网络组件的输出图像对图像处理机器学习模型组件进行调节，从而能够实现利用训练集对深度引导滤波组件与分组卷积网络组件进行协同训练。更进一步地，可针对不同的组件采用不同的损失函数，使得训练结果更精确。
图5示出本申请的示例性实施例的图像处理装置的框图。该图像处理装置可用于执行根据本发明实施例的图像处理方法。参考图5，在硬件层面，该装置包括处理器、内部总线和计算机可读存储介质，其中，计算机可读存储介质包括易失性存储器和非易失性存储器。处理器从非易失性存储器中读取对应的计算机程序然后运行。当然，除了软件实现方式之外，本申请并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
具体来说，处理器执行以下操作：获取与原始图像对应的低分辨率图像；将低分辨率图像与所述原始图像作为输入图像输入到图像处理机器学习模型组件中，获取相较于所述原始图像具有更高分辨率且更丰富的细节信息的高分辨率完整图像，其中，图像处理机器学习模型组件利用预先获取的多组图像集进行训练得到，其中，多组图像集包括高分辨率完整图像集、高分辨率图像集以及低分辨率图像集。
可选地，图像处理机器学习模型组件是通过深度引导滤波组件与分组卷积网络组件耦合生成的。且深度引导滤波组件包括卷积神经网络组件和引导滤波组件。
可选地，图像处理机器学习模型组件是通过将深度引导滤波组件的输出图像以及利用深度引导滤波的中间图像获取的残差图像作为分组卷积网络的输入图像而获得的。
可选地，处理器在实现步骤将低分辨率图像与原始图像作为输入图像输入到图像处理机器学习模型组件中获取相较于原始图像具有更高分辨率且更丰富的细节信息的高分辨率完整图像包括：将低分辨率图像输入到卷积神经网络组件，获取卷积输出图像；将原始图像、低分辨率图像以及卷积输出图像输入到引导滤波组件获取第一输出图像；获取对卷积输出图像利用上采样方法执行上采样后的上采样图像与原始图像的残差图像；将第一输出图像与残差图像作为输入图像输入到分组卷积网络组件，获取与原始图像对应的高分辨率完整图像。
可选地，处理器在实现步骤：利用预先获取的多组图像集进行训练得到图像处理机器学习模型组件时，包括：获取包括训练使用的高分辨率图像的高分辨率图像集、包括训练使用的低分辨率图像的低分辨率图像集和包括训练使用的高分辨率完整图像的高分辨率完整图像集；将高分辨率图像集中的每个高分辨率图像与低分辨率图像集中对应的每个低分辨率图像分别输入到所述图像处理机器学习模型组件，获取包括训练输出图像的训练输出图像集；利用训练输出图像与对应的高分辨率完整图像集之间的差值，调整图像处理机器学习模型组件的全网络参数，直到图像处理机器学习模型组件达到预设要求。
可选地，处理器在实现步骤：将高分辨率图像集中的每个高分辨率图像与低分辨率图像集中对应的每个低分辨率图像分别输入到图像处理机器学习模型组件，获取包括训练输出图像的训练输出图像集时，包括：将低分辨率图像输入到卷积神经网络组件，获取训练卷积输出图像；将高分辨率图像、低分辨率图像以及卷积输出图像输入到引导滤波组件获取第一训练输出图像；获取对训练卷积输出图像利用上采样方法执行上采样后的上采样训练图像与高分辨率图像的残差图像；将第一训练输出图像与残差图像作为输入图像输入到所述分组卷积网络组件，获取训练输出图像。
可选地，预设要求是指利用L1范数作为损失函数的对第一训练输出图像与高分辨率完整图像的第一损失函数值与利用L2范数作为损失函数的训练输出图像与高分辨率完整图像的第二损失值按照预定权重比例组合而获得的。其中，预定权重比例按照训练次数的增加按照预定规则降低第一损失函数值的比重。
可选地，多组图像集是指利用从与每个画面对应的多个图像中分别提取出高分辨率完整图像、高分辨率图像以及低分辨率图像来形成高分辨率完整图像集、高分辨率图像集以及低分辨率图像集。
综上所述，根据本发明的示例性实施例的图像处理装置利用图像处理机器学习模型组件获取原始图像的高分辨率完整图像，实现对原始图像的细节增强并且可提高图像分辨率。更进一步地，可将深度引导滤波组件与分组卷积网络进行耦合，从而可在利用深度引导滤波组件实现对原始图像的细节增强的效果后利用分组卷积网络组件获取分辨率更高且细节更丰富的图像。更进一步地，可在训练过程中，对各个图像集增加扰动操作，从而提高网络适应性。更进一步地，可在对深度引导滤波组件训练完成的情况下，对深度引导滤波组件与分组卷积网络组件进行协同训练，从而能够更准确地描述图像。进一步地，将所述深度引导滤波组件与分组卷积网络组件按照预定权重比例进行组合，并随着训练次数的增加使其慢慢过渡到按照分组卷积网络组件的输出图像对所述图像处理机器学习模型组件进行调节，从而能够实现利用训练集对所述深度引导滤波组件与分组卷积网络组件进行协同训练。更进一步地，可针对不同的组件采用不同的损失函数，使得训练结果更精确。
本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组间可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组间组合成一个模块或单元或组间，以及此外可以把它们分成多个子模块或子单元或子组间。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
本发明一并公开了：
A9、如A8所述的方法，其中，预定权重比例按照训练次数的增加按照预定规则降低第一损失函数值的比重。A10、如A1所述的方法，其中，多组图像集是指利用从与每个画面对应的多个图像中分别提取出高分辨率完整图像、高分辨率图像以及低分辨率图像来形成高分辨率完整图像集、高分辨率图像集以及低分辨率图像集。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。
这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的用于对图像中的人脸进行表情识别的卷积神经网络生成方法和/或表情识别方法。
以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。
如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。
Claims (10)
1.一种图像处理方法，适于在计算设备中执行，所述方法包括步骤：
获取与原始图像对应的低分辨率图像；
将所述低分辨率图像与所述原始图像作为输入图像输入到图像处理机器学习模型组件中，获取相较于所述原始图像具有更高分辨率且更丰富的细节信息的高分辨率完整图像，其中，所述图像处理机器学习模型组件利用预先获取的多组图像集进行训练得到，其中，所述多组图像集包括高分辨率完整图像集、高分辨率图像集以及低分辨率图像集。
2.如权利要求1所述的方法，其中，所述图像处理机器学习模型组件是通过深度引导滤波组件与分组卷积网络组件耦合生成的。
3.如权利要求2所述的方法，其中，所述深度引导滤波组件包括卷积神经网络组件和引导滤波组件。
4.如权利要求2所述的方法，其中，所述图像处理机器学习模型组件是通过将深度引导滤波组件的输出图像以及利用深度引导滤波的中间图像获取的残差图像作为分组卷积网络组件的输入图像而获得的。
5.如权利要求3所述的方法，其中，将所述低分辨率图像与所述原始图像作为输入图像输入到图像处理机器学习模型组件中获取相较于所述原始图像具有更高分辨率且更丰富的细节信息的高分辨率完整图像包括：
将所述低分辨率图像输入到卷积神经网络组件，获取卷积输出图像；
将所述原始图像、所述低分辨率图像以及卷积输出图像输入到所述引导滤波组件获取第一输出图像；
获取对卷积输出图像利用上采样方法执行上采样后的上采样图像与所述原始图像的残差图像；
将所述第一输出图像与残差图像作为输入图像输入到所述分组卷积网络组件，获取与原始图像对应的高分辨率完整图像。
6.如权利要求2所述的方法，其中，所述图像处理机器学习模型组件利用预先获取的多组图像集进行训练得到，包括：
获取包括训练使用的高分辨率图像的高分辨率图像集、包括训练使用的低分辨率图像的低分辨率图像集和包括训练使用的高分辨率完整图像的高分辨率完整图像集；
将高分辨率图像集中的每个高分辨率图像与低分辨率图像集中对应的每个低分辨率图像分别输入到所述图像处理机器学习模型组件，获取包括训练输出图像的训练输出图像集；
利用所述训练输出图像与对应的高分辨率完整图像集之间的差值，调整所述图像处理机器学习模型组件的全网络参数，直到所述图像处理机器学习模型组件达到预设要求。
7.如权利要求6所述的方法，其中，将高分辨率图像集中的每个高分辨率图像与低分辨率图像集中对应的每个低分辨率图像分别输入到所述图像处理机器学习模型组件，以获取包括训练输出图像的训练输出图像集的步骤，包括：
将低分辨率图像输入到卷积神经网络组件，获取训练卷积输出图像；
将高分辨率图像、低分辨率图像以及卷积输出图像输入到所述引导滤波组件获取第一训练输出图像；
获取对训练卷积输出图像利用上采样方法执行上采样后的上采样训练图像与所述高分辨率图像的残差图像；
将所述第一训练输出图像与残差图像作为输入图像输入到所述分组卷积网络组件，获取训练输出图像。
8.如权利要求6所述的方法，其中，所述预设要求是利用L1范数作为损失函数的对第一训练输出图像与高分辨率完整图像的第一损失函数值、与利用L2范数作为损失函数的训练输出图像与高分辨率完整图像的第二损失值按照预定权重比例组合而获得的。
9.一种计算设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-8所述的方法中的任一方法的指令。
10.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1-8所述的方法中的任一方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910180498.7A CN109978764B (zh) | 2019-03-11 | 2019-03-11 | 一种图像处理方法及计算设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910180498.7A CN109978764B (zh) | 2019-03-11 | 2019-03-11 | 一种图像处理方法及计算设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109978764A true CN109978764A (zh) | 2019-07-05 |
| CN109978764B CN109978764B (zh) | 2021-03-02 |
Family
ID=67078496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910180498.7A Active CN109978764B (zh) | 2019-03-11 | 2019-03-11 | 一种图像处理方法及计算设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109978764B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110786834A (zh) * | 2019-12-09 | 2020-02-14 | 中电健康云科技有限公司 | 一种基于舌象特征和bmi指数的脂肪肝预测方法 |
| CN110796106A (zh) * | 2019-11-04 | 2020-02-14 | 北京迈格威科技有限公司 | 人像质量评估模型建立和从视频中进行人像识别的方法 |
| CN111083359A (zh) * | 2019-12-06 | 2020-04-28 | Oppo广东移动通信有限公司 | 图像处理方法及其装置、电子设备和计算机可读存储介质 |
| CN111325692A (zh) * | 2020-02-21 | 2020-06-23 | 厦门美图之家科技有限公司 | 画质增强方法、装置、电子设备和可读存储介质 |
| CN111476740A (zh) * | 2020-04-28 | 2020-07-31 | 北京大米未来科技有限公司 | 图像处理方法、装置、存储介质和电子设备 |
| CN112200719A (zh) * | 2020-09-27 | 2021-01-08 | 咪咕视讯科技有限公司 | 图像处理方法、电子设备及可读存储介质 |
| CN112435162A (zh) * | 2020-11-13 | 2021-03-02 | 中国科学院沈阳自动化研究所 | 一种基于复数域神经网络的太赫兹图像超分辨重建方法 |
| CN112508814A (zh) * | 2020-12-07 | 2021-03-16 | 重庆邮电大学 | 一种基于无人机低空视角下的图像色调修复型去雾增强方法 |
| CN112862715A (zh) * | 2021-02-08 | 2021-05-28 | 天津大学 | 一种实时且可控的尺度空间滤波方法 |
| CN115150370A (zh) * | 2022-07-05 | 2022-10-04 | 广东魅视科技股份有限公司 | 一种图像处理的方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204467A (zh) * | 2016-06-27 | 2016-12-07 | 深圳市未来媒体技术研究院 | 一种基于级联残差神经网络的图像去噪方法 |
| CN107274347A (zh) * | 2017-07-11 | 2017-10-20 | 福建帝视信息科技有限公司 | 一种基于深度残差网络的视频超分辨率重建方法 |
| CN108596841A (zh) * | 2018-04-08 | 2018-09-28 | 西安交通大学 | 一种并行实现图像超分辨率及去模糊的方法 |
| CN108765291A (zh) * | 2018-05-29 | 2018-11-06 | 天津大学 | 基于稠密神经网络和双参数损失函数的超分辨率重建方法 |
| CN108921786A (zh) * | 2018-06-14 | 2018-11-30 | 天津大学 | 基于残差卷积神经网络的图像超分辨率重构方法 |
| CN109064396A (zh) * | 2018-06-22 | 2018-12-21 | 东南大学 | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 |
| CN109146788A (zh) * | 2018-08-16 | 2019-01-04 | 广州视源电子科技股份有限公司 | 基于深度学习的超分辨率图像重建方法和装置 |
| US20190035078A1 (en) * | 2017-03-31 | 2019-01-31 | The Board Of Trustees Of The Leland Stanford Junior University | Quality of Medical Images Using Multi-Contrast and Deep Learning |
| CN109345474A (zh) * | 2018-05-22 | 2019-02-15 | 南京信息工程大学 | 基于梯度域和深度学习的图像运动模糊盲去除方法 |
-
2019
- 2019-03-11 CN CN201910180498.7A patent/CN109978764B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204467A (zh) * | 2016-06-27 | 2016-12-07 | 深圳市未来媒体技术研究院 | 一种基于级联残差神经网络的图像去噪方法 |
| US20190035078A1 (en) * | 2017-03-31 | 2019-01-31 | The Board Of Trustees Of The Leland Stanford Junior University | Quality of Medical Images Using Multi-Contrast and Deep Learning |
| CN107274347A (zh) * | 2017-07-11 | 2017-10-20 | 福建帝视信息科技有限公司 | 一种基于深度残差网络的视频超分辨率重建方法 |
| CN108596841A (zh) * | 2018-04-08 | 2018-09-28 | 西安交通大学 | 一种并行实现图像超分辨率及去模糊的方法 |
| CN109345474A (zh) * | 2018-05-22 | 2019-02-15 | 南京信息工程大学 | 基于梯度域和深度学习的图像运动模糊盲去除方法 |
| CN108765291A (zh) * | 2018-05-29 | 2018-11-06 | 天津大学 | 基于稠密神经网络和双参数损失函数的超分辨率重建方法 |
| CN108921786A (zh) * | 2018-06-14 | 2018-11-30 | 天津大学 | 基于残差卷积神经网络的图像超分辨率重构方法 |
| CN109064396A (zh) * | 2018-06-22 | 2018-12-21 | 东南大学 | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 |
| CN109146788A (zh) * | 2018-08-16 | 2019-01-04 | 广州视源电子科技股份有限公司 | 基于深度学习的超分辨率图像重建方法和装置 |
Non-Patent Citations (3)
| Title |
|---|
| HUIKAI WU ET AL: "Fast End-to-End Trainable Guided Filter", 《ARXIV》 * |
| LIGUO ZHOU ET AL: "Coarse-to-Fine Image Super-Resolution Using", 《MMM 2018，SPRINGER》 * |
| YANG WEN ET AL: "Deep Color Guided Coarse-to-Fine Convolutional", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110796106A (zh) * | 2019-11-04 | 2020-02-14 | 北京迈格威科技有限公司 | 人像质量评估模型建立和从视频中进行人像识别的方法 |
| CN111083359A (zh) * | 2019-12-06 | 2020-04-28 | Oppo广东移动通信有限公司 | 图像处理方法及其装置、电子设备和计算机可读存储介质 |
| CN110786834A (zh) * | 2019-12-09 | 2020-02-14 | 中电健康云科技有限公司 | 一种基于舌象特征和bmi指数的脂肪肝预测方法 |
| CN111325692B (zh) * | 2020-02-21 | 2023-06-13 | 厦门美图之家科技有限公司 | 画质增强方法、装置、电子设备和可读存储介质 |
| CN111325692A (zh) * | 2020-02-21 | 2020-06-23 | 厦门美图之家科技有限公司 | 画质增强方法、装置、电子设备和可读存储介质 |
| CN111476740A (zh) * | 2020-04-28 | 2020-07-31 | 北京大米未来科技有限公司 | 图像处理方法、装置、存储介质和电子设备 |
| CN111476740B (zh) * | 2020-04-28 | 2023-10-31 | 北京大米未来科技有限公司 | 图像处理方法、装置、存储介质和电子设备 |
| CN112200719A (zh) * | 2020-09-27 | 2021-01-08 | 咪咕视讯科技有限公司 | 图像处理方法、电子设备及可读存储介质 |
| CN112200719B (zh) * | 2020-09-27 | 2023-12-12 | 咪咕视讯科技有限公司 | 图像处理方法、电子设备及可读存储介质 |
| CN112435162A (zh) * | 2020-11-13 | 2021-03-02 | 中国科学院沈阳自动化研究所 | 一种基于复数域神经网络的太赫兹图像超分辨重建方法 |
| CN112508814B (zh) * | 2020-12-07 | 2022-05-20 | 重庆邮电大学 | 一种基于无人机低空视角下的图像色调修复型去雾增强方法 |
| CN112508814A (zh) * | 2020-12-07 | 2021-03-16 | 重庆邮电大学 | 一种基于无人机低空视角下的图像色调修复型去雾增强方法 |
| CN112862715A (zh) * | 2021-02-08 | 2021-05-28 | 天津大学 | 一种实时且可控的尺度空间滤波方法 |
| CN115150370A (zh) * | 2022-07-05 | 2022-10-04 | 广东魅视科技股份有限公司 | 一种图像处理的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109978764B (zh) | 2021-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109978764A (zh) | 一种图像处理方法及计算设备 | |
| CN110163827A (zh) | 图像去噪模型的训练方法、图像去噪方法、装置及介质 | |
| CN109584179A (zh) | 一种卷积神经网络模型生成方法及图像质量优化方法 | |
| CN109102483B (zh) | 图像增强模型训练方法、装置、电子设备及可读存储介质 | |
| CN109308679A (zh) | 一种图像风格转换方及装置、设备、存储介质 | |
| CN109360154A (zh) | 一种卷积神经网络生成方法及图像的超分辨率方法 | |
| CN107948529A (zh) | 图像处理方法及装置 | |
| CN110298346A (zh) | 基于可分割卷积网络的图像识别方法、装置及计算机设备 | |
| CN109816011A (zh) | 生成人像分割模型的方法和视频关键帧提取方法 | |
| CN109544482A (zh) | 一种卷积神经网络模型生成方法及图像增强方法 | |
| CN110853110B (zh) | 一种基于生成对抗网络的图片自动调色方法 | |
| CN107454284A (zh) | 一种视频去噪方法及计算设备 | |
| CN108648163A (zh) | 一种人脸图像的增强方法及计算设备 | |
| JP7504120B2 (ja) | 高分解能なリアルタイムでのアーティスティックスタイル転送パイプライン | |
| CN107424184B (zh) | 一种基于卷积神经网络的图像处理方法、装置及移动终端 | |
| CN109118490A (zh) | 一种图像分割网络生成方法及图像分割方法 | |
| CN109685750A (zh) | 图像增强方法及计算设备 | |
| CN111986075A (zh) | 一种目标边缘清晰化的风格迁移方法 | |
| CN110168572A (zh) | 信息处理方法、信息处理装置、计算机可读存储介质 | |
| CN110533594A (zh) | 模型训练方法、图像重建方法、存储介质及相关设备 | |
| CN107145902A (zh) | 一种基于卷积神经网络的图像处理方法、装置及移动终端 | |
| CN109345487A (zh) | 一种图像增强方法及计算设备 | |
| CN110689478B (zh) | 图像风格化处理方法、装置、电子设备及可读介质 | |
| CN109840912A (zh) | 一种图像中异常像素的修正方法及计算设备 | |
| CN109948627A (zh) | 一种图像处理方法及计算设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |