CN113012050B - 一种图像处理方法及装置 - Google Patents
一种图像处理方法及装置 Download PDFInfo
- Publication number
- CN113012050B CN113012050B CN201911312737.6A CN201911312737A CN113012050B CN 113012050 B CN113012050 B CN 113012050B CN 201911312737 A CN201911312737 A CN 201911312737A CN 113012050 B CN113012050 B CN 113012050B
- Authority
- CN
- China
- Prior art keywords
- module
- modules
- layer
- image
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims description 42
- 230000006870 function Effects 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 22
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000000872 buffer Substances 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008014 freezing Effects 0.000 description 2
- 238000007710 freezing Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- YMHOBZXQZVXHBM-UHFFFAOYSA-N 2,5-dimethoxy-4-bromophenethylamine Chemical compound COC1=CC(CCN)=C(OC)C=C1Br YMHOBZXQZVXHBM-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 235000009421 Myristica fragrans Nutrition 0.000 description 1
- 241000545067 Venus Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005184 irreversible process Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000001115 mace Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明适用于图像处理技术领域，提供了一种图像处理方法及装置，包括：获取待处理的目标图像；将目标图像输入到训练好的U_Net模型中进行处理以得到相应的输出图像：其中，U_Net模型中设置有多个下采样模块和多个残差模块，下采样模块和所述残差模块用于提取目标图像的高层特征。
Description
技术领域
本发明属于图像处理领域，尤其涉及一种图像处理方法及装置。
背景技术
终端设备在拍摄图像的过程中，由于拍摄物体的运动或者相机的失焦，导致拍摄出来的图片产生模糊现象。鉴于这些拍摄的瞬间大多是不可逆的过程，因而由模糊图像恢复出清晰图像在视觉任务中一直是一个巨大的挑战。
目前的图像去模糊方法主要基于模糊核估计实现。例如采用反卷积，维纳尔滤波等方法估计模糊核，或者是采用卷积神经网络（Convolutional Neural Network, CNN）合成模糊核。然后基于该模糊核对模糊图像进行卷积操作，得到清晰图像。然而图像在拍摄过程中，一张图像不同位置的模糊现象可能是由于不同的原因造成的，因此实际的模糊核往往是空间不均匀的。因此，估计的模糊核一般存在不准确的问题，从而导致图像去模糊过程的鲁棒性较差。
发明内容
有鉴于此，本发明实施例提供了一种图像处理方法及装置，以解决现有技术中图像去模糊过程的鲁棒性较差的问题。
本发明实施例的第一方面提供了一种图像处理方法，包括：获取待处理的目标图像；将目标图像输入到训练好的U_Net模型中进行处理以得到相应的输出图像：其中，U_Net模型中设置有多个下采样模块和多个残差模块，下采样模块和残差模块用于提取目标图像的高层特征。
基于本申请提供的图像处理方法，在对目标图像进行去模糊时，无需进行模糊核估计，通过U_Net模型处理目标图像，能够保证所得到的输出图像的清晰度和细节，从而提升图像去模糊过程的鲁棒性。
在一个可能的实例中，将目标图像输入到训练好的U_Net模型中进行处理，包括：将目标图像按照U_Net模型指定的输入尺寸输入U_Net模型进行处理。
本发明实施例的第二方面提供了一种图像处理装置，包括：获取单元和处理单元；获取单元，用于获取待处理的目标图像；处理单元，用于将目标图像输入到训练好的U_Net模型中进行处理以得到相应的输出图像：其中，U_Net模型中设置有多个下采样模块和多个残差模块，下采样模块和残差模块用于提取目标图像的高层特征。
基于本申请提供的图像处理装置，通过U_Net模型处理目标图像，保证所得到的输出图像的清晰度和细节，无需进行模糊核估计，从而提升图像去模糊过程的鲁棒性。
基于上述第一方面或第二方面，在一个可能的实例中，多个残差模块包括第一残差模块和第二残差模块，U_Net模型包括编码模块和解码模块，编码模块中的每个编码层中设置有一个下采样模块，且每个编码层的输出端设置有一个第一残差模块；解码模块中的每个解码层的输入端设置有一个第二残差模块；编码模块中的每个第一残差模块与编码模块中对应的第二残差模块之间设置有跳跃连接。
在该可能的实例中，通过在残差模块之间设置跳跃连接，能够加快U_Net模型的运算速度。
在一个可能的实例中，多个残差模块中的每个残差模块包括串联的输入卷积层、激活函数、输出卷积层。
在一个可能的实例中，多个下采样模块中的每个下采样模块包括并联的第一模块和第二模块，第一模块的输出和第二模块的输出经过相加后作为下采样模块的输出；其中，第一模块包括卷积层和激活函数，第二模块包括最大池化层。
在一个可能的实例中，第一模块中的卷积层的卷积核尺寸为5*5，卷积步长为2。
在一个可能的实例中，U_Net模型基于双目去模糊数据集训练所得。
在该可能的实例中，能够保证训练好的U_Net模型的泛化能力和鲁棒性。
本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如第一方面或第一方面的任一可能的实现方式所述的图像处理方法。
本发明实施例的第四方面提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现如第一方面或第一方面的任一可能的实现方式所述的图像处理方法。
本发明实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面或第一方面的任一可能的实现方式所述的图像处理方法。
可以理解的是，上述第三方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种U_Net模型的网络架构示意图；
图2是本发明实施例提供的一种残差模块的结构示意图；
图3是本发明实施例提供的一种下采样模块的结构示意图；
图4是本发明实施例提供的一种U_Net模型的训练方法的实现流程示意图；
图5是本发明实施例提供的一种图像处理方法的实现流程示意图；
图6是本发明实施例提供的一种图像处理对比示意图的示例图一；
图7是本发明实施例提供的一种图像处理对比示意图的示例图一；
图8是本发明实施例提供的一种图像处理装置的结构示意图；
图9是本发明实施例提供的手机的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
本申请提供的图像处理方法，基于本申请提供的一种改进的U型网络（U_Net）模型实现。U_Net模型是一种基于编码-解码神经网络架构的卷积神经网络，一般包括编码模块和解码模块。编码模块为该U_Net模型的压缩通道（Contracting Path），用于逐层提取特征图（feature map），解码模块为该U_Net模型的扩展通道（Expansive Path），用于还原特征图的位置信息。
本申请提供的U_Net模型中设置有多个下采样模块（bi_block）和多个残差模块（Res_block）。下采样模块残差模块均用于提取待处理的目标图像的高层特征。使用该U_Net模块处理目标图像，能够保证所得到的输出图像的清晰度和细节，而无需进行模糊核估计，从而提升图像去模糊过程的鲁棒性。
在本申请中，下采样模块可以设置在U_Net模型的编码模块中，用以提高编码模块提取高层特征的效率。例如，在编码模块中的每个编码层中设置一个下采样模块。
残差模块可以设置在编码模块和解码模块。为了便于区域，我们将设置在编码模块中的残差模块称为第一残差模块，将设置在解码模块中的残差模块称为第二模块。编码模块中的每个编码层的输出端设置有一个第一残差模块，解码模块中的每个解码层的输入端设置有一个第二残差模块。编码模块与解码模块之间的跳跃连接（skip connection）设置在第一残差模块与第二残差模块之间。即编码模块中的每个第一残差模块与编码模块中对应的第二残差模块之间设置有跳跃连接。
示例性的，本申请提供的U_Net模型的网络架构可以如图1所示，包括编码模块、中间层和解码模块。其中，按照图1所示的箭头指向，编码模块包括编码层1（同时为U_Net模型的输入层）、编码层2、编码层3以及编码层4。解码模块包括解码层1、解码层2、解码层3、解码层4以及输出层。
示例性的，如图1所示，每个编码层包括一个下采样模块和一个Conv2d。其中，编码层1中的Conv2d的卷积步长s=1，卷积核尺寸为7*7。编码层2、编码层3以及编码层4中的Conv2d的卷积步长s=1，卷积核尺寸为5*5。即每个编码层先对输入的图像执行Conv2d操作，在基于下采样模块的算法进行一个高特特征提取，得到特征图后输出该编码层。
每个编码层的输出端设置有一个第一残差模块。即编码层1输出的特征图输入到一个第一残差模块中，经过第一残差模块的处理后，进入编码层2中，进行下一层的编码处理。依次类推，编码层2、编码层3以及编码层4的输出端均设置有一个残差模块，编码层4的输出端与中间层的输入端之间设置有一个第一残差模块。
示例性的，中间层用于分离编码模块和解码模块，中间层可以包括一个卷积步长s=1，卷积核尺寸为3*3的Conv2d。每个解码层可以包括卷积步长s=2，卷积核尺寸为5*5的二维反卷积（Conv2d_transpose）。
每个解码层的输入端设置有一个第二残差模块。即中间层的输出端与解码层1的输入端之间设置有一个第二残差模块。即中间层输出的特征图，输入到第二残差模块后，经过第二残差模块的处理后，进入解码层1中进行反卷积处理。解码层1输出的特征图经过一个第二残差模块的处理后，进入到解码层2中进行下一步的反卷积处理。以此类推，解码层3和解码层4的输入端均设置有一个第二残差模块。
编码模块与解码模块之间的跳跃连接，用于编码层的输出的特征图的细节信息，传递到对应的解码层，为解码层在反卷积处理时，提供特征图像的原始输入信息，以便于解码层补偿对应特征图像的细节信息，从而在去燥的同时保留图像内容。
如图1所示，编码层1与输出层之前设置有一个跳跃连接，用于编码层1将未处理过的原始图像传输到输出层。输出层可以包括卷积步长s=1，卷积核尺寸为5*5的Conv2d，和一个激活函数（sigmoid），输出层输出的即为经过处理的输出图像。编码层1和解码层4相对应，因此编码层1的输出端连接的第一残差模块和解码层4的输入端的第二残差模块之间设置有跳跃连接。依次类推，编码层2和解码层3相对应，因此编码层2的输出端连接的第一残差模块和解码层3的输入端的第二残差模块之间设置有跳跃连接；编码层3和解码层2相对应，因此编码层3的输出端连接的第一残差模块和解码层2的输入端的第二残差模块之间设置有跳跃连接；编码层4和解码层1相对应，因此编码层4的输出端连接的第一残差模块和解码层1的输入端的第二残差模块之间设置有跳跃连接。
其中，相对应的编码层的通道数n相同，通过跳跃链接的第一残差模块和第二残差模块也相同。
在一个实施例中，本申请提供的残差模块可以包括串联的输入卷积层、激活函数、输出卷积层。示例性的，残差模块的结构示意图可以如图2所示，输入卷积层和输出卷积层可以为一个二维卷积层（Conv2d）。激活函数为带泄露修正线性单元（Leakly RectifiedLinear Units，Leakly RELU）。
在一个实施例中，下采样模块可以包括并联的第一模块和第二模块，第一模块的输出和第二模块的输出经过相加后作为下采样模块的输出；其中，第一模块包括卷积层和激活函数，第二模块包括最大池化层（maxpooling）。
示例性的，bi_block的结构示意图可以如图3所述，第一模块中的卷积层可以是一个一维卷积层（Conv），卷积核尺寸为5*5，卷积步长为2。第二模块中的最大池化层的步长为2。激活函数为Leakly RELU。
本申请提供的U_Net模型可以基于具有庞大数据对的数据集进行训练。例如，双目去模糊数据集。双目去模糊数据集拥有至少20637对数据对（即图片对），通过双目去模糊数据集训练U_Net模型，能够保证训练好的U_Net模型的泛化能力和鲁棒性。
参见4所示，为本申请提供的U_Net网络的训练方法的实施例，该方法包括：
步骤401，对数据集的预处理。
例如，包括对数据集中的每一张图片进行归一化处理，然后将图片随机裁剪为预设的大小作为输入图片。例如可以裁剪为256*256大小的图片。
步骤402，将数据集输入初始U_Net模型中进行训练，直至U_Net模型收敛，得到U_Net模型收敛后的模型参数。
其中，初始U_Net模型中的各项模型参数（例如U_Net模型中涉及到的激活函数、各个层的权重等）为初始化参数，例如，采用Xavier初始化方式设置初始U_Net模型中的各项参数。
在训练U_Net模型时，可以基于实际需求选择训练平台以及训练方式，更新U_Net模型中的各项模型参数。例如选择在GTX1080TI平台上，按照2e-4（表示2乘以10的-4次方）的初始化学习速率、Adam优化方式、多项式衰减方式的学习率，完成3000次迭代（epoch）训练，每次迭代的批尺寸（batchsize）大小为32。
训练过程中使用的损失函数可以由最小均方误差函数/>（L2损失函数）和感知函数/>得到。
例如，最小均方误差函数为：/>
其中，C表示通道数，H表示图像高度，W表示图像宽度，k表示第k个，I表示整个数据集，表示真实值，/>表示预测输出值。
感知函数为：/>
示例性的，训练过程采用VGG-19预训练模型，包括15个3*3的conv。那么，在感知函数中，j表示表示第j层卷积所抽取的特征、表示特征的预测输出值，/>表示特征的真实值。
损失函数为：/>
其中，。
使用最小均方误差函数和感知函数得到损失函数，在检测到U_Net模型收敛后，能够有效的保证U_Net模型的输出图像的清晰度与细节。
步骤403，对收敛后的模型参数进行调优。
例如，可以基于GoPro的1111对测试集，采用L1损失函数结合多尺度结构相似度（multi-scale structural similarity，MS_SSIM）对收敛后的模型参数进行微调，完成U_Net模型的模型参数的训练，从而得到训练好的U_Net模型。
步骤404，将训练好的U_Net模型的模型参数冻结，得到协议缓冲区（ProtocolBuffers，PB）文件。
训练好的U_Net模型即为可以实现图像处理的U_Net模型。将训练好的U_Net模型的模型参数冻结，并确定该训练好的U_Net模型的输入尺寸，得到终端设备可以使用的PB文件格式。例如，训练好的U_Net模型的输入尺寸可以设置为1280*720等。终端设备可以通过PB文件直接调用训练好的U_Net模型。
其中，U_Net模型的训练过程可以由终端设备自主完成。也可以是在其他设备（例如，其他终端设备或者服务器上）完成。若在其他设备上执行该训练过程，那么在得到U_Net模型的PB文件后，可以将PB文件移植到终端设备上。例如，通过MACE框架移植。
基于训练好的U_Net模型，本申请提供一种图像处理方法，如图5所示，该方法还包括：
步骤501，终端设备获取待处理的目标图像。
例如，该待处理的目标图像可以是终端设备拍摄所得，也可以是终端设备从网络或者其他设备获取到的目标图像。
步骤502，终端设备将将目标图像输入到训练好的U_Net模型中进行处理以得到相应的输出图像。
在一个示例中，终端设备可以按照U_Net模型指定的输入尺寸输入目标图像。例如，训练好的U_Net模型在做参数冻结时，指定的输入尺寸为1280*720。终端设备可以将目标图像按照1280*720的分辨率输入U_Net模型中，经过U_Net模型的处理，得到该目标图像对应的分辨率为1280*720的输出图像。
其中，在图像去模糊过程中，该目标图像即为模糊图像，输出图像即为采用U_Net模型进行去模糊处理后的清晰图像。
示例性的，以图6（a）所示的目标图像为例，经过本申请提供的U_Net模型处理后，对应的输出图像如图6（b）所示。以图7（a）所示的目标图像为例，经过本申请提供的U_Net模型处理后，对应的输出图像如图7（b）所示。
基于上述图6和图7所示的图像处理对比示意图，可以看出，采用本申请图像处理方法，能够使用该U_Net模块处理目标图像，无需进行模糊核估计，通过U_Net模块处理目标图像能够保证所得到的输出图像的清晰度和细节，提升图像去模糊过程的鲁棒性。
值得说明的是，在实践该U_Net模型处理目标图像的过程中，终端设备可以在2.5秒内完成目标图像的处理，得到分辨率1280*720的输出图像。因此，相比与现有技术中至少在6秒的处理时间，采用本申请提供的图像处理方法，同时也能大大降低终端设备处理目标图像的时间，提高了图像处理的效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
对应于上文实施例所述的图像处理方法，图8示出了本申请实施例提供的图像处理装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图8，该图像处理装置包括处理单元801和获取单元802。
所述获取单元801，用于获取待处理的目标图像。
所述处理单元802，用于将所述目标图像输入到训练好的U_Net模型中进行处理以得到相应的输出图像。
其中，关于U_Net模型的描述可以参见上述实施例中针对U_Net模型的描述，包括图1-4所示的实施例，此处不再显示。
该图像处理装置可以是终端设备，也可以是终端设备中的芯片。该获取单元801和处理单元802可以为终端设备中的处理器，或者终端设备中的芯片的处理器。
可选的，所述处理单元802，具体用于将目标图像按照U_Net模型指定的输入尺寸输入U_Net模型进行处理以得到相应的输出图像。
基于本申请提供的图像处理装置，通过U_Net模型处理目标图像，保证所得到的输出图像的清晰度和细节，无需进行模糊核估计，从而提升图像去模糊过程的鲁棒性。
本申请提供的图像处理方法，应用于终端设备，该终端设备可以是平板电脑、笔记本电脑、智能手机、个人数字处理(Personal Digital Assistant，PDA)设备、具有拍摄功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、车联网终端、电脑、膝上型计算机、手持式通信设备、手持式计算设备、卫星无线设备等。
作为示例而非限定，当所述终端设备为可穿戴设备时，该可穿戴设备还可以是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称，如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上，或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备，更是通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智能设备包括功能全、尺寸大、可不依赖智能手机实现完整或者部分的功能，如智能手表或智能眼镜等，以及只专注于某一类应用功能，需要和其它设备如智能手机配合使用，如各类进行体征监测的智能手环、智能首饰等。
以所述终端设备为手机为例。图9示出的是与本申请实施例提供的手机的部分结构的框图。参考图9，手机包括：通信单元901、存储器902、输入单元903、显示单元904、处理器905、以及摄像头906等部件。本领域技术人员可以理解，图9中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
其中，通信单元901用于处理器905的控制下实现信号的接收和发送。该通信单元901可以包括RF电路。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、LNA（low noise amplifier，低噪声放大器）、双工器等。此外，RF电路还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于GSM(global system of mobile communication，全球移动通讯系统)、GPRS(general packetradio service，通用分组无线服务)、CDMA(code division multiple access，码分多址)、WCDMA(wideband code division multiple access, 宽带码分多址)、LTE(long termevolution,长期演进)、电子邮件、SMS(short messaging service，短消息服务)、短距离通信技术（例如WiFi通信）等。
存储器902可用于存储软件程序以及模块，处理器905通过运行存储在存储器902的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器902可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如图像数据等）等。存储器902可以包括如下至少一种类型：只读存储器（read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器（random accessmemory，RAM) 或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器（Electrically erasable programmabler-only memory，EEPROM）等但不限于此。
输入单元903可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元903可包括触控面板903a以及其他输入设备903b。触控面板903a，也称为触摸屏，可收集用户在其上或附近的触摸操作（比如用户使用手指、触笔等任何适合的物体或附件在触控面板903a上或在触控面板903a附近的操作），并根据预先设定的程式驱动相应的连接装置。可选的，触控面板903a可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器905，并能接收处理器905发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板903a。除了触控面板903a，输入单元903还可以包括其他输入设备903b。具体地，其他输入设备903b可以包括但不限于物理键盘、功能键（比如音量控制按键、开关按键等）、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元904可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元904可包括显示面板904a，可选的，可以采用液晶显示器（Liquid CrystalDisplay，LCD）、有机发光二极管（Organic Light-Emitting Diode, OLED）等形式来配置显示面板904a。进一步的，触控面板131可覆盖显示面板904a，当触控面板903a检测到在其上或附近的触摸操作后，传送给处理器905以确定触摸事件的类型，随后处理器905根据触摸事件的类型在显示面板904a上提供相应的视觉输出。
处理器905是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器901内的软件程序和/或模块，以及调用存储在存储器901内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器905可包括如下至少一种类型：通用中央处理器（Central Processing Unit，CPU）、数字信号处理器（Digital Signal Processor，DSP）、微处理器、特定应用集成电路专用集成电路（Application-Specific Integrated Circuit，ASIC)、微控制器（Microcontroller Unit，MCU）、现场可编程门阵列（Field Programmable Gate Array，FPGA）、或者用于实现逻辑运算的集成电路。例如，处理器905可以是一个单核（single-CPU）处理器或多核（multi-CPU）处理器。至少一个处理器905可以是集成在一个芯片中或位于多个不同的芯片上。
摄像头906用于支持手机拍摄图像。可选地，摄像头906在手机上的位置可以为前置的，也可以为后置的，本申请实施例对此不作限定。
可选地，该手机可以包括单摄像头、双摄像头或三摄像头等，本申请实施例对此不作限定。例如，该手机包括三摄像头，其中，一个为主摄像头、一个为广角摄像头、一个为长焦摄像头。
可选地，当该手机包括多个摄像头时，这多个摄像头可以全部前置，或者全部后置，或者一部分前置、另一部分后置，本申请实施例对此不作限定。
另外，尽管未示出，手机还可以包括电源、定位模块、传感器系统等、音频系统、，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (8)
1.一种图像处理方法，其特征在于，包括：
获取待处理的目标图像；
将所述目标图像输入到训练好的U_Net模型中进行处理以得到相应的输出图像，其中，所述U_Net模型中设置有多个下采样模块和多个残差模块，所述下采样模块和所述残差模块用于提取所述目标图像的高层特征；
所述多个残差模块包括第一残差模块和第二残差模块，所述U_Net模型包括编码模块和解码模块，所述编码模块中的每个编码层中设置有一个所述下采样模块，且每个所述编码层的输出端设置有一个所述第一残差模块；所述解码模块中的每个解码层的输入端设置有一个所述第二残差模块；所述编码模块中的每个所述第一残差模块与所述解码模块中对应的第二残差模块之间设置有跳跃连接，所述跳跃连接用于将编码层的输出的特征图的细节信息传递到对应的解码层，为解码层在反卷积处理时，提供特征图像的原始输入信息；
所述多个下采样模块中的每个下采样模块包括并联的第一模块和第二模块，所述第一模块的输出和所述第二模块的输出经过相加后作为所述下采样模块的输出；其中，所述第一模块包括卷积层和激活函数，所述第二模块包括最大池化层。
2.根据权利要求1所述的方法，其特征在于，所述多个残差模块中的每个残差模块包括串联的输入卷积层、激活函数、输出卷积层。
3.根据权利要求1所述的方法，其特征在于，所述第一模块中的所述卷积层的卷积核尺寸为5*5，卷积步长为2。
4.根据权利要求1所述的方法，其特征在于，所述将所述目标图像输入到训练好的U_Net模型中进行处理以得到相应的输出图像，包括：
将所述目标图像按照所述U_Net模型指定的输入尺寸输入所述U_Net模型进行处理以得到相应的输出图像。
5.根据权利要求1所述的方法，其特征在于，所述U_Net模型基于双目去模糊数据集训练所得。
6.一种图像处理装置，其特征在于，包括：获取单元和处理单元；
所述获取单元，用于获取待处理的目标图像；
所述处理单元，用于将所述目标图像输入到训练好的U_Net模型中进行处理以得到相应的输出图像：
其中，所述U_Net模型中设置有多个下采样模块和多个残差模块，所述下采样模块和所述残差模块用于提取所述目标图像的高层特征；
所述多个残差模块包括第一残差模块和第二残差模块，所述U_Net模型包括编码模块和解码模块，所述编码模块中的每个编码层中设置有一个所述下采样模块，且每个所述编码层的输出端设置有一个所述第一残差模块；所述解码模块中的每个解码层的输入端设置有一个所述第二残差模块；所述编码模块中的每个所述第一残差模块与所述解码模块中对应的第二残差模块之间设置有跳跃连接，所述跳跃连接用于将编码层的输出的特征图的细节信息传递到对应的解码层，为解码层在反卷积处理时，提供特征图像的原始输入信息；
所述多个下采样模块中的每个下采样模块包括并联的第一模块和第二模块，所述第一模块的输出和所述第二模块的输出经过相加后作为所述下采样模块的输出；其中，所述第一模块包括卷积层和激活函数，所述第二模块包括最大池化层。
7.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的方法。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911312737.6A CN113012050B (zh) | 2019-12-18 | 2019-12-18 | 一种图像处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911312737.6A CN113012050B (zh) | 2019-12-18 | 2019-12-18 | 一种图像处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113012050A CN113012050A (zh) | 2021-06-22 |
| CN113012050B true CN113012050B (zh) | 2024-05-24 |
Family
ID=76382480
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911312737.6A Active CN113012050B (zh) | 2019-12-18 | 2019-12-18 | 一种图像处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113012050B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114119428B (zh) * | 2022-01-29 | 2022-09-23 | 深圳比特微电子科技有限公司 | 一种图像去模糊方法和装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108550125A (zh) * | 2018-04-17 | 2018-09-18 | 南京大学 | 一种基于深度学习的光学畸变修正方法 |
| CN108648172A (zh) * | 2018-03-30 | 2018-10-12 | 四川元匠科技有限公司 | 一种基于3D-Unet的CT图肺结节检测系统 |
| CN108734667A (zh) * | 2017-04-14 | 2018-11-02 | Tcl集团股份有限公司 | 一种图像处理方法及系统 |
| CN109754361A (zh) * | 2017-11-02 | 2019-05-14 | 西门子保健有限责任公司 | 3d各向异性的混合网络：将来自2d图像的卷积特征传递到3d各向异性体积 |
| CN109840471A (zh) * | 2018-12-14 | 2019-06-04 | 天津大学 | 一种基于改进Unet网络模型的可行道路分割方法 |
| KR20190080388A (ko) * | 2017-12-28 | 2019-07-08 | 포항공과대학교 산학협력단 | Cnn을 이용한 영상 수평 보정 방법 및 레지듀얼 네트워크 구조 |
| CN110097519A (zh) * | 2019-04-28 | 2019-08-06 | 暨南大学 | 基于深度学习的双监督图像去雾方法、系统、介质和设备 |
| CN110151181A (zh) * | 2019-04-16 | 2019-08-23 | 杭州电子科技大学 | 基于递归残差u型网络的快速磁共振成像方法 |
| CN110221346A (zh) * | 2019-07-08 | 2019-09-10 | 西南石油大学 | 一种基于残差块全卷积神经网络的数据噪声压制方法 |
| KR20190131205A (ko) * | 2018-05-16 | 2019-11-26 | 한국과학기술원 | 슈퍼 레졸루션(Super Resolution) 네트워크 처리방법 및 시스템 |
-
2019
- 2019-12-18 CN CN201911312737.6A patent/CN113012050B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108734667A (zh) * | 2017-04-14 | 2018-11-02 | Tcl集团股份有限公司 | 一种图像处理方法及系统 |
| CN109754361A (zh) * | 2017-11-02 | 2019-05-14 | 西门子保健有限责任公司 | 3d各向异性的混合网络：将来自2d图像的卷积特征传递到3d各向异性体积 |
| KR20190080388A (ko) * | 2017-12-28 | 2019-07-08 | 포항공과대학교 산학협력단 | Cnn을 이용한 영상 수평 보정 방법 및 레지듀얼 네트워크 구조 |
| CN108648172A (zh) * | 2018-03-30 | 2018-10-12 | 四川元匠科技有限公司 | 一种基于3D-Unet的CT图肺结节检测系统 |
| CN108550125A (zh) * | 2018-04-17 | 2018-09-18 | 南京大学 | 一种基于深度学习的光学畸变修正方法 |
| KR20190131205A (ko) * | 2018-05-16 | 2019-11-26 | 한국과학기술원 | 슈퍼 레졸루션(Super Resolution) 네트워크 처리방법 및 시스템 |
| CN109840471A (zh) * | 2018-12-14 | 2019-06-04 | 天津大学 | 一种基于改进Unet网络模型的可行道路分割方法 |
| CN110151181A (zh) * | 2019-04-16 | 2019-08-23 | 杭州电子科技大学 | 基于递归残差u型网络的快速磁共振成像方法 |
| CN110097519A (zh) * | 2019-04-28 | 2019-08-06 | 暨南大学 | 基于深度学习的双监督图像去雾方法、系统、介质和设备 |
| CN110221346A (zh) * | 2019-07-08 | 2019-09-10 | 西南石油大学 | 一种基于残差块全卷积神经网络的数据噪声压制方法 |
Non-Patent Citations (2)
| Title |
|---|
| DRUNET: A Dilated-Residual U-Net Deep Learning Network to Digitally Stain Optic Nerve Head Tissues in Optical Coherence Tomography Images;Sripad Krishna Devalla;《arXiv》;20180302;1-19 * |
| 条件生成对抗网络的低照度图像增强方法;陶海军 等;中国图象图形学报(第12期);97-106 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113012050A (zh) | 2021-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110058694B (zh) | 视线追踪模型训练的方法、视线追踪的方法及装置 | |
| CN110321965B (zh) | 物体重识别模型的训练方法、物体重识别的方法及装置 | |
| US11620756B2 (en) | Target object tracking method and apparatus, and terminal device | |
| CN113132618B (zh) | 辅助拍照方法、装置、终端设备及存储介质 | |
| CN111027528B (zh) | 语种识别方法、装置、终端设备及计算机可读存储介质 | |
| CN111582116B (zh) | 一种视频抹除痕迹检测方法、装置、设备和存储介质 | |
| CN107909583B (zh) | 一种图像处理方法、装置及终端 | |
| CN110852951B (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
| CN111612093A (zh) | 一种视频分类方法、视频分类装置、电子设备及存储介质 | |
| WO2018113512A1 (zh) | 图像处理方法以及相关装置 | |
| EP2890105B1 (en) | Method, apparatus and terminal for generating thumbnail of image | |
| CN107451446A (zh) | 解锁控制方法及相关产品 | |
| CN111209812A (zh) | 目标人脸图片提取方法、装置及终端设备 | |
| CN109145809A (zh) | 一种记谱处理方法和装置以及计算机可读存储介质 | |
| CN113507558B (zh) | 去除图像眩光的方法、装置、终端设备和存储介质 | |
| CN110334124A (zh) | 压缩算法选择方法、装置以及设备 | |
| CN112184548A (zh) | 图像超分辨率方法、装置、设备及存储介质 | |
| CN113012050B (zh) | 一种图像处理方法及装置 | |
| CN112291475A (zh) | 拍照方法、装置及电子设备 | |
| CN110363702B (zh) | 图像处理方法及相关产品 | |
| CN111191606A (zh) | 图像处理方法及相关产品 | |
| CN110796147A (zh) | 图像分割方法及相关产品 | |
| CN111062258B (zh) | 文本区域识别方法、装置、终端设备及可读存储介质 | |
| CN110443852B (zh) | 一种图像定位的方法及相关装置 | |
| CN113421211A (zh) | 光斑虚化的方法、终端设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |