CN112085652A - 一种图像处理的方法、装置、计算机存储介质及终端 - Google Patents
一种图像处理的方法、装置、计算机存储介质及终端 Download PDFInfo
- Publication number
- CN112085652A CN112085652A CN201910516867.5A CN201910516867A CN112085652A CN 112085652 A CN112085652 A CN 112085652A CN 201910516867 A CN201910516867 A CN 201910516867A CN 112085652 A CN112085652 A CN 112085652A
- Authority
- CN
- China
- Prior art keywords
- feature extraction
- convolution kernel
- convolution
- convolution kernels
- sparsity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 8
- 238000000605 extraction Methods 0.000 claims abstract description 50
- 230000006870 function Effects 0.000 claims abstract description 44
- 238000013528 artificial neural network Methods 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 68
- 230000001133 acceleration Effects 0.000 claims description 11
- 239000000126 substance Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 230000008447 perception Effects 0.000 abstract description 14
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000007499 fusion processing Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2136—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种图像处理的方法、装置、计算机存储介质及终端，包括：确定用于特征提取的两种或两种以上尺寸的卷积核；对确定的用于特征提取的卷积核，通过预设的目标函数进行稀疏度约束；基于稀疏度约束的卷积核进行图像的特征提取。本发明实施例基于两种或两种以上卷积核，在降低神经网络训练难度和网络算力的情况下，实现了感知野扩充。
Description
技术领域
本文涉及但不限于计算机视觉技术，尤指一种图像处理的方法、装置、计算机存储介质及终端。
背景技术
相比较于目标检测与识别，超分辨率(Super-Resolution)方法一般被认为是计算机视觉的底层技术。理想的超分辨率方法可以在不引入锯齿等负面因素的情况下，有效地“放大”目标的特征。高分辨率图像经过模糊核或者降采样因子处理为低分辨率图像时，一般都会发生信息损失，如何恢复损失的信息是超分辨率方法的核心内容。
目前，超分辨率方法从实现上可以分为三类：基于像素位置信息的方法，基于邻域统计特性的方法和基于神经网络的方法。基于像素位置信息的方法通过构建统一的滤波器实现对待插值像素的信息恢复，获取的结果通常伴随图像细节的损失，交叉点附近出现圆斑等负面效应。基于邻域统计特性的方法通常分为统计特性分析及重构两部分，这种方法可以恢复图像的细节，但性能依赖于字典(由原子整体构成的集合)的表达能力。受益于深度学习的快速发展，神经网络在超分辨率方法中得到了广泛的关注。Dong等人于2014年在欧洲计算机视觉会议(ECCV)上发表了超分辨率卷积神经网络(SRCNN)方法，通过利用五层网络实现对待处理图像的特征提取、非线性映射以及重构过程。SRCNN与稀疏重构在原理上具有相似性，为采用神经网络实现超分辨率重建奠定了理论基础。在SRCNN之后，更多基于神经网络的超分辨率方法开始涌现，如深度超分辨率网络(VDSR)、增强深度超分辨率网络(EDSR)、WDSR(有更宽特征的EDSR)和残留信道关注网络(RCAN)等；其中，VDSR采用残差神经网络(ResNet)结构，更深的网络结构提供了更大的感知野，而感知野对超分辨率方法具有重要的意义，通过加深网络层数可以提升图像的重建效果；后续基于神经网络的超分辨率方法均采用了比SRCNN更深的网络结构，深层的网络结构虽然提升了效果，但是也引入了网络算力负担，限制了基于神经网络的超分辨率方法的应用。EDSR移除了批归一化(BN)层残差块(ResBlock)的处理，从结构上实现了与高级机器视觉任务的分流。后续的超分辨率方法架构均不再采用BN层。WDSR则通过拼接两个漏斗的方式拓展了信息的有效流通。RCAN网络通过引入通道间差异化处理机制，实现对相同卷积层的区别对待，增加有效信息的权重，达到提升效果的目的。基于神经网络的超分辨率方法在采用更复杂的模型的同时，通过吸收其他应用中的改进实现了性能的提升。
上述基于神经网络的超分辨率方法，存在感知野扩充问题。采用大尺寸的卷积核进行感知野扩充，除了会导致参数平方级的增加，还存在网络算力要求高的问题。鉴于上述问题，相关技术一般采用小尺寸卷积核(当前普遍采用3×3的卷积核)进行感知野扩充，主要采用叠加多层卷积核的方式实现。虽然采用小尺寸卷积可以进行感知野扩充，但多层卷积核方式增大了神经网络训练的难度。此外，采用小尺寸卷积核的超分辨率方法仍存在需要较高网络算力的问题，这一缺陷限制了该类型超分辨率方法的应用。综上，如何实现感知野的扩充，成为基于神经网络的超分辨率方法一个待解决的问题。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本发明实施例提供一种图像处理的方法、装置、计算机存储介质及终端，能够解决基于神经网络的超分辨率方法的感知野扩充的问题。
本发明实施例提供了一种图像处理的方法，包括：
确定用于特征提取的两种或两种以上尺寸的卷积核；
对确定的用于特征提取的卷积核，通过预设的目标函数进行稀疏度约束；
基于稀疏度约束的卷积核进行图像的特征提取。
在一种示例性实施例中，所述确定用于特征提取的两种或两种以上尺寸的卷积核包括：
按照预设的尺寸选择策略，确定所述用于特征提取的卷积核的尺寸；
确定所述用于特征提取的卷积核的尺寸后，按照预设的分配策略确定每一种尺寸卷积核的个数；
所述用于特征提取的卷积核的尺寸包括以下尺寸中的两种或两种以上：3×3、5×5、7×7和9×9。
在一种示例性实施例中，所述按照预设的分配策略确定每一种尺寸的卷积核的个数包括：
按照等比例分配的策略，确定每一种尺寸卷积核的个数；或，
以尺度因子作为分配依据，确定每一种尺寸卷积核的个数；
其中，以尺度因子作为分配依据包括：尺度因子越大，用于特征提取的尺寸越小的卷积核所占比例越大。
在一种示例性实施例中，所述目标函数包括：
基于范数确定神经网络输出结果与真实背景满足预设条件时，通过稀疏度函数对各网络层卷积核对应通道下的稀疏度进行约束的函数。
在一种示例性实施例中，所述目标函数包括：
其中，所述Y表示真实背景GT，W(x)表示神经网络输出结果，Wi，j表示第i层第j个卷积核的元素，||·||0表示零范数，即非零元的个数；ki，j表示第i层第j个卷积核对应通道下的稀疏度；
表示在满足约束B的条件下，求取表达式A的最小值。
在一种示例性实施例中，所述方法还包括：通过以下方法之一对所述目标函数进行训练：
分离变量法、随机梯度下降法。
在一种示例性实施例中，所述基于稀疏度约束的卷积核进行图像的特征提取包括：
将通过所述目标函数完成稀疏度约束的卷积核部署到运行神经网络的加速平台或加速器上；
通过部署在所述加速平台或所述加速器上的卷积核，进行图像的特征提取。
再一方面，本发明实施例还提供一种图像处理的装置，包括：确定单元、约束单元和处理单元；其中，
确定单元配置为：确定用于特征提取的两种或两种以上尺寸的卷积核；
约束单元配置为：对确定的用于特征提取的卷积核，通过预设的目标函数进行稀疏度约束；
处理单元配置为：基于稀疏度约束的卷积核进行图像的特征提取。
再一方面，本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行上述图像处理的方法。
还一方面，本发明实施例还提供一种终端，包括：存储器和处理器；其中，
处理器被配置为执行存储器中的程序指令；
程序指令在处理器读取执行上述图像处理的方法。
与相关技术相比，本申请技术方案包括：确定用于特征提取的两种或两种以上尺寸的卷积核；对确定的用于特征提取的卷积核，通过预设的目标函数进行稀疏度约束；基于稀疏度约束的卷积核进行图像的特征提取。本发明实施例基于两种或两种以上卷积核，在降低神经网络训练难度和网络算力的情况下，实现了感知野扩充，为基于神经网络的超分辨率方法的进一步应用提供了技术支持。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明实施例图像处理的方法的流程图；
图2为本发明实施例图像处理的装置的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1为本发明实施例图像处理的方法的流程图，如图1所示，包括：
步骤101、确定用于特征提取的两种或两种以上尺寸的卷积核；
在一种示例性实施例中，所述确定用于特征提取的两种或两种以上尺寸的卷积核包括：
按照预设的尺寸选择策略，确定所述用于特征提取的卷积核的尺寸；
确定所述用于特征提取的卷积核的尺寸后，按照预设的分配策略确定每一种尺寸卷积核的个数；
所述用于特征提取的卷积核的尺寸包括以下尺寸中的两种或两种以上：3×3、5×5、7×7和9×9。
需要说明的是，本发明实施例用于特征提取的卷积核的尺寸还可以由技术人员根据特征处理的效果进行增加或删除处理；另外，理论上选择多种尺寸的卷积核时，一般选择小尺寸的卷积核组合成用于特征提取的卷积核。本发明实施例建议根据图像浅层特征的特点进行卷积核尺寸的选择；卷积核的选择可以参照以下内容进行：理想的超分辨率方法也应该是局部性的，即不存在非交叠区域的干扰，过小的卷积核无法获取区域信息，过大尺寸的卷积核会造成神经网络模型的参数平方级的增加。
在一种示例性实施例中，按照预设的分配策略确定每一种尺寸的卷积核的个数包括：
按照等比例分配的策略，确定每一种尺寸卷积核的个数；或，
以尺度因子作为分配依据，确定每一种尺寸卷积核的个数；
其中，以尺度因子作为分配依据包括：尺度因子越大，用于特征提取的尺寸越小的卷积核所占比例越大。
需要说明的是，以尺度因子作为分配依据时，可以由本领域技术根据：尺度因子越大，用于特征提取的尺寸越小的卷积核所占比例越大，结合实际运算经验确定每一种尺寸卷积核的个数。
以下通过示例对卷积核的分配策略进行说明，假设示例中待处理图像的浅层特征包含256个输出通道，选用的卷积核的尺寸包括：3×3、5×5、7×7和9×9；本发明实施例各尺寸卷积核可以按照两种方式进行分配；一、等比例分配，即每种尺寸的卷积核均为64个。二、根据尺寸因子的大小进行分配，包括但不限于基于以下规则进行分配：尺度因子越大，小尺寸卷积核的比例越大，根据尺寸因子的大小进行各尺寸卷积核的分配，主要考虑大的尺度因子使得插值的像素更多的关注临近像素的信息。这里，尺度因子是指图像从高分辨率支持变化为低分辨率尺寸时的像素比值。
步骤102、对确定的用于特征提取的卷积核，通过预设的目标函数进行稀疏度约束；
相关技术从特征融合的角度考虑对浅层特征进行稀疏约束，根据基于稀疏重构的经验，借助少数有效表征的原子恢复出具有更好的细节特性的结果。但是这种稀疏约束不适用于神经网络后面几层(第五卷积层及以后)，因为高级语义特征通常表现为多种信息的综合。
在一种示例性实施例中，本发明实施例目标函数包括：
基于范数确定神经网络输出结果与真实背景满足预设条件时，通过稀疏度函数对各网络层卷积核对应通道下的稀疏度进行约束的函数。
在一种示例性实施例中，目标函数包括：
其中，所述Y表示真实背景GT，W(x)表示神经网络输出结果，Wi，j表示第i层第j个卷积核的元素，||·||0表示零范数，即非零元的个数；ki，j表示第i层第j个卷积核对应通道下的稀疏度；
表示在满足约束B的条件下，求取表达式A的最小值。
需要说明的是，本发明实施例基于范数确定神经网络输出结果与真实背景满足预设条件可以包括：基于L2范数和L1范数确定神经网络输出结果与真实背景数值接近相等。另外，参照上述目标函数，本发明实施例可以参数函数的逻辑关系，采用其他种类的范数，设计实现与上述目标函数具有相同功能的函数。
在一种示例性实施例中，本发明实施例方法还包括：通过以下方法之一对所述目标函数进行训练：
分离变量法、随机梯度下降法。
需要说明的是，本发明实施例可以通过分离变量法或SGD法进行目标函数的训练。在每次后向传播过程处理完毕后添加对稀疏度的处理：
其中，wi，j，l表示第i层第j个卷积核的第l个系数，m表示第i层第j个卷积核中绝对值由大到小排序的数组中第l个元素的绝对值。
步骤103、基于稀疏度约束的卷积核进行图像的特征提取。这里，基于稀疏度约束的卷积核进行图像的特征提取包括：将确定的卷积核部署到神经网络中，通过神经网络进行图像的特征提取。
在一种示例性实施例中，所述基于稀疏度约束的卷积核进行图像的特征提取包括：
将通过所述目标函数完成稀疏度约束的卷积核部署到运行神经网络的加速平台或加速器上；
通过部署在所述加速平台或所述加速器上的卷积核，进行图像的特征提取。
本发明实施例将通过目标函数约束的两种以上尺寸的卷积核进行稀疏度约束后，部署到加速平台或加速器(包括但不限于优化加速器)，解决了基于神经网络的超分辨率方法的感知野扩充问题；本发明实施例可以在部署神经网络时提供稀疏度参数，便于对加速器或者图形处理器(GPU)跳过无效运算，通过合理设置稀疏度参数，可以在提升感知野的同时降低对网络算力的需求，有效支持8K乃至更大尺寸的超分辨率处理需求。
本发明实施例，通过不同尺寸的卷积核提取的特征包含了不同大小的感知野，为后续特征处理效果提升提供基础。根据相关原理，不同的点线特征需要感知不同的尺度，符合对应尺度的感知野才可以更好地体现浅层特征的性质；已有的基于神经网络的超分辨率率方法，一般采用归一化的3×3的感受野，在后续信息融合过程中的实现对不完整特征的修饰。本发明实施例在特征提取阶段即考虑了需要多种尺寸感知野的情况，降低了后续特征融合阶段的压力，也有助于提升网络的性能；与相关技术相比，本发明实施例基于神经网络的超分辨率方法，其网络模型更加符合人体感知原理。本发明涉及的稀疏卷积核可以在训练过程中实现对卷积核稀疏度的调整，更精细的调整网络参数通常可以实现对网络训练过程的加速。本发明实施例设计的神经网络虽然具备更大尺寸的卷积核，但通过卷积核的稀疏度约束，有效运算的次数并不会显著提升。通过合理的GPU程序设计以及专用硬件加速器设计，可以降低超分辨率方法的算力需求。通过对融合过程中浅层特征的约束，特征图中的零值元素占比也会提升，可以进一步降低有效运算的次数，有利于本发明实施例方法的部署，或处理更高分辨率(比如8K)的放大问题；即本发明实施例方法对具备零值优化等方案的加速设备具备更强的亲和力。
本发明实施例基于神经网络的超分辨率方法除特征提取部分外，还包括：信息融合以及重构。本发明实施例采用稀疏卷积核。对输入的低分辨率图像进行对应感知野的特征获取后。可以借助相关技术中信息融合的方法进行特征融合，例如、可以选用类似于EDSR中的ResBlock子模块进行融合处理，通过级联几个ResBlock子模块，对提取的特征参照相关理论进行融合；在融合处理时，可以采用多级跳连(skip connection)的方式实现特征数据的传输，多级跳连的方式可以同时提升网络模型的收敛速度。最后的重构部分包括图像尺寸的改变和最后一层的卷积。对图像尺寸的提升可以采用相关技术中的转置卷积(transposed convolution)或者重排(shuffle)等方法。由于本发明设计的网络模型设计稀疏卷积核，所以需要对训练模式进行修正。当前深度神经网络的训练方法，例如、随机梯度下降SGD，自适应时刻估计方法(ADAM)等，均利用了后向传播的原理，通过由预定的权重输出的结果与最小目标函数的差异逐层反向推导以修正每个权重的值。本发明设计的模型实质上添加对模型权重的约束，即保证目标函数最小化的同时，要求卷积核的稀疏度满足一定的要求。这种稀疏度的约束可以采用不同的变量分离方法，例如半二次方分裂法(half-quadratic spiltting method)或者交叠方向乘子法(Alternating directionmethod of multiple，ADMM)等。
本发明实施例采用的稀疏卷积核可以实现大感知野下的特征获取。为了实现更高的加速比，可以在需要对乘0进行优化处理的视觉处理器(GPU)加速或专用硬件加速器上运行上述处理过程，，本发明实施例在实现感知野扩充情况下，不会增加模型部署的压力。需要说明的是，本发明实施例训练获得的网络模型，卷积核的稀疏度更高，所以其优化空间更大，基于本发明实施例方法可以确定稀疏度参数，对卷积优化程度较高的硬件系统，可以实现更大的加速比。
与相关技术相比，本申请技术方案包括：确定用于特征提取的两种或两种以上尺寸的卷积核；对确定的用于特征提取的卷积核，通过预设的目标函数进行稀疏度约束；基于稀疏度约束的卷积核进行图像的特征提取。本发明实施例基于两种或两种以上卷积核，在降低神经网络训练难度和网络算力的情况下，实现了感知野扩充，为基于神经网络的超分辨率方法的应用提供了技术支持。
图2为本发明实施例图像处理的装置的结构框图，如图2所示，包括：确定单元、约束单元和处理单元；其中，
确定单元配置为：确定用于特征提取的两种或两种以上尺寸的卷积核；
在一种示例性实施例中，所述确定单元是配置为：
按照预设的尺寸选择策略，确定所述用于特征提取的卷积核的尺寸；
确定所述用于特征提取的卷积核的尺寸后，按照预设的分配策略确定每一种尺寸卷积核的个数；
所述用于特征提取的卷积核的尺寸包括以下尺寸中的两种或两种以上：3×3、5×5、7×7和9×9。
在一种示例性实施例中，所述确定单元配置为按照预设的分配策略确定每一种尺寸的卷积核的个数包括：
按照等比例分配的策略，确定每一种尺寸卷积核的个数；或，
以尺度因子作为分配依据，确定每一种尺寸卷积核的个数；
其中，以尺度因子作为分配依据包括：尺度因子越大，用于特征提取的尺寸越小的卷积核所占比例越大。
约束单元，配置为：
对确定的用于特征提取的卷积核，通过预设的目标函数进行稀疏度约束；
在一种示例性实施例中，所述目标函数包括：
基于范数确定神经网络输出结果与真实背景满足预设条件时，通过稀疏度函数对各网络层卷积核对应通道下的稀疏度进行约束的函数。
在一种示例性实施例中，所述目标函数包括：
其中，所述Y表示真实背景GT，W(x)表示神经网络输出结果，Wi，j表示第i层第j个卷积核的元素，||·||0表示零范数，即非零元的个数；ki，j表示第i层第j个卷积核对应通道下的稀疏度；
表示在满足约束B的条件下，求取表达式A的最小值。
在一种示例性实施例中，所述约束单元还设置为：通过以下方法之一对所述目标函数进行训练：
分离变量法、随机梯度下降法。
处理单元配置为：基于稀疏度约束的卷积核进行图像的特征提取。
在一种示例性实施例中，所述处理单元是配置为：
将通过所述目标函数完成稀疏度约束的卷积核部署到运行神经网络的加速平台或加速器上；
通过部署在加速平台或所述加速器上的卷积核，进行图像的特征提取。
本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行上述图像处理的方法。
本发明实施例还提供一种终端，包括：存储器和处理器；其中，
处理器被配置为执行存储器中的程序指令；
程序指令在处理器读取执行上述图像处理的方法。
“本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。”
Claims (10)
1.一种图像处理的方法，包括：
确定用于特征提取的两种或两种以上尺寸的卷积核；
对确定的用于特征提取的卷积核，通过预设的目标函数进行稀疏度约束；
基于稀疏度约束的卷积核进行图像的特征提取。
2.根据权利要求1所述的方法，其特征在于，所述确定用于特征提取的两种或两种以上尺寸的卷积核包括：
按照预设的尺寸选择策略，确定所述用于特征提取的卷积核的尺寸；
确定所述用于特征提取的卷积核的尺寸后，按照预设的分配策略确定每一种尺寸卷积核的个数；
所述用于特征提取的卷积核的尺寸包括以下尺寸中的两种或两种以上：3×3、5×5、7×7和9×9。
3.根据权利要求2所述的方法，其特征在于，所述按照预设的分配策略确定每一种尺寸的卷积核的个数包括：
按照等比例分配的策略，确定每一种尺寸卷积核的个数；或，
以尺度因子作为分配依据，确定每一种尺寸卷积核的个数；
其中，所述以尺度因子作为分配依据包括：尺度因子越大，用于特征提取的尺寸越小的卷积核所占比例越大。
4.根据权利要求1～3任一项所述的方法，其特征在于，所述目标函数包括：
基于范数确定神经网络输出结果与真实背景满足预设条件时，通过稀疏度函数对各网络层卷积核对应通道下的稀疏度进行约束的函数。
5.根据权利要求4所述的方法，其特征在于，所述目标函数包括：
其中，所述Y表示真实背景GT，W(x)表示神经网络输出结果，Wi，j表示第i层第j个卷积核的元素，||·||0表示零范数，即非零元的个数；ki，j表示第i层第j个卷积核对应通道下的稀疏度；
表示在满足约束B的条件下，求取表达式A的最小值。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：通过以下方法之一对所述目标函数进行训练：
分离变量法、随机梯度下降法。
7.根据权利要求1～3任一项所述的方法，其特征在于，所述基于稀疏度约束的卷积核进行图像的特征提取包括：
将通过所述目标函数完成稀疏度约束的卷积核部署到运行神经网络的加速平台或加速器上；
通过部署在所述加速平台或加速器上的卷积核，进行图像的特征提取。
8.一种图像处理的装置，包括：确定单元、约束单元和处理单元；其中，
确定单元配置为：确定用于特征提取的两种或两种以上尺寸的卷积核；
约束单元配置为：对确定的用于特征提取的卷积核，通过预设的目标函数进行稀疏度约束；
处理单元配置为：基于稀疏度约束的卷积核进行图像的特征提取。
9.一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1～7中任一项所述的图像处理的方法。
10.一种终端，包括：存储器和处理器；其中，
处理器被配置为执行存储器中的程序指令；
程序指令在处理器读取执行权利要求1～7中任一项所述的图像处理的方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910516867.5A CN112085652A (zh) | 2019-06-14 | 2019-06-14 | 一种图像处理的方法、装置、计算机存储介质及终端 |
| US17/618,534 US20220245761A1 (en) | 2019-06-14 | 2020-04-16 | Image processing method and device, computer storage medium and terminal |
| PCT/CN2020/085080 WO2020248706A1 (zh) | 2019-06-14 | 2020-04-16 | 图像处理的方法、装置、计算机存储介质及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910516867.5A CN112085652A (zh) | 2019-06-14 | 2019-06-14 | 一种图像处理的方法、装置、计算机存储介质及终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112085652A true CN112085652A (zh) | 2020-12-15 |
Family
ID=73734062
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910516867.5A Pending CN112085652A (zh) | 2019-06-14 | 2019-06-14 | 一种图像处理的方法、装置、计算机存储介质及终端 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220245761A1 (zh) |
| CN (1) | CN112085652A (zh) |
| WO (1) | WO2020248706A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114049254A (zh) * | 2021-10-29 | 2022-02-15 | 华南农业大学 | 低像素牛头图像重建识别方法、系统、设备及存储介质 |
| WO2023221415A1 (zh) * | 2022-05-18 | 2023-11-23 | 北京百度网讯科技有限公司 | 骨干网络的生成方法、装置、设备以及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9430817B2 (en) * | 2013-11-12 | 2016-08-30 | Microsoft Technology Licensing, Llc | Blind image deblurring with cascade architecture |
| DE202016009102U1 (de) * | 2015-02-19 | 2022-04-22 | Magic Pony Technology Limited | Verbesserung visueller Daten mittels gestufter Faltungen |
| CN107240066A (zh) * | 2017-04-28 | 2017-10-10 | 天津大学 | 基于浅层和深层卷积神经网络的图像超分辨率重建算法 |
| CN107103585B (zh) * | 2017-04-28 | 2020-09-11 | 广东工业大学 | 一种图像超分辨率系统 |
| CN108537731B (zh) * | 2017-12-29 | 2020-04-14 | 西安电子科技大学 | 基于压缩多尺度特征融合网络的图像超分辨率重建方法 |
| CN109325915B (zh) * | 2018-09-11 | 2022-11-08 | 合肥工业大学 | 一种用于低分辨率监控视频的超分辨率重建方法 |
-
2019
- 2019-06-14 CN CN201910516867.5A patent/CN112085652A/zh active Pending
-
2020
- 2020-04-16 US US17/618,534 patent/US20220245761A1/en active Pending
- 2020-04-16 WO PCT/CN2020/085080 patent/WO2020248706A1/zh active Application Filing
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114049254A (zh) * | 2021-10-29 | 2022-02-15 | 华南农业大学 | 低像素牛头图像重建识别方法、系统、设备及存储介质 |
| WO2023221415A1 (zh) * | 2022-05-18 | 2023-11-23 | 北京百度网讯科技有限公司 | 骨干网络的生成方法、装置、设备以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220245761A1 (en) | 2022-08-04 |
| WO2020248706A1 (zh) | 2020-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111311629B (zh) | 图像处理方法、图像处理装置及设备 | |
| CN110473137B (zh) | 图像处理方法和装置 | |
| CN108764039B (zh) | 神经网络、遥感影像的建筑物提取方法、介质及计算设备 | |
| CN112308200B (zh) | 神经网络的搜索方法及装置 | |
| CN112862689B (zh) | 一种图像超分辨率重建方法及系统 | |
| CN111383173B (zh) | 一种基于基线的图像超分辨率重建方法及系统 | |
| CN111369450B (zh) | 去除摩尔纹的方法与装置 | |
| KR20190062283A (ko) | 선택적 손실 함수를 이용한 생성적 적대 네트워크의 학습을 위한 방법 및 장치 | |
| CN112602088A (zh) | 提高弱光图像的质量的方法、系统和计算机可读介质 | |
| CN115984666A (zh) | 跨通道金字塔池化方法、系统、卷积神经网络及处理方法 | |
| CN112085652A (zh) | 一种图像处理的方法、装置、计算机存储介质及终端 | |
| CN114419392A (zh) | 高光谱快照图像恢复方法、装置、设备及介质 | |
| CN112785496A (zh) | 处理影像超分辨率的装置及方法 | |
| CN112465801A (zh) | 一种分尺度提取掩码特征的实例分割方法 | |
| CN111372006A (zh) | 一种面向移动端的高动态范围成像方法及系统 | |
| CN114926342A (zh) | 图像超分辨率重建模型构建方法、装置、设备及存储介质 | |
| CN114419381A (zh) | 一种语义分割方法及应用其的道路积水检测方法和装置 | |
| CN114399440B (zh) | 图像处理方法、图像处理网络训练方法、装置及电子设备 | |
| CN115937358A (zh) | 图像处理方法及其装置、电子设备和存储介质 | |
| CN115375715A (zh) | 目标提取方法、装置、电子设备及存储介质 | |
| CN115735224A (zh) | 非抽取的图像处理方法及装置 | |
| CN110545373B (zh) | 空间环境的感知方法及装置 | |
| CN112016456A (zh) | 基于自适应反向投影深度学习的视频超分辨率方法及系统 | |
| CN111179246B (zh) | 一种像素位移量确认方法、装置、电子设备及存储介质 | |
| CN116596043B (zh) | 一种卷积神经网络计算方法、系统、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |