CN113077406B - 一种基于优化的图像卷积填充方法 - Google Patents
一种基于优化的图像卷积填充方法 Download PDFInfo
- Publication number
- CN113077406B CN113077406B CN202011338846.8A CN202011338846A CN113077406B CN 113077406 B CN113077406 B CN 113077406B CN 202011338846 A CN202011338846 A CN 202011338846A CN 113077406 B CN113077406 B CN 113077406B
- Authority
- CN
- China
- Prior art keywords
- convolution
- filling
- tensor
- image
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000005457 optimization Methods 0.000 title claims abstract description 9
- 230000000694 effects Effects 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 49
- 230000011218 segmentation Effects 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 3
- 238000005429 filling process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于优化的图像卷积填充方法，该方法属计算机视觉领域。所述方法是通过将待处理图像的外边缘经过多层填充之后利用一次卷积获得与图像本身像素值相关的填充值，并填充至边缘后进行二次卷积，从而实现卷积的相关性填充。本发明公开的目的是为了解决现有技术中，传统的填充方式在处理图像时获取的特征值较差从而出现的失真、分类正确率低、分割效果差等问题，本发明能够在卷积操作的本质上带来改进，增强了卷积操作中提取的特征的相关性，优化了处理结果。
Description
技术领域
本发明涉及计算机视觉领域，特别是涉及一种基于优化的图像卷积填充方法。
背景技术
在计算机视觉领域中，图像处理包括图像修复、图像分割、图像识别等等，这些基本的图像处理方法在预处理阶段都需要通过卷积操作对图像进行特征提取，因此，卷积操作对图像的处理效果起着至关重要的作用。
由于卷积计算的过程中会出现因为运算而导致的图像变小的问题，因此，常规的技术手段在进行卷积操作时往往通过填充来扩大原图像的大小，增加像素点，填充的方法包括但不限于零填充、镜像填充、复制填充和空填充。
零填充的基本思想是在输入矩阵的边缘使用零值填充，通过在矩阵边缘填充一圈零值，在进行卷积计算时可以有效的对图像的第一个像素点进行卷积，从而对输入图像矩阵的边缘进行滤波；
镜像填充的基本思想是以原图像的边缘为轴，填充与填充处对称位置的像素点；
复制填充的基本思想是在原图像边缘填充与最邻近的边缘处相同的像素值；
空填充的基本思想是在填充过程中只考虑具有真实值的像素点，通过对卷积核的设置实现对具有真实值的像素点进行卷积运算，对不具备真实值的像素点不进行卷积运算。
上述几种填充方法在填充的过程中由于是根据固定规律，填充的内容只与输入有关，而与图像本身无关，因此，在利用常规填充手段进行图像预处理的过程中，无法根据每张图片本身的像素点的特征进行填充，从而提取的特征与原图的相关性较差，导致图像在经过卷积操作之后出现诸如失真、分类正确率低、分割效果差等情况。
发明内容
为了解决传统的图像预处理的过程中，由于卷积计算时采用固定规律的填充方法，提取的特征与原图的相关性差的问题，本发明提出了一种基于优化的图像处理方法，将待处理的图像的外边缘经过多层填充之后利用一次卷积获得与图像本身像素值相关的填充值，填充至边缘后进行二次卷积，以此优化图像处理效果。
鉴于以上情况，本发明提出了一种基于优化的图像卷积填充方法，包括编码与反编码，其特征在于，所述编码的具体步骤包括：
S1：获取待训练网络，所述待训练网络的输入以大小为C＊H＊W的张量A的形式呈现；
S2：在所述张量A的通道边缘填充零值，将所述C＊H＊W的张量A填充为C＊(H+nh)＊(W+nw)的张量B；
S3：将张量B通过第一卷积权重矩阵C＊kh1＊kw1进行卷积运算，获得大小为C＊H′＊W′的张量D；
当张量B与第一卷积权重矩阵进行计算时，每一通道都分别遵循相同的运算规则，张量B每一层的矩阵大小为(H+nh)＊(W+nw)，第一权重矩阵为kh1＊kw1，此时，若计算步长为1，则张量D的每一层通道中第一行的第一个像素点由张量B的第一个子矩阵与第一权重矩阵卷积得出，第一个子矩阵为矩阵B中最先行最先列与kh1＊kw1的大小相同的子矩阵；
S4：将张量D的每层矩阵去除中心H＊W后与所述张量A进行拼接获得张量E；
S5：将所述张量E通过第二卷积权重矩阵C＊kh2＊kw2进行卷积运算，获得C＊H″＊W″的张量F；
优选地，张量D中，H′＝(H-kh1+2nh)/s1+1，W′＝(W-kw1+2nw)/s1+1其中s1代表第一步长。
优选地，第一卷积权重矩阵的每层通道中，kh1＝nh+1，kw2＝nw+1。
优选地，张量F中，H″＝(H′-kh2+2(H′-H))/s2+1，W″＝(W′-kw2+2(W′-W))/s1+1其中s2代表第二步长。
与现有技术相比，本发明具有如下有益效果：通过多层零填充后的第一次卷积运算得到待处理图像边缘的相关填充值进行填充的方式，取代了原本的填充的方式，使得利用卷积神经网络处理图像的过程中能极大程度上增加图像的真实性，避免了传统的填充方式在处理图像时获取的特征值较差从而出现的失真、分类正确率低、分割效果差等问题，本发明能够在卷积操作的本质上带来改进，增强了卷积操作中提取的特征的相关性，优化了处理结果。
附图说明
附图1为本发明提出的一种基于优化的图像卷积填充方法的流程图
附图2为本发明实施例提供的一种基于优化的图像卷积填充方法所要处理的图像所指代的矩阵A示意图
附图3为第一卷积权重矩阵
附图4为本发明实施例提供的一种基于优化的图像卷积填充方法对矩阵A进行s1的两层零填充后获得的矩阵B的示意图
附图5为本发明实施例提供的一种基于优化的图像卷积填充方法对矩阵B进行一次卷积后得到矩阵D的示意图
附图6为本发明实施例提供的一种基于优化的图像卷积填充方法对矩阵D去中心后与矩阵A拼接得到矩阵E的示意图
附图7为第二卷积权重矩阵
附图8为本发明实施例提供的一种基于优化的图像卷积填充方法对矩阵E进行二次卷积后得到矩阵F的示意图
具体实施方式
为使本发明的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
如图1所示，为本实施例提出的一种基于优化的图像卷积填充方法的流程图
如图2所示，本实施例通过介绍单一通道的卷积填充方法来解释本方法，首先原图像通过5＊5的矩阵A的形式呈现，在5＊5的外边缘进行两圈0填充，填充完成后获得如图3所示大小为9＊9的矩阵B，矩阵B通过第一卷积权重矩阵进行卷积计算；
选取如图4所示的卷积核大小为3＊3的卷积权重矩阵后，当卷积的步长为1时，具体计算过程如下：
v1＝0＊k1+0＊k2+0＊k3+0＊k4+0＊k5+0＊k6+0＊k7+0＊k8+p1＊k9；
v2＝0＊k1+0＊k2+0＊k3+0＊k4+0＊k5+0＊k6+0＊k7+p1＊k8+p2＊k9；
V3＝0＊k1+0＊k2+0＊k3+0＊k4+0＊k5+0＊k6+p1＊k7+p2＊k8+p3＊k9；
依次计算，得到v4，v5，v6…v49；
从而得到如图5所示的7＊7的矩阵D，当经过第一轮卷积运算之后，矩阵D的第一行、第一列、最后一行和最后一列分别获得了与矩阵A中第一行、第一列、最后一行和最后一列最相关的填充值，将矩阵D的第一行、第一列、最后一行和最后一列依次拼接至矩阵A的对应位置，实现相关填充值对零填充的替代，从而获得如图6所示的7＊7的矩阵E；
拼接完成后，将矩阵E与第二卷积权重矩阵进行卷积计算，选取如图7所示的卷积核大小为3＊3的卷积权重矩阵后，当卷积的步长为1时，具体计算过程如下：
j1＝v1＊k11+v2＊k12+v3＊k13+v8＊k14+p1＊k15+p2＊k16+v15＊k17+p6＊k18+p7＊k19；
j2＝v2＊k11+v3＊k12+v4＊k13+p1＊k14+p2＊k15+p3＊k16+p6＊k17+p7＊k18+p8＊k19；
……
j25＝p19+k11+p20＊k12+v35＊k13+p24＊k14+p25＊k15+v42＊k16+v47＊k17+v48＊k18+v49＊k19；
当参照上述计算方法完成计算后，即可得到如图8所示的大小为5＊5的矩阵F，
至此即可通过本方法提出的基于优化的卷积填充方法实现对卷积操作的改进，本实施例通过单一通道的卷积进行示例，但本方法的适用范围不仅局限于单一通道层，对于多通道层的图像的卷积操作同样适用，以此来适应任意通道数的卷积，此外，本实施例在对每一通道矩阵的计算也不构成对本发明的限制，H＊W为每通道的矩阵大小，H、W互相未设置必然联系，因而在计算过程中对卷积核大小也无限制。
本实施例仅通过图像修复来展示具体的实施过程，并不对本发明造成限制，在计算机视觉领域，需要通过卷积操作对图像进行处理的过程均可实施本发明所提出的方法，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (1)
1.一种基于优化的图像卷积填充方法，其特征在于，将待处理的图像的外边缘经过多层填充之后利用一次卷积获得与图像本身像素值相关的填充值，填充至边缘后进行二次卷积，以此优化图像处理效果；
所述图像卷积填充方法具体步骤包括：
S1：基于待处理的图像，获取待训练网络，所述待训练网络的输入以大小为C＊H＊W的张量A的形式呈现；其中，C为channel通道数；H为height高度；W为weight宽度；
S2：在所述张量A的通道边缘填充零值，将所述C＊H＊W的张量A填充为C＊(H+nh)＊(W+nw)的张量B；其中，nh为高度填充维度；nw为宽度填充维度；
S3：将张量B通过第一卷积权重矩阵C＊kh1＊kw1进行卷积运算，获得大小为C＊H′＊W′的张量D；
S4：将张量D的每层矩阵去除中心H＊W后与所述张量A进行拼接获得张量E；
S5：将所述张量E通过第二卷积权重矩阵C＊kh2＊kw2进行卷积运算，获得C＊H″＊W″的张量F；其中，kh2为第二卷积核的高度；kw2为第二卷积核的宽度；
其中，所述张量D中，H′＝(H-kh1+2nh)/s1+1，W′＝(W-kw1+2nw)/s1+1，其中s1代表第一步长；kh1为第一卷积核的高度；kw1为第一卷积核的宽度；
其中，所述第一卷积权重矩阵的每层通道中，kh1＝nh+1，kw2＝nw+1；
其中，所述张量F中，H″＝(H′-kh2+2(H′-H))/s2+1，W″＝(W′-kw2+2(W′-W))/s1+1，其中s2代表第二步长。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011338846.8A CN113077406B (zh) | 2020-11-25 | 2020-11-25 | 一种基于优化的图像卷积填充方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011338846.8A CN113077406B (zh) | 2020-11-25 | 2020-11-25 | 一种基于优化的图像卷积填充方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113077406A CN113077406A (zh) | 2021-07-06 |
| CN113077406B true CN113077406B (zh) | 2022-06-14 |
Family
ID=76609129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011338846.8A Active CN113077406B (zh) | 2020-11-25 | 2020-11-25 | 一种基于优化的图像卷积填充方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113077406B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109461119A (zh) * | 2019-01-31 | 2019-03-12 | 深兰人工智能芯片研究院（江苏）有限公司 | 卷积神经网络fpga加速中的图像填充方法及装置 |
| AU2019101224A4 (en) * | 2019-10-05 | 2020-01-16 | Shu, Zikai MR | Method of Human detection research and implement based on deep learning |
-
2020
- 2020-11-25 CN CN202011338846.8A patent/CN113077406B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109461119A (zh) * | 2019-01-31 | 2019-03-12 | 深兰人工智能芯片研究院（江苏）有限公司 | 卷积神经网络fpga加速中的图像填充方法及装置 |
| AU2019101224A4 (en) * | 2019-10-05 | 2020-01-16 | Shu, Zikai MR | Method of Human detection research and implement based on deep learning |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113077406A (zh) | 2021-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110287846B (zh) | 一种基于注意力机制的人脸关键点检测方法 | |
| CN109889800B (zh) | 图像增强方法和装置、电子设备、存储介质 | |
| CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| CN111340744B (zh) | 基于注意力双流深度网络的低质量图像降采样方法及其系统 | |
| CN110009590B (zh) | 一种基于卷积神经网络的高质量彩色图像去马赛克方法 | |
| CN109949309A (zh) | 一种基于深度学习的肝脏ct图像分割方法 | |
| CN109118495B (zh) | 一种视网膜血管分割方法和装置 | |
| WO2017045374A1 (zh) | 图像升频系统、其训练方法及图像升频方法 | |
| CN109978788B (zh) | 卷积神经网络生成方法、图像去马赛克方法及相关装置 | |
| CN115953303B (zh) | 结合通道注意力的多尺度图像压缩感知重构方法及系统 | |
| CN113837946B (zh) | 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法 | |
| Bei et al. | New techniques for preserving global structure and denoising with low information loss in single-image super-resolution | |
| CN113256510A (zh) | 基于cnn的带有颜色恢复和边缘锐化效果的低照度图像增强方法 | |
| WO2020062191A1 (zh) | 图像处理方法、装置及设备 | |
| CN112598587B (zh) | 一种联合人脸去口罩和超分辨率的图像处理系统和方法 | |
| CN107749044A (zh) | 图像信息的池化方法及装置 | |
| CN109949223A (zh) | 基于反卷积稠密连接的图像超分辨率重构方法 | |
| CN114418850A (zh) | 一种融合图卷积的有参考图像超分辨率重构方法 | |
| CN113077406B (zh) | 一种基于优化的图像卷积填充方法 | |
| CN113160086A (zh) | 基于深度学习的图像去摩尔纹方法 | |
| CN110084750B (zh) | 基于多层岭回归的单幅图像超分辨率方法 | |
| CN111951171A (zh) | Hdr图像生成方法、装置、可读存储介质及终端设备 | |
| CN111340773A (zh) | 一种视网膜图像血管分割方法 | |
| CN116664953B (zh) | 2.5d肺炎医学ct影像分类装置及设备 | |
| CN116596809A (zh) | 一种基于Residual-Unet网络的低照度图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 214000 Ping An wealth center, financial first street, Binhu District, Wuxi City, Jiangsu Province Applicant after: Wuxi Leqi Technology Co., Ltd Address before: Building a, Cetus, Wuxi Software Park, No.18 Zhenze Road, Xinwu District, Wuxi City, Jiangsu Province, 214400 Applicant before: Wuxi Leqi Technology Co., Ltd |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |