CN111126561A - 一种基于多路并行卷积神经网络的图像处理方法 - Google Patents

一种基于多路并行卷积神经网络的图像处理方法 Download PDF

Info

Publication number
CN111126561A
CN111126561A CN201911140298.5A CN201911140298A CN111126561A CN 111126561 A CN111126561 A CN 111126561A CN 201911140298 A CN201911140298 A CN 201911140298A CN 111126561 A CN111126561 A CN 111126561A
Authority
CN
China
Prior art keywords
feature map
branch
current
level
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911140298.5A
Other languages
English (en)
Other versions
CN111126561B (zh
Inventor
陈旋
吕成云
张玉立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Aijia Household Products Co Ltd
Original Assignee
Jiangsu Aijia Household Products Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Aijia Household Products Co Ltd filed Critical Jiangsu Aijia Household Products Co Ltd
Priority to CN201911140298.5A priority Critical patent/CN111126561B/zh
Publication of CN111126561A publication Critical patent/CN111126561A/zh
Application granted granted Critical
Publication of CN111126561B publication Critical patent/CN111126561B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于多路并行卷积神经网络的图像处理方法,采用全新策略进行图像处理,针对特征图,应用降维处理引入分支处理路径,针对各分支的输入特征图,分别经过预设卷积设计处理,获得各分支所对应的中级特征图;然后针对不同分支进行中级特征图的融合处理,获得各分支所对应包含高级特征与低级特征的融合特征图;最后针对各分支,应用注意力模块进行去冗余处理,获得终极特征图;如此根据设计需求循环上述过程,获得各个当前分支的结果特征图;整个设计处理方法能够有效提高各分支下结果特征图的获得效率与精度。

Description

一种基于多路并行卷积神经网络的图像处理方法
技术领域
本发明涉及一种基于多路并行卷积神经网络的图像处理方法,属于图像处理技术领域。
背景技术
近年来,随着互联网特别是移动互联网的发展,产生了海量的数据,大数据时代到来,因此需要大量数据进行训练的深度神经网络得到了飞跃发展。深度神经网络在自然语言处理、图像识别、目标检测等领域获得的很大的突破,有些地方的表现已经超越了人类。而且在很多工业领域进行了成功应用,如语音助手、无人超市、人脸支付、智能交通、智能客服等。作为神经网络中的一种,卷积神经网络在图像处理方面相比传统的机器视觉方法有很大的优势,它不再需要手工设计特征,而是让网络根据数据自己学习需要的特征。手工设计的特征具有一定的针对性,这样就会在复杂多变的光线、颜色、纹理等条件下更好的适应,而卷积神经网络根据数据学习需要的特征,这些特征对光线、颜色、纹理会有很好的鲁棒性。目前的卷积神经网络在处理图像时,结构一般都采用串行结构,通常为输入一张图像,然后采用多层卷积神经网络进行降维,从而提取高级特征,根据任务的不同,后面会连接分类器或者升维,这样网络的输出虽然包含了很好的高级特征,但是会丢失很多的低级特征,这些低级特征在有些任务中有很大的作用,如位置信息。也有采用并行结构的卷积神经网络,不过其在融合不同的特征时采用的是先把各个分支的特征图化为统一尺寸然后相加,这样虽然可以同时保留图像的高级特征和低级特征,但是也会增加很多的冗余信息,因为高级特征图和低级特征图中包含很多的重复信息。
发明内容
本发明所要解决的技术问题是提供一种基于多路并行卷积神经网络的图像处理方法,采用全新策略进行图像处理,能够提高获得包含高级特征与低级特征的特征图的获得效率与精度。
本发明为了解决上述技术问题采用以下技术方案:本发明设计了一种基于多路并行卷积神经网络的图像处理方法,用于获得目标图像对应预设数量分支下、各分支应用卷积神经网络处理后的结果特征图;包括如下步骤:
步骤A. 应用卷积层,针对目标图像按预设卷积核大小、进行卷积处理,获得特征图,作为当前上层分支的输入特征图,然后进入步骤B;
步骤B. 获得当前上层分支的输入特征图的副本,并应用池化层,针对该副本按预设降维维度大小、进行降维处理,获得高级特征图,作为当前下层分支的输入特征图,然后进入步骤C;
步骤C. 分别针对当前上层分支和当前下层分支:根据预设数量卷积层、以及各卷积层中预设卷积核大小,针对输入特征图依次经过各卷积层进行卷积处理,获得中级特征图;
即分别获得当前上层分支所对应的中级特征图、以及当前下层分支所对应的中级特征图,然后进入步骤D;
步骤D. 针对当前上层分支:先获得当前下层分支所对应的中级特征图的副本;接着针对该副本进行上采样,获得与当前上层分支所对应中级特征图尺寸相同的副本特征图;然后针对当前上层分支所对应的中级特征图、以及该副本特征图,沿分支方向进行叠加,获得当前上层分支所对应的融合特征图;
同时,针对当前下层分支:先获得当前上层分支所对应的中级特征图的副本;接着针对该副本进行下采样,获得与当前下层分支所对应中级特征图尺寸相同的副本特征图;然后针对当前下层分支所对应的中级特征图、以及该副本特征图,沿分支方向进行叠加,获得当前下层分支所对应的融合特征图;
待分别完成针对当前上层分支、当前下层分支的上述操作后,进入步骤E;
步骤E. 分别针对当前上层分支和当前下层分支:采用注意力模块针对融合特征图进行去冗余处理,获得终极特征图;
即分别获得当前上层分支所对应的终极特征图、以及当前下层分支所对应的终极特征图,然后进入步骤F;
步骤F. 将当前上层分支、当前下层分支均作为当前分支,判断当前分支的数量是否等于预设分支数量,是则各个当前分支分别所对应的终极特征图,即作为各个当前分支的结果特征图;否则进入步骤G;
步骤G. 同时分别针对各个当前分支:将当前分支所对应的终极特征图、作为当前上层分支的输入特征图,并返回步骤B。
作为本发明的一种优选技术方案:所述步骤E中,分别针对当前上层分支和当前下层分支:按如下步骤E1至步骤E3,采用注意力模块针对融合特征图进行去冗余处理,获得终极特征图;
步骤E1. 针对融合特征图进行空间注意力处理,为融合特征图中各个像素分别分配所对应的像素权重,同时针对融合特征图进行通道注意力处理,为融合特征图的各个通道分别分配所对应的通道权重;然后进入步骤E2;
步骤E2. 基于融合特征图各个通道分别所对应的通道权重、以及融合特征图中各个像素分别所对应的像素权重,按预设卷积核大小、针对融合特征图进行卷积处理,获得注意力处理特征图,然后进入步骤E3;
步骤E3. 针对注意力处理特征图与融合特征图进行叠加处理,获得终极特征图。
作为本发明的一种优选技术方案:所述步骤F中,获得各个当前分支的结果特征图后,根据图像处理目的,针对各个当前分支的结果特征图进行相应进一步处理应用。
有益效果
本发明所述一种基于多路并行卷积神经网络的图像处理方法,采用以上技术方案与现有技术相比,具有以下技术效果:
本发明所设计基于多路并行卷积神经网络的图像处理方法,采用全新策略进行图像处理,针对特征图,应用降维处理引入分支处理路径,针对各分支的输入特征图,分别经过预设卷积设计处理,获得各分支所对应的中级特征图;然后针对不同分支进行中级特征图的融合处理,获得各分支所对应包含高级特征与低级特征的融合特征图;最后针对各分支,应用注意力模块进行去冗余处理,获得终极特征图;如此根据设计需求循环上述过程,获得各个当前分支的结果特征图;整个设计处理方法能够有效提高各分支下结果特征图的获得效率与精度。
附图说明
图1是本发明设计基于多路并行卷积神经网络的图像处理方法的流程示意图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
本发明设计了一种基于多路并行卷积神经网络的图像处理方法,用于获得目标图像对应预设数量分支下、各分支应用卷积神经网络处理后的结果特征图;如图1所示,具体包括如下步骤。
步骤A. 应用卷积层,针对目标图像按预设卷积核大小、进行卷积处理,获得特征图,作为当前上层分支的输入特征图,然后进入步骤B。
步骤B. 获得当前上层分支的输入特征图的副本,并应用池化层,针对该副本按预设降维维度大小、进行降维处理,获得高级特征图,作为当前下层分支的输入特征图,然后进入步骤C。
步骤C. 分别针对当前上层分支和当前下层分支:根据预设数量卷积层、以及各卷积层中预设卷积核大小,针对输入特征图依次经过各卷积层进行卷积处理,获得中级特征图;即分别获得当前上层分支所对应的中级特征图、以及当前下层分支所对应的中级特征图,然后进入步骤D。
上述步骤C在实际应用当中,当前上层分支中所应用卷积层的层数、以及各卷积层中卷积核大小的应用,与当前下层分支中所应用卷积层的层数、以及各卷积层中卷积核大小的应用,分别根据实际设计需要进行设计应用。
步骤D. 针对当前上层分支:先获得当前下层分支所对应的中级特征图的副本;接着针对该副本进行上采样,获得与当前上层分支所对应中级特征图尺寸相同的副本特征图;然后针对当前上层分支所对应的中级特征图、以及该副本特征图,沿分支方向进行叠加,获得当前上层分支所对应的融合特征图。
同时,针对当前下层分支:先获得当前上层分支所对应的中级特征图的副本;接着针对该副本进行下采样,获得与当前下层分支所对应中级特征图尺寸相同的副本特征图;然后针对当前下层分支所对应的中级特征图、以及该副本特征图,沿分支方向进行叠加,获得当前下层分支所对应的融合特征图。
待分别完成针对当前上层分支、当前下层分支的上述操作后,进入步骤E。
经过上述操作后,各分支所对应的融合特征图因为融合处理,其中包含冗余信息,因此接下来需要针对各分支所对应的融合特征图进行去冗余处理,即继续执行如下步骤E。
步骤E. 分别针对当前上层分支和当前下层分支:按如下步骤E1至步骤E3,采用注意力模块针对融合特征图进行去冗余处理,获得终极特征图;即分别获得当前上层分支所对应的终极特征图、以及当前下层分支所对应的终极特征图,然后进入步骤F。
步骤E1. 针对融合特征图进行空间注意力处理,为融合特征图中各个像素分别分配所对应的像素权重,同时针对融合特征图进行通道注意力处理,为融合特征图的各个通道分别分配所对应的通道权重;然后进入步骤E2。
针对融合特征图中各个像素分别分配像素权重,以及针对融合特征图的各个通道分别分配通道权重的设计,即通过给不重要的位置一个小的权重来去除冗余信息。
步骤E2. 基于融合特征图各个通道分别所对应的通道权重、以及融合特征图中各个像素分别所对应的像素权重,按预设卷积核大小、针对融合特征图进行卷积处理,获得注意力处理特征图,然后进入步骤E3。
步骤E3. 针对注意力处理特征图与融合特征图进行叠加处理,获得终极特征图。
步骤F. 将当前上层分支、当前下层分支均作为当前分支,判断当前分支的数量是否等于预设分支数量,是则各个当前分支分别所对应的终极特征图,即作为各个当前分支的结果特征图,最后根据图像处理目的,针对各个当前分支的结果特征图进行相应进一步处理应用;否则进入步骤G。
步骤G. 同时分别针对各个当前分支:将当前分支所对应的终极特征图、作为当前上层分支的输入特征图,并返回步骤B。
上述技术方案所设计基于多路并行卷积神经网络的图像处理方法,采用全新策略进行图像处理,针对特征图,应用降维处理引入分支处理路径,针对各分支的输入特征图,分别经过预设卷积设计处理,获得各分支所对应的中级特征图;然后针对不同分支进行中级特征图的融合处理,获得各分支所对应包含高级特征与低级特征的融合特征图;最后针对各分支,应用注意力模块进行去冗余处理,获得终极特征图;如此根据设计需求循环上述过程,获得各个当前分支的结果特征图;整个设计处理方法能够有效提高各分支下结果特征图的获得效率与精度。
上面结合附图对本发明的实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (3)

1.一种基于多路并行卷积神经网络的图像处理方法,用于获得目标图像对应预设数量分支下、各分支应用卷积神经网络处理后的结果特征图;其特征在于,包括如下步骤:
步骤A. 应用卷积层,针对目标图像按预设卷积核大小、进行卷积处理,获得特征图,作为当前上层分支的输入特征图,然后进入步骤B;
步骤B. 获得当前上层分支的输入特征图的副本,并应用池化层,针对该副本按预设降维维度大小、进行降维处理,获得高级特征图,作为当前下层分支的输入特征图,然后进入步骤C;
步骤C. 分别针对当前上层分支和当前下层分支:根据预设数量卷积层、以及各卷积层中预设卷积核大小,针对输入特征图依次经过各卷积层进行卷积处理,获得中级特征图;
即分别获得当前上层分支所对应的中级特征图、以及当前下层分支所对应的中级特征图,然后进入步骤D;
步骤D. 针对当前上层分支:先获得当前下层分支所对应的中级特征图的副本;接着针对该副本进行上采样,获得与当前上层分支所对应中级特征图尺寸相同的副本特征图;然后针对当前上层分支所对应的中级特征图、以及该副本特征图,沿分支方向进行叠加,获得当前上层分支所对应的融合特征图;
同时,针对当前下层分支:先获得当前上层分支所对应的中级特征图的副本;接着针对该副本进行下采样,获得与当前下层分支所对应中级特征图尺寸相同的副本特征图;然后针对当前下层分支所对应的中级特征图、以及该副本特征图,沿分支方向进行叠加,获得当前下层分支所对应的融合特征图;
待分别完成针对当前上层分支、当前下层分支的上述操作后,进入步骤E;
步骤E. 分别针对当前上层分支和当前下层分支:采用注意力模块针对融合特征图进行去冗余处理,获得终极特征图;
即分别获得当前上层分支所对应的终极特征图、以及当前下层分支所对应的终极特征图,然后进入步骤F;
步骤F. 将当前上层分支、当前下层分支均作为当前分支,判断当前分支的数量是否等于预设分支数量,是则各个当前分支分别所对应的终极特征图,即作为各个当前分支的结果特征图;否则进入步骤G;
步骤G. 同时分别针对各个当前分支:将当前分支所对应的终极特征图、作为当前上层分支的输入特征图,并返回步骤B。
2.根据权利要求1所述一种基于多路并行卷积神经网络的图像处理方法,其特征在于:在一个实施方式中,所述步骤E中,分别针对当前上层分支和当前下层分支:按如下步骤E1至步骤E3,采用注意力模块针对融合特征图进行去冗余处理,获得终极特征图;
步骤E1. 针对融合特征图进行空间注意力处理,为融合特征图中各个像素分别分配所对应的像素权重,同时针对融合特征图进行通道注意力处理,为融合特征图的各个通道分别分配所对应的通道权重;然后进入步骤E2;
步骤E2. 基于融合特征图各个通道分别所对应的通道权重、以及融合特征图中各个像素分别所对应的像素权重,按预设卷积核大小、针对融合特征图进行卷积处理,获得注意力处理特征图,然后进入步骤E3;
步骤E3. 针对注意力处理特征图与融合特征图进行叠加处理,获得终极特征图。
3.根据权利要求1所述一种基于多路并行卷积神经网络的图像处理方法,其特征在于:在一个实施方式中,所述步骤F中,获得各个当前分支的结果特征图后,根据图像处理目的,针对各个当前分支的结果特征图进行相应进一步处理应用。
CN201911140298.5A 2019-11-20 2019-11-20 一种基于多路并行卷积神经网络的图像处理方法 Active CN111126561B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911140298.5A CN111126561B (zh) 2019-11-20 2019-11-20 一种基于多路并行卷积神经网络的图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911140298.5A CN111126561B (zh) 2019-11-20 2019-11-20 一种基于多路并行卷积神经网络的图像处理方法

Publications (2)

Publication Number Publication Date
CN111126561A true CN111126561A (zh) 2020-05-08
CN111126561B CN111126561B (zh) 2022-07-08

Family

ID=70495948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911140298.5A Active CN111126561B (zh) 2019-11-20 2019-11-20 一种基于多路并行卷积神经网络的图像处理方法

Country Status (1)

Country Link
CN (1) CN111126561B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033687A (zh) * 2021-04-02 2021-06-25 西北工业大学 一种雨雪气候条件下的目标检测识别方法
CN116586924A (zh) * 2023-07-17 2023-08-15 浙江一益医疗器械有限公司 一种针尖五斜面结构的不锈钢针管及其制备工艺

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886986A (zh) * 2019-01-23 2019-06-14 北京航空航天大学 一种基于多分支卷积神经网络的皮肤镜图像分割方法
CN109977793A (zh) * 2019-03-04 2019-07-05 东南大学 基于变尺度多特征融合卷积网络的路侧图像行人分割方法
CN110188685A (zh) * 2019-05-30 2019-08-30 燕山大学 一种基于双注意力多尺度级联网络的目标计数方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886986A (zh) * 2019-01-23 2019-06-14 北京航空航天大学 一种基于多分支卷积神经网络的皮肤镜图像分割方法
CN109977793A (zh) * 2019-03-04 2019-07-05 东南大学 基于变尺度多特征融合卷积网络的路侧图像行人分割方法
CN110188685A (zh) * 2019-05-30 2019-08-30 燕山大学 一种基于双注意力多尺度级联网络的目标计数方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033687A (zh) * 2021-04-02 2021-06-25 西北工业大学 一种雨雪气候条件下的目标检测识别方法
CN116586924A (zh) * 2023-07-17 2023-08-15 浙江一益医疗器械有限公司 一种针尖五斜面结构的不锈钢针管及其制备工艺
CN116586924B (zh) * 2023-07-17 2024-02-27 浙江一益医疗器械有限公司 一种针尖五斜面结构的不锈钢针管及其制备工艺

Also Published As

Publication number Publication date
CN111126561B (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN111275711B (zh) 基于轻量级卷积神经网络模型的实时图像语义分割方法
CN113807355B (zh) 一种基于编解码结构的图像语义分割方法
CN107766794B (zh) 一种特征融合系数可学习的图像语义分割方法
CN109086768B (zh) 卷积神经网络的语义图像分割方法
CN105930402A (zh) 基于卷积神经网络的视频检索方法及系统
CN111696110B (zh) 场景分割方法及系统
CN111353505B (zh) 基于可联合实现语义分割和景深估计的网络模型的装置
CN111126561B (zh) 一种基于多路并行卷积神经网络的图像处理方法
CN111563507A (zh) 一种基于卷积神经网络的室内场景语义分割方法
CN112927209B (zh) 一种基于cnn的显著性检测系统和方法
CN110889416A (zh) 一种基于级联改良网络的显著性物体检测方法
CN112307978A (zh) 目标检测方法、装置、电子设备及可读存储介质
CN114612443A (zh) 一种多模态数据复杂缺陷特征检测方法
CN116740364B (zh) 一种基于参考机制的图像语义分割方法
CN110807752B (zh) 一种基于卷积神经网络的图像注意力机制处理方法
CN110705695B (zh) 搜索模型结构的方法、装置、设备和存储介质
CN113902933A (zh) 一种地面分割网络模型的训练方法、装置、设备和介质
Abdelkader et al. Camera and lidar fusion for point cloud semantic segmentation
CN113362349B (zh) 一种基于多监督网络的道路场景图像语义分割方法
Jothi Lakshmi et al. TA-DNN—two stage attention-based deep neural network for single image rain removal
Zhai et al. Multi-objective salient detection combining FCN and ESP modules
CN110322011B (zh) 面向推理模型的对象关系构造方法及装置
CN115423858A (zh) 一种单目深度估计方法、装置、电子设备及存储介质
CN116758297A (zh) 用于目标检测的YOLOv4模型检测装置及目标检测方法
CN114881210A (zh) 基于可切换空洞卷积和gc-bfp特征增强的行人检测方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 211100 floor 5, block a, China Merchants high speed rail Plaza project, No. 9, Jiangnan Road, Jiangning District, Nanjing, Jiangsu (South Station area)

Applicant after: JIANGSU AIJIA HOUSEHOLD PRODUCTS Co.,Ltd.

Address before: 211100 No. 18 Zhilan Road, Science Park, Jiangning District, Nanjing City, Jiangsu Province

Applicant before: JIANGSU AIJIA HOUSEHOLD PRODUCTS Co.,Ltd.

GR01 Patent grant
GR01 Patent grant