CN111915621B - 一种融合深度神经网络与cv模型的污损图像分割方法 - Google Patents
一种融合深度神经网络与cv模型的污损图像分割方法 Download PDFInfo
- Publication number
- CN111915621B CN111915621B CN202010653706.3A CN202010653706A CN111915621B CN 111915621 B CN111915621 B CN 111915621B CN 202010653706 A CN202010653706 A CN 202010653706A CN 111915621 B CN111915621 B CN 111915621B
- Authority
- CN
- China
- Prior art keywords
- image
- model
- neural network
- segmentation
- stained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种融合深度神经网络与CV模型的污损图像分割方法,属于图像处理技术领域,解决对于图像分割采用现有的神经网络的训练样本需求量大以及CV模型的无监督性的问题;技术方案为:构建随机污损模型、对污损图像的图像数据进行加载、构建污损图像融合分割模型、提取污损图像特征、利用CV模型的能量函数完成误差反传更新网络参数;通过多轮迭代学习之后,利用污损图像融合分割模型完成对污损图像的分割;本发明将CV模型的无监督特性融入神经网络中,使得神经网络可在少量训练样本的情况下得到准确的映射关系,应用于对污损图像的分割。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种融合深度神经网络与CV模型的污损图像分割方法。
背景技术
随着科学技术的不断发展,人们对于图像处理的精确度要求不断提高,对于大样本的高复杂度图像的处理也提出了更高的需求,图像处理领域迎来了新的挑战。图像分割是图像处理中最基本、最关键的步骤之一,它为图像的进一步处理(识别、理解等)提供了基础判别数据,它是联系低层次的图像处理和高层次的图像视觉理解的桥梁。图像分割是后续的目标检测、目标识别、对象追踪等图像理解领域的基础课题,分割中产生的误差会向上传递到高层次的图像分析与理解阶段,因此图像分割的准确与否直接影响着后续图像处理应用层的精确性与有效性。
污损图像的分割问题是图像分割领域待突破的难点和热点,在现实生活中,人们获得的图像常常会因为外部拍摄设备、保存、传输等的影响而受到污损,污损图像即图像一部分像素信息丢失或者目标被遮挡。
传统的数学方法进行分割主要依靠图像像素级别的信息,在污损图像分割中,由于一部分像素信息丢失,基于水平集方法的CV模型无法获得完整的图像信息,从而导致分割失败。基于神经网络的污损图像分割,虽然可以得到较好的分割效果,但是模型在前期需要大量的数据进行训练,效率低下,而且难以适应于小样本数据集。
发明内容
本发明克服了现有技术的不足,提供一种融合深度神经网络与CV模型的污损图像分割方法,解决对于图像分割采用现有的神经网络的训练样本需求量大以及CV模型的无监督性的问题。
为了达到上述目的,本发明是通过如下技术方案实现的。
一种融合深度神经网络与CV模型的污损图像分割方法,包括以下具体步骤:
步骤S1:构建随机污损模型:将图像随机污损,用于建立和扩增训练数据集,形成图像的污损区域的图像数据;
步骤S2:对污损图像的图像数据进行加载,所属加载包括污损图像的加载、正常图像的分割真值的加载;
步骤S3:构建污损图像融合分割模型:将CV模型用在神经网络的最后一层,使CV模型融入神经网络框架中,使CV模型升级为有监督方法;
步骤S4:在污损图像融合分割模型中输入污损图像利用U-Net网络结构进行前向训练,提取污损图像特征;
步骤S5:利用CV模型的能量函数完成误差反传更新网络参数;
步骤S6:通过多轮迭代学习之后,利用污损图像融合分割模型完成对污损图像的分割;
进一步的,所述步骤S1包括:
步骤S11:将图像数据转换为数字信息;
步骤S12:随机选取图像中某一像素点作为污损区域顶点;
步骤S13:以所述区域顶点分别向左、向下生成面积小于图像面积的污损区域;
步骤S14:将区域内的像素值随机替换为0~255之间的数值,达到污损的目的。
进一步的,所述步骤S4包括:
步骤S41:利用具有端到端操作的U-Net卷积神经网络接受待分割的图像作为输入;
步骤S42:经过图像特征提取降采样与特征图升采样两个阶段,将内容复杂的待分割图像变换为适合水平集方法分割的特征图。
进一步的,所述神经网络为全卷积神经网络,全卷积神经网络由卷积神经网络发展而来,卷积神经网络以其局部权值共享的特殊结构以及良好的容错能力、并行处理能力和自学习能力被广泛应用于对象检测、语义分割等诸多计算机视觉领域。当输入多维度图像时,避免了传统识别算法中特征提取和数据重建的过程,使得计算更加简洁。且还具有分层学习的能力,通过卷积神经网络学习得到的特征相对于人工设计特征具有更强的判别能力和泛化能力。全卷积神经网络基本结构为输入层、卷积层、池化层以及全连接层;卷积层通过权值共享得到每个神经元的输出,将其叠加得到卷积层的输出:
经过卷积层处理后得到的图像特征图会包含一些无用的信息,这些信息会降低算法性能,此时通过池化层操作对图像进行降维处理,减少数据量的同时保存图像有用信息,最后经过全连接层的SOFTMAX函数完成像素分类。
进一步的,步骤S5中所述利用CV模型的能量函数完成更新网络参数,是通过CV模型的水平集函数驱动轮廓演化完成对特征图的分割。水平集方法是通过将高一维度的水平集函数的零水平集作为演化的曲线,使用零水平集作为活动轮廓,可将图像划分为内侧与外侧两个区域。
更进一步,所述水平集函数为
其中φ(x,y)=0就表示了演化的活动轮廓,φ(x,y)>0表示轮廓以内区域,φ(x,y)<0表示轮廓以外的区域,当演化终止,contour就是目标的边缘,即分割结果。
进一步的,所述步骤S6中迭代学习包括:
步骤S61:神经网络对输入污损图像进行特征提取,得到适合CV模型分割的特征图;
步骤S62:CV模型中水平集函数驱动轮廓演化,得到本次迭代的输出,并通过梯度下降完成最小化CV模型的能量函数以及神经网络参数更新工作;
步骤S63:将上一轮迭代输出的结果作为本次迭代的输入,继续步骤S61至步骤S63;
步骤S64:直到CV模型的能量函数达到最小值时停止迭代,得到污损图像的准确分割。
本发明相对于现有技术所产生的有益效果为。
本发明提供的融合深度神经网络以及CV模型的污损图像分割方法,针对CV模型无法分割污损图像问题,利用深度神经网络的学习能力,将污损图像提取为CV模型可分割的特征图;在将神经网络的有监督特性融入CV模型使其具有学习特性可分割污损图像的同时,也将CV模型的无监督特性融入神经网络中,使得神经网络可在少量训练样本的情况下得到准确的映射关系。本发明不仅可以针对污损图像分割研究几种混合模型,而且进一步拓展卷积神经网络的应用范围,同时也可为图像分割提出一种全新的思路,从而为机器视觉的研究奠定更为坚实的基础。
附图说明
图1是依照本发明实施例的融合深度神经网络和CV模型的污损图像分割流程图。
图2是依照本发明实施例的融合深度神经网络和CV模型的污损图像分割模型结构图。
图3是依照本发明实施例的融合深度神经网络和CV模型的污损图像分割模型迭代过程图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白,结合实施例和附图,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。下面结合实施例及附图详细说明本发明的技术方案,但保护范围不被此限制。
如图1-3,为一种融合深度神经网络与CV模型的污损图像分割方法,具体为以下步骤:
步骤S1:实现随机污损模型的定义,包括污损图像的生成、污损图像的判定;
随机污损模型的构建,用于将图像随机污损,可用来建立和扩增训练数据集,目前还不存在公开的污损图像数据集,我们发明的图像随机污损模型,可以对目前存在的公开数据集进行污损,不仅可以创造污损数据集,还可以为判别图像是否属于污损提供依据,具体污损步骤包括:
步骤S11:将图像数据转换为数字信息;
步骤S12:随机选取图像中某一像素点作为污损区域顶点;
步骤S13:以该点作为区域顶点分别向左、向下生成面积小于图像面积的污损区域;
步骤S14:将区域内的像素值随机替换为0~255之间的数值,达到污损的目的。
步骤S2:对污损图像的相关图像数据进行加载,包括污损图像的加载、正常图像的分割真值的加载,将相关图像数据加载到融合模型中,将开始分割的迭代的过程。
步骤S3:实现污损图像融合分割模型的定义,包括神经网络的定义、基于水平集方法的CV模型的定义;
污损图像融合分割模型的定义,将有监督的神经网络与无监督的CV模型相结合,将CV模型用在神经网络的最后一层,将其融入神经网络框架中,使其升级为有监督方法,构架融合型污损图像分割模型。
步骤S4:在融合模型中输入污损图像利用U-Net网络结构进行前向训练,提取污损图像特征。具体包括如下步骤:
步骤S41:利用具有端到端操作的U-Net卷积神经网络接受待分割的图像作为输入;
步骤S42:经过图像特征提取降采样与特征图升采样两个阶段,将内容复杂的待分割图像变换为适合水平集方法分割的特征图;
对输入图像进行卷积操作,每次的下采样操作均被保存,并用于后续的升采样工作,通过反卷积层,对卷积结果进行升采样,将其恢复至输入的原始尺寸,得到适合水平集方法分割的特征图。
步骤S5:利用CV模型的能量函数完成误差反传更新网络参数;
水平集方法是通过将高一维度的水平集函数的零水平集作为演化的曲线,使用零水平集作为活动轮廓,可将图像划分为内侧与外侧两个区域,总结为如下形式:
其中φ(x,y)=0就表示了演化的活动轮廓,φ(x,y)>0表示轮廓以内区域,φ(x,y)<0表示轮廓以外的区域,当演化终止,contour就是目标的边缘,即分割结果。
步骤S6:通过多轮迭代学习之后,利用融合模型完成对污损图像的分割。具体包括如下步骤:
步骤S61:神经网络对输入污损图像进行特征提取,得到适合CV模型分割的特征图;
步骤S62:CV模型中水平集函数驱动轮廓演化,得到本次迭代的输出,并通过梯度下降完成最小化CV模型的能量函数以及神经网络参数更新工作;
步骤S63:将上一轮迭代输出的结果作为本次迭代的输入,继续步骤S61-步骤S63
步骤S64:直到CV模型的能量函数达到最小值时停止迭代,得到污损图像的准确分割;
CV模型中的水平集函数与深度神经网络技术的迭代过程,均基于梯度下降方法,前者将梯度下降用于最小化关于水平集函数的能量泛函,而深度学习方法将梯度下降用于最小化损失函数和误差反传,二者具有共通性。因此,本发明将深度神经网络与基于水平集方法的CV模型整合进同一个深度学习框架中。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明,不能认定本发明的具体实施方式仅限于此,对于本发明所属技术领域的普通技术人员来说,在不脱离本发明的前提下,还可以做出若干简单的推演或替换,都应当视为属于本发明由所提交的权利要求书确定专利保护范围。
Claims (6)
1.一种融合深度神经网络与CV模型的污损图像分割方法,其特征在于,包括以下具体步骤:
步骤S1:构建随机污损模型:将图像随机污损,用于建立和扩增训练数据集,形成图像的污损区域的图像数据;包括:
步骤S11:将图像数据转换为数字信息;
步骤S12:随机选取图像中某一像素点作为污损区域顶点;
步骤S13:以所述区域顶点分别向左、向下生成面积小于图像面积的污损区域;
步骤S14:将区域内的像素值随机替换为0~255之间的数值,达到污损的目的;
步骤S2:对污损图像的图像数据进行加载,所属加载包括污损图像的加载、正常图像的分割真值的加载;
步骤S3:构建污损图像融合分割模型:将CV模型用在神经网络的最后一层,使CV模型融入神经网络框架中,使CV模型升级为有监督方法;
步骤S4:在污损图像融合分割模型中输入污损图像利用U-Net网络结构进行前向训练,提取污损图像特征;
步骤S5:利用CV模型的能量函数完成误差反传更新网络参数;
步骤S6:通过多轮迭代学习之后,利用污损图像融合分割模型完成对污损图像的分割。
2.根据权利要求1所述的一种融合深度神经网络与CV模型的污损图像分割方法,其特征在于,所述步骤S4包括:
步骤S41:利用具有端到端操作的U-Net卷积神经网络接受待分割的图像作为输入;
步骤S42:经过图像特征提取降采样与特征图升采样两个阶段,将内容复杂的待分割图像变换为适合水平集方法分割的特征图。
4.根据权利要求1所述的一种融合深度神经网络与CV模型的污损图像分割方法,其特征在于,步骤S5中所述利用CV模型的能量函数完成更新网络参数,是通过CV模型的水平集函数驱动轮廓演化完成对特征图的分割。
6.根据权利要求1所述的一种融合深度神经网络与CV模型的污损图像分割方法,其特征在于,所述步骤S6中迭代学习包括:
步骤S61:神经网络对输入污损图像进行特征提取,得到适合CV模型分割的特征图;
步骤S62:CV模型中水平集函数驱动轮廓演化,得到本次迭代的输出,并通过梯度下降完成最小化CV模型的能量函数以及神经网络参数更新工作;
步骤S63:将上一轮迭代输出的结果作为本次迭代的输入,继续步骤S61至步骤S63;
步骤S64:直到CV模型的能量函数达到最小值时停止迭代,得到污损图像的准确分割。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010653706.3A CN111915621B (zh) | 2020-07-08 | 2020-07-08 | 一种融合深度神经网络与cv模型的污损图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010653706.3A CN111915621B (zh) | 2020-07-08 | 2020-07-08 | 一种融合深度神经网络与cv模型的污损图像分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111915621A CN111915621A (zh) | 2020-11-10 |
CN111915621B true CN111915621B (zh) | 2022-08-05 |
Family
ID=73226786
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010653706.3A Active CN111915621B (zh) | 2020-07-08 | 2020-07-08 | 一种融合深度神经网络与cv模型的污损图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111915621B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105894490A (zh) * | 2015-11-05 | 2016-08-24 | 广西师范大学 | 基于模糊积分多分类器融合的宫颈细胞图像识别方法及装置 |
CN107886514A (zh) * | 2017-11-22 | 2018-04-06 | 浙江中医药大学 | 基于深度残差网络的乳腺钼靶图像肿块语义分割方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10664728B2 (en) * | 2017-12-30 | 2020-05-26 | Wipro Limited | Method and device for detecting objects from scene images by using dynamic knowledge base |
US11199506B2 (en) * | 2018-02-21 | 2021-12-14 | Applied Materials Israel Ltd. | Generating a training set usable for examination of a semiconductor specimen |
-
2020
- 2020-07-08 CN CN202010653706.3A patent/CN111915621B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105894490A (zh) * | 2015-11-05 | 2016-08-24 | 广西师范大学 | 基于模糊积分多分类器融合的宫颈细胞图像识别方法及装置 |
CN107886514A (zh) * | 2017-11-22 | 2018-04-06 | 浙江中医药大学 | 基于深度残差网络的乳腺钼靶图像肿块语义分割方法 |
Non-Patent Citations (3)
Title |
---|
《Multi-region sequencing unveils novel actionable targets and spatial heterogeneity in esophageal squamous cell carcinoma》;Yan Ting;《Nature Communications》;20190131;全文 * |
《OCT影像下血管内膜提取及纤维斑块识别研究》;时亚松;《信息科技》;20170315;全文 * |
《宫颈细胞图像分割与识别算法研究》;王爽;《信息科技》;20180315;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111915621A (zh) | 2020-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112330682B (zh) | 一种基于深度卷积神经网络的工业ct图像分割方法 | |
CN108764292B (zh) | 基于弱监督信息的深度学习图像目标映射及定位方法 | |
CN111028217A (zh) | 一种基于全卷积神经网络的图像裂缝分割方法 | |
CN111079532A (zh) | 一种基于文本自编码器的视频内容描述方法 | |
CN112488025B (zh) | 基于多模态特征融合的双时相遥感影像语义变化检测方法 | |
CN113705769A (zh) | 一种神经网络训练方法以及装置 | |
CN111160217B (zh) | 一种行人重识别系统对抗样本生成方法及系统 | |
CN110210493B (zh) | 基于非经典感受野调制神经网络的轮廓检测方法及系统 | |
CN112766280A (zh) | 一种基于图卷积的遥感图像道路提取方法 | |
CN115222946B (zh) | 一种单阶段实例图像分割方法、装置以及计算机设备 | |
CN114092760A (zh) | 卷积神经网络中自适应特征融合方法及系统 | |
Wu et al. | Optimized deep learning framework for water distribution data-driven modeling | |
CN110599459A (zh) | 基于深度学习的地下管网风险评估云系统 | |
CN114330541A (zh) | 道路交通事故风险预测深度学习算法 | |
CN112101364A (zh) | 基于参数重要性增量学习的语义分割方法 | |
CN113920516A (zh) | 一种基于孪生神经网络的书法字骨架匹配方法及系统 | |
CN109242029A (zh) | 识别分类模型训练方法和系统 | |
CN116258990A (zh) | 一种基于跨模态亲和力的小样本参考视频目标分割方法 | |
CN114882278A (zh) | 一种基于注意力机制和迁移学习的轮胎花纹分类方法和装置 | |
CN111915621B (zh) | 一种融合深度神经网络与cv模型的污损图像分割方法 | |
CN116778164A (zh) | 一种基于多尺度结构改进DeeplabV3+网络的语义分割方法 | |
CN116433980A (zh) | 脉冲神经网络结构的图像分类方法、装置、设备及介质 | |
CN117011219A (zh) | 物品质量检测方法、装置、设备、存储介质和程序产品 | |
CN111652079B (zh) | 应用于流动人群的表情识别方法、系统及存储介质 | |
CN115131556A (zh) | 一种基于深度学习的图像实例分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |