CN112215859A - 一种基于深度学习和邻接约束的纹理边界检测方法 - Google Patents

一种基于深度学习和邻接约束的纹理边界检测方法 Download PDF

Info

Publication number
CN112215859A
CN112215859A CN202010988859.3A CN202010988859A CN112215859A CN 112215859 A CN112215859 A CN 112215859A CN 202010988859 A CN202010988859 A CN 202010988859A CN 112215859 A CN112215859 A CN 112215859A
Authority
CN
China
Prior art keywords
texture
boundary
adjacent
texture boundary
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010988859.3A
Other languages
English (en)
Other versions
CN112215859B (zh
Inventor
凌云
李彪
刘春晓
章理登
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Gongshang University
Original Assignee
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gongshang University filed Critical Zhejiang Gongshang University
Priority to CN202010988859.3A priority Critical patent/CN112215859B/zh
Publication of CN112215859A publication Critical patent/CN112215859A/zh
Application granted granted Critical
Publication of CN112215859B publication Critical patent/CN112215859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于计算机视觉领域，涉及一种基于深度学习和邻接约束的纹理边界检测方法。该方法利用卷积神经网络实现邻接纹理边界检测，所述该方法模拟原始图像到标签图像的映射来实现邻接纹理边界检测，其实施步骤为设计基于编码器和解码器的卷积神经网络、训练数据合成、图像预处理、训练参数设置和训练模型；本方法提出邻接纹理边界的概念，并且根据所提定义制作了相对应的数据集，避免了人工标注的数据集所带来的误差；并且通过邻接约束得到邻接纹理边界的预测结果，邻接约束利用的是边缘点和相邻像素之间的关系，从而提高纹理边界像素的鉴别力。当前人工训练数据不够准确所带来的边界检测细节丢失、边界过粗等问题，提高了边界检测的精度。

Description

一种基于深度学习和邻接约束的纹理边界检测方法
技术领域
本发明属于计算机视觉领域，更具体的，涉及一种基于深度学习和邻接约束的纹理边界检测方法。
技术背景
边缘检测的主要目的是为了获取图像中亮度变化明显的点，即边缘点，这些点组成了一幅图像的边缘信息，这些边缘信息在许多图像处理技术中起着重要作用。目前的方法主要分为两类，第一类算法是以大量的数学，数字信号处理，信息论以及色度学的相关知识为基础的传统算法，比较有代表性的工作有Canny、Sobel算子等；第二类算法是基于深度学习的监督算法，以数据为驱动，学习样本数据内在的规律变化，对计算机视觉领域的发展起到了巨大的推动作用；主要的基于深度学习的边缘检测算法有HED、RCF等，在算法性能上超越了传统算法，成为近期边缘检测技术研究的主流方式。
虽然边缘检测技术起步较早，但是依然存在很多局限性，其中比较突出的一个局限性是对于边缘的定义相对模糊，这也导致了目前的检测方法难以泛化。通常意义上的边缘是一条单像素的线条，但是我们通过定量分析发现，其实并不存在边缘像素；例如一块红色和一块蓝色之间的一条边界，但是从像素级别来看，并没有任何像素点属于这条边界，因为从类别上分析，它们只能属于红色像素类或者蓝色像素类，并不存在中间类，所谓的边缘只是人视觉上产生的效果，并不真实存在。因此可以认为边缘点是成对出现的，最外层的蓝色像素和红色像素共同构成了边缘。在此基础上我们提出了邻接约束纹理边界的概念：两种或两种以上的纹理相接触会产生边界，这条纹理边界上的边界点是像素的集合，每一个边界点都包含两个以上不同类的像素点，我们称这种边界点为邻接纹理边界点。
发明内容
为了解决边缘检测领域边缘点定义模糊的问题，本发明提出了一个全新的纹理边界点定义：两种或两种以上的纹理相接触会产生纹理边界，这条边界上的边界点是像素的集合，每一个边界点都包含两个以上不同类的像素点，我们称这种边缘点为邻接纹理边界点。同时根据提出的全新的邻接纹理边界定义自动合成了纹理一致性边界检测数据集；最后提供了一种基于深度学习和邻接约束的纹理边界检测方法。
本发明是一种基于深度学习的纹理一致性的邻接纹理边界检测方法，该方法利用深度学习神经网络实现邻接纹理边界检测，所述该方法模拟原始图像到标签图像的映射来实现邻接纹理边界检测，设定映射函数为f，该方法可以用以下公式表示：
M＝f(I)
其中，M是对应原始图像I的邻接纹理边界检测结果，f代表原始图像到邻接纹理边界检测结果的映射函数。
本发明所采用的技术方案如下：
一种基于深度学习和邻接约束的纹理边界检测方法，其特征在于，该方法模拟原始图像到标签图像的映射关系来实现图像的邻接纹理边界检测，其实施步骤为：
步骤一：设计基于编码器解码器结构的神经网络，编码器和解码器之间通过跳跃方式连接；
所述步骤一中，解码器的结构来自于ResNet，解码器的结构来自于U-Net的解码器。
步骤二：使用邻接纹理边界数据合成器生成符合邻接纹理边界特征的纹理合成图像(如图2所示)和对应的带有类别的邻接纹理边界均值图(如图3所示)；
所述步骤二中邻接纹理边界数据合成器，是使用python、opencv、qt5编写的一个自定义邻接纹理边界数据合成器。
所述步骤二中邻接纹理边界特征，表示两种或两种以上的纹理相接触会产生纹理边界，这条纹理边界上的边界点是像素的集合，每一个边界点都包含两个或两个以上不同类的像素点。
所述步骤二中自定义邻接纹理边界数据合成器的输入是一张有闭合区域的结构图，通过该合成器可以自动填充纹理，生成纹理合成图和对应的带有类别的邻接纹理边界均值图，所述的带有类别的邻接纹理边界均值图中，属于边界的像素点都带上了类别标签，用于区分属于哪一类纹理，非边界像素点的像素值使用该纹理的像素均值代替。
步骤三：图像预处理，根据带类别的邻接纹理边界均值图得到无类别的邻接纹理边界图(如图4所示)，进一步根据有类别的邻接纹理边界图和无类别的邻接纹理边界图得到邻接约束信息图组；将步骤二中合成的符合邻接纹理边界特征的纹理合成图像作为训练数据并且将其RGB三通道的值压缩到[0,1]的范围，截取规定大小的图像块作为训练图像，并按照同样的方法截取对应的真实标签；
Figure BDA0002690166880000021
其中Inew、Iori分别代表变换前后的图像像素值；
所述的步骤三的无类别邻接纹理边界图为二值图，属于边界的像素点的灰度值被赋值为255，属于纹理的像素点的灰度值被赋值为0；
所述的步骤三的邻接约束信息图组，针对一个纹理合成图，生成八张邻接约束信息图yi(i∈[1,8]),分别对应边界像素点和其八邻域内像素点的关系，对应的顺序为左上、正上、右上、右中、右下、正下、左下和左中,每张图有两个通道，第一个通道表示是否同为边界点，如果是则赋值为255，反之赋值为0；第二个通道表示是否为同类纹理点，如果是则赋值为255，反之赋值为0。
所述的步骤三中，规定大小值的是截取得到的图像分辨率为320×320，选取截取区域的方法为有重叠的随机采样；
步骤四：训练参数设置，训练的优化器为Adam，初始学习率为10-2，一阶矩估计的指数衰减率为0.9，二阶矩估计的指数衰减率为0.999，若模型性能在5轮训练中未得到提高，则学习率衰减为原来的一半，总共训练100轮，样本批处理参数默认设置为32；
步骤五：训练模型，将步骤三中处理的纹理合成图输入模型通过损失函数计算输出；
步骤五：训练模型，将步骤三中处理得到的训练图像输入模型通过损失函数计算损失，并输出网络预测的无类别纹理边界概率图和邻接约束信息图组，其中无类别纹理边界概率图即最终需要的纹理边界检测结果；
所述步骤五是在深度学习框架上实现和训练。
所述的深度学习框架为tensorflow；
所述模型的解码器中均采用亚像素卷积(Sub-Pixel Convolution)，用来代替双线性插值上采样，该模块输入r2个通道的特征图，将特征图上对应位置像素排列成一个r*r的区域，从而将r2*H*W的特征图重新排列成为1*rH*rW大小的上采样特征图，其中H和W分别表示特征图的长和宽；
所述解码器的输出为与训练图像对应的八张邻接约束信息图和一张无类别纹理边界概率图，这些预测输出图像具有和训练图像相同的尺寸(320×320)，每个输出受与之相对应的损失函数的的约束，整个网络的损失函数表达式为：
Figure BDA0002690166880000031
其中Ltotal表示网络整体的损失函数，Li(i∈[1,8])表示对应第i张邻接约束信息图的损失函数，Ledge表示无类别邻接纹理边界的损失函数，λ1和λ2分别对应八张邻接约束信息图和无类别邻接纹理边界图的损失函数权重，用于权衡输出，分别设置为1和10。
Li(i∈[1,8])均为带有权重的交叉熵损失函数，其数学公式如下：
Figure BDA0002690166880000032
yi表示第i张邻接约束信息图的真实标签，
Figure BDA0002690166880000034
表示对第i张邻接约束信息图的预测结果，N表示yi中像素点个数，
Figure BDA0002690166880000033
分别表示该邻接约束信息图真实标签中一致性和不一致性点的权重，若真实标签的值为1则表示一致性，反之表示不一致性，其公式如下：
Figure BDA0002690166880000041
Figure BDA0002690166880000042
Ledge所使用的损失函数均为带有权重的交叉熵损失函数，其数学公式如下：
Figure BDA0002690166880000043
yedge和
Figure BDA0002690166880000044
分别表示无类别邻接纹理边界图真实标签和其预测结果，Nedge表示yedge中像素点个数，
Figure BDA0002690166880000045
分别表示边界像素点和非边界像素点的权重，其公式如下：
Figure BDA0002690166880000046
Figure BDA0002690166880000047
所述的步骤五中输出的数据通过深度学习框架库提供的反向传播算法(Backpropagation algorithm)进行网络参数更新。
所述步骤五输出的结果收敛时，步骤五停止。
步骤六：对待检测图像用邻接纹理边界检测模型进行检测，得到与待检测图像大小一致的初始邻接纹理边界概率预测图，将其重新映射到[0,255]之间，得到最终的邻接纹理边界图，像素值为超过阈值的像素点代表纹理边界点；
所述的步骤六中的待检测图像是真实图像，所述的阈值用于判断预测结果中像素点是否为纹理边界像素的，通常情况下为127。
本发明一种基于深度学习和邻接约束的纹理边界检测方法，该方法利用卷积神经网络实现邻接纹理边界检测，所述该方法模拟原始图像到标签图像的映射来实现邻接纹理边界检测，其实施步骤为设计基于编码器和解码器的卷积神经网络、训练数据合成、图像预处理、训练参数设置和训练模型；本方法提出邻接纹理边界的概念，并且根据所提定义制作了相对应的数据集，避免了人工标注的数据集所带来的误差；并且通过邻接约束得到邻接纹理边界的预测结果，邻接约束利用的是边缘点和相邻像素之间的关系，从而提高纹理边界像素的鉴别力。当前人工训练数据不够准确所带来的边界检测细节丢失、边界过粗等问题，提高了边界检测的精度。
本发明的有益效果是：通过重新定义边缘，合成了邻接纹理边界数据集，避免了人工数据集存在的问题，并且针对之前的基于深度学习的边缘检测算法所遇到的问题，在深度学习模型中提出了相对于的策略，同时结合邻接纹理边界的特点，提出了邻接纹理边界领域信息图，充分体现了邻接纹理边界定义中同类边界像素和不同类边界像素的关系，最后根据深度学习模型预测出待检测图片的邻接纹理边界领域信息图从而得到最终的检测结果。
附图说明
图1是本发明提出的一种基于深度学习和邻接约束的纹理边界检测方法中的神经网络结构示意图。
图2是纹理合成图。
图3是邻接纹理边界均值图。
图4是无类别邻接纹理边界图。
具体实施方式
为了使本发明实现的技术手段、创新特征、达成目的与功效易于明白了解，下面结合图示与具体实施实例，进一步阐述本发明。
参照图1，本发明是一种基于深度学习的纹理一致性的邻接纹理边界检测方法，该方法利用深度学习神经网络实现邻接纹理边界检测，所述该方法模拟原始图像到标签图像的映射来实现邻接纹理边界检测，设定映射函数为f，该方法可以用以下公式表示：
M＝f(I)
其中，M是对应原始图像I的邻接纹理边界检测结果，f代表原始图像到邻接纹理边界检测结果的映射函数。本方案中，用深度学习网络来模拟映射函数f，并用训练的方式学习其参数，其具体实施步骤为：
步骤一：设计基于编码器解码器结构的神经网络，编码器和解码器之间通过跳跃方式连接；
所述步骤一中，解码器的结构来自于ResNet，解码器的结构来自于U-Net的解码器。
步骤二：使用邻接纹理边界数据合成器生成符合邻接纹理边界特征的纹理合成图像(如图2所示)和对应的带有类别的邻接纹理边界均值图(如图3所示)；
所述步骤二中邻接纹理边界数据合成器，是使用python、opencv、qt5编写的一个自定义邻接纹理边界数据合成器。
所述步骤二中邻接纹理边界特征，表示两种或两种以上的纹理相接触会产生纹理边界，这条纹理边界上的边界点是像素的集合，每一个边界点都包含两个或两个以上不同类的像素点。
所述步骤二中自定义邻接纹理边界数据合成器的输入是一张有闭合区域的结构图，通过该合成器可以自动填充纹理，生成纹理合成图和对应的带有类别的邻接纹理边界均值图，所述的带有类别的邻接纹理边界均值图中，属于边界的像素点都带上了类别标签，用于区分属于哪一类纹理，非边界像素点的像素值使用该纹理的像素均值代替。
步骤三：图像预处理，根据带类别的邻接纹理边界均值图得到无类别的邻接纹理边界图(如图4所示)，进一步根据有类别的邻接纹理边界图和无类别的邻接纹理边界图得到邻接约束信息图组；将步骤二中合成的符合邻接纹理边界特征的纹理合成图像作为训练数据并且将其RGB三通道的值压缩到[0,1]的范围，截取规定大小的图像块作为训练图像，并按照同样的方法截取对应的真实标签；
Figure BDA0002690166880000061
其中Inew、Iori分别代表变换前后的图像像素值；
所述的步骤三的无类别邻接纹理边界图为二值图，属于边界的像素点的灰度值被赋值为255，属于纹理的像素点的灰度值被赋值为0；
所述的步骤三的邻接约束信息图组，针对一个纹理合成图，生成八张邻接约束信息图yi(i∈[1,8]),分别对应边界像素点和其八邻域内像素点的关系，对应的顺序为左上、正上、右上、右中、右下、正下、左下和左中,每张图有两个通道，第一个通道表示是否同为边界点，如果是则赋值为255，反之赋值为0；第二个通道表示是否为同类纹理点，如果是则赋值为255，反之赋值为0。
所述的步骤三中，规定大小值的是截取得到的图像分辨率为320×320，选取截取区域的方法为有重叠的随机采样；
步骤四：训练参数设置，训练的优化器为Adam，初始学习率为10-2，一阶矩估计的指数衰减率为0.9，二阶矩估计的指数衰减率为0.999，若模型性能在5轮训练中未得到提高，则学习率衰减为原来的一半，总共训练100轮，样本批处理参数默认设置为32；
步骤五：训练模型，将步骤三中处理得到的训练图像输入模型通过损失函数计算损失，并输出网络预测的无类别纹理边界概率图和邻接约束信息图组，其中无类别纹理边界概率图即最终需要的纹理边界检测结果；
所述步骤五是在深度学习框架上实现和训练；
所述的深度学习框架为tensorflow；
所述解码器中均采用亚像素卷积(Sub-Pixel Convolution)，用来代替双线性插值上采样，该模块输入r2个通道的特征图，将特征图上对应位置像素排列成一个r*r的区域，从而将r2*H*W的特征图重新排列成为1*rH*rW大小的上采样特征图，其中H和W分别表示特征图的长和宽；
所述解码器的输出为与训练图像对应的八张邻接约束信息图和一张无类别纹理边界概率图，这些预测输出图像具有和训练图像相同的尺寸(320×320)，每个输出受与之相对应的损失函数的的约束，整个网络的损失函数表达式为：
Figure BDA0002690166880000071
其中Ltotal表示网络整体的损失函数，Li(i∈[1,8])表示对应第i张邻接约束信息图的损失函数，Ledge表示无类别邻接纹理边界的损失函数，λ1和λ2分别对应八张邻接约束信息图和无类别邻接纹理边界图的损失函数权重，用于权衡输出，分别设置为1和10。
Li(i∈[1,8])均为带有权重的交叉熵损失函数，其数学公式如下：
Figure BDA0002690166880000072
yi表示第i张邻接约束信息图的真实标签，
Figure BDA0002690166880000073
表示对第i张邻接约束信息图的预测结果，N表示yi中像素点个数，
Figure BDA0002690166880000074
分别表示该邻接约束信息图真实标签中一致性和不一致性点的权重，若真实标签的值为1则表示一致性，反之表示不一致性，其公式如下：
Figure BDA0002690166880000075
Figure BDA0002690166880000076
Ledge所使用的损失函数均为带有权重的交叉熵损失函数，其数学公式如下：
Figure BDA0002690166880000077
yedge和
Figure BDA0002690166880000078
分别表示无类别邻接纹理边界图真实标签和其预测结果，Nedge表示yedge中像素点个数，
Figure BDA0002690166880000079
分别表示边界像素点和非边界像素点的权重，其公式如下：
Figure BDA00026901668800000710
Figure BDA00026901668800000711
所述的步骤五中输出的数据通过深度学习框架库提供的反向传播算法(Backpropagation algorithm)进行网络参数更新。
所述步骤五输出的结果收敛时，步骤五停止。
步骤六：对待检测图像用邻接纹理边界检测模型进行检测，得到与待检测图像大小一致的初始邻接纹理边界概率预测图，将其重新映射到[0,255]之间，得到最终的邻接纹理边界图，像素值为超过阈值的像素点代表纹理边界点；
所述的步骤六中的待检测图像是真实图像，所述的阈值用于判断预测结果中像素点是否为纹理边界像素的，通常情况下为127。
以上展示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物限定。

Claims (10)

1.一种基于深度学习和邻接约束的纹理边界检测方法，其特征在于，该方法模拟原始图像到标签图像的映射关系来实现图像的邻接纹理边界检测，其实施步骤为：
步骤一：设计基于编码器解码器结构的邻接纹理边界检测网络；
步骤二：使用邻接纹理边界数据合成器合成符合邻接纹理边界特征的纹理合成图像和对应的带有类别的邻接纹理边界均值图；
步骤三：图像预处理，根据带有类别的邻接纹理边界均值图得到无类别的邻接纹理边界图，进一步根据带有类别的邻接纹理边界均值图和无类别的邻接纹理边界图得到邻接约束信息图组；将步骤二中合成的符合邻接纹理边界特征的纹理合成图像作为训练数据并且将其RGB三通道的值压缩到[0,1]的范围，截取规定大小的图像块作为训练图像，并按照同样的方法截取对应的真实标签；
步骤四：训练参数设置，训练的优化器为Adam，初始学习率为10-2，一阶矩估计的指数衰减率为0.9，二阶矩估计的指数衰减率为0.999，若模型性能在5轮训练中未得到提高，则学习率衰减为原来的一半，总共训练100轮，样本批处理参数默认设置为32；
步骤五：在深度学习框架上实现和训练步骤一中的基于编码器解码器结构的邻接约束纹理边界检测网络模型，并将步骤三中处理得到的训练图像输入模型通过损失函数计算损失，并输出网络预测的无类别纹理边界概率图和邻接约束信息图组，其中无类别纹理边界概率图即最终需要的纹理边界检测结果；
步骤六：对待检测图像使用步骤五中训练的基于编码器和解码器结构的邻接约束纹理边界检测网络模型进行检测，得到与待检测图像大小一致的初始邻接纹理边界概率预测图，将其重新映射到[0,255]之间，得到最终的邻接纹理边界图，像素值超过阈值的像素点代表纹理边界点。
2.如权利要求1中所述的一种基于深度学习和邻接约束的纹理边界检测方法，其特征在于，所述步骤二中邻接纹理边界数据合成器，是使用python、opencv、qt5编写的一个自定义邻接纹理边界数据合成器。
3.如权利要求1中所述的一种基于深度学习和邻接约束的纹理边界检测方法，其特征在于，所述步骤二中邻接纹理边界特征，表示两种或两种以上的纹理相接触会产生纹理边界，这条纹理边界上的边界点是像素的集合，每一个边界点都包含两个或两个以上不同类的像素点。
4.如权利要求1中所述的一种基于深度学习和邻接约束的纹理边界检测方法，其特征在于，所述步骤二中自定义邻接纹理边界数据合成器的输入是一张有闭合区域的结构图，通过该合成器可以自动填充纹理，生成纹理合成图和对应的带有类别的邻接纹理边界均值图，所述的带有类别的邻接纹理边界均值图中，属于边界的像素点都带上了类别标签，用于区分属于哪一类纹理，非边界像素点的像素值使用该纹理的像素均值代替。
5.如权利要求1中所述的一种基于深度学习和邻接约束的纹理边界检测方法，其特征在于，所述的步骤三的无类别邻接纹理边界图为二值图，属于边界的像素点的灰度值被赋值为255，属于纹理的像素点的灰度值被赋值为0。
6.如权利要求1中所述的一种基于深度学习和邻接约束的纹理边界检测方法，其特征在于，所述的步骤三的邻接约束信息图组，所述的步骤三的邻接约束信息图组，针对一个纹理合成图，生成八张邻接约束信息图yi(i∈[1,8]),分别对应边界像素点和其八邻域内像素点的关系，对应的顺序为左上、正上、右上、右中、右下、正下、左下和左中,每张图有两个通道，第一个通道表示是否同为边界点，如果是则赋值为255，反之赋值为0；第二个通道表示是否为同类纹理点，如果是则赋值为255，反之赋值为0。
7.如权利要求1中所述的一种基于深度学习和邻接约束的纹理边界检测方法，其特征在于，所述的步骤三中，截取方法为有重叠的随机采样，真实标签为对应的无类别邻接纹理边界图和邻接约束信息图组。
8.如权利要求1中所述的一种基于深度学习和邻接约束的纹理边界检测方法，其特征在于，所述步骤五的深度学习框架为tensorflow。
9.如权利要求1中所述的一种基于深度学习和邻接约束的纹理边界检测方法，其特征在于，所述的步骤五中输出的数据通过深度学习框架库提供的反向传播算法进行网络参数更新，所述步骤五输出的结果收敛时，步骤五停止。
10.如权利要求1中所述的一种基于深度学习和邻接约束的纹理边界检测方法，其特征在于，所述的步骤六中所述的阈值是用于判断预测结果中像素点是否为纹理边界像素的，通常情况下为127。
CN202010988859.3A 2020-09-18 2020-09-18 一种基于深度学习和邻接约束的纹理边界检测方法 Active CN112215859B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010988859.3A CN112215859B (zh) 2020-09-18 2020-09-18 一种基于深度学习和邻接约束的纹理边界检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010988859.3A CN112215859B (zh) 2020-09-18 2020-09-18 一种基于深度学习和邻接约束的纹理边界检测方法

Publications (2)

Publication Number Publication Date
CN112215859A true CN112215859A (zh) 2021-01-12
CN112215859B CN112215859B (zh) 2023-08-18

Family

ID=74050494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010988859.3A Active CN112215859B (zh) 2020-09-18 2020-09-18 一种基于深度学习和邻接约束的纹理边界检测方法

Country Status (1)

Country Link
CN (1) CN112215859B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819823A (zh) * 2021-03-02 2021-05-18 中山大学 一种面向家具板材的圆孔检测方法、系统及装置
CN114897773A (zh) * 2022-03-31 2022-08-12 海门王巢家具制造有限公司 一种基于图像处理的扭曲木材检测方法及系统
CN115758258A (zh) * 2022-11-22 2023-03-07 西南交通大学 一种基于振动信号和领域知识的牵引变压器故障诊断方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018125580A1 (en) * 2016-12-30 2018-07-05 Konica Minolta Laboratory U.S.A., Inc. Gland segmentation with deeply-supervised multi-level deconvolution networks
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018125580A1 (en) * 2016-12-30 2018-07-05 Konica Minolta Laboratory U.S.A., Inc. Gland segmentation with deeply-supervised multi-level deconvolution networks
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邢妍妍;杨丰;唐宇姣;张利云;: "融合型UNet++网络的超声胎儿头部边缘检测", 中国图象图形学报, no. 02 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819823A (zh) * 2021-03-02 2021-05-18 中山大学 一种面向家具板材的圆孔检测方法、系统及装置
CN112819823B (zh) * 2021-03-02 2023-10-20 中山大学 一种面向家具板材的圆孔检测方法、系统及装置
CN114897773A (zh) * 2022-03-31 2022-08-12 海门王巢家具制造有限公司 一种基于图像处理的扭曲木材检测方法及系统
CN114897773B (zh) * 2022-03-31 2024-01-05 上海途巽通讯科技有限公司 一种基于图像处理的扭曲木材检测方法及系统
CN115758258A (zh) * 2022-11-22 2023-03-07 西南交通大学 一种基于振动信号和领域知识的牵引变压器故障诊断方法
CN115758258B (zh) * 2022-11-22 2023-12-12 西南交通大学 一种基于振动信号和领域知识的牵引变压器故障诊断方法

Also Published As

Publication number Publication date
CN112215859B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN110570396B (zh) 一种基于深度学习的工业产品缺陷检测方法
CN112215859B (zh) 一种基于深度学习和邻接约束的纹理边界检测方法
CN112465111B (zh) 一种基于知识蒸馏和对抗训练的三维体素图像分割方法
US11176715B2 (en) Method and system for color representation generation
CN109902600B (zh) 一种道路区域检测方法
CN110414387B (zh) 一种基于道路分割的车道线多任务学习检测方法
CN109886335B (zh) 分类模型训练方法及装置
CN111986125B (zh) 一种用于多目标任务实例分割的方法
CN110675368B (zh) 一种融合图像分割与分类的细胞图像语义分割方法
CN113554629A (zh) 基于人工智能的带钢红锈缺陷检测方法
CN112287941B (zh) 一种基于自动字符区域感知的车牌识别方法
CN112330593A (zh) 基于深度学习网络的建筑物表面裂缝检测方法
CN109740563B (zh) 一种面向视频监控的运动目标检测方法
CN111161224A (zh) 基于深度学习的铸件内部缺陷分级评估系统及方法
WO2022109922A1 (zh) 抠图实现方法、装置、设备及存储介质
CN111986126A (zh) 一种基于改进vgg16网络的多目标检测方法
CN114359631A (zh) 基于编码-译码弱监督网络模型的目标分类与定位方法
CN116109558A (zh) 基于颈部半透明厚度测量值筛查胎儿染色体异常的方法
KR102492843B1 (ko) 지리적 공간에 대한 시공간 데이터 분석 방법 및 장치
CN114998373A (zh) 基于多尺度损失函数的改进型U-Net云图分割方法
CN116030361A (zh) 一种基于cim-t架构的高分辨率影像变化检测方法
CN116612041A (zh) 基于超像素分析的低照度图像增强方法及系统
CN110189262B (zh) 基于神经网络以及直方图匹配的图像去雾方法
CN114332559A (zh) 一种基于自适应跨模态融合机制和深度注意力网络的rgb-d显著性目标检测方法
CN116958113A (zh) 一种产品检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant