CN116645524B - 边缘检测方法及图像分割方法 - Google Patents
边缘检测方法及图像分割方法 Download PDFInfo
- Publication number
- CN116645524B CN116645524B CN202310925687.9A CN202310925687A CN116645524B CN 116645524 B CN116645524 B CN 116645524B CN 202310925687 A CN202310925687 A CN 202310925687A CN 116645524 B CN116645524 B CN 116645524B
- Authority
- CN
- China
- Prior art keywords
- image
- edge
- feature
- features
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003708 edge detection Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000003709 image segmentation Methods 0.000 title claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000007499 fusion processing Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种边缘检测方法,所述方法包括:获取待检测图像,对所述待检测图像进行全局特征提取操作,以获取与所述待检测图像对应的第一边缘特征;对所述待检测图像进行局部特征提取操作,以获取与所述待检测图像对应的第二边缘特征;基于第一边缘特征和第二边缘特征进行特征融合处理,获取边缘概率图像,根据边缘概率图像确定所述待检测图像的边缘特征。本发明实施例还提供了一种基于前述边缘检测方法的图像分割方法,可以对图像中的边缘特征进行检测,并基于边缘检测结果进行图像分割。采用本发明,可以提高图像边缘检测的准确性。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种边缘检测方法及基于该边缘检测方法的图像分割方法。
背景技术
边缘检测是计算机视觉中最基本的问题之一,具有广泛的应用,例如图像分割、对象检测和视频对象分割。给定输入图像,边缘检测旨在提取精确的对象边界和视觉上显著的边缘。随着图像处理技术的发展,越来越多的图像处理算法用于对图像中的边缘进行检测。在相关技术方案中,Canny算子、Sobel算子、Laplace算子等算法均可以用于对图像中的边缘进行检测,但是这些算法大多是基于低水平的局部线索(例如颜色和纹理)获取边缘。进一步的,CNN卷积神经网络也可以对图像边缘进行检测,CNN的特点是随着感受野的扩大,逐步捕捉全局和语义的视觉概念,同时许多重要的细节不可避免地逐渐丢失,从而可以在一定程度下提高边缘检测的准确性。目前主流的深度学习边缘检测算法都是基于CNN的,为了包含图像的细节和局部信息通常是融合深层和浅层的特征。但是这些浅层信息是主要是反映了图像局部的强弱变化,并没有考虑上下文的信息。
也就是说,相关技术方案中的边缘检测方法的准确度有待提高。
发明内容
基于此,有必要针对上述问题,提出了一种边缘检测方法及基于该边缘检测方法的图像分割方法。
在本发明的第一部分,提供了一种边缘检测方法,所述方法包括:
获取待检测图像,对所述待检测图像进行全局特征提取操作,以获取与所述待检测图像对应的第一边缘特征;
对所述待检测图像进行局部特征提取操作,以获取与所述待检测图像对应的第二边缘特征;
基于第一边缘特征和第二边缘特征进行特征融合处理,获取边缘概率图像,根据边缘概率图像确定所述待检测图像的边缘特征。
可选的,所述对所述待检测图像进行全局特征提取操作,以获取与所述待检测图像对应的第一边缘特征的步骤,还包括:对所述待检测图像进行划分处理以得到多个第一图像块;通过预设的多个全局转换模块对所述多个第一图像块进行编码,得到多个转换之后的第一图像特征;对转换之后的第一图像特征进行分组,以得到多个第一阶段特征组,并确定每一个第一阶段特征组对应的输出特征;通过预设的全局解码器将多个第一阶段特征组对应的输出特征进行映射,获取对应的第一三维特征,对多个第一三维特征进行解码处理,获取待检测图像对应的多个边缘特征作为第一边缘特征。
可选的,所述通过预设的全局解码器对多个第一三维特征进行解码处理,获取待检测图像对应的多个边缘特征作为第一边缘特征的步骤之后,还包括:对所述多个边缘特征进行级联处理,以得到所述待检测图像对应的第一边缘图像,所述第一边缘图像为粗粒度边缘图像。
可选的,所述对转换之后的第一图像特征进行分组,以得到多个第一阶段特征组,并确定每一个第一阶段特征组对应的输出特征的步骤,还包括:在每一个第一阶段特征组中,将最后一个全局转换模块对应的图像特征作为该第一阶段特征组的输出特征。
可选的,所述通过预设的全局解码器将多个第一阶段特征组对应的输出特征进行映射,获取对应的第一三维特征,对多个第一三维特征进行解码处理,获取待检测图像对应的多个边缘特征作为第一边缘特征的步骤,还包括:基于1*1的卷积将多个第一阶段特征组对应的输出特征进行重塑处理,以得到对应的第一三维特征;对所述第一三维特征进行自顶向下和自底向上累加的方式进行聚合处理,以得到多个边缘特征作为第一边缘特征。
可选的,所述对所述待检测图像进行局部特征提取操作,以获取与所述待检测图像对应的第二边缘特征的步骤,还包括:对所述待检测图像进行划分以得到多个第二图像块;对每一个第二图像块进行划分以得到多个第三图像块;依次通过预设的局部转换模块对所述多个第三图像块进行编码,得到多个转换之后的第二图像特征;对第二图像特征进行分组,以得到多个第二阶段特征组,并确定每一个第二阶段特征组对应的输出特征;将多个第二阶段特征组对应的输出特征按照顺序进行连接,将连接后的特征进行映射处理,获取对应的第二三维特征;通过预设的局部解码器对第二三维特征进行解码处理,获取待检测图像对应的多个边缘特征作为第二边缘特征。
可选的,所述对第二图像特征进行分组,以得到多个第二阶段特征组,并确定每一个第二阶段特征组对应的输出特征的步骤,还包括:将每个第二阶段特征组中左后一个图像块的第二图像特征作为该第二阶段特征组对应的输出特征。
可选的,所述基于第一边缘特征和第二边缘特征进行特征融合处理,获取边缘概率图像的步骤,还包括:对所述第一边缘特征和第二边缘特征通过FFM层进行特征融合,以得到所述边缘概率图像。
可选的,所述根据边缘概率图像确定所述待检测图像的边缘特征的步骤,还包括:对所述边缘概率图像进行二值化处理,根据所述二值化处理后的图像确定所述待检测图像的边缘特征。
在本发明的第二部分,提供了一种图像分割方法,所述方法包括:
利用训练样本对预设的边缘检测模型进行模型训练,其中,所述边缘检测模型是基于本发明的第一部分所述的边缘检测方法的;
根据训练完成的边缘检测模型对所述待检测图像进行检测,以获取所述待检测图像的边缘检测结果;
基于边缘检测结果,对所述待检测图像进行图像分割。
采用本发明实施例,具有如下有益效果:
采用了上述一种边缘检测方法及基于该边缘检测方法的图像分割方法之后,对于待检测图像,对待检测图像进行全局特征提取操作,以获取粗粒度的全局的第一边缘特征;对待检测图像进行局部特征提取操作,以获取细粒度的局部的第二边缘特征;基于第一边缘特征和第二边缘特征进行特征融合处理,获取边缘概率图像,根据边缘概率图像确定待检测图像的边缘特征。基于该边缘特征可以准确的对图像中的边缘进行检测,基于边缘检测结果可以进一步的对图像中的对象进行分割。在本实施例中,通过融合边缘在全局上下文的边缘特征信息以及局部的边缘特征信息,可以在边缘检测方面达到更高精度,提高了边缘检测的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1为一个实施例中一种边缘检测方法的流程示意图;
图2为一个实施例中全局边缘特征的提取过程示意图;
图3为一个实施例中局部边缘特征的提取过程示意图;
图4为一个实施例中边缘检测过程的实现过程示意图;
图5为一个实施例中运行上述边缘检测方法的计算机设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本实施例中,提供了一种边缘检测方法,基于该边缘检测方法可以对图像中的边缘进行检测,根据检测到的边缘进行缺陷检测或图像分割。具体执行中,该边缘检测方法可以对推那个中的对象的边界或视觉上显著的边缘进行检测,即获取图像中的边缘特征信息。
具体的,请参见图1,上述边缘检测方法包括如图1所述的步骤S102-S106:
步骤S102:获取待检测图像,对所述待检测图像进行全局特征提取操作,以获取与所述待检测图像对应的第一边缘特征。
步骤S104:对所述待检测图像进行局部特征提取操作,以获取与所述待检测图像对应的第二边缘特征。
步骤S106:基于第一边缘特征和第二边缘特征进行特征融合处理,获取边缘概率图像,根据边缘概率图像确定所述待检测图像的边缘特征。
在本实施例中,待检测图像可以是任意的需要进行边缘检测的图像,例如是缺陷检测工序中的图像,也可以是需要进行对象提取或分割的图像。
在本实施例中,为了对待检测图像中的全局以及局部的边缘信息进行提取,以获取准确的边缘信息,需要对待检测图像进行步骤S102中的全局边缘特征的提取以及步骤S104中的局部的边缘特征的提取。
在步骤S102所示的第一阶段的全局边缘特征的提取中,需要执行如图2所示的步骤:
步骤S201:对所述待检测图像进行划分处理以得到多个第一图像块;
步骤S202:通过预设的多个全局转换模块对所述多个第一图像块进行编码,得到多个转换之后的第一图像特征;
步骤S203:对转换之后的第一图像特征进行分组,以得到多个第一阶段特征组,并确定每一个第一阶段特征组对应的输出特征;
步骤S204:通过预设的全局解码器将多个第一阶段特征组对应的输出特征进行映射,获取对应的第一三维特征,对多个第一三维特征进行解码处理,获取待检测图像对应的多个边缘特征作为第一边缘特征。
其中,所述通过预设的全局解码器将多个第一阶段特征组对应的输出特征进行映射,获取对应的第一三维特征,对多个第一三维特征进行解码处理,获取待检测图像对应的多个边缘特征作为第一边缘特征的步骤,还包括:基于1*1的卷积将多个第一阶段特征组对应的输出特征进行重塑处理,以得到对应的第一三维特征;对所述第一三维特征进行自顶向下和自底向上累加的方式进行聚合处理,以得到多个边缘特征作为第一边缘特征。
首先对待检测图像进行图像划分,以得到多个图像块patch(第一图像块),其中每个patch对应的大小为16*16。然后将划分得到的多个patch输入到多个Transformer block(全局转换模块)中进行处理,以获取每一个Transformer block对应的输出(第一图像特征z1g-z24g)。然后将24个第一图像特征z1g-z24g分成4组,也就是说,将第一图像特征z1g-z24g分成4个阶段,以得到4个第一阶段特征组。然后在每个阶段中,取每各分组中的最后一个Transformer block的输出来作为这个阶段的输出特征(第一阶段特征组对应的输出特征)。即,将第6个、12个、18个、24个Transformer block的输出输入到下一个步骤。这里,是将第6个、12个、18个、24个Transformer block的输出({z6g,z12g,z18g,z24g})输入到预设的全局解码器中进行解码。在这里,解码器的构造是将通过1*1的卷积将2D特征(第一阶段特征组对应的输出特征)重建(reshape)成3D图像特征(第一三维特征t6、t12、t18、t24)的形式(这里可以是将特征整形为尺寸为H 16×W 16× C的3D特征),然后对第一三维特征进行进一步的处理。具体的,从最低层(即z6 g)开始,通过在多级特征上附加一个3×3卷积层,逐渐接近顶层(即z24g),最终产生另外四个输出特征b6、b12、b18、b24。
这里采用了自顶向下路径和自底向上路径的双向路径,以促进变压器编码器中的信息流,从而获取了第一边缘特征t6、t12、t18、t24以及b6、b12、b18、b24。也就是说,解码器产生的8份特征图(已经上采样到原图大小)级联得到粗粒度的边缘图。
进一步的,对所述多个边缘特征进行级联处理,以得到所述待检测图像对应的第一边缘图像,所述第一边缘图像为粗粒度边缘图像。
具体操作中,通过一个解卷积块传递每个边缘特征,包含两个分别具有4×4核和16×16核的解卷积层,每个去卷积层之后都是批量归一化(BN)和ReLU操作。来自双向路径的八个上采样特征(边缘特征)然后被连接成一个张量,并使用额外的卷积层堆栈来平滑连接的要素,该堆栈由三个3×3卷积层和一个1×1卷积层以及BN和ReLU组成。
在经由步骤S102中的第一阶段的全局边缘特征的提取之后,进一步的执行步骤S104中的第二阶段的局部边缘特征的提取,具体需要执行如图3所示的步骤:
步骤S301:对所述待检测图像进行划分以得到多个第二图像块;
步骤S302:对每一个第二图像块进行划分以得到多个第三图像块;
步骤S303:依次通过预设的局部转换模块对所述多个第三图像块进行编码,得到多个转换之后的第二图像特征;
步骤S304:对第二图像特征进行分组,以得到多个第二阶段特征组,并确定每一个第二阶段特征组对应的输出特征;
步骤S305:将多个第二阶段特征组对应的输出特征按照顺序进行连接,将连接后的特征进行映射处理,获取对应的第二三维特征;通过预设的局部解码器对第二三维特征进行解码处理,获取待检测图像对应的多个边缘特征作为第二边缘特征。
将待检测图像进行图像划分,以得到X1、X2、X3、X4四块(多个第二图像块),然后针对每一个第二图像块继续进行图像划分,具体划分成多个8**的第三图像块(patch)。将划分得到的第三图像块进一步的输入到预设的局部转换模块(Transformer block)中进行编码处理,以得到多个转换之后的第二图像特征。具体的,首先将X1输入到Transformerblock,以得到是X1对应的第二图像特征{Z3r,Z6r,Z9r,Z12r};然后将X2输入到Transformer block,以得到是X2对应的第二图像特征{Z3r,Z6r,Z9r,Z12r};然后将X3输入到Transformer block,以得到是X3对应的第二图像特征{Z3r,Z6r,Z9r,Z12r};将X4输入到Transformer block,以得到是X4对应的第二图像特征{Z3r,Z6r,Z9r,Z12r}。也就是说,这里的Transformer block的个数是12个,可以更好的对局部的精细特征进行提取,并在一定程度上节省计算资源。
进一步的,将上述12个第二图像特征分成4个分组(第二阶段特征组),取每组左后一个块的输出特征作为该组对应的输出特征(第二阶段特征组对应的输出特征)。将X1、X2、X3、X4输出的四组特征{Z3r,Z6r,Z9r,Z12r}按照顺序连接,再重建(reshape)成3D形状(第二三维特征),然后将第二三维特征输入到预设的局部解码器中进行处理,以获取对应的多个边缘特征作为第二边缘特征。这里,局部解码器与前述的全局解码器的结构是类似的,但是在局部解码器中卷积核的大小是1*1,从而可以避免填充造成的人工边缘产生的部分,从而可以提到高分辨率的局部特征(第二边缘特征)。这里,步骤S104中也会如前面的步骤S102中一样,生成对应的8个第二边缘特征(对应8份特征图)。
在获取待第一边缘特征和第二边缘特征之后,为了提高边缘检测的准确度,需要综合考虑第一边缘特征对应的全局的图像上下文的特征信息以及第二边缘特征对应的细粒度的局部线索的特征信息,需要综合考虑第一边缘特征和第二边缘特征。具体的,基于第一边缘特征和第二边缘特征进行特征融合处理,获取边缘概率图像,其中,边缘概率图像包含了图像中的每个像素点是边缘点的概率。具体执行中,对所述第一边缘特征和第二边缘特征通过FFM层进行特征融合,以得到所述边缘概率图像。第二阶段产生的8份特征图与第一阶段产生的8份特征图通过FFM层进行特征融合,最后输出细粒度的边缘图。
进一步的,在本实施例中,在得到待检测图像的边缘概率图像之后,为了得到最终的边缘特征,需要对边缘概率图像进行进一步的后处理,具体的,根据边缘概率图像确定所述待检测图像的边缘特征,其中,对所述边缘概率图像进行二值化处理,根据所述二值化处理后的图像确定所述待检测图像的边缘特征。
具体请参见图4,其中,给出了前述边缘检测方法中,根据待检测图像得到边缘概率图的过程。
相较于相关技术方案中的边缘检测方法,本实施例提供的边缘检测方法可以将视觉转换器(ViT)直接将转换器用于图像补片序列,并将transformer block用于边缘检测,可以通过一个两阶段的框架,以可承受的计算成本来学习包含全局图像上下文和细粒度局部线索的特征。由于融合了全局上下文和局部线索,本实施例提供的边缘检测方法在边缘检测方面可以达到更高精度。
进一步的,在本实施例中还提供一种图像分割方法,该图像分割方法的实现是基于前述边缘检测方法实现的,其中,前述边缘检测方法对应了一边缘检测模型,基于训练样本可以对该边缘检测模型进行训练,以使得该边缘检测模型可以准确的对图像中的边缘进行检测,以得到对应的边缘检测结果。也就是说,通过将边缘训练样本预处理并使用边缘检测模型进行训练;使用训练好边缘检测模型对待预测样本(待检测图像),生成边缘概率图;对所述边缘概率图进行后处理,所述后处理包括二值化,以得到待检测图像的边缘检测结果。
具体的,在边缘检测模型的训练过程中,所述边缘检测模型的损失函数选择交叉熵分类损失,为图像中每个像素点进行分类,分为(是边缘、不是边缘)两类;沿用边缘检测常用的方式对网络多层级添加损失。在具体训练的过程中,先训练第一阶段,预测的第一边缘特征对应的边缘图与标记的分类结果做损失,全局解码器产生的8张特征图也与标记的分类结果做损失;当第一阶段训练完成,冻结第一阶段的网络参数,训练第二阶段损失与第一阶段类似,预测的第二边缘特征对应的边缘图与标记的分类结果做损失,摈弃给局部解码器的8张特征图与标记的分类结果做损失,以完成对两个阶段的模型的训练。
图5示出了一个实施例中实现上述边缘检测方法以及图像分割方法的计算机设备的内部结构图。该计算机设备具体可以是终端,也可以是服务器。如图5所示,该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现上述方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行上述方法。本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
采用了上述一种边缘检测方法及基于该边缘检测方法的图像分割方法之后,对于待检测图像,对待检测图像进行全局特征提取操作,以获取粗粒度的全局的第一边缘特征;对待检测图像进行局部特征提取操作,以获取细粒度的局部的第二边缘特征;基于第一边缘特征和第二边缘特征进行特征融合处理,获取边缘概率图像,根据边缘概率图像确定待检测图像的边缘特征。基于该边缘特征可以准确的对图像中的边缘进行检测,基于边缘检测结果可以进一步的对图像中的对象进行分割。在本实施例中,通过融合边缘在全局上下文的边缘特征信息以及局部的边缘特征信息,可以在边缘检测方面达到更高精度,提高了边缘检测的准确性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种边缘检测方法,其特征在于,所述方法包括:
获取待检测图像,对所述待检测图像进行全局特征提取操作,以获取与所述待检测图像对应的第一边缘特征;其中,对所述待检测图像进行划分处理以得到多个第一图像块;通过预设的多个全局转换模块对所述多个第一图像块进行编码,得到多个转换之后的第一图像特征;对转换之后的第一图像特征进行分组,以得到多个第一阶段特征组,并确定每一个第一阶段特征组对应的输出特征;通过预设的全局解码器将多个第一阶段特征组对应的输出特征进行映射,获取对应的第一三维特征,对多个第一三维特征进行解码处理,获取待检测图像对应的多个边缘特征作为第一边缘特征;
对所述待检测图像进行局部特征提取操作,以获取与所述待检测图像对应的第二边缘特征;其中,对所述待检测图像进行划分以得到多个第二图像块;对每一个第二图像块进行划分以得到多个第三图像块;依次通过预设的局部转换模块对所述多个第三图像块进行编码,得到多个转换之后的第二图像特征;对第二图像特征进行分组,以得到多个第二阶段特征组,并确定每一个第二阶段特征组对应的输出特征;将多个第二阶段特征组对应的输出特征按照顺序进行连接,将连接后的特征进行映射处理,获取对应的第二三维特征;通过预设的局部解码器对第二三维特征进行解码处理,获取待检测图像对应的多个边缘特征作为第二边缘特征;
基于第一边缘特征和第二边缘特征进行特征融合处理,获取边缘概率图像,根据边缘概率图像确定所述待检测图像的边缘特征。
2.根据权利要求1所述的边缘检测方法,其特征在于,所述通过预设的全局解码器对多个第一三维特征进行解码处理,获取待检测图像对应的多个边缘特征作为第一边缘特征的步骤之后,还包括:
对所述多个边缘特征进行级联处理,以得到所述待检测图像对应的第一边缘图像,所述第一边缘图像为粗粒度边缘图像。
3.根据权利要求1所述的边缘检测方法,其特征在于,所述对转换之后的第一图像特征进行分组,以得到多个第一阶段特征组,并确定每一个第一阶段特征组对应的输出特征的步骤,还包括:
在每一个第一阶段特征组中,将最后一个全局转换模块对应的图像特征作为该第一阶段特征组的输出特征。
4.根据权利要求1所述的边缘检测方法,其特征在于,所述通过预设的全局解码器将多个第一阶段特征组对应的输出特征进行映射,获取对应的第一三维特征,对多个第一三维特征进行解码处理,获取待检测图像对应的多个边缘特征作为第一边缘特征的步骤,还包括:
基于1*1的卷积将多个第一阶段特征组对应的输出特征进行重塑处理,以得到对应的第一三维特征;
对所述第一三维特征进行自顶向下和自底向上累加的方式进行聚合处理,以得到多个边缘特征作为第一边缘特征。
5.根据权利要求1所述的边缘检测方法,其特征在于,所述对第二图像特征进行分组,以得到多个第二阶段特征组,并确定每一个第二阶段特征组对应的输出特征的步骤,还包括:
将每个第二阶段特征组中左后一个图像块的第二图像特征作为该第二阶段特征组对应的输出特征。
6.根据权利要求1所述的边缘检测方法,其特征在于,所述基于第一边缘特征和第二边缘特征进行特征融合处理,获取边缘概率图像的步骤,还包括:
对所述第一边缘特征和第二边缘特征通过FFM层进行特征融合,以得到所述边缘概率图像。
7.根据权利要求1所述的边缘检测方法,其特征在于,所述根据边缘概率图像确定所述待检测图像的边缘特征的步骤,还包括:
对所述边缘概率图像进行二值化处理,根据所述二值化处理后的图像确定所述待检测图像的边缘特征。
8.一种图像分割方法,其特征在于,所述方法包括:
利用训练样本对预设的边缘检测模型进行训练,获取训练完成的边缘检测模型,所述边缘检测模型用于执行如权利要求1至7任一所述的边缘检测方法;
根据训练完成的边缘检测模型对所述待检测图像进行检测,以获取所述待检测图像的边缘检测结果;
基于边缘检测结果,对所述待检测图像进行图像分割。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310925687.9A CN116645524B (zh) | 2023-07-26 | 2023-07-26 | 边缘检测方法及图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310925687.9A CN116645524B (zh) | 2023-07-26 | 2023-07-26 | 边缘检测方法及图像分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116645524A CN116645524A (zh) | 2023-08-25 |
CN116645524B true CN116645524B (zh) | 2023-12-22 |
Family
ID=87625137
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310925687.9A Active CN116645524B (zh) | 2023-07-26 | 2023-07-26 | 边缘检测方法及图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116645524B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112581486A (zh) * | 2020-11-27 | 2021-03-30 | 深圳点猫科技有限公司 | 一种基于双向级联网络的边缘检测方法、装置及设备 |
CN114782734A (zh) * | 2022-01-19 | 2022-07-22 | 岳阳高澜节能装备制造有限公司 | 一种阀冷系统管道渗漏视觉检测方法及计算机与存储介质 |
CN114926797A (zh) * | 2022-05-18 | 2022-08-19 | 中国地质大学(武汉) | 基于边缘约束与特征适应的Transformer双分支道路提取方法及装置 |
CN115908772A (zh) * | 2022-11-23 | 2023-04-04 | 山东省计算中心(国家超级计算济南中心) | 一种基于Transformer和融合注意力机制的目标检测方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8837771B2 (en) * | 2012-02-28 | 2014-09-16 | Siemens Aktiengesellschaft | Method and system for joint multi-organ segmentation in medical image data using local and global context |
-
2023
- 2023-07-26 CN CN202310925687.9A patent/CN116645524B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112581486A (zh) * | 2020-11-27 | 2021-03-30 | 深圳点猫科技有限公司 | 一种基于双向级联网络的边缘检测方法、装置及设备 |
CN114782734A (zh) * | 2022-01-19 | 2022-07-22 | 岳阳高澜节能装备制造有限公司 | 一种阀冷系统管道渗漏视觉检测方法及计算机与存储介质 |
CN114926797A (zh) * | 2022-05-18 | 2022-08-19 | 中国地质大学(武汉) | 基于边缘约束与特征适应的Transformer双分支道路提取方法及装置 |
CN115908772A (zh) * | 2022-11-23 | 2023-04-04 | 山东省计算中心(国家超级计算济南中心) | 一种基于Transformer和融合注意力机制的目标检测方法及系统 |
Non-Patent Citations (1)
Title |
---|
基于局部期望阈值分割的图像边缘检测算法;刘占;计算机与现代化(08);第52-55页 * |
Also Published As
Publication number | Publication date |
---|---|
CN116645524A (zh) | 2023-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111179177B (zh) | 图像重建模型训练方法、图像重建方法、设备及介质 | |
CN110245662B (zh) | 检测模型训练方法、装置、计算机设备和存储介质 | |
CN110738207B (zh) | 一种融合文字图像中文字区域边缘信息的文字检测方法 | |
CN109886330B (zh) | 文本检测方法、装置、计算机可读存储介质和计算机设备 | |
CN111260055A (zh) | 基于三维图像识别的模型训练方法、存储介质和设备 | |
CN111914654B (zh) | 一种文本版面分析方法、装置、设备和介质 | |
CN110544214A (zh) | 一种图像修复方法、装置及电子设备 | |
CN113239869B (zh) | 基于关键帧序列和行为信息的两阶段行为识别方法及系统 | |
CN112184687B (zh) | 基于胶囊特征金字塔的道路裂缝检测方法和存储介质 | |
CN112651979A (zh) | 肺部x光图像分割方法、系统、计算机设备及存储介质 | |
CN113496208B (zh) | 视频的场景分类方法及装置、存储介质、终端 | |
US11816824B2 (en) | Computer implemented process to enhance edge defect detection and other defects in ophthalmic lenses | |
CN111968064A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN111353544A (zh) | 一种基于改进的Mixed Pooling-YOLOV3目标检测方法 | |
CN109410189B (zh) | 图像分割方法以及图像的相似度计算方法、装置 | |
CN111401421A (zh) | 基于深度学习的图像类别判定方法、电子设备以及介质 | |
CN113065551A (zh) | 利用深度神经网络模型执行图像分割的方法 | |
CN112115860A (zh) | 人脸关键点定位方法、装置、计算机设备和存储介质 | |
CN116645524B (zh) | 边缘检测方法及图像分割方法 | |
CN117765485A (zh) | 基于改进的深度残差网络的车型识别方法、装置和设备 | |
CN111291716B (zh) | 精子细胞识别方法、装置、计算机设备和存储介质 | |
CN112580656A (zh) | 一种端到端的文本检测方法、系统、终端及存储介质 | |
CN116977294A (zh) | 基于改进yolo模型的金属表面缺陷检测方法和装置 | |
CN113554655B (zh) | 基于多特征增强的光学遥感图像分割方法及装置 | |
CN115546142A (zh) | 基于深度学习的x光图像骨骼检测方法与系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |