CN111696117A - 一种基于骨架感知的损失函数加权方法及装置 - Google Patents
一种基于骨架感知的损失函数加权方法及装置 Download PDFInfo
- Publication number
- CN111696117A CN111696117A CN202010429250.2A CN202010429250A CN111696117A CN 111696117 A CN111696117 A CN 111696117A CN 202010429250 A CN202010429250 A CN 202010429250A CN 111696117 A CN111696117 A CN 111696117A
- Authority
- CN
- China
- Prior art keywords
- independent target
- background
- pixel point
- foreground
- target region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006870 function Effects 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000008447 perception Effects 0.000 title claims abstract description 43
- 238000003709 image segmentation Methods 0.000 claims abstract description 43
- 238000010801 machine learning Methods 0.000 claims abstract description 32
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 abstract description 24
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 18
- 229910052742 iron Inorganic materials 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 210000002569 neuron Anatomy 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 210000000170 cell membrane Anatomy 0.000 description 1
- 210000003618 cortical neuron Anatomy 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于骨架感知的损失函数加权方法及装置，能够降低分割错误率。所述方法包括：根据图像的标注图，将图像前景分离成多个独立目标区域；提取各独立目标区域和图像背景的骨架，确定各独立目标区域内每个像素点至相应的独立目标区域骨架中最近骨架点的距离、各独立目标区域中每个骨架像素点至相应的独立目标区域边缘的最近距离、背景骨架上每个像素点至背景边缘的最近距离、背景内每个像素点至各独立目标区域边缘的最近距离；根据得到的距离，对所述前景中各独立目标区域内及背景中的每个像素点计算其权重值，形成基于骨架感知的权重图；将所述权重图与损失函数结合，优化基于机器学习方法的图像分割模型的参数。
Description
技术领域
本发明涉及图像处理技术领域，特别是指一种基于骨架感知的损失函数加权方法及装置。
背景技术
在材料和医学显微图像分割任务中，如多晶材料晶粒显微图像或动物神经元显微图像分割任务，需采用二值分割算法提取前景目标区域和背景边界区域，以识别并分离各个前景独立目标区域。目前，通常采用基于深度卷积神经网络的图像分割方法学习图像中的显著特征并对图像中每个像素进行分类，最终实现整体图像的分割，该种方法属于类别不平衡的图像分割问题，即前景目标区域的像素数目远高于背景边界区域的像素数目。该问题会导致深度卷积神经网络在训练过程中被数量较多的类别所主导，难以充分学习小数量类别的特征，当类别数量差别过大时，会严重影响网络的性能。并且前景中各独立目标区域具有相似的外观和复杂多变的形状，引导深度卷积神经网络在学习过程中关注前景目标区域的形状特征有利于降低分割错误率。
目前针对该问题，Long等提出了一种类别平衡的加权方法，[Long J,ShelhamerE,Darrell T,et al.Fully convolutional networks for semantic segmentation[C].computer vision and pattern recognition,2015:3431-3440.]，通过类别数目计算权重为图像中属于不同类别的像素赋予不同的权值，这样的方法引导网络学习数目少的类别信息，但该方法仅根据像素类别赋予权值并未考虑前景各独立目标区域的形状特性，难以获得正确的分割结果。Ronneberger等提出一种基于距离计算的损失函数加权方法，[Ronneberger O,Fischer P,Brox T.U-net:Convolutional networks for biomedicalimage segmentation[C]//International Conference on Medical image computingand computer-assisted intervention.Springer,Cham,2015:234-241.]，通过为背景边界区域增加权重以获得较优的分割结果，该方法在背景边界越细的情况下权值越高，引导网络正确识别边缘。但是该方法仅对背景边界进行加权，并未对前景目标区域进行加权，同时该方法存在两个超参数，难以直接推广到其他数据集中。Boyuan提出一种基于背景边界的自适应加权方法，[Ma Boyuan,Liu Chuni et al.WPU-Net:Boundary learning byusing weighted propagation in convolution network[J].arXiv:1905.09226,2019.]，该方法利用距离变换函数获得前背景的权重图，但是该方法并未考虑前景目标区域出现复杂形变的情况，也具有两个超参数，泛用性较低。
发明内容
本发明要解决的技术问题是提供一种基于骨架感知的损失函数加权方法及装置，以解决现有技术所存在的图像分割模型难以保护前景目标区域的形状特征且分割错误率高的问题。
为解决上述技术问题，本发明实施例提供一种基于骨架感知的损失函数加权方法，包括：
根据图像的标注图，将图像前景分离成多个独立目标区域；
提取各独立目标区域和图像背景的骨架，确定各独立目标区域内每个像素点至相应的独立目标区域骨架中最近骨架点的距离、各独立目标区域中每个骨架像素点至相应的独立目标区域边缘的最近距离、背景骨架上每个像素点至背景边缘的最近距离、背景内每个像素点至各独立目标区域边缘的最近距离；
根据得到的距离，对所述前景中各独立目标区域内及背景中的每个像素点计算其权重值，形成基于骨架感知的权重图；
将所述权重图与损失函数结合，获得损失值，并根据所述损失值优化基于机器学习方法的图像分割模型的参数。
进一步地，所述根据图像的标注图，将图像前景分离成多个独立目标区域包括：
根据图像的标注图，采用连通区域方法将图像前景分离成多个独立目标区域。
进一步地，所述前景指像素值为1的各独立目标区域的总称；
所述背景指像素值为0的各独立目标区域之间的边界区域。
进一步地，所述提取各独立目标区域和图像背景的骨架，确定各独立目标区域内每个像素点至相应的独立目标区域骨架中最近骨架点的距离、各独立目标区域中每个骨架像素点至相应的独立目标区域边缘的最近距离、背景骨架上每个像素点至背景边缘的最近距离、背景内每个像素点至各独立目标区域边缘的最近距离包括：
提取所述前景各独立目标区域和图像背景的骨架；
确定所述前景中各独立目标区域内的每个像素点至其相应的独立目标区域骨架中最近骨架点的距离dnsp(x)(x)，其中，x表示像素点，nsp(x)表示像素点x对应的最近骨架点；
确定所述背景中每个像素点至所述前景中所有独立目标区域边缘的最近距离di(x)，其中，i为所述前景中第i个独立目标区域；
针对前景中各独立目标区域和背景的骨架上每个像素点，计算其至相应的独立目标区域边缘和背景边缘的最近距离
进一步地，所述根据得到的距离，对所述前景中各独立目标区域内及背景中的每个像素点计算其权重值，形成基于骨架感知的权重图包括：
确定所述前景中的类别权重
背景中的类别权重
根据得到的所述前景中的类别权重
针对所述前景中各独立目标区域内的每个像素点，计算其权重值
根据得到的背景中的类别权重
针对所述背景中的每个像素点，计算其权重值
根据得到的
和
形成基于骨架感知的权重图。
进一步地，类别权重的计算公式为：
其中，numk为类别k的像素数目；C+1为类别数目；j＝{0,1}，j＝1时，
表示前景中的类别权重，j＝0时，
表示背景中的类别权重。
进一步地，
表示为：
其中，
表示与像素点x距离最近的骨架点nsp(x)到相应的独立目标区域边缘的最近距离；
其中，dmin1(x)和dmin2(x)分别表示像素点x到所述前景中各独立目标区域边缘的最近距离di(x)集合中的最小值和次小值，
表示背景中所有骨架像素点到背景边缘最近距离集合中的最大值。
进一步地，所述将所述权重图与损失函数结合，获得损失值，并根据所述损失值优化基于机器学习方法的图像分割模型的参数包括：
将所述权重图与交叉熵损失函数结合，确定基于机器学习方法的图像分割模型的预测结果的损失值Loss：
其中，N为图像中像素点个数；l(x)为像素点x对应的真实分类，l(x)＝{0,1}，若l(x)＝0，则在计算该像素点x的损失时使用
权重，若l(x)＝1，则在计算该像素点x的损失时使用
权重；pl(x)(x)指预测结果中像素点x属于其真实分类的概率，Ω表示像素空间；
根据所述损失值优化所述基于机器学习方法的图像分割模型的参数。
进一步地，所述基于机器学习方法的图像分割模型包括：支持向量机、人工神经网络、卷积神经网络中的一种或多种的组合。
本发明实施例还提供一种基于骨架感知的损失函数加权装置，包括：
分离模块，用于根据图像的标注图，将图像前景分离成多个独立目标区域；
确定模块，用于提取各独立目标区域和图像背景的骨架，确定各独立目标区域内每个像素点至相应的独立目标区域骨架中最近骨架点的距离、各独立目标区域中每个骨架像素点至相应的独立目标区域边缘的最近距离、背景骨架上每个像素点至背景边缘的最近距离、背景内每个像素点至各独立目标区域边缘的最近距离；
形成模块，用于根据得到的距离，对所述前景中各独立目标区域内及背景中的每个像素点计算其权重值，形成基于骨架感知的权重图；
优化模块，用于将所述权重图与损失函数结合，获得损失值，并根据所述损失值优化基于机器学习方法的图像分割模型的参数。
本发明的上述技术方案的有益效果如下：
上述方案中，根据图像的标注图，将图像前景分离成多个独立目标区域；提取各独立目标区域和图像背景的骨架，确定各独立目标区域内每个像素点至相应的独立目标区域骨架中最近骨架点的距离、各独立目标区域中每个骨架像素点至相应的独立目标区域边缘的最近距离、背景骨架上每个像素点至背景边缘的最近距离、背景内每个像素点至各独立目标区域边缘的最近距离；根据得到的距离，对所述前景中各独立目标区域内及背景中的每个像素点计算其权重值，形成基于骨架感知的权重图；将所述权重图与损失函数结合，获得损失值，并根据所述损失值优化基于机器学习方法的图像分割模型的参数，以便实现图像的正确分割。这样，由于前景目标区域的骨架蕴含着该区域的形状特征，能够引导基于机器学习方法的图像分割模型在学习过程中保留前景中各独立目标区域的形状信息，从而保护前景各独立目标区域的拓扑结构，驱使基于机器学习的图像分割模型获得正确的图像分割结果，从而降低分割错误率。
附图说明
图1为本发明实施例提供的基于骨架感知的损失函数加权方法的流程示意图；
图2为本发明实施例提供的多晶纯铁晶粒图像及动物神经元图像的原图及标注图示意图；
图3为本发明实施例提供的距离计算的示意图；
图4为本发明实施例提供的两种显微图像的基于骨架感知的权重图；
图5为本发明实施例提供的Unet基线模型下两种数据上不同损失函数对比示意图；
图6为本发明实施例提供的基于骨架感知的损失函数加权装置的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的图像分割模型难以保护前景目标区域的形状特征且分割错误率高的问题，提供一种基于骨架感知的损失函数加权(Skeleton Aware Weighted CrossEntropy,Skeawce)方法及装置。
实施例一
如图1所示，本发明实施例提供的基于骨架感知的损失函数加权方法，包括：
S101，根据图像的标注图，将图像前景分离成多个独立目标区域；
S102，提取各独立目标区域和图像背景的骨架，确定各独立目标区域内每个像素点至相应的独立目标区域骨架中最近骨架点的距离、各独立目标区域中每个骨架像素点至相应的独立目标区域边缘的最近距离、背景骨架上每个像素点至背景边缘的最近距离、背景内每个像素点至各独立目标区域边缘的最近距离；
S103，根据得到的距离，对所述前景中各独立目标区域内及背景中的每个像素点计算其权重值，形成基于骨架感知的权重图；
S104，将所述权重图与损失函数结合，获得损失值，并根据所述损失值优化基于机器学习方法的图像分割模型的参数。
本发明实施例所述的基于骨架感知的损失函数加权方法，根据图像的标注图，将图像前景分离成多个独立目标区域；提取各独立目标区域和图像背景的骨架，确定各独立目标区域内每个像素点至相应的独立目标区域骨架中最近骨架点的距离、各独立目标区域中每个骨架像素点至相应的独立目标区域边缘的最近距离、背景骨架上每个像素点至背景边缘的最近距离、背景内每个像素点至各独立目标区域边缘的最近距离；根据得到的距离，对所述前景中各独立目标区域内及背景中的每个像素点计算其权重值，形成基于骨架感知的权重图；将所述权重图与损失函数结合，获得损失值，并根据所述损失值优化基于机器学习方法的图像分割模型的参数，以便实现图像的正确分割。这样，由于前景目标区域的骨架蕴含着该区域的形状特征，能够引导基于机器学习方法的图像分割模型在学习过程中保留前景中各独立目标区域的形状信息，从而保护前景各独立目标区域的拓扑结构，驱使基于机器学习的图像分割模型获得正确的图像分割结果，从而降低分割错误率。
本实施例中，以多晶纯铁晶粒图像和动物神经元图像两种显微图像为对本申请所述的基于骨架感知的损失函数加权方法进行说明，如图2所示，图2(a)、(c)分别为多晶纯铁晶粒图像、动物神经元图像两种显微图像的原图，图2(b)、(d)分别为图2(a)、(c)的标注图。在本实施例中，以图像二值分割任务的标注图标明前景(感兴趣)和背景。
进一步地，所述前景指像素值为1(白色区域)的各独立目标区域(晶粒或细胞)的总称；所述背景指像素值为0(黑色区域)的各独立目标区域之间的边界区域(晶界或细胞膜)。
本实施例中，根据图像的标注图，可以采用连通区域方法将图像前景分离成多个独立目标区域，即获得标注图中各个晶粒或细胞的独立目标区域，便于后续逐个分析。
在前述基于骨架感知的损失函数加权方法的具体实施方式中，进一步地，所述提取各独立目标区域和图像背景的骨架，确定各独立目标区域内每个像素点至相应的独立目标区域骨架中最近骨架点的距离、各独立目标区域中每个骨架像素点至相应的独立目标区域边缘的最近距离、背景骨架上每个像素点至背景边缘的最近距离、背景内每个像素点至各独立目标区域边缘的最近距离包括：
提取所述前景各独立目标区域和图像背景的骨架，其中，某一独立目标区域的骨架如图3(b)所示；
确定所述前景中各独立目标区域内的每个像素点至其相应的独立目标区域骨架中最近骨架点的距离dnsp(x)(x)，其中，x表示像素点，nsp(x)表示像素点x对应的最近骨架点(nearest skeleton point),如图3(b)所示；
确定所述背景中每个像素点至所述前景中所有独立目标区域边缘的最近距离di(x)，其中，i为所述前景中第i个独立目标区域，如图3(a)所示；
针对前景中各独立目标区域和背景的骨架上每个像素点，计算其至相应的独立目标区域边缘和背景边缘的最近距离
在前述基于骨架感知的损失函数加权方法的具体实施方式中，进一步地，所述根据得到的距离，对所述前景中各独立目标区域内及背景中的每个像素点计算其权重值，形成基于骨架感知的权重图包括：
A1，确定所述前景中的类别权重
背景中的类别权重
其中，类别权重的计算公式为：
其中，numk为类别k的像素数目；C+1为类别数目，在本发明实施例中C＝1，类别包括：前景和背景；j＝{0,1}，j＝1时，
表示前景中的类别权重，j＝0时，
表示背景中的类别权重；
A2，根据得到的所述前景中的类别权重
针对所述前景中各独立目标区域内的每个像素点，计算其权重值
表示为：
其中，
表示与像素点x距离最近的骨架点nsp(x)到相应的独立目标区域边缘的最近距离；
本实施例中，如图3(b)所示，dnsp(x)(x)越小，
越大，即对于前景目标区域，距离骨架越近的像素点权重越大，这样，能够根据前景独立目标区域的形状自适应地进行加权，不需要对前景小区域单独设计权重，实现了权重赋值的自动化；
A3，根据得到的背景中的类别权重
针对所述背景中的每个像素点，计算其权重值
其中，
表示为：
其中，dmin1(x)和dmin2(x)分别表示像素点x到所述前景中各独立目标区域边缘的最近距离di(x)集合中的最小值和次小值，
表示背景中所有骨架像素点到背景边缘最近距离集合中的最大值；
本实施例中，如图3(a)所示，x1和x2分别为背景的两个像素点，而(d1(x1)+d2(x1))<(d1(x2)+d2(x2))，且d1(x)+d2(x)表示两者之和，因此x1的背景权重值
比x2的背景权重值
大，该加权方式实现了背景边界越细的部分权重值越大。
本实施例中，对背景边界区域和前景各独立目标区域各进行加权，增加了针对前景各独立目标区域的权重设置，有效抑制了前景各独立目标区域的噪声。
A4，根据得到的
和
形成基于骨架感知的权重图，如图4所示。每个像素点在不同类别(即：通道)下均有不同的权值，在0通道下的权值集合组成
子权重图，在1通道下的权值集合组成
子权重图，将
子权重图和
子权重图)在通道上级联形成了最终的基于骨架感知的权重图。
本实施例中，在实际应用过程中，可根据实际情况调换前景和背景加权方法，或只用其中一种。
在前述基于骨架感知的损失函数加权方法的具体实施方式中，进一步地，所述将所述权重图与损失函数结合，获得损失值，并根据所述损失值优化基于机器学习方法的图像分割模型的参数包括：
H1，将所述权重图与交叉熵损失函数结合，确定基于机器学习方法的图像分割模型的预测结果的损失值Loss；
本实施例中，传统的图像分割任务中交叉熵损失函数为：
其中，N为图像中像素点个数，l(x)为像素点x对应的真实分类，l(x)＝{0,1}，pl(x)(x)指预测结果中像素点x属于其真实分类的概率，Ω代表像素空间，通过该公式可获得所有像素交叉熵的均值。
由于在图像二值分割任务中，l(x)＝{0,1}无法反映目标区域的形状特性，因此本发明使用所述权重图代替l(x)，并与交叉熵相乘，形成新的损失函数：
其中，若l(x)＝0，则在计算该像素点x的损失时使用
权重，同理若l(x)＝1，则在计算该像素点x的损失时使用
权重。
H2，根据所述损失值优化所述基于机器学习方法的图像分割模型的参数
本实施例中，所述基于机器学习方法的图像分割模型包括：支持向量机、人工神经网络、卷积神经网络中的一种或多种的组合。
本实施例中，根据所述损失值，可以使用梯度下降方法优化基于机器学习方法的图像分割模型的参数，例如，卷积神经网络中的卷积核参数。
本实施例中，使用基于骨架感知的损失函数加权方法训练基于机器学习方法的图像分割模型，可通过提取原图中的显著特征，输出模型预测的标注图。所述标注图可进一步用于晶粒尺寸统计或神经拓扑分析。
本实施例与现有技术相比，具有以下特点及有益效果：
(1)自适应性：根据前景独立目标区域的形状自适应地进行加权，不需要对前景小区域单独设计权重，实现了权重赋值的自动化；
(2)泛用性：对背景边界区域和前景各独立目标区域分别进行加权，增加了针对前景各独立目标区域的权重设置，有效抑制了前景各独立目标区域的噪声；
(3)易用性：本实施例提出的基于骨架感知的损失函数加权方法没有超参数，不需要根据任务类型手动调整参数，可方便移植到不同的数据上；
(4)优异性：本实施例提出的基于骨架感知的损失函数加权方法可引导基于机器学习方法的图像分割模型在学习过程中保留前景中各独立目标区域的形状信息，从而保护前景各独立目标区域的拓扑结构，驱使基于机器学习的图像分割模型获得正确的图像分割结果，从而降低分割错误率。
本实施例中，为充分证明本发明提出的基于骨架感知的损失函数加权(Skeawce)方法的有效性，将其与类别平衡交叉熵损失函数(Balanced Cross Entropy,BCE)、加权平衡交叉熵损失函数(Weighted Cross Entropy,WCE)、基于距离的错误惩罚损失函数(ErrorPenalized Distance Weight,EPDW)、基于带符号的距离变换加权图损失函数(SignedDistance Map,SDM)、拓扑感知损失函数(Topology Aware,Topoaware),焦点损失函数(Focal Loss)、基于重合度的损失函数(Dice Loss)、基于洛瓦兹扩展的损失函数(LovaszLoss)和区域互信息损失(Region Mutual Information Loss,RMI)等9种经典的损失函数在4种基线模型上进行对比。其中，所述基线模型是指用于实验所选择的基本模型，可以为任一种图像分割模型，在本实施例中，选择多种基线模型是为了证明基于骨架感知的损失函数加权的泛用能力。
本实施例中，选择多晶纯铁晶粒组织图像(Polycrystalline Iron)和神经元图像(SNEMI3D)两个数据集。两个数据集的各项指标如表1所示：
表1两个数据集参数
| 名称 | 组织 | 分辨率 | 尺寸(H×W×D) |
| Polycrystalline Iron | 多晶纯铁晶粒组织 | 1.0×1.0×1.5μm | 1024×1024×296 |
| SNEMI3D | 小鼠皮质神经元 | 6×6×30nm | 1024×1024×100 |
为充分比较算法性能，本实施例采用5折交叉验证的方式划分数据集，即每次取80％的数据作为训练集，20％的数据作为测试集，并且从训练集中抽取10％作为验证集。在训练过程中，保存验证集上性能最好的模型参数，并在测试集上进行测试获得评估结果。
基线模型：由于Unet是当前在材料图像处理和医疗图像处理任务中应用最为广泛的模型，因此本发明选取Unet及其变体AttUnet、ResUnet、Unet++作为基线模型考察加权函数的性能。
实验参数：本实施例所有实验均采用如下指标：50轮次(Epoch)，初始学习率为1e-4，学习率逐级衰减策略(StepLR,0.8)，Adam梯度下降法，Batch Size为10。
实验机器：本实施例所有实验均在装备单台Nvidia Tesla V100(32GB显存)的工作站上进行测试。
评价指标：本实施例选择Variation of Information(VI)作为评估指标，其计算公式如下所示，将预测结果图(S)和真实结果图(T)看成两种数据分布，利用信息熵计算两者之间的分布变化，用以表征组织结构的拓扑变化，核心是计算预测和真实标注图之间的条件交叉熵VI(S,T)：
VI(S,T)＝H(S|T)+H(T|S)
其中，H(S|T)代表过分割错误，过分割即分割结果错误检测非晶界为晶界，将一个晶粒区域分割成两个晶粒区域，也被称为拆分错误(Split Error,SE)；H(T|S)代表欠分割错误，欠分割即分割结果识别晶界失败，将两个晶粒识别成一个晶粒，也被称为合并错误(Merge Error,ME)。VI越小，代表分割结果中存在的错误越少，即分割结果越准确。
实验结果：在纯铁多晶粒显微图像数据集上，AttUnet和Unet++在EPDW损失函数下出现梯度爆炸的现象，因此不显示该数据。同理，不显示在动物神经元图像数据集上的Unet++在EPDW、Topoaware和Focal Loss的数据。
表2多晶纯铁晶粒显微图像数据集性能测试
表3动物神经元显微图像数据集性能测试
表2、表3为实验结果，由表2、表3得，本实施例提出的方法的性能在2个数据集上，在4种基线模型上均超过9种经典的损失函数，VI值的降低是由于合并错误(ME)的下降，充分说明本实施例提出的方法保护了前景目标区域的形状特征。
如图5展示Unet基线模型下两种数据上不同损失函数对比，Skeawce在识别效果上优于其他损失函数，且在箭头所指向处保留了较好的前景目标区域的形状特征。
实施例二
本发明还提供一种基于骨架感知的损失函数加权装置的具体实施方式，由于本发明提供的基于骨架感知的损失函数加权装置与前述基于骨架感知的损失函数加权方法的具体实施方式相对应，该基于骨架感知的损失函数加权装置可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述基于骨架感知的损失函数加权方法具体实施方式中的解释说明，也适用于本发明提供的基于骨架感知的损失函数加权装置的具体实施方式，在本发明以下的具体实施方式中将不再赘述。
如图6所示，本发明实施例还提供一种基于骨架感知的损失函数加权装置，包括：
分离模块11，用于根据图像的标注图，将图像前景分离成多个独立目标区域；
确定模块12，用于提取各独立目标区域和图像背景的骨架，确定各独立目标区域内每个像素点至相应的独立目标区域骨架中最近骨架点的距离、各独立目标区域中每个骨架像素点至相应的独立目标区域边缘的最近距离、背景骨架上每个像素点至背景边缘的最近距离、背景内每个像素点至各独立目标区域边缘的最近距离；
形成模块13，用于根据得到的距离，对所述前景中各独立目标区域内及背景中的每个像素点计算其权重值，形成基于骨架感知的权重图；
优化模块14，用于将所述权重图与损失函数结合，获得损失值，并根据所述损失值优化基于机器学习方法的图像分割模型的参数。
本发明实施例所述的基于骨架感知的损失函数加权装置，根据图像的标注图，将图像前景分离成多个独立目标区域；提取各独立目标区域和图像背景的骨架，确定各独立目标区域内每个像素点至相应的独立目标区域骨架中最近骨架点的距离、各独立目标区域中每个骨架像素点至相应的独立目标区域边缘的最近距离、背景骨架上每个像素点至背景边缘的最近距离、背景内每个像素点至各独立目标区域边缘的最近距离；根据得到的距离，对所述前景中各独立目标区域内及背景中的每个像素点计算其权重值，形成基于骨架感知的权重图；将所述权重图与损失函数结合，获得损失值，并根据所述损失值优化基于机器学习方法的图像分割模型的参数，以便实现图像的正确分割。这样，由于前景目标区域的骨架蕴含着该区域的形状特征，能够引导基于机器学习方法的图像分割模型在学习过程中保留前景中各独立目标区域的形状信息，从而保护前景各独立目标区域的拓扑结构，驱使基于机器学习的图像分割模型获得正确的图像分割结果，从而降低分割错误率。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于骨架感知的损失函数加权方法，其特征在于，包括：
根据图像的标注图，将图像前景分离成多个独立目标区域；
提取各独立目标区域和图像背景的骨架，确定各独立目标区域内每个像素点至相应的独立目标区域骨架中最近骨架点的距离、各独立目标区域中每个骨架像素点至相应的独立目标区域边缘的最近距离、背景骨架上每个像素点至背景边缘的最近距离、背景内每个像素点至各独立目标区域边缘的最近距离；
根据得到的距离，对所述前景中各独立目标区域内及背景中的每个像素点计算其权重值，形成基于骨架感知的权重图；
将所述权重图与损失函数结合，获得损失值，并根据所述损失值优化基于机器学习方法的图像分割模型的参数。
2.根据权利要求1所述的基于骨架感知的损失函数加权方法，其特征在于，所述根据图像的标注图，将图像前景分离成多个独立目标区域包括：
根据图像的标注图，采用连通区域方法将图像前景分离成多个独立目标区域。
3.根据权利要求1所述的基于骨架感知的损失函数加权方法，其特征在于，所述前景指像素值为1的各独立目标区域的总称；
所述背景指像素值为0的各独立目标区域之间的边界区域。
4.根据权利要求1所述的基于骨架感知的损失函数加权方法，其特征在于，所述提取各独立目标区域和图像背景的骨架，确定各独立目标区域内每个像素点至相应的独立目标区域骨架中最近骨架点的距离、各独立目标区域中每个骨架像素点至相应的独立目标区域边缘的最近距离、背景骨架上每个像素点至背景边缘的最近距离、背景内每个像素点至各独立目标区域边缘的最近距离包括：
提取所述前景各独立目标区域和图像背景的骨架；
确定所述前景中各独立目标区域内的每个像素点至其相应的独立目标区域骨架中最近骨架点的距离dnsp(x)(x)，其中，x表示像素点，nsp(x)表示像素点x对应的最近骨架点；
确定所述背景中每个像素点至所述前景中所有独立目标区域边缘的最近距离di(x)，其中，i为所述前景中第i个独立目标区域；
针对前景中各独立目标区域和背景的骨架上每个像素点，计算其至相应的独立目标区域边缘和背景边缘的最近距离
5.根据权利要求4所述的基于骨架感知的损失函数加权方法，其特征在于，所述根据得到的距离，对所述前景中各独立目标区域内及背景中的每个像素点计算其权重值，形成基于骨架感知的权重图包括：
确定所述前景中的类别权重
背景中的类别权重
根据得到的所述前景中的类别权重
针对所述前景中各独立目标区域内的每个像素点，计算其权重值
根据得到的背景中的类别权重
针对所述背景中的每个像素点，计算其权重值
根据得到的
和
形成基于骨架感知的权重图。
6.根据权利要求5所述的基于骨架感知的损失函数加权方法，其特征在于，类别权重的计算公式为：
其中，numk为类别k的像素数目；C+1为类别数目；j＝{0,1}，j＝1时，
表示前景中的类别权重，j＝0时，
表示背景中的类别权重。
7.根据权利要求5所述的基于骨架感知的损失函数加权方法，其特征在于，
表示为：
其中，
表示与像素点x距离最近的骨架点nsp(x)到相应的独立目标区域边缘的最近距离；
其中，dmin1(x)和dmin2(x)分别表示像素点x到所述前景中各独立目标区域边缘的最近距离di(x)集合中的最小值和次小值，
表示背景中所有骨架像素点到背景边缘最近距离集合中的最大值。
8.根据权利要求1所述的基于骨架感知的损失函数加权方法，其特征在于，所述将所述权重图与损失函数结合，获得损失值，并根据所述损失值优化基于机器学习方法的图像分割模型的参数包括：
将所述权重图与交叉熵损失函数结合，确定基于机器学习方法的图像分割模型的预测结果的损失值loss：
其中，N为图像中像素点个数；l(x)为像素点x对应的真实分类，l(x)＝{0,1}，若l(x)＝0，则在计算该像素点x的损失时使用
权重，若l(x)＝1，则在计算该像素点x的损失时使用
权重；pl(x)(x)指预测结果中像素点x属于其真实分类的概率，Ω表示像素空间；
根据所述损失值优化所述基于机器学习方法的图像分割模型的参数。
9.根据权利要求1所述的基于骨架感知的损失函数加权方法，其特征在于，所述基于机器学习方法的图像分割模型包括：支持向量机、人工神经网络、卷积神经网络中的一种或多种的组合。
10.一种基于骨架感知的损失函数加权装置，其特征在于，包括：
分离模块，用于根据图像的标注图，将图像前景分离成多个独立目标区域；
确定模块，用于提取各独立目标区域和图像背景的骨架，确定各独立目标区域内每个像素点至相应的独立目标区域骨架中最近骨架点的距离、各独立目标区域中每个骨架像素点至相应的独立目标区域边缘的最近距离、背景骨架上每个像素点至背景边缘的最近距离、背景内每个像素点至各独立目标区域边缘的最近距离；
形成模块，用于根据得到的距离，对所述前景中各独立目标区域内及背景中的每个像素点计算其权重值，形成基于骨架感知的权重图；
优化模块，用于将所述权重图与损失函数结合，获得损失值，并根据所述损失值优化基于机器学习方法的图像分割模型的参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010429250.2A CN111696117B (zh) | 2020-05-20 | 2020-05-20 | 一种基于骨架感知的损失函数加权方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010429250.2A CN111696117B (zh) | 2020-05-20 | 2020-05-20 | 一种基于骨架感知的损失函数加权方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111696117A true CN111696117A (zh) | 2020-09-22 |
| CN111696117B CN111696117B (zh) | 2023-06-06 |
Family
ID=72478092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010429250.2A Active CN111696117B (zh) | 2020-05-20 | 2020-05-20 | 一种基于骨架感知的损失函数加权方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111696117B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114359300A (zh) * | 2022-03-18 | 2022-04-15 | 成都数之联科技股份有限公司 | 一种图像分割模型的优化方法、装置、系统及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120057798A1 (en) * | 2010-09-03 | 2012-03-08 | Kanako Saito | Image processing apparatus |
| US20190294871A1 (en) * | 2018-03-23 | 2019-09-26 | Microsoft Technology Licensing, Llc | Human action data set generation in a machine learning system |
| CN110852199A (zh) * | 2019-10-28 | 2020-02-28 | 中国石化销售股份有限公司华南分公司 | 一种基于双帧编码解码模型的前景提取方法 |
-
2020
- 2020-05-20 CN CN202010429250.2A patent/CN111696117B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120057798A1 (en) * | 2010-09-03 | 2012-03-08 | Kanako Saito | Image processing apparatus |
| US20190294871A1 (en) * | 2018-03-23 | 2019-09-26 | Microsoft Technology Licensing, Llc | Human action data set generation in a machine learning system |
| CN110852199A (zh) * | 2019-10-28 | 2020-02-28 | 中国石化销售股份有限公司华南分公司 | 一种基于双帧编码解码模型的前景提取方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘志;潘晓彬;: "基于渲染图像角度结构特征的三维模型检索方法", 计算机科学 * |
| 刘陈;李凤霞;张艳;: "基于图割与泛形信息的对象分割方法", 计算机辅助设计与图形学学报 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114359300A (zh) * | 2022-03-18 | 2022-04-15 | 成都数之联科技股份有限公司 | 一种图像分割模型的优化方法、装置、系统及存储介质 |
| CN114359300B (zh) * | 2022-03-18 | 2022-06-28 | 成都数之联科技股份有限公司 | 一种图像分割模型的优化方法、装置、系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111696117B (zh) | 2023-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110619369B (zh) | 基于特征金字塔与全局平均池化的细粒度图像分类方法 | |
| CN111814741B (zh) | 一种基于注意力机制的遮挡胚胎原核及卵裂球检测方法 | |
| Cheng et al. | Decoupled classification refinement: Hard false positive suppression for object detection | |
| CN109102498B (zh) | 一种宫颈涂片图像中簇型细胞核分割的方法 | |
| CN109086799A (zh) | 一种基于改进卷积神经网络模型AlexNet的作物叶片病害识别方法 | |
| CN112288706A (zh) | 一种自动化的染色体核型分析以及异常检测方法 | |
| CN111612008A (zh) | 基于卷积网络的图像分割方法 | |
| CN106295613A (zh) | 一种无人机目标定位方法及系统 | |
| CN112464911A (zh) | 基于改进YOLOv3-tiny的交通标志检测与识别方法 | |
| CN113378796B (zh) | 一种基于上下文建模的宫颈细胞全切片分类方法 | |
| CN112819821B (zh) | 一种细胞核图像检测方法 | |
| CN112989942A (zh) | 一种基于交通监控视频的目标实例分割方法 | |
| CN112488229A (zh) | 一种基于特征分离和对齐的域自适应无监督目标检测方法 | |
| CN111860587A (zh) | 一种用于图片小目标的检测方法 | |
| CN115049952A (zh) | 一种基于多尺度级联感知深度学习网络的幼鱼肢体识别方法 | |
| CN113177927A (zh) | 基于多特征和多分类器的骨髓细胞分类识别方法及系统 | |
| CN116912796A (zh) | 一种基于新型动态级联YOLOv8的自动驾驶目标识别方法及装置 | |
| CN115641345A (zh) | 一种基于深度学习的多发性骨髓瘤细胞形态精细分割方法 | |
| CN110008899B (zh) | 一种可见光遥感图像候选目标提取与分类方法 | |
| CN111696117A (zh) | 一种基于骨架感知的损失函数加权方法及装置 | |
| CN117649657A (zh) | 基于改进Mask R-CNN的骨髓细胞检测系统 | |
| CN111582057A (zh) | 一种基于局部感受野的人脸验证方法 | |
| CN117132802A (zh) | 一种田间小麦病虫害识别方法、装置及存储介质 | |
| CN113269171B (zh) | 车道线检测方法、电子设备及车辆 | |
| CN115131628A (zh) | 一种基于分型辅助信息的乳腺图像分类方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |