CN116681892B - 基于多中心PolarMask模型改进的图像精准分割方法 - Google Patents

基于多中心PolarMask模型改进的图像精准分割方法 Download PDF

Info

Publication number
CN116681892B
CN116681892B CN202310644624.6A CN202310644624A CN116681892B CN 116681892 B CN116681892 B CN 116681892B CN 202310644624 A CN202310644624 A CN 202310644624A CN 116681892 B CN116681892 B CN 116681892B
Authority
CN
China
Prior art keywords
polar
center
point
mask
ith
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310644624.6A
Other languages
English (en)
Other versions
CN116681892A (zh
Inventor
陈达
王亚琳
舒明雷
周书旺
刘丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Shandong Institute of Artificial Intelligence
Original Assignee
Qilu University of Technology
Shandong Institute of Artificial Intelligence
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology, Shandong Institute of Artificial Intelligence filed Critical Qilu University of Technology
Priority to CN202310644624.6A priority Critical patent/CN116681892B/zh
Publication of CN116681892A publication Critical patent/CN116681892A/zh
Application granted granted Critical
Publication of CN116681892B publication Critical patent/CN116681892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种基于多中心PolarMask模型改进的图像精准分割方法，利用几何知识中的散度原理，在极中心度损失部分添加该点到轮廓欧式距离的梯度的散度，约束中心点的选取，使得中心点的选取更具合理性，并提高其的准确度；利用非凸图形可由可数个凸图形覆盖的原理，寻找多个中心点，并找出对应中心点下的掩码，使得更好的覆盖原PolarMask模型识别性较差的非凸图形，从而使模型简单有效，且更具普遍性和适用性，提高检测水平，为视觉系统研究提供重要参考价值。

Description

基于多中心PolarMask模型改进的图像精准分割方法
技术领域
本发明涉及图像分割领域，具体涉及一种基于多中心PolarMask模型改进的图像精准分割方法。
背景技术
图像分割是一项基本的计算机视觉任务，也是许多后续计算机视觉应用的基石，例如自动化视觉系统和机器人抓取以及医疗应用方面。近年来随着深度学习的快速发展，图像分割在实际应用方面取得了一系列优异的成果。
基于轮廓检测的图像分割方法PolarMask，其抛开了双阶段先检测后分割的两步检测步骤，采用检测和分割同时进行的检测步骤，大大提高了检测速率。本发明基于PolarMask模型进行了改进。
PolarMask通过实例中心分类和极坐标中的密集距离回归来预测实例轮廓，并设计了极中心度和相应的损失函数，极坐标的表示方法具有特殊性，使其在旋转物体中不受限制，大大提高了旋转物体的分割性能，其次，其通过中心点和中心点到轮廓上的距离来表示轮廓上的点，表示方法简单，但其所选轮廓将总为凸形，使其在非凸物体上的分割性能受到限制，在检测非凸物体时性能较差。
发明内容
本发明为了克服以上技术的不足，提供了一种提高检测非凸物体的性能，使模型应用更广泛的图像分割方法。
本发明克服其技术问题所采用的技术方案是：
一种基于多中心PolarMask模型改进的图像精准分割方法，包括如下步骤：
a)从COCO2017语义分割数据中获得训练集train2017、测试集test2017、验证集val2017以及训练集train2017的注释文件annotation_train、测试集test2017的注释文件annotation_test、验证集val2017的注释文件annotation_val；
b)对训练集train2017中的图像进行预处理，各个预处理后的图像构成原始图像集Iy，Iy＝{Iy1,Iy2,...,Iyi,...,Iyn}，Iyi为第i张预处理后的图像；
c)计算原始图像集Iy中第i张预处理后的图像Iyi中所标记的第j个物体Wj的中心点以及该中心点到第j个物体Wj轮廓的n条射线长度d1,d2,...,di,...,dn，j∈{1,2,...,l}，l为第i张预处理后的图像Iyi中物体的个数；
d)建立多中心PolarMask模型，将原始图像集Iy中第i张预处理后的图像Iyi输入到多中心PolarMask模型中，输出得到分割图像Iyi′；
e)计算损失函数L，使用Adam优化器，利用损失函数L反向传播以优化多中心PolarMask模型，得到优化后的多中心PolarMask模型；
f)将测试集test2017中任一一张图像输入到优化后的多中心PolarMask模型中，输出得到分割图像Itest′。
进一步的，步骤b)中将训练集train2017中的第i张图像以50％的概率进行随机增强，得到预处理后的图像Iyi。
优选的，所述随机增强操作包括图像剪裁、图像翻转、对比度调整、亮度调整。进一步的，步骤c)包括如下步骤：
c-1)利用多边形重心公式计算原始图像集Iy中第i张预处理后的图像Iyi中的第j个物体的重心 为第j个物体重心的X轴坐标，/>为第j个物体重心的Y轴坐标，重心/>作为第j个物体Wj的中心点；
c-2)以中心点为极中心点，从极中心点引一条射线作为极坐标轴，以顺时针方向为正方向建立极坐标系，在极坐标系中从极中心点建立n条射线S1,S2,...,Si,...,Sn，Si为第i条射线，i∈{1,...,n}，每两条相邻的射线之间的夹角为θ，/>沿第i条射线Si的方向从内向外判断每个像素点是否属于第j个物体Wj，从注释文件annotation_train中查询每个掩码的位置，选取属于第j个物体Wj掩码的距离最近的像素点到极中心点的距离第i条射线Si的射线长度di。
进一步的，步骤d)包括如下步骤：
d-1)多中心PolarMask模型由主干网络ResNet、生成检测模块、推理模块构成；
d-2)将原始图像集Iy中第i张预处理后的图像Iyi输入到多中心PolarMask模型的主干网络ResNet中，得到m个特征图C1,C2,...,Ci,...,Cm，Ci为第i个特征图，i∈{1,2,...,m}；
d-3)生成检测模块由PolarMask模型的head结构构成，将第i个特征图Ci输入到PolarMask模型的head结构中，分别输出分类回归、极中心度回归、掩码回归，分类回归为H×W×K的矩阵，H为矩阵行数，W为矩阵列数，K为类别数，极中心度回归为H×W×1的矩阵，掩码回归为H×W×n的矩阵，分类回归中第i个像素点的分类分数为极中心度回归中第i个像素点的极中心度为掩码回归中第i个像素点的回归射线长度为将第i个像素点的分类分数/>使用sigmoid函数归一化得到归一化后的分类分数/>将第i个像素点的极中心度/>使用sigmoid函数归一化得到归一化后的极中心度/>通过公式/>计算得到第j个特征图Cj的第i个像素点的置信度Si，j∈{1,2,...,m}，i∈{1,2,...,H×W}，将第j个特征图Cj中的H×W个像素点的置信度按从大到小的顺序排列，取前1000个像素点并过滤掉前1000个像素点中置信度小于0.05的像素点后，得到处理后的特征图Cj′，使用python中的reshape函数将处理后的特征图Cj′的大小由H×W转换为1×(H×W)，得到处理后的特征图Cj″；
d-4)使用python中的stack函数将m个处理后的特征图C1″,C2″,...,Cj″,...,Cm″的所有像素点合并，得到特征图C；
d-5)将特征图C输入到推理模块中，将特征图C中筛选出像素点的分类分数大于0.05的像素点，使用阈值为0.5的非极大值抑制方法去除筛选出来的像素点中的冗余的像素点，得到l个保留下来的像素点，标记l个像素点的坐标为 为第j个像素点的X轴坐标，/>为第j个像素点的Y轴坐标，使用python中列表索引方法得到坐标/>对应的回归距离{di′,j＝1,2,...,l}；
d-6)以第j个物体的中心点坐标为极中心点，从该极中心点引一条射线作为极坐标轴，以顺时针方向为正方向建立极坐标系；
d-7)通过公式计算得到第i个轮廓点的X轴坐标，通过公式计算得到第i个轮廓点的Y轴坐标，i∈{1,2,...,n}，从0度所对应的坐标点出发，按顺时针方向逐个连接n个轮廓点，得到物体的预测掩码轮廓Mj；
d-8)通过公式计算得到第j个轮廓点的置信度Sj′，j∈{1,2,...,n}，/>为第j个轮廓点对应的归一化后的极中心度，/>为第j个轮廓点对应的归一化后的分类分数，对n个轮廓点的置信度使用python的sg.argrelmax函数求取出q个极值点及每个极值点对应的置信度，其第i个极值点对应的置信度为Si″，i∈{1,2,...,q}；
d-9)以第i个极值点为中心、5个像素点长度为半径建立一圆形区域Ci，圆形区域Ci中像素点个数为U，在该圆形区域Ci内利用python的列表索引在置信度Si中寻找圆形区域Ci中像素点ci的置信度ci为圆形区域Ci中第i个像素点，i∈{1,2,...,U}；
d-10)选择U个像素点中置信度最高的像素点cj，该像素点cj的坐标为为像素点cj的X轴坐标，/>为像素点cj的Y轴坐标，设置置信度得分阈值，当置信度/>大于阈值0.3时，使用python中的列表索引方法计算出像素点cj所对应的回归距离dcj；
d-11)将像素点cj的坐标作为极中心点，从该极中心点引一条射线作为极坐标轴，以顺时针方向为正方向建立极坐标系；
d-12)通过公式计算得到第i个轮廓点的X轴坐标，通过公式/>计算得到第i个轮廓点的Y轴坐标，i∈{1,2,...,n}，从0度所对应的坐标点出发，按顺时针方向逐个连接n个轮廓点，得到掩码轮廓Mj′；
d-13)使用python的opencv模块将预测掩码轮廓Mj和掩码轮廓Mj′合并，得到最终目标对象轮廓Mr；
d-14)使用python的opencv模块将目标对象轮廓Mr标记在第i张预处理后的图像Iyi上，得到分割图像Iyi′。
进一步的，步骤e)中计算损失函数L的步骤为：
e-1)通过公式计算得到掩码回归损失Lreg，式中
e-2)通过公式计算得到极中心度损失Lct，式中ε为常数，/>点x为第i张预处理后的图像Iyi中任意一像素点，x∈{1,2,...,V}，V为第i张预处理后的图像Iyi的像素点总数，D(x)为点x到预测掩码轮廓Mj的欧式距离，/>为欧式距离的梯度算子，div(·)为散度算子；
e-3)通过公式L＝Lcls+α1Lreg+α2Lct计算得到损失函数L，式中Lcls为二元交叉熵损失，α1和α2均为交易参数。
优选的，步骤e)中优化多中心PolarMask模型时初始学习率设置为0.01，迭代周期设置为10。
优选的，α1＝1，α2＝1，ε＝10-6。
优选的，步骤d-11)中置信度得分阈值的取值为0.3。
本发明的有益效果是：
(1)改善PolarMask局限于分割凸形物体的缺陷，改善非凸物体的分割性能，提高模型应用的广泛性。
(2)通过修改损失函数，进一步提高掩码(mask)预测的准确性和中心点选取的准确性和合理性。
(3)通过选择合适的多中心点选取方法，提高中心点的选取质量，从而进一步提高分割的精确性，同时也会加快物体的检测速度，减少不必要的计算损失。
附图说明
图1为本发明的掩码组装图；
图2为本发明的方法流程图；
图3为本发明的目标检测网络结构图；
图4为本发明的多中心优化模型对图像的检测效果图。
具体实施方式
下面结合附图1至附图4对本发明做进一步说明。
一种基于多中心PolarMask模型改进的图像精准分割方法，包括如下步骤：
a)从COCO2017语义分割数据中获得训练集train2017、测试集test2017、验证集val2017以及训练集train2017的注释文件annotation_train、测试集test2017的注释文件annotation_test、验证集val2017的注释文件annotation_val。
b)对训练集train2017中的图像进行预处理，各个预处理后的图像构成原始图像集Iy，Iy＝{Iy1,Iy2,...,Iyi,...,Iyn}，Iyi为第i张预处理后的图像。
c)计算原始图像集Iy中第i张预处理后的图像Iyi中所标记的第j个物体Wj的中心点以及该中心点到第j个物体Wj轮廓的n条射线长度d1,d2,...,di,...,dn，j∈{1,2,...,l}，l为第i张预处理后的图像Iyi中物体的个数。
d)如附图3所示，建立多中心PolarMask模型，将原始图像集Iy中第i张预处理后的图像Iyi输入到多中心PolarMask模型中，输出得到分割图像Iyi′。
e)计算损失函数L，使用Adam优化器，利用损失函数L反向传播以优化多中心PolarMask模型，得到优化后的多中心PolarMask模型；
f)将测试集test2017中任一一张图像输入到优化后的多中心PolarMask模型中，输出得到分割图像Itest′。
利用几何知识中的散度原理，在极中心度损失部分添加该点到轮廓欧式距离的梯度的散度，约束中心点的选取，使得中心点的选取更具合理性，并提高其的准确度；利用非凸图形可由可数个凸图形覆盖的原理，寻找多个中心点，并找出对应中心点下的掩码，使得更好的覆盖原PolarMask模型识别性较差的非凸图形，从而使模型简单有效，且更具普遍性和适用性，提高检测水平，为视觉系统研究提供重要参考价值。
实施例1：
步骤b)中将训练集train2017中的第i张图像以50％的概率进行随机增强，得到预处理后的图像Iyi。
实施例2：
所述随机增强操作包括图像剪裁、图像翻转、对比度调整、亮度调整。
实施例3：
如附图1所示，步骤c)包括如下步骤：
c-1)利用多边形重心公式计算原始图像集Iy中第i张预处理后的图像Iyi中的第j个物体的重心为第j个物体重心的X轴坐标，/>为第j个物体重心的Y轴坐标，重心/>作为第j个物体Wj的中心点。
c-2)以中心点为极中心点，从极中心点引一条射线作为极坐标轴，以顺时针方向为正方向建立极坐标系，在极坐标系中从极中心点建立n条射线S1,S2,...,Si,...,Sn，Si为第i条射线，i∈{1,...,n}，每两条相邻的射线之间的夹角为θ，/>沿第i条射线Si的方向从内向外判断每个像素点是否属于第j个物体Wj，从注释文件annotation_train中查询每个掩码的位置，选取属于第j个物体Wj掩码的距离最近的像素点到极中心点的距离第i条射线Si的射线长度di。
实施例4：
本发明构建了一个基于多中心的PolarMask改进模型，能够更准确的预测目标对象掩码(mask)，具体的，步骤d)包括如下步骤：
d-1)多中心PolarMask模型由主干网络(backbone)ResNet、生成检测模块、推理模块构成。
d-2)将原始图像集Iy中第i张预处理后的图像Iyi输入到多中心PolarMask模型的主干网络ResNet中，按照特征金字塔的方式自上而下与横向连接的方式进行融合，使同时获取高级特征的语义信息和浅层特征特征的像素信息。得到m个特征图C1,C2,...,Ci,...,Cm，Ci为第i个特征图，i∈{1,2,...,m}。
d-3)生成检测模块由PolarMask模型的head结构构成，将第i个特征图Ci输入到PolarMask模型的head结构中，采用文献“Xie,E.,Sun,P.,Song,X.,Wang,W.,Liu,X.,Liang,D.,...&Luo,P.(2020).Polarmask:Single shot instance segmentation withpolar representation.In Proceedings of the IEEE/CVF conference on computervision and pattern recognition(pp.12193-12202).”中方法生成三个分支，分别输出分类回归、极中心度回归、掩码(mask)回归，分类回归为H×W×K的矩阵，H为矩阵行数，W为矩阵列数，K为类别数，极中心度回归为H×W×1的矩阵，掩码回归为H×W×n的矩阵，分类回归中第i个像素点的分类分数为极中心度回归中第i个像素点的极中心度为/>掩码回归中第i个像素点的回归射线长度为将第i个像素点的分类分数/>使用sigmoid函数归一化得到归一化后的分类分数/>将第i个像素点的极中心度/>使用sigmoid函数归一化得到归一化后的极中心度/>通过公式/>计算得到第j个特征图Cj的第i个像素点的置信度Si，j∈{1,2,...,m}，i∈{1,2,...,H×W}，将第j个特征图Cj中的H×W个像素点的置信度按从大到小的顺序排列，取前1000个像素点并过滤掉前1000个像素点中置信度小于0.05的像素点后，得到处理后的特征图Cj′，使用python中的reshape函数将处理后的特征图Cj′的大小由H×W转换为1×(H×W)，得到处理后的特征图Cj″。例如本发明选择的数据集为COCO(K＝80)，实验表明n＝36时效果最佳。
d-4)使用python中的stack函数将m个处理后的特征图C1″,C2″,...,Cj″,...,Cm″的所有像素点合并，得到特征图C；
d-5)将特征图C输入到推理模块中，将特征图C中筛选出像素点的分类分数大于0.05的像素点，使用阈值为0.5的非极大值抑制(NMS)方法去除筛选出来的像素点中的冗余的像素点，得到l个保留下来的像素点，标记l个像素点的坐标为为第j个像素点的X轴坐标，/>为第j个像素点的Y轴坐标，使用python中列表索引方法得到坐标/>对应的回归距离{di′,j＝1,2,...,l}。
d-6)以第j个物体的中心点坐标为极中心点，从该极中心点引一条射线作为极坐标轴，以顺时针方向为正方向建立极坐标系。
d-7)通过公式计算得到第i个轮廓点的X轴坐标，通过公式计算得到第i个轮廓点的Y轴坐标，i∈{1,2,...,n}，从0度所对应的坐标点出发，按顺时针方向逐个连接n个轮廓点，得到物体的预测掩码(mask)轮廓Mj，完成组装掩码(mask)。
d-8)通过公式计算得到第j个轮廓点的置信度Sj′，j∈{1,2,...,n}，/>为第j个轮廓点对应的归一化后的极中心度，/>为第j个轮廓点对应的归一化后的分类分数，对n个轮廓点的置信度使用python的sg.argrelmax函数求取出q个极值点及每个极值点对应的置信度，其第i个极值点对应的置信度为Si″，i∈{1,2,...,q}。
d-9)以第i个极值点为中心、5个像素点长度为半径建立一圆形区域Ci，圆形区域Ci中像素点个数为U，在该圆形区域Ci内利用python的列表索引在置信度Si中寻找圆形区域Ci中像素点ci的置信度ci为圆形区域Ci中第i个像素点，i∈{1,2,...,U}。
d-10)选择U个像素点中置信度最高的像素点cj，该像素点cj的坐标为为像素点cj的X轴坐标，/>为像素点cj的Y轴坐标，设置置信度得分阈值，当置信度/>大于阈值0.3时，使用python中的列表索引方法计算出像素点cj所对应的回归距离dcj。
d-11)将像素点cj的坐标作为极中心点，从该极中心点引一条射线作为极坐标轴，以顺时针方向为正方向建立极坐标系。
d-12)通过公式计算得到第i个轮廓点的X轴坐标，通过公式/>计算得到第i个轮廓点的Y轴坐标，i∈{1,2,...,n}，从0度所对应的坐标点出发，按顺时针方向逐个连接n个轮廓点，得到掩码(mask)轮廓Mj′。
d-13)使用python的opencv模块将预测掩码轮廓Mj和掩码轮廓Mj′合并，得到最终目标对象轮廓Mr。
d-14)使用python的opencv模块将目标对象轮廓Mr标记在第i张预处理后的图像Iyi上，得到分割图像Iyi′。
在该实施例中，优选的，步骤d-11)中置信度得分阈值的取值为0.3。
实施例5：
步骤e)中计算损失函数L的步骤为：
e-1)通过公式计算得到掩码回归损失Lreg，式中
e-2)通过公式计算得到极中心度损失Lct，式中ε为常数，/>点x为第i张预处理后的图像Iyi中任意一像素点，x∈{1,2,...,V}，V为第i张预处理后的图像Iyi的像素点总数，D(x)为点x到预测掩码轮廓Mj的欧式距离，/>为欧式距离的梯度算子，div(·)为散度算子。
e-3)通过公式L＝Lcls+α1Lreg+α2Lct计算得到损失函数L，式中Lcls为二元交叉熵损失，α1和α2均为交易参数。
在该实施例中，优选的，步骤e)中优化多中心PolarMask模型时初始学习率设置为0.01，迭代周期设置为10。进一步优选的，α1＝1，α2＝1，ε＝10-6。最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于多中心PolarMask模型改进的图像精准分割方法，其特征在于，包括如下步骤：
a)从COCO2017语义分割数据中获得训练集train2017、测试集test2017、验证集val2017以及训练集train2017的注释文件annotation_train、测试集test2017的注释文件annotation_test、验证集val2017的注释文件annotation_val；
b)对训练集train2017中的图像进行预处理，各个预处理后的图像构成原始图像集Iy，Iy＝{Iy1,Iy2,...,Iyi,...,Iyn}，Iyi为第i张预处理后的图像；
c)计算原始图像集Iy中第i张预处理后的图像Iyi中所标记的第j个物体Wj的中心点以及该中心点到第j个物体Wj轮廓的n条射线长度d1,d2,...,di,...,dn，j∈{1,2,...,l}，l为第i张预处理后的图像Iyi中物体的个数；
d)建立多中心PolarMask模型，将原始图像集Iy中第i张预处理后的图像Iyi输入到多中心PolarMask模型中，输出得到分割图像Iyi′；
e)计算损失函数L，使用Adam优化器，利用损失函数L反向传播以优化多中心PolarMask模型，得到优化后的多中心PolarMask模型；
f)将测试集test2017中任一一张图像输入到优化后的多中心PolarMask模型中，输出得到分割图像Itest′；
步骤d)包括如下步骤：
d-1)多中心PolarMask模型由主干网络ResNet、生成检测模块、推理模块构成；
d-2)将原始图像集Iy中第i张预处理后的图像Iyi输入到多中心PolarMask模型的主干网络ResNet中，得到m个特征图C1,C2,...,Ci,...,Cm，Ci为第i个特征图，i∈{1,2,...,m}；
d-3)生成检测模块由PolarMask模型的head结构构成，将第i个特征图Ci输入到PolarMask模型的head结构中，分别输出分类回归、极中心度回归、掩码回归，分类回归为H×W×K的矩阵，H为矩阵行数，W为矩阵列数，K为类别数，极中心度回归为H×W×1的矩阵，掩码回归为H×W×n的矩阵，分类回归中第i个像素点的分类分数为极中心度回归中第i个像素点的极中心度为掩码回归中第i个像素点的回归射线长度为将第i个像素点的分类分数/>使用sigmoid函数归一化得到归一化后的分类分数/>将第i个像素点的极中心度/>使用sigmoid函数归一化得到归一化后的极中心度/>通过公式/>计算得到第j个特征图Cj的第i个像素点的置信度Si，j∈{1,2,...,m}，i∈{1,2,...,H×W}，将第j个特征图Cj中的H×W个像素点的置信度按从大到小的顺序排列，取前1000个像素点并过滤掉前1000个像素点中置信度小于0.05的像素点后，得到处理后的特征图Cj′，使用python中的reshape函数将处理后的特征图Cj′的大小由H×W转换为1×(H×W)，得到处理后的特征图Cj″；
d-4)使用python中的stack函数将m个处理后的特征图C1″,C2″,...,Cj″,...,Cm″的所有像素点合并，得到特征图C；
d-5)将特征图C输入到推理模块中，将特征图C中筛选出像素点的分类分数大于0.05的像素点，使用阈值为0.5的非极大值抑制方法去除筛选出来的像素点中的冗余的像素点，得到l个保留下来的像素点，标记l个像素点的坐标为 为第j个像素点的X轴坐标，/>为第j个像素点的Y轴坐标，使用python中列表索引方法得到坐标/>对应的回归距离{di′,j＝1,2,...,l}；
d-6)以第j个物体的中心点坐标为极中心点，从该极中心点引一条射线作为极坐标轴，以顺时针方向为正方向建立极坐标系；
d-7)通过公式计算得到第i个轮廓点的X轴坐标，通过公式计算得到第i个轮廓点的Y轴坐标，i∈{1,2,...,n}，从0度所对应的坐标点出发，按顺时针方向逐个连接n个轮廓点，得到物体的预测掩码轮廓Mj；
d-8)通过公式计算得到第j个轮廓点的置信度Sj′，j∈{1,2,...,n}，/>为第j个轮廓点对应的归一化后的极中心度，/>为第j个轮廓点对应的归一化后的分类分数，对n个轮廓点的置信度使用python的sg.argrelmax函数求取出q个极值点及每个极值点对应的置信度，其第i个极值点对应的置信度为Si″，i∈{1,2,...,q}；
d-9)以第i个极值点为中心、5个像素点长度为半径建立一圆形区域Ci，圆形区域Ci中像素点个数为U，在该圆形区域Ci内利用python的列表索引在置信度Si中寻找圆形区域Ci中像素点ci的置信度ci为圆形区域Ci中第i个像素点，i∈{1,2,...,U}；
d-10)选择U个像素点中置信度最高的像素点cj，该像素点cj的坐标为 为像素点cj的X轴坐标，/>为像素点cj的Y轴坐标，设置置信度得分阈值，当置信度/>大于阈值0.3时，使用python中的列表索引方法计算出像素点cj所对应的回归距离dcj；
d-11)将像素点cj的坐标作为极中心点，从该极中心点引一条射线作为极坐标轴，以顺时针方向为正方向建立极坐标系；
d-12)通过公式计算得到第i个轮廓点的X轴坐标，通过公式计算得到第i个轮廓点的Y轴坐标，i∈{1,2,...,n}，从0度所对应的坐标点出发，按顺时针方向逐个连接n个轮廓点，得到掩码轮廓Mj′；
d-13)使用python的opencv模块将预测掩码轮廓Mj和掩码轮廓Mj′合并，得到最终目标对象轮廓Mr；
d-14)使用python的opencv模块将目标对象轮廓Mr标记在第i张预处理后的图像Iyi上，得到得到分割图像Iyi′。
2.根据权利要求1所述的基于多中心PolarMask模型改进的图像精准分割方法，其特征在于：步骤b)中将训练集train2017中的第i张图像以50％的概率进行随机增强，得到预处理后的图像Iyi。
3.根据权利要求2所述的基于多中心PolarMask模型改进的图像精准分割方法，其特征在于：所述随机增强操作包括图像剪裁、图像翻转、对比度调整、亮度调整。
4.根据权利要求1所述的基于多中心PolarMask模型改进的图像精准分割方法，其特征在于，步骤c)包括如下步骤：
c-1)利用多边形重心公式计算原始图像集Iy中第i张预处理后的图像Iyi中的第j个物体的重心 为第j个物体重心的X轴坐标，/>为第j个物体重心的Y轴坐标，重心/>作为第j个物体Wj的中心点；
c-2)以中心点为极中心点，从极中心点引一条射线作为极坐标轴，以顺时针方向为正方向建立极坐标系，在极坐标系中从极中心点建立n条射线S1,S2,...,Si,...,Sn，Si为第i条射线，i∈{1,...,n}，每两条相邻的射线之间的夹角为θ，/>沿第i条射线Si的方向从内向外判断每个像素点是否属于第j个物体Wj，从注释文件annotation_train中查询每个掩码的位置，选取属于第j个物体Wj掩码的距离最近的像素点到极中心点的距离第i条射线Si的射线长度di。
5.根据权利要求1所述的基于多中心PolarMask模型改进的图像精准分割方法，其特征在于，步骤e)中计算损失函数L的步骤为：
e-1)通过公式计算得到掩码回归损失Lreg，式中di max＝max(di,di′)，di min＝min(di,di′)；
e-2)通过公式计算得到极中心度损失Lct，式中ε为常数，/>点x为第i张预处理后的图像Iyi中任意一像素点，x∈{1,2,...,V}，V为第i张预处理后的图像Iyi的像素点总数，D(x)为点x到预测掩码轮廓Mj的欧式距离，/>为欧式距离的梯度算子，div(·)为散度算子；
e-3)通过公式L＝Lcls+α1Lreg+α2Lct计算得到损失函数L，式中Lcls为二元交叉熵损失，α1和α2均为交易参数。
6.根据权利要求1所述的基于多中心PolarMask模型改进的图像精准分割方法，其特征在于：步骤e)中优化多中心PolarMask模型时初始学习率设置为0.01，迭代周期设置为10。
7.根据权利要求5所述的基于多中心PolarMask模型改进的图像精准分割方法，其特征在于：α1＝1，α2＝1，ε＝10-6。
8.根据权利要求5所述的基于多中心PolarMask模型改进的图像精准分割方法，其特征在于：步骤d-11)中置信度得分阈值的额取值为0.3。
CN202310644624.6A 2023-06-02 2023-06-02 基于多中心PolarMask模型改进的图像精准分割方法 Active CN116681892B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310644624.6A CN116681892B (zh) 2023-06-02 2023-06-02 基于多中心PolarMask模型改进的图像精准分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310644624.6A CN116681892B (zh) 2023-06-02 2023-06-02 基于多中心PolarMask模型改进的图像精准分割方法

Publications (2)

Publication Number Publication Date
CN116681892A CN116681892A (zh) 2023-09-01
CN116681892B true CN116681892B (zh) 2024-01-26

Family

ID=87781755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310644624.6A Active CN116681892B (zh) 2023-06-02 2023-06-02 基于多中心PolarMask模型改进的图像精准分割方法

Country Status (1)

Country Link
CN (1) CN116681892B (zh)

Citations (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105852971A (zh) * 2016-05-04 2016-08-17 苏州点合医疗科技有限公司 基于骨骼三维中点云的配准导航方法
CN108717700A (zh) * 2018-04-09 2018-10-30 杭州依图医疗技术有限公司 一种检测结节长短径长度的方法及装置
CN108932713A (zh) * 2018-07-20 2018-12-04 成都指码科技有限公司 一种基于深度学习的焊缝气孔缺陷自动检测方法
CN109389587A (zh) * 2018-09-26 2019-02-26 上海联影智能医疗科技有限公司 一种医学图像分析系统、装置及存储介质
CN110008915A (zh) * 2019-04-11 2019-07-12 电子科技大学 基于掩码-rcnn进行稠密人体姿态估计的系统及方法
CN110533638A (zh) * 2019-08-02 2019-12-03 杭州依图医疗技术有限公司 一种测量对象尺寸的方法及装置
CN111105423A (zh) * 2019-12-17 2020-05-05 北京小白世纪网络科技有限公司 一种基于深度学习的ct图像中肾脏分割方法
CN111127499A (zh) * 2019-12-20 2020-05-08 北京工业大学 一种基于语义轮廓信息的安检图像刀具检测分割方法
CN111178449A (zh) * 2019-12-31 2020-05-19 浙江大学 结合计算机视觉特征和影像组学特征的肝癌图像分类方法和装置
CN111242174A (zh) * 2019-12-31 2020-06-05 浙江大学 一种基于影像组学的肝癌图像特征提取与病理分类方法和装置
CN111429463A (zh) * 2020-03-04 2020-07-17 北京三快在线科技有限公司 实例分割方法、装置、电子设备和存储介质
CN111598030A (zh) * 2020-05-21 2020-08-28 山东大学 一种航拍图像中车辆检测和分割的方法及系统
CN111915628A (zh) * 2020-06-24 2020-11-10 浙江大学 一种基于预测目标密集边界点的单阶段实例分割方法
CN112132206A (zh) * 2020-09-18 2020-12-25 青岛商汤科技有限公司 图像识别方法及相关模型的训练方法及相关装置、设备
CN112164077A (zh) * 2020-09-25 2021-01-01 陕西师范大学 基于自下而上路径增强的细胞实例分割方法
CN113065578A (zh) * 2021-03-10 2021-07-02 合肥市正茂科技有限公司 一种基于双路区域注意力编解码的图像视觉语义分割方法
CN113111885A (zh) * 2021-04-14 2021-07-13 清华大学深圳国际研究生院 一种动态分辨率实例分割方法及计算机可读存储介质
CN113197578A (zh) * 2021-05-07 2021-08-03 天津医科大学 一种基于多中心模型的精神分裂症分类方法及系统
CN113223027A (zh) * 2021-04-13 2021-08-06 山东师范大学 基于PolarMask的未成熟柿子分割方法及系统
CN113284126A (zh) * 2021-06-10 2021-08-20 安徽省立医院(中国科学技术大学附属第一医院) 人工神经网络图像分析预测脑积水分流手术疗效的方法
CN113324478A (zh) * 2021-06-11 2021-08-31 重庆理工大学 一种线结构光的中心提取方法及锻件三维测量方法
CN113688862A (zh) * 2021-07-09 2021-11-23 深圳大学 一种基于半监督联邦学习的脑影像分类方法及终端设备
CN113920126A (zh) * 2021-10-11 2022-01-11 深圳硅基智能科技有限公司 基于紧框标的深度学习的测量方法及测量装置
CN114519705A (zh) * 2022-02-16 2022-05-20 中国人民解放军空军特色医学中心 一种用于医学选拔与鉴定的超声标准数据处理方法及系统
CN115294473A (zh) * 2022-07-05 2022-11-04 哈尔滨理工大学 一种基于目标检测与实例分割的绝缘子故障识别方法及系统
CN115331003A (zh) * 2022-04-27 2022-11-11 重庆邮电大学 一种极坐标下基于轮廓点表示掩膜的单阶段实例分割方法
CN115578616A (zh) * 2022-09-28 2023-01-06 深圳市华汉伟业科技有限公司 多尺度物体实例分割模型的训练方法、分割方法和装置
CN115601643A (zh) * 2022-10-17 2023-01-13 沈阳建筑大学（Cn） 基于复杂网络和异源遥感图像的城市组团识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050201606A1 (en) * 2004-03-12 2005-09-15 Kazunori Okada 3D segmentation of targets in multislice image
US10019796B2 (en) * 2015-10-16 2018-07-10 General Electric Company System and method for blood vessel analysis and quantification in highly multiplexed fluorescence imaging

Patent Citations (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105852971A (zh) * 2016-05-04 2016-08-17 苏州点合医疗科技有限公司 基于骨骼三维中点云的配准导航方法
CN108717700A (zh) * 2018-04-09 2018-10-30 杭州依图医疗技术有限公司 一种检测结节长短径长度的方法及装置
CN108932713A (zh) * 2018-07-20 2018-12-04 成都指码科技有限公司 一种基于深度学习的焊缝气孔缺陷自动检测方法
CN109389587A (zh) * 2018-09-26 2019-02-26 上海联影智能医疗科技有限公司 一种医学图像分析系统、装置及存储介质
CN110008915A (zh) * 2019-04-11 2019-07-12 电子科技大学 基于掩码-rcnn进行稠密人体姿态估计的系统及方法
CN110533638A (zh) * 2019-08-02 2019-12-03 杭州依图医疗技术有限公司 一种测量对象尺寸的方法及装置
CN111105423A (zh) * 2019-12-17 2020-05-05 北京小白世纪网络科技有限公司 一种基于深度学习的ct图像中肾脏分割方法
CN111127499A (zh) * 2019-12-20 2020-05-08 北京工业大学 一种基于语义轮廓信息的安检图像刀具检测分割方法
CN111178449A (zh) * 2019-12-31 2020-05-19 浙江大学 结合计算机视觉特征和影像组学特征的肝癌图像分类方法和装置
CN111242174A (zh) * 2019-12-31 2020-06-05 浙江大学 一种基于影像组学的肝癌图像特征提取与病理分类方法和装置
CN111429463A (zh) * 2020-03-04 2020-07-17 北京三快在线科技有限公司 实例分割方法、装置、电子设备和存储介质
CN111598030A (zh) * 2020-05-21 2020-08-28 山东大学 一种航拍图像中车辆检测和分割的方法及系统
CN111915628A (zh) * 2020-06-24 2020-11-10 浙江大学 一种基于预测目标密集边界点的单阶段实例分割方法
CN112132206A (zh) * 2020-09-18 2020-12-25 青岛商汤科技有限公司 图像识别方法及相关模型的训练方法及相关装置、设备
CN112164077A (zh) * 2020-09-25 2021-01-01 陕西师范大学 基于自下而上路径增强的细胞实例分割方法
CN113065578A (zh) * 2021-03-10 2021-07-02 合肥市正茂科技有限公司 一种基于双路区域注意力编解码的图像视觉语义分割方法
CN113223027A (zh) * 2021-04-13 2021-08-06 山东师范大学 基于PolarMask的未成熟柿子分割方法及系统
CN113111885A (zh) * 2021-04-14 2021-07-13 清华大学深圳国际研究生院 一种动态分辨率实例分割方法及计算机可读存储介质
CN113197578A (zh) * 2021-05-07 2021-08-03 天津医科大学 一种基于多中心模型的精神分裂症分类方法及系统
CN113284126A (zh) * 2021-06-10 2021-08-20 安徽省立医院(中国科学技术大学附属第一医院) 人工神经网络图像分析预测脑积水分流手术疗效的方法
CN113324478A (zh) * 2021-06-11 2021-08-31 重庆理工大学 一种线结构光的中心提取方法及锻件三维测量方法
CN113688862A (zh) * 2021-07-09 2021-11-23 深圳大学 一种基于半监督联邦学习的脑影像分类方法及终端设备
CN113920126A (zh) * 2021-10-11 2022-01-11 深圳硅基智能科技有限公司 基于紧框标的深度学习的测量方法及测量装置
CN114519705A (zh) * 2022-02-16 2022-05-20 中国人民解放军空军特色医学中心 一种用于医学选拔与鉴定的超声标准数据处理方法及系统
CN115331003A (zh) * 2022-04-27 2022-11-11 重庆邮电大学 一种极坐标下基于轮廓点表示掩膜的单阶段实例分割方法
CN115294473A (zh) * 2022-07-05 2022-11-04 哈尔滨理工大学 一种基于目标检测与实例分割的绝缘子故障识别方法及系统
CN115578616A (zh) * 2022-09-28 2023-01-06 深圳市华汉伟业科技有限公司 多尺度物体实例分割模型的训练方法、分割方法和装置
CN115601643A (zh) * 2022-10-17 2023-01-13 沈阳建筑大学（Cn） 基于复杂网络和异源遥感图像的城市组团识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
3D打印技术在腹腔镜胰十二指肠切除术中的应用;晋云;杨超;陈晓波;胡苹苹;石万红;王峻峰;;中华肝脏外科手术学电子杂志(02);第47-51页 *
Gated fusion network for single image dehazing;REN W Q等;《Proceedings of the 2018 IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City》;第3253-3261页 *
U-Net深度学习模型对DCE-MRI上乳腺肿块自动分割和定位的准确性分析;马明明;姜原;刘义;谢辉辉;张靖远;王祥鹏;刘伟鹏;张晓东;秦乃姗;王霄英;;放射学实践(08);第88-94页 *
基于多代表点近邻传播的大数据图像分割算法;许晓丽;;图学学报(01);第93-98页 *

Also Published As

Publication number Publication date
CN116681892A (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
CN109977918B (zh) 一种基于无监督域适应的目标检测定位优化方法
Chen et al. One-shot adversarial attacks on visual tracking with dual attention
CN111583263A (zh) 一种基于联合动态图卷积的点云分割方法
CN108710896B (zh) 基于产生式对抗学习网络的领域学习方法
CN113408605A (zh) 基于小样本学习的高光谱图像半监督分类方法
CN110543906B (zh) 基于Mask R-CNN模型的肤质自动识别方法
Sajanraj et al. Indian sign language numeral recognition using region of interest convolutional neural network
Wang et al. An unequal deep learning approach for 3-D point cloud segmentation
CN111931763B (zh) 一种基于随机形态边缘几何建模的深度场景文本检测方法
CN111401145A (zh) 一种基于深度学习与ds证据理论的可见光虹膜识别方法
CN112488229A (zh) 一种基于特征分离和对齐的域自适应无监督目标检测方法
CN114419413A (zh) 感受野自适应的变电站绝缘子缺陷检测神经网络构建方法
CN115019039A (zh) 一种结合自监督和全局信息增强的实例分割方法及系统
CN111126155B (zh) 一种基于语义约束生成对抗网络的行人再识别方法
CN116342942A (zh) 基于多级域适应弱监督学习的跨域目标检测方法
CN110991247B (zh) 一种基于深度学习与nca融合的电子元器件识别方法
CN113538472B (zh) 一种基于编码-解码网络的向量场引导精细化分割方法
Zhao et al. Research on detection method for the leakage of underwater pipeline by YOLOv3
CN111598854A (zh) 基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法
CN111723852A (zh) 针对目标检测网络的鲁棒训练方法
CN116681892B (zh) 基于多中心PolarMask模型改进的图像精准分割方法
CN116824330A (zh) 一种基于深度学习的小样本跨域目标检测方法
CN111461130B (zh) 一种高精度图像语义分割算法模型及分割方法
CN114187440A (zh) 一种基于动态分类器的小样本目标检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant