CN110490880A - 一种基于局部视觉线索的髋关节x光图像分割方法及系统 - Google Patents

一种基于局部视觉线索的髋关节x光图像分割方法及系统 Download PDF

Info

Publication number
CN110490880A
CN110490880A CN201910757166.0A CN201910757166A CN110490880A CN 110490880 A CN110490880 A CN 110490880A CN 201910757166 A CN201910757166 A CN 201910757166A CN 110490880 A CN110490880 A CN 110490880A
Authority
CN
China
Prior art keywords
lvc
segmentation result
network
local visual
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910757166.0A
Other languages
English (en)
Inventor
舒禹程
李伟生
吴潇
马旭
齐大逊
赵君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201910757166.0A priority Critical patent/CN110490880A/zh
Publication of CN110490880A publication Critical patent/CN110490880A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于局部视觉线索的髋关节X光图像分割方法及系统，所述方法包括：对数据集中的图像数据进行预处理，学习标准U‑net网络的第一层卷积块特征，使用Sobel算子得到粗糙标签，通过第一卷积块特征和粗糙标签提取局部视觉线索LVC，用LVC结合S‑loss损失函数指导U‑net网络输出初步分割结果图，利用LVC生成LVC局部视觉指导，并与初步分割结果图通过可变形的空间变换网络，输出采样偏移场，将初步分割结果图进行重采样得到图像的最终分割结果；本发明解决医学图像分割过程中监督学习模型容易受到标签噪声的影响的问题，降低医学图像标签生成的复杂度。

Description

一种基于局部视觉线索的髋关节X光图像分割方法及系统
技术领域
本发明属于深度学习和计算机视觉的技术领域。具体涉及一种基于局部视觉线索的自动化纠正语义分割错误的弱监督髋关节图像分割方法。
背景技术
卷积神经网络已经在计算机视觉领域取得了非常好的效果，是适用于各种图像任务的优秀图像特征提取器。但是，医学领域的电子计算机断层扫描CT图像、磁共振成像MRI图像、X光(X射线)图像，由于其数据标记困难，数据量少，与自然图像有极大的区别，导致卷积神经网络无法很好应用到医学图像中。
在髋关节发育不良的医学领域，发育性髋关节不全(DDH)的筛查工作，主要依赖于医生几何角度计算和观察。对髋关节分割检测，传统方法有采用CT图像相似性分割和对图像视觉算法的贝叶斯决策提高分割效果，以及医学影像进行卷积神经网络进行智能分割，提出基于改进卷积神经网络的双向长短记忆医学图像分割方法。传统检测方法的无监督算法精度不高，而全监督算法依赖于数据标注质量和数量，模型无法自发地发现标注错误，从而导致髋关节分割效果不佳。
CNN(卷积神经网络)，有多个变种网络架构，主要应用于图像的特征提取，卷积层、池化层是卷积神经网络的主要模块，CNN通过某种初始化来设置卷积层的参数，而卷积核的大小、个数作为超参数，由人进行调节，卷积神经网络在最后借由softmax分类器、二值分类器、sigmoid激活函数将图像的前景、背景或多个类别进行判别。基于CNN的特征提取和类别判断能力，CNN通过一个新的逐像素分类器和分割标签，实现了物体分割的效果。但经典的全卷积分割算法需要大量精准的数据标注，而数据标注资源在医学领域十分有限。
U-net网络使用的跳跃连接可以直接将低层信息传播到底层网络，从而大大地提高分割精度。然而，它的有效性在很大程度上取决于标签的精度。因此，如果标签被污染，特别是在边缘处，有用的细节特征可能不会被网络学习。在这种情况下，尤其是在基于标签的监督框架上构建学习模型时，不保证该算法能够自发地发现有用的视觉线索去对抗错误的标签，并最终引导网络学习的算法达到真正最优。
发明内容
为解决上述问题，本发明的目的在于提供一种基于局部视觉线索的髋关节X光图像分割方法及系统，首先，由于网络的前端受标签的影响相对较小，我们从网络低层信息捕捉局部视觉特征，称为局部视觉线索(LVC)；然后，进一步将一个可变形的空间转换模块集成到我们的编解码网络中，为局部接受场提供额外的自由，使网络能够在学习过程中自发地建立预测结果和LVC之间的视觉联系；最后，提出了一种新的损失函数S-loss来指导噪声标签、LVC和变形网络的有效正则化。
根据本发明的一个方面，提供了一种基于局部视觉线索的髋关节X光图像分割方法，包括以下步骤：
步骤1，获取X光图像标注的数据集，对数据集中的图像数据进行预处理，得到基于分割标注的髋关节区域(ROI)，将ROI区域归一化；
步骤2，将预处理后的数据集输入标准U-net网络模型，学习标准U-net网络的第一层卷积块特征；
步骤3，提取数据集中不同大小的需要分割区域，使用Sobel算子进行预处理，得到LVC生成器所需的粗糙标签；
步骤4，将所述U-net网络第一卷积块特征和粗糙标签送入局部视觉线索(LVC)生成器中提取LVC；
步骤5，用所述LVC结合S-loss损失函数指导U-net网络输出初步分割结果图；
步骤6，利用LVC进一步生成LVC局部视觉指导，并将其与所述初步分割结果图输入到可变形的空间变换网络，进行学习和输出采样偏移场；
步骤7，将所述的初步分割结果图基于采样偏移场进行重采样得到X光图像的最终分割结果。
根据本发明的另一个方面，本发明提供一种基于局部视觉线索的髋关节X光图像分割系统，所述系统包括以下模块：
图像采集模块，用于采集髋关节X光图像；
数据集预处理模块，用于获取X光图像标注的数据集，对数据集中的图像数据进行预处理，得到基于分割标注的髋关节区域(ROI)，将ROI区域归一化；
标准U-net网络模块，用于输入数据集，学习标准U-net网络的第一层卷积块特征；提取数据集中不同大小的需要分割区域，使用Sobel算子进行预处理，得到局部视觉线索(LVC)生成器所需的粗糙标签；在LVC结合S-loss损失函数的指导下初步分割结果图；
局部视觉线索(LVC)生成器模块，用于将U-net网络的第一层卷积特征特征和使用Sobel算子预处理ROI后得到的粗糙标签，提取LVC；
可变形空间变换网络模块，用于利用LVC进一步生成LVC局部视觉指导，并将其与所述初步分割结果图输入到可变形的空间变换网络，进行学习并且利用网络输出采样偏移场；通过标准采样函数所述初步分割结果图基于偏移场进行重采样得到X光图像的最终分割结果。
本发明提供的一种基于局部视觉线索的髋关节X光图像分割方法及系统，解决了医学图像分割过程中监督学习模型容易受到标签噪声的影响的问题，降低医学图像标签生成的复杂度。此外，本发明针对卷积神经网络在小规模数据集规模上，髋关节X光影像分割方法准确率不高，不能克服标注错误的问题，使得人工标注成本大大降低，将图像特征算子与语义标注结合起来，使得能自发发现错误，模型更加的鲁棒。本发明使用了分割标注代替了包围盒的标注，得到了单独的髋关节6个骨头区域，去掉了包围盒的标注成本和减少了全卷积图像分割的计算量。通过本发明方法，为各种图像任务提供了一种基于浅层特征的自适应提升模型效果的新方法，并且将使得图像分割对数据集的要求降低，可以胜任更多的医学图像分析处理。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1是本发明实施例提供的一种基于局部视觉线索的髋关节X光图像分割方法流程示意图；
图2是本发明实施例提供的通过可变形的空间变换网络输出采样偏移场方法流程示意图；
图3是本发明实施例提供的一种基于局部视觉线索的髋关节X光图像分割系统结构图；
图4本发明实施例提供的另一种基于局部视觉线索的髋关节X光图像分割系统结构图；
图5是本发明实施例提供的LVC-Net方法与传统方法的实验结果对比图。
具体实施方式
下面结合说明书附图对本发明进行进一步的说明。
图1是本发明实施例提供的一种基于局部视觉线索的髋关节X光图像分割方法流程示意图，所述方法包括如下步骤：
步骤101，获取X光图像标注的数据集，对数据集中的图像数据进行预处理，得到基于分割标注的髋关节区域(ROI)，将ROI区域归一化；
具体来说，对数据集中的图像数据进行预处理时，可以首先使用labelme标注工具获取X光图像标注数据集，转换数据集格式为COCO2014格式，由pycocotools工具包对json解序列化，得到网络的输入，根据分割的点的范围和随机数重新计算ROI区域，增强数据，归一化到128x128。
步骤102，将预处理后的数据集输入标准U-net网络模型，学习标准U-net网络的第一层卷积块特征；
具体来说，采用经典的U-net网络对髋关节区域预测分割结果，输出结果为[6,128,128,2]，6为batch size，每次训练的数据量。128,128分别特征图的长度，宽度。2为输出的通道数。第一个维度为6个髋关节区域，最后一个维度为前景和背景通道，保存U-net网络第一层卷积块的输出特征。
步骤103，提取数据集中不同大小的需要分割区域，使用Sobel算子进行预处理，得到粗糙标签；
步骤104，将所述U-net网络第一卷积块特征和粗糙标签送入局部视觉线索(LVC)生成器中提取LVC；
优选的，步骤104包括：选用图像梯度特征算子，构造基于生成式对抗神经网络的LVC特征生成器，将所述U-net网络第一层卷积块特征和粗糙标签送入LVC生成器，通过梯度边缘特征的判别，使用LVC-loss损失函数，得到U-net网络第一层卷积块特征中对分割结果的边缘线索，所述边缘线索为提取到的LVC；其中所述LVC-loss损失函数的表达式为：
其中yi为LVC生成器的输出，ys为Sobel算子处理后粗糙标签，P(s)是每个初始边缘金标准(ground truth)中的Sobel信号强度比。初始边缘金标准(ground truth)是专家标注的分割结果。
步骤105，用所述LVC结合S-loss损失函数指导U-net网络输出初步分割结果图；
优选的，步骤105包括：将步骤101提取的ROI输入U-net网络，使用S-loss损失函数指导U-net网络输出分割结果；S-loss损失函数计算每个像素的前景和背景的预测概率为和分别计算预测概率的值与粗糙标签ys、标签yG存在的偏离值，再求得两个偏离值的和，使用优化函数让所述偏离值达到全局最小，得到U-net网络的输出的初步分割结果图；
其中所述S-loss损失函数的表达式为：
其中为像素的前景预测值，ys为Sobel处理后的粗糙标签，yG为初始边缘金标准(ground truth)，即专家标注的分割结果，为网络的输出经过激活函数的预测值，激活函数为sigmoid。
优选的，优化函数为常用的Adam优化函数。
具体来说，在得到的局部视觉线索LVC的指导下再次使用U-net网络对髋关节区域预测分割结果，将数据输入的张量维度为[6,128,128,2]，和第104步骤得到的局部视觉线索的张量维度[6,128,128,1]进行级联作为U-net的输入，级联后的维度为[6,128,128,3],输出结果为[6,128,128,2]，6为batch size，每次训练的数据量。128,128分别为特征图的长度和宽度，2为输出的通道数，得到初步分割结果图。
步骤106，利用LVC进一步生成LVC局部视觉指导，并将其与所述初步分割结果图输入到可变形的空间变换网络，进行学习和输出采样偏移场；
具体来说，通过计算得到LVC局部视觉指导，首先计算LVC边缘像素，以一个边缘像素中心，求其及其周围8个像素的概率值乘以对应所述的ROI坐标值的和，再除以这个9个像素的概率和得到一个值，这个值与其对应的坐标模板值的差就为这个像素的偏移量。对所有的LVC边缘像素计算得到LVC局部视觉指导，由于这是由浅层信息和原始图像通过LVC生成器再通过计算得到的信息，它可以作为可信的LVC局部视觉指导。
在可变形空间变换网络中，采用基于U-net的编码解码构建学习偏移场的采样网络，所述采样网络通过接受原始图像和语义信息，在LVC局部视觉指导的指导下，产生语义初始分割的扩散或是收缩，建立局部相似性的特征空间迁移，学习到分割图像的偏移场。
图2是本发明实施例提供的通过可变形的空间变换网络输出采样偏移场方法流程示意图。优选的，步骤106如图2所示，包括：
步骤201，对初始分割结果构建全图坐标化网格：
其中H和W分别为特征图的高度和宽度，为实数；
步骤202，对初始分割结果，计算出局部视觉的中心位置：
其中pi是输出的像素值，Y(pi)是初始分割结果，L(pj)是LVC，N(pi)是卷积核大小，R是全图坐标化网格；
步骤203，通过Vg(pi)为初始分割结果建立局部视觉指导，对每个像素计算偏移量，并归一化所有区域，得到重采样场，重采样场将依据LVC局部视觉指导改变每个像素的预测值，其中LVC局部视觉指导Vg(pi)为：
Vg(pi)＝(pi-center(pi))x,y
其中，pi是输出的像素值，x,y是pi在网格中的坐标；
步骤204，空间变化网络通过卷积层学习采样偏移场，对于每个局部空间的像素，计算Vs(pi)为像素的偏移，其中偏移量Vs(pi)与局部视觉指导Vg(pi)之间为L2正则化，计算偏移的目标函数：
Gloss＝||Vg(pi)-Vs(pi)||2
其中，所述偏移目标函数Gloss为本发明针对可变形空间变换网络，设计的一种基于局部视觉特征的空间相似性损失函数，可用于在让初步分割结果图通过卷积层时，在LVC偏移场的指导下，用Gloss函数指导学习卷积层的参数。
步骤107，将所述的初步分割结果图基于采样偏移场进行重采样得到X光图像的最终分割结果。
优选的，步骤107包括：对网络的初始分割结果基于采样偏移场进行重采样，重采样采用标准网络采样函数φ，得到了X光图像的最终分割结果：
其中，Y(pi)是初始分割结果，Vs(pi)为像素偏移量，ω()函数是一个加权函数，N(pi)是卷积核大小。
图3是本发明实施例提供的一种基于局部视觉线索的髋关节X光图像分割系统结构图，所述系统可称为LVC-网络系统或LVC-net系统，所述系统除包含有用于获取髋关节X光图像的图像采集模块外，还包括以下模块：
数据集预处理模块301，用于获取X光图像标注的数据集，对数据集中的图像数据进行预处理，得到基于分割标注的髋关节区域(ROI)，将ROI区域归一化；
标准U-net网络模块302，用于输入数据集，学习标准U-net网络的第一层卷积块特征；提取数据集中不同大小的需要分割区域，使用Sobel算子进行预处理，得到局部视觉线索(LVC)生成器所需的粗糙标签；在LVC结合S-loss损失函数的指导下初步分割结果图；
局部视觉线索(LVC)生成器模块303，用于将U-net网络的第一层卷积特征特征和使用Sobel算子预处理ROI后得到的粗糙标签，提取LVC；
可变形空间变换网络模块304，用于利用LVC进一步生成LVC局部视觉指导，并将其与所述初步分割结果图输入到可变形的空间变换网络，进行学习并且利用网络输出采样偏移场；通过标准采样函数所述初步分割结果图基于偏移场进行重采样得到X光图像的最终分割结果。
优选的，局部视觉线索(LVC)生成器模块303具体用于：
选用图像梯度特征算子，构造基于生成式对抗神经网络的LVC特征生成器，将所述U-net网络第一层卷积块特征和粗糙标签送入LVC生成器，通过梯度边缘特征的判别，使用LVC-loss损失函数，得到U-net网络第一层卷积块特征中对分割结果的边缘线索，所述边缘线索为提取到的LVC；
其中所述LVC-loss损失函数的表达式为：
其中yi为LVC生成器的输出，ys为Sobel算子处理后粗糙标签，P(s)是每个初始边缘金标准(ground truth)中的Sobel信号强度比。
优选的，标准U-net网络模块302在LVC结合S-loss损失函数的指导下初步分割结果图包括：
将提取的ROI输入U-net网络，使用S-loss损失函数指导U-net网络输出分割结果；计算每个像素的前景和背景的预测概率为和分别计算预测概率的值与粗糙标签ys、标签yG存在的偏离值，再求得两个偏离值的和，使用优化函数让所述偏离值达到全局最小，得到U-net网络的输出的初步分割结果图；
其中所述S-loss损失函数的表达式为：
其中为像素的前景预测值，ys为Sobel处理后的粗糙标签，yG为初始边缘金标准(ground truth)，为网络的输出经过激活函数的预测值，激活函数为sigmoid。
优选的，可变形空间变换网络模块304，用于利用LVC进一步生成LVC局部视觉指导，并将其与所述初步分割结果图输入到可变形的空间变换网络，进行学习并且利用网络输出采样偏移场包括：
步骤a，对初始分割结果构建全图坐标化网格：
其中H和W分别为特征图的高度和宽度，为；
步骤b，对初始分割结果，计算出局部视觉的中心位置：
其中pi是输出的像素值，Y(pi)是初始分割结果，L(pj)是LVC局部视觉指导，N(pi)是卷积核大小，R是全图坐标化网格；
步骤c，通过Vg(pi)为初始分割结果建立LVC-net的局部视觉指导，对每个像素计算偏移量，并归一化所有区域，得到重采样场，重采样场将依据LVC局部视觉指导改变每个像素的预测值，其中LVC局部视觉指导Vg(pi)为：
Vg(pi)＝(pi-center(pi))x,y
其中，pi是输出的像素值，x,y是pi在网格中的坐标；
步骤d，空间变化网络通过卷积层学习采样偏移场，对于每个局部空间的像素，计算Vs(pi)为像素的偏移，其中偏移量Vs(pi)与局部视觉指导Vg(pi)之间为L2正则化，计算偏移的目标函数：
Gloss＝||Vg(pi)-Vs(pi)||2
优选的，可变形空间变换网络模块304，用于通过标准采样函数所述初步分割结果图基于偏移场进行重采样得到X光图像的最终分割结果包括：
对网络的初始分割结果基于采样偏移场进行重采样，重采样采用标准网络采样函数φ，得到了X光图像的最终分割结果：
其中，Y(pi)是初始分割结果，Vs(pi)为像素偏移量，ω()函数是一个加权函数，N(pi)是卷积核大小。
图4本发明实施例提供的另一种基于局部视觉线索的髋关节X光图像分割的LVC-网络系统架构图，所述系统至少包括以下模块：
1)、U-net模块是一个编码-解码网络，编码部分位于图4左侧，自上而下将输入的图像不断池化，保留图像特征图中的得分大的像素，即图像的特征；解码部分位于图4右侧，混合编码时的每个特征输出和网络最底部的高层信息，提取出图像到图像的掩模分割。
2)、LVC产生模块，共享U-net的第一层卷积权重的图像特征和使用Sobel算子预处理后的ROI得到粗糙标签作为生成器的输入，使用LVC-loss(LVC-损失)损失函数作为指导，通过训练得到原始图像中对分割结果有帮助的边缘线索LVC。
3)、可变形空间变换网络，将传统卷积空间的感受野网格化，网格设置为R＝{(-1，-1)、(1，1)…..}，为每个感受野中的小方格增加偏移量，记录下偏移后的坐标值，从原图中找到新位置的像素值，从而得到一个变化的感受野，做卷积运算，将此时卷积的输出结果通过新坐标插值形成X光图像的最终分割结果；所述空间变换网络采用与U-net相同的网络架构，利用LVC进一步生成LVC局部视觉指导(指引)，通过基于局部视觉特征的空间相似性损失函数Gloss，得到复杂的偏移信息。
在本发明的另一实施例中，将本发明提供的LVC-net系统与传统的全卷积网络FCN和U-Net网络进行对比实验。实验环境为一台PC计算机，该计算机的配置为显卡型号为NVIDIA Tesla v100，显存大小16GB，编程语言为python，使用的深度学习框架为Tensorflow，GPU运算。本发明提供的LVC-net采用Adam优化器、BN正则化，对各个模块进行分步训练，学习率均设置为1e-4,beta1＝0.9,beta2＝0.999。
在本实验过程中，所选用的图像是来自医院的髋关节X光图像，选取每类图像髋关节部位为前景，其余为背景，为一个批次。本实施例使用了分割标注代替了包围盒的标注，得到了单独的髋关节6个骨头区域，去掉了包围盒的标注成本和减少了全卷积图像分割的计算量。利用labelme标注工具，对髋关节X光图像，进行不同难易度的标注，转化为COCO数据集格式，使用pycocotools工具、协程异步读取数据进入网络。表1为本发明实施例使用的标准U-net网络的参数设置的详细情况。
表1 本发明使用的标准U-net网络的参数设置
图5是本发明提供的LVC-net与FCN和U-Net网络最终生成的分割图像的对比图。图5中第一行是不同算法的整个图像的结果，第二行是第一行图像局部放大后的详细结果，其中图(a)、(e)为FCN的结果，图(b)、(f)为U-net的结果，图(c)、(g)为LVC-Net的结果，图(d)、(h)为标签，标签为专家标注的分割结果，可作为参照系。由图5的比较可知，本发明提供的LVC-net系统的结果边缘像素更精准，说明可以更好的提高影像分割方法准确率。
为进一步说明本发明实施例可以实现的技术效果，利用通用的评价指标：平均交并比mIOU、精度precision、召回率recall，来进行对比说明。交并比mIOU指的是训网络预测的输出和标签信息在匹配过程中，预测的分割面积和标签信息的面积的交集比去并集的值。精度precision指预测为前景的像素和真实值中前景像素的比值。召回率recall指预测为前景的像素且实际为前景个数与真实值中前景像素的比值。这三个评价指标的值越大(最大值为1)，说明图像分割的结果越好。
表2为本发明提供的LVC-net与现有FCN和U-Net网络的实验对比结果。每个网络有三个等级，level1、level2和levle3，等级越高，标签的噪声越多，标签质量越差。由表Y可以看出，LVC-Net在同标签噪声等级下，实验结果均好于FCN，U-Net。当标签噪声逐渐增大时，FCN和U-Net的性能下降速度较快。同时，LVC-Net在较高的标签噪声水平下仍保持较强的鲁棒性。
表2 LVC-net与FCN和U-Net的实验对比结果
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (10)

1.一种基于局部视觉线索的髋关节X光图像分割方法，其特征在于，包括：
步骤1，获取X光图像标注的数据集，对数据集中的图像数据进行预处理，得到基于分割标注的髋关节区域ROI，将ROI区域归一化；
步骤2，将预处理后的数据集输入标准U-net网络模型，学习标准U-net网络的第一层卷积块特征；
步骤3，提取数据集中不同大小的需要分割区域，使用Sobel算子进行预处理，得到粗糙标签；
步骤4，将所述U-net网络第一卷积块特征和粗糙标签送入局部视觉线索LVC生成器中提取LVC；
步骤5，用所述LVC结合S-loss损失函数指导U-net网络输出初步分割结果图；
步骤6，利用LVC进一步生成LVC局部视觉指导，并将其与所述初步分割结果图输入到可变形的空间变换网络，进行学习和输出采样偏移场；
步骤7，将所述的初步分割结果图基于采样偏移场进行重采样得到X光图像的最终分割结果。
2.根据权利要求1所述的方法，其特征在于，步骤4包括：
选用图像梯度特征算子，构造基于生成式对抗神经网络的LVC特征生成器，将所述U-net网络第一层卷积块特征和粗糙标签送入LVC生成器，通过梯度边缘特征的判别，使用LVC-loss损失函数，得到U-net网络第一层卷积块特征中对分割结果的边缘线索，所述边缘线索为提取到的LVC；
其中所述LVC-loss损失函数的表达式为：
其中yi为LVC生成器的输出，ys为Sobel算子处理后粗糙标签，P(s)是每个初始边缘金标准ground truth中的Sobel信号强度比。
3.根据权利要求1所述的方法，其特征在于，步骤5包括：
将步骤1提取的ROI输入U-net网络，使用S-loss损失函数指导U-net网络输出分割结果；S-loss损失函数计算每个像素的前景和背景的预测概率为和分别计算预测概率的值与粗糙标签ys、标签yG存在的偏离值，再求得两个偏离值的和，使用优化函数让所述偏离值达到全局最小，得到U-net网络的输出的初步分割结果图；
其中所述S-loss损失函数的表达式为：
其中为像素的前景预测值，ys为Sobel处理后的粗糙标签，yG为初始边缘金标准groundtruth，为网络的输出经过激活函数的预测值，激活函数为sigmoid。
4.根据权利要求1所述的方法，其特征在于，步骤6包括：
步骤601，对初始分割结果构建全图坐标化网格：
其中H和W分别为特征图的高度和宽度，为实数；
步骤602，对初始分割结果，计算出局部视觉的中心位置：
其中pi是输出的像素值，Y(pi)是初始分割结果，L(pj)是LVC，N(pi)是卷积核大小，R是全图坐标化网格；
步骤603，通过Vg(pi)为初始分割结果建立局部视觉指导，对每个像素计算偏移量，并归一化所有区域，得到重采样场，重采样场将依据LVC局部视觉指导改变每个像素的预测值，其中LVC局部视觉指导Vg(pi)为：
Vg(pi)＝(pi-center(pi))x,y
其中，pi是输出的像素值，x,y是pi在网格中的坐标；
步骤604，空间变化网络通过卷积层学习采样偏移场，对于每个局部空间的像素，计算Vs(pi)为像素的偏移，其中偏移量Vs(pi)与局部视觉指导Vg(pi)之间为L2正则化，计算偏移的目标函数：
Gloss＝||Vg(pi)-Vs(pi)||2
5.根据权利要求1所述的方法，其特征在于，步骤7包括：
对网络的初始分割结果基于采样偏移场进行重采样，重采样采用标准网络采样函数φ，得到了X光图像的最终分割结果：
其中，Y(pi)是初始分割结果，Vs(pi)为像素偏移量，ω()函数是一个加权函数，N(pi)是卷积核大小。
6.一种基于局部视觉线索的髋关节X光图像分割系统，所述系统包括用于采集髋关节X光图像的图像采集模块，其特征在于，所述系统还包括：
数据集预处理模块，用于获取X光图像标注的数据集，对数据集中的图像数据进行预处理，得到基于分割标注的髋关节区域ROI，将ROI区域归一化；
标准U-net网络模块，用于输入数据集，学习标准U-net网络的第一层卷积块特征；提取数据集中不同大小的需要分割区域，使用Sobel算子进行预处理，得到局部视觉线索LVC生成器所需的粗糙标签；在LVC结合S-loss损失函数的指导下初步分割结果图；
局部视觉线索LVC生成器模块，用于将U-net网络的第一层卷积特征特征和使用Sobel算子预处理ROI后得到的粗糙标签，提取LVC；
可变形空间变换网络模块，用于利用LVC进一步生成LVC局部视觉指导，并将其与所述初步分割结果图输入到可变形的空间变换网络，进行学习并且利用网络输出采样偏移场；通过标准采样函数所述初步分割结果图基于偏移场进行重采样得到X光图像的最终分割结果。
7.根据权利要求6所述的系统，其特征在于，局部视觉线索LVC生成器模块具体用于：
选用图像梯度特征算子，构造基于生成式对抗神经网络的LVC特征生成器，将所述U-net网络第一层卷积块特征和粗糙标签送入LVC生成器，通过梯度边缘特征的判别，使用LVC-loss损失函数，得到U-net网络第一层卷积块特征中对分割结果的边缘线索，所述边缘线索为提取到的LVC；
其中所述LVC-loss损失函数的表达式为：
其中yi为LVC生成器的输出，ys为Sobel算子处理后粗糙标签，P(s)是每个初始边缘金标准ground truth中的Sobel信号强度比。
8.根据权利要求6所述的系统，其特征在于，标准U-net网络模块在LVC结合S-loss损失函数的指导下初步分割结果图包括：
将数据集预处理模块提取的ROI输入U-net网络，使用S-loss损失函数指导U-net网络输出分割结果；计算每个像素的前景和背景的预测概率为和分别计算预测概率的值与粗糙标签ys、标签yG存在的偏离值，再求得两个偏离值的和，使用优化函数让所述偏离值达到全局最小，得到U-net网络的输出的初步分割结果图；
其中所述S-loss损失函数的表达式为：
其中为像素的前景预测值，ys为Sobel处理后的粗糙标签，yG为初始边缘金标准groundtruth，为网络的输出经过激活函数的预测值，激活函数为sigmoid。
9.根据权利要求6所述的系统，其特征在于，可变形空间变换网络模块，用于利用LVC进一步生成LVC局部视觉指导，并将其与所述初步分割结果图输入到可变形的空间变换网络，进行学习并且利用网络输出采样偏移场，包括：
步骤a，对初始分割结果构建全图坐标化网格：
其中H和W分别为特征图的高度和宽度，为实数；
步骤b，对初始分割结果，计算出局部视觉的中心位置：
其中pi是输出的像素值，Y(pi)是初始分割结果，L(pj)是LVC，N(pi)是卷积核大小，R是全图坐标化网格；
步骤c，通过Vg(pi)为初始分割结果建立局部视觉指导，对每个像素计算偏移量，并归一化所有区域，得到重采样场，重采样场将依据LVC局部视觉指导改变每个像素的预测值，其中LVC局部视觉指导Vg(pi)为：
Vg(pi)＝(pi-center(pi))x,y
其中，pi是输出的像素值，x,y是pi在网格中的坐标；
步骤d，空间变化网络通过卷积层学习采样偏移场，对于每个局部空间的像素，计算Vs(pi)为像素的偏移，其中偏移量Vs(pi)与局部视觉指导Vg(pi)之间为L2正则化，计算偏移的目标函数：
Gloss＝||Vg(pi)-Vs(pi)||2
10.根据权利要求6所述的系统，其特征在于，可变形空间变换网络模块，用于通过标准采样函数所述初步分割结果图基于偏移场进行重采样得到X光图像的最终分割结果包括：
对网络的初始分割结果基于采样偏移场进行重采样，重采样采用标准网络采样函数φ，得到了X光图像的最终分割结果：
其中，Y(pi)是初始分割结果，Vs(pi)为像素偏移量，ω()函数是一个加权函数，N(pi)是卷积核大小。
CN201910757166.0A 2019-08-16 2019-08-16 一种基于局部视觉线索的髋关节x光图像分割方法及系统 Withdrawn CN110490880A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910757166.0A CN110490880A (zh) 2019-08-16 2019-08-16 一种基于局部视觉线索的髋关节x光图像分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910757166.0A CN110490880A (zh) 2019-08-16 2019-08-16 一种基于局部视觉线索的髋关节x光图像分割方法及系统

Publications (1)

Publication Number Publication Date
CN110490880A true CN110490880A (zh) 2019-11-22

Family

ID=68551366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910757166.0A Withdrawn CN110490880A (zh) 2019-08-16 2019-08-16 一种基于局部视觉线索的髋关节x光图像分割方法及系统

Country Status (1)

Country Link
CN (1) CN110490880A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956131A (zh) * 2019-11-27 2020-04-03 北京迈格威科技有限公司 单目标追踪方法、装置及系统
CN111966823A (zh) * 2020-07-02 2020-11-20 华南理工大学 一种面向标签噪声的图节点分类方法
CN112116623A (zh) * 2020-09-21 2020-12-22 推想医疗科技股份有限公司 图像分割方法及装置
CN112308080A (zh) * 2020-11-05 2021-02-02 南强智视(厦门)科技有限公司 面向指向性视觉理解和分割的图像描述预测方法
CN113435458A (zh) * 2021-02-08 2021-09-24 中国石油化工股份有限公司 基于机器学习的岩石薄片图像分割方法、装置及介质
US20210343398A1 (en) * 2020-05-02 2021-11-04 Blaize, Inc. Method and systems for predicting medical conditions and forecasting rate of infection of medical conditions via artificial intellidence models using graph stream processors
EP3944253A1 (en) * 2020-07-22 2022-01-26 Siemens Healthcare GmbH Machine learning from noisy labels for abnormality assessment in medical imaging
WO2022199143A1 (zh) * 2021-03-26 2022-09-29 南京邮电大学 一种基于u型网络的医学图像分割方法
US11580646B2 (en) 2021-03-26 2023-02-14 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on U-Net
CN116580302A (zh) * 2023-05-09 2023-08-11 湖北一方科技发展有限责任公司 一种高维水文数据处理系统及方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956131A (zh) * 2019-11-27 2020-04-03 北京迈格威科技有限公司 单目标追踪方法、装置及系统
CN110956131B (zh) * 2019-11-27 2024-01-05 北京迈格威科技有限公司 单目标追踪方法、装置及系统
US20210343398A1 (en) * 2020-05-02 2021-11-04 Blaize, Inc. Method and systems for predicting medical conditions and forecasting rate of infection of medical conditions via artificial intellidence models using graph stream processors
US11908132B2 (en) * 2020-05-02 2024-02-20 Blaize, Inc. Method and systems for predicting medical conditions and forecasting rate of infection of medical conditions via artificial intelligence models using graph stream processors
CN111966823A (zh) * 2020-07-02 2020-11-20 华南理工大学 一种面向标签噪声的图节点分类方法
CN111966823B (zh) * 2020-07-02 2022-04-22 华南理工大学 一种面向标签噪声的图节点分类方法
US11776117B2 (en) 2020-07-22 2023-10-03 Siemens Healthcare Gmbh Machine learning from noisy labels for abnormality assessment in medical imaging
EP3944253A1 (en) * 2020-07-22 2022-01-26 Siemens Healthcare GmbH Machine learning from noisy labels for abnormality assessment in medical imaging
CN112116623A (zh) * 2020-09-21 2020-12-22 推想医疗科技股份有限公司 图像分割方法及装置
CN112308080A (zh) * 2020-11-05 2021-02-02 南强智视(厦门)科技有限公司 面向指向性视觉理解和分割的图像描述预测方法
CN112308080B (zh) * 2020-11-05 2023-05-30 南强智视(厦门)科技有限公司 面向指向性视觉理解和分割的图像描述预测方法
CN113435458A (zh) * 2021-02-08 2021-09-24 中国石油化工股份有限公司 基于机器学习的岩石薄片图像分割方法、装置及介质
US11580646B2 (en) 2021-03-26 2023-02-14 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on U-Net
WO2022199143A1 (zh) * 2021-03-26 2022-09-29 南京邮电大学 一种基于u型网络的医学图像分割方法
CN116580302A (zh) * 2023-05-09 2023-08-11 湖北一方科技发展有限责任公司 一种高维水文数据处理系统及方法
CN116580302B (zh) * 2023-05-09 2023-11-21 湖北一方科技发展有限责任公司 一种高维水文数据处理系统及方法

Similar Documents

Publication Publication Date Title
CN110490880A (zh) 一种基于局部视觉线索的髋关节x光图像分割方法及系统
Yu et al. Apple leaf disease identification through region-of-interest-aware deep convolutional neural network
CN108364288A (zh) 用于乳腺癌病理图像的分割方法和装置
CN107977671A (zh) 一种基于多任务卷积神经网络的舌象分类方法
CN109977780A (zh) 一种基于深度学习算法的硅藻的检测与识别方法
CN108334848A (zh) 一种基于生成对抗网络的微小人脸识别方法
CN110853009B (zh) 基于机器学习的视网膜病理图像分析系统
CN107657233A (zh) 基于改进型单次多目标检测器的静态手语实时识别方法
CN111047594A (zh) 肿瘤mri弱监督学习分析建模方法及其模型
CN108921201B (zh) 基于特征组合与cnn的大坝缺陷识别与分类方法
CN109544518A (zh) 一种应用于骨骼成熟度评估的方法及其系统
CN109598241A (zh) 基于Faster R-CNN的卫星图像海上舰船识别方法
CN105930815A (zh) 一种水下生物检测方法和系统
CN109766823A (zh) 一种基于深层卷积神经网络的高分辨率遥感船舶检测方法
Cao et al. Gastric cancer diagnosis with mask R-CNN
CN107256398A (zh) 基于特征融合的奶牛个体识别方法
CN114299324A (zh) 一种基于多尺度域对抗网络的病理图像分类方法及系统
Bhimavarapu et al. Analysis and characterization of plant diseases using transfer learning
CN117152503A (zh) 一种基于伪标签不确定性感知的遥感图像跨域小样本分类方法
Yu et al. Large-scale gastric cancer screening and localization using multi-task deep neural network
Shinde et al. Math accessibility for blind people in society using machine learning
CN107590806A (zh) 一种基于大脑医学成像的检测方法和系统
CN114792300B (zh) 一种基于多尺度注意力x光断针检测方法
Poojari et al. Identification and solutions for grape leaf disease using convolutional neural network (CNN)
CN113989269B (zh) 一种基于卷积神经网络多尺度特征融合的中医舌图像齿痕自动检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20191122

WW01 Invention patent application withdrawn after publication