CN106504226B - 超声图像膀胱脱垂自动分级系统 - Google Patents

超声图像膀胱脱垂自动分级系统 Download PDF

Info

Publication number
CN106504226B
CN106504226B CN201610851799.4A CN201610851799A CN106504226B CN 106504226 B CN106504226 B CN 106504226B CN 201610851799 A CN201610851799 A CN 201610851799A CN 106504226 B CN106504226 B CN 106504226B
Authority
CN
China
Prior art keywords
ultrasound image
bladder
regression model
training
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610851799.4A
Other languages
English (en)
Other versions
CN106504226A (zh
Inventor
倪东
季兴
郑介志
雷柏英
汪天富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN WISONIC MEDICAL TECHNOLOGY Co.,Ltd.
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201610851799.4A priority Critical patent/CN106504226B/zh
Publication of CN106504226A publication Critical patent/CN106504226A/zh
Application granted granted Critical
Publication of CN106504226B publication Critical patent/CN106504226B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明涉及一种超声图像膀胱脱垂自动分级方法,包括:获取训练数据集中的超声图像,同时医生进行标注;对所述获取的超声图像进行特征提取;根据上述提取的特征值,结合医生的标注训练第一层时空回归模型,并预测训练数据得到对应的位移图,提取上下文特征,结合医生的标注训练第二层时空回归模型;获取测试数据集中的超声图像,同时医生进行标注预测;对测试数据集中的超声图像进行特征提取,利用第一层时空回归模型得到对应的位移图;在位移图上提取上下文特征,第二层时空回归模型预测最终位移图并进行识别;依据标准对膀胱脱垂进行自动分级。本发明还涉及一种超声图像膀胱脱垂自动分级系统。本发明能够在提高检查的效率同时降低组间的误差。

Description

超声图像膀胱脱垂自动分级系统
技术领域
本发明涉及一种超声图像膀胱脱垂自动分级系统。
背景技术
膀胱脱垂是一种常见的女性疾病,由于女性盆底支持结构的缺陷,导致膀胱膨出于阴道内。准确的膀胱脱垂分级结果对于治疗至关重要,例如轻度的患者不需要治疗,而重度的患者可能需要实施手术。
盆腔器官脱垂量化系统(POP-Q)被广泛用于膀胱脱垂的诊断。该评价系统涉及了很多复杂的测量过程,导致在临床中难以实施。
近年来,经会阴超声(TPUS)作为一种有效手段应用到膀胱脱垂的分级中。它的优势在于无辐射,较舒适,成本低和实时的成像能力。通常来说,膀胱脱垂的超声检查包括四个步骤:首先,超声医师需要将超声探头置于病患待检部位,同时病患作Valsalva动作;然后,在获得的超声序列中找出包含最大膀胱脱垂距离(MDB)和耻骨联合的一帧图像;接着,手动地测量膀胱最低点到水平参考线的距离,这个距离称为最大膀胱脱垂距离(MDB);在测量MDB之后,膀胱脱垂的程度可以被分为正常,轻度,中度和重度。
在这一系列的步骤中,定位图像的帧和手动测量非常耗时,同时依赖于操作者的经验,这在膀胱脱垂分级中常常带来显著的组间误差。要对膀胱脱垂进行分级必须首先分割膀胱和检测耻骨联合的中轴线和下缘点。然而,这个任务非常具有挑战性。首先,由于超声图像比较模糊,即使对于有经验的医生来说,定位耻骨联合和它的下缘点是非常困难的。第二,由于声波射线衰减,斑点噪音和声影的影响使得膀胱的边界缺失和不明显,这也让分割膀胱任务更加困难。第三,在患者作Valsalva动作的超声序列图像中,解剖结构的外观和几何形状都发生了非常显著的变化,这是因为患者用力呼吸导致组织之间产生的移动和变形。这些情况在不同患者之间的差异也是非常显著的。这些巨大的差异使得让该技术完成自动化的目标更加困难。
发明内容
有鉴于此,有必要提供一种超声图像膀胱脱垂自动分级方法及系统。
本发明提供一种超声图像膀胱脱垂自动分级方法,该方法包括如下步骤:a.获取训练数据集中的超声图像,同时医生对所述获取的超声图像进行标注;b.对所述获取的超声图像进行特征提取,得到随机Haar特征的特征值;c.根据上述得到的随机Haar特征的特征值,结合医生的标注训练第一层时空回归模型;使用第一层时空回归模型预测训练数据得到对应的位移图;在得到的位移图上提取上下文特征,结合医生的标注训练第二层时空回归模型;d.获取测试数据集中的超声图像,同时医生对所述获取的测试数据集中的超声图像进行标注预测;e.对上述获取的测试数据集中的超声图像进行特征提取,得到随机Haar特征的特征值,利用上述训练得到的第一层时空回归模型预测测试数据得到对应的位移图;f.在步骤e得到的位移图上提取上下文特征,结合训练得到的第二层时空回归模型预测最终位移图,以自动识别所述测试数据集超声图像中的耻骨联合的中轴线,下缘点和膀胱轮廓;g.根据识别得到的所述测试数据集超声图像中的耻骨联合的中轴线,下缘点和膀胱轮廓,利用几何关系测量出最终所需的最大膀胱脱垂距离,依据标准对膀胱脱垂进行自动分级。
其中,所述的步骤c具体包括:c1,构建决策树,每颗决策树随机地在训练样本和特征中采样以避免过拟合;c2,最终的回归结果P(ds|v) 是由每颗决策树的预测结果pi(ds|v)取平均求得,表示为: 其中,x是图像的像素,v是特征向量,ds是x到目标结构s的距离,s∈{l,t,b},目标结构l、t和b分别表示耻骨联合的中轴线、下缘点和膀胱;c3,对于每个目标结构s,训练一个时空回归模型,用于学习从每个像素点的局部外观到它对应的2D位移向量的非线性映射。
所述的时空回归模型包括二层,第一层时空回归模型用于提取超声图像中每个时间点和周围时间点的表面特征和坐标,从而对每个时间点产生一个初始化的位移域,第二层时空回归模型用于利用第一层的结果作为上下文特征,改善在时空域上检测的结果。
所述的第一层时空回归模型包括:在提取灰度和对比度的同时,利用当前时间点之前和之后的图像的信息来增强当前图像的解剖结构检测结果,同时将归一化的空间坐标作为输入特征,得到所述输入特征之后,训练回归森林寻找一个好的非线性映射,得到所述超声图像中一个像素到耻骨联合中轴线,下缘点和膀胱的距离。
所述的第二层时空回归模型包括:每个超声图像中的像素点来说,不仅获取其表面特征,同时从初始位移图中得到当前时间点相邻时间点的高阶上下文特征。
本发明还提供一种超声图像膀胱脱垂自动分级系统,包括相互电性连接的获取模块、特征提取模块、训练模块、识别模块及分级模块,其中:所述获取模块用于获取训练数据集中的超声图像,同时医生对所述获取的超声图像进行标注;所述特征提取模块用于对所述获取的超声图像进行特征提取,得到随机Haar特征的特征值;所述训练模块用于根据上述得到的随机Haar特征的特征值,结合医生的标注训练第一层时空回归模型;使用第一层时空回归模型预测训练数据得到对应的位移图;在得到的位移图上提取上下文特征,结合医生的标注训练第二层时空回归模型;所述获取模块还用于获取测试数据集中的超声图像,同时医生对所述获取的测试数据集中的超声图像进行标注预测;所述特征提取模块还用于对上述获取的测试数据集中的超声图像进行特征提取,得到随机 Haar特征的特征值,利用上述训练得到的第一层时空回归模型预测测试数据得到对应的位移图;在上述得到的位移图上提取上下文特征,结合训练得到的第二层时空回归模型预测最终位移图,以自动识别所述测试数据集超声图像中的耻骨联合的中轴线,下缘点和膀胱轮廓;所述分级模块用于根据识别得到的所述测试数据集超声图像中的耻骨联合的中轴线,下缘点和膀胱轮廓,利用几何关系测量出最终所需的最大膀胱脱垂距离,依据标准对膀胱脱垂进行自动分级。
其中,所述的所述训练模块具体用于:构建决策树,每颗决策树随机地在训练样本和特征中采样以避免过拟合;最终的回归结果P(ds|v)是由每颗决策树的预测结果pi(ds|v)取平均求得,表示为: 其中,x是图像的像素,v是特征向量,ds是x到目标结构s的距离,s∈{l,t,b},目标结构l、t和b分别表示耻骨联合的中轴线、下缘点和膀胱;对于每个目标结构s,训练一个时空回归模型,用于学习从每个像素点的局部外观到它对应的2D位移向量的非线性映射。
所述的时空回归模型包括二层,第一层时空回归模型用于提取超声图像中每个时间点和周围时间点的表面特征和坐标,从而对每个时间点产生一个初始化的位移域,第二层时空回归模型用于利用第一层的结果作为上下文特征,改善在时空域上检测的结果。
所述的第一层时空回归模型包括:在提取灰度和对比度的同时,利用当前时间点之前和之后的图像的信息来增强当前图像的解剖结构检测结果,同时将归一化的空间坐标作为输入特征,得到所述输入特征之后,训练回归森林寻找一个好的非线性映射,得到所述超声图像中一个像素到耻骨联合中轴线,下缘点和膀胱的距离。
所述的第二层时空回归模型包括:每个超声图像中的像素点来说,不仅获取其表面特征,同时从初始位移图中得到当前时间点相邻时间点的高阶上下文特征。
本发明超声图像膀胱脱垂自动分级方法及系统,提出一个时空回归模型来解决现有的技术难点,并在经会阴超声图像中对膀胱脱垂实现自动分级,在提高检查的效率同时降低组间的误差。本发明提出一个两层的时空回归模型,联合地将所有时间点的上下文信息用于检测解剖结构。在模型当中,表面特征和上下文特征在时空域中一起提取出来去加强位移图在时间轴上的一致性。因此,检测的结果可以互相协同消除不确定性,同时改善结构的定位结果。
附图说明
图1为本发明超声图像膀胱脱垂自动分级方法的流程图;
图2为本发明超声图像膀胱脱垂自动分级系统的硬件架构图;
图3为所述超声图像中一个像素到耻骨联合中轴线,下缘点和膀胱的距离示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细的说明。
参阅图1所示,是本发明超声图像膀胱脱垂自动分级方法较佳实施例的作业流程图。
步骤S401,获取训练数据集中的超声图像,同时医生对所述获取的超声图像进行标注。具体而言,从训练数据集中获取超声图像,然后对所述超声图像中每一帧的耻骨联合下缘点、中轴线以及膀胱轮廓进行手动标注。
步骤S402,对所述获取的超声图像进行特征提取,得到随机Haar 特征的特征值。具体而言,本实施例首先从超声图像中随机选定图像块的数量,一般1个或者2个,然后确定所述图像块在图像中的位置,本实施例中所述图像块在图像中的位置是必须相连的,最后计算得到随机 Haar特征的特征值。
步骤S403,根据上述得到的随机Haar特征的特征值,结合医生的标注训练第一层时空回归模型;使用第一层时空回归模型预测训练数据得到对应的位移图;在得到的位移图上提取上下文特征,结合医生的标注训练第二层时空回归模型。具体而言:
在本实施例中,使用随机森林来训练一个两层的时空回归模型,用于在超声图像中检测目标结构。
为了构造所述随机森林,首先需要构建许多决策树,每颗树随机地在训练样本和特征中采样来避免过拟合。最终的回归结果P(ds|v)是由每颗决策树的预测结果pi(ds|v)取平均求得,可以表示为:
其中,x是图像的像素,v是特征向量,ds是x到目标结构s的距离, s∈{l,t,b}。目标结构l、t和b分别表示耻骨联合的中轴线、下缘点和膀胱。
对于每个目标结构s,训练一个时空回归模型,用于学习从每个像素点的局部外观到它对应的2D位移向量的非线性映射。特别地,设计第一层的目的是提取超声图像中每个时间点和周围时间点的表面特征和坐标,从而对每个时间点产生一个初始化的位移域。然后,第二层利用第一层的结果作为上下文特征,用于改善在时空域(2D+t的周围)上检测的结果。
第一层时空回归模型:
耻骨联合在超声图像中的外观表现为一个白色的山脊,旁边围绕着两条黑色的山谷。而由于液体的填充,膀胱在超声中为低回声。因此,认为具有对比特性的特征将会为描述感兴趣的目标提供大量的信息。另外,超声图像的相邻帧图像信息可以用于保证位移域在时间上的一致性。在这点上,不是仅在空间域,而是在时空域计算不同尺度的随机类Haar特征来描述目标结构。这样的做法在提取灰度和对比度的同时,利用当前时间点之前和之后的图像的信息来增强当前图像的解剖结构检测结果。同时将归一化的空间坐标作为输入特征,得到所述输入特征之后,训练回归森林寻找一个好的非线性映射,得到所述超声图像中一个像素到耻骨联合中轴线,下缘点和膀胱的距离,分别表示为d1,dt和db,请参考图3。
第二层时空回归模型:
采用所述第一层时空回归模型估计当前时间点的初始位移图。因此,对于每个超声图像中的像素点来说,本实施例不仅获取其表面特征,同时从初始位移图中得到当前时间点相邻时间点的高阶上下文特征。所有的这些特征联合地用于训练第二层时空回归模型。不同于传统的上下文特征,本实施例在位移图的局部块中同样使用类Haar特征去计算上下文特征。
特别地,本实施例提取了两种上下文特征:1)时间点内的上下文特征:可以认为是每个结构内部位移图的类Haar特征。所述每个结构内部位移图的类Haar特征在定位结构的时候从相邻的像素获取了大量信息,这种做法可以保证每个结构的位移图在空间上的一致性。2)时间点间的上下文特征:可以认为是同一个结构在其他时间点位移图上计算类Haar特征。所述同一个结构在其他时间点位移图上计算类Haar特征构建了位移图在时域上的关系,例如结构的轨迹等等。因此,使用时间点间的上下文特征可以有效地提高位移图时域的一致性。特征向量得到增加之后,本实施例利用时空回归模型预测目标的距离dl,dt和db
步骤S404,获取测试数据集中的超声图像,同时医生对所述获取的测试数据集中的超声图像进行标注预测。其中,医生的标注包括:耻骨联合下缘点位置,耻骨联合中轴线,以及膀胱最低点到参考线的距离。
步骤S405,对上述获取的测试数据集中的超声图像进行特征提取,得到随机Haar特征的特征值,利用上述训练得到的第一层时空回归模型预测测试数据得到对应的位移图。本步骤中的特征提取方法与步骤S402 中的特征提取方法相同,这里不再赘述。
步骤S406,在步骤S405得到的位移图上提取上下文特征,结合训练得到的第二层时空回归模型预测最终位移图,以自动识别所述测试数据集超声图像中的耻骨联合的中轴线,下缘点和膀胱轮廓。其中,所述最终位移图用于投票。具体而言:
所述耻骨联合的中轴线,下缘点和膀胱轮廓用于距离测量和膀胱脱垂的分级。首先,从测试数据集中产生耻骨联合的中轴线,下缘点和膀胱轮廓三个目标结构的位移图;然后,采用投票策略,得到耻骨联合中轴线、下缘点的投票图,搜索投票图中票数最多的点,得到耻骨联合下缘点的位置;最后,根据耻骨联合的下缘点作为起始点,搜索不同方向的直线,在中轴线的投票图上计算不同方向直线上票数均值最大的方向即为耻骨联合的中轴线。对于膀胱的分割,本实施例简单的认为是去找位移图上的零水平集,由于得到的是位移图是1维的,所以不进行投票,直接对图像进行阈值分割,得到轮廓,阈值为0,即距离为0的轮廓。一旦识别出上述三个目标结构,就可以在连续超声图像中计算最大膀胱脱垂距离。
步骤S407,根据识别得到的所述测试数据集超声图像中的耻骨联合的中轴线,下缘点和膀胱轮廓,利用几何关系测量出最终所需的MDB,依据标准对膀胱脱垂进行自动分级。
在本实施例中,所述的标准为:正常:MDB<=-10mm;轻度: MDB>-10mm且MDB<=0mm;中度:MDB>0mm且MDB<=20mm;重度:MDB>20mm。
参阅图2所示,是本发明超声图像膀胱脱垂自动分级系统的硬件架构图。该系统包括相互电性连接的获取模块、特征提取模块、训练模块、识别模块及分级模块。
所述获取模块用于获取训练数据集中的超声图像,同时医生对所述获取的超声图像进行标注。具体而言,从训练数据集中获取超声图像,然后对所述超声图像中每一帧的耻骨联合下缘点、中轴线以及膀胱轮廓进行手动标注。
所述特征提取模块用于对所述获取的超声图像进行特征提取,得到随机Haar特征的特征值。具体而言,本实施例首先从超声图像中随机选定图像块的数量,一般1个或者2个,然后确定所述图像块在图像中的位置,本实施例中所述图像块在图像中的位置是必须相连的,最后计算得到随机Haar特征的特征值。
所述训练模块用于根据上述得到的随机Haar特征的特征值,结合医生的标注训练第一层时空回归模型;使用第一层时空回归模型预测训练数据得到对应的位移图;在得到的位移图上提取上下文特征,结合医生的标注训练第二层时空回归模型。具体而言:
在本实施例中,使用随机森林来训练一个两层的时空回归模型,用于在超声图像中检测目标结构。
为了构造所述随机森林,首先需要构建许多决策树,每颗树随机地在训练样本和特征中采样来避免过拟合。最终的回归结果P(ds|v)是由每颗决策树的预测结果pi(ds|v)取平均求得,可以表示为:
其中,x是图像的像素,v是特征向量,ds是x到目标结构s的距离, s∈{l,t,b}。目标结构l、t和b分别表示耻骨联合的中轴线、下缘点和膀胱。
对于每个目标结构s,训练一个时空回归模型,用于学习从每个像素点的局部外观到它对应的2D位移向量的非线性映射。特别地,设计第一层的目的是提取超声图像中每个时间点和周围时间点的表面特征和坐标,从而对每个时间点产生一个初始化的位移域。然后,第二层利用第一层的结果作为上下文特征,用于改善在时空域(2D+t的周围)上检测的结果。
第一层时空回归模型:
耻骨联合在超声图像中的外观表现为一个白色的山脊,旁边围绕着两条黑色的山谷。而由于液体的填充,膀胱在超声中为低回声。因此,认为具有对比特性的特征将会为描述感兴趣的目标提供大量的信息。另外,超声图像的相邻帧图像信息可以用于保证位移域在时间上的一致性。在这点上,不是仅在空间域,而是在时空域计算不同尺度的随机类Haar特征来描述目标结构。这样的做法在提取灰度和对比度的同时,利用当前时间点之前和之后的图像的信息来增强当前图像的解剖结构检测结果。同时将归一化的空间坐标作为输入特征,得到所述输入特征之后,训练回归森林寻找一个好的非线性映射,得到所述超声图像中一个像素到耻骨联合中轴线,下缘点和膀胱的距离,分别表示为dl,dt和db,请参考图3。
第二层时空回归模型:
采用所述第一层时空回归模型估计当前时间点的初始位移图。因此,对于每个超声图像中的像素点来说,本实施例不仅获取其表面特征,同时从初始位移图中得到当前时间点相邻时间点的高阶上下文特征。所有的这些特征联合地用于训练第二层时空回归模型。不同于传统的上下文特征,本实施例在位移图的局部块中同样使用类Haar特征去计算上下文特征。
特别地,本实施例提取了两种上下文特征:1)时间点内的上下文特征:可以认为是每个结构内部位移图的类Haar特征。所述每个结构内部位移图的类Haar特征在定位结构的时候从相邻的像素获取了大量信息,这种做法可以保证每个结构的位移图在空间上的一致性。2)时间点间的上下文特征:可以认为是同一个结构在其他时间点位移图上计算类Haar特征。所述同一个结构在其他时间点位移图上计算类Haar特征构建了位移图在时域上的关系,例如结构的轨迹等等。因此,使用时间点间的上下文特征可以有效地提高位移图时域的一致性。特征向量得到增加之后,本实施例利用时空回归模型预测目标的距离dl,dt和db
所述获取模块还用于获取测试数据集中的超声图像,同时医生对所述获取的测试数据集中的超声图像进行标注预测。其中,医生的标注包括:耻骨联合下缘点位置,耻骨联合中轴线,以及膀胱最低点到参考线的距离。
所述特征提取模块还用于对上述获取的测试数据集中的超声图像进行特征提取,得到随机Haar特征的特征值,利用上述训练得到的第一层时空回归模型预测测试数据得到对应的位移图。本步骤中的特征提取方法与步骤S402中的特征提取方法相同,这里不再赘述。
所述识别模块用于根据上述得到位移图上提取上下文特征,结合训练得到的第二层时空回归模型预测最终位移图,以自动识别所述测试数据集超声图像中的耻骨联合的中轴线,下缘点和膀胱轮廓。其中,所述最终位移图用于投票。具体而言:
所述耻骨联合的中轴线,下缘点和膀胱轮廓用于距离测量和膀胱脱垂的分级。首先,从测试数据集中产生耻骨联合的中轴线,下缘点和膀胱轮廓三个目标结构的位移图;然后,采用投票策略,得到耻骨联合中轴线、下缘点的投票图,搜索投票图中票数最多的点,得到耻骨联合下缘点的位置;最后,根据耻骨联合的下缘点作为起始点,搜索不同方向的直线,在中轴线的投票图上计算不同方向直线上票数均值最大的方向即为耻骨联合的中轴线。对于膀胱的分割,本实施例简单的认为是去找位移图上的零水平集,由于得到的是位移图是1维的,所以不进行投票,直接对图像进行阈值分割,得到轮廓,阈值为0,即距离为0的轮廓。一旦识别出上述三个目标结构,就可以在连续超声图像中计算最大膀胱脱垂距离。
所述分级模块用于根据识别得到的所述测试数据集超声图像中的耻骨联合的中轴线,下缘点和膀胱轮廓,利用几何关系测量出最终所需的MDB,依据标准对膀胱脱垂进行自动分级。
在本实施例中,所述的标准为:正常:MDB<=-10mm;轻度: MDB>-10mm且MDB<=0mm;中度:MDB>0mm且MDB<=20mm;重度:MDB>20mm。
本发明一个两层的时空回归模型被用于分割膀胱和检测耻骨联合的中轴线和下缘点,这是测量MDB的过程中最重要的部分。为了提高检测的精度,本发明不但提取了表面特征,同时在时空域中提取了上下文的信息。最后,通过实验测试了85例经会阴超声序列。结果表明,本发明在中间结果和最终分类上都明显优于现有的回归方法。
虽然本发明参照当前的较佳实施方式进行了描述,但本领域的技术人员应能理解,上述较佳实施方式仅用来说明本发明,并非用来限定本发明的保护范围,任何在本发明的精神和原则范围之内,所做的任何修饰、等效替换、改进等,均应包含在本发明的权利保护范围之内。

Claims (5)

1.一种超声图像膀胱脱垂自动分级系统,其特征在于,该系统包括相互电性连接的获取模块、特征提取模块、训练模块、识别模块及分级模块,其中:
所述获取模块用于获取训练数据集中的超声图像,同时医生对所述获取的超声图像进行标注,医生的标注包括:耻骨联合下缘点,耻骨联合中轴线,以及膀胱轮廓;
所述特征提取模块用于对所述获取的超声图像进行特征提取,得到随机Haar特征的特征值;
所述训练模块用于根据上述得到的随机Haar特征的特征值,结合医生的标注训练第一层时空回归模型;使用第一层时空回归模型预测训练数据得到对应的位移图;在得到的位移图上提取上下文特征,结合医生的标注训练第二层时空回归模型;
所述获取模块还用于获取测试数据集中的超声图像,同时医生对所述获取的测试数据集中的超声图像进行标注预测,医生的标注包括:耻骨联合下缘点,耻骨联合中轴线,以及膀胱轮廓;
所述特征提取模块还用于对上述获取的测试数据集中的超声图像进行特征提取,得到随机Haar特征的特征值,利用上述训练得到的第一层时空回归模型预测测试数据得到对应的位移图;
在上述得到的位移图上提取上下文特征,结合训练得到的第二层时空回归模型预测最终位移图,以自动识别所述测试数据集超声图像中的耻骨联合的中轴线,下缘点和膀胱轮廓;
所述分级模块用于根据识别得到的所述测试数据集超声图像中的耻骨联合的中轴线,下缘点和膀胱轮廓,利用几何关系测量出最终所需的最大膀胱脱垂距离,依据标准对膀胱脱垂进行自动分级;
所述自动识别所述测试数据集超声图像中的耻骨联合的中轴线,下缘点和膀胱轮廓包括:
从测试数据集中产生耻骨联合的中轴线,下缘点和膀胱轮廓三个目标结构的位移图;采用投票策略,得到耻骨联合中轴线、下缘点的投票图,搜索投票图中票数最多的点,得到耻骨联合下缘点的位置;根据耻骨联合的下缘点作为起始点,搜索不同方向的直线,在中轴线的投票图上计算不同方向直线上票数均值最大的方向即为耻骨联合的中轴线;对于膀胱的分割,寻找位移图上的零水平集,直接对图像进行阈值分割,得到轮廓。
2.如权利要求1所述的系统,其特征在于,所述的所述训练模块具体用于:
构建决策树,每棵决策树随机地在训练样本和特征中采样以避免过拟合;
最终的回归结果P(ds|v)由每颗决策树的预测结果pi(ds|v)取平均求得,表示为:
其中,x是图像的像素,v是特征向量,ds是x到目标结构s的距离,s∈{l,t,b},目标结构l、t和b分别表示耻骨联合的中轴线、下缘点和膀胱;
对于每个目标结构s,训练一个时空回归模型,用于学习从每个像素点的局部外观到它对应的2D位移向量的非线性映射。
3.如权利要求2所述的系统,其特征在于,所述的时空回归模型包括二层,第一层时空回归模型用于提取超声图像中每个时间点和周围时间点的表面特征和坐标,从而对每个时间点产生一个初始化的位移域,第二层时空回归模型用于利用第一层的结果作为上下文特征,改善在时空域上检测的结果。
4.如权利要求3所述的系统,其特征在于,所述的第一层时空回归模型包括:在提取灰度和对比度的同时,利用当前时间点之前和之后的图像的信息来增强当前图像的解剖结构检测结果,同时将归一化的空间坐标作为输入特征,得到所述输入特征之后,训练回归森林寻找一个好的非线性映射,得到所述超声图像中一个像素到耻骨联合中轴线,下缘点和膀胱的距离。
5.如权利要求1所述的系统,其特征在于,所述的第二层时空回归模型包括:每个超声图像中的像素点来说,不仅获取其表面特征,同时从初始位移图中得到当前时间点相邻时间点的高阶上下文特征,所述初始位移图指采用所述第一层时空回归模型估计当前时间点的位移图。
CN201610851799.4A 2016-09-26 2016-09-26 超声图像膀胱脱垂自动分级系统 Active CN106504226B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610851799.4A CN106504226B (zh) 2016-09-26 2016-09-26 超声图像膀胱脱垂自动分级系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610851799.4A CN106504226B (zh) 2016-09-26 2016-09-26 超声图像膀胱脱垂自动分级系统

Publications (2)

Publication Number Publication Date
CN106504226A CN106504226A (zh) 2017-03-15
CN106504226B true CN106504226B (zh) 2019-07-19

Family

ID=58290445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610851799.4A Active CN106504226B (zh) 2016-09-26 2016-09-26 超声图像膀胱脱垂自动分级系统

Country Status (1)

Country Link
CN (1) CN106504226B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570423A (zh) * 2019-09-20 2019-12-13 深圳开立生物医疗科技股份有限公司 一种盆底测量方法、系统及超声设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004326688A (ja) * 2003-04-28 2004-11-18 Toshiba Corp 画像間の対応点推定方法およびテンプレートマッチングシステム
EP2186483A1 (en) * 2002-08-09 2010-05-19 Diagnostic Ultrasound Europe B.V. Instantaneous ultrasonic measurement of bladder volume
CN103020606A (zh) * 2012-12-27 2013-04-03 北京大学 一种基于时空上下文信息的行人检测方法
CN103927559A (zh) * 2014-04-17 2014-07-16 深圳大学 超声图像胎儿颜面部标准切面自动识别方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007328744A (ja) * 2006-06-09 2007-12-20 Canon Inc 回帰分析方法及びその装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2186483A1 (en) * 2002-08-09 2010-05-19 Diagnostic Ultrasound Europe B.V. Instantaneous ultrasonic measurement of bladder volume
JP2004326688A (ja) * 2003-04-28 2004-11-18 Toshiba Corp 画像間の対応点推定方法およびテンプレートマッチングシステム
CN103020606A (zh) * 2012-12-27 2013-04-03 北京大学 一种基于时空上下文信息的行人检测方法
CN103927559A (zh) * 2014-04-17 2014-07-16 深圳大学 超声图像胎儿颜面部标准切面自动识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Auto-Context and Its Application to High-Level Vision Tasks and 3D Brain Image Segmentation;Zhouwen Tu, Xiang Bai;《IEEE Transactions on Pattern Analysis and Machine Intelligence》;20101031;第32卷(第10期);第1744-1757页

Also Published As

Publication number Publication date
CN106504226A (zh) 2017-03-15

Similar Documents

Publication Publication Date Title
US11229419B2 (en) Method for processing 3D image data and 3D ultrasonic imaging method and system
JP6467041B2 (ja) 超音波診断装置、及び画像処理方法
CN110177504B (zh) 超声图像中参数测量的方法和超声成像系统
KR101565311B1 (ko) 3 차원 심초음파 검사 데이터로부터 평면들의 자동 검출
US8343053B2 (en) Detection of structure in ultrasound M-mode imaging
CN100462054C (zh) 胎儿图像性别部位识别屏蔽方法
CN110097129A (zh) 基于轮廓波分组特征金字塔卷积的遥感目标检测方法
CN110945560B (zh) 胎儿超声图像处理
CN111179227A (zh) 基于辅助诊断和主观美学的乳腺超声图像质量评价方法
CN110074813A (zh) 一种超声图像重建方法及系统
CN108052909B (zh) 一种基于心血管oct影像的薄纤维帽斑块自动检测方法和装置
CN109788939A (zh) 用于通过自动检测b线和对超声扫描的图像进行评分来增强代表性超声图像的可视化和选择的方法和系统
CN109589141A (zh) 一种超声诊断辅助方法、系统和超声诊断设备
CN107708550A (zh) 用于检测和测量解剖异常的分段回声结构的表面建模
CN112465772A (zh) 眼底彩照图像血管评估方法、装置、计算机设备和介质
CN103544695B (zh) 一种高效的基于博弈框架的医学图像分割方法
KR20190119731A (ko) 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스
El-Hariri et al. Comparative evaluation of hand-engineered and deep-learned features for neonatal hip bone segmentation in ultrasound
CN109559321A (zh) 一种声呐图像分割方法和设备
CN106504226B (zh) 超声图像膀胱脱垂自动分级系统
Cheng et al. Quantitative evaluation of liver fibrosis based on ultrasound radio frequency signals: An animal experimental study
CN110378333B (zh) 一种sd-oct图像黄斑中央凹中心定位方法
CN111402231A (zh) 一种用于肺部ct影像质量的自动评估系统及方法
Al et al. Reinforcement learning-based automatic diagnosis of acute appendicitis in abdominal ct
KR102258070B1 (ko) 발의 유형 평가 방법 및 이를 이용한 발의 유형 평가용 디바이스

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210202

Address after: 518000 5/6 Pingshan Private Enterprise Science Park, Taoyuan Street, Nanshan District, Shenzhen City, Guangdong Province

Patentee after: SHENZHEN WISONIC MEDICAL TECHNOLOGY Co.,Ltd.

Address before: 518000 No. 3688 Nanhai Road, Shenzhen, Guangdong, Nanshan District

Patentee before: SHENZHEN University

TR01 Transfer of patent right