CN110276772A - 一种肌肉组织中结构要素的自动定位方法及系统 - Google Patents
一种肌肉组织中结构要素的自动定位方法及系统 Download PDFInfo
- Publication number
- CN110276772A CN110276772A CN201910389829.8A CN201910389829A CN110276772A CN 110276772 A CN110276772 A CN 110276772A CN 201910389829 A CN201910389829 A CN 201910389829A CN 110276772 A CN110276772 A CN 110276772A
- Authority
- CN
- China
- Prior art keywords
- feature points
- muscle
- edge feature
- gradient
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 210000003205 muscle Anatomy 0.000 claims abstract description 156
- 229910052704 radon Inorganic materials 0.000 claims abstract description 87
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 claims abstract description 87
- 239000011159 matrix material Substances 0.000 claims abstract description 45
- 230000009466 transformation Effects 0.000 claims abstract description 40
- 238000002604 ultrasonography Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 28
- 230000004118 muscle contraction Effects 0.000 claims abstract description 18
- 230000033001 locomotion Effects 0.000 claims abstract description 14
- 230000002708 enhancing effect Effects 0.000 claims abstract description 4
- 210000003195 fascia Anatomy 0.000 claims description 20
- 239000000523 sample Substances 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 9
- 210000004304 subcutaneous tissue Anatomy 0.000 claims description 6
- 230000004807 localization Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 13
- 238000006243 chemical reaction Methods 0.000 abstract 1
- 230000002792 vascular Effects 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 11
- 230000008602 contraction Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 210000001087 myotubule Anatomy 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007918 intramuscular administration Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 210000002027 skeletal muscle Anatomy 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 210000003746 feather Anatomy 0.000 description 1
- 239000006260 foam Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000007659 motor function Effects 0.000 description 1
- 230000037191 muscle physiology Effects 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种肌肉组织中结构要素的自动定位方法及系统,所述方法包括:获取在肌肉收缩运动中的肌肉超声图像,对超声图像进行归一化雷登变换,并求取梯度得到雷登变换梯度矩阵;对雷登变换矩阵进行二值化处理,初步提取边缘特征点,并利用图像金字塔对梯度进行增强处理,提取增强后的边缘特征点,利用聚类方法对提取到的边缘特征点进行分类并获取亮度值,将获取到的亮度值作为权重,对各类边缘特征点的位置和方向进行加权平均,并利用雷登逆变换将各类边缘特征点变成欧式空间,得到肌肉组织中结构要素的定位结果。本发明能够克服高散斑噪声和肌肉血管的干扰,提高鲁棒性,实现肌肉收缩过程中的结构要素动态变化全自动精确定位。
Description
技术领域
本发明涉及肌肉结构要素定位技术领域,尤其涉及的是一种肌肉组织中结构要素的自动定位方法及系统。
背景技术
肌肉是构成人体的重要组织,其主要功能是产生收缩和控制身体的运动。目前的超声图像中的肌肉结构要素(如浅筋膜即superficial aponeurosis、深筋膜即deepaponeurosis、肌束即fascicle等)定位方法主要分为手动检测、特征检测和特征跟踪。
现有技术的不足主要体现为以下三点:第一点是所测得的肌肉结构性参数动态曲线平滑度低。在肌肉系统收缩的过程中,其动态变化应该是规律性的递进。而现有各种方法所检测到的参数动态变化的原始信号并不平滑,普遍存在高频抖动性起伏,不符合人体肌肉系统收缩运动的规律,影响定位精度。第二点是算法鲁棒性低、适用范围有限。现有的算法只适用于某一特定数据集的超声图像(来自特定肌肉、特定型号超声设备或特定的成像设定),在个别数据集上表现退化严重,泛化能力差。第三点是算法自动性低,需要人工确定或介入的步骤也降低了算法的泛化能力。例如特征跟踪的方法通常需要手动设置跟踪点,特征检测的方法也往往需要设置大量的经验性约束条件进行调参。整个操作流程牵涉过多的人工干预,自动化程度不高,极大地阻碍了超声检查中肌肉结构性参数的实时检测。由此可见,现有技术中对于肌肉结构要素的定位方法存在鲁棒性低、稳定性差、定位精度低的问题。
因此,现有技术还有待改进。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供一种肌肉组织中结构要素的自动定位方法及系统,旨在解决现有技术中对于肌肉结构要素的定位方法鲁棒性低、稳定性差、定位精度低以及自动化程度低等问题。
本发明解决技术问题所采用的技术方案如下:
一种肌肉组织中结构要素的自动定位方法,其中,所述方法包括:
获取在肌肉收缩运动中的肌肉超声图像,对所述超声图像进行归一化雷登变换,并对归一化雷登变换在距离上求取梯度,得到雷登变换梯度矩阵;
对所述雷登变换矩阵进行二值化处理,初步提取肌肉组织中的结构要素的边缘特征点,并利用图像金字塔对梯度进行增强处理,提取增强后的边缘特征点,利用聚类方法对提取到的边缘特征点进行分类;
获取各类边缘特征点的亮度值,将获取到的亮度值作为权重,对各类边缘特征点的位置和方向进行加权平均,并利用雷登逆变换将各类边缘特征点变成欧式空间,得到肌肉组织中结构要素的定位结果。
所述的肌肉组织中结构要素的自动定位方法,其中,所述超声扫描仪的探头的长轴平行于肌肉长轴方向,并置于预设的位置处。
所述的肌肉组织中结构要素的自动定位方法,其中,所述归一化雷登变换是在标准的雷登变换进行演变的,公式为:
R(ρ,θ)=∫∫D(I(x,y)-mean(I))δ(ρ-xcosθ-ysinθ)dxdy;
其中,NR(ρ,θ)=mapminmax(R(ρ,θ)),R(ρ,θ)代表经过标准雷登变换后的图像,mean(I)代表图像的灰度均值,mapminmax(R(ρ,θ))代表将矩阵归一化到0和1之间。
所述的肌肉组织中结构要素的自动定位方法,其中,所述利用图像金字塔对梯度进行增强处理,提取增强后的边缘特征点包括:
对归一化雷登变换矩阵进行多次缩小2倍,得到多尺度的图像金字塔;
对所述图像金字塔求梯度并求平均,并对归一化雷登变换矩阵进行二值化处理,提取增强后的边缘特征点;
将初步提取的边缘特征点和增强后的边缘特征点进行合并。
所述的肌肉组织中结构要素的自动定位方法,其中,所述边缘特征点包括:深筋膜边缘特征点、浅筋膜边缘特征点以及肌束边缘特征点。
所述的肌肉组织中结构要素的自动定位方法,其中,所述加权平均的公式为:
其中,代表各类边缘特征点的平均位置,代表各类边缘特征点的平均方向,ρi代表各类边缘特征点的位置,θi代表各类边缘特征点的方向,ωi代表各类边缘特征点的权重。
所述的肌肉组织中结构要素的自动定位方法,其中,所述方法还包括:
调用动态图像追踪算法,对连续多帧肌肉超声图像中的结构要素进行自动定位。
一种肌肉组织中结构要素的自动定位系统,其中,所述系统包括:
雷登变换变换模块,用于获取在肌肉收缩运动中的肌肉超声图像,对所述超声图像进行归一化雷登变换,并对归一化雷登变换在距离上求取梯度,得到雷登变换梯度矩阵;
特征提取与增强模块,用于对所述雷登变换矩阵进行二值化处理,初步提取肌肉组织中的结构要素的边缘特征点,并利用图像金字塔对梯度进行增强处理,提取增强后的边缘特征点,利用聚类方法对提取到的边缘特征点进行分类;
雷登逆变换模块,用于获取各类边缘特征点的亮度值,将获取到的亮度值作为权重,对各类边缘特征点的位置和方向进行加权平均,并利用雷登逆变换将各类边缘特征点变成欧式空间,得到肌肉组织中结构要素的定位结果。
所述的肌肉组织中结构要素的自动定位系统,其中,所述超声扫描仪的探头的长轴平行于肌肉长轴方向。
所述的肌肉组织中结构要素的自动定位系统,其中,所述特征提取与增强模块包括边缘增强子模块,所述边缘增强子模块用于:对归一化雷登变换矩阵进行多次缩小2倍,得到多尺度的图像金字塔;
对所述图像金字塔求梯度并求平均,并对归一化雷登变换矩阵进行二值化处理,提取增强后的边缘特征点;
将初步提取的边缘特征点和增强后的边缘特征点进行合并。
本发明的有益效果:本发明通过实时获取肌肉收缩过程中的肌肉超声图像,并利用雷登变换梯度矩阵处理结构超声图像突出肌肉结构的边缘信息,有利于对肌肉结构实现更精确的定位,并且,本发明可以消除噪声的干扰,以及运用图像金字塔增强边缘信息,有效提高了鲁棒性,实现全自动的定位出肌肉结构要素。
附图说明
图1是本发明提供的肌肉组织中结构要素的自动定位方法的较佳实施例的流程图。
图2是本发明提供的肌肉组织中结构要素的自动定位方法中的肌肉超声图像示意图。
图3是本发明提供的肌肉组织中结构要素的自动定位方法的具体应用实施例。
图4是本发明提供的肌肉组织中结构要素的自动定位方法中对肌肉超声图像进行雷登变换后的示意图。
图5是本发明提供的肌肉组织中结构要素的自动定位方法中所提取到的边缘特征点示意图。
图6是通过本发明提供的肌肉组织中结构要素的自动定位方法所得到的肌肉组织中结构要素的下沿定位结果。
图7是通过本发明提供的肌肉组织中结构要素的自动定位方法所得到的各类结构要素的定位结果。
图8是本发明提供的肌肉组织中结构要素的自动定位系统的功能原理框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
肌肉是构成人体的重要组织,其主要功能是产生收缩和控制身体的运动。肌肉结构性参数响应于不同形式的刺激,例如,训练,固定和损伤。因此,有必要了解通过量化和监控肌肉组织中的相关结构性参数,对不同形式的刺激做出客观的评估,推动康复医学和体育科学的发展。肌肉结构性参数在肌肉收缩期间的动态变化已成为使用超声进行骨骼肌研究的重要方面。然而肌肉的构成十分复杂,如何精准量化肌肉动态收缩时的结构要素是运动功能康复和运动医学研究中的热点和难点。
自20世纪50年代早期发现了高频超声波可视化活组织的能力以来,超声波一直被用于医疗实践中。由于超声的主要优点是检查成本低,非侵入性和无辐射,可实时检测肌肉收缩时肌肉结构的动态变化。近年来,超声检查肌肉结构要素成为肌肉生理学和力学的标准方法。目前,利用图像处理技术对肌肉超声图像中特定结构要素进行自动测量的方法主要有三种:第一种是基于多张超声图像的特征跟踪,第二种是基于单张超声图像的特征检测,第三种是基于深度学习的端对端检测。
特征跟踪的方法例如在第一帧图像上手动勾画出感兴趣区域,然后利用光流算法或互相关算法等图像配准方法,在相邻帧间动态地跟踪所选定的目标。当连续帧之间的变化较小时,特征跟踪效果最好,相比其它检测方法,得到的肌肉结构性参数更加平滑,较符合肌肉收缩的连续性;当连续帧之间差异较大时可导致特征丢失。此外,超声图像的图像模糊,斑点噪声,特征消失,帧之间不均匀的特征变形,也可能导致在跟踪期间识别的特征丢失。而且跟踪算法通常需要手动选取第一帧的目标跟踪点,这种半自动的交互方式可能由于操作者经验的差异而出现偏差。因此,特征跟踪算法较适用于变化平缓,图像质量较高的肌肉超声图像序列。
特征检测的方法常假设结构性目标(如筋膜与肌纤维)均呈直线状,通过在肌肉超声图像中定位这些线状结构来识别结构性目标。在肌肉超声图像上,筋膜呈连续的高回声分布,而肌纤维通常以线状结构不均匀分布。通过采用霍夫变换或雷登变换(RadonTransform)来检测肌纤维,可以实现肌肉结构性角度的测量。虽然一般的特征检测方法能够通过霍夫变换或雷登变换来确定具有代表性的束向,但是在超声图像上,散斑噪声、肌内血管的出现往往会掩盖结构性目标的重要特征,增加了精确定位结构要素的难度。
深度学习的检测方法是指架构神经网络模型,通过学习已经明确定义的区域中的结构性目标信息来预测局部结构性目标的方向。尽管深度学习方法应用在全区域骨骼肌肌纤维方向上的性能,表现在可接受的误差范围内,但由于其数据驱动的特性,模型需要训练大量数据,对算力资源,训练时间要求高,部署也有限制,而且目前该技术尚未成熟。
为了解决上述问题,本实施例提供一种肌肉组织中结构要素的自动定位方法,具体如图1中所示,该方法包括以下步骤:
步骤S100、获取在肌肉收缩运动中的肌肉超声图像,对所述超声图像进行归一化雷登变换,并对归一化雷登变换在距离上求取梯度,得到雷登变换梯度矩阵;
步骤S200、对所述雷登变换矩阵进行二值化处理,初步提取肌肉组织中的结构要素的边缘特征点,并利用图像金字塔对梯度进行增强处理,提取增强后的边缘特征点,利用聚类方法对提取到的边缘特征点进行分类;
步骤S300、获取各类边缘特征点的亮度值,将获取到的亮度值作为权重,对各类边缘特征点的位置和方向进行加权平均,并利用雷登逆变换将各类边缘特征点变成欧式空间,得到肌肉组织中结构要素的定位结果。
本实施例中通过实时获取肌肉收缩过程中的肌肉超声图像,并利用雷登变换梯度矩阵处理结构超声图像突出肌肉结构的边缘信息,有利于对肌肉结构实现更精确的定位,并且,本发明可以消除噪声的干扰,以及运用图像金字塔增强边缘信息,有效提高了鲁棒性,实现全自动的定位出肌肉结构要素。
具体地,本实施例首先在肌肉收缩运动时,记录的肌肉收缩所产生的超声图像,当然,此过程中所记录的信号不仅仅只有超声图像还包括输出力矩值或肌电、关节角度等信号的动态变化。记录超声图像和输出力矩值的仪器和方法有很多,本实施例中优选10MHz电子线阵探头的实时B型超声扫描仪来获取肌肉超声图像。在具体实施时,超声探头的长轴应平行于肌肉长轴方向,置于肌腹或其它预设位置。超声探头可通过定制设计的带有固定带的泡沫容器固定,并可在肌肉收缩期间使用大量超声凝胶以确保探头与皮肤之间的声学耦合。并且可调整超声探头来优化超声图像中肌束的对比度,并可对位置进行标记以确保探头每次都放置在相同的位置,提高图像获取的准确度。
参照图2,图2中为腓肠肌的肌肉超声图像,图2中所示,肌肉层中包含深筋膜、浅筋膜以及肌肉束区域,根据肌纤维的排列方向和深筋膜的方向可以画出肌束线L1和深筋膜线L2。为了提高对肌肉组织中的结构要素的定位精度,本实施例首先对肌肉超声图像进行归一化雷登变换,参照图3。然后对雷登变换矩阵求梯度,突出肌肉组织中结构要素的边缘特征点,然后再对各个边缘特征点进行精确划分,最后再对边缘特征点进行雷登逆变换实现对结构要素的精确定位。
具体地,在肌肉超声图像上,筋膜通常表现为连续的高回声带,其方向接近于零度,而肌纤维通常表现为不均匀分布的线状结构,其方向也有迹可循。因此,针对连续性筋膜和各向同性肌纤维,本实施例采用雷登变换进行检测。标准的雷登变换在欧式空间下的公式为:R(ρ,θ)=∫∫DI(x,y)δ(ρ-x cosθ-ys inθ)dx dy
其中,I(x,y)代表在(x,y)位置的图像灰度,δ为狄拉克δ函数,ρ为直线到图像中心的距离,θ为x轴和线的夹角,D为图像网格。标准的雷登变换代表着整个图像平面在其投影方向上的灰度积分,因雷登变换矩阵上的峰值能够表征直线的特性,而被广泛应用于直线的提取与边界的识别。但由于在不同投影方向上,其积分路径长度各异,容易产生边缘效应,如图4中的A图所示,标准的雷登变换矩阵是无法确定哪一个峰值所代表的方向是筋膜方向。为了消除边缘效应,本实施例提出了一种新的归一化雷登变换,其公式为:
R(ρ,θ)=∫∫D(I(x,y)-mean(I))δ(ρ-xcosθ-ysinθ)dxdy;
NR(ρ,θ)=mapminmax(R(ρ,θ));
其中,R(ρ,θ)代表经过标准雷登变换后的图像,mean(I)代表该图像的灰度均值,mapminmax(R(ρ,θ))代表将矩阵归一化到0和1之间。本实施例首先通过将原始图像减去图像灰度均值来解决雷登变换矩阵中对角线普遍高亮的问题,然后以某个角度间隔,例如0.2度对图像进行归一化雷登变换,如图4中的B图。对归一化雷登变换在距离方向上求梯度,得到雷登变换梯度矩阵,突出肌肉结构要素的边缘信息,具体如图4中的C图。对比传统的雷登变换矩阵,梯度矩阵突出了肌肉结构的边缘信息,利用梯度矩阵算法处理超声图像来动态研究肌肉结构要素及相关形态学参数(如羽状角、肌肉厚度、肌纤维角度、肌束长度、肌肉生理横截面积等)的变化,有利于对肌肉结构进行更精确地定位,并在一定程度上消除了噪声的干扰。
在雷登变换梯度矩阵中,肌肉结构的下沿通常表现为极大值点,肌肉结构的上沿表现为极小值点,本实施例中以求肌肉组织中结构要素的下沿为实例。肌肉结构要素的边缘越笔直和明显,其对应的峰值点越亮。因此,本实施例取前0.2%个峰值点,对雷登变换梯度矩阵进行二值化,初步提取出边缘特征点P,如图5中的A图所示。为了更好地实现对肌肉组织中结构要素的定位,本实施例中利用图像金字塔对梯度进行增强处理,提取增强后的边缘特征点,具体包括如下步骤:
1)对归一化雷登变换矩阵进行多次缩小2倍(优选为2-4次缩小),得到多尺度的图像金字塔;
2)对所述图像金字塔求梯度并求平均,并对归一化雷登变换矩阵进行二值化处理,提取增强后的边缘特征点P’;
3)将初步提取的边缘特征点P和增强后的边缘特征点P’进行合并,增强后的边缘特征点如图5中的B图所示。通过运用图像金字塔增强边缘算法,使本发明对图像质量较差或肌肉结构要素边缘模糊的肌肉超声图像同样适用,增强了算法的鲁棒性,扩大了适用范围。
参照图5,本实施例中提取到的边缘特征点包括深筋膜边缘特征点、浅筋膜边缘特征点以及肌束边缘特征点。当提取到这些边缘特征点之后,采用聚类方法(例如高斯混合模型聚类)对边缘特征点进行分类。而由于各类边缘特征点中包括了大量的噪声,为了消除噪声对定位的干扰,本实施例中需要进行去噪处理,例如可以通过去除各类边缘特征点中亮度值低于平均值的边缘特征点,以到达去噪的目的。筋膜边缘特征点(深筋膜边缘特征点以及浅筋膜边缘特征点)一般集中在一个连通域中,而肌束边缘特征点一般分散在多个连通域中。因此,对于筋膜边缘特征点,本实施例可根据一些指标,如连通域的面积或位置来进行选择;而对于肌束边缘特征点,可采用取局部极大值点俩进行简化。肌束在总体上一般是平行分布的,但并不是所有的肌束都是平行的。为了去除一些与肌束总体分布方向相差较大的肌束,可用某种方式进行肌束边缘特征点的删减,如在相交的两条肌束中删去与肌束总体分布方向相差较大的一条,最终提取到的边缘特征点如图5中的C图所示。
进一步地,由于雷登变换梯度矩阵上的特征点的亮度值越大,说明逆变换回欧氏空间是直线边缘的可能性就越大。因此本实施例利用这一特性,可以各类特征点的亮度值作为权重,对位置和方向进行加权平均。加权平均计算公式如下:
其中,代表各类边缘特征点的平均位置,代表各类边缘特征点的平均方向,ρi代表各类边缘特征点的位置,θi代表各类边缘特征点的方向,ωi代表各类边缘特征点的权重。本实施例能够准确识别肌肉结构要素的优势方向,使检测到的肌肉结构性参数的动态变化原始信号更加平滑,更加符合人体肌肉系统收缩运动的规律,从而提高肌肉组织中结构要素的定位精确度。而当使用雷登逆变换来将各类边缘特征点变换成欧式空间,即可以得到肌肉组织中结构要素的下沿定位结果,如图6中所示。然后依照上述的方法同样可以得到结构要素的上沿定位结果,然后将下沿和上沿的定位结果合并,可去除一些与肌束总体分布方向不一致的肌束,实现对各类肌肉结构要素的定位,如图7所示,从而得到深筋膜、浅筋膜以及肌束的位置。
进一步地,本实施例根据人体肌肉系统收缩运动的规律,在肌肉超声动态图像中,相邻帧的肌肉结构要素的空间位置不会有太大的变化。因此,对于肌肉超声动态图像,可在处理当前帧的处理中利用上一帧的定位结果,例如在相交的两条肌束中删去与上一帧肌束总体分布方向相差较大的一条,利用上一帧筋膜的空间位置快速选择当前帧筋膜的特征点。通过上述追踪算法使本发明实现实时检测和自动化定位,检测到的肌肉结构性参数的动态变化原始信号更加平滑,更加符合人体肌肉系统收缩运动的规律,同时,追踪算法对动态图像的图像质量要求比光流法小许多,泛化能力更强,解决了之前自动检测方法局限于在静态或准静态的条件下测量的弊端,最终能够实时,客观,准确地自动定位出动态变化过程中的结构要素。
本发明能够提取肌肉组织中结构要素边缘信息,克服高散斑噪声和肌内血管的干扰,有效区分筋膜与肌束,实现肌肉收缩过程中结构要素动态变化的全自动精准定位。本发明的定位结果与专家手动勾画的结果更吻合,检测到的肌肉结构性参数的动态变化信号与肌力相关性更高,结构性角度动态曲线自然平滑;而且算法能在多组不同类型的数据集上适用,鲁棒性较强,不需要手动调整参数即可完成结构要素的精准定位,自动化程度更高。
基于上述实施例,本发明还提供一种肌肉组织中结构要素的自动定位系统,如图8中所示,该系统包括:雷登变换变换模块810、特征提取与增强模块820以及雷登逆变换模块830。
具体地,雷登变换变换模块810,用于在肌肉收缩运动中实时获取肌肉超声图像,对所述超声图像进行归一化雷登变换,并对归一化雷登变换在距离上求取梯度,得到雷登变换梯度矩阵;特征提取与增强模块820,用于对所述雷登变换矩阵进行二值化处理,初步提取肌肉组织中的结构要素的边缘特征点,并利用图像金字塔对梯度进行增强处理,提取增强后的边缘特征点,,利用聚类方法对提取到的边缘特征点进行分类;雷登逆变换模块830,用于获取各类边缘特征点的亮度值,将获取到的亮度值作为权重,对各类边缘特征点的位置和方向进行加权平均,并利用雷登逆变换将各类边缘特征点变成欧式空间,得到肌肉组织中结构要素的定位结果。
优选地,本实施例中的肌肉超声图像是采用10MHz电子线阵探头的实时B型超声扫描仪获取的肌肉超声图像;所述超声扫描仪的探头的长轴平行于肌肉长轴方向,并置于预设的位置处。
优选地,本实施例中的特征提取与增强模块820包括增强子模块,该增强子模块用于利用图像金字塔对梯度进行增强处理,提取增强后的边缘特征点,具体包括:对归一化雷登变换矩阵进行多次缩小2倍(优选为2-4次缩小),得到多尺度的图像金字塔;对所述图像金字塔求梯度并求平均,并对归一化雷登变换矩阵进行二值化处理,提取增强后的边缘特征点P’;将初步提取的边缘特征点P和增强后的边缘特征点P’进行合并,从而实现对边缘特征点进行增强。
通过实时获取肌肉收缩过程中的肌肉超声图像,并利用雷登变换梯度矩阵处理结构超声图像突出肌肉结构的边缘信息,有利于对肌肉结构实现更精确的定位,并且,本发明可以消除噪声的干扰,以及运用图像金字塔增强边缘信息,有效提高了鲁棒性,实现全自动的定位出肌肉结构要素。
综上所述,本发明公开一种肌肉组织中结构要素的自动定位方法及系统,所述方法包括:在肌肉收缩运动中实时获取肌肉超声图像,对超声图像进行归一化雷登变换,并求取梯度得到雷登变换梯度矩阵;对雷登变换矩阵进行二值化处理,初步提取边缘特征点,并利用图像金字塔对梯度进行增强处理,提取增强后的边缘特征点,利用聚类方法对提取到的边缘特征点进行分类并获取亮度值,将获取到的亮度值作为权重,对各类边缘特征点的位置和方向进行加权平均,并利用雷登逆变换将各类边缘特征点变成欧式空间,得到肌肉组织中结构要素的定位结果。本发明能够提取肌肉结构要素的边缘信息,克服高散斑噪声和肌肉血管的干扰,提高鲁棒性,实现肌肉收缩过程中的结构要素动态变化全自动精确定位。
应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种肌肉组织中结构要素的自动定位方法,其特征在于,所述方法包括:
获取在肌肉收缩运动中的肌肉超声图像,对所述超声图像进行归一化雷登变换,并对归一化雷登变换在距离上求取梯度,得到雷登变换梯度矩阵;
对所述雷登变换矩阵进行二值化处理,初步提取肌肉组织中的结构要素的边缘特征点,并利用图像金字塔对梯度进行增强处理,提取增强后的边缘特征点,利用聚类方法对提取到的边缘特征点进行分类;
获取各类边缘特征点的亮度值,将获取到的亮度值作为权重,对各类边缘特征点的位置和方向进行加权平均,并利用雷登逆变换将各类边缘特征点变成欧式空间,得到肌肉组织中结构要素的定位结果。
2.根据权利要求1所述的肌肉组织中结构要素的自动定位方法,其特征在于,所述超声扫描仪的探头的长轴平行于肌肉长轴方向。
3.根据权利要求1所述的肌肉组织中结构要素的自动定位方法,其特征在于,所述归一化雷登变换是在标准的雷登变换进行演变的,公式为:
R(ρ,θ)=∫∫D(I(x,y)-mean(I))δ(ρ-xcosθ-ysinθ)dxdy;
其中,NR(ρ,θ)=mapminmax(R(ρ,θ)),R(ρ,θ)代表经过标准雷登变换后的图像,mean(I)代表图像的灰度均值,mapminmax(R(ρ,θ))代表将矩阵归一化到0和1之间。
4.根据权利要求1所述的肌肉组织中结构要素的自动定位方法,其特征在于,所述利用图像金字塔对梯度进行增强处理,提取增强后的边缘特征点包括:
对归一化雷登变换矩阵进行多次缩小2倍,得到多尺度的图像金字塔;
对所述图像金字塔求梯度并求平均,并对归一化雷登变换矩阵进行二值化处理,提取增强后的边缘特征点;
将初步提取的边缘特征点和增强后的边缘特征点进行合并。
5.根据权利要求4所述的肌肉组织中结构要素的自动定位方法,其特征在于,所述边缘特征点包括:深筋膜边缘特征点、浅筋膜边缘特征点以及肌束边缘特征点。
6.根据权利要求1所述的肌肉组织中结构要素的自动定位方法,其特征在于,
所述加权平均的公式为:
其中,代表各类边缘特征点的平均位置,代表各类边缘特征点的平均方向,ρi代表各类边缘特征点的位置,θi代表各类边缘特征点的方向,ωi代表各类边缘特征点的权重。
7.根据权利要求1所述的肌肉组织中结构要素的自动定位方法,其特征在于,所述方法还包括:
调用动态图像追踪算法,对连续多帧肌肉超声图像中的结构要素进行自动定位。
8.一种肌肉组织中结构要素的自动定位系统,其特征在于,所述系统包括:
雷登变换变换模块,用于获取在肌肉收缩运动中的肌肉超声图像,对所述超声图像进行归一化雷登变换,并对归一化雷登变换在距离上求取梯度,得到雷登变换梯度矩阵;
特征提取与增强模块,用于对所述雷登变换矩阵进行二值化处理,初步提取肌肉组织中的结构要素的边缘特征点,并利用图像金字塔对梯度进行增强处理,提取增强后的边缘特征点,利用聚类方法对提取到的边缘特征点进行分类;
雷登逆变换模块,用于获取各类边缘特征点的亮度值,将获取到的亮度值作为权重,对各类边缘特征点的位置和方向进行加权平均,并利用雷登逆变换将各类边缘特征点变成欧式空间,得到肌肉组织中结构要素的定位结果。
9.根据权利要求8所述的肌肉组织中结构要素的自动定位系统,其特征在于,所述超声扫描仪的探头的长轴平行于肌肉长轴方向。
10.根据权利要求9所述的肌肉组织中结构要素的自动定位系统,其特征在于,所述特征提取与增强模块包括边缘增强子模块,所述边缘增强子模块用于:对归一化雷登变换矩阵进行多次缩小2倍,得到多尺度的图像金字塔;
对所述图像金字塔求梯度并求平均,并对归一化雷登变换矩阵进行二值化处理,提取增强后的边缘特征点;
将初步提取的边缘特征点和增强后的边缘特征点进行合并。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910389829.8A CN110276772B (zh) | 2019-05-10 | 2019-05-10 | 一种肌肉组织中结构要素的自动定位方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910389829.8A CN110276772B (zh) | 2019-05-10 | 2019-05-10 | 一种肌肉组织中结构要素的自动定位方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110276772A true CN110276772A (zh) | 2019-09-24 |
CN110276772B CN110276772B (zh) | 2022-10-18 |
Family
ID=67959035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910389829.8A Active CN110276772B (zh) | 2019-05-10 | 2019-05-10 | 一种肌肉组织中结构要素的自动定位方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110276772B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110694149A (zh) * | 2019-10-16 | 2020-01-17 | 山东大学齐鲁医院 | 一种超声辅助肌肉识别方法、系统及辅助注射装置 |
WO2024051015A1 (zh) * | 2022-09-08 | 2024-03-14 | 深圳大学 | 一种基于肌肉超声的影像特征提取及分类方法 |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6002738A (en) * | 1995-07-07 | 1999-12-14 | Silicon Graphics, Inc. | System and method of performing tomographic reconstruction and volume rendering using texture mapping |
CN1932837A (zh) * | 2005-09-12 | 2007-03-21 | 电子科技大学 | 基于小波变换和雷登变换的车牌提取方法 |
US20080130974A1 (en) * | 2004-12-30 | 2008-06-05 | Yuan Xu | Method and Device of Reconstructing an (N+1)-Dimensional Image Function from Radon Data |
US20110257505A1 (en) * | 2010-04-20 | 2011-10-20 | Suri Jasjit S | Atheromatic?: imaging based symptomatic classification and cardiovascular stroke index estimation |
CN103247044A (zh) * | 2013-04-16 | 2013-08-14 | 西南交通大学 | 基于高铁接触网绝缘子曲线状和点状奇异性特征的不良状态检测方法 |
CN103336942A (zh) * | 2013-04-28 | 2013-10-02 | 中山大学 | 一种基于Radon BEMD变换的国画鉴定方法 |
CN103584884A (zh) * | 2013-11-07 | 2014-02-19 | 中国科学院深圳先进技术研究院 | 肌力评估方法及装置、肌肉康复训练跟踪评估方法及系统 |
CN104091303A (zh) * | 2014-07-11 | 2014-10-08 | 湖南大学 | 一种基于Radon变换和不变特征的鲁棒图像哈希方法及其装置 |
CN104248454A (zh) * | 2014-10-09 | 2014-12-31 | 哈尔滨工程大学 | 一种二维超声图像与穿刺针共面判断方法 |
CN104615635A (zh) * | 2014-11-10 | 2015-05-13 | 南方医科大学 | 基于方向特征的手掌静脉分类索引构建方法 |
US20150206025A1 (en) * | 2014-01-17 | 2015-07-23 | University Of Electronic Science And Technology Of China | Method for identifying and extracting a linear object from an image |
US20160003956A1 (en) * | 2013-02-26 | 2016-01-07 | Foster Findlay Associates Limited | Enhanced Visualisation of Geologic Features in 3D Seismic Survey Data |
CN105678737A (zh) * | 2015-12-24 | 2016-06-15 | 华北电力大学(保定) | 一种基于Radon变换的数字图像角点检测方法 |
CN106056619A (zh) * | 2016-06-13 | 2016-10-26 | 长安大学 | 基于梯度约束Radon变换的无人机视觉电线巡检方法 |
US20170091281A1 (en) * | 2015-09-24 | 2017-03-30 | Hamid Reza TIZHOOSH | Systems and methods for barcode annotations for digital images |
CN106651933A (zh) * | 2016-12-27 | 2017-05-10 | 西安邮电大学 | 一种基于Radon变换的改进型纹理特征提取算法 |
CN108510475A (zh) * | 2018-03-09 | 2018-09-07 | 南京索聚医疗科技有限公司 | 一种肌肉连续超声图像中肌肉肌腱结的测量方法及系统 |
CN108742705A (zh) * | 2018-04-10 | 2018-11-06 | 深圳大学 | 一种实时检测肌肉形态参数的超声成像设备及方法 |
-
2019
- 2019-05-10 CN CN201910389829.8A patent/CN110276772B/zh active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6002738A (en) * | 1995-07-07 | 1999-12-14 | Silicon Graphics, Inc. | System and method of performing tomographic reconstruction and volume rendering using texture mapping |
US20080130974A1 (en) * | 2004-12-30 | 2008-06-05 | Yuan Xu | Method and Device of Reconstructing an (N+1)-Dimensional Image Function from Radon Data |
CN1932837A (zh) * | 2005-09-12 | 2007-03-21 | 电子科技大学 | 基于小波变换和雷登变换的车牌提取方法 |
US20110257505A1 (en) * | 2010-04-20 | 2011-10-20 | Suri Jasjit S | Atheromatic?: imaging based symptomatic classification and cardiovascular stroke index estimation |
US20160003956A1 (en) * | 2013-02-26 | 2016-01-07 | Foster Findlay Associates Limited | Enhanced Visualisation of Geologic Features in 3D Seismic Survey Data |
CN103247044A (zh) * | 2013-04-16 | 2013-08-14 | 西南交通大学 | 基于高铁接触网绝缘子曲线状和点状奇异性特征的不良状态检测方法 |
CN103336942A (zh) * | 2013-04-28 | 2013-10-02 | 中山大学 | 一种基于Radon BEMD变换的国画鉴定方法 |
CN103584884A (zh) * | 2013-11-07 | 2014-02-19 | 中国科学院深圳先进技术研究院 | 肌力评估方法及装置、肌肉康复训练跟踪评估方法及系统 |
US20150206025A1 (en) * | 2014-01-17 | 2015-07-23 | University Of Electronic Science And Technology Of China | Method for identifying and extracting a linear object from an image |
CN104091303A (zh) * | 2014-07-11 | 2014-10-08 | 湖南大学 | 一种基于Radon变换和不变特征的鲁棒图像哈希方法及其装置 |
CN104248454A (zh) * | 2014-10-09 | 2014-12-31 | 哈尔滨工程大学 | 一种二维超声图像与穿刺针共面判断方法 |
CN104615635A (zh) * | 2014-11-10 | 2015-05-13 | 南方医科大学 | 基于方向特征的手掌静脉分类索引构建方法 |
US20170091281A1 (en) * | 2015-09-24 | 2017-03-30 | Hamid Reza TIZHOOSH | Systems and methods for barcode annotations for digital images |
CN105678737A (zh) * | 2015-12-24 | 2016-06-15 | 华北电力大学(保定) | 一种基于Radon变换的数字图像角点检测方法 |
CN106056619A (zh) * | 2016-06-13 | 2016-10-26 | 长安大学 | 基于梯度约束Radon变换的无人机视觉电线巡检方法 |
CN106651933A (zh) * | 2016-12-27 | 2017-05-10 | 西安邮电大学 | 一种基于Radon变换的改进型纹理特征提取算法 |
CN108510475A (zh) * | 2018-03-09 | 2018-09-07 | 南京索聚医疗科技有限公司 | 一种肌肉连续超声图像中肌肉肌腱结的测量方法及系统 |
CN108742705A (zh) * | 2018-04-10 | 2018-11-06 | 深圳大学 | 一种实时检测肌肉形态参数的超声成像设备及方法 |
Non-Patent Citations (5)
Title |
---|
GUANG-QUAN ZHOU ET AL.: "Automatic measurement of pennation angle and fascicle length of gastrocnemius muscles using real-time ultrasound imaging", 《ULTRASONICS》 * |
GUANG-QUAN ZHOU ET AL.: "Automatic Pennation Angle Measurement in Musculoskeletal Ultrasound Image", 《2012 INTERNATIONAL CONFERENCE ON COMPUTERIZED HEALTHCARE (ICCH)》 * |
ZHONG LIU ET AL.: "Automatic Muscle Fiber Orientation Tracking in Ultrasound Images Using a New Adaptive Fading Bayesian Kalman Smoother", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
李乔亮等: "归一化Radon变换和统计测度的超声图像肌束方向自动跟踪", 《中国图象图形学报》 * |
温慧莹等: "基于局部Radon变换和卡尔曼滤波的超声图像肌束方向自动跟踪方法", 《中国生物医学工程学报》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110694149A (zh) * | 2019-10-16 | 2020-01-17 | 山东大学齐鲁医院 | 一种超声辅助肌肉识别方法、系统及辅助注射装置 |
CN110694149B (zh) * | 2019-10-16 | 2021-06-22 | 山东大学齐鲁医院 | 一种超声辅助肌肉识别方法、系统及辅助注射装置 |
WO2024051015A1 (zh) * | 2022-09-08 | 2024-03-14 | 深圳大学 | 一种基于肌肉超声的影像特征提取及分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110276772B (zh) | 2022-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107169998B (zh) | 一种基于肝脏超声造影图像的实时跟踪及定量分析方法 | |
Lu et al. | Automatic optic disc detection from retinal images by a line operator | |
Suhling et al. | Myocardial motion analysis from B-mode echocardiograms | |
CN110111386B (zh) | 一种肌肉组织中结构性角度的自动测量方法及系统 | |
CN110448335B (zh) | 一种基于超声图像的胎儿头围全自动测量方法和装置 | |
CN102068281B (zh) | 一种占位性病变超声图像的处理方法 | |
CN112465772B (zh) | 眼底彩照图像血管评估方法、装置、计算机设备和介质 | |
CN103985099B (zh) | 一种弥散张量磁共振图像张量域非局部均值去噪方法 | |
CN105261015B (zh) | 基于Gabor滤波器的眼底图像血管自动分割方法 | |
EP1904971A1 (en) | Method and computer program for spatial compounding of images | |
JPH08206117A (ja) | 超音波診断装置 | |
CN108615239B (zh) | 基于阈值技术和灰度投影的舌图像分割方法 | |
CN101082983A (zh) | 基于感兴趣区域的自适应医学序列图像插值方法 | |
US11455720B2 (en) | Apparatus for ultrasound diagnosis of liver steatosis using feature points of ultrasound image and remote medical-diagnosis method using the same | |
CN111354006A (zh) | 超声图像中目标组织的描迹方法及装置 | |
CN110310323A (zh) | 基于Hessian矩阵和二维高斯拟合的视网膜血管管径测量方法 | |
CN108765427A (zh) | 一种前列腺图像分割方法 | |
CN110276772B (zh) | 一种肌肉组织中结构要素的自动定位方法及系统 | |
CN108510493A (zh) | 医学图像内目标对象的边界定位方法、存储介质及终端 | |
WO2024067527A1 (zh) | 一种髋关节角度检测系统和方法 | |
CN109003280A (zh) | 一种双通道血管内超声影像的血管中内膜分割方法 | |
CN108670301A (zh) | 一种基于超声影像的脊柱横突定位方法 | |
CN107169978A (zh) | 超声图像边缘检测方法及系统 | |
Pohle-Fröhlich et al. | Estimation of muscle fascicle orientation in ultrasonic images | |
CN110930394B (zh) | 测量肌肉肌纤维束线斜率和羽状角的方法及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |