CN114764761A - 一种自动颈动脉超声图像内中膜测量方法 - Google Patents
一种自动颈动脉超声图像内中膜测量方法 Download PDFInfo
- Publication number
- CN114764761A CN114764761A CN202011610775.2A CN202011610775A CN114764761A CN 114764761 A CN114764761 A CN 114764761A CN 202011610775 A CN202011610775 A CN 202011610775A CN 114764761 A CN114764761 A CN 114764761A
- Authority
- CN
- China
- Prior art keywords
- lii
- mai
- intima
- carotid artery
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 210000001715 carotid artery Anatomy 0.000 title claims abstract description 25
- 238000002604 ultrasonography Methods 0.000 title claims description 6
- 238000000691 measurement method Methods 0.000 title description 3
- 238000000034 method Methods 0.000 claims abstract description 22
- 241000270295 Serpentes Species 0.000 claims abstract description 19
- 238000005259 measurement Methods 0.000 claims abstract description 12
- 210000004231 tunica media Anatomy 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims abstract description 3
- 238000001514 detection method Methods 0.000 claims description 10
- 238000003708 edge detection Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 2
- 210000002808 connective tissue Anatomy 0.000 abstract 1
- 230000011218 segmentation Effects 0.000 description 7
- 238000009825 accumulation Methods 0.000 description 3
- 208000026106 cerebrovascular disease Diseases 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 201000001320 Atherosclerosis Diseases 0.000 description 2
- 208000006011 Stroke Diseases 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 208000010125 myocardial infarction Diseases 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007214 atherothrombosis Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明提供一种自动测量颈动脉超声图像内中膜厚度方法，对于初始超声图像，使用yoloV3模型训练出检测内膜边界与中膜外膜边界的检测器，自动从超声颈动脉图像中提取带有LII和MAI边界的关键区域；使用canny算子计算水平边缘，突出LII和MAI边界；霍夫变换根据输入的二值边缘图检测直线，挑选2条近似平行的直线作为LII和MAI初始边界轮廓线；依据边界轮廓线，使用双Snake模型精确地分割内中膜，得到最接近真实LII和MAI边界的轮廓线；采用平均绝对距离计算标记为MAI和LII的像素点纵坐标差的平均值，获得最终颈动脉内中膜厚度。本发明自动提取超声图像含有MAI和LII的关键区域，并测量颈动脉内中膜厚度，测量精准，排除个人主观因素影响，提高测量的准确性并减少人工成本。
Description
技术领域
本发明涉及医学图像处理领域，尤其涉及一种对颈部超声视频图像进行全自动精准测量颈动脉血管壁的内中膜厚度的方法。
背景技术
据世界卫生组织统计，动脉粥样硬化形成血栓事件造成心肌梗塞和中风约占全球总死亡率的35％，心脑血管疾病(Cardiovascular disease,CVD)是全世界导致死亡的主要原因。但在很大程度上这是可以预防的，预防的关键是疾病发生之前识别高危个体。颈动脉内中膜厚度(Intima-MediaThickness,IMT)是反映动脉粥样硬化程度的重要指标。研究表明颈动脉的IMT可以作为心肌梗死和中风早期预测指标，与动脉粥状硬化也有很大相关性，对于预测个体CVD风险方面，已被证实具有重要价值。
IMT定义为颈动脉远端壁的管腔内膜边界(Lumen-Intima Interface,LII)与中膜外膜边界(Media-Adventitia Interface,MAI)界面之间的距离，因此要测量 CIMT，必须确定LII和MAI界面。现有的测量方法较大程度依靠专业医务人员进行手动测量或者有执业医师预先在超声图像中选取颈动脉内中膜的关键区域再由计算机进行分割测量IMT。这种方式对于大规模数据测量时，不仅劳动强度大，而且还高度依赖于执业医师的经验，并且测量结果受主观因数影响较大。近年来，许多研究者对IMT分割算法进行研究，提出的测量方法大体包括：基于梯度的边缘检测、基于snake模型、基于动态规划、基于Hough变换。这些方法中有些如snake模型需要医师交互提前选出关键区域，Hough变换、动态规划方法虽然能实现自动化，但是精度却没有snake模型效果好。
发明内容
近年来，基于数据驱动的深度学习方法在各大检测与分割任务上大放光彩，因此本发明提出一种对颈部超声视频图像进行全自动精准测量颈动脉血管壁的内中膜厚度的方法，通过计算机辅助诊断，采用图像处理技术，实现全自动分割(Auto-maticSegmentation,AS)算法，减少人工操作的工作量，并减少主观差异性。
本发明的目的在于提供一种自动测量颈动脉超声图像内中膜厚度方法。
为了实现上述目的，本发明的测量方法操作如下：
1.自动关键区域提取；
使用深度学习框架yoloV3，搭建模型，训练出一个可以检测LII和MAI边界的检测器,从而自动从采集到的超声颈动脉图像中提取带有LII和MAI边界的关键区域。
2.边缘检测
在带有LII和MAI的关键区域中使用canny算子计算水平边缘边缘检测，以突出LII和MAI边界。边缘检测后获取的图像为二值边缘图。
3.霍夫变换获取初始轮廓线；
霍夫(Hough)变换根据输入的二值边缘图，检测出图像中的直线，挑选出 2条近似平行的直线作为LII和MAI初始边界轮廓线。
4.双Snake模型轮廓细化轮廓线；
双Snake模型依据轮廓线的初始位置，让轮廓线从初始位置开始演化来靠近真实边界。双Snake模型让其在局部靠近边缘同时维持两条曲线平行的约束下精确地分割内中膜，得到最接近真实LII和MAI边界的轮廓线。
5.IMT测量；
采用平均绝对距离(mean absolute distance，MAD)计算标记为MAI和LII 的像素点纵坐标差的平均值，获得最终颈动脉内中膜厚度。
本发明的有益效果：与现有技术相比，本发明提供的颈动脉内中膜厚度全自动测量的方法、效果在于：通过自动提取关键区域，并测量颈动脉内中膜厚度，测量IMT所使用的算法检测准确，测量精准。可以排除个人主观因素的影响，提高测量的准确性并减少人工成本。
附图说明
图1为本发明的流程图；
图2为本实施例的示意图。
具体实施方式
为了使本技术领域人员更好地理解本发明的技术方案，并使本发明的上述特征、目的以及优点更加清晰易懂，下面结合实施例对本发明做进一步的说明。实施例仅用于说明本发明而不用于限制本发明的范围。
如图1所示可知，本发明包括以下步骤：
步骤S1：自动关键区域提取：
由于原始颈动脉血管超声图像包含很多和内中膜无相关的区域，为了提高图像分割效率，并减少图像噪声的干扰，首要步骤就是关键区域提取。本发明采用YOLOv3目标检测框架去实现关键区域检测，考虑到超声设备计算资源有限，本发明采用MobileNetV3作为YOLOv3的backbend特征提取网络，MobileNet系列是专注在移动设备上的轻量级神经网络。MobileNetV3网络模型轻量化、小型化, 去掉最后的全连接分类层，直接预测含有MAI和LII关键区域的相对位置， YOLOv3采用了3个不同尺度的特征图来进行对象检测，在关键区域检测的过程中能够获取到更丰富的语义信息和更细粒度的特征信息。原始采集的图像为463 *367,为了提升检测速度，将原始图像按水平方向，均分为3份，对每一份进行关键区域检测，模型输出为154*120带有LII和MAI的关键区域图。
步骤S2：边缘检测：
边缘图用来反映待分割物体的边界，边缘图使用梯度幅值来表示。边缘检测可以突出目标边界，本发明使用canny模板算子求取图像梯度，对于关键区域，先用高斯滤波平滑图像，去除噪声。在内中膜分割中，由于LII和MAI均成水平状，因而边缘图可以只计算垂直方向的梯度。由于得到的梯度边缘不止一个像素宽，而是多个像素宽。故使用非极大值抑制那些梯度不够大的像素点，只保留最大的梯度。最后用双阈值算法检测和连接边缘，Canny算子获取的边缘全，位置准，抵抗噪声的能力强。
步骤S3：霍夫变换获取初始轮廓线：
由于内中膜的边界可用分段直线来近似，而Hough变换是图像处理中检测解析直线的一种常用方法，霍夫(Hough)变换根据输入的二值边缘图，把每个边缘点映射到待检测的形状的参数空间的累积矩阵中，把每个经过这一边缘点的形状的参数在累积矩阵中的位置加1，最后统计累积矩阵中的最大元素，其位置对应待检测的形状的参数。具体针对直线而言，Hough变换下式表示直线。
ρ＝x*cosθ+y*sinθ
在参数空间中检测到的所有直线，挑选出2条近似平行的直线作为LII和MAI初始边界界轮廓线。
步骤S4：双Snake模型轮廓细化轮廓线：
Snake模型是一种局部化的分割方法，使用连续曲线来表达目标边缘。并定义一个能量泛函使得其自变量包含边缘曲线。因此切割过程就转变为求解能量泛函的最小值的过程，一般可通过求解函数相应的欧拉方程来实现，能量达到最小时的曲线位置就是目标的轮廓所在。依据给出轮廓线的初始位置，让轮廓线从初始位置开始演化来靠近边界。
Snake模型的基础是一个变分问题，可以使用梯度下降流求解使能量泛函达到极小，由于颈动脉内中膜的两条边界大致相互平行，其距离的变化较小，所以本发明在Snake的基础上使用Double Snake模型用于内中膜边界的检测。DS在传统Snake的基础下加入距离的变化率项，该模型在初始轮廓线的附近搜索以下泛函的局部极小：
EDS＝Eint+Eext
其中，Eint是内部能量控制轮廓线的平滑，Eext是外部能量使轮廓线靠近边缘。其定义如下：
Double snake加入了均匀能量
该项使两条曲线的距离矢量的变化率较小，具有让这两条曲线平行的效果。在超声图像中，由于声影等伪像的存在，物体的边界经常会有消失的情况。具体在内中膜图像中，LII的边界可能会不连续甚至大范围的消失，均匀能量能根据MAI轮廓线的位置和附近的两条轮廓线的距离估计消失的LII边界。
通过DS算法可以求取精准的MAI和LII边界轮廓线，得到最终分割结果。
步骤S5：IMT测量:
依据得到的MAI和LII边界轮廓线分割结果，采用平均绝对距离(mean absolutedistance，MAD)计算标记为MAI和LII的像素点纵坐标差的平均值，获得最终颈动脉内中膜厚度。
本发明全自动超声颈动脉内中膜厚度测量实际效果如附图2所示，用原始超声图像，进行关键区域检测，对关键区域进行边缘检测，再使用霍夫变换找到MAI和LII初始轮廓线，最后使用双Snake算法精确分割边界线，从而计算出结果。
Claims (7)
1.一种自动测量颈动脉超声图像内中膜厚度方法，其特征在于，包括以下步骤：
步骤S1：自动关键区域提取：
采集原始超声图像，使用深度学习框架yoloV3搭建模型，训练用于检测LII和MAI边界的检测器，从超声颈动脉图像中提取带有LII和MAI边界的关键区域；
步骤S2：边缘检测：
对经过步骤S1获得的带有LII和MAI边界的关键区域中使用canny算子计算水平边缘，突出LII和MAI边界，获得二值边缘图。
步骤S3：霍夫变换获取初始轮廓线:：
对经过步骤S2后的二值边缘图采用霍夫变换，检测图像中的直线，挑选出2条近似平行的直线作为LII和MAI初始边界轮廓线；
步骤S4：双Snake模型轮廓细化轮廓线：
对经过步骤S3挑选出的LII和MAI初始边界轮廓线，采用双Snake模型细化轮廓线，从初始位置开始演化靠近真实边界，让其在局部靠近边缘同时维持两条曲线平行的约束下精确地分割内中膜，得到最接近真实LII和MAI边界的轮廓线；
步骤S5：IMT测量：
对经过步骤S3获得的最接近真实LII和MAI边界的轮廓线，采用平均绝对距离计算标记为MAI和LII的像素点纵坐标差的平均值，获得最终颈动脉内中膜厚度。
2.根据权利要求1所述的自动测量颈动脉超声图像内中膜厚度方法，其特征在于：在所述步骤S4中，双Snake模型在传统Snake模型的基础上加入距离的变化率项，该模型在初始轮廓线的附近搜索以下泛函的局部极小值：
EDS＝Eint+Eext
其中，Eint是内部能量控制轮廓线的平滑，Eext是外部能量使轮廓线靠近边缘。
3.根据权利要求2所述的自动测量颈动脉超声图像内中膜厚度方法，其特征在于：Eint和Eext的定义如下：
双snake模型中加入均匀能量
该项使两条曲线的距离矢量的变化率较小，达到让这两条曲线平行的效果。
4.根据权利要求1所述的自动测量颈动脉超声图像内中膜厚度方法，其特征在于：在所述步骤S2中，对经过步骤S1输出的图像在canny算子边缘检测之前先进行图像预处理，去噪声。
5.根据权利要求4所述的自动测量颈动脉超声图像内中膜厚度方法，其特征在于：在所述步骤S2中，采用高斯滤波器进行图像噪声的去除。
6.根据权利要求1所述的自动测量颈动脉超声图像内中膜厚度方法，其特征在于：在所述步骤S1中，YOLOv3模型采用了多个不同尺度的特征图来进行对象检测。
7.根据权利要求6所述的自动测量颈动脉超声图像内中膜厚度方法，其特征在于：所述原始超声图像的大小为463*367,将原始图像按水平方向，均分为3份，对每一份进行关键区域检测，模型输出为154*120带有LII和MAI的关键区域图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011610775.2A CN114764761A (zh) | 2020-12-30 | 2020-12-30 | 一种自动颈动脉超声图像内中膜测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011610775.2A CN114764761A (zh) | 2020-12-30 | 2020-12-30 | 一种自动颈动脉超声图像内中膜测量方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114764761A true CN114764761A (zh) | 2022-07-19 |
Family
ID=82362905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011610775.2A Withdrawn CN114764761A (zh) | 2020-12-30 | 2020-12-30 | 一种自动颈动脉超声图像内中膜测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114764761A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115049642A (zh) * | 2022-08-11 | 2022-09-13 | 合肥合滨智能机器人有限公司 | 一种颈动脉血管内中膜测量与斑块检测方法 |
| CN118000785A (zh) * | 2024-03-07 | 2024-05-10 | 哈尔滨库柏特科技有限公司 | 一种颈动脉内中膜增厚位置确定方法及装置 |
| EP4338682A3 (en) * | 2022-08-26 | 2024-05-22 | SightIn Health SA | Methods, systems, devices and components for rapid on-site measurement, characterization and classification of a patient's carotid artery using a portable ultrasound probe or device |
-
2020
- 2020-12-30 CN CN202011610775.2A patent/CN114764761A/zh not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115049642A (zh) * | 2022-08-11 | 2022-09-13 | 合肥合滨智能机器人有限公司 | 一种颈动脉血管内中膜测量与斑块检测方法 |
| EP4338682A3 (en) * | 2022-08-26 | 2024-05-22 | SightIn Health SA | Methods, systems, devices and components for rapid on-site measurement, characterization and classification of a patient's carotid artery using a portable ultrasound probe or device |
| CN118000785A (zh) * | 2024-03-07 | 2024-05-10 | 哈尔滨库柏特科技有限公司 | 一种颈动脉内中膜增厚位置确定方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114764761A (zh) | 一种自动颈动脉超声图像内中膜测量方法 | |
| CN110097034B (zh) | 一种智能人脸健康程度的识别与评估方法 | |
| Grand-Brochier et al. | Tree leaves extraction in natural images: Comparative study of preprocessing tools and segmentation methods | |
| EP2433567A1 (en) | Medical image diagnosis device and region-of-interest setting method therefor | |
| CN110652312B (zh) | 一种血管cta智能分析系统及应用 | |
| CN112446862A (zh) | 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法 | |
| CN112215769B (zh) | 一种超声图像处理方法、装置及超声设备和存储介质 | |
| EP3893199A1 (en) | Information processing apparatus, information processing method of information processing apparatus, and program | |
| CN104732520A (zh) | 一种胸部数字影像的心胸比测量算法及系统 | |
| CN104182984A (zh) | 动态超声影像中的血管边缘形态快速自动采集方法及系统 | |
| Maitra et al. | Accurate breast contour detection algorithms in digital mammogram | |
| CN105404866B (zh) | 一种多模式自动实施人体状态感知的实现方法 | |
| Yue et al. | Automatic acetowhite lesion segmentation via specular reflection removal and deep attention network | |
| CN110163907B (zh) | 胎儿颈部透明层厚度测量方法、设备及存储介质 | |
| CN116682109B (zh) | 一种病理显微图像的分析方法、装置、设备及存储介质 | |
| CN104200460B (zh) | 基于图像特征和互信息的图像配准方法 | |
| CN117474876A (zh) | 基于深度学习的肾癌亚型辅助诊断及不确定性评估方法 | |
| CN113197558A (zh) | 心率与呼吸率检测方法、系统及计算机存储介质 | |
| CN110930346B (zh) | 一种眼底图像微血管瘤自动检测方法及存储设备 | |
| CN110648333B (zh) | 基于中智学理论的乳腺超声视频图像实时分割系统 | |
| Taghizadeh et al. | The fast and accurate approach to detection and segmentation of melanoma skin cancer using fine-tuned YOLOV3 and SegNet based on deep transfer learning | |
| CN104751461A (zh) | 一种基于直方图阈值及低秩表示的白细胞细胞核分割方法 | |
| CN116229236A (zh) | 一种基于改进YOLO v5模型的结核杆菌检测方法 | |
| Jia et al. | A novel lung nodules detection scheme based on vessel segmentation on CT images | |
| CN116309333A (zh) | 一种基于深度学习的wsi图像弱监督病理分析方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220719 |
|
| WW01 | Invention patent application withdrawn after publication |