CN116245867A - 一种基于无监督学习的血管斑块和血栓识别方法及系统 - Google Patents
一种基于无监督学习的血管斑块和血栓识别方法及系统 Download PDFInfo
- Publication number
- CN116245867A CN116245867A CN202310275506.2A CN202310275506A CN116245867A CN 116245867 A CN116245867 A CN 116245867A CN 202310275506 A CN202310275506 A CN 202310275506A CN 116245867 A CN116245867 A CN 116245867A
- Authority
- CN
- China
- Prior art keywords
- image
- blood vessel
- focus
- mask
- arterial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002792 vascular Effects 0.000 title claims abstract description 96
- 208000007536 Thrombosis Diseases 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 51
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 232
- 230000011218 segmentation Effects 0.000 claims abstract description 149
- 238000001514 detection method Methods 0.000 claims abstract description 58
- 230000008569 process Effects 0.000 claims abstract description 16
- 210000003462 vein Anatomy 0.000 claims description 110
- 238000012549 training Methods 0.000 claims description 84
- 210000001367 artery Anatomy 0.000 claims description 42
- 230000002159 abnormal effect Effects 0.000 claims description 32
- 238000002372 labelling Methods 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 18
- 238000002604 ultrasonography Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 16
- 230000003902 lesion Effects 0.000 claims description 14
- 238000005259 measurement Methods 0.000 claims description 14
- 230000005484 gravity Effects 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 6
- 230000004807 localization Effects 0.000 claims description 5
- 231100000216 vascular lesion Toxicity 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000000873 masking effect Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000005856 abnormality Effects 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 2
- 230000017531 blood circulation Effects 0.000 description 5
- 210000004369 blood Anatomy 0.000 description 4
- 239000008280 blood Substances 0.000 description 4
- 230000001788 irregular Effects 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 230000006378 damage Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 208000025865 Ulcer Diseases 0.000 description 2
- 206010047249 Venous thrombosis Diseases 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 238000002583 angiography Methods 0.000 description 2
- 206010008118 cerebral infarction Diseases 0.000 description 2
- 230000015271 coagulation Effects 0.000 description 2
- 238000005345 coagulation Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 231100000397 ulcer Toxicity 0.000 description 2
- 206010003210 Arteriosclerosis Diseases 0.000 description 1
- 201000001320 Atherosclerosis Diseases 0.000 description 1
- 201000006474 Brain Ischemia Diseases 0.000 description 1
- 206010008088 Cerebral artery embolism Diseases 0.000 description 1
- 206010008120 Cerebral ischaemia Diseases 0.000 description 1
- 241001391944 Commicarpus scandens Species 0.000 description 1
- 208000005189 Embolism Diseases 0.000 description 1
- 102000009123 Fibrin Human genes 0.000 description 1
- 108010073385 Fibrin Proteins 0.000 description 1
- BWGVNKXGVNDBDI-UHFFFAOYSA-N Fibrin monomer Chemical compound CNC(=O)CNC(=O)CN BWGVNKXGVNDBDI-UHFFFAOYSA-N 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 208000010378 Pulmonary Embolism Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 210000000709 aorta Anatomy 0.000 description 1
- 208000007474 aortic aneurysm Diseases 0.000 description 1
- 208000011775 arteriosclerosis disease Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036770 blood supply Effects 0.000 description 1
- 210000000748 cardiovascular system Anatomy 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 229950003499 fibrin Drugs 0.000 description 1
- 230000023597 hemostasis Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 201000010849 intracranial embolism Diseases 0.000 description 1
- 230000000302 ischemic effect Effects 0.000 description 1
- 210000000265 leukocyte Anatomy 0.000 description 1
- 150000002632 lipids Chemical class 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 208000031225 myocardial ischemia Diseases 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于无监督学习的血管斑块和血栓识别方法及系统，涉及图像处理技术领域，该方法为：将血管超声图像输入到动静脉分割模型中，对血管超声图像进行动静脉分割，得到动静脉分割图；根据动静脉分割图，分别生成动脉掩膜和静脉掩膜；利用动脉掩膜和静脉掩膜，分别得到动脉区域图像和静脉区域图像；将动脉区域图像和静脉区域图像均输入到血管病灶定位模型中，动脉区域图像检测出的病灶即为斑块，静脉区域图像检测出的病灶即为血栓。本发明能够在超声血管扫查过程中快速准确的识别出血管病灶，具体包括斑块和血栓，显著提升模型的检测精度和泛化性，降低误检，节约超声医生的诊断时间，提高诊断效率。
Description
技术领域
本发明涉及图像处理技术领域，尤其是一种基于无监督学习的血管斑块和血栓识别方法及系统。
背景技术
血管B超用于检查是否出现动脉硬化、静脉血栓，具体如下：动脉可观察到动脉血管直径、血液流速，或者斑块长度、厚度等；静脉可观察到静脉内血栓长度、是否为漂浮血栓、静脉瓣膜功能是否完好。另外，血管B超也可以检查深部大血管，如主动脉，可以明确是否有主动脉瘤。血管B超检查的优势在于无创、无辐射，与血管造影检查相比，在进行血管造影检查时需要向受检者体内注射造影剂，属于有创性检查，而且还有辐射，对人体有一定损伤。因此，在进行体检或大规模筛查时，首选血管超声。
血管斑块通常是指动脉斑块，不同部位的动脉会形成不同的动脉粥样硬化。在所有动脉中，能危及人体生命的斑块有冠状动脉斑块、颈动脉斑块、下肢血管斑块等。出现血管斑块后，可能会导致心肌缺血、脑供血不足等一系列不良后果。此外，斑块分为较多种，如软斑块、硬斑块、扁平斑块、溃疡型斑块等，其中软斑块和溃疡型斑块脂质含量较高、形态不规则，容易在血流冲击下破裂，属于不稳定性斑块，会对人体造成较大危害。如果同时伴有高血压，在血压突然升高的情况下，会造成斑块脱落而发生远端栓塞，出现脑梗死。因此，如果发现血管有斑块应及时到医院就诊，在医生指导下及早治疗，避免发生严重的后果。
血栓是指血流在心血管系统血管内面剥落处或修补处的表面所形成的小块，由不溶性纤维蛋白、沉积的血小板、积聚的白细胞和红细胞组成。正常情况下，血液本身具有可凝固性，帮助人体在外伤、流血情况下发挥局部凝固、止血等作用，但凝血过程中若凝血-抗凝机制平衡被破坏，便可导致血栓形成。一般情况下，静脉血栓是临床常见病，血栓的危害主要有以下几点：血栓阻塞血管管腔，造成远端血液回流受阻，可引起远端肢体明显肿胀、剧烈疼痛，皮肤浅层血管扩张等症状。血栓脱落会造成血管阻塞，更严重的并发症如肺栓塞、脑栓塞、心肌梗死等，更大的栓子可能会完全阻塞重要器官的供血血管，导致器官缺血、缺氧甚至病人死亡。
由于受血流速度、成分等影响，斑块常见于动脉，血栓常见于静脉，在血管超声下可以观察到动脉中斑块和静脉中血栓的大小、形状、稳定性。血管超声具有无创、无辐射、经济实惠等优势，成为筛查血管斑块和血栓的普遍手段。但是在血管超声下，血管斑块和血栓成像形状非常不规则，大小差异大，并且不同病人的个体差异大。
由于医院的血管超声设备实际采集回来的超声数据中，正常血管占据绝大多数，具有斑块和血栓的数据是非常稀少的，并且由于斑块和血栓非常不规则且边界非常不清晰，数据需要非常专业的医生去标注，并且受到医生自身专业水平的影响，数据标注的差异较大，从而导致目前的基于有监督学习的血管斑块和血栓的检测分割方法的检出率较低，误检率偏高，并且模型的泛化性较差。
发明内容
为了克服上述现有技术中的缺陷，本发明提供一种基于无监督学习的血管斑块和血栓识别方法，能够在超声血管扫查过程中快速准确的识别出血管病灶，具体包括斑块和血栓，显著提升模型的检测精度和泛化性，降低误检，节约超声医生的诊断时间，提高诊断效率。
为实现上述目的，本发明采用以下技术方案，包括：
一种基于无监督学习的血管斑块和血栓识别方法，包括以下步骤：
S1，读取血管超声扫查的图像帧即血管超声图像，将血管超声图像输入到动静脉分割模型中，动静脉分割模型对血管超声图像进行动静脉分割，得到动静脉分割图；
S2，根据步骤S1得到的动静脉分割图，分别生成动脉掩膜和静脉掩膜；
S3，利用步骤S2得到的动脉掩膜，提取血管超声图像中的动脉区域，得到动脉区域图像；利用步骤S2得到的静脉掩膜，提取血管超声图像中的静脉区域，得到静脉区域图像；
S4，将步骤S3得到的动脉区域图像和静脉区域图像均作为输入图像，输入到血管病灶定位模型中，血管病灶定位模型对输入图像进行病灶检测，提取得到病灶图像；
若输入图像为动脉区域图像，则血管病灶定位模型检测出的病灶即为斑块，提取得到斑块图像；若输入图像为静脉区域图像，则血管病灶定位模型检测出的病灶即为血栓，提取得到血栓图像。
优选的，所述血管病灶定位模型用于对输入图像进行病灶检测即异常检测；所述血管病灶定位模型的训练生成过程，具体如下所示：
S21，血管病灶定位模型包括编码器、标准化流模块；所述编码器用于提取图像特征；所述标准化流模块用于将图像特征从原始分布转换为标准的正态分布，使得图像中正常区域的特征位于分布中心，异常区域的特征远离分布中心；
S22，获取血管病灶定位模型训练的样本图像Xi，用于血管病灶定位模型训练的样本图像Xi为正常血管区域图像，即不含病灶的血管区域图像；
S23，将样本图像Xi即正常血管区域图像输入到血管病灶定位模型中，先利用编码器对正常血管区域图像进行特征提取，得到特征图Yi；再将特征图Yi输入到标准化流模块中，将特征图Yi从原始分布转换为标准的正态分布，得到流图Zi；
S24，假设：特征图Yi的概率密度函数为p(Yi)，流图Zi的概率密度函数为p(Zi)，特征图Yi到流图Zi的映射满足Zi＝f(Yi)；
那么，特征图Yi的概率密度函数p(Yi)为：
其中，det(·)为计算矩阵行列式函数，
为流图的导数，
为特征图导数；
血管病灶定位模型的损失L为：
其中，
为流图的二范数。
S25，血管病灶定位模型的训练目标为：希望流图Zi满足标准的正态分布，且损失L最小化；
利用样本图像Xi对血管病灶定位模型进行训练，直至流图Zi满足标准的正态分布，且血管病灶定位模型的损失L达到设定要求，即表示血管病灶定位模型训练完成。
优选的，步骤S4中，利用血管病灶定位模型对输入图像进行病灶检测，具体方式为：
将输入图像输入到训练完成后的血管病灶定位模型中，血管病灶定位模型输出对应的流图；利用输出的流图判断输入图像中的异常区域即病灶区域，得到异常掩膜；异常掩膜中，异常区域的像素值为255，其余像素即为背景且像素值为0，异常掩膜具体如下所示：
其中，thr为设定的阈值；
利用异常掩膜，将输入图像中的异常区域的像素值保持不变，将输入图像中的其余像素的像素值填充为0，提取得到输入图像中的异常图像即病灶图像。
优选的，所述血管病灶定位模型中的编码器的生成方式，具体如下所示：
S31，建立掩膜自编码器网络，掩膜自编码器网络包括编码器和解码器；所述编码器用于提取图像特征；所述解码器用于根据图像特征进行图像重建，得到重建图像；
S32，用于掩膜自编码器网络训练的样本图像Xc为血管超声图像，对样本图像Xc进行划分，划分为若干个图像块；
S33，对样本图像Xc中的部分图像块进行掩膜，将掩膜后的样本图像Xc输入到掩膜自编码器网络中，编码器对剩余的未被掩膜的图像块进行特征提取，编码器根据提取的图像特征对被掩码的部分图像块进行预测，预测得到被掩码的此部分图像块，最后得到重建图像Yc；
S34，计算样本图像Xc与重建图像Yc之间的均方误差MSE：
其中，n表示图像块的序号，n＝1,2,3....N，N为图像块的总数量；Xc(n)表示样本图像Xc中的第n个图像块；Yc(n)表示重建图像Yc中的第n个图像块。
S35，掩膜自编码器网络的训练目标为最小化均方误差MSE；利用样本图像Xc对掩膜自编码器网络进行训练，直至掩膜自编码器网络的均方误差MSE达到设定要求，即表示掩膜自编码器网络训练完成；
S36，在血管病灶定位模型中，利用训练完成后的掩膜自编码器网络中的解码器作为血管病灶定位模型中的编码器，并且在血管病灶定位模型的训练过程中不再更新编码器的权重参数。
优选的，步骤S22中，血管病灶定位模型训练的样本图像Xi即正常血管区域图像的获取方式，具体如下所示：
S221，获取正常血管的超声图像作为原始样本图像Xo，即正常的不含病灶的血管超声图像；
S222，使用动静脉分割模型对原始样本图像Xo进行动静脉分割，得到动静脉分割图；
S223，根据动静脉分割图生成血管掩膜，包括动脉掩膜和静脉掩膜；
S224，利用血管掩膜，提取原始样本图像Xo中的血管区域图像，包括动脉区域图像和静脉区域图像；
S225，步骤S224中所提取到的动脉区域图像和静脉区域图像均为正常血管区域图像，均可作为样本图像Xi。
优选的，所述动静脉分割模型用于对血管超声图像进行动静脉分割；所述动静脉分割模型的训练生成过程，具体如下所示：
S11，动静脉分割模型包括解码单元和编码单元；所述编码单元用于提取图像特征，所述解码单元用于根据图像特征预测动静脉；
S12，用于动静脉分割模型训练的样本图像Xa为血管超声图像，对样本图像Xa进行动静脉分割以及分割标注，得到分割标注图像Yo；分割标注图像Yo中标注有动静血管和静脉血管；
S13，将样本图像Xa即血管超声图像输入到动静脉分割模型中，解码单元对血管超声图像进行特征提取，解码单元根据提取的图像特征预测动静脉，最后输出分割预测图像Yi；分割预测图像Yi中标注有预测的动脉血管和静脉血管；
S14，计算动静脉分割模型的交叉熵损失CE：
CE＝[-Yo×log(Yi)]+[(1-Yo)×log(1-Yi)]；
S15，动静脉分割模型的训练目标为最小化交叉熵损失CE；利用样本图像Xa对动静脉分割模型进行训练，直至动静脉分割模型的交叉熵损失CE达到设定要求，即表示动静脉分割模型训练完成。
优选的，动脉掩膜中，动脉血管的像素值为255，其余像素即为背景且像素值为0；静脉掩膜中，静脉血管的像素值为255，其余像素即为背景且像素值为0；
利用动脉掩膜，将血管超声图像中的动脉血管的像素值保持不变，将血管超声图像中的其余像素的像素值填充为0，提取得到血管超声图像中的动脉区域图像；
利用静脉掩膜，将血管超声图像中的静脉血管的像素值保持不变，将血管超声图像的其余像素的像素值填充为0，提取得到血管超声图像中的静脉区域图像。
优选的，在步骤S4之后，对输入图像进行病灶检测并得到病灶图像后，还包括如下步骤：
S5，提取病灶图像中的病灶轮廓，并测量病灶大小，测量方式具体为：
计算病灶图像中病灶的轮廓，以及计算轮廓的重心；估计轮廓的主方向；使用轮廓的重心和主方向构成的直线和轮廓求第一交点，由第一交点构成的直线即为病灶长轴；使用重心和主方向的垂直方向构成的直线和轮廓求第二交点，由第二交点构成的直线即为病灶短轴。
本发明还提供了一种基于无监督学习的血管斑块和血栓识别系统，其特征在于，系统包括：动静脉分割模型、动脉掩膜生成单元、静脉掩膜生成单元、动脉区域图像提取单元、静脉区域图像提取单元、血管病灶定位模型、病灶检测结果输出单元；
所述动静脉分割模型的输入为血管超声扫查的图像帧即血管超声图像；所述动静脉分割模型用于对血管超声图像进行动静脉分割，输出动静脉分割图；
所述动静脉分割模型的输出端分别与动脉掩膜生成单元的输入端和静脉掩膜生成单元的输入端相连接，将动静脉分割图分别发送给动脉掩膜生成单元和静脉掩膜生成单元；所述动脉掩膜生成单元用于根据动静脉分割图中的动脉血管生成动脉掩膜；所述静脉掩膜生成单元用于根据动静脉分割图中的静脉血管生成静脉掩膜；
所述动脉掩膜生成单元的输出端与动脉区域图像提取单元的输入端相连接，将动脉掩膜发送给动脉区域图像提取单元；所述动脉区域图像提取单元中还输入有血管超声图像，用于根据动脉掩膜对血管超声图像进行提取，提取得到动脉区域图像；
所述静脉掩膜生成单元的输出端与静脉区域图像提取单元的输入端相连接，将静脉掩膜发送给静脉区域图像提取单元；所述静脉区域图像提取单元中还输入有血管超声图像，用于根据静脉掩膜对血管超声图像进行提取，提取得到静脉区域图像；
所述动脉区域图像提取单元和静脉区域图像提取单元的输出端均与血管病灶定位模型的输入端相连接，将动脉区域图像和静脉区域图像均发送给血管病灶定位模型；所述血管病灶定位模型分别对动脉区域图像和静脉区域图像进行病灶检测，得到病灶检测结果；
所述血管病灶定位模型的输出端与病灶检测结果输出单元的输入端相连接，将对动脉区域图像和静脉区域图像的病灶检测结果均发送给病灶检测结果输出单元；所述病灶检测结果输出单元判定动脉区域图像中的病灶为斑块，并提取得到斑块图像；所述病灶检测结果输出单元判定静脉区域图像中的病灶为血栓，并提取得到血栓图像。
优选的，系统还包括：病灶测量单元；
所述病灶检测结果输出单元的输出端与病灶测量单元的输入端相连接，将斑块图像和血栓图像均发送给病灶测量单元；所述病灶测量单元对斑块图像中的斑块大小进行测量，得到斑块测量结果；所述病灶测量单元对血栓图像中的血栓大小进行测量，得到血栓测量结果。
本发明的优点在于：
(1)本发明提出一种基于无监督学习的血管斑块和血栓识别方法，首先利用动静脉分割模型对血管超声扫查的图像帧进行动静脉分割，获得动静脉分割图，从动静脉分割图中提取出动静脉掩膜，通过动静脉掩膜获得动静脉区域图像；再利用血管病灶定位模型对动静脉区域图像进行病灶检测；最后再结合动静脉判断病灶是斑块还是血栓。本发明能够在超声血管扫查过程中快速准确的识别出血管病灶，具体包括斑块和血栓，显著提升模型的检测精度和泛化性，降低误检，节约超声医生的诊断时间，提高诊断效率。
(2)本发明的血管病灶定位模型采用完全无监督的学习方法，其不需要人工筛选病灶(斑块和血栓)数据进行标注学习，只需要学习正常血管数据，就可以对病灶进行非常准确的识别。这种学习方法大大降低了对异常标注数据的依赖，直接学习大规模正常的血管数据即可，并且能够适用于多种超声设备的血管数据，具有良好的泛化性。
(3)本发明的血管病灶定位模型中的编码器，利用掩膜自编码器网络进行自监督预训练得到，训练数据为原始的血管超声图像。目前学术上和工业界一般使用开源的大规模自然场景imagenet数据集来训练分类模型和自监督模型，然后迁移学习到后续业务场景。然而，超声图像和自然场景差距非常大，在自然场景下预训练得到的模型(编码器)在超声场景下非但不能获得更好的结果，反而减缓模型收敛速度、降低模型精度。因此，本发明利用掩膜自编码器网络在血管超声图像上进行自监督预训练得到编码器，有利于直接将编码器迁移至血管病灶定位模型中进行超声图像的特征提取。
(4)本发明的血管动静脉分割模型有两个作用，首先能用于后续提取血管区域，超声图像的背景非常复杂，包含大量干扰噪声，使用仅包含血管区域的图像可以大大降低后续血管病灶定位模型的训练难度，提高血管病灶定位模型的准确性，其次区分动静脉血管用于后续判定病灶属性为斑块或血栓。
(5)正常血管内只有血液，血液在血管超声图像中呈现黑色，占位性病灶为实性，病灶在血管超声图像中呈现高亮白色。医院的血管超声设备实际采集回来的血管超声数据中，正常血管占据绝大多数，具有斑块和血栓的血管超声数据是非常稀少的，并且由于斑块和血栓非常不规则且边界非常不清晰，需要非常专业的医生去标注，并且受到医生自身专业水平的影响，标注的差异较大，从而导致目前的基于有监督学习的血管斑块和血栓识别方法的检出率较低，误检率较高，并且模型的泛化性较差。因此，本发明提出了一种基于无监督学习的血管斑块和血栓识别方法，其不需要人工筛选斑块和血栓数据进行标注学习，只需要学习正常血管数据的数据分布，就可以对斑块和血栓进行非常准确的识别，本发明方法大大降低了对异常标注数据的依赖，直接学习大规模正常的血管数据即可，并且能够适用于多种超声设备的血管数据，具有良好的泛化性。
(6)本发明还对检测出的病灶进行测量，最后可将检测结果和测量结果交由医生做最终的审核和修改，由医生可以判断病灶属性和稳定性，也可以手动修改病灶轮廓，并重新对病灶大小进行测量。
附图说明
图1为一种基于无监督学习的血管斑块和血栓识别方法的流程图。
图2为一种基于无监督学习的血管斑块和血栓识别系统的架构图。
图3为动静脉分割模型的训练生成示意图。
图4为血管病灶定位模型的训练生成和病灶检测示意图，其中，图4a为血管病灶定位模型的训练生成示意图，图4b为血管病灶定位模型的病灶检测示意图。
图5为血管病灶定位模型中编码器的训练生成示意图。
图6为病灶示意图。
图7为病灶测量示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
由图1所示，实施例1提供了一种基于无监督学习的血管斑块和血栓识别方法，包括以下步骤：
S1，读取血管超声扫查视频的图像帧即血管超声图像，将血管超声图像输入到动静脉分割模型，动静脉分割模型对血管超声图像进行动静脉分割，得到动静脉分割图。
S2，根据步骤S1得到的动静脉分割图，分别生成动脉掩膜和静脉掩膜。
本实施例中，动脉掩膜中，动脉血管的像素值为255，其余像素即为背景且像素值为0；静脉掩膜中，静脉血管的像素值为255，其余像素即为背景且像素值为0。
S3，利用步骤S2得到的动脉掩膜，提取血管超声图像中的动脉区域，得到动脉区域图像；利用步骤S2得到的静脉掩膜，提取血管超声图像中的静脉区域，得到静脉区域图像。
本实施例中，利用动脉掩膜，将血管超声图像中的动脉血管的像素值保持不变，将血管超声图像中的其余像素的像素值填充为0，提取得到血管超声图像中的动脉区域图像；利用静脉掩膜，将血管超声图像中的静脉血管的像素值保持不变，将血管超声图像的其余像素的像素值填充为0，提取得到血管超声图像中的静脉区域图像。
S4，将步骤S3得到的动脉区域图像和静脉区域图像均作为输入图像，输入到血管病灶定位模型中，血管病灶定位模型对输入图像进行病灶检测，并提取得到病灶图像。
结合输入图像的动静脉信息确定病灶属性，若输入图像为动脉区域图像，则血管病灶定位模型检测出的病灶即为斑块，提取得到斑块图像；若输入图像为静脉区域图像，则血管病灶定位模型检测出的病灶即为血栓，提取得到血栓图像。
S5，提取病灶图像中的病灶轮廓，并测量病灶大小。
后续，将病灶检测结果和病灶测量结果交由医生核验，给出病灶的属性、稳定性；医生可以手动修改病灶轮廓，并重新生成准确的大小测量。
由图3所示，所述动静脉分割模型用于对血管超声图像进行动静脉分割；所述动静脉分割模型的训练生成过程，具体如下所示：
S11，动静脉分割模型使用UNet网络结构，UNet网络由解码单元和编码单元组成，所述解码单元和编码单元均由CNN模块组成；所述编码单元用于提取图像特征；所述解码单元用于根据图像特征预测动静脉，从而实现动静脉的分割。
S12，用于动静脉分割模型训练的样本图像Xa为血管超声图像，对样本图像Xa进行动静脉分割以及分割标注，得到分割标注图像Yo，分割标注图像Yo中标注有动静血管和静脉血管。
本实施例中，选择让专业的超声医生对样本图像Xa进行动静脉分割以及分割标注。样本图像X是大小为320×320的RGB图像。分割标注图像Yo为单通道灰度图像，分割标注图像Yo中，背景的像素值为0，动脉血管的像素值为1，静脉血管的像素值为2。
S13，将样本图像Xa即血管超声图像输入到动静脉分割模型中，解码单元对血管超声图像进行特征提取，解码单元根据提取的图像特征预测动静脉，最后输出分割预测图像Yi；分割预测图像Yi中标注有预测的动脉血管和静脉血管。
本实施例中，分割预测图像Yi也是单通道图像，分割预测图像Yi中，背景的像素值为0，动脉血管的像素值为1，静脉血管的像素值为2。
S14，计算动静脉分割模型的交叉熵损失CE：
CE＝[-Yo×log(Yi)]+[(1-Yo)×log(1-Yi)]。
S15，动静脉分割模型的训练目标为最小化交叉熵损失CE；利用样本图像Xa对动静脉分割模型进行训练，直至动静脉分割模型的交叉熵损失CE达到设定要求，即表示动静脉分割模型训练完成。
在步骤S1中，将血管超声扫查图像输入到训练完成后的静脉分割模型中，动静脉分割模型输出分割预测图像，即得到动静脉分割图。
由图4所示，所述血管病灶定位模型用于对输入图像进行病灶检测即异常检测；由图4a所示，所述血管病灶定位模型的训练生成过程，具体如下所示：
S21，血管病灶定位模型由编码器、标准化流模块组成；所述编码器用于提取图像特征；所述标准化流模块用于将图像特征从原始分布转换为标准的正态分布，使得图像中正常区域的特征落在分布中心处，异常区域的特征远离分布中心。
S22，获取血管病灶定位模型训练的样本图像Xi，用于血管病灶定位模型训练的样本图像Xi为正常血管区域图像，即不含病灶的血管区域图像。
本实施例中，血管病灶定位模型训练的样本图像Xi即正常血管区域图像的获取方式，具体如下所示：
S221，获取正常血管的超声图像作为原始样本图像Xo，即正常的不含病灶的血管超声图像。
S222，使用动静脉分割模型对原始样本图像Xo进行动静脉分割，得到动静脉分割图。
S223，根据动静脉分割图得到血管掩膜，包括动脉掩膜和静脉掩膜。血管掩膜是单通道图像，血管掩膜中，背景的像素值为0，血管的像素值为255。即，动脉掩膜中，动脉血管的像素值为255，其余像素即为背景且像素值为0；静脉掩膜中，静脉血管的像素值为255，其余像素即为背景且像素值为0。
S224，利用血管掩膜，提取原始样本图像Xo中的血管区域图像，包括动脉区域图像和静脉区域图像。其中，利用动脉掩膜，提取原始样本图像Xo中的动脉区域图像，将原始样本图像Xo中的动脉血管的像素值保持不变，将原始样本图像Xo中的其余像素的像素值填充为0。利用静脉掩膜，提取原始样本图像Xo中的静脉区域图像，将原始样本图像Xo中的静脉血管的像素值保持不变，将原始样本图像Xo中的其余像素的像素值填充为0。
S225，步骤S224中所提取到的动脉区域图像和静脉区域图像均为正常血管区域图像，均可作为用于血管病灶定位模型训练的样本图像Xi。
本实施例中，原始样本图像Xo是大小为256×256的RGB图像。
S23，将样本图像Xi即正常血管区域图像输入到血管病灶定位模型中，先利用编码器对正常血管区域图像进行特征提取，得到大小为256×256×512的特征图Y。其中，256×256为图像的长×宽；512为图像的通道数，表示有512种特征堆叠在一起，多通道的作用是为了提取多种特征。再将特征图Yi输入到标准化流模块中，将特征图Yi从原始分布转换为标准的正态分布，得到流图Zi。流图Zi与特征图Yi的大小相同。
S24，假设：特征图Yi的概率密度函数为p(Yi)，流图Zi的概率密度函数为p(Zi)，特征图Yi到流图Zi的映射满足Zi＝f(Yi)。
那么，特征图Yi的概率密度函数p(Yi)为：
其中，det(·)为计算矩阵行列式函数，
为流图的导数，
为特征图导数。
血管病灶定位模型的损失L为：
其中，
为流图的二范数。
S25，血管病灶定位模型的训练目标为：希望流图Zi满足标准的正态分布，且损失L最小化。
利用样本图像Xi对血管病灶定位模型进行训练，直至流图Zi满足标准的正态分布，且血管病灶定位模型的损失L达到设定要求，即表示血管病灶定位模型训练完成。
在步骤S4中，由图4b所示，利用训练完成后的血管病灶定位模型对输入图像进行病灶检测，具体方式为：
将输入图像输入到训练完成后的血管病灶定位模型中，血管病灶定位模型输出对应的流图；利用输出的流图判断输入图像中的异常区域即病灶区域，最后得到异常掩膜。异常掩膜是单通道图像，异常掩膜中，异常区域的像素值为255，其余像素即为背景且像素值为0。
异常掩膜具体如下所示：
其中，thr为设定的阈值，
表示简化的标准正态分布概率密度。
利用异常掩膜，将输入图像中的异常区域的像素值保持不变，将输入图像中的其余像素的像素值填充为0，即可提取得到输入图像即血管区域图像中的异常图像即病灶图像。
由图5所示，血管病灶定位模型中的用于提取图像特征的编码器的训练生成方式，具体如下所示：
S31，建立掩膜自编码器网络，掩码自编码器网络是一种基于Transformer结构的自监督学习生成网络；掩膜自编码器网络由编码器和解码器构成，解码器和编码器均由Transfomer模块组成；编码器用于提取图像特征；解码器用于根据图像特征进行图像重建，得到重建图像；
S32，用于掩膜自编码器网络训练的样本图像Xc为任意的血管超声图像，样本图像Xc也不需要进行相关标注；对样本图像Xc进行划分，划分为若干个图像块。
本实施例中，样本图像Xc是大小为224×224的RGB图像，将样本图像Xc划分成14×14个图像块，每个图像块的大小为16×16。
S33，将样本图像Xc中的部分图像块进行掩膜，将掩膜后的样本图像Xc输入到掩膜自编码器网络中，编码器对剩余的未被掩膜的图像块进行特征提取，编码器根据提取的图像特征对被掩码的部分图像块进行预测，预测得到被掩码的此部分图像块，最后得到重建图像Yc；
本实施例中，将样本图像Xc中75％的图像块进行掩膜。
S34，计算样本图像Xc与重建图像Yc之间的均方误差MSE：
其中，n表示图像块的序号，n＝1,2,3....N，N为图像块的总数量；Xc(n)表示样本图像Xc中的第n个图像块；Yc(n)表示重建图像Yc中的第n个图像块。
S35，掩膜自编码器网络的训练目标为最小化均方误差MSE；利用样本图像Xc对掩膜自编码器网络进行训练，直至掩膜自编码器网络的均方误差MSE达到设定要求，即表示掩膜自编码器网络训练完成。
S36，在血管病灶定位模型中，直接利用训练完成后的掩膜自编码器网络中的解码器作为血管病灶定位模型中用于提取图像特征的编码器，并且在血管病灶定位模型的训练过程中不再更新编码器的权重参数。
步骤S6中，病灶(斑块或血栓)大小的测量方式具体如下所示；
由图6和图7所示，对于病灶图像，使用opencv软件(计算机视觉库)计算病灶图像中的病灶轮廓，病灶轮廓是指病灶区域的最外层边界，如图6所示的标记曲线。使用opencv软件计算轮廓的重心，如图6所示的位于轮廓中的标记点。使用PCA估计轮廓的主方向，主方向是指用一条直线来拟合轮廓的直线朝向，PCA(Principal Component Analysis)是一种常见的数据分析方式，常用于高维数据的降维，可用于提取数据的主要特征分量。使用轮廓的重心和主方向构成的直线和轮廓求交点，交点组成的直线为病灶长轴，如图6所示的较长直线(横向)。使用重心和主方向垂线构成的直线和轮廓求交点，交点组成的直线为病灶短轴，如图6所示的较短直线(竖向)。
实施例2
基于实施例1提供的一种基于无监督学习的血管斑块和血栓识别方法，本实施例2提供了一种基于无监督学习的血管斑块和血栓识别系统，系统架构如图2所示，具体包括：
动静脉分割模型1、动脉掩膜生成单元2、静脉掩膜生成单元3、动脉区域图像提取单元4、静脉区域图像提取单元5、血管病灶定位模型6、病灶检测结果输出单元7、病灶测量单元8；
所述动静脉分割模型1的输入为血管超声扫查视频的图像帧即血管超声图像；所述动静脉分割模型1用于对血管超声图像进行动静脉分割，输出动静脉分割图。
所述动静脉分割模型1的输出端分别与动脉掩膜生成单元2的输入端和静脉掩膜生成单元3的输入端连接，将动静脉分割图分别发送给动脉掩膜生成单元2和静脉掩膜生成单元3；所述动脉掩膜生成单元2用于根据动静脉分割图中的动脉血管生成动脉掩膜；所述静脉掩膜生成单元3用于根据动静脉分割图中的静脉血管生成静脉掩膜。
所述动脉掩膜生成单元2的输出端与动脉区域图像提取单元4的输入端相连接，将动脉掩膜发送给动脉区域图像提取单元4；所述动脉区域图像提取单元4中还输入有血管超声图像，用于根据动脉掩膜对血管超声图像进行提取，提取得到动脉区域图像。
所述静脉掩膜生成单元3的输出端与静脉区域图像提取单元5的输入端相连接，将静脉掩膜发送给静脉区域图像提取单元5；所述静脉区域图像提取单元5中还输入有血管超声图像，用于根据静脉掩膜对血管超声图像进行提取，提取得到静脉区域图像。
所述动脉区域图像提取单元4和静脉区域图像提取单元5的输出端均与血管病灶定位模型6的输入端相连接，将动脉区域图像和静脉区域图像均发送给血管病灶定位模型6；所述血管病灶定位模型6分别对动脉区域图像和静脉区域图像进行病灶检测，得到病灶检测结果。
所述血管病灶定位模型6的输出端与病灶检测结果输出单元7的输入端相连接，将对动脉区域图像和静脉区域图像的病灶检测结果均发送给病灶检测结果输出单元7；所述病灶检测结果输出单元7判定动脉区域图像中的病灶为斑块，并提取得到斑块图像；所述病灶检测结果输出单元7判定静脉区域图像中的病灶为血栓，并提取得到血栓图像。
所述病灶检测结果输出单元7的输出端与病灶测量单元8的输入端相连接，将斑块图像和血栓图像均发送给病灶测量单元8；所述病灶测量单元8对斑块图像中的斑块大小进行测量，得到斑块测量结果；所述病灶测量单元8对血栓图像中的血栓大小进行测量，得到血栓测量结果。
实施例3
由图3所示，实施例3提供了一个动静脉分割模型。所述动静脉分割模型用于对血管超声图像进行动静脉分割；所述动静脉分割模型的训练生成过程，具体如下所示：
S11，动静脉分割模型使用UNet网络结构，UNet网络由解码单元和编码单元组成，所述解码单元和编码单元均由CNN模块组成；所述编码单元用于提取图像特征；所述解码单元用于根据图像特征预测动静脉，从而实现动静脉的分割。
S12，用于动静脉分割模型训练的样本图像Xa为血管超声图像，对样本图像Xa进行动静脉分割以及分割标注，得到分割标注图像Yo，分割标注图像Yo中标注有动静血管和静脉血管。
本实施例中，选择让专业的超声医生对样本图像Xa进行动静脉分割以及分割标注。样本图像X是大小为320×320的RGB图像。分割标注图像Yo为单通道灰度图像，分割标注图像Yo中，背景的像素值为0，动脉血管的像素值为1，静脉血管的像素值为2。
S13，将样本图像Xa即血管超声图像输入到动静脉分割模型中，解码单元对血管超声图像进行特征提取，解码单元根据提取的图像特征预测动静脉，最后输出分割预测图像Yi；分割预测图像Yi中标注有预测的动脉血管和静脉血管。
本实施例中，分割预测图像Yi也是单通道图像，分割预测图像Yi中，背景的像素值为0，动脉血管的像素值为1，静脉血管的像素值为2。
S14，计算动静脉分割模型的交叉熵损失CE：
CE＝[-Yo×log(Yi)]+[(1-Yo)×log(1-Yi)]。
S15，动静脉分割模型的训练目标为最小化交叉熵损失CE；利用样本图像Xa对动静脉分割模型进行训练，直至动静脉分割模型的交叉熵损失CE达到设定要求，即表示动静脉分割模型训练完成。
实施例4
由图4所示，实施例4提供了一个血管病灶定位模型。所述血管病灶定位模型用于对输入图像即血管区域图像进行病灶检测即异常检测。
由图4a所示，所述血管病灶定位模型的训练生成过程，具体如下所示：
S21，血管病灶定位模型由编码器、标准化流模块组成；所述编码器用于提取图像特征；所述标准化流模块用于将图像特征从原始分布转换为标准的正态分布，使得图像中正常区域的特征落在分布中心处，异常区域的特征远离分布中心。
S22，获取血管病灶定位模型训练的样本图像Xi，用于血管病灶定位模型训练的样本图像Xi为正常血管区域图像，即不含病灶的血管区域图像。
本实施例中，用于血管病灶定位模型训练的样本图像Xi即正常血管区域图像的获取方式，具体如下所示：
S221，获取正常血管的超声图像作为原始样本图像Xo，即正常的不含病灶的血管超声图像。
S222，使用动静脉分割模型对原始样本图像Xo进行动静脉分割，得到动静脉分割图。
S223，根据动静脉分割图得到血管掩膜，包括动脉掩膜和静脉掩膜。血管掩膜是单通道图像，血管掩膜中，背景的像素值为0，血管的像素值为255。即，动脉掩膜中，动脉血管的像素值为255，其余像素即为背景且像素值为0；静脉掩膜中，静脉血管的像素值为255，其余像素即为背景且像素值为0。
S224，利用血管掩膜，提取原始样本图像Xo中的血管区域图像，包括动脉区域图像和静脉区域图像。其中，利用动脉掩膜，提取原始样本图像Xo中的动脉区域图像，将原始样本图像Xo中的动脉血管的像素值保持不变，将原始样本图像Xo中的其余像素的像素值填充为0。利用静脉掩膜，提取原始样本图像Xo中的静脉区域图像，将原始样本图像Xo中的静脉血管的像素值保持不变，将原始样本图像Xo中的其余像素的像素值填充为0。
S225，步骤S224中所提取到的动脉区域图像和静脉区域图像均为正常血管区域图像，均可作为用于血管病灶定位模型训练的样本图像Xi。
本实施例中，原始样本图像Xo是大小为256×256的RGB图像。
S23，将样本图像Xi即正常血管区域图像输入到血管病灶定位模型中，先利用编码器对正常血管区域图像进行特征提取，得到大小为256×256×512的特征图Yi。其中，256×256为图像的长×宽；512为图像的通道数，表示有512种特征堆叠在一起，多通道的作用是为了提取多种特征。再将特征图Yi输入到标准化流模块中，将特征图Yi从原始分布转换为标准的正态分布，得到流图Zi。流图Zi与特征图Yi的大小相同。
S24，假设：特征图Yi的概率密度函数为p(Yi)，流图Zi的概率密度函数为p(Zi)，特征图Yi到流图Zi的映射满足Zi＝f(Yi)；
那么，特征图Yi的概率密度函数p(Yi)为：
其中，det(·)为计算矩阵行列式函数，
为流图的导数，
为特征图导数。
血管病灶定位模型的损失L为：
其中，
为流图的二范数。
S25，血管病灶定位模型的训练目标为：希望流图Zi满足标准的正态分布，且损失L最小化；利用样本图像Xi对血管病灶定位模型进行训练，直至流图Zi满足标准的正态分布，且血管病灶定位模型的损失L达到设定要求，即表示血管病灶定位模型训练完成。
由图4b所示，利用训练完成后的血管病灶定位模型对输入图像即血管区域图像进行病灶检测，具体方式为：
将输入图像输入到训练完成后的血管病灶定位模型中，血管病灶定位模型输出对应的流图；利用输出的流图判断输入图像中的异常区域即病灶区域，最后得到异常掩膜。异常掩膜是单通道图像，异常掩膜中，异常区域的像素值为255，其余像素即为背景且像素值为0。
异常掩膜具体如下所示：
其中，thr为设定的阈值，
表示简化的标准正态分布概率密度。
利用异常掩膜，将输入图像中的异常区域的像素值保持不变，将输入图像中的其余像素的像素值填充为0，即可提取得到输入图像即血管区域图像中的异常图像即病灶图像。
实施例5
由图5所示，实施例5提供了一种编码器。所述编码器用于提取血管超图像的图像特征；所述编码器的训练生成过程，具体如下所示：
S31，建立掩膜自编码器网络，掩码自编码器网络是一种基于Transformer结构的自监督学习生成网络；掩膜自编码器网络由编码器和解码器构成，解码器和编码器均由Transfomer模块组成；编码器用于提取图像特征；解码器用于根据图像特征进行图像重建，得到重建图像；
S32，用于掩膜自编码器网络训练的样本图像Xc为任意的血管超声图像，样本图像Xc也不需要进行相关标注；对样本图像Xc进行划分，划分为若干个图像块。
本实施例中，样本图像Xc是大小为224×224的RGB图像，将样本图像Xc划分成14×14个图像块，每个图像块的大小为16×16。
S33，将样本图像Xc中的部分图像块进行掩膜，将掩膜后的样本图像Xc输入到掩膜自编码器网络中，编码器对剩余的未被掩膜的图像块进行特征提取，解码器根据提取的图像特征对被掩码的部分图像块进行预测，预测得到被掩码的此部分图像块，最后得到重建图像Yc；
本实施例中，将样本图像Xc中75％的图像块进行掩膜。
S34，计算样本图像Xc与重建图像Yc之间的均方误差MSE：
其中，n表示图像块的序号，n＝1,2,3....N，N为图像块的总数量；Xc(n)表示样本图像Xc中的第n个图像块；Yc(n)表示重建图像Yc中的第n个图像块。
S35，掩膜自编码器网络的训练目标为最小化均方误差MSE；利用样本图像Xc对掩膜自编码器网络进行训练，直至掩膜自编码器网络的均方误差MSE达到设定要求，即表示掩膜自编码器网络训练完成。
S36，训练完成后的掩膜自编码器网络中的解码器，即可对血管超声图像进行特征提取。
实施例6
实施例6提供了一种病灶测量方法，具体如下所示：
由图6和图7所示，对于病灶图像，使用opencv软件(计算机视觉库)计算病灶图像中的病灶轮廓，病灶轮廓是指病灶区域的最外层边界，如图6所示的标记曲线。使用opencv软件计算轮廓的重心，如图6所示的位于轮廓中的标记点。使用PCA估计轮廓的主方向，主方向是指用一条直线来拟合轮廓的直线朝向。使用轮廓的重心和主方向构成的直线和轮廓求交点，交点组成的直线为病灶长轴，如图6所示的较长直线(横向)。使用重心和主方向垂线构成的直线和轮廓求交点，交点组成的直线为病灶短轴，如图6所示的较短直线(竖向)。
以上仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。
Claims (10)
1.一种基于无监督学习的血管斑块和血栓识别方法，其特征在于，包括以下步骤：
S1，读取血管超声扫查的图像帧即血管超声图像，将血管超声图像输入到动静脉分割模型中，动静脉分割模型对血管超声图像进行动静脉分割，得到动静脉分割图；
S2，根据步骤S1得到的动静脉分割图，分别生成动脉掩膜和静脉掩膜；
S3，利用步骤S2得到的动脉掩膜，提取血管超声图像中的动脉区域，得到动脉区域图像；利用步骤S2得到的静脉掩膜，提取血管超声图像中的静脉区域，得到静脉区域图像；
S4，将步骤S3得到的动脉区域图像和静脉区域图像均作为输入图像，输入到血管病灶定位模型中，血管病灶定位模型对输入图像进行病灶检测，提取得到病灶图像；
若输入图像为动脉区域图像，则血管病灶定位模型检测出的病灶即为斑块，提取得到斑块图像；若输入图像为静脉区域图像，则血管病灶定位模型检测出的病灶即为血栓，提取得到血栓图像。
2.根据权利要求1所述的一种基于无监督学习的血管斑块和血栓识别方法，其特征在于，所述血管病灶定位模型用于对输入图像进行病灶检测即异常检测；所述血管病灶定位模型的训练生成过程，具体如下所示：
S21，血管病灶定位模型包括编码器、标准化流模块；所述编码器用于提取图像特征；所述标准化流模块用于将图像特征从原始分布转换为标准的正态分布，使得图像中正常区域的特征位于分布中心，异常区域的特征远离分布中心；
S22，获取血管病灶定位模型训练的样本图像Xi，用于血管病灶定位模型训练的样本图像Xi为正常血管区域图像，即不含病灶的血管区域图像；
S23，将样本图像Xi即正常血管区域图像输入到血管病灶定位模型中，先利用编码器对正常血管区域图像进行特征提取，得到特征图Yi；再将特征图Yi输入到标准化流模块中，将特征图Yi从原始分布转换为标准的正态分布，得到流图Zi；
S24，假设：特征图Yi的概率密度函数为p(Yi)，流图Zi的概率密度函数为p(Zi)，特征图Yi到流图Zi的映射满足Zi＝f(Yi)；
那么，特征图Yi的概率密度函数p(Yi)为：
其中，det(·)为计算矩阵行列式函数，
为流图的导数，
为特征图导数；
血管病灶定位模型的损失L为：
其中，
为流图的二范数；
S25，血管病灶定位模型的训练目标为：希望流图Zi满足标准的正态分布，且损失L最小化；
利用样本图像Xi对血管病灶定位模型进行训练，直至流图Zi满足标准的正态分布，且血管病灶定位模型的损失L达到设定要求，即表示血管病灶定位模型训练完成。
3.根据权利要求2所述的一种基于无监督学习的血管斑块和血栓识别方法，其特征在于，步骤S4中，利用血管病灶定位模型对输入图像进行病灶检测，具体方式为：
将输入图像输入到训练完成后的血管病灶定位模型中，血管病灶定位模型输出对应的流图；利用输出的流图判断输入图像中的异常区域即病灶区域，得到异常掩膜；异常掩膜中，异常区域的像素值为255，其余像素即为背景且像素值为0，异常掩膜具体如下所示：
其中，thr为设定的阈值；
利用异常掩膜，将输入图像中的异常区域的像素值保持不变，将输入图像中的其余像素的像素值填充为0，提取得到输入图像中的异常图像即病灶图像。
4.根据权利要求2所述的一种基于无监督学习的血管斑块和血栓识别方法，其特征在于，所述血管病灶定位模型中的编码器的生成方式，具体如下所示：
S31，建立掩膜自编码器网络，掩膜自编码器网络包括编码器和解码器；所述编码器用于提取图像特征；所述解码器用于根据图像特征进行图像重建，得到重建图像；
S32，用于掩膜自编码器网络训练的样本图像Xc为血管超声图像，对样本图像Xc进行划分，划分为若干个图像块；
S33，对样本图像Xc中的部分图像块进行掩膜，将掩膜后的样本图像Xc输入到掩膜自编码器网络中，编码器对剩余的未被掩膜的图像块进行特征提取，编码器根据提取的图像特征对被掩码的部分图像块进行预测，预测得到被掩码的此部分图像块，最后得到重建图像Yc；
S34，计算样本图像Xc与重建图像Yc之间的均方误差MSE：
其中，n表示图像块的序号，n＝1,2,3....N，N为图像块的总数量；Xc(n)表示样本图像Xc中的第n个图像块；Yc(n)表示重建图像Yc中的第n个图像块；
S35，掩膜自编码器网络的训练目标为最小化均方误差MSE；利用样本图像Xc对掩膜自编码器网络进行训练，直至掩膜自编码器网络的均方误差MSE达到设定要求，即表示掩膜自编码器网络训练完成；
S36，在血管病灶定位模型中，利用训练完成后的掩膜自编码器网络中的解码器作为血管病灶定位模型中的编码器，并且在血管病灶定位模型的训练过程中不再更新编码器的权重参数。
5.根据权利要求2所述的一种基于无监督学习的血管斑块和血栓识别方法，其特征在于，步骤S22中，血管病灶定位模型训练的样本图像Xi即正常血管区域图像的获取方式，具体如下所示：
S221，获取正常血管的超声图像作为原始样本图像Xo，即正常的不含病灶的血管超声图像；
S222，使用动静脉分割模型对原始样本图像Xo进行动静脉分割，得到动静脉分割图；
S223，根据动静脉分割图生成血管掩膜，包括动脉掩膜和静脉掩膜；
S224，利用血管掩膜，提取原始样本图像Xo中的血管区域图像，包括动脉区域图像和静脉区域图像；
S225，步骤S224中所提取到的动脉区域图像和静脉区域图像均为正常血管区域图像，均可作为样本图像Xi。
6.根据权利要求1或5所述的一种基于无监督学习的血管斑块和血栓识别方法，其特征在于，所述动静脉分割模型用于对血管超声图像进行动静脉分割；所述动静脉分割模型的训练生成过程，具体如下所示：
S11，动静脉分割模型包括解码单元和编码单元；所述编码单元用于提取图像特征，所述解码单元用于根据图像特征预测动静脉；
S12，用于动静脉分割模型训练的样本图像Xa为血管超声图像，对样本图像Xa进行动静脉分割以及分割标注，得到分割标注图像Yo；分割标注图像Yo中标注有动静血管和静脉血管；
S13，将样本图像Xa即血管超声图像输入到动静脉分割模型中，解码单元对血管超声图像进行特征提取，解码单元根据提取的图像特征预测动静脉，最后输出分割预测图像Yi；分割预测图像Yi中标注有预测的动脉血管和静脉血管；
S14，计算动静脉分割模型的交叉熵损失CE：
CE＝[-Yo×log(Yi)]+[(1-Yo)×log(1-Yi)]；
S15，动静脉分割模型的训练目标为最小化交叉熵损失CE；利用样本图像Xa对动静脉分割模型进行训练，直至动静脉分割模型的交叉熵损失CE达到设定要求，即表示动静脉分割模型训练完成。
7.根据权利要求1或5所述的一种基于无监督学习的血管斑块和血栓识别方法，其特征在于，动脉掩膜中，动脉血管的像素值为255，其余像素即为背景且像素值为0；静脉掩膜中，静脉血管的像素值为255，其余像素即为背景且像素值为0；
利用动脉掩膜，将血管超声图像中的动脉血管的像素值保持不变，将血管超声图像中的其余像素的像素值填充为0，提取得到血管超声图像中的动脉区域图像；
利用静脉掩膜，将血管超声图像中的静脉血管的像素值保持不变，将血管超声图像的其余像素的像素值填充为0，提取得到血管超声图像中的静脉区域图像。
8.根据权利要求1所述的一种基于无监督学习的血管斑块和血栓识别方法，其特征在于，在步骤S4之后，对输入图像进行病灶检测并得到病灶图像后，还包括如下步骤：
S5，提取病灶图像中的病灶轮廓，并测量病灶大小，测量方式具体为：
计算病灶图像中病灶的轮廓，以及计算轮廓的重心；估计轮廓的主方向；使用轮廓的重心和主方向构成的直线和轮廓求第一交点，由第一交点构成的直线即为病灶长轴；使用重心和主方向的垂直方向构成的直线和轮廓求第二交点，由第二交点构成的直线即为病灶短轴。
9.适用于权利要求1-5任意一项所述的一种基于无监督学习的血管斑块和血栓识别方法的系统，其特征在于，系统包括：动静脉分割模型(1)、动脉掩膜生成单元(2)、静脉掩膜生成单元(3)、动脉区域图像提取单元(4)、静脉区域图像提取单元(5)、血管病灶定位模型(6)、病灶检测结果输出单元(7)；
所述动静脉分割模型(1)的输入为血管超声扫查的图像帧即血管超声图像；所述动静脉分割模型(1)用于对血管超声图像进行动静脉分割，输出动静脉分割图；
所述动静脉分割模型(1)的输出端分别与动脉掩膜生成单元(2)的输入端和静脉掩膜生成单元(3)的输入端相连接，将动静脉分割图分别发送给动脉掩膜生成单元(2)和静脉掩膜生成单元(3)；所述动脉掩膜生成单元(2)用于根据动静脉分割图中的动脉血管生成动脉掩膜；所述静脉掩膜生成单元(3)用于根据动静脉分割图中的静脉血管生成静脉掩膜；
所述动脉掩膜生成单元(2)的输出端与动脉区域图像提取单元(4)的输入端相连接，将动脉掩膜发送给动脉区域图像提取单元(4)；所述动脉区域图像提取单元(4)中还输入有血管超声图像，用于根据动脉掩膜对血管超声图像进行提取，提取得到动脉区域图像；
所述静脉掩膜生成单元(3)的输出端与静脉区域图像提取单元(5)的输入端相连接，将静脉掩膜发送给静脉区域图像提取单元(5)；所述静脉区域图像提取单元(5)中还输入有血管超声图像，用于根据静脉掩膜对血管超声图像进行提取，提取得到静脉区域图像；
所述动脉区域图像提取单元(4)和静脉区域图像提取单元(5)的输出端均与血管病灶定位模型(6)的输入端相连接，将动脉区域图像和静脉区域图像均发送给血管病灶定位模型(6)；所述血管病灶定位模型(6)分别对动脉区域图像和静脉区域图像进行病灶检测，得到病灶检测结果；
所述血管病灶定位模型(6)的输出端与病灶检测结果输出单元(7)的输入端相连接，将对动脉区域图像和静脉区域图像的病灶检测结果均发送给病灶检测结果输出单元(7)；所述病灶检测结果输出单元(7)判定动脉区域图像中的病灶为斑块，并提取得到斑块图像；所述病灶检测结果输出单元(7)判定静脉区域图像中的病灶为血栓，并提取得到血栓图像。
10.根据权利要求9所述的一种基于无监督学习的血管斑块和血栓识别方法的系统，其特征在于，系统还包括：病灶测量单元(8)；
所述病灶检测结果输出单元(7)的输出端与病灶测量单元(8)的输入端相连接，将斑块图像和血栓图像均发送给病灶测量单元(8)；所述病灶测量单元(8)对斑块图像中的斑块大小进行测量，得到斑块测量结果；所述病灶测量单元(8)对血栓图像中的血栓大小进行测量，得到血栓测量结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310275506.2A CN116245867A (zh) | 2023-03-21 | 2023-03-21 | 一种基于无监督学习的血管斑块和血栓识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310275506.2A CN116245867A (zh) | 2023-03-21 | 2023-03-21 | 一种基于无监督学习的血管斑块和血栓识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116245867A true CN116245867A (zh) | 2023-06-09 |
Family
ID=86635889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310275506.2A Pending CN116245867A (zh) | 2023-03-21 | 2023-03-21 | 一种基于无监督学习的血管斑块和血栓识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116245867A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117133443A (zh) * | 2023-08-29 | 2023-11-28 | 山东大学 | 一种基于视频动态算子的下肢静脉血栓超声辅助诊断系统 |
-
2023
- 2023-03-21 CN CN202310275506.2A patent/CN116245867A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117133443A (zh) * | 2023-08-29 | 2023-11-28 | 山东大学 | 一种基于视频动态算子的下肢静脉血栓超声辅助诊断系统 |
| CN117133443B (zh) * | 2023-08-29 | 2024-03-12 | 山东大学 | 一种基于视频动态算子的下肢静脉血栓超声辅助诊断系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111476757B (zh) | 一种冠脉斑块数据检测方法、系统、存储介质、终端 | |
| CN110222759B (zh) | 一种冠状动脉易损斑块自动识别系统 | |
| CN112716446B (zh) | 高血压性视网膜病变的病变特征的测量方法及测量系统 | |
| CN112785551A (zh) | 一种基于深度学习的冠状动脉分割方法 | |
| CN110223781B (zh) | 一种多维度斑块破裂风险预警系统 | |
| CN111950388B (zh) | 一种易损性斑块跟踪识别系统及方法 | |
| TWI698225B (zh) | 血管狀態評估方法與血管狀態評估裝置 | |
| CN111932554A (zh) | 一种肺部血管分割方法、设备及存储介质 | |
| CN111797901A (zh) | 一种基于拓扑结构估计的视网膜动静脉分类方法及装置 | |
| CN116245867A (zh) | 一种基于无监督学习的血管斑块和血栓识别方法及系统 | |
| CN109829892A (zh) | 一种预测模型的训练方法、使用该模型的预测方法及装置 | |
| CN115760708A (zh) | 颅内侧枝循环自动评价方法、装置、存储介质及计算设备 | |
| CN110767293A (zh) | 一种脑部辅助诊断系统 | |
| CN114898882B (zh) | 基于超声对右心功能进行评估的方法和系统 | |
| CN118173270A (zh) | 患者术后感染风险评估系统及方法 | |
| CN118071688A (zh) | 一种实时脑血管造影质量评估方法 | |
| CN116363311A (zh) | 冠脉Leiden分数计算及风险分级的方法和系统 | |
| CN116433649A (zh) | 一种卵圆孔未闭的微泡计数方法及智能诊断装置 | |
| CN116739988A (zh) | 一种基于多难度课程学习的深度学习脑出血分类方法 | |
| CN116934683A (zh) | 人工智能辅助超声诊断脾创伤的方法 | |
| Zhang et al. | DDNet: a novel network for cerebral artery segmentation from MRA IMAGES | |
| CN115984300A (zh) | 一种基于平扫ct的肺栓塞识别方法 | |
| CN113657494B (zh) | 预测冠状动脉原位病变介入手术支架尺寸的深度学习方法 | |
| CN115457066A (zh) | 融合UNet和边缘检测模型的视网膜血管分割方法 | |
| CN115359002A (zh) | 一种颈动脉超声图像斑块自动检测系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |