CN116543147A - 一种颈动脉超声图像分割方法、装置、设备及存储介质 - Google Patents
一种颈动脉超声图像分割方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116543147A CN116543147A CN202310233722.0A CN202310233722A CN116543147A CN 116543147 A CN116543147 A CN 116543147A CN 202310233722 A CN202310233722 A CN 202310233722A CN 116543147 A CN116543147 A CN 116543147A
- Authority
- CN
- China
- Prior art keywords
- image
- ultrasonic
- features
- frame
- segmented
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000003709 image segmentation Methods 0.000 title claims abstract description 43
- 230000011218 segmentation Effects 0.000 claims abstract description 32
- 230000004927 fusion Effects 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 210000001367 artery Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 210000001715 carotid artery Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本申请提供一种颈动脉超声图像分割方法、装置、设备及存储介质，涉及图像处理技术领域，包括：获取序列超声图像，将连续的T帧超声图像划分成一组，并对组内的超声图像以预设方式进行扩增；T为大于1的正整数；将扩增后的超声图像输入到编码器结构中，对每一帧超声图像分别提取图像特征；根据待分割超声图像及其在前图像之间的图像特征相似度，对在前图像进行特征加权，并与待分割图像的图像特征进行融合，输出融合后的图像特征；根据所述融合后的图像特征，得到最终的分割结果。对于连续的若干帧超声图像，通过计算待分割图像与在前图像特征的相似度实现连续多帧图像特征的融合，提高颈动脉超声图像分割的准确率。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种颈动脉超声图像分割方法、装置、设备及存储介质。
背景技术
超声影像学是一种采用超声波对人体进行诊断的方式，超声波对人体软组织具有良好的分辨能力，而且能够实时成像、无创无痛，因此在医学诊断领域中具有不可替代的作用。其中颈动脉超声是超声专项检查中一个重要的部分，有助于医生分析颈动脉血管，识别斑块，内中膜增厚等易引发心脑血管疾病的病理特征。
超声图像分割是医学图像分析领域中最为重要的基础任务之一，对于解析图像中各区域内容，引导机器人扫查具有重要的意义。现有的一些自动分割算法是采用单帧二维图像分割模型，忽略了相邻时序内图像之间内容的一致性，导致分割的准确率不高。
发明内容
本申请的目的在于提出一种颈动脉超声图像分割方法、装置、设备及存储介质，输入是连续的若干帧图像，通过计算待分割帧与在前帧图像特征的相似度实现连续多帧图像特征的融合。
本申请第一方面提供了一种颈动脉超声图像分割方法，包括：
获取序列超声图像，将连续的T帧超声图像划分成一组，并对组内的超声图像以预设方式进行扩增；T为大于1的正整数；
将扩增后的超声图像输入到编码器结构中，对每一帧超声图像分别提取图像特征；
根据待分割超声图像及其在前图像之间的图像特征相似度，对在前图像进行特征加权，并与待分割图像的图像特征进行融合，输出融合后的图像特征；
根据所述融合后的图像特征，得到最终的分割结果。
本申请第二方面提供了一种颈动脉超声图像分割装置，包括：
获取模块，用于获取序列超声图像，将连续的T帧超声图像划分成一组，并对组内的超声图像以预设方式进行扩增；T为大于1的正整数；
提取模块，用于将扩增后的超声图像输入到编码器结构中，对每一帧超声图像分别提取图像特征；
输出模块，用于根据待分割超声图像及其在前图像之间的图像特征相似度，对在前图像进行特征加权，并与待分割图像的图像特征进行融合，输出融合后的图像特征；
分割模块，用于根据所述融合后的图像特征，得到最终的分割结果。
本申请第三方面提供了一种电子设备，包括：存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如任意实施例提供的颈动脉超声图像分割方法。
本申请第四方面提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器实现如任意实施例提供的颈动脉超声图像分割方法。
本发明的有益效果：
本申请提出了一种颈动脉超声图像分割方法、装置、设备及存储介质，获取连续的若干帧图像，通过计算待分割超声图像与在前图像的图像特征的相似度实现连续多帧图像特征的融合，实现提高颈动脉超声图像分割准确率。
附图说明
图1A为本申请实施例中的颈动脉超声图像分割方法的流程图；
图1B为本申请实施例中的颈动脉超声图像分割方法的流程图；
图2为本申请实施例中的颈动脉超声图像分割方法的另一流程图；
图3为本申请实施例中的颈动脉超声图像分割方法的另一流程图；
图4为图1A中颈动脉超声图像分割方法的预测结果图；
图5为图1A中颈动脉超声图像分割方法的另一预测结果图；
图6为本申请实施例中的颈动脉超声图像分割装置的结构示意图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
如图1A及1B所示，本申请提供一种颈动脉超声图像分割方法，包括：
S110、获取序列超声图像，将连续的T帧超声图像划分成一组，并对组内的超声图像以预设方式进行扩增；T为大于1的正整数。本实施例中超声图像通过超声探头在人体的颈部采集得到。本申请据数据扩增可以是将一组图像通过随机翻转、亮度对比度调整、人为增加高斯噪声等方式变成多组图像，这样就能将起到扩展数据量的作用，这种数据处理方式被广泛应用于数据规模有限的应用场景。
S120、将扩增后的超声图像输入到编码器结构中，对每一帧超声图像分别提取图像特征。本实施例中编码器用于将输入数据进行编码，从而将输入数据映射到维度较低的隐空间中，解码器用于将隐空间中被编码的数据映射回高维空间。对于本任务来说，输入数据是几帧图像，编码器可以是由一系列卷积核组合起来构成的深度神经网络，通过对图像进行多个阶段的卷积，可以从图像中滤除掉冗余信息，提取出纹理、结构等有用的抽象特征，这个过程就是图像的特征提取过程。
S130、根据待分割超声图像及其在前图像之间的图像特征相似度，对在前图像进行特征加权，并与待分割图像的图像特征进行融合，输出融合后的图像特征。本实施例中图像特征之间的相似度，其计算方法可以是将两个图像特征(矩阵)进行相乘，乘完之后得到的矩阵即为特征相似度矩阵，然后特征相似度矩阵与图像特征相乘这一过程即为加权，融合就是将加权后的图像特征与待分割的图像特征进行维度拼接，得到一个维度更大的图像特征矩阵。
S140、根据所述融合后的图像特征，得到最终的分割结果。
本实施例提出了一种颈动脉超声图像分割方法，获取连续的若干帧图像，通过计算待分割超声图像与在前图像的图像特征的相似度实现连续多帧图像特征的融合，实现提高颈动脉超声图像分割准确率。
如图2所示，所述获取序列超声图像，将连续的T帧超声图像划分成一组，并对组内的超声图像以预设方式进行扩增，包括：
S210、将连续的T帧超声图像中的每一帧进行随机的亮度和对比度的变换；或者，
考虑到超声成像过程中超声设备增益变化可能会导致图像亮度、对比度和噪声强度不尽相同，将连续的T帧超声图像中的每一帧进行随机的亮度和对比度的变换变换公式为：
y＝αx
y＝x+β·mean(x)
其中x为超声图像，α和β分别代表对比度变化范围和亮度变化范围，实验中设置α为0.9～1.1，β设置为-0.1～0.1，mean()表示求图像中所有像素值的均值；
S220、将连续的T帧超声图像中的每一帧引入随机的高斯噪声，更新所述连续的T帧超声图像。
对训练图像中的每一帧引入随机的高斯噪声，变换公式为：
x＝x+Gauss(μ,2)
其中x为超声图像，Gauss(μ,2)为高斯噪声，μ表示噪声均值，实验中设置为0，2表示噪声方差，实验中设置为10～30。
如图3所示，所述将扩增后的超声图像输入到编码器结构中，对每一帧超声图像分别提取图像特征包括：
S310、利用EfficientNetV2检测模型从超声图像提取得到多个多尺度特征。编码器由EfficientNetv2和Feature Pyramid Network(FPN，特征金字塔)构成，定义输入连续的T帧图像为[x1,x2,...,xT]，其中的x1,x2,...,xT可以理解为不同分辨率的图像特征，对于每一个输入图像xi∈RH×W×3，分别使用EfficientNetv2提取得到多个(例如是四个)多尺度特征，其中，多尺度特征是不同分辨率下的抽象的图像特征：
[fi,1,fi,2,fi,3,fi,4]
S320、利用特征金字塔模型将多个所述多尺度特征进行两两融合，将融合后得到的输出特征进行标记作为所述图像特征。
fi,j-1＝Conv(Concat(fi,j-1,Upsample(fi,j))),＝1,2,3,4,j＝2,3,4
其中，Conv表示单一卷积层，Concat表示特征拼接，Upsample表示图像上采样。
将经过FPN处理过后的特征fi,1(记为Fi)作为图像xi的编码器输出特征，然后将图像序列中各个图像的输出特征组合起来，表示为[FT-k+1，...，FT-1，FT]。
由于超声图像相邻帧中血管位置仅在小范围变化，因此为了充分利用相邻帧图像信息的连续性，同时又减少计算量，仅计算待分割帧中图像特征与之前帧中邻域范围内图像特征的互注意力。
根据融合后的特征进行分割的过程是解码器的功能。具体地讲，融合后的特征就是一些包含图像纹理结构等信息的低维度的抽象信息，解码器的解码过程就是通过卷积以及一些上采样等操作，将这些低维度信息逐渐恢复到高维上来，最终变成分割结果。最后得到的分割结果是一个矩阵，其取值范围为0～1，将其以0.5为阈值进行二值化之后可以保存成二值图像到存储器中。
所述根据待分割超声图像及其在前图像之间的图像特征相似度，对在前图像进行特征加权，并与待分割图像的图像特征进行融合，输出融合后的图像特征，包括：
待分割超声图像的图像特征为Q＝FT∈RH×W×d，第i帧在前图像的图像特征为Ki＝Fi∈RH×W×d，则对Q中任一特征点Qm，n∈R1×1×d，m＝0，1，2，...，H-1，n＝0，1，2，...，W-1与第i帧在前图像的特征相似度为：
其中为投影矩阵，/>表示第i帧在前图像中以(m，n)为中心点，以2ri为长度，以2si为宽度的长方形区域，其中，
ri＝r0+scaler×(T-i)，i＝T-k+1，...，T-1
si＝s0+scales×(T-i)，i＝T-k+1，...，T-1
综合待分割超声图像中特征点与第i帧在前图像的特征相似度，得到待分割超声图像的图像特征和第i帧在前图像之间的特征相似度；
其中，帧间注意力模块的输出为
根据待分割超声图像的图像特征和第i帧在前图像之间的特征相似度，将第i帧在前图像和待分割超声图像的图像特征进行融合，得到融合后的图像特征。
所述根据所述融合后的图像特征，得到最终的分割结果包括采用下式计算分割区域输出层的损失值型参数：
其中yi是标签值，y′i是预测值，Ind(·)为指示函数，maxi，k(xi)表示xi中最大的k个值。
与待分割图像进行融合后还包括特征拼接的步骤，其公式为：
F＝concat(Q,M)
其中concat()表示拼接操作。
将帧间注意力模块的输出和第T帧的特征进行融合和归一化，增强特征的表达能力。
拼接操作后还包括对拼接后的特征进行处理，得到最终的分割结果。
输入到分割头中，得到分割输出层(logits),之后使用二分类交叉熵损失Balanced BCE loss损失函数和衡量集合相似度的损失函数(Dice loss)来计算分割区域输出层logits的损失值，更新模型参数。
Dice loss是一种衡量集合相似度的损失函数，其公式为：
其中|Y|和|Y|分别表示分割的GT和预测结果。
如图4和5所示，这两个例子是采用本申请实施例所描述的方法对超声图像进行分割得到的结果。左边一列的图像是输入，这里是将三帧作为一组图像输入到网络中，最终网络输出的分割结果是第T帧输入图像对应的分割结果，也就是右边一列靠下的那张图，图中不同颜色的区域代表预测出的不同类别的分割结果(其中红色表示纵切动脉血管，绿色表示横切动脉血管，蓝色表示静脉血管，灰色表示内中膜)，右边一列靠上的那张图是人工标注(GT)。通过对比这两张图中的预测结果和人工标注可以看出来，本申请实施例所描述的方法的分割准确率是较高的。
如图6所示，本申请实施例提供了一种颈动脉超声图像分割装置，包括：
获取模块601，用于获取序列超声图像，将连续的T帧超声图像划分成一组，并对组内的超声图像以预设方式进行扩增；T为大于1的正整数；
提取模块602，用于将扩增后的超声图像输入到编码器结构中，对每一帧超声图像分别提取图像特征；
输出模块603，用于根据待分割超声图像及其在前图像之间的图像特征相似度，对在前图像进行特征加权，并与待分割图像的图像特征进行融合，输出融合后的图像特征；
分割模块604，用于根据所述融合后的图像特征，得到最终的分割结果。
获取模块601用于将连续的T帧超声图像中的每一帧进行随机的亮度和对比度的变换；或者，
将连续的T帧超声图像中的每一帧引入随机的高斯噪声，更新所述连续的T帧超声图像。
提取模块602用于利用EfficientNetV2检测模型从超声图像提取得到多个多尺度特征；
利用特征金字塔模型将多个所述多尺度特征进行两两融合，将融合后得到的输出特征进行标记作为所述图像特征。
输出模块603用于：
待分割超声图像的图像特征为Q＝FT∈RH×W×d，第i帧在前图像的图像特征为Ki＝Fi∈RH×W×d，则对Q中任一特征点Qm，n∈R1×1×d，m＝0，1，2，...，H-1，n＝0，1，2，...，W-1与第i帧在前图像的特征相似度为：
其中为投影矩阵，/>表示第i帧在前图像中以(m，n)为中心点，以2ri为长度，以2si为宽度的长方形区域，其中，
ri＝r0+scaler×(T-i)，i＝T-k+1，...，T-1
si＝s0+scales×(T-i)，i＝T-k+1，...，T-1
综合待分割超声图像中特征点与第i帧在前图像的特征相似度，得到待分割超声图像的图像特征和第i帧在前图像之间的特征相似度；
根据待分割超声图像的图像特征和第i帧在前图像之间的特征相似度，将第i帧在前图像和待分割超声图像的图像特征进行融合，得到融合后的图像特征。
分割模块用于采用下式计算分割区域输出层的损失值型参数：
其中yi是标签值，y′i是预测值，Ind(·)为指示函数，表示xi中最大的k个值。
本申请实施例所提供的颈动脉超声图像分割装置可执行本申请任意实施例所提供的颈动脉超声图像分割方法，具备执行方法相应的功能模块和有益效果。
图7为本申请实施例提供的一种电子设备的结构示意图，如图7所示，该电子设备包括处理器710、存储器720、输入装置730和输出装置740；电子设备中处理器710的数量可以是一个或多个，图7中以一个处理器710为例；电子设备中的处理器710、存储器720、输入装置730和输出装置740可以通过总线或其他方式连接，图7中以通过总线连接为例。
存储器720作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例中的颈动脉超声图像分割方法对应的程序指令/模块(例如，颈动脉超声图像分割装置中的连续的T帧超声图像表示获取模块601、所述扩增后的超声图像表示提取模块602、融合后的图像特征表示输出模块603、所述最终的分割结果表示分割模块604)。处理器710通过运行存储在存储器720中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的颈动脉超声图像分割方法。
存储器720可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器720可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器720可进一步包括相对于处理器710远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置730可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置740可包括显示屏等显示设备。
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种颈动脉超声图像分割方法，包括：
获取序列超声图像，将连续的T帧超声图像划分成一组，并对组内的超声图像以预设方式进行扩增；T为大于1的正整数；
将扩增后的超声图像输入到编码器结构中，对每一帧超声图像分别提取图像特征；
根据待分割超声图像及其在前图像之间的图像特征相似度，对在前图像进行特征加权，并与待分割图像的图像特征进行融合，输出融合后的图像特征；
根据所述融合后的图像特征，得到最终的分割结果。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的颈动脉超声图像分割方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述颈动脉超声图像分割方法装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (8)
1.一种颈动脉超声图像分割方法，其特征在于，包括：
获取序列超声图像，将连续的T帧超声图像划分成一组，并对组内的超声图像以预设方式进行扩增；T为大于1的正整数；
将扩增后的超声图像输入到编码器结构中，对每一帧超声图像分别提取图像特征；
根据待分割超声图像及其在前图像之间的图像特征相似度，对在前图像进行特征加权，并与待分割图像的图像特征进行融合，输出融合后的图像特征；
根据所述融合后的图像特征，得到最终的分割结果。
2.根据权利要求1所述的方法，其特征在于，所述对组内的超声图像以预设方式进行扩增，包括：
将连续的T帧超声图像中的每一帧进行随机的亮度和对比度的变换；或者，
将连续的T帧超声图像中的每一帧引入随机的高斯噪声，更新所述连续的T帧超声图像。
3.根据权利要求1所述的方法，其特征在于，所述将扩增后的超声图像输入到编码器结构中，对每一帧超声图像分别提取图像特征包括：
利用EfficientNetV2检测模型从超声图像提取得到多个多尺度特征；
利用特征金字塔模型将多个所述多尺度特征进行两两融合，将融合后得到的输出特征进行标记作为所述图像特征。
4.根据权利要求3所述的方法，其特征在于，所述根据待分割超声图像及其在前图像之间的图像特征相似度，对在前图像进行特征加权，并与待分割图像的图像特征进行融合，输出融合后的图像特征，包括：待分割超声图像的图像特征为Q＝FT∈RH×W×d，第i帧在前图像的图像特征为Ki＝Fi∈RH×W×d，则对Q中任一特征点Qm，n∈R1×1×d，m＝0，1，2，...，H-1，n＝0，1，2，...，W-1与第i帧在前图像的特征相似度为：
其中为投影矩阵，/>表示第i帧在前图像中以(m，n)为中心点，以2ri为长度，以2si为宽度的长方形区域，其中，
ri＝r0+scaler×(T-i)，i＝T-k+1，...，T-1
si＝s0+scales×(T-i)，i＝T-k+1，...，T-1
综合待分割超声图像中特征点与第i帧在前图像的特征相似度，得到待分割超声图像的图像特征和第i帧在前图像之间的特征相似度；
根据待分割超声图像的图像特征和第i帧在前图像之间的特征相似度，将第i帧在前图像和待分割超声图像的图像特征进行融合，得到融合后的图像特征。
5.根据权利要求1所述的方法，其特征在于，所述根据所述融合后的图像特征，得到最终的分割结果，包括：
采用下式计算分割区域输出层的损失值型参数：
其中yi是标签值，y′i是预测值，Ind(·)为指示函数，表示xi中最大的k个值。
6.一种颈动脉超声图像分割装置，其特征在于，包括：
获取模块，用于获取序列超声图像，将连续的T帧超声图像划分成一组，并对组内的超声图像以预设方式进行扩增；T为大于1的正整数；
提取模块，用于将扩增后的超声图像输入到编码器结构中，对每一帧超声图像分别提取图像特征；
输出模块，用于根据待分割超声图像及其在前图像之间的图像特征相似度，对在前图像进行特征加权，并与待分割图像的图像特征进行融合，输出融合后的图像特征；
分割模块，用于根据所述融合后的图像特征，得到最终的分割结果。
7.一种电子设备，其特征在于，包括：存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5任一项所述的方法。
8.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器实现如权利要求1-5任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310233722.0A CN116543147A (zh) | 2023-03-10 | 2023-03-10 | 一种颈动脉超声图像分割方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310233722.0A CN116543147A (zh) | 2023-03-10 | 2023-03-10 | 一种颈动脉超声图像分割方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116543147A true CN116543147A (zh) | 2023-08-04 |
Family
ID=87456635
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310233722.0A Pending CN116543147A (zh) | 2023-03-10 | 2023-03-10 | 一种颈动脉超声图像分割方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116543147A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985298A (zh) * | 2018-06-19 | 2018-12-11 | 浙江大学 | 一种基于语义一致性的人体衣物分割方法 |
| CN109584246A (zh) * | 2018-11-16 | 2019-04-05 | 成都信息工程大学 | 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法 |
| CN109872306A (zh) * | 2019-01-28 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 医学图像分割方法、装置和存储介质 |
| CN111950653A (zh) * | 2020-08-24 | 2020-11-17 | 腾讯科技（深圳）有限公司 | 视频处理方法和装置、存储介质及电子设备 |
| CN113570606A (zh) * | 2021-06-30 | 2021-10-29 | 北京百度网讯科技有限公司 | 目标分割的方法、装置及电子设备 |
| CN114119638A (zh) * | 2021-12-02 | 2022-03-01 | 上海理工大学 | 一种融合多尺度特征和注意力机制的医学图像分割方法 |
| CN114283352A (zh) * | 2021-11-12 | 2022-04-05 | 北京旷视科技有限公司 | 一种视频语义分割装置、训练方法以及视频语义分割方法 |
| US20220108452A1 (en) * | 2019-07-29 | 2022-04-07 | Shanghai Sensetime Intelligent Technology Co., Ltd. | Method and device for image processing, electronic device and storage medium |
| CN114332928A (zh) * | 2021-12-28 | 2022-04-12 | 百果园技术(新加坡)有限公司 | 一种图像分割方法、装置、电子设备及存储介质 |
| CN114972368A (zh) * | 2021-02-26 | 2022-08-30 | 阿里巴巴集团控股有限公司 | 图像分割处理方法及装置、存储介质和电子设备 |
| WO2022242131A1 (zh) * | 2021-05-21 | 2022-11-24 | 中国科学院深圳先进技术研究院 | 图像分割方法、装置、设备及存储介质 |
-
2023
- 2023-03-10 CN CN202310233722.0A patent/CN116543147A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985298A (zh) * | 2018-06-19 | 2018-12-11 | 浙江大学 | 一种基于语义一致性的人体衣物分割方法 |
| CN109584246A (zh) * | 2018-11-16 | 2019-04-05 | 成都信息工程大学 | 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法 |
| CN109872306A (zh) * | 2019-01-28 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 医学图像分割方法、装置和存储介质 |
| US20220108452A1 (en) * | 2019-07-29 | 2022-04-07 | Shanghai Sensetime Intelligent Technology Co., Ltd. | Method and device for image processing, electronic device and storage medium |
| CN111950653A (zh) * | 2020-08-24 | 2020-11-17 | 腾讯科技（深圳）有限公司 | 视频处理方法和装置、存储介质及电子设备 |
| CN114972368A (zh) * | 2021-02-26 | 2022-08-30 | 阿里巴巴集团控股有限公司 | 图像分割处理方法及装置、存储介质和电子设备 |
| WO2022242131A1 (zh) * | 2021-05-21 | 2022-11-24 | 中国科学院深圳先进技术研究院 | 图像分割方法、装置、设备及存储介质 |
| CN113570606A (zh) * | 2021-06-30 | 2021-10-29 | 北京百度网讯科技有限公司 | 目标分割的方法、装置及电子设备 |
| WO2023273173A1 (zh) * | 2021-06-30 | 2023-01-05 | 北京百度网讯科技有限公司 | 目标分割的方法、装置及电子设备 |
| CN114283352A (zh) * | 2021-11-12 | 2022-04-05 | 北京旷视科技有限公司 | 一种视频语义分割装置、训练方法以及视频语义分割方法 |
| CN114119638A (zh) * | 2021-12-02 | 2022-03-01 | 上海理工大学 | 一种融合多尺度特征和注意力机制的医学图像分割方法 |
| CN114332928A (zh) * | 2021-12-28 | 2022-04-12 | 百果园技术(新加坡)有限公司 | 一种图像分割方法、装置、电子设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| BO NI: "Segmentation of ultrasound image sequences by combing a novel deep siamese network with a deformable contour model", NEURAL COMPUTING AND APPLICATIONS, pages 14535 * |
| SHEN, TONGPING: "Medical Image Segmentation Based on Transformer and HarDNet Structures", IEEE ACCESS, pages 16621 - 16630 * |
| 胡屹杉;秦品乐;曾建潮;柴锐;王丽芳;: "结合分段频域和局部注意力的超声甲状腺分割", 中国图象图形学报, no. 10, 16 October 2020 (2020-10-16), pages 249 - 259 * |
| 胡屹杉;秦品乐;曾建潮;柴锐;王丽芳;: "结合分段频域和局部注意力的超声甲状腺分割", 中国图象图形学报, no. 10, pages 249 - 259 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Boundary-aware context neural network for medical image segmentation | |
| CN111369565B (zh) | 一种基于图卷积网络的数字病理图像的分割与分类方法 | |
| Zhou et al. | Cross-level feature aggregation network for polyp segmentation | |
| CN111667478B (zh) | Cta到mra跨模态预测的颈动脉斑块识别方法及系统 | |
| CN112258488A (zh) | 一种医疗影像病灶分割方法 | |
| US11735316B2 (en) | Method and apparatus of labeling target in image, and computer recording medium | |
| CN110648331B (zh) | 用于医学图像分割的检测方法、医学图像分割方法及装置 | |
| CN113554665A (zh) | 一种血管分割方法及装置 | |
| CN112634231A (zh) | 一种图像分类方法、装置、终端设备和存储介质 | |
| CN116862877A (zh) | 基于卷积神经网络的扫描图像分析系统及其方法 | |
| Yamanakkanavar et al. | MF2-Net: A multipath feature fusion network for medical image segmentation | |
| Cui et al. | Supervised machine learning for coronary artery lumen segmentation in intravascular ultrasound images | |
| H Khan et al. | Classification of skin lesion with hair and artifacts removal using black-hat morphology and total variation | |
| Maiti et al. | Automatic detection and segmentation of optic disc using a modified convolution network | |
| CN117197594B (zh) | 一种基于深度神经网络的心脏分流分类系统 | |
| CN115375706A (zh) | 图像分割模型训练方法、装置、设备及存储介质 | |
| CN116543147A (zh) | 一种颈动脉超声图像分割方法、装置、设备及存储介质 | |
| CN113177953B (zh) | 肝脏区域分割方法、装置、电子设备及存储介质 | |
| CN112990339A (zh) | 胃病理切片图像分类方法、装置及存储介质 | |
| Sahu et al. | Segmentation of encephalon tumor by applying soft computing methodologies from magnetic resonance images | |
| Pnev et al. | Modified U-net with Different Attention Mechanisms for Acute Ischemic Stroke Segmentation using Non-Contrast CT | |
| Sunitha et al. | Fuzzy based dynamic histogram equalization for enhancing quality of registered medical image | |
| Imtiaz et al. | Segmentation of skin lesion using harris corner detection and region growing | |
| CN117351196B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| CN117095395B (zh) | 用于心脏超声图像分割的模型训练方法、装置和分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |