CN113723418B - 一种对造影图像进行优选的处理方法和装置 - Google Patents

一种对造影图像进行优选的处理方法和装置 Download PDF

Info

Publication number
CN113723418B
CN113723418B CN202111032821.XA CN202111032821A CN113723418B CN 113723418 B CN113723418 B CN 113723418B CN 202111032821 A CN202111032821 A CN 202111032821A CN 113723418 B CN113723418 B CN 113723418B
Authority
CN
China
Prior art keywords
blood vessel
image
contrast
pixel
binary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111032821.XA
Other languages
English (en)
Other versions
CN113723418A (zh
Inventor
李喆
曹君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lepu Medical Technology Beijing Co Ltd
Original Assignee
Lepu Medical Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lepu Medical Technology Beijing Co Ltd filed Critical Lepu Medical Technology Beijing Co Ltd
Priority to CN202111032821.XA priority Critical patent/CN113723418B/zh
Publication of CN113723418A publication Critical patent/CN113723418A/zh
Application granted granted Critical
Publication of CN113723418B publication Critical patent/CN113723418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例涉及一种对造影图像进行优选的处理方法和装置，所述方法包括：获取第一造影图像序列；使用像素级血管语义分割模型进行血管语义分割得到第一二值图；在第一二值图中标记第一血管图形；计算第一血管图形面积得到第一血管面积数据；按从大到小的顺序将最靠前的多个第一血管面积数据所对应的第一造影图像记为第一优选造影图像；在第一优选造影图像中标记第二血管图形；计算第二血管图形的平均灰度值得到第一血管灰度数据；按从小到大的顺序将排序最靠前的多个第一血管灰度数据所对应的第一优选造影图像记为第二优选造影图像；由第二优选造影图像组成优选造影图像序列。通过本发明可以提高造影图像优选操作的精确度和稳定性。

Description

一种对造影图像进行优选的处理方法和装置
技术领域
本发明涉及数据处理技术领域，特别涉及一种对造影图像进行优选的处理方法和装置。
背景技术
通过对冠状动脉造影进行分析，例如，定量冠状动脉造影分析(quantitativecoronary arteriography，QCA)，可以得到获知冠状动脉狭窄部位信息。常规的QCA分析工具都是基于单独的二维图像进行处理的，而造影数据又是一个图像序列，所以日常情况下都是凭借人员经验从造影图像序列中选择几张带有突出特征信息的图像输入QCA分析工具进行处理。这种操作方式，对人工经验的依赖度很高，常常会出现因人员经验不足、选图不准导致工具无法分析或分析精度不高的情况。
发明内容
本发明的目的，就是针对现有技术的缺陷，提供一种对造影图像进行优选的处理方法、装置、电子设备及计算机可读存储介质，使用基于Unet++的像素级血管语义分割模型对造影图像序列的每张造影图像进行血管分割处理得到对应的二值图，在二值图的基础上对血管进行面积计算得到对应的血管面积数据，选择血管面积数据较大的多张造影图像作为造影图像优选的初筛结果，在初筛结果的基础上继续对血管图形的灰度值进行计算，并选择灰度值较小的多张造影图像作为造影图像优选的精选结果。通过本发明，可以解决常规情况下依靠人工操作来筛选造影图像的问题，可以提高造影图像优选操作的操作效率、优选精确度和优选稳定性。
为实现上述目的，本发明实施例第一方面提供了一种对造影图像进行优选的处理方法，所述方法包括：
获取第一造影图像序列；所述第一造影图像包括多个连续的第一造影图像；
使用训练成熟的像素级血管语义分割模型，对每个所述第一造影图像进行血管语义分割处理，得到对应的第一二值图；所述第一二值图包括多个第一二值像素点；
在每个所述第一二值图中，将像素值为预设的第一血管像素值的所述第一二值像素点构成的图形，记为第一血管图形；
对每个所述第一二值图中的所述第一血管图形的面积进行计算，得到对应的第一血管面积数据；
按从大到小的顺序对所有所述第一血管面积数据进行排序，并将排序最靠前的第一指定数量个所述第一血管面积数据所对应的所述第一造影图像记为第一优选造影图像；
在每个所述第一优选造影图像上，使用对应的所述第一二值图的所述第一血管图形进行血管图形标定处理，得到对应的第二血管图形；
对每个所述第一优选造影图像中的所述第二血管图形的平均灰度进行计算，得到对应的第一血管灰度数据；
按从小到大的顺序对所有所述第一血管灰度数据进行排序，并将排序最靠前的第二指定数量个所述第一血管灰度数据所对应的所述第一优选造影图像记为第二优选造影图像；
由所述第二优选造影图像组成优选造影图像序列。
优选的，所述第一造影图像包括M1×N1个第一造影像素点，M1为列数，N1为行数；所述第一造影像素点的像素值类型为灰度值类型；
所述第一二值图包括M2×N2个所述第一二值像素点，M2为列数且与M1相等，N2为行数且与N1相等；所述第一二值像素点的像素值为所述第一血管像素值或预设的第一背景像素值。
优选的，所述使用训练成熟的像素级血管语义分割模型之前，所述方法还包括：
基于Unet++的网络架构对所述像素级血管语义分割模型的网络结构进行构建；并从预设的训练用造影图像集中提取训练-标注造影图像对，对所述像素级血管语义分割模型进行训练；
在对所述像素级血管语义分割模型进行训练时，对每组所述训练-标注造影图像对，分别进行图像旋转、缩放、平移、水平翻转和错切变换处理，从而得到多个新增训练-标注造影图像对；并将所述多个新增训练-标注造影图像对，作为对应的所述训练-标注造影图像对的增强训练数据集，用于所述像素级血管语义分割模型的训练。
优选的，所述在每个所述第一优选造影图像上，使用对应的所述第一二值图的所述第一血管图形进行血管图形标定处理，得到对应的第二血管图形，具体包括：
将与所述第一优选造影图像对应的所述第一二值图的所述第一血管图形的所述第一二值像素点，记为第一血管像素点；
在所述第一优选造影图像中，将像素坐标与所述第一血管像素点对应的所述第一造影像素点，记为第二血管像素点；
在所述第一优选造影图像中，将由所述第二血管像素点构成的图形，记为所述第二血管图形。
优选的，所述对每个所述第一优选造影图像中的所述第二血管图形的平均灰度进行计算，得到对应的第一血管灰度数据，具体包括：
对所述第一优选造影图像的所述第二血管图形的所有所述第一造影像素点的灰度值进行提取，得到多个第一灰度值；
对多个所述第一灰度值，进行加权均值计算得到第一灰度均值；
将所述第一灰度均值作为所述第一血管灰度数据。
本发明实施例第二方面提供了一种用以执行上述第一方面所述的方法的装置，包括：获取模块、血管语义分割模块、第一优选图像筛查模块、第二优选图像筛查模块和优选图像整合模块；
所述获取模块用于获取第一造影图像序列；所述第一造影图像包括多个连续的第一造影图像；
所述血管语义分割模块用于使用训练成熟的像素级血管语义分割模型，对每个所述第一造影图像进行血管语义分割处理，得到对应的第一二值图；所述第一二值图包括多个第一二值像素点；
所述第一优选图像筛查模块用于在每个所述第一二值图中，将像素值为预设的第一血管像素值的所述第一二值像素点构成的图形，记为第一血管图形；并对每个所述第一二值图中的所述第一血管图形的面积进行计算，得到对应的第一血管面积数据；并按从大到小的顺序对所有所述第一血管面积数据进行排序，并将排序最靠前的第一指定数量个所述第一血管面积数据所对应的所述第一造影图像记为第一优选造影图像；
所述第二优选图像筛查模块用于在每个所述第一优选造影图像上，使用对应的所述第一二值图的所述第一血管图形进行血管图形标定处理，得到对应的第二血管图形；并对每个所述第一优选造影图像中的所述第二血管图形的平均灰度进行计算，得到对应的第一血管灰度数据；并按从小到大的顺序对所有所述第一血管灰度数据进行排序，并将排序最靠前的第二指定数量个所述第一血管灰度数据所对应的所述第一优选造影图像记为第二优选造影图像；
所述优选图像整合模块用于将第二优选造影图像组成优选造影图像序列。
本发明实施例第三方面提供了一种电子设备，包括：存储器、处理器和收发器；
所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现上述第一方面所述的方法步骤；
所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。
本发明实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行上述第一方面所述的方法的指令。
本发明实施例提供了一种对造影图像进行优选的处理方法、装置、电子设备及计算机可读存储介质，使用基于Unet++的像素级血管语义分割模型对造影图像序列的每张造影图像进行血管分割处理得到对应的二值图，在二值图的基础上对血管进行面积计算得到对应的血管面积数据，选择血管面积数据较大的多张造影图像作为造影图像优选的初筛结果，在初筛结果的基础上继续对血管图形的灰度值进行计算，并选择灰度值较小的多张造影图像作为造影图像优选的精选结果。通过本发明，解决了常规情况下依靠人工操作来筛选造影图像的问题，提高了造影图像优选操作的操作效率、优选精确度和优选稳定性。
附图说明
图1为本发明实施例一提供的一种对造影图像进行优选的处理方法示意图；
图2为本发明实施例二提供的一种对造影图像进行优选的处理装置的模块结构图；
图3为本发明实施例三提供的一种电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在获得第一造影图像序列之后，通过使用本发明实施例一提供的一种对造影图像进行优选的处理方法，即可自动挑选出指定数量的血管充盈状态明显的图像，大大提高了造影图像的优选效率和准确度；图1为本发明实施例一提供的一种对造影图像进行优选的处理方法示意图，如图1所示，本方法主要包括如下步骤：
步骤1，获取第一造影图像序列；
其中，第一造影图像包括多个连续的第一造影图像；第一造影图像包括M1×N1个第一造影像素点，M1为列数，N1为行数；第一造影像素点的像素值类型为灰度值类型。
这里，第一造影图像序列为冠脉造影数据，按采样时间的先后顺序由多个采样造影图像也就是第一造影图像组成，每个第一造影图像的尺寸大小一致；常规情况下第一造影图像都是灰度图，很少为彩色图，也就是说常规情况下第一造影图像的像素点的像素值类型都是灰度值；若第一造影图像为特殊的彩色图，则需要将其转换为灰度图，也即是按灰度值＝a*R+b*G+c*B的转换规则对第一造影图像的各个像素点的像素值进行RGB像素类似到灰度值类型的转换，其中，R、G、B分别为RGB三色像素值的红、绿、蓝分量通道值，a、b、c为转换系数，且a+b+c＝1。
步骤2，使用训练成熟的像素级血管语义分割模型，对每个第一造影图像进行血管语义分割处理，得到对应的第一二值图；
其中，第一二值图包括M2×N2个第一二值像素点，M2为列数且与M1相等，N2为行数且与N1相等；第一二值像素点的像素值为预设的第一血管像素值或预设的第一背景像素值。
这里，像素级血管语义分割模型为能对输入的灰度图也就是第一造影图像进行像素级语义分割的智能模型，该模型能对第一造影图像中的血管对象进行识别并对属于血管部分的像素点进行语义标注从而达到像素级的血管语义分割目的；该模型对第一造影图像进行血管语义标注的方式为将与血管相关的像素点的像素值设置为预先设定的第一血管像素值，并将与血管无关的像素点的像素值设置为预先设定的第一背景像素值，也就是说该模型最终输出的图像为一个二值图也就是第一二值图，第一二值图的像素点也就是第一二值像素点的像素值只有两种取值可能：第一血管像素值或第一背景像素值。需要说明的是，该模型输出的第一二值图与输入的第一造影图像的尺寸大小保持一致，也就是说若第一造影图像形状为M1×N1，第一二值图的形状为M2×N2，则M2＝M1，N2＝N1。
例如，第一造影图像的大小为512×512，预设的第一血管像素值为1、第一背景像素值为0，则通过像素级血管语义分割模型对第一造影图像进行血管语义分割处理之后得到的第一二值图的大小同样为512×512，且第一二值图中被识别为血管的像素点也就是前景血管像素点的像素值为1，未被识别为血管的像素点也就是背景像素点的像素值为0。
本发明实施例的像素级血管语义分割模型的网络结构是基于Unet++的神经网络结构予以实现的；在使用该模型之前，需基于Unet++的网络架构对该模型的网络结构进行构建，并从预设的训练用造影图像集中提取训练-标注造影图像对，对像素级血管语义分割模型进行训练；这里的训练-标注造影图像对包括训练造影图像和标注造影图像，其中的标注造影图像实际就是与训练造影图像对应的通过其他途径完成了像素级血管标注的二值图，其作用就是检测模型输出的二值图的准确度。
关于Unet++，可参考由美国亚利桑那州立大学(Arizona State University)的Zongwei Zhou,Md Mahfuzur Rahman Siddiquee,Nima Tajbakhsh,和Jianming Liang于2018年联合发表的论文《UNet++:A Nested U-Net Architecture for Medical ImageSegmentation》，该论文给出了一种嵌套U-Net医学图像分割体系结构；
关于Unet，可参考由德国弗莱堡大学(University of Freiburg)计算机科学系和生物信号研究中心(Computer Science Department and BIOSS Centre for BiologicalSignalling Studies)的Olaf Ronneberger，Philipp Fischer和Thomas Brox于2015年联合发表的论文《U-Net:Convolutional Networks for Biomedical Image Segmentation》，该论文给出了一种卷积网络在生物医学图像分割中的应用也就是Unet的结构与实现方式。
本发明实施例通过Unet++构建的像素级血管语义分割模型包含四层下采样层和四层上采样层；模型通过连续下采样也就是降低分辨率的方式对图像中的像素点进行特征聚类，从而达到强化图像特征的目的，并根据强化后的图像特征完成语义识别；模型通过上采样也就是提高分辨率的方式对语义识别图像进行感受野扩大处理，从而得到与原始输出图像尺寸大小一致的输出二值图；模型的特征之一为在每层上采样的过程中，都会使用对应的下采样图像与上采样结果进行融合，这样就能保证输出的二值图最大限度的保留了原图特征；模型的特征之二为每一层都借鉴了DenseNet的密集连接方式，这样可以使的网络中梯度的传递更为高效，模型训练的反向调制、收敛的效率更高；模型的特征之三为具有剪枝潜力，在推理过程中可根据实际的软硬件资源状况对上下采样的层级进行调整，达到优化模型推理性能的目的。
关于DenseNet，可参考由美国康奈尔大学(Cornell University)的Gao Huang、Kilian Q.Weinberger和中国清华大学的Zhuang Liu和脸书人工智能研发机构(FacebookAI Research)的Laurens van der Maaten于2018年联合发表的论文《Densely ConnectedConvolutional Networks》，该论文给出了一种密接卷积网络也就是DenseNet的网络结构和实现方式。
在对像素级血管语义分割模型进行训练时，为保证模型的训练效果，需要足够多的训练-标注造影图像对来满足训练要求，本发明实施例在解决这个问题时，除了从训练用造影图像集中提取训练-标注造影图像对之外，还给出了一种增强训练数据的解决方法：对每组训练-标注造影图像对，分别进行图像旋转、缩放、平移、水平翻转和错切变换处理，从而得到多个新增训练-标注造影图像对，将多个新增训练-标注造影图像对，作为对应的训练-标注造影图像对的增强训练数据集，用于像素级血管语义分割模型的训练；
具体的，对每组训练-标注造影图像对的训练造影图像和标注造影图像按相同的旋转角度进行图像旋转后，得到一组新的训练造影图像和标注造影图像，并将该组新的训练造影图像和标注造影图像作为一组新增训练-标注造影图像对；
对每组训练-标注造影图像对的训练造影图像和标注造影图像按相同的缩放比例进行图像缩放后，得到一组新的训练造影图像和标注造影图像，并将该组新的训练造影图像和标注造影图像作为一组新增训练-标注造影图像对；
对每组训练-标注造影图像对的训练造影图像和标注造影图像按相同的平移规则进行图像平移后，得到一组新的训练造影图像和标注造影图像，并将该组新的训练造影图像和标注造影图像作为一组新增训练-标注造影图像对，这里的平移规则包括空间平移规则和时间平移规则，空间平移规则指的是对当前训练造影图像和标注造影图像进行纵向、横向或斜向像素平移从而得到一组新增训练-标注造影图像对，时间平移规则指的是对当前训练造影图像和标注造影图像进行前后时刻图像预测并将预测出的图像作为一组新增训练-标注造影图像对；
对每组训练-标注造影图像对的训练造影图像和标注造影图像进行水平翻转或上下翻转后，得到一组新的训练造影图像和标注造影图像，并将该组新的训练造影图像和标注造影图像作为一组新增训练-标注造影图像对；
对每组训练-标注造影图像对的训练造影图像和标注造影图像进行错切变换后，得到一组新的训练造影图像和标注造影图像，并将该组新的训练造影图像和标注造影图像作为一组新增训练-标注造影图像对，这里的错切变换是对单张图片的一种线性变换，常用于数据增强，类似于平移或旋转那样的形态学变换类的图像增强。
步骤3，在每个第一二值图中，将像素值为第一血管像素值的第一二值像素点构成的图形，记为第一血管图形。
这里，第一血管图形内的所有像素点的像素值应都为第一血管像素值。
例如，第一二值图的大小为512×512，第一血管像素值为1、第一背景像素值为0，第一二值图的像素点分为两类：前景血管像素点和背景像素点，前景血管像素点的像素值为1，背景像素点的像素值为0，那么第一血管图形就是由像素值为1的前景血管像素点构成的图像区域。
步骤4，对每个第一二值图中的第一血管图形的面积进行计算，得到对应的第一血管面积数据。
这里，由血管造影操作原理我们可知，在造影剂到达血管起始端-经过血管管体-到达血管结束端这个时间过程中，第一造影图像序列中的各个第一造影图像上的血管形状会随着上述过程发生对应的变化：充盈造影剂前血管形状不突出-充盈造影剂时血管形状突出-充盈造影剂后血管形状不突出，也即是说在对各个第一造影图像进行血管语义分割之后，按时间顺序各个第一造影图像上的血管图形大小也会随着上述过程发生对应的变化：从小逐渐变大，再从大逐渐变小。基于此，我们可知第一造影图像序列中最优的造影图像应从血管图形较大的几张第一造影图像里筛选，而量化血管图形大小的方式有多种，本发明实施例采用计算图形面积也就是第一血管图形的面积的方式来对图形大小进行量化处理，第一血管面积数据就是量化处理的结果也就是每个第一二值图中的第一血管图形的面积。
进一步的，本发明实施例在计算第一血管图形面积时还提供多种算法进行选择，可根据预设的面积计算模式进算法确认：
当面积计算模式为第一模式时，统计每个第一二值图中的第一血管图形的第一二值像素点的数量生成第一像素数量，根据预设的单位像素面积与第一像素数量的乘积得到对应的第一血管面积数据；
当面积计算模式为第二模式时，根据每个第一二值图中的第一血管图形的第一二值像素点进血管边缘拟合处理得到第一血管边缘图形，对第一血管边缘图形进行三角形或四边形片段划分得到多个细分的第一血管图形片段，计算每个第一血管图形片段的面积生成第一片段面积数据，对得到的所有第一片段面积数据进行总和从而得到对应的第一血管面积数据。
步骤5，按从大到小的顺序对所有第一血管面积数据进行排序，并将排序最靠前的第一指定数量个第一血管面积数据所对应的第一造影图像记为第一优选造影图像。
这里，第一血管面积数据越大则第一血管图形越大，第一血管图形越大则所在第一二值图对应的第一造影图像的血管图形越大，也就是说第一血管面积数据从大到小的排序情况也就反映了对应的第一造影图像的血管图形大小排序情况；又如前文所述，第一造影图像序列中最优的造影图像应从血管图形较大的几张第一造影图像里筛选，所以当前步骤将排序最靠前的第一指定数量个第一血管面积数据所对应的第一造影图像记为第一优选造影图像；第一指定数量为预先设定的系统参数，常规可设为10。
例如，第一造影图像序列包含20个第一造影图像，第一指定数量为10，那么第一优选造影图像就是这20个第一造影图像中第一血管面积数据排前10位的10个第一造影图像。
在通过前述步骤1-5对造影图像进行初筛之后，本发明实施例继续通过后续步骤6-9对初筛结果进行进一步的精选筛查处理。
步骤6，在每个第一优选造影图像上，使用对应的第一二值图的第一血管图形进行血管图形标定处理，得到对应的第二血管图形；
这里，因为第一优选造影图像与其对应的第一二值图的大小尺寸是一致的，所以可根据第一二值图的第一血管图形的像素点坐标信息，在第一优选造影图像上也做出相同的血管图形标定结果也即是第二血管图形；
具体包括：步骤61，将与第一优选造影图像对应的第一二值图的第一血管图形的第一二值像素点，记为第一血管像素点；
例如，第一优选造影图像及对应的第一二值图的大小都为512×512，在第一二值图上的第一血管图形由20个第一二值像素点P1-20构成，那么第一二值像素点P1-20也就是第一血管像素点；
步骤62，在第一优选造影图像中，将像素坐标与第一血管像素点对应的第一造影像素点，记为第二血管像素点；
例如，第一优选造影图像对应的第一二值图中的第一血管像素点有20个(第一二值像素点P1-20)，对应的坐标为像素点坐标1-20，那么在第一优选造影图像上对坐标为像素点坐标1-20的第一造影像素点进行标记，就可得到20个第二血管像素点；
步骤63，在第一优选造影图像中，将由第二血管像素点构成的图形，记为第二血管图形。
例如，已经在第一优选造影图像上标记了20个第二血管像素点，那么第二血管图形也就是由这20个第二血管像素点构成的图像区域。
步骤7，对每个第一优选造影图像中的第二血管图形的平均灰度进行计算，得到对应的第一血管灰度数据；
具体包括：对第一优选造影图像的第二血管图形的所有第一造影像素点的灰度值进行提取，得到多个第一灰度值；并对多个第一灰度值，进行加权均值计算得到第一灰度均值；将第一灰度均值作为第一血管灰度数据。
这里，由前文可知，每个第一造影图像都是灰度图，即每个第一优选造影图像都是灰度图；又我们已知造影剂完全充盈血管时造影图像中血管颜色最深，且由灰度值规则可知颜色越深灰度值越低，那么也就是说在多个第一优选造影图像中血管图形的灰度值越低则图形效果越清晰；为了能够从初筛的多个第一优选造影图像中进一步精选出图形清晰度更高的优选图像，本发明实施例会对每个第一优选造影图像中的第二血管图形的灰度信息进行统计；
在具体对每个第一优选造影图像中的第二血管图形的灰度信息进行统计时，为降低干扰，本发明实施例采用平均灰度值的计算方法进行统计；在计算第二血管图形的平均灰度值也就是第一血管灰度数据时，本发明实施例采用加权均值的计算方法进行计算。
步骤8，按从小到大的顺序对所有第一血管灰度数据进行排序，并将排序最靠前的第二指定数量个第一血管灰度数据所对应的第一优选造影图像记为第二优选造影图像。
这里，第一血管灰度数据越小则第二血管图形越清晰，第二血管图形越清晰则所在第一优选造影图像的质量越高，也就是说第一血管灰度数据从小到大的排序情况反映了对应的第一优选造影图像的血管清晰的排序情况；所以当前步骤将排序最靠前的第二指定数量个第一优选造影图像记为第二优选造影图像；第二指定数量为预先设定的系统参数，常规可设为3。
例如，第一优选造影图像有10个，第二指定数量为3，与第一血管灰度数据排序对应的第一优选造影图像的排序为：第4个第一优选造影图像、第5个第一优选造影图像、第6个第一优选造影图像、第3个第一优选造影图像、第7个第一优选造影图像、第2个第一优选造影图像、第8个第一优选造影图像、第1个第一优选造影图像、第9个第一优选造影图像、第10个第一优选造影图像；那么，通过本步骤从上述排序中取前3位的第一优选造影图像作为第二优选造影图像，则3个第二优选造影图像分别是：第4个、第5个和第6个第一优选造影图像。
步骤9，由第二优选造影图像组成优选造影图像序列。
这里，优选造影图像序列实际就是对步骤1获取的第一造影图像序列，通过步骤1-8的自动优选处理，得到的最优造影图像筛选结果。
图2为本发明实施例二提供的一种对造影图像进行优选的处理装置的模块结构图，该装置可以为实现本发明实施例方法的终端设备或者服务器，也可以为与上述终端设备或者服务器连接的实现本发明实施例方法的装置，例如该装置可以是上述终端设备或者服务器的装置或芯片系统。如图2所示，该装置包括：获取模块201、血管语义分割模块202、第一优选图像筛查模块203、第二优选图像筛查模块204和优选图像整合模块205。
获取模块201用于获取第一造影图像序列；第一造影图像包括多个连续的第一造影图像。
血管语义分割模块202用于使用训练成熟的像素级血管语义分割模型，对每个第一造影图像进行血管语义分割处理，得到对应的第一二值图；第一二值图包括多个第一二值像素点。
第一优选图像筛查模块203用于在每个第一二值图中，将像素值为预设的第一血管像素值的第一二值像素点构成的图形，记为第一血管图形；并对每个第一二值图中的第一血管图形的面积进行计算，得到对应的第一血管面积数据；并按从大到小的顺序对所有第一血管面积数据进行排序，并将排序最靠前的第一指定数量个第一血管面积数据所对应的第一造影图像记为第一优选造影图像。
第二优选图像筛查模块204用于在每个第一优选造影图像上，使用对应的第一二值图的第一血管图形进行血管图形标定处理，得到对应的第二血管图形；并对每个第一优选造影图像中的第二血管图形的平均灰度进行计算，得到对应的第一血管灰度数据；并按从小到大的顺序对所有第一血管灰度数据进行排序，并将排序最靠前的第二指定数量个第一血管灰度数据所对应的第一优选造影图像记为第二优选造影图像。
优选图像整合模块205用于将第二优选造影图像组成优选造影图像序列。
本发明实施例提供的一种对造影图像进行优选的处理装置，可以执行上述方法实施例中的方法步骤，其实现原理和技术效果类似，在此不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，获取模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，ASIC)，或，一个或多个数字信号处理器(Digital Signal Processor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(System-on-a-chip，SOC)的形式实现。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本发明实施例所描述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线路(Digital Subscriber Line，DSL))或无线(例如红外、无线、蓝牙、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
图3为本发明实施例三提供的一种电子设备的结构示意图。该电子设备可以为前述的终端设备或者服务器，也可以为与前述终端设备或者服务器连接的实现本发明实施例方法的终端设备或服务器。如图3所示，该电子设备可以包括：处理器301(例如CPU)、存储器302、收发器303；收发器303耦合至处理器301，处理器301控制收发器303的收发动作。存储器302中可以存储各种指令，以用于完成各种处理功能以及实现本发明上述实施例中提供的方法和处理过程。优选的，本发明实施例涉及的电子设备还包括：电源304、系统总线305以及通信端口306。系统总线305用于实现元件之间的通信连接。上述通信端口306用于电子设备与其他外设之间进行连接通信。
在图3中提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失性存储器(Non-Volatile Memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器CPU、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
需要说明的是，本发明实施例还提供一种计算机可读存储介质，该存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中提供的方法和处理过程。
本发明实施例还提供一种运行指令的芯片，该芯片用于执行上述实施例中提供的方法和处理过程。
本发明实施例提供了一种对造影图像进行优选的处理方法、装置、电子设备及计算机可读存储介质，使用基于Unet++的像素级血管语义分割模型对造影图像序列的每张造影图像进行血管分割处理得到对应的二值图，在二值图的基础上对血管进行面积计算得到对应的血管面积数据，选择血管面积数据较大的多张造影图像作为造影图像优选的初筛结果，在初筛结果的基础上继续对血管图形的灰度值进行计算，并选择灰度值较小的多张造影图像作为造影图像优选的精选结果。通过本发明，解决了常规情况下依靠人工操作来筛选造影图像的问题，提高了造影图像优选操作的操作效率、优选精确度和优选稳定性。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种对造影图像进行优选的处理方法，其特征在于，所述方法包括：
获取第一造影图像序列；所述第一造影图像包括多个连续的第一造影图像；
使用训练成熟的像素级血管语义分割模型，对每个所述第一造影图像进行血管语义分割处理，得到对应的第一二值图；所述第一二值图包括多个第一二值像素点；
在每个所述第一二值图中，将像素值为预设的第一血管像素值的所述第一二值像素点构成的图形，记为第一血管图形；
对每个所述第一二值图中的所述第一血管图形的面积进行计算，得到对应的第一血管面积数据；
按从大到小的顺序对所有所述第一血管面积数据进行排序，并将排序最靠前的第一指定数量个所述第一血管面积数据所对应的所述第一造影图像记为第一优选造影图像；
在每个所述第一优选造影图像上，使用对应的所述第一二值图的所述第一血管图形进行血管图形标定处理，得到对应的第二血管图形；
对每个所述第一优选造影图像中的所述第二血管图形的平均灰度进行计算，得到对应的第一血管灰度数据；
按从小到大的顺序对所有所述第一血管灰度数据进行排序，并将排序最靠前的第二指定数量个所述第一血管灰度数据所对应的所述第一优选造影图像记为第二优选造影图像；
由所述第二优选造影图像组成优选造影图像序列。
2.根据权利要求1所述的对造影图像进行优选的处理方法，其特征在于，
所述第一造影图像包括M1×N1个第一造影像素点，M1为列数，N1为行数；所述第一造影像素点的像素值类型为灰度值类型；
所述第一二值图包括M2×N2个所述第一二值像素点，M2为列数且与M1相等，N2为行数且与N1相等；所述第一二值像素点的像素值为所述第一血管像素值或预设的第一背景像素值。
3.根据权利要求1所述的对造影图像进行优选的处理方法，其特征在于，所述使用训练成熟的像素级血管语义分割模型之前，所述方法还包括：
基于Unet++的网络架构对所述像素级血管语义分割模型的网络结构进行构建；并从预设的训练用造影图像集中提取训练-标注造影图像对，对所述像素级血管语义分割模型进行训练；
在对所述像素级血管语义分割模型进行训练时，对每组所述训练-标注造影图像对，分别进行图像旋转、缩放、平移、水平翻转和错切变换处理，从而得到多个新增训练-标注造影图像对；并将所述多个新增训练-标注造影图像对，作为对应的所述训练-标注造影图像对的增强训练数据集，用于所述像素级血管语义分割模型的训练。
4.根据权利要求2所述的对造影图像进行优选的处理方法，其特征在于，所述在每个所述第一优选造影图像上，使用对应的所述第一二值图的所述第一血管图形进行血管图形标定处理，得到对应的第二血管图形，具体包括：
将与所述第一优选造影图像对应的所述第一二值图的所述第一血管图形的所述第一二值像素点，记为第一血管像素点；
在所述第一优选造影图像中，将像素坐标与所述第一血管像素点对应的所述第一造影像素点，记为第二血管像素点；
在所述第一优选造影图像中，将由所述第二血管像素点构成的图形，记为所述第二血管图形。
5.根据权利要求2所述的对造影图像进行优选的处理方法，其特征在于，所述对每个所述第一优选造影图像中的所述第二血管图形的平均灰度进行计算，得到对应的第一血管灰度数据，具体包括：
对所述第一优选造影图像的所述第二血管图形的所有所述第一造影像素点的灰度值进行提取，得到多个第一灰度值；
对多个所述第一灰度值，进行加权均值计算得到第一灰度均值；
将所述第一灰度均值作为所述第一血管灰度数据。
6.一种用于实现权利要求1-5任一项所述的对造影图像进行优选的处理方法步骤的装置，其特征在于，所述装置包括：获取模块、血管语义分割模块、第一优选图像筛查模块、第二优选图像筛查模块和优选图像整合模块；
所述获取模块用于获取第一造影图像序列；所述第一造影图像包括多个连续的第一造影图像；
所述血管语义分割模块用于使用训练成熟的像素级血管语义分割模型，对每个所述第一造影图像进行血管语义分割处理，得到对应的第一二值图；所述第一二值图包括多个第一二值像素点；
所述第一优选图像筛查模块用于在每个所述第一二值图中，将像素值为预设的第一血管像素值的所述第一二值像素点构成的图形，记为第一血管图形；并对每个所述第一二值图中的所述第一血管图形的面积进行计算，得到对应的第一血管面积数据；并按从大到小的顺序对所有所述第一血管面积数据进行排序，并将排序最靠前的第一指定数量个所述第一血管面积数据所对应的所述第一造影图像记为第一优选造影图像；
所述第二优选图像筛查模块用于在每个所述第一优选造影图像上，使用对应的所述第一二值图的所述第一血管图形进行血管图形标定处理，得到对应的第二血管图形；并对每个所述第一优选造影图像中的所述第二血管图形的平均灰度进行计算，得到对应的第一血管灰度数据；并按从小到大的顺序对所有所述第一血管灰度数据进行排序，并将排序最靠前的第二指定数量个所述第一血管灰度数据所对应的所述第一优选造影图像记为第二优选造影图像；
所述优选图像整合模块用于将第二优选造影图像组成优选造影图像序列。
7.一种电子设备，其特征在于，包括：存储器、处理器和收发器；
所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现权利要求1-5任一项所述的方法步骤；
所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行权利要求1-5任一项所述的方法的指令。
CN202111032821.XA 2021-09-03 2021-09-03 一种对造影图像进行优选的处理方法和装置 Active CN113723418B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111032821.XA CN113723418B (zh) 2021-09-03 2021-09-03 一种对造影图像进行优选的处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111032821.XA CN113723418B (zh) 2021-09-03 2021-09-03 一种对造影图像进行优选的处理方法和装置

Publications (2)

Publication Number Publication Date
CN113723418A CN113723418A (zh) 2021-11-30
CN113723418B true CN113723418B (zh) 2023-08-04

Family

ID=78681522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111032821.XA Active CN113723418B (zh) 2021-09-03 2021-09-03 一种对造影图像进行优选的处理方法和装置

Country Status (1)

Country Link
CN (1) CN113723418B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830308B (zh) * 2024-03-05 2024-05-10 西安交通大学医学院第一附属医院 一种介入手术前后血管造影智能对比分析方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101059869A (zh) * 2007-05-14 2007-10-24 华中科技大学 在数字冠脉造影图像中分割血管数据的方法
CN110197493A (zh) * 2019-05-24 2019-09-03 清华大学深圳研究生院 眼底图像血管分割方法
CN110706246A (zh) * 2019-10-15 2020-01-17 上海微创医疗器械（集团）有限公司 一种血管图像分割方法、装置、电子设备和存储介质
CN110717888A (zh) * 2019-09-06 2020-01-21 天津大学 一种血管内光学相干层析成像血管壁内轮廓自动识别方法
CN112465834A (zh) * 2020-11-26 2021-03-09 中科麦迪人工智能研究院(苏州)有限公司 一种血管分割方法及装置
CN113205537A (zh) * 2021-05-17 2021-08-03 广州大学 基于深度学习的血管图像分割方法、装置、设备及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201903708A (zh) * 2017-06-06 2019-01-16 國立陽明大學 數位減影血管攝影圖像的分析方法與系統
US10902608B2 (en) * 2019-05-23 2021-01-26 Microsoft Technology Licensing, Llc Segmentation for holographic images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101059869A (zh) * 2007-05-14 2007-10-24 华中科技大学 在数字冠脉造影图像中分割血管数据的方法
CN110197493A (zh) * 2019-05-24 2019-09-03 清华大学深圳研究生院 眼底图像血管分割方法
CN110717888A (zh) * 2019-09-06 2020-01-21 天津大学 一种血管内光学相干层析成像血管壁内轮廓自动识别方法
CN110706246A (zh) * 2019-10-15 2020-01-17 上海微创医疗器械（集团）有限公司 一种血管图像分割方法、装置、电子设备和存储介质
CN112465834A (zh) * 2020-11-26 2021-03-09 中科麦迪人工智能研究院(苏州)有限公司 一种血管分割方法及装置
CN113205537A (zh) * 2021-05-17 2021-08-03 广州大学 基于深度学习的血管图像分割方法、装置、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Faster-RCNN的正常数字减影血管造影脑血管检测与时相分期研究;石珂珂等;《中国临床神经科学》;第28卷(第4期);全文 *

Also Published As

Publication number Publication date
CN113723418A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
WO2021104056A1 (zh) 一种肿瘤自动分割系统、方法及电子设备
CN111369563B (zh) 一种基于金字塔空洞卷积网络的语义分割方法
CN108198184B (zh) 造影图像中血管分割的方法和系统
CN110298844B (zh) X光造影图像血管分割与识别方法及装置
CN111369542B (zh) 血管标记方法、图像处理系统和存储介质
CN110706246A (zh) 一种血管图像分割方法、装置、电子设备和存储介质
CN113936011B (zh) 基于注意力机制的ct影像肺叶图像分割系统
CN112529839A (zh) 一种核磁共振图像中颈动脉血管中心线的提取方法及系统
CN110728666B (zh) 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统
CN113554665A (zh) 一种血管分割方法及装置
CN111915691B (zh) 基于神经网络的图像处理系统、方法、终端、及介质
CN110866870B (zh) 一种医学图像任意倍数放大的超分辨处理方法
CN113723418B (zh) 一种对造影图像进行优选的处理方法和装置
CN114419500A (zh) 基于心脏超声视频筛选舒张期和收缩期图像的方法和装置
CN111080531A (zh) 一种水下鱼类图像的超分辨率重建方法、系统及装置
CN113658188A (zh) 一种基于改进Unet模型的溶液结晶过程图像语义分割方法
CN114119455B (zh) 一种基于目标检测网络定位血管狭窄部位的方法和装置
CN113658196A (zh) 红外图像中船舶的检测方法、装置、电子设备和介质
CN116721091A (zh) 一种布匹瑕疵检测方法、装置及可读介质
CN111339993A (zh) 一种x射线图像金属检测方法和系统
CN115810018A (zh) Ct图像血管树、冠状动脉树的分割结果优化方法、系统
CN115564647A (zh) 一种用于图像语义分割的新型超分模块和上采样方法
CN115641264A (zh) 一种基于cuda的图像预处理方法及图像预处理系统
CN115131361A (zh) 目标分割模型的训练、病灶分割方法及装置
CN113643263A (zh) 一种上肢骨定位与前臂骨融合畸形的识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant