CN115482223A - 图像处理方法、装置、存储介质及电子设备 - Google Patents

图像处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN115482223A
CN115482223A CN202211174774.7A CN202211174774A CN115482223A CN 115482223 A CN115482223 A CN 115482223A CN 202211174774 A CN202211174774 A CN 202211174774A CN 115482223 A CN115482223 A CN 115482223A
Authority
CN
China
Prior art keywords
image
blood vessel
detected
target
prediction model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211174774.7A
Other languages
English (en)
Inventor
刘俊
张欢
陈宽
王少康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Infervision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Medical Technology Co Ltd filed Critical Infervision Medical Technology Co Ltd
Priority to CN202211174774.7A priority Critical patent/CN115482223A/zh
Publication of CN115482223A publication Critical patent/CN115482223A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种图像处理方法、装置、存储介质及电子设备，通过获取包括待检测目标的血管图像，将所述血管图像与预设的血管分段图像输入经过训练的预测模型中，经由所述预测模型输出预测结果，实现了不依赖于人工经验对血管斑块进行识别。之后，对所述预测结果进行后处理，以得到所述血管图像中所述待检测目标的位置和类型，通过后处理可以进一步精确识别血管斑块的位置和类别，为临床工作提供了判断依据，保证了待检测目标诊断准确性的同时节省了大量的人力成本。

Description

图像处理方法、装置、存储介质及电子设备
技术领域
本申请涉及医疗技术领域，具体涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
血管斑块检测在血管造影(CTA,Computed Tomography Angiography)临床工作和产品研发中是比较核心的中间工作，依赖于前序的血管分割和分段的算法结果，也是后续血管狭窄检测的前序工作。目前，医生常规判断斑块的方法，是在曲面重建(CPR,curvedplanar reformation)和拉直图像上多次调节窗宽窗位进行图像观察，从而确定血管周围是否存在斑块以及斑块的类别。在临床医学中，斑块主要分三类，为钙化斑块、混合斑块和软斑块，尤其混合斑块和软斑块的识别和诊断费时费力，具有较大的医生偏好，也就是说，较依赖临床医生的工作经验，不同医生的诊断结果也具有较大差异性。
发明内容
有鉴于此，本申请实施例提供了一种图像处理方法、装置、存储介质及电子设备，能够解决血管斑块检测费时费力且依赖人工经验的问题。
本申请的第一方面提供了一种图像处理方法，包括：
获取包括待检测目标的血管图像；
将所述血管图像与预设的血管分段图像输入经过训练的预测模型中，经由所述预测模型输出预测结果，其中，所述血管分段图像用于对不同部位的血管进行分段标识，所述预测模型用于对所述待检测目标进行识别；
对所述预测结果进行分类和筛选，以得到所述血管图像中所述待检测目标的位置和类型。
可选的，在所述将所述血管图像与预设的血管分段图像输入经过训练的预测模型中之前，还包括：
分别将所述血管图像与所述血管分段图像重采样至预设尺寸，并将经过重采样的所述血管图像与所述血管分段图像进行拼接，以将拼接后的所述血管图像与所述血管分段图像输入所述预测模型。
可选的，所述对所述预测结果进行分类和筛选，以得到所述血管图像中所述待检测目标的位置和类型，包括：
将所述预测结果映射至所述血管图像中，得到包括预测检测目标的位置标识和类型标识的热图；
基于预设阈值和所述类型标识对所述热图中的预测检测目标进行标记，得到候选待检测目标；
计算所述候选待检测目标所在位置的连通域，从所述候选待检测目标中删除对应的连通域面积小于预设连通域阈值的候选待检测目标，得到所述血管图像中所述待检测目标的位置和类型。
可选的，在所述将所述血管图像与预设的血管分段图像输入经过训练的预测模型中之前，还包括：
计算所述血管分段图像中目标分析范围的最小外接框；
根据所述最小外接框对所述血管图像和所述血管分段图像进行截取，以将截取后的所述血管图像和所述血管分段图像输入所述预测模型。
可选的，所述预测模型的训练方法包括：
获取血管样本图像和血管分段样本图像；
分别对所述血管样本图像和血管分段样本图像进行重采样；
对经过所述重采样的所述血管样本图像和所述血管分段样本图像进行数据增强；
根据经过数据增强的所述血管样本图像和所述血管分段样本图像对所述预测模型进行训练；
响应于达到训练截止条件，停止对所述预测模型的训练。
可选的，所述数据增强包括对所述血管样本图像和所述血管分段样本图像进行随机裁剪、随机旋转、随机亮度或高斯随机噪音处理中的至少一个。
可选的，所述根据经过数据增强的所述血管样本图像和所述血管分段样本图像对所述预测模型进行训练，包括：
将包括所述血管样本图像和所述血管分段样本图像的训练样本划分为正样本和负样本；
基于所述正样本和负样本采用多种损失函数对所述预测模型进行训练。
可选的，所述多种损失函数至少包括交叉熵损失函数、Dice损失函数和局部损失函数，其中，所述交叉熵损失函数、所述Dice损失函数和所述局部损失函数的权重分别为10：3：3。
可选的，所述预测模型为基于稀疏卷积的神经网络模型，在所述预测模型的每个残差模块的跳跃层和全连接层设置DropBlock模块。
本申请的第二方面提供了一种图像处理装置，包括：
获取模块，被配置为获取包括待检测目标的血管图像；
预测模块，被配置为将所述血管图像与预设的血管分段图像输入经过训练的预测模型中，经由所述预测模型输出预测结果；
处理模块，被配置为对所述预测结果进行后处理，以得到所述血管图像中所述待检测目标的位置和类型。
本申请的第三方面提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述第一方面所述的图像处理方法。
本申请的第四方面提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器，其中，所述处理器用于执行上述第一方面所述的图像处理方法。
本申请提供了一种图像处理方法、装置、存储介质及电子设备，通过获取包括待检测目标的血管图像，将所述血管图像与预设的血管分段图像输入经过训练的预测模型中，经由所述预测模型输出预测结果，实现了不依赖于人工经验对血管斑块进行识别。之后，对所述预测结果进行后处理，以得到所述血管图像中所述待检测目标的位置和类型，通过后处理可以进一步精确识别血管斑块的位置和类别，为临床工作提供了判断依据，保证了待检测目标诊断准确性的同时节省了大量的人力成本。
附图说明
图1是本申请一示例性实施例提供的一种实施环境的示意图。
图2是本申请一示例性实施例提供的图像处理方法的流程示意图。
图3a是本申请一示例性实施例提供的ResUnet模型中的原残差模块示意图。
图3b是本申请一示例性实施例提供的在ResUnet模型中添加了DropBlock模块的残差模块示意图。
图4是本申请一示例性实施例提供的后处理方法的流程示意图。
图5是本申请一示例性实施例提供的血管分段图像示意图。
图6是本申请一示例性实施例提供的对血管周围区域进行定位的流程示意图。
图7是本申请一示例性实施例提供的图像处理装置的结构示意图。
图8是本申请一示例性实施例提供的用于图像处理的电子设备的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
申请概述
为了便于理解，下面先对本申请实施例可能涉及的相关术语进行简单介绍。
数字X线摄影：数字X线摄影术(DR,digital radiography)是近期发展的一项新的数字成像技术，与计算机X线摄影(CR,computed radiography)有类似用途，但基本原理和结构均不同。DR是在数字荧光摄影(DF,digital fluorography)基础上发展的，它以影像增强管为信息载体，接受透过人体的X线信息，经视频摄像机采集后转换为数字信号，再行数字化。除此之外，DR不与其他设备匹配而需使用专门设备，CR则可在任何X线成像设备上用成像板采集信息。DR同CR一样，可做图像的多种后处理，可进行图像传送和储存。
电子计算机断层扫描：电子计算机断层扫描(CT,Computed Tomography)是利用精确准直的X线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描，具有扫描时间快，图像清晰等特点，可用于多种疾病的检查。根据所采用的射线不同可分为X射线CT(X-CT)以及γ射线CT(γ-CT)等。
CT血管造影术：即CT血管成像，是一种利用计算机三维重建方法合成的非创伤性血管造影术。它利用螺旋CT的快速扫描技术，在短时间内，即造影剂仍浓集于血管内时完成一定范围内的横断面扫描。将采集的图像资料送到图像工作站或CT机的图像重建功能区进行图像重建。重建技术一般采用最大密度投影法(MIP,Maximal Intensity Projection)或容积再现法(VR,Volume Rendering)，通过图像显示阈值的调整即可得到只有连续清晰的血管影而无周围的组织结构影。选择合适的重建方法和显示阈值还可同时获得显示血管和组织结构的三维图像，并可利用计算机软件对其进行任意角度的观察和任意方向的切割。
血管造影CTA：CTA优点是非创伤性的血管造影术，虽然CTA需要注射造影剂但它不需要穿刺和血管插管技术，危险性极小，除造影剂的不良反应外几乎无其他的并发症。CTA在了解血管情况的同时，还可了解血管和周围组织或病灶的关系，这是普通血管造影所无法实现的。但是CTA也有它的不足，如小血管的显示仍不清楚、有时存在图像重建的伪影以及不能实现动静脉的连续动态显示等。
深度学习：深度学习(DL,Deep Learning)是机器学习的技术和研究领域之一，通过建立具有阶层结构的人工神经网络(ANNs,Artifitial Neural Networks)，在计算系统中实现人工智能。由于阶层ANN能够对输入信息进行逐层提取和筛选，因此深度学习具有表征学习能力，可以实现端到端的监督学习和非监督学习。深度学习所使用的阶层ANN具有多种形态，其阶层的复杂度被通称为“深度”，按构筑类型，深度学习的形式包括多层感知器、卷积神经网络、循环神经网络、深度置信网络和其它混合构筑。深度学习使用数据对其构筑中的参数进行更新以达成训练目标，该过程被通称为“学习”，学习的常见方法为梯度下降算法及其变体，一些统计学习理论被用于学习过程的优化。在应用方面，深度学习被用于对复杂结构和大样本的高维数据进行学习，按研究领域包括计算机视觉、自然语言处理、生物信息学、自动控制等，且在人像识别、机器翻译、自动驾驶等现实问题中取得了成功。深度学习提出了一种让计算机自动学习出模式特征的方法，并将特征学习融入到了建立模型的过程中，从而减少了人为设计特征造成的不完备性。
卷积神经网络：卷积神经网络(CNN,Convolutional Neural Networks)是一类包含卷积计算且具有深度结构的前馈神经网络(Feed forward Neural Networks)，是深度学习(deep learning)的代表算法之一。卷积神经网络仿造生物的视知觉(visualperception)机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征，例如像素和音频进行学习，有稳定的结果且对数据没有额外的特征工程要求。
图像分割(Segmentation)：分割包括语义分割(semantic segmentation)和实例分割(instance segmentation)，前者是对背景分离的拓展，要求分离开具有不同语义的图像部分，而后者是检测任务的拓展，要求描述出目标的轮廓(相比检测框更为精细)。分割是对图像的像素级描述，它赋予每个像素类别意义，适用于理解要求较高的场景，如无人驾驶中对道路和非道路的分割。
示例性系统
图1是本申请实施例所提供的一种实施环境的示意图。该实施环境包括CT扫描仪130、服务器120和计算机设备110。计算机设备110可以从用于对人体组织进行X线扫描的CT扫描仪130处获取多套医学图像，同时，计算机设备110还可以与服务器120之间通过通信网络相连。可选的，通信网络是有线网络或无线网络。
计算机设备110可以是通用型计算机或者由专用的集成电路组成的计算机装置等，本申请实施例对此不做限定。例如，计算机设备110可以是平板电脑等移动终端设备，或者也可以是个人计算机(PC,Personal Computer)，比如膝上型便携计算机和台式计算机等等。本领域技术人员可以知晓，上述计算机设备110的数量可以一个或多个，其类型可以相同或者不同。比如上述计算机设备110可以为一个，或者上述计算机设备110为几十个或几百个，或者更多数量。本申请实施例对计算机设备110的数量和设备类型不加以限定。
在一些可选的实施例中，计算机设备110从CT扫描仪130获取多套医学样本图像，一套医学样本图像包括CTA样本图像，计算机设备110通过多套医学样本图像对神经网络进行训练，以得到用于对一套内的CTA样本图像进行预测的网络模型。
服务器120是一台服务器，或者由若干台服务器组成，或者是一个虚拟化平台，或者是一个云计算服务中心。
在一些可选的实施例中，计算机设备110将其从CT扫描仪130获取到的多套医学样本图像发送给服务器120，一套医学样本图像包括CTA样本图像，服务器120通过多套医学样本图像对神经网络进行训练，以得到用于对CTA样本图像进行预测的网络模型。
示例性方法
图2是本申请实施例提供的图像处理方法的流程示意图。图2的方法由计算设备，例如，服务器，来执行。如图2所示，该图像处理方法包括如下内容。
步骤202、获取包括待检测目标的血管图像。所述待检测目标为血管中待分析和识别的目标，示例性的，所述待检测目标可以为待检测的血管中的病灶或支架等，病灶可以为血管斑块。血管图像为通过医疗影像设备获得的针对某一患者的某一部位的血管CTA图像或核磁共振图像等医疗影像，例如头颈血管CTA图像或冠脉血管CTA图像等。本实施例中，对于待检测目标以及血管图像不做具体限制。
步骤204、将所述血管图像与预设的血管分段图像输入经过训练的预测模型中，经由所述预测模型输出预测结果，其中，所述血管分段图像用于对不同部位的血管进行分段标识，所述预测模型用于对所述待检测目标进行识别。预测模型为神经网络模型，通过训练好的预测模型可以得到所述血管图像中的待检测目标的预测结果，实现对于血管中待检测目标的自动识别，避免依赖人工经验判断产生的误差。
需要说明的是，本实施例中的血管分段图像是前序工作中获取的，血管分段图像主要用于对血管图像中的血管和待检测目标进行预定位。
步骤206、对所述预测结果进行分类和筛选，以得到所述血管图像中所述待检测目标的位置和类型。
经由步骤204中得到的预测结果中可能包含一些假阳性的判定结果，例如预测结果中判断血管中某一位置为血管斑块，但其真实标签并不是血管斑块。这时，需要对预测结果进行后处理，以进一步精确定位血管中的待检测目标，排除非检测目标的干扰影响，提升对于待检测目标判定的准确性。
在一些实施例中，在将所述血管图像与预设的血管分段图像输入经过训练的预测模型中之前，还包括：分别将所述血管图像与所述血管分段图像重采样至预设尺寸，并将经过重采样的所述血管图像与所述血管分段图像进行拼接，以将拼接后的所述血管图像与所述血管分段图像输入所述预测模型。
具体的，对于所述血管图像与所述血管分段图像进行重采样是为了统一图像尺寸，此外，本实施例中重采样后选用了大分辨率图像，是为了通过提高分辨率进而提升待检测目标的检测效果，在实际应用过程中，可以基于图像需求和硬件设备条件选取合适的重采样尺寸。示例性的，本实施例中获取的初始的血管图像与血管分段图像尺寸为810×512×512，重采样后的图像尺寸统一为704×256×448。输入预测模型之前，根据预测模型对于输入数据的要求，需要将血管图像与血管分段图像进行拼接，之后再输入至预测模型中。
在一些实施例中，所述预测模型为基于稀疏卷积的神经网络模型，在所述预测模型的每个残差模块的跳跃层和全连接层设置DropBlock模块。
具体的，由于血管中的待检测目标具有稀疏性特征，例如，血管中斑块具有沿血管生长的自然特点，天然存在稀疏的特性。因此，预测模型采用基于稀疏卷积的神经网络模型，对于具有稀疏特性的待检测目标能够得到较好的预测结果。
本实施例中的预测模型为ResUnet模型，为了防止或缓解模型过拟合，在ResUnet模型中每个残差模块中的跳跃skip层和全连接concat层添加DropBlock模块，参考图3a和图3b，图3a示出了ResUnet模型中的原残差模块，分别包括第一卷积层301、第二卷积层302和第三卷积层303，每个卷积层的参数数目不同，图3b示出了在ResUnet模型中添加了DropBlock模块的残差模块，分别包括第一卷积层301、第二卷积层302、第三卷积层303、第一DropBlock模块304和第二DropBlock模块305。DropBlock是一种结构化的Dropout形式，Dropout被广泛地用作全连接层的正则化技术。同时，在跳跃连接中应用DropBlock可以提高精度。本实施例中DropBlock采用丢弃概率为0.7，核大小为7的参数，也即卷积层随机以0.7的概率丢弃该特征层中的核为7的block块。
需要说明的是，通过对待检测目标进行稀疏化建模，节省了不必要的显存能耗，相对于传统卷积来说，需要更少的显存即可完成相同的卷积操作。降低了模型对于显存的要求，进而降低了硬件成本，同时，节省的显存可以用于提升输入的血管图像以及血管分段图像的分辨率，进一步提升预测模型的预测效果。
在一些实施例中，所述对所述预测结果进行分类和筛选，以得到所述血管图像中所述待检测目标的位置和类型，参考图4，包括以下步骤：
步骤402、将所述预测结果映射至所述血管图像中，得到包括预测检测目标的位置标识和类型标识的热图。在热图中，概率越高代表此位置检测目标存在的概率越大。对于预测检测目标的概率，在本实施例中，所述预测模型通过softmax函数进行概率化，预测模型输出5个通道，分别对应不同的预测检测目标的类型。例如，当待检测目标为血管斑块时，第0维代表非血管背景区域，第1维代表血管背景区域，第2维代表钙化斑块，第3维代表非钙化斑块，第4维代表混合斑块。
步骤404、基于预设阈值和所述类型标识对所述热图中的预测检测目标进行标记，得到候选待检测目标。所述预设阈值是通过测试得到的，具体为，通过在验证数据集上进行测试，得到预测模型输入的热图，通过不同的阈值进行热图二值化，可以计算出F1 Score数值，使得F1 Score最大的概率阈值被选择为最终的预设阈值。其中，F1 Score数值是统计学中用来衡量二分类模型精确度的一种指标。当某一位置的概率超过预设阈值时，认为此位置的预测检测目标为真实的检测目标，将其标记为1，当概率小于预设阈值时，则认为该位置不存在预测检测目标，为干扰项。对全部的预测检测目标进行标记后，标记为1的全部预测检测目标组成候选待检测目标。通过预设阈值的设置可以排除干扰项的影响，提升对于候选待检测目标识别的准确性。
步骤406、计算所述候选待检测目标所在位置的连通域，从所述候选待检测目标中删除对应的连通域面积小于预设连通域阈值的候选待检测目标，得到所述血管图像中所述待检测目标的位置和类型。对于得到的候选待检测目标，仍然可能包含一些非检测目标，预测模型没有准确识别出该位置的图像，将干扰项误认为是待检测目标。因此，在本实施例中，采用计算连通域的方式以排除这些非检测目标。对于特定类型的待检测目标，其面积通常在一定的范围内，可以通过面积的检测进而排除一些非检测目标。通过计算每个候选待检测目标的面积，将面积小于预设连通域阈值的候选待检测目标进行剔除，进而得到所述血管图像中的待检测目标。需要说明的是，本实施例中最终输出的为血管图像中待检测目标的掩模mask以及每个待检测目标的类型。示例性的，最终输出的为血管图像中血管斑块掩模以及每个斑块的类型，包括钙化斑块、非钙化斑块和混合斑块。
在一些实施例中，在所述将所述血管图像与预设的血管分段图像输入经过训练的预测模型中之前，还包括：
计算所述血管分段图像中目标分析范围的最小外接框；
根据所述最小外接框对所述血管图像和所述血管分段图像进行截取，以将截取后的所述血管图像和所述血管分段图像输入所述预测模型。
具体的，本实施例中，以待检测目标为头颈血管斑块进行说明。如图5所示的血管分段图像示意图，基于主动脉弓将头颈分为3个区域，其中，最下面是主动脉弓，中间部分为颈部动脉，最上面是颅内动脉。本实施例中主要针对颈动脉部分的斑块进行检测，斑块存在与血管壁上，在CTA图像的血管附近，血管分段图像主要用于颈动脉血管和斑块的预定位。对于颈动脉血管斑块的检测，不需要获取的原始的全部血管图像和血管分段图像，可以针对性的截取颈动脉部分图像即可。基于血管分段图像计算颈动脉血管的最小外接框，并选择该框范围内的血管图像和血管分段图像。为了避免边缘对于后续模型的影响，通常会常量扩大外接框，例如将外接框的上下左右均外扩10个像素点，若外接框超出了图像的范围，会以图像的最小边界作为外接框范围。通过外接框对血管图像和血管分段图像进行截取后，得到的图像尺寸为448×192×344，为了提升预测的效果，在输入至预测模型前，对截取的血管图像和血管分段图像进行重采样至704×256×448。
在一些实施例中，所述预测模型的训练方法包括：
获取血管样本图像和血管分段样本图像。血管样本图像中包括待检测目标，所述待检测目标为血管中待分析和识别的目标，示例性的，所述待检测目标可以为待检测的血管中的病灶或支架等，病灶可以为血管斑块。血管样本图像为通过医疗影像设备获得的针对某一患者的某一部位的血管CTA图像或核磁共振图像等医疗影像，例如头颈血管CTA图像或冠脉血管CTA图像等。本实施例中，对于待检测目标以及血管样本图像不做具体限制。血管分段样本图像是前序工作中获取的，血管分段样本图像主要用于对血管图像中的血管和待检测目标进行预定位。
对所述血管样本图像和血管分段样本图像进行重采样。对于所述血管样本图像与所述血管分段样本图像进行重采样是为了统一图像尺寸，此外，本实施例中重采样后选用了大分辨率，是为了通过提高分辨率进而提升待检测目标的检测效果，在实际应用过程中，可以基于图像需求和硬件设备条件选取合适的重采样尺寸。示例性的，本实施例中获取的初始的血管图像与血管分段图像尺寸为810×512×512，重采样后的图像尺寸统一为704×256×448。
对经过所述重采样的所述血管样本图像和所述血管分段样本图像进行数据增强。为了提高预测模型的泛化能力，所述数据增强包括对所述血管样本图像和所述血管分段样本图像进行随机裁剪、随机旋转、随机亮度或高斯随机噪音处理中的至少一个。示例性的，待检测目标为头颈血管斑块时，由于斑块主要生长在血管附近，血管的大小不同，对图像进行随机裁剪，可以增加图像数据的多样性。血管图像中，由于对患者拍片角度不同，血管的方向具有差异性，随机旋转可以增加图像数据在血管方向上的多样性。当血管图像为CTA图像时，患者拍片注入造影剂之后的时长或患者血流速度的差异均会造成血管显示亮度不同，进而导致预测模型对血管斑块的检测结果具有较大差异性，随机添加图像亮度，可以增加图像数据在亮度方面的多样性。由于颈动脉斑块生长在血管壁上，即沿血管生长，预测模型容易学习到血管的几何形变等特征，对血管附近的斑块特征学习具有一定难度。为了引导预测模型学习血管附近的斑块真实特征，在血管附近添加高斯随机噪音。图6示出了在对血管周围区域进行定位的过程示意图。例如，首先将血管分段样本图像转化为没有染色的血管数据，记为vessel1。为避免血管数据和原始血管不匹配，分别对vessel1进行膨胀和腐蚀的形态学处理，比如说，对vessel1分别进行核为9的膨胀和核为3的腐蚀，得到膨胀后的血管数据vessel2和腐蚀后的血管数据vessel3。可得到血管周围区域的掩模mask为vessel3×(1-vessel2)。跟据定位到的周围区域，随机添加高斯随机噪音，用于引导模型学习血管斑块特征。
根据经过数据增强的所述血管样本图像和所述血管分段样本图像对所述预测模型进行训练。具体包括，将包括所述血管样本图像和所述血管分段样本图像的训练样本划分为正样本和负样本；基于所述正样本和负样本采用多种损失函数对所述预测模型进行训练。正样本采样为包括血管区域的斑块位置以及斑块类型，负样本采样为非斑块血管区域。
需要说明的是，对于样本进行采样时，若将血管图像中的斑块区域作为前景，非斑块区域作为背景，因为背景区域面积远远超过前景区域面积，用于斑块检测的原始数据中前背景差异巨大，会引起正负样本不平衡，为了解决这个问题和加速训练，本实施例中将背景限制为非斑块的血管区域，可以有效解决正负样本不平衡的问题。
响应于达到训练截止条件，停止对所述预测模型的训练。训练截止条件可以根据实际情况进行选择，包括训练迭代次数、训练迭代时间以及损失函数最小化等等。本实施例中，训练截止条件为训练迭代次数，当达到200次迭代时，停止对于预测模型的训练。
在一些实施例中，所述多种损失函数至少包括交叉熵损失函数、Dice损失函数和局部损失函数，其中，所述交叉熵损失函数、所述Dice损失函数和所述局部损失函数的权重分别为10：3：3。
具体的，本实施例中同时采用交叉熵损失函数BCE loss和Dice损失函数Diceloss对预测模型进行训练，利用斑块区域和非斑块血管区域的掩模选择BCE Loss的元素进行计算，设置BCE loss中正样本和负样本Loss比例为1:1。在Dice loss的计算中，将Union的计算范围限制为血管区域，可以有效解决正负样本不平衡的问题。在对待检测目标分类训练中，Loss函数使用局部损失函数Focal Loss，正样本计算使用每个类别(钙化、非钙化、混合)的掩模选择Focal Loss中的元素进行计算，BCE loss、Dice loss和Focal Loss的权重比为10：3：3。
示例性装置
图7是本申请一示例性实施例提供的图像处理装置700的结构示意图。如图7所示，该图像处理装置700包括：
获取模块702，被配置为获取包括待检测目标的血管图像；
预测模块704，被配置为将所述血管图像与预设的血管分段图像输入经过训练的预测模型中，经由所述预测模型输出预测结果，其中，所述血管分段图像用于对不同部位的血管进行分段标识，所述预测模型用于对所述待检测目标进行识别；
处理模块706，被配置为对所述预测结果进行分类和筛选，以得到所述血管图像中所述待检测目标的位置和类型。
应当理解，上述实施例中的获取模块702至处理模块706的具体工作过程和功能可以参考上述实施例提供的图像处理方法中的描述，为了避免重复，在此不再赘述。
在一些实施例中，在将所述血管图像与预设的血管分段图像输入经过训练的预测模型之前，包括：
分别将所述血管图像与所述血管分段图像重采样至预设尺寸，并将经过重采样的所述血管图像与所述血管分段图像进行拼接，以将拼接后的所述血管图像与所述血管分段图像输入所述预测模型。
在一些实施例中，所述预测模型为基于稀疏卷积的神经网络模型，在所述预测模型的每个残差模块的跳跃层和全连接层设置DropBlock模块。
在一些实施例中，所述处理模块706，还被配置为将所述预测结果映射至所述血管图像中，得到包括预测检测目标的位置标识和类型标识的热图；
基于预设阈值和所述类型标识对所述热图中的预测检测目标进行标记，得到候选待检测目标；
计算所述候选待检测目标所在位置的连通域，从所述候选待检测目标中删除对应的连通域面积小于预设连通域阈值的候选待检测目标，得到所述血管图像中所述待检测目标的位置和类型。
在一些实施例中，在将所述血管图像与预设的血管分段图像输入经过训练的预测模型之前，包括：
计算所述血管分段图像中目标分析范围的最小外接框；
根据所述最小外接框对所述血管图像和所述血管分段图像进行截取，以将截取后的所述血管图像和所述血管分段图像输入所述预测模型。
在一些实施例中，还包括模型训练模块708，被配置为获取血管样本图像和血管分段样本图像；
分别对所述血管样本图像和血管分段样本图像进行重采样；
对经过所述重采样的所述血管样本图像和所述血管分段样本图像进行数据增强；
根据经过数据增强的所述血管样本图像和所述血管分段样本图像对所述预测模型进行训练；
响应于达到训练截止条件，停止对所述预测模型的训练。
在一些实施例中，所述数据增强包括对所述血管样本图像和所述血管分段样本图像进行随机裁剪、随机旋转、随机亮度或高斯随机噪音处理中的至少一个。
在一些实施例中，所述模型训练模块708，还被配置为将包括所述血管样本图像和所述血管分段样本图像的训练样本划分为正样本和负样本；
基于所述正样本和负样本采用多种损失函数对所述预测模型进行训练。
在一些实施例中，所述多种损失函数至少包括交叉熵损失函数、Dice损失函数和局部损失函数，所述交叉熵损失函数、所述Dice损失函数和所述局部损失函数的权重分别为10：3：3。
示例性电子设备及计算机可读存储介质
图8是本申请一示例性实施例提供的电子设备800的框图。
参照图8，电子设备800包括处理组件810，其进一步包括一个或多个处理器，以及由存储器820所代表的存储器资源，用于存储可由处理组件810的执行的指令，例如应用程序。存储器820中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件810被配置为执行指令，以执行上述实施例所述的方法。
电子设备800还可以包括一个电源组件被配置为执行电子设备800的电源管理，一个有线或无线网络接口被配置为将电子设备800连接到网络，和一个输入输出(I/O)接口。可以基于存储在存储器820的操作系统操作电子设备800，例如Windows ServerTM，Mac OSXTM，UnixTM，LinuxTM，FreeBSDTM或类似。
一种非临时性计算机可读存储介质，当存储介质中的指令由上述电子设备800的处理器执行时，使得上述电子设备800能够执行如上实施例所述的方法。
上述所有可选技术方案，可采用任意结合形成本申请的可选实施例，在此不再一一赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序校验码的介质。
需要说明的是，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种图像处理方法，其特征在于，包括：
获取包括待检测目标的血管图像；
将所述血管图像与预设的血管分段图像输入经过训练的预测模型中，经由所述预测模型输出预测结果，其中，所述血管分段图像用于对不同部位的血管进行分段标识，所述预测模型用于对所述待检测目标进行识别；
对所述预测结果进行分类和筛选，以得到所述血管图像中所述待检测目标的位置和类型。
2.根据权利要求1所述的方法，其特征在于，在所述将所述血管图像与预设的血管分段图像输入经过训练的预测模型中之前，还包括：
分别将所述血管图像与所述血管分段图像重采样至预设尺寸，并将经过重采样的所述血管图像与所述血管分段图像进行拼接，以将拼接后的所述血管图像与所述血管分段图像输入所述预测模型。
3.根据权利要求1或2所述的方法，其特征在于，所述对所述预测结果进行分类和筛选，以得到所述血管图像中所述待检测目标的位置和类型，包括：
将所述预测结果映射至所述血管图像中，得到包括预测检测目标的位置标识和类型标识的热图；
基于预设阈值和所述类型标识对所述热图中的预测检测目标进行标记，得到候选待检测目标；
计算所述候选待检测目标所在位置的连通域，从所述候选待检测目标中删除对应的连通域面积小于预设连通域阈值的候选待检测目标，得到所述血管图像中所述待检测目标的位置和类型。
4.根据权利要求3所述的方法，其特征在于，在所述将所述血管图像与预设的血管分段图像输入经过训练的预测模型中之前，还包括：
计算所述血管分段图像中目标分析范围的最小外接框；
根据所述最小外接框对所述血管图像和所述血管分段图像进行截取，以将截取后的所述血管图像和所述血管分段图像输入所述预测模型。
5.根据权利要求1所述的方法，其特征在于，所述预测模型的训练方法包括：
获取血管样本图像和血管分段样本图像；
分别对所述血管样本图像和血管分段样本图像进行重采样；
对经过所述重采样的所述血管样本图像和所述血管分段样本图像进行数据增强；
根据经过数据增强的所述血管样本图像和所述血管分段样本图像对所述预测模型进行训练；
响应于达到训练截止条件，停止对所述预测模型的训练。
6.根据权利要求5所述的方法，其特征在于，所述数据增强包括对所述血管样本图像和所述血管分段样本图像进行随机裁剪、随机旋转、随机亮度或高斯随机噪音处理中的至少一个。
7.根据权利要求5所述的方法，其特征在于，所述根据经过数据增强的所述血管样本图像和所述血管分段样本图像对所述预测模型进行训练，包括：
将包括所述血管样本图像和所述血管分段样本图像的训练样本划分为正样本和负样本；
基于所述正样本和负样本采用多种损失函数对所述预测模型进行训练。
8.根据权利要求7所述的方法，其特征在于，所述多种损失函数至少包括交叉熵损失函数、Dice损失函数和局部损失函数，其中，所述交叉熵损失函数、所述Dice损失函数和所述局部损失函数的权重分别为10：3：3。
9.根据权利要求1或2所述的方法，其特征在于，所述预测模型为基于稀疏卷积的神经网络模型，在所述预测模型的每个残差模块的跳跃层和全连接层设置DropBlock模块。
10.一种图像处理装置，其特征在于，包括：
获取模块，被配置为获取包括待检测目标的血管图像；
预测模块，被配置为将所述血管图像与预设的血管分段图像输入经过训练的预测模型中，经由所述预测模型输出预测结果，其中，所述血管分段图像用于对不同部位的血管进行分段标识，所述预测模型用于对所述待检测目标进行识别；
处理模块，被配置为对所述预测结果进行分类和筛选，以得到所述血管图像中所述待检测目标的位置和类型。
11.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至9任一项所述的图像处理方法。
12.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器，
其中，所述处理器用于执行上述权利要求1至9任一项所述的图像处理方法。
CN202211174774.7A 2022-09-26 2022-09-26 图像处理方法、装置、存储介质及电子设备 Pending CN115482223A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211174774.7A CN115482223A (zh) 2022-09-26 2022-09-26 图像处理方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211174774.7A CN115482223A (zh) 2022-09-26 2022-09-26 图像处理方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN115482223A true CN115482223A (zh) 2022-12-16

Family

ID=84393217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211174774.7A Pending CN115482223A (zh) 2022-09-26 2022-09-26 图像处理方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN115482223A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115844545A (zh) * 2023-02-27 2023-03-28 潍坊医学院附属医院 一种血管介入智能手术机器人及控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115844545A (zh) * 2023-02-27 2023-03-28 潍坊医学院附属医院 一种血管介入智能手术机器人及控制方法

Similar Documents

Publication Publication Date Title
US11694086B2 (en) Systems and methods for detecting region of interset in image
US11227683B2 (en) Methods and systems for characterizing anatomical features in medical images
US20190122073A1 (en) System and method for quantifying uncertainty in reasoning about 2d and 3d spatial features with a computer machine learning architecture
CN111325739B (zh) 肺部病灶检测的方法及装置，和图像检测模型的训练方法
CN111428709B (zh) 图像处理方法、装置、计算机设备和存储介质
CN111008984B (zh) 医学影像中正常器官的轮廓线自动勾画方法
CN111539930A (zh) 基于深度学习的动态超声乳腺结节实时分割与识别的方法
US9092867B2 (en) Methods for segmenting images and detecting specific structures
CN112052896B (zh) 图像处理方法及装置，分类模型的训练方法及装置
US11386555B2 (en) Assessment of arterial calcifications
WO2021038203A1 (en) Computerised tomography image processing
Maiora et al. Abdominal CTA image analisys through active learning and decision random forests: Aplication to AAA segmentation
EP3971830B1 (en) Pneumonia sign segmentation method and apparatus, medium and electronic device
EP2208183A2 (en) Computer-aided detection (cad) of a disease
CN114359205A (zh) 头颈血管分析方法、装置、存储介质及电子设备
EP3872755A1 (en) Method for providing airway information
Bortsova et al. Automated segmentation and volume measurement of intracranial internal carotid artery calcification at noncontrast CT
Faisal et al. Computer assisted diagnostic system in tumor radiography
CN115482223A (zh) 图像处理方法、装置、存储介质及电子设备
CN111260636A (zh) 模型训练方法及设备、图像处理方法及设备以及介质
Singh et al. Good view frames from ultrasonography (USG) video containing ONS diameter using state-of-the-art deep learning architectures
Giv et al. Lung segmentation using active shape model to detect the disease from chest radiography
CN111524109A (zh) 头部医学影像的评分方法和装置、电子设备及存储介质
CN114359208B (zh) 头颈血管分割方法及装置、可读存储介质及电子设备
AU2019204365B1 (en) Method and System for Image Segmentation and Identification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination