CN112102313A - 一种支架检测方法、装置和存储介质 - Google Patents

一种支架检测方法、装置和存储介质 Download PDF

Info

Publication number
CN112102313A
CN112102313A CN202011139628.1A CN202011139628A CN112102313A CN 112102313 A CN112102313 A CN 112102313A CN 202011139628 A CN202011139628 A CN 202011139628A CN 112102313 A CN112102313 A CN 112102313A
Authority
CN
China
Prior art keywords
image
support structure
stent
stent structure
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011139628.1A
Other languages
English (en)
Inventor
江春花
韩璐璐
滕万里
冯娟
陈阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Healthcare Co Ltd filed Critical Shanghai United Imaging Healthcare Co Ltd
Priority to CN202011139628.1A priority Critical patent/CN112102313A/zh
Publication of CN112102313A publication Critical patent/CN112102313A/zh
Priority to PCT/CN2021/116795 priority patent/WO2022048672A1/en
Priority to EP21863734.6A priority patent/EP4193301A4/en
Priority to US18/178,495 priority patent/US20230206441A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10008—Still image; Photographic image from scanner, fax or copier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30052—Implant; Prosthesis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种支架检测方法、装置和存储介质。该方法包括：对扫描图像中包括支架结构的区域进行粗裁剪，获得第一支架结构图像，并基于第一支架结构图像进行支架结构的细分割，获得第二支架结构图像，并将第二支架结构图像中的检测支架结构与基准图像中的标准支架结构进行配准，获得扫描图像中的目标支架结构。实现了对血管中支架结构的精准检测，提高了支架结构检测的检测速度，确保一定的实时性，同时，还可适用于对变形支架的检测。

Description

一种支架检测方法、装置和存储介质
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种支架检测方法、装置和存储介质。
背景技术
在心血管介入手术中，常常需要对置入血管的支架进行放大显示，以便于观看支架的结构、形态以及在血管中的位置，从而精细地引导支架至血管的狭窄位置，是保证手术成功的关键步骤。
目前常用的支架检测方法为：首先检测到图像中的球囊点位置，然后通过将球囊点位置作为标记点，与预设基准点进行配准，从而间接检测到支架的位置。但是该种检测方法存在一定的风险与缺点：首先，由于是对图像进行点检测，如果图像噪声较大或者由于使用造影剂等情况，会导致球囊点的误检与漏检；其次，由于该方法中使用各种滤波算法，导致运算速度较低，难以满足实时的需求；最后，在配准时往往都是根据两个球囊点进行刚性配准，没有考虑到支架发生变形的情况。
发明内容
本发明实施例提供了一种支架检测方法、装置和存储介质，实现了对血管中支架的精准检测，并可确保一定的实时性。
第一方面，本发明实施例提供了一种支架检测方法，包括：
对扫描图像中包括支架结构的区域进行粗裁剪，获得第一支架结构图像；
基于所述第一支架结构图像进行支架结构的细分割，获得第二支架结构图像；
将所述第二支架结构图像中的检测支架结构与基准图像中的标准支架结构进行配准，获得所述扫描图像中的目标支架结构。
第二方面，本发明实施例还提供了一种支架检测装置，包括：
粗裁剪模块，用于对扫描图像中包括支架结构的区域进行粗裁剪，获得第一支架结构图像；
细分割模块，用于基于所述第一支架结构图像进行支架结构的细分割，获得第二支架结构图像；
配准模块，用于将所述第二支架结构图像中的检测支架结构与基准图像中的标准支架结构进行配准，获得所述扫描图像中的目标支架结构。
第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例提供的支架检测方法步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的支架检测方法步骤。
上述发明中的实施例具有如下优点或有益效果：
通过对扫描图像中包括支架结构的区域进行粗裁剪，获得第一支架结构图像，并基于第一支架结构图像进行支架结构的细分割，获得第二支架结构图像，并将第二支架结构图像中的检测支架结构与基准图像中的标准支架结构进行配准，获得扫描图像中的目标支架结构，实现了对血管中支架结构的精准检测，提高了支架结构检测的检测速度，确保一定的实时性，同时，还可适用于对变形支架的检测。
附图说明
为了更加清楚地说明本发明示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本发明所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。
图1为本发明实施例一所提供的一种支架检测方法的流程示意图；
图2为本发明实施例二所提供的一种支架检测方法的流程示意图；
图3为本发明实施例三所提供的一种支架检测装置的结构示意图；
图4为本发明实施例四所提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种支架检测方法的流程示意图，本实施例可适用于检测置入血管支架的情况，该方法可以由支架检测装置来执行，该装置可以由硬件和/或软件来实现，该方法具体包括如下步骤：
S110、对扫描图像中包括支架结构的区域进行粗裁剪，获得第一支架结构图像。
其中，所述扫描图像通常由影像设备对待扫描者的目标部位进行扫描获得。所述影像设备例如是CT(Computer Tomography，计算机断层)、MR(Magnetic Resonance，磁共振)、超声成像、分子影像或者其他影像设备等。所述目标部位可以是股静脉、冠状动脉、锁骨下静脉等血管部位。可以理解的是，在对扫描图像中包括支架结构的区域进行粗裁剪之前，需要检测扫描图像中支架结构的位置。具体的，可以通过用于物体检测的特征描述来识别扫描图像的支架结构，如方向梯度直方图或尺度不变特征转换，也可以通过用于检测物体的网络模型确定扫描图像中是否存在支架结构，如FPN(Feature Pyramid Network，特征金字塔网络)模型、RetinaNet(Retina Network，视网膜网络)模型、SSD(Single ShotMultiBox Detector，多发单盒探测器)模型和DetNet(Object Detection Network，物体检测网络)模型中的一种。本实施例根据用于物体检测的特征描述或网络模型，确定出扫描图像中是否存在支架结构。
可选的，在所述对扫描图像中包括支架结构的区域进行粗裁剪之前，包括：确定扫描图像中包含所述支架结构的区域；所述确定扫描图像中包含所述支架结构的区域包括：通过预先训练好的物体检测网络DetNet对所述扫描图像进行支架结构检测，所述DetNet输出支架结构的参考坐标原点以及支架结构的高度与宽度。
其中，物体检测网络DetNet是根据训练样本数据训练完成的用于进行支架结构检测的模型。物体检测网络DetNet的输入是扫描图像，输出是该扫描图像中支架结构的参考坐标原点以及支架结构的高度与宽度。可以理解的是，物体检测网络DetNet输出扫描图像中支架结构的参考坐标原点以及支架结构的高度与宽度，相当于对扫描图像中的支架结构进行粗分割，仅能获得支架结构的所在区域，无法获得支架结构本身的具体轮廓。本实施例通过利用预先训练好的物体检测网络DetNet识别扫描图像的支架结构，输出支架结构的参考坐标原点以及支架结构的高度与宽度，以得到支架结构的区域位置信息与区域位置大小，便于后续对支架结构的细分割，提高了支架结构分割的准确率。
其中，支架结构的区域的粗裁剪指根据上述DetNet输出的支架结构的参考坐标原点以及支架结构的高度与宽度，对所述扫描图像进行裁剪，生成包含支架结构所在区域的局部图像。可选的，支架结构区域的粗裁剪可以是基于支架结构位置与大小的裁剪，得到一幅长宽与支架结构大小对应的局部图像。需要说明的是，在识别扫描图像中支架结构之前，还可以判断扫描图像中是否存在支架结构。若扫描图像中不存在支架结构，则表明置入血管的支架结构不存在于当前区域，则终止后续步骤，获取下一目标部位的扫描图像，重新确定下一目标部位的扫描图像中是否存在支架结构。本实施例通过对支架结构的区域进行粗裁剪，并将粗裁剪后的图像作为第一支架结构图像，以去除扫描图像中与支架结构无关的冗余部分，提高了支架结构的检测速度，同时，避免了扫描图像的冗余部分的干扰，提高了支架结构检测的准确率。
可选的，若扫描图像中存在支架结构，则将支架结构的区域进行粗裁剪，获得第一支架结构图像，包括：基于DetNet输出的支架结构的参考坐标原点以及支架结构的高度与宽度确定支架结构在扫描图像中的占据区域；对扫描图像中的占据区域进行裁剪，获得第一支架结构图像。
在本实施例中，基于DetNet输出的支架结构的参考坐标原点以及支架结构的高度与宽度确定支架结构的占据区域，基于该占据区域对扫描图像进行粗裁剪，得到一幅中心点为支架结构的参考坐标原点、长和宽分别对应支架结构的高度与宽度的图像，作为第一支架结构图像。可选的，第一支架结构图像的长和宽可以等于支架结构的高度与宽度，也可以等于支架结构的高度与宽度分别加上预设保留值后的值。本实施例通过DetNet输出的支架结构的参考坐标原点以及支架结构的高度与宽度对扫描图像进行粗裁剪，以得到更加精确的第一支架结构图像。
S120、基于所述第一支架结构图像进行支架结构的细分割，获得第二支架结构图像。
其中，所述第一支架结构图像是包括支架结构占据区域的局部扫描图像。细分割用于将第一支架结构图像中的支架结构分割出来，生成一幅可以显示支架结构精细轮廓和边缘的局部图像，即第二支架结构图像。基于第一支架结构图像进行支架结构的细分割可以采用基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等，本申请对此不作限定。本实施例通过对第一支架结构图像进行支架结构的细分割，将细分割后的图像作为第二支架结构图像，以得到更精确的支架结构图像，提高了支架结构的显示精度和支架结构检测的准确率。
S130、将第二支架结构图像中的检测支架结构与基准图像中的标准支架结构进行配准，获得扫描图像中的目标支架结构。
其中，基准图像可以是扫描图像序列中的第一张扫描图像，也可以是预先存储的包含特定支架结构的标准图像。可以理解的是，将第二支架结构图像中的检测支架结构与基准图像中的标准支架结构进行配准，相当于对第二支架结构图像中的检测支架结构和基准图像中的标准支架结构进行匹配与叠加，具体的过程如下：首先，提取第二支架结构图像中的检测支架结构与基准图像中的标准支架结构的特征点，通过对各个特征点进行相似性度量，获取匹配的特征点对；然后，通过匹配的特征点对得到图像空间坐标变换参数；最后，由图像空间坐标变换参数进行图像配准，以使第二支架结构图像中的检测支架结构与基准图像中的标准支架结构相互叠加。本实施例通过将第二支架结构图像中的检测支架结构与基准图像中的标准支架结构进行配准，以获取清晰准确的支架结构，从而提高了目标支架结构的检测精度。
可选的，将第二支架结构图像中的检测支架结构与基准图像中的标准支架结构进行配准，获得扫描图像中的目标支架结构，包括：基于第二支架结构图像进行特征点检测，获得各特征点的第一特征向量；根据基准图像中预设特征点的第二特征向量以及所述第一特征向量，确定特征点的匹配对；根据特征点的匹配对确定第二支架结构图像与基准图像之间的转换关系；根据转换关系将第二支架结构图像与基准图像进行叠加，获得扫描图像中的目标支架结构。
其中，第二支架结构图像的特征点检测可以采用SURF(Speeded-Up RobustFeatures，加速鲁棒性特征)检测算法，还可以采用Harris角点检测算法或SIFT(Scale-invariant feature transform，尺度不变性特征变换)算法等特征检测算法，本申请对此不作限定。第一特征向量为各特征点对应的描述符的集合，每个特征点对应一个第一特征向量。其中，描述符可以是各特征点的形状、大小、边界、灰度值或距离等特征参数中的一种或多种，可以计算每个特征点对应的一个或多个特征参数作为描述符。通过将一个或多个特征参数组合成向量的方式，以使特征点与特征向量呈现对应关系，便于与基准图像中预设特征点的第二特征向量进行匹配。可选的，在第二特征向量以及所述第一特征向量的匹配过程中，可以计算第一特征向量与第二特征向量对应的描述符的相似度，如闵可夫斯基距离、欧氏距离、曼哈顿距离或皮尔森相关系数等；也可以计算第一特征向量与第二特征向量对应的各个描述符的方差值，再对各个方差值作均衡处理，在相似度或方差均值满足预设阈值条件时，将该第一特征向量与第二特征向量对应的特征点确定为匹配对。
在本实施例中，转换关系指根据特征点的匹配对的位置所确定的基准图像与第二支架结构图像的图像变换关系，用于使第二支架结构图像中的特征点在经过该图像变换关系后，可以与基准图像中对应的特征点重合，例如第二支架结构图像中的特征点经过旋转后可以与基准图像中对应的某特征点重合，可以将转换关系确定为旋转。转换关系可以是旋转关系、缩放关系、平移关系和曲线变换中的一种，也可以是诸如旋转关系+平移关系或平移关系+缩放关系的组合关系。在上述基准图像与第二支架结构图像重合的基础上，对第二支架结构图像与基准图像进行叠加，获得目标支架结构。可选的，若获取到扫描图像序列{I1,I2,I3……In}，将扫描图像序列中的第一张扫描图像I1定义为基准图像，基于上述方法将第二张扫描图像I2对应的第二支架结构图像与I1进行叠加，得到I2的目标支架结构，并基于上述方法将I3对应的第二支架结构图像与I1进行叠加，得到I3的目标支架结构，并将得到的I3的目标支架结构与I2的目标支架结构进行叠加，以此类推，将该扫描图像序列的图像通过持续叠加的方式，可以得到最终目标支架结构。本实施例通过转换关系将第二支架结构图像与基准图像特征点位置重合与叠加，从而得到清晰的目标支架结构，提高了目标支架结构的获取精度。
由于支架结构在图像中的整体占比较小，对其直接进行分割很难达到精细分割，这会对后续配准产生影响，因此需要先对图像进行目标检测和粗分割，得到支架结构的位置信息，然后对粗分割图像进行细分割从而取得良好的分割效果，最后对其进行配准，得到清晰、准确的支架图像。
本实施例的技术方案，通过确定对扫描图像中包括支架结构的区域进行粗裁剪，获得第一支架结构图像，并基于第一支架结构图像进行支架结构的细分割，获得第二支架结构图像，并将第二支架结构图像中的检测支架结构与基准图像中的标准支架结构进行配准，获得扫描图像中的目标支架结构，实现了对血管中支架结构的精准检测，提高了支架结构检测的检测速度，确保一定的实时性，同时，还可适用于对变形支架结构的检测。
实施例二
图2为本发明实施例二所提供的一种支架检测方法的流程示意图，本实施例在上述实施例的基础上，对基于第一支架结构图像进行支架结构的细分割，获得第二支架结构图像的操作进行细化。其中与上述实施例相同或相同的术语的解释在此不再赘述。
参见图2，本实施例提供的支架检测方法具体包括以下步骤：
S210、对扫描图像中包括支架结构的区域进行粗裁剪，获得第一支架结构图像。
S220、将第一支架结构图像输入至预先训练好的神经网络模型，获得第二支架结构图像。
其中，预先训练好的神经网络模型经过大量样本训练，得到第一支架结构图像与第二支架结构图像的关系映射，以使神经网络模型在接收第一支架结构图像时，能够输出对应的第二支架结构图像。
可选的，通过设定优化算法，基于训练数据对预设神经网络进行训练，以对预设神经网络的各权重参数进行迭代与更新，获得所述预先训练好的神经网络模型。
其中，优化算法用于对预设神经网络中的损失函数进行优化，以训练出优化的神经网络模型，提高神经网络模型输出的第二支架结构图像的图像准确度。所述优化算法例如是梯度下降法、牛顿法和拟牛顿法、共轭梯度法或Adam(adaptive moment estimation)优化算法中的一种。可选的，设定优化算法包括Adam优化算法；预设神经网络包括U-Net神经网络。
其中，Adam优化算法指通过计算梯度的一阶矩估计和二阶矩估计，为不同的参数设计独立的自适应性学习率，即为每一个参数保留一个学习率以提升在稀疏梯度上的性能，以快速优化预设神经网络，提高预设神经网络的输出准确度。U-Net神经网络是医学图像分割中常用的神经网络结构。本实施例使用U-Net神经网络对第一支架结构图像进行细分割，并采用Adam优化算法对U-Net神经网络进行优化，提高了预设神经网络的性能。
可选的，基于训练数据对预设神经网络进行训练，以获得所述预先训练好的神经网络模型时，通过距离映射机制对损失系数进行加权处理，以增强所述预设神经网络的边界提取能力；其中，通过距离映射机制对损失系数进行加权处理，包括：确定所述预设神经网络输出的图像中每个像素点与各标注点的距离最小值；将最小值作为对应像素点处的损失权重，利用损失权重对所述对应像素点处的损失系数进行加权处理。
其中，损失系数用于表示训练过程中预设神经网络输出的第二支架结构图像与标注的图像样本之间的相似程度，若预设神经网络输出的第二支架结构图像与标注的图像样本之间的相似程度越高，则所述损失系数越低，表示预设神经网络此时的输出精度越高；若预设神经网络输出的第二支架结构图像与标注的图像样本之间的相似程度越低，所述损失系数越大，表示此时预设神经网络的输出精度越低。本实施例通过在训练过程中对损失系数作加权处理，尤其扩大边界提取时的损失系数，以监督预设神经网络重视边界特征的学习，使预设神经网络学习到更多的边界特征，从而提高所获得的神经网络模型的边界提取能力，提高输出精度。
具体的，所述距离映射机制为首先确定出预设神经网络输出的第二支架结构图像中各个点到标注点的距离的最小值，其中，标注点可以是第一支架结构图像中第一支架结构占据区域的中心点，也可以是第一支架结构图像中第一支架结构轮廓边缘点，然后将最小值作为像素点处的损失权重，与该像素点的损失系数作加权计算。其中，损失系数可以是U-net模型的损失Dice系数。
使用距离映射机制增强预设神经网络的边界提取能力的原理如下：由于第二支架结构图像的图像边界部分像素点到标注点的距离较大，图像边界部分像素点对应的损失权重也随之增大，因此，图像边界部分像素点的损失权重与损失系数的加权值也增加，从而增大第二支架结构图像的图像边界部分的损失值，即为图像边界部分施加更大的损失，以使预设神经网络在训练过程中为了降低图像边界部分的损失值，而加强对图像边界部分的特征进行学习，从而达到增强预设神经网络的边界提取能力，提高预设神经网络的边界提取精度的目的。
S230、将第二支架结构图像中的检测支架结构与基准图像中的标准支架结构进行配准，获得扫描图像中的目标支架结构。
本实施例的技术方案，通过对扫描图像中包括支架结构的区域进行粗裁剪，获得第一支架结构图像，并将第一支架结构图像输入至预先训练好的神经网络模型，获得第二支架结构图像，将第二支架结构图像中的检测支架结构与基准图像中的标准支架结构进行配准，获得扫描图像中的目标支架结构，实现了对血管中支架结构的精准检测，提高了支架结构检测的检测速度，确保一定的实时性，同时，还可适用于对变形支架的检测。
可选的，在上述方案的基础上，还包括：在将所述第一支架结构图像输入至预先训练好的神经网络模型之前，对第一支架结构图像进行预处理，以降低第一支架结构图像的噪声；对应的，将第一支架结构图像输入至预先训练好的神经网络模型具体为：将预处理之后的第一支架结构图像输入至预先训练好的神经网络模型。
其中，预处理用于消除第一支架结构图像中干扰噪声，提高神经网络模型输出第二支架结构的精度。降低第一支架结构图像的噪声的预处理方法可以是均值滤波法、中值滤波法、高斯滤波法等降噪方法。可选的，在对第一支架结构图像进行预处理，以降低第一支架结构图像的噪声之后，对降噪后的第一支架结构图像进行图像质量评价得到评价值，将评价值满足预设阈值条件的降噪第一支架结构图像输入至预先训练好的神经网络模型，对评价值未满足预设阈值条件的降噪第一支架结构图像重新进行预处理，以确保进入神经网络模型的第一支架结构图像噪声含量低于预设条件，提高神经网络模型的输出精度。
可选的，所述对所述第一支架结构图像进行降噪预处理，包括：对所述第一支架结构图像进行图像标准化处理，以将第一支架结构图像中各像素的像素值映射为符合正态分布的映射值。
其中，图像标准化指将第一支架结构图像中各像素的像素值减去像素均值，并除以标准差后，得到符合标准正态分布的图像。各个第一支架结构图像通过标准化处理消除亮度或对比度之间的差异。在本实施例中，通过将第一支架结构图像进行图像标准化处理，以实现对不同亮度、对比度图像的泛化，提高了后续神经网络模型的特征提取速度与精度。
实施例三
图3为本发明实施例三提供的一种支架检测装置的结构示意图，本实施例可适用于的需要检测支架结构，并对支架结构精确提取的情形，该装置具体包括：粗裁剪模块310、细分割模块320和配准模块330。
粗裁剪模块310，用于对扫描图像中包括支架结构的区域进行粗裁剪，获得第一支架结构图像；
细分割模块320，用于基于第一支架结构图像进行支架结构的细分割，获得第二支架结构图像；
配准模块330，用于将第二支架结构图像中的检测支架结构与基准图像中的标准支架结构进行配准，获得扫描图像中的目标支架结构。
本实施例的技术方案，通过对扫描图像中包括支架结构的区域进行粗裁剪，获得第一支架结构图像，并基于第一支架结构图像进行支架结构的细分割，获得第二支架结构图像，并将第二支架结构图像中的检测支架结构与基准图像中的标准支架结构进行配准，获得扫描图像中的目标支架结构，实现了对血管中支架结构的精准检测，提高了支架结构检测的检测速度，确保一定的实时性，同时，还可适用于对变形支架的检测。
可选的，在上述方案的基础上，还包括确定模块，用于在所述对扫描图像中包括支架结构的区域进行粗裁剪之前，确定扫描图像中包含所述支架结构的区域；所述确定扫描图像中包含所述支架结构的区域包括：通过预先训练好的物体检测网络DetNet对所述扫描图像进行支架结构检测，所述DetNet输出支架结构的参考坐标原点以及支架结构的高度与宽度。
可选的，粗裁剪模块310还用于基于DetNet输出的支架结构的参考坐标原点以及支架结构的高度与宽度确定支架结构在扫描图像中的占据区域；对扫描图像中的占据区域进行裁剪，获得第一支架结构图像。
可选的，细分割模块320还用于将第一支架结构图像输入至预先训练好的神经网络模型，获得第二支架结构图像。可选的，通过设定优化算法，基于训练数据对预设神经网络进行训练，以获得所述预先训练好的神经网络模型；其中，所述设定优化算法包括Adam优化算法；所述预设神经网络包括U-Net神经网络。
可选的，在上述方案的基础上，还包括训练模块，用于基于训练数据对预设神经网络进行训练，以获得所述预先训练好的神经网络模型时，通过距离映射机制对损失系数进行加权处理，以增强预设神经网络的边界提取能力；其中，通过距离映射机制对损失系数进行加权处理，包括：确定预设神经网络输出的图像中每个像素点与各标注点的距离最小值；将最小值作为对应像素点处的损失权重，利用损失权重对对应像素点处的损失系数进行加权处理。
可选的，配准模块330还用于基于第二支架结构图像进行特征点检测，获得各特征点的第一特征向量；根据基准图像中预设特征点的第二特征向量以及所述第一特征向量，确定特征点的匹配对；根据特征点的匹配对确定第二支架结构图像与所述基准图像之间的转换关系；根据转换关系将第二支架结构图像与基准图像进行叠加，获得扫描图像中的目标支架结构。
可选的，在上述方案的基础上，还包括预处理模块，用于在将第一支架结构图像输入至预先训练好的神经网络模型之前，对第一支架结构图像进行降噪预处理。对应的，细分割模块用于将预处理之后的第一支架结构图像输入至预先训练好的神经网络模型。
可选的，预处理模块还用于对所述第一支架结构图像进行图像标准化处理。
值得注意的是，上述系统所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。
实施例四
图4为本发明实施例四提供的一种电子设备的结构示意图。图4示出了适于用来实现本发明实施例实施方式的示例性电子设备40的框图。图4显示的电子设备40仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，电子设备40以通用计算设备的形式表现。电子设备40的组件可以包括但不限于：一个或者多个处理器或者处理单元401，系统存储器402，连接不同系统组件(包括系统存储器402和处理单元401)的总线403。
总线403表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备40典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备40访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器402可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)404和/或高速缓存存储器405。电子设备40可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统406可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线403相连。存储器402可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块407的程序/实用工具408，可以存储在例如存储器402中，这样的程序模块407包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块407通常执行本发明所描述的实施例中的功能和/或方法。
电子设备40也可以与一个或多个外部设备409(例如键盘、指向设备、显示器410等)通信，还可与一个或者多个使得用户能与该电子设备40交互的设备通信，和/或与使得该电子设备40能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口411进行。并且，电子设备40还可以通过网络适配器412与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器412通过总线403与电子设备40的其它模块通信。应当明白，尽管图4中未示出，可以结合电子设备40使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元401通过运行存储在系统存储器402中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的支架检测方法。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种支架检测方法。
该方法包括：
对扫描图像中包括支架结构的区域进行粗裁剪，获得第一支架结构图像；
基于第一支架结构图像进行支架结构的细分割，获得第二支架结构图像；
将第二支架结构图像中的检测支架结构与基准图像中的标准支架结构进行配准，获得扫描图像中的目标支架结构。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种支架检测方法，其特征在于，包括：
对扫描图像中包括支架结构的区域进行粗裁剪，获得第一支架结构图像；
基于所述第一支架结构图像进行支架结构的细分割，获得第二支架结构图像；
将所述第二支架结构图像中的检测支架结构与基准图像中的标准支架结构进行配准，获得所述扫描图像中的目标支架结构。
2.根据权利要求1所述的方法，其特征在于，在所述粗裁剪之前，包括：确定扫描图像中包括所述支架结构的区域；
所述确定扫描图像中包括所述支架结构的区域包括：通过预先训练好的DetNet对所述扫描图像进行支架结构检测，所述DetNet输出支架结构的参考坐标原点以及支架结构的高度与宽度。
3.根据权利要求2所述的方法，其特征在于，所述对扫描图像中包括支架结构的区域进行粗裁剪，获得第一支架结构图像，包括：
基于所述DetNet输出的支架结构的参考坐标原点以及支架结构的高度与宽度确定支架结构在所述扫描图像中的占据区域；
对所述扫描图像中的所述占据区域进行裁剪，获得第一支架结构图像。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述基于所述第一支架结构图像进行支架结构的细分割，获得第二支架结构图像，包括：
将所述第一支架结构图像输入至预先训练好的神经网络模型，获得所述第二支架结构图像。
5.根据权利要求4所述的方法，其特征在于，所述将所述第一支架结构图像输入至预先训练好的神经网络模型之前，还包括；
对所述第一支架结构图像进行图像标准化处理。
6.根据权利要求4所述的方法，其特征在于，还包括：
通过设定优化算法，基于训练数据对预设神经网络进行训练，以获得所述预先训练好的神经网络模型；
其中，所述设定优化算法包括Adam优化算法；
所述预设神经网络包括U-Net神经网络。
7.根据权利要求4所述的方法，其特征在于，基于训练数据对预设神经网络进行训练，以获得所述预先训练好的神经网络模型时，通过距离映射机制对损失系数进行加权处理，以增强所述预设神经网络的边界提取能力；
其中，所述通过距离映射机制对损失系数进行加权处理，包括：
确定所述预设神经网络输出的图像中每个像素点与各标注点的距离最小值；
将所述最小值作为对应像素点处的损失权重，利用所述损失权重对所述对应像素点处的损失系数进行加权处理。
8.根据权利要求1-3任一项所述的方法，其特征在于，所述将所述第二支架结构图像中的检测支架结构与基准图像中的标准支架结构进行配准，获得所述扫描图像中的目标支架结构，包括：
基于所述第二支架结构图像进行特征点检测，获得各特征点的第一特征向量；
根据基准图像中预设特征点的第二特征向量以及所述第一特征向量，确定特征点的匹配对；
根据所述特征点的匹配对确定所述第二支架结构图像与所述基准图像之间的转换关系；
根据所述转换关系将所述第二支架结构图像与所述基准图像进行叠加，获得所述扫描图像中的目标支架结构。
9.一种支架检测装置，其特征在于，包括：
粗裁剪模块，用于对扫描图像中包括支架结构的区域进行粗裁剪，获得第一支架结构图像；
细分割模块，用于基于所述第一支架结构图像进行支架结构的细分割，获得第二支架结构图像；
配准模块，用于将所述第二支架结构图像中的检测支架结构与基准图像中的标准支架结构进行配准，获得所述扫描图像中的目标支架结构。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的支架检测方法步骤。
CN202011139628.1A 2020-09-04 2020-10-22 一种支架检测方法、装置和存储介质 Pending CN112102313A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202011139628.1A CN112102313A (zh) 2020-10-22 2020-10-22 一种支架检测方法、装置和存储介质
PCT/CN2021/116795 WO2022048672A1 (en) 2020-09-04 2021-09-06 Systems and methods for image processing
EP21863734.6A EP4193301A4 (en) 2020-09-04 2021-09-06 SYSTEMS AND METHODS FOR IMAGE PROCESSING
US18/178,495 US20230206441A1 (en) 2020-09-04 2023-03-04 Systems and methods for image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011139628.1A CN112102313A (zh) 2020-10-22 2020-10-22 一种支架检测方法、装置和存储介质

Publications (1)

Publication Number Publication Date
CN112102313A true CN112102313A (zh) 2020-12-18

Family

ID=73785974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011139628.1A Pending CN112102313A (zh) 2020-09-04 2020-10-22 一种支架检测方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN112102313A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022048672A1 (en) * 2020-09-04 2022-03-10 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108053434A (zh) * 2017-12-28 2018-05-18 西安中科微光影像技术有限公司 一种基于心血管oct的支架对齐方法及装置
CN108090901A (zh) * 2017-12-28 2018-05-29 西安中科微光影像技术有限公司 一种基于心血管oct影像的生物支架对齐方法及装置
CN109725796A (zh) * 2018-12-28 2019-05-07 上海联影医疗科技有限公司 一种医学图像显示方法及其装置
CN109993726A (zh) * 2019-02-21 2019-07-09 上海联影智能医疗科技有限公司 医学图像的检测方法、装置、设备和存储介质
CN110689548A (zh) * 2019-09-29 2020-01-14 浪潮电子信息产业股份有限公司 一种医学图像分割方法、装置、设备及可读存储介质
CN111223158A (zh) * 2019-12-31 2020-06-02 上海联影智能医疗科技有限公司 心脏冠脉图像的伪影校正方法和可读存储介质
CN111462083A (zh) * 2020-03-31 2020-07-28 北京东软医疗设备有限公司 图像处理方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108053434A (zh) * 2017-12-28 2018-05-18 西安中科微光影像技术有限公司 一种基于心血管oct的支架对齐方法及装置
CN108090901A (zh) * 2017-12-28 2018-05-29 西安中科微光影像技术有限公司 一种基于心血管oct影像的生物支架对齐方法及装置
CN109725796A (zh) * 2018-12-28 2019-05-07 上海联影医疗科技有限公司 一种医学图像显示方法及其装置
CN109993726A (zh) * 2019-02-21 2019-07-09 上海联影智能医疗科技有限公司 医学图像的检测方法、装置、设备和存储介质
CN110689548A (zh) * 2019-09-29 2020-01-14 浪潮电子信息产业股份有限公司 一种医学图像分割方法、装置、设备及可读存储介质
CN111223158A (zh) * 2019-12-31 2020-06-02 上海联影智能医疗科技有限公司 心脏冠脉图像的伪影校正方法和可读存储介质
CN111462083A (zh) * 2020-03-31 2020-07-28 北京东软医疗设备有限公司 图像处理方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙建国等: "《数字化智能放疗》", 31 December 2019, 山东科学技术出版社, pages: 136 - 140 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022048672A1 (en) * 2020-09-04 2022-03-10 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing

Similar Documents

Publication Publication Date Title
WO2018108129A1 (zh) 用于识别物体类别的方法及装置、电子设备
CN108230292B (zh) 物体检测方法和神经网络的训练方法、装置及电子设备
US20090060307A1 (en) Tensor Voting System and Method
CN112465834B (zh) 一种血管分割方法及装置
CN110176010B (zh) 一种图像检测方法、装置、设备及存储介质
CN111145173A (zh) 一种冠脉造影图像的斑块识别方法、装置、设备及介质
CN113298831B (zh) 图像分割方法、装置、电子设备及存储介质
US20140079308A1 (en) Method and System for Real Time Stent Enhancement on Live 2D Fluoroscopic Scene
CN110728673A (zh) 一种目标部位分析方法、装置、计算机设备及存储介质
CN112508037A (zh) 图像模板匹配方法、装置及存储装置
US20080075345A1 (en) Method and System For Lymph Node Segmentation In Computed Tomography Images
CN114693604A (zh) 脊椎医学影像处理方法、装置、设备及存储介质
CN110796108A (zh) 一种人脸质量检测的方法、装置、设备及存储介质
US8160336B2 (en) Reducing false positives for automatic computerized detection of objects
CN112102313A (zh) 一种支架检测方法、装置和存储介质
CN116802683A (zh) 图像的处理方法和系统
CN112116608B (zh) 一种导丝分割方法、装置、电子设备及存储介质
CN112634309A (zh) 图像处理方法、装置、电子设备及存储介质
CN110063753B (zh) 超声图像中测量胎儿头围的方法与装置
CN113298856B (zh) 一种图像配准方法、装置、设备和介质
CN112530554B (zh) 一种扫描定位方法、装置、存储介质及电子设备
CN115439453A (zh) 一种脊椎椎体定位方法、装置、电子设备及存储介质
CN111275719B (zh) 钙化假阳识别及其模型训练的方法、装置、终端及介质
CN112950734B (zh) 冠脉重建方法、装置、电子设备和存储介质
CN114170258A (zh) 图像分割方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination