CN111461065A - 管状结构识别方法、装置、计算机设备和可读存储介质 - Google Patents

管状结构识别方法、装置、计算机设备和可读存储介质 Download PDF

Info

Publication number
CN111461065A
CN111461065A CN202010333819.5A CN202010333819A CN111461065A CN 111461065 A CN111461065 A CN 111461065A CN 202010333819 A CN202010333819 A CN 202010333819A CN 111461065 A CN111461065 A CN 111461065A
Authority
CN
China
Prior art keywords
tubular structure
central line
tree
center line
name
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010333819.5A
Other languages
English (en)
Other versions
CN111461065B (zh
Inventor
王晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Healthcare Co Ltd filed Critical Shanghai United Imaging Healthcare Co Ltd
Priority to CN202010333819.5A priority Critical patent/CN111461065B/zh
Publication of CN111461065A publication Critical patent/CN111461065A/zh
Priority to EP20932198.3A priority patent/EP4128040A4/en
Priority to PCT/CN2020/137816 priority patent/WO2021212886A1/en
Priority to US18/049,283 priority patent/US20230074296A1/en
Application granted granted Critical
Publication of CN111461065B publication Critical patent/CN111461065B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种管状结构识别方法、装置、计算机设备和计算机可读存储介质，其中，该方法包括：提取扫描图像中每一管状结构的中心线；根据中心线获取中心线特征参数，中心线特征参数包括中心线上每一点的坐标值和中心线树的整体信息；中心线树由多个管状结构对应的中心线组成；对中心线特征参数进行预处理；将预处理后的中心线特征参数输入至训练完备的深度学习模型；获取深度学习模型输出的管状结构的名称；根据管状结构的名称在扫描图像中选择对应的管状结构。通过本申请，解决了管状结构识别步骤较复杂和识别不准确的问题，提高了管状结构识别的效率和准确性。

Description

管状结构识别方法、装置、计算机设备和可读存储介质
技术领域
本申请涉及图像处理领域，特别是涉及一种管状结构识别方法、装置、计算机设备和可读存储介质。
背景技术
在人体三维图像如CT、MRI等进行后处理的过程中，常常需要分割一些管状结果，如血管、气管、神经等。由于管状结构的特殊性，医生在二维平面上需要逐步翻页并用人眼追踪这些结构，不直观且耗费时间精力，而图像分割算法将这些结构分割出来，并运用三维重建技术，可显示出人体管状结构的整体面貌，有利于医生观察。
但是，仅仅将这些结构分割出来还不够，医生要想对疾病诊断，需要对管状结构的每个部位都仔细观察。由于管状结构的复杂性，一般采用逐条中心线观察的方式，即提取管状结构的中心线，并通过一条一条的中心线，生成曲面重建(CPR)。医生每次选取一条中心线，即可看到这条中心线所代表的管状结构的全貌。因此，在这个阶段，自动识别中心线及其所代表的管状结构的解剖名称就比较重要，可以方便医生的选择，让医生根据临床需要观察的对象来选取要观察的管状结构。例如，在心脏冠脉的诊断中，医生需要观察左冠状动脉前降支时，只需根据名称选择该条中心线即可。
发明内容
本申请提供一种管状结构识别方法、装置、计算机设备和可读存储介质，以至少解决相关技术中管状结构识别步骤较复杂和识别不准确的问题。
第一方面，本申请实施例提供了一种管状结构识别方法，所述方法包括：
提取扫描图像中每一管状结构的中心线；
根据所述中心线获取所述中心线特征参数，所述中心线特征参数包括中心线上每一点的坐标值和中心线树的整体信息；所述中心线树由多个所述管状结构对应的中心线组成；
对所述中心线特征参数进行预处理；
将预处理后的所述中心线特征参数输入至训练完备的深度学习模型；
获取所述深度学习模型输出的管状结构的名称；
根据所述管状结构的名称在所述扫描图像中选择对应的管状结构。
在其中一些实施例中，所述提取扫描图像中的血管中心线包括：
获取从扫描图像中分割出的管状结构；
从所述管状结构中提取所述中心线。
在其中一些实施例中，对所述中心线特征参数进行预处理包括：
根据所述中心线树的整体信息，对每一所述中心线树的坐标值进行归一化处理。
在其中一些实施例中，在所述将预处理后的所述中心线特征参数输入至训练完备的深度学习模型之前，所述方法还包括：
构建初始识别模型；
获取模型训练样本，所述模型训练样本包括所述中心线特征参数和所述中心线对应的目标管状结构名称；
对所述模型训练样本进行预处理；
将预处理后的所述模型训练样本输入至所述初始识别模型，得到识别名称；
根据所述识别名称和所述目标管状结构名称的差异程度，调整所述初始识别模型的参数，得到所述训练完备的深度学习模型。
在其中一些实施例中，根据神经网络构建所述初始识别模型，所述神经网络包括循环神经网络和/或长短期记忆神经网络。
在其中一些实施例中，所述获取模型训练样本包括：提取扫描图像中每一管状结构的中心线，并按照解剖名称对多个所述中心线进行命名；
根据所述中心线，得到所述中心线上每一点的坐标值和中心线树的整体信息，所述中心线树由多个所述管状结构对应的中心线组成。
在其中一些实施例中，所述根据多个所述中心线，得到中心线树的整体信息包括：
根据多个所述中心线，计算每条中心线上每一点的坐标值；
将所述中心线上每一点的坐标值输入至树形递归神经网络中的对应节点，得到所述中心线树的整体信息。
在其中一些实施例中，所述将预处理后的所述模型训练样本输入至所述初始识别模型，得到识别名称包括：
将单个待识别的中心线的坐标值输入至单个中心线检测模块；
将所述扫描图像中每一管状结构的中心线输入至中心线信息提取模块，得到中心线树的整体信息；
将单个中心线检测模块的输出信息和所述中心线整体信息输入至深度神经网络；
将所述深度神经网络输出的信息传输至损失函数，得到所述识别名称。
第二方面，本申请实施例提供了一种管状结构识别装置，其特征在于，所述装置包括：
提取模块，用于提取扫描图像中每一管状结构的中心线；
第一获取模块，用于根据所述中心线获取所述中心线特征参数，所述中心线特征参数包括中心线上每一点的坐标值和中心线树的整体信息；所述中心线树由多个所述管状结构对应的中心线组成；
预处理模块，用于对所述中心线特征参数进行预处理；
输入模块，用于将预处理后的所述中心线特征参数输入至训练完备的深度学习模型；
第二获取模块，用于获取所述深度学习模型输出的管状结构的名称；
选择模块，用于根据所述管状结构的名称在所述扫描图像中选择对应的管状结构。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的管状结构识别方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的管状结构识别方法。
相比于相关技术，本申请实施例提供的管状结构识别方法、装置、计算机设备和计算机可读存储介质，采用提取扫描图像中每一管状结构的中心线；根据所述中心线获取所述中心线特征参数，所述中心线特征参数包括中心线上每一点的坐标值和中心线树的整体信息；所述中心线树由多个所述管状结构对应的中心线组成；对所述中心线特征参数进行预处理；将预处理后的所述中心线特征参数输入至训练完备的深度学习模型；获取所述深度学习模型输出的管状结构的名称；根据所述管状结构的名称在所述扫描图像中选择对应的管状结构的方式，解决了管状结构识别步骤较复杂和识别不准确的问题，提高了管状结构识别的效率和准确性。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为一实施例提供的管状结构识别方法的流程图；
图2为一实施例提供的RNN网络的基本结构框图；
图3为一实施例提供的树型递归神经网络的基本结构框图；
图4为一实施例提供的管状结构识别方法的整体结构框图；
图5为一个实施例中管状结构识别方法装置的结构框图；
图6为一个实施例中管状结构识别设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在 B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请中描述的各种技术可用于对人体三维图像如CT、MR等进行后处理的过程中。
图1为一实施例提供的管状结构识别方法的流程图，如图1所示，管状结构识别方法包括步骤110至步骤160，其中：
步骤110，提取扫描图像中每一管状结构的中心线；
步骤120，根据中心线获取中心线特征参数，中心线特征参数包括中心线上每一点的坐标值和中心线树的整体信息；中心线树由多个管状结构对应的中心线组成；
步骤130，对中心线特征参数进行预处理；
步骤140，将预处理后的中心线特征参数输入至训练完备的深度学习模型；
步骤150，获取深度学习模型输出的管状结构的名称；
步骤160，根据管状结构的名称在扫描图像中选择对应的管状结构。
现有的管状结构识别方法通常是根据中心线三维坐标，通过一系列的具有层级的逻辑判断，确定该中心线的名称。如根据坐标判断在人体左方即为左冠状动脉，判断在人体右方即为右冠状动脉。然后再在左冠状动脉中，根据坐标识别最长血管等手段，依次判别出各冠脉血管。该方法的缺点在于判断逻辑复杂，且人体具有很大差异性，不同的人冠脉血管是不同的，在有疾病的情况下差异更大，这种复杂逻辑判断无法囊括很多情况。而且此方法只适用于冠脉，无法推广到其他血管或气管等其他组织器官。另外一种管状结构识别方法是根据冠脉图像，人工标记冠脉中心线，并将这些冠脉图像进行配准，制作出平均图像以及冠脉中心线平均模型。对待测图像与平均图像模型进行配准，得到冠脉中心线平均模型与待测图像的匹配。然后计算待测图像上中心线与冠脉中心线平均模型上的中心线之间的距离等相似度量，与当前中心线相似度量最小的中心线平均模型上的中心线名称，即为当前待测中心线的名称。此种方法在制作模型时考虑到了人体差异，但仍有一些缺点，比如如果图像匹配不准确，会导致当前待测中心线与错误的模型中的中心线相似度量最小，从而导致错误识别。
与现有技术相比，本申请通过提取扫描图像中每一管状结构的中心线；根据中心线获取中心线特征参数，中心线特征参数包括中心线上每一点的坐标值和中心线树的整体信息等；中心线树由多个管状结构对应的中心线组成；对中心线特征参数进行预处理；将预处理后的中心线特征参数输入至训练完备的深度学习模型；获取深度学习模型输出的管状结构的名称；根据管状结构的名称在扫描图像中选择对应的管状结构。上述管状结构的识别方法采用深度学习技术识别中心线名称，无需提取特征，也没有复杂的逻辑判断，只基于中心线进行判断，无需图像配准等额外步骤，可以减少计算工作流且适用于各种组织器官；另外，在识别单个中心线时，考虑到单个中心线与所有待识别中心线的整体信息，可以增加识别的准确度。
在其中一些实施例中，提取扫描图像中的血管中心线包括：
获取从扫描图像中分割出的管状结构；
从管状结构中提取中心线。
管状结构可以为心脏冠脉脑血管、肺血管、支气管树等具有复杂管状结构的组织器官。
血管中心线可以直接从扫描图像中提取，也可以先从扫描图像中分割出管状结构，然后从分割出的管状结构中提取中心线。可以采用传统的图像分割算法分割出管状结构，具体分割方式本实施例不作限定。本实施例通过先从扫描图像中分割出管状结构，然后从分割出的管状结构中提取中心线，可以提高中心线提取的准确性。
在其中一些实施例中，对中心线特征参数进行预处理包括：根据中心线树的整体信息，对每一中心线树的坐标值进行归一化处理。
中心线树是由多个管状结构对应的中心线组成，即由扫描图像所有管状结构的中心线组成。中心线树的整体信息包括但不限于中心线树的重心和感兴趣区域。对每一中心线树的坐标值进行归一化处理具体可以为将中心线树中每一中心线的坐标根据重心进行归一化处理。通过将中心线的坐标进行归一化处理，可以抑制噪音的干扰，进而进一步提高管状结构中心线识别的准确性。经过预处理的数据符合标准正态分布，即均值为0，标准差为1。
在其中一些实施例中，在将预处理后的中心线特征参数输入至训练完备的深度学习模型之前，管状结构识别方法还包括：
构建初始识别模型；
获取模型训练样本，模型训练样本包括中心线特征参数和中心线对应的目标管状结构名称；
对模型训练样本进行预处理；
将预处理后的模型训练样本输入至初始识别模型，得到识别名称；
根据识别名称和目标管状结构名称的差异程度，调整初始识别模型的参数，得到训练完备的深度学习模型。
其中，在初始识别模型的训练过程中，优选采用交叉熵损失函数，或者平方误差损失函数作为损失函数，采用误差反向传播的方式更新初始识别模型的参数。然后使用预先准备的中心线特征参数和中心线对应的目标管状结构名称作为训练后的初始识别模型的输入，以测试初始识别模型的输出与预先标记的中心线名称，直至初始识别模型的输出与预先标记的中心线名称达到一致判定初始识别模型训练完备。
在其中一些实施例中，根据神经网络构建初始识别模型，神经网络包括循环神经网络(Recurrent Neural Networks，简称RNN)和/或长短期记忆神经网络 (Long-ShortTerm Memory,，简称LSTM)。
RNN网络的基本结构如图2所示，其中A为网络权重，X向量为输入的中心线，Y为每段中心线的输出，S为输出的中心线名称。
本实施例中的神经网络还可以是任意一种可以实现深度学习算法的人工神经网络。人工神经网络已被证明并被成功实现数据预测相关的应用，包括数据趋势预测和语音识别。神经网络具有记忆性、参数共享并且图灵完备，因此在对序列数据的非线性特征进行学习时具有一定优势。扫描图像中的管状结构交错复杂，且多个管状结构具有较强的关联性，多个中心线的坐标是一种典型的序列数据，因此在本实施例中采用神经网络根据中心线坐标学习中心线的名称。
在其中一些实施例中，获取模型训练样本包括：
提取扫描图像中每一管状结构的中心线，并按照解剖名称对多个中心线进行命名；具体地，可以通过人工进行标记对多个中心线进行命名。
根据中心线，得到中心线上每一点的坐标值和中心线树的整体信息，中心线树由多个管状结构对应的中心线组成。
在其中一些实施例中，提取中心线树的整体信息可以首先根据多个中心线，确定每条中心线上每一点的坐标值；然后将中心线上每一点的坐标值输入至树形递归神经网络中的对应节点，得到中心线树的整体信息。图3为树形递归神经网络的结构示意图，该图示意的是4个输入节点，分别是x(1)、x(2)、x(3)和x(4)，根据输入节点接收的数据向量进行层级计算，最终可以提取出中心线树的整体信息。可以理解的是，树形递归神经网络输入节点的个数可以根据分割出的管状结构的数量来设置，若扫描图像中共有5个不同的管状结构，则树形递归神经网络的输入节点设置为4个。将每一管状结构中心线的坐标构成一个向量输入对应的输入节点，通过树形递归神经网络可以得到中心线树的整体信息。
需要说明的是，提取中心线树整体信息可以采用中心线重心计算模块或其他的神经网络。如RNN、卷积神经网络等等。
在其中一些实施例中，将预处理后的模型训练样本输入至初始识别模型，得到识别名称包括：
将单个待识别中心线的坐标值输入至单个中心线检测模块；
将扫描图像中每一管状结构的中心线输入至中心线信息提取模块，得到中心线树的整体信息；
将单个中心线检测模块的输出信息和中心线整体信息输入至深度神经网络；
将深度神经网络输出的信息传输至损失函数，得到识别名称。
由于不同中心线的相似性，只输入单一中心线进行训练，无法达到准确识别每根中心线的目标，为此，本申请将中心线树的整体信息考虑进来，在识别每根中心线时，考虑到它和总体中心线树的关系，从而可以更好的识别每根中心线。整体结构图如图4所示。其中，X为要检测的中心线，T为X所在的整棵中心线树，WholeInfo为中心线整体信息提取模块，SingleInfo为单根中心线检测模块，DNN为所采用的初始识别模型，L为损失函数，S为输出的中心线名称。DNN为用于中心线名称识别的核心深度神经网络，可以为如前所述的RNN，也可以为前述用于提取整体信息的树形递归神经网络，还可以采用图神经网络，将中心线上的点构造为一个图，或采用深度强化学习网络，如DQN等。具体类型本实施例不作限定。
其中，SingleInfo可以为坐标变换，可以为浅层神经网络，也可以为卷积神经网络CNN，如采用CNN，则需对应输入扫描图像作为输入参数的信息提取，通过对单根中心线进行处理输出的向量再输入至损失函数，可以提高识别的准确性。当然也可以直接将中心线的坐标输入初始识别模型。
WholeInfo可以为中心线重心计算模块或中心线树所在感兴趣区域等计算模块，也可以为管状结构相关的其他生理信息，如对于心脏冠脉树来说，此整体信息也可为计算心脏重心和左心室长轴等参数，如果是用于人体头颈部血管命名，则此整体信息可以为人体矢状面或大脑重心等。
在检测阶段，重复提取管状结构中心线。然后将中心线输入深度学习模型，得到计算获得的中心线的名称。此处的深度学习模型，包括单中心线信息提取模块，中心线树整体信息提取模块，以及核心深度神经网络模块。在得到中心线的名称之后，将中心线名称显示在对应的中心线上，从而可以让医生根据临床需要观察的对象来选取要观察的管状结构。例如，在心脏冠脉的诊断中，医生需要观察左冠状动脉前降支时，只需根据名称选择该条中心线即可，从而可以提高医生的诊断效率。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。例如，在构建深度学习模型时，可以首先构建初始识别模型，然后获取模型训练样本；也可以首先获取模型训练样本，然后构建初始识别模型。具体执行顺序本申请不作限定。
在一个实施例中，如图5所示，提供了一种管状结构识别装置，包括：提取模块510、第一获取模块520、预处理模块530、输入模块540、第二获取模块550和选择模块560；其中：
提取模块510，用于提取扫描图像中每一管状结构的中心线；
第一获取模块520，用于根据中心线获取中心线特征参数，中心线特征参数包括中心线上每一点的坐标值和中心线树的整体信息；中心线树由多个管状结构对应的中心线组成；
预处理模块530，用于对中心线特征参数进行预处理；
输入模块540，用于将预处理后的中心线特征参数输入至训练完备的深度学习模型；
第二获取模块550，用于获取深度学习模型输出的管状结构的名称；
选择模块560，用于根据管状结构的名称在扫描图像中选择对应的管状结构。
本实施例提供的管状结构识别装置，包括提取模块510、第一获取模块520、预处理模块530、输入模块540、第二获取模块550和选择模块560。通过提取模块510提取扫描图像中每一管状结构的中心线；第一获取模块520根据中心线获取中心线特征参数，中心线特征参数包括中心线上每一点的坐标值和中心线树的整体信息；中心线树由多个管状结构对应的中心线组成；预处理模块530 对中心线特征参数进行预处理；输入模块540将预处理后的中心线特征参数输入至训练完备的深度学习模型；第二获取模块550获取深度学习模型输出的管状结构的名称；选择模块560根据管状结构的名称在扫描图像中选择对应的管状结构。通过本发明，解决了管状结构识别步骤较复杂和识别不准确的问题，提高了管状结构识别的效率和准确性。
在其中一些实施例中，提取模块510还用于获取从扫描图像中分割出的管状结构；
从管状结构中提取中心线。
在其中一些实施例中，对中心线特征参数进行预处理包括：
根据中心线树的整体信息，对每一中心线树的坐标值进行归一化处理。
在其中一些实施例中，管状结构识别装置还包括模型构建模块，用于在将预处理后的中心线特征参数输入至训练完备的深度学习模型之前，构建初始识别模型；
获取模型训练样本，模型训练样本包括中心线特征参数和中心线对应的目标管状结构名称；
对模型训练样本进行预处理；
将预处理后的模型训练样本输入至初始识别模型，得到识别名称；
根据识别名称和目标管状结构名称的差异程度，调整初始识别模型的参数，得到训练完备的深度学习模型。
在其中一些实施例中，根据神经网络构建初始识别模型，神经网络包括循环神经网络和/或长短期记忆神经网络。
在其中一些实施例中，模型构建模块还用于：提取扫描图像中每一管状结构的中心线，并按照解剖名称对多个中心线进行命名；
根据中心线，得到中心线上每一点的坐标值和中心线树的整体信息，中心线树由多个管状结构对应的中心线组成。
在其中一些实施例中，第一获取模块520还用于根据中心线，计算每条中心线上每一点的坐标值；
将中心线上每一点的坐标值输入至树形递归神经网络中的对应节点，得到中心线树的整体信息。
在其中一些实施例中，输入模块540还用于将单个待识别的中心线的坐标值输入至单个中心线检测模块；
将扫描图像中每一管状结构的中心线输入至中心线信息提取模块，得到中心线树的整体信息；
将单个中心线检测模块的输出信息和中心线整体信息输入至深度神经网络；
将深度神经网络输出的信息传输至损失函数，得到识别名称。
关于管状结构识别装置的具体限定可以参见上文中对于管状结构识别方法的限定，在此不再赘述。上述管状结构识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
另外，结合图1描述的本申请实施例管状结构识别方法可以由计算机设备来实现。图6为根据本申请实施例的计算机设备的硬件结构示意图。
计算机设备可以包括处理器61以及存储有计算机程序指令的存储器62。
具体地，上述处理器61可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器62可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器62可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器62可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器62可在数据处理装置的内部或外部。在特定实施例中，存储器62是非易失性(Non-Volatile)存储器。在特定实施例中，存储器62包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM 可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(FastPage Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器62可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器62所执行的可能的计算机程序指令。
处理器61通过读取并执行存储器62中存储的计算机程序指令，以实现上述实施例中的任意一种管状结构识别方法。
在其中一些实施例中，计算机设备还可包括通信接口63和总线60。其中，如图6所示，处理器61、存储器62、通信接口63通过总线60连接并完成相互间的通信。
通信接口63用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口63还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线60包括硬件、软件或两者，将计算机设备的部件彼此耦接在一起。总线60包括但不限于以下至少之一：数据总线(DataBus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线60可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(FrontSide Bus，简称为 FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(LowPin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB) 总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线60可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该计算机设备可以基于获取到的程序指令，执行本申请实施例中的管状结构识别方法，从而实现结合图1描述的管状结构识别方法。
另外，结合上述实施例中的管状结构识别方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种管状结构识别方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种管状结构识别方法，其特征在于，所述方法包括：
提取扫描图像中每一管状结构的中心线；
根据所述中心线获取所述中心线特征参数，所述中心线特征参数包括中心线上每一点的坐标值和中心线树的整体信息；所述中心线树由多个所述管状结构对应的中心线组成；
对所述中心线特征参数进行预处理；
将预处理后的所述中心线特征参数输入至训练完备的深度学习模型；
获取所述深度学习模型输出的管状结构的名称；
根据所述管状结构的名称在所述扫描图像中选择对应的管状结构。
2.根据权利要求1所述的方法，其特征在于，所述提取扫描图像中的血管中心线包括：
获取从扫描图像中分割出的管状结构；
从所述管状结构中提取所述中心线。
3.根据权利要求1所述的方法，其特征在于，对所述中心线特征参数进行预处理包括：
根据所述中心线树的整体信息，对每一所述中心线树的坐标值进行归一化处理。
4.根据权利要求1所述的方法，其特征在于，在所述将预处理后的所述中心线特征参数输入至训练完备的深度学习模型之前，所述方法还包括：
构建初始识别模型；
获取模型训练样本，所述模型训练样本包括所述中心线特征参数和所述中心线对应的目标管状结构名称；
对所述模型训练样本进行预处理；
将预处理后的所述模型训练样本输入至所述初始识别模型，得到识别名称；
根据所述识别名称和所述目标管状结构名称的差异程度，调整所述初始识别模型的参数，得到所述训练完备的深度学习模型。
5.根据权利要求4所述的方法，其特征在于，根据神经网络构建所述初始识别模型，所述神经网络包括循环神经网络和/或长短期记忆神经网络。
6.根据权利要求4所述的方法，其特征在于，所述获取模型训练样本包括：
提取扫描图像中每一管状结构的中心线，并按照解剖名称对多个所述中心线进行命名；
根据所述中心线，得到所述中心线上每一点的坐标值和中心线树的整体信息，所述中心线树由多个所述管状结构对应的中心线组成。
7.根据权利要求6所述的方法，其特征在于，根据所述中心线，得到中心线树的整体信息包括：
根据多个所述中心线，计算每条中心线上每一点的坐标值；
将所述中心线上每一点的坐标值输入至树形递归神经网络中的对应节点，得到所述中心线树的整体信息。
8.根据权利要求4所述的方法，其特征在于，所述将预处理后的所述模型训练样本输入至所述初始识别模型，得到识别名称包括：
将单个待识别的中心线的坐标值输入至单个中心线检测模块；
将所述扫描图像中每一管状结构的中心线输入至中心线信息提取模块，得到中心线树的整体信息；
将单个中心线检测模块的输出信息和所述中心线整体信息输入至深度神经网络；
将所述深度神经网络输出的信息传输至损失函数，得到所述识别名称。
9.一种管状结构识别装置，其特征在于，所述装置包括：
提取模块，用于提取扫描图像中每一管状结构的中心线；
第一获取模块，用于根据所述中心线获取所述中心线特征参数，所述中心线特征参数包括中心线上每一点的坐标值和中心线树的整体信息；所述中心线树由多个所述管状结构对应的中心线组成；
预处理模块，用于对所述中心线特征参数进行预处理；
输入模块，用于将预处理后的所述中心线特征参数输入至训练完备的深度学习模型；
第二获取模块，用于获取所述深度学习模型输出的管状结构的名称；
选择模块，用于根据所述管状结构的名称在所述扫描图像中选择对应的管状结构。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述方法的步骤。
CN202010333819.5A 2020-04-24 2020-04-24 管状结构识别方法、装置、计算机设备和可读存储介质 Active CN111461065B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010333819.5A CN111461065B (zh) 2020-04-24 2020-04-24 管状结构识别方法、装置、计算机设备和可读存储介质
EP20932198.3A EP4128040A4 (en) 2020-04-24 2020-12-19 OBJECT RECOGNITION SYSTEMS AND METHODS
PCT/CN2020/137816 WO2021212886A1 (en) 2020-04-24 2020-12-19 Systems and methods for object recognition
US18/049,283 US20230074296A1 (en) 2020-04-24 2022-10-24 Systems and methods for object recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010333819.5A CN111461065B (zh) 2020-04-24 2020-04-24 管状结构识别方法、装置、计算机设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN111461065A true CN111461065A (zh) 2020-07-28
CN111461065B CN111461065B (zh) 2024-01-05

Family

ID=71685385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010333819.5A Active CN111461065B (zh) 2020-04-24 2020-04-24 管状结构识别方法、装置、计算机设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN111461065B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021212886A1 (en) * 2020-04-24 2021-10-28 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for object recognition
CN113744215A (zh) * 2021-08-24 2021-12-03 清华大学 三维断层扫描图像中树状管腔结构中心线的提取方法和装置
CN114708390A (zh) * 2022-05-25 2022-07-05 深圳科亚医疗科技有限公司 一种生理管状结构的图像处理方法、装置及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1640360A (zh) * 2003-11-17 2005-07-20 西门子共同研究公司 使用n－MIP光线投射技术的自动冠状动脉分离
CN101523437A (zh) * 2006-10-03 2009-09-02 皇家飞利浦电子股份有限公司 基于模型的冠状动脉中心线定位
CN103247073A (zh) * 2013-04-18 2013-08-14 北京师范大学 基于树状结构的三维脑血管模型构造方法
CN106548213A (zh) * 2016-11-30 2017-03-29 上海联影医疗科技有限公司 血管识别方法和装置
CN107644420A (zh) * 2017-08-31 2018-01-30 西北大学 基于中心线提取的血管图像分割方法、核磁共振成像系统
CN110047078A (zh) * 2019-04-18 2019-07-23 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110545714A (zh) * 2017-02-28 2019-12-06 4Dx有限公司 扫描和评价肺和血管健康状况的方法
CN110570929A (zh) * 2019-08-20 2019-12-13 上海联影医疗科技有限公司 结构展示方法、装置、计算机设备和存储介质
CN110827956A (zh) * 2014-01-10 2020-02-21 哈特弗罗公司 用于识别医学图像采集参数的系统和方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1640360A (zh) * 2003-11-17 2005-07-20 西门子共同研究公司 使用n－MIP光线投射技术的自动冠状动脉分离
CN101523437A (zh) * 2006-10-03 2009-09-02 皇家飞利浦电子股份有限公司 基于模型的冠状动脉中心线定位
CN103247073A (zh) * 2013-04-18 2013-08-14 北京师范大学 基于树状结构的三维脑血管模型构造方法
CN110827956A (zh) * 2014-01-10 2020-02-21 哈特弗罗公司 用于识别医学图像采集参数的系统和方法
CN106548213A (zh) * 2016-11-30 2017-03-29 上海联影医疗科技有限公司 血管识别方法和装置
CN110545714A (zh) * 2017-02-28 2019-12-06 4Dx有限公司 扫描和评价肺和血管健康状况的方法
CN107644420A (zh) * 2017-08-31 2018-01-30 西北大学 基于中心线提取的血管图像分割方法、核磁共振成像系统
CN110047078A (zh) * 2019-04-18 2019-07-23 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110570929A (zh) * 2019-08-20 2019-12-13 上海联影医疗科技有限公司 结构展示方法、装置、计算机设备和存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021212886A1 (en) * 2020-04-24 2021-10-28 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for object recognition
CN113744215A (zh) * 2021-08-24 2021-12-03 清华大学 三维断层扫描图像中树状管腔结构中心线的提取方法和装置
CN113744215B (zh) * 2021-08-24 2024-05-31 清华大学 三维断层扫描图像中树状管腔结构中心线的提取方法和装置
CN114708390A (zh) * 2022-05-25 2022-07-05 深圳科亚医疗科技有限公司 一种生理管状结构的图像处理方法、装置及存储介质

Also Published As

Publication number Publication date
CN111461065B (zh) 2024-01-05

Similar Documents

Publication Publication Date Title
US11101033B2 (en) Medical image aided diagnosis method and system combining image recognition and report editing
CN109584254B (zh) 一种基于深层全卷积神经网络的心脏左心室分割方法
Chen et al. JAS-GAN: generative adversarial network based joint atrium and scar segmentations on unbalanced atrial targets
CN109242860B (zh) 基于深度学习及权重空间集成的脑肿瘤图像分割方法
CN107563434B (zh) 一种基于三维卷积神经网络的脑部mri图像分类方法、装置
CN110232383A (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
CN112365464B (zh) 一种基于gan的医学图像病变区域弱监督定位方法
CN111461065A (zh) 管状结构识别方法、装置、计算机设备和可读存储介质
Athanasiou et al. A novel semiautomated atherosclerotic plaque characterization method using grayscale intravascular ultrasound images: comparison with virtual histology
CN111932554A (zh) 一种肺部血管分割方法、设备及存储介质
Hsu Automatic left ventricle recognition, segmentation and tracking in cardiac ultrasound image sequences
CN110503636B (zh) 参数调整方法、病灶预测方法、参数调整装置及电子设备
CN116705300A (zh) 基于体征数据分析的医疗决策辅助方法、系统及存储介质
CN115393239A (zh) 一种多模态眼底图像配准和融合方法及系统
Bi et al. Sequential shape similarity for active contour based left ventricle segmentation in cardiac cine MR image
CN113298773A (zh) 基于深度学习的心脏视图识别与左心室检测装置、系统
CN103377369B (zh) 生成用于个体识别的心血管测量的方法和系统
Yuan et al. Fully automatic segmentation of the left ventricle using multi-scale fusion learning
CN114119578B (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN113112473B (zh) 一种人体扩张型心肌病的自动诊断系统
CN115239695A (zh) 一种基于时序图像的肺结节识别系统及方法
CN113205472A (zh) 基于循环生成对抗网络CycleGAN模型的跨模态MR影像互生成方法
Ibrahim et al. Liver Multi-class Tumour Segmentation and Detection Based on Hyperion Pre-trained Models.
Favaedi et al. Cephalometric landmarks identification using probabilistic relaxation
Rathore et al. Brain Tumor Detection by using ResNet-50 and Image Processing Tools

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201807 2258 Chengbei Road, Jiading District, Shanghai

Applicant after: Shanghai Lianying Medical Technology Co.,Ltd.

Address before: 201807 2258 Chengbei Road, Jiading District, Shanghai

Applicant before: SHANGHAI UNITED IMAGING HEALTHCARE Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant