CN113487628B - 模型训练的方法及冠状血管识别方法、装置、设备和介质 - Google Patents

模型训练的方法及冠状血管识别方法、装置、设备和介质 Download PDF

Info

Publication number
CN113487628B
CN113487628B CN202110769281.7A CN202110769281A CN113487628B CN 113487628 B CN113487628 B CN 113487628B CN 202110769281 A CN202110769281 A CN 202110769281A CN 113487628 B CN113487628 B CN 113487628B
Authority
CN
China
Prior art keywords
image
convolution
coronary vessel
coronary
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110769281.7A
Other languages
English (en)
Other versions
CN113487628A (zh
Inventor
黄汉东
谢斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Dadao Medical Technology Co ltd
Original Assignee
Guangzhou Dadao Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Dadao Medical Technology Co ltd filed Critical Guangzhou Dadao Medical Technology Co ltd
Priority to CN202110769281.7A priority Critical patent/CN113487628B/zh
Publication of CN113487628A publication Critical patent/CN113487628A/zh
Application granted granted Critical
Publication of CN113487628B publication Critical patent/CN113487628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种模型训练的方法及冠状血管识别方法、装置、设备和介质，该识别方法包括：获取包含冠状血管的图像并进行处理，得到处理后图像；将所述处理后图像输入冠状血管识别模型，得到主体清晰、边缘有渐变的冠状血管图像，其中，冠状血管识别模型包括多个卷积模块，多个卷积模块中卷积核的个数依次增加。本发明提出的冠状血管识别方法，在合理硬件成本情况下，提供了能够接受的准确度。本发明同时提出的模型训练的方法，提高了冠状血管识别模型的适用性，降低了冠状血管识别模型的应用成本，能减少10倍以上的人工标记样本数。

Description

模型训练的方法及冠状血管识别方法、装置、设备和介质
技术领域
本发明涉及医学成像技术领域，特别是涉及一种模型训练的方法及冠状血管识别方法、装置、设备和介质。
背景技术
冠状血管是给心脏肌肉供应养分的重要血管，冠状血管的工作状态直接影响着心脏的功能状态，现代社会中很多心脏疾病都与冠状血管的功能缺陷有关。在诊断冠状血管功能以及对其进行治疗的过程中，通常需要用到医学影像设备对血管进行成像。在常规的X光成像影像中，血管处于比较透明的状态，在成像图像里颜色十分浅，不易观察，进而发展了一种血管增强影像的技术。这种技术向血管内注入特定的显影增强剂，能阻挡X光射线，含有这种增强剂的血管会清晰的显现在X光图像里。但这种增强影像的增强剂对人体有害，不能大量注射，注射之后会有一个很快的衰减过程，增强剂会被代谢掉，血管的影像逐渐消失。为了获得更好的辅助治疗和诊断过程，需要在增强影像中把血管的影像从图像背景中抽取出来，进行图像重建，以便后续进行处理或显示。
传统的图像识别方法，例如阈值法、边缘检测法等，在应用到冠脉血管识别中出现了一些难以解决的问题：(一)针对某种特定成像模式提出的算法，不适用于其他成像模式；(二)血管的边界判断是依据像素的灰度梯度场来进行，但在血流速度低、血流复杂的区域，梯度值往往不够高；(三)多种人体组织叠加后，会出现大量假目标区域，例如骨头也会呈现较深的颜色，与某些血管的颜色十分近似；(四)算法中涉及的许多参数都需要根据实际图像进行调整，无法在应用过程中自动、快速地生成，而且参数的估计过程非常困难。
冠脉血管图像主要有以下特点：(一)血管增强影像中的灰度不仅仅是由血管及造影剂形成的，因为除了血管中的造影剂吸收X射线外，人体内的肋骨、心脏、肺等其他组织同样会不同程度的吸收X射线，在造影图像上呈现影像，有些组织的形状与血管形状十分相似，会形成结构噪声；(二)冠脉血管的灰度分布范围较宽。心血管是个树状结构，血管的尺寸变化比较大，从冠状动脉开始由粗变细，向各部分逐渐延伸。所以从冠状动脉到细小的毛细血管都可能出现在同一幅图像中；(三)造影剂在血管的不同位置有不同的衰减速度，所有同一条血管上，由于有效造影剂浓度的差异，血管在影像中的颜色深浅程度也十分不同，甚至部分处于假的断裂状态。
发明内容
为了解决上述现有技术的不足，本发明提供了一种模型训练的方法及冠状血管识别方法、装置、设备和介质，模型训练的方法，通过对原始图像进行自动筛选以及随机裁剪和随机缩放，得到训练图像，利用训练图像对冠状血管识别模型进行训练，得到训练好的冠状血管识别模型，该方法提高了冠状血管识别模型的适用性。冠状血管识别方法通过在各种尺度下的提取，有效分辨出非连通性的区域和连通性比常规血管大的区域，将这两种区域进行剔除，得到正确的目标区域；然后通过识别模型中的softmax函数，将最终计算出来的结果映射到区间，从而得到主体清晰、边缘有渐变的冠状血管图像，从而提供了能够接受的准确度。
本发明的第一个目的在于提供一种模型训练的方法。
本发明的第二个目的在于提供一种冠状血管识别方法。
本发明的第三个目的在于提供一种模型训练的装置。
本发明的第四个目的在于提供一种冠状血管识别装置。
本发明的第五个目的在于提供一种计算机设备。
本发明的第六个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到：
一种模型训练的方法，所述方法包括：
获取包含冠状血管的图像并进行处理，得到原始图像；
对所述原始图像进行自动筛选，得到筛选后样本；
对所述筛选后样本进行人工标记，得到对应的标记后图像；
根据所述筛选后样本和所述标记后的图像，通过随机中心裁剪和随机缩放，得到训练图像；
根据所述训练图像，对冠状血管识别模型进行训练，得到训练好的冠状血管识别模型；所述冠状血管识别模型包括多个卷积模块，多个卷积模块中卷积核的个数依次增加。
进一步的，所述对所述原始图像进行自动筛选，得到筛选后样本，具体包括：
根据原始图像上的数据点，对原始图像的X轴和Y轴分别进行矩运算，作为一个新的数据空间，称为图像矩空间；
将图像矩空间的每个维度按等数量分成多份，每份的数值范围不发生交叉，每个数值范围内包含的样本数量一样；
计算各个维度里，每个数值范围内样本份数的标准差；
选择标准差大的维度作为中心维度；
根据中心维度，查找各个样本在各个维度的分布；
计算各个样本的各个维度的值在对应数值范围包含的份数与该维度平均份数之差，称为样本维度差异度；
样本维度差异度之和最大的样本，作为筛选后样本；
若提取的样本数量达到第一设定阈值，则完成对图像的自动筛选；否则，返回选择标准差大的维度作为该次选图的中心维度，并继续执行后续操作。
进一步的，所述获取包含冠状血管的图像并进行处理，得到原始图像，具体为：
将获取的图像，存储为长宽均为PL的PNG文件，作为原始图像；其中PL的单位为像素；
所述根据所述筛选后样本和所述标记后的图像，通过随机中心裁剪和随机缩放，得到训练图像，具体包括：
生成n个中心位置随机变量对(p1，p2)、中心位置随机变量对的取值范围为0～1区间，同时生成n个指定范围的缩放系数随机变量；其中，n为第二设定阈值；
从n个缩放系数随机变量中随机选择一个缩放系数变量，作为缩放变量s；
根据所述缩放变量s确定可行图像中心范围，所述可行图像中心范围为正方形，该正方形的边长L＝(PL-(PL*s/4)-(PL*s/4))；
将中心位置随机变量对映射至可行图像中心范围内，得到新的中心位置随机变量对(L*p1，L*p2)；
按所述新的中心位置随机变量对和所述缩放变量对筛选后样本和标记后图像中进行截图，得到新的图像对，作为训练图像。
本发明的第二个目的可以通过采取如下技术方案达到：
一种冠状血管识别方法，所述方法包括：
获取包含冠状血管的图像并进行处理，得到处理后图像；
将所述处理后图像输入冠状血管识别模型，得到主体清晰、边缘有渐变的冠状血管图像，其中，所述冠状血管识别模型为上述的模型训练的方法中训练好的冠状血管识别模型。
进一步的，所述冠状血管识别模型还包括第一卷积层；
所述将所述处理后图像输入所述冠状血管识别模型，得到主体清晰、边缘有渐变的冠状血管图像，具体包括：
将所述处理后图像输入所述冠状血管识别模型，得到第一卷积层的计算结果；
根据所述第一卷积层中激活函数，将所述计算结果映射到0～255的区间，得到主体清晰、边缘有渐变的冠状血管图像。
进一步的，所述冠状血管识别模型还包括第二卷积层；
所述将所述处理后图像输入所述冠状血管识别模型，得到第一卷积层的计算结果，具体包括：
将所述处理后图像输入所述冠状血管识别模型，得到所述第二卷积层输出的结果；
将所述第二卷积层输出的结果输入第一卷积层进行计算，得到第一卷积层的计算结果。
进一步的，所述冠状血管识别模型包括三个卷积模块，分别为第一卷积模块、第二卷积模块和第三卷积模块；
所述冠状血管识别模型还包括三个反卷积模块；
所述将所述处理后图像输入所述冠状血管识别模型，得到所述第二卷积层输出的结果，具体包括：
将所述处理后图像输入第一卷积模块进行运算，得到第一中间层；
将所述第一中间层输入第二卷积模块进行运算，得到第二中间层；
将所述第二中间层输入第三卷积模块进行运算，得到第三中间层；
根据所述三个反卷积模块分别对所述第一中间层、所述第二中间层和所述第三中间层进行反卷积运算，分别得到三个图像大小一致的特征图；
将所述三个特征图进行叠加运算，再通过第二卷积层进行运算，得到运算结果；
根据所述第二卷积层中激活函数对运算结果进行分辨，将分辨出的无效信息设为0，得到第二卷积层输出的结果。
进一步的，所述第三卷积模块为单元组模块，包括三个卷积单元和第三卷积层，三个卷积单元分别为第一卷积单元、第二卷积单元和第三卷积单元，三个卷积单元中卷积核的大小均不同；
所述将所述第二中间层输入第三卷积模块进行运算，得到第三中间层，具体包括：
所述第一卷积单元、第二卷积单元和第三卷积单元，分别对所述第二中间层进行运算，分别第四中间层、第五中间层和第六中间层；
对第四中间层、第五中间层和第六中间层进行叠加，再根据第三卷积层进行运算，得到第三中间层。
进一步的，所述获取包含冠状血管的图像并进行处理，得到处理后图像，具体包括：
获取包含冠状血管的图像，将所述包含冠状血管的图像存储为大小固定的图像；
将大小固定的图像中每个像素点的值除以255.0，得到图像中每个像素点的值，得到的图像即为处理后图像。
本发明的第三个目的可以通过采取如下技术方案达到：
一种模型训练的装置，所述装置包括：
图像获取模块，用于获取包含冠状血管的图像并进行处理，得到原始图像；
图像筛选模块，用于对所述原始图像进行自动筛选，得到筛选后样本；
图像标记模块，用于对所述筛选后样本进行人工标记，得到标记后图像；
训练图像生成模块，用于根据所述筛选后样本和所述标记后的图像，通过随机中心裁剪和随机缩放，得到训练图像；
模型训练模块，用于根据所述训练图像，对冠状血管识别模型进行训练，得到训练好的冠状血管识别模型；所述冠状血管识别模型包括多个卷积模块，多个卷积模块中卷积核的个数依次增加。
本发明的第四个目的可以通过采取如下技术方案达到：
一种冠状血管识别装置，所述装置包括：
图像获取模块，用于获取包含冠状血管的图像并进行处理，得到处理后图像；
图像识别模块，用于将所述处理后图像输入冠状血管识别模型，得到主体清晰、边缘有渐变的冠状血管图像，其中，所述冠状血管识别模型为上述的模型训练的装置中训练好的冠状血管识别模型。
本发明的第五个目的可以通过采取如下技术方案达到：
一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的模型训练的方法或冠状血管识别方法。
本发明的第六个目的可以通过采取如下技术方案达到：
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的模型训练的方法或冠状血管识别方法。
本发明相对于现有技术具有如下的有益效果：
1、本发明提出的冠状血管识别方法，在合理的硬件成本情况下，提供了能够接受的准确度。
2、本发明提出的冠状血管识别方法，通过在各种尺度下的提取，可以有效的分辨出非连通性的区域和连通性比常规血管大的区域，将这两种区域进行剔除，得到正确的目标区域。
3、本发明提出的冠状血管识别方法，通过卷积层中relu激活函数分辨出有效信息和无效信息，将无效信息完全转为0；通过卷积层中softmax激活函数，将识别模型计算出来的结果映射到0～255的区间，从而得到一个主体清晰、边缘有渐变的目标血管图像。
4、本发明提出的模型训练的方法，提高了冠状血管识别模型的适用性，降低了冠状血管识别模型的应用成本，能减少10倍以上的人工标记样本数。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的模型训练的方法的流程图。
图2为本发明实施例1的模型训练的方法的原理图。
图3为本发明实施例1的冠状血管识别模型的原理图。
图4为本发明实施例1的冠状血管识别方法的流程图。
图5至图11为本发明实施例1的获取图像及对应得到的目标图像。
图12为本发明实施例2的模型训练的装置的结构框图。
图13为本发明实施例2的冠状血管识别装置的结构框图。
图14为本发明实施例3的计算机设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
本实施例提供了一种模型训练的方法。传统的图像检测和处理方式需要的样本量不多，但是传统的图像处理方法对图像变化的适应能力比较低，对于冠状血管成像，其可能受到增强剂浓度分布不均匀、其骨骼和肌肉等因素的影响，误差比较大。
常规的卷积神经网络训练通常需要大量的训练数据。训练数据的数量与模型未知数的数量成正比，模型越大所需要的训练数据量越大。在冠状血管识别中，需要对数据进行人工标记形成训练数据，然后再把训练数据输入到装置。这些数据的人工标记需要由有一定的专业医学知识的专业人士进行。若需要大量的训练数据，则会涉及很多的人力物力，并使得整个装置的部署时间和更新时间非常慢。
常规的深度学习训练方法，通常需要上千个训练数据。训练数据准备工作量大，对专业知识要求高，使得冠状血管的识别有较高的入门门槛。
本实施例提供一种模型训练方法，通过对图像进行部分截取缩减了模型的尺寸，使模型未知数数量极大降低，对训练数据的总数量要求也极大的减少了。这种训练方法提供自动化的图像筛选，以及通过随机中心裁剪和随机缩放，可以从单幅人工标记图像中衍生出20多幅用于深度学习模型训练的图形。
如图1和图2所示，一种模型训练的方法，包括以下步骤：
S101、获取包含冠状血管的图像并进行处理，得到原始图像。
从X光影像设备中提取出的包含冠状血管的图像，通常是DICOM格式的连续图像，每幅图像相隔时间约0.05秒。
将提取出的图像，存储为大小固定的序列PNG文件，作为原始图像。
本实施例中，PNG文件的长宽均为PL，PL设为200，单位为像素。
S102、对原始图像进行自动筛选，得到筛选后样本。
在大量的连续图像中选择差异性比较大的图片需要大量的人力和物力，而且缺乏可比较的标准。为了减少该工作量，本实施例提出了一种自动筛选图像的方法，该方法包括：
(1)使用图像上的数据点对图像的X轴和Y轴分别进行矩运算，矩运算记录每个像素点到X轴或Y轴的距离信息，以及这个像素点的强度信息。这些信息形成一个新的数据空间，称为图像矩空间。
(2)图像矩空间包括多个维度，将每个维度按等数量分成多份，每份的数值范围都不发生交叉，每个数值范围内包含的样本数量一样。
(3)计算各个维度里，每个数值范围内样本份数的标准差。
(4)选择标准差大的维度作为该次选图的中心维度。
(5)选择中心维度里份数最多的一个数值范围，查找这个数值范围里面各个样本在各个维度的分布。
(6)计算各个样本的各个维度的值所在数值范围包含的份数与该维度平均份数之差，简称样本维度差异度。
(7)样本维度差异度之和最大的那个样本，选为本次的提取样本。
若提取的样本数量已足够，则完成对图像的自动筛选；否则，返回步骤(2-4)并进行后面的步骤，继续提取样本。
得到筛选后样本，记为图集X。
当有新的X光影像图像数据导出的时候，按照自动筛选图像的方法选取特定数量的样本，即得到筛选后样本。
S103、对筛选后样本进行人工标记，得到标记后图像。
对筛选后样本进行人工标记，得到对应的标记后图像，记为图集Y。标记后图像包含了目标像素的信息。
S104、根据筛选后样本和标记后的图像，通过随机中心裁剪和随机缩放，得到训练图像。
对图集X和图集Y进行衍生扩展操作。
(1)生成n个中心位置随机变量对(p1，p2)、中心位置随机变量对的取值范围为0～1区间，同时生成n个指定范围的缩放系数随机变量；n为大于1的任意正整数。
本实施例中，n取值为20，指定范围为0.8～1.2。
(2)在n个缩放系数随机变量中选择一个缩放变量为s，根据该缩放变量s确定可行图像中心范围，可行图像中心范围为正方形，该正方形的边长L＝(PL-(PL*s/4)-(PL*s/4))。
(3)将中心位置随机变量对映射至可行图像中心范围内，得到新的中心位置随机变量对(L*p1，L*p2)；
按新的中心位置随机变量对和缩放随机变量对图集X和图集Y进行截图，截图大小为边长是PL*s/2(单位为像素)的正方形，得到新的图片对，作为训练图像。
对每幅人工标记图片进行上述操作，可大大增加供AI模型训练的数据。
S105、根据训练图像，对冠状血管识别模型进行训练，得到训练好的冠状血管识别模型。
冠状血管识别模型包括多个卷积模块，多个卷积模块中卷积核的个数依次增加。
(1)冠状血管识别模型。
如图3所示，冠状血管识别模型包括多个卷积模块、多个反卷积模块和卷积组；其中，多个卷积模块中卷积核的个数依次增加，卷积组包括第一卷积层和第二卷积层。
进一步的，步骤(1)具体包括：
(1-1)冠状血管识别模型包括多个卷积模块。
本实施例中，冠状血管识别模型包括三个卷积模块，分别为第一卷积模块、第二卷积模块和第三卷积模块。
第一卷积模块包括卷积层和池化层，卷积层是10个5*5的卷积核；为了进一步提取收缩图像的特征，第二卷积模块包括卷积层和池化层，卷积层是20个5*5的卷积核。第三卷积模块为单元组模块，包括三个卷积单元和第三卷积层，每个卷积单元包括一个卷积层和一个池化层；三个卷积单元分别为第一卷积单元、第二卷积单元和第三卷积单元，其中：第一卷积单元中卷积层为40个2x2的卷积核，第二卷积单元中卷积层为40个3x3的卷积核，第三卷积单元中卷积层为40个5x5的卷积核。第三卷积层是40个5*5的卷积核。
上述所有卷积层中的激活函数为relu，所有池化层的窗口形状均为2*2。
(1-2)冠状血管识别模型包括多个反卷积模块。
本实施例中，冠状血管识别模型包括三个反卷积模块。
(1-3)冠状血管识别模型包括卷积组。
第二卷积层为30个10×10的卷积核，激活函数是relu。第一卷积层，卷积核数量为1，卷积核为10x10，激活函数为softmax。
(2)利用训练图像对冠状血管识别模型进行训练，得到训练好的冠状血管识别模型。
如图4和图3所示，本实施例还提供了一种冠状血管识别方法，包括以下步骤：
S401、获取包含冠状血管的图像并进行处理，得到处理后图像。
从X光影像设备中获取包含冠状血管的图像，或者是通过其他方式获得的含有冠状血管的图像。
将获取的图像存储为固定大小的图像。
本实施例中，将获取的图像存储为大小PLxPL，PL的单位为像素；PL取值为200。
将存储图像中每张图像像素点的值除以255.0，得到每张图像像素点的值，每张图像像素的值分布在0～1之间。
S402、将处理后图像输入冠状血管识别模型，得到主体清晰、边缘有渐变的冠状血管图像。
冠状血管识别模型为本实施例中一种模型训练的方法中训练好的冠状血管识别模型。
进一步的，步骤S402具体包括：
(1)将处理后图像进行输入第一卷积模块，得到一个100x100，共有10层的中间层，即为第一中间层。
(2)为了进一步提取收缩图像的特征，将第一中间层输入第二卷积模块，得到一个50×50，共20层的中间层，即为第二中间层。
(3)将第二中间层分别输入第一卷积单元、第二卷积单元和第三卷积单元，通过对第二中间层进行三次不同的卷积和池化运算，分别得到三个大小均为25×25、共40层的单元。
(4)对这三个单元进行叠加连接，然后再根据第三卷积层进行卷积运算，得到一个25×25，共40层的中间层。
将三个单元叠加的、共120层图像特征缩减合并，这三层里面包含了图像不同尺度对结果有用的数学特征。通过这三个不同大小的卷积核的转化，我们可以得到图像在不同尺度下的特征，并对这些特征进行提取和筛选。
通过对这三个单元进行叠加，可以得到在不同尺度下的特征的结合情况，对于一些在小尺度卷积核计算出的非联通性的特征进行删除，进而得到与血管互联特征相符合的结果。
随着图像的缩减，卷积模块中卷积核的数量从10增加到20再到40，通过卷积核数量的增加和输出层数量的同步增加，在图像尺寸缩小的同时，更多图像层记录了在小尺度下目标区域的几何特征。这些记录特征数据的层，通过后续的反卷积运算，可以把目标区域的图像计算出来。
(5)根据三个反卷积模块，分别对卷积和池化运算提取出来的三个尺度不同的中间层进行反卷积运算，分别得到三个与目标图像大小一致的10层的特征图，这三个不同的特征图分别包含了不同尺度的特征。对不同尺度下感兴趣的特征，通过反卷积运算进行重现。
在增强影像图像中，影像中的各种干扰以及非连通性的因素，可能被误认为目标区域的像素。在本实施例指定的尺度下对图像特征进行提取，可以有效的分辨出非连通性的区域，或者连通性比常规血管大的区域。将这两种区域进行剔除，就可以得到正确的目标区域。
(6)对得到的三个特征图进行叠加运算，然后通过第二卷积层的卷积运算，得到第二卷积层的输出。
第二卷积层激活函数可以分辨出有效信息和无效信息，将无效信息完全设为0，减少对后面运算的影响。经过此运算，可以得到感兴趣的、对结果影响强度不一的数据，将非目标区域的值直接设为0。
(7)为了综合评价上述三个不同尺度所获得的目标区域的符合程度，增加了一层卷积层，本卷积层把之前的10层数据合并为一层，通过softmax函数，把计算出来的结果映射到0～255的区间，得到一个主体清晰、边缘有渐变的目标冠状血管图像，即为目标图像。
步骤S401中获取的图像如图5(a)～11(a)所示，经过步骤S402获得对应的目标图像如图5(b)～11(b)所示。
本领域技术人员可以理解，实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2：
如图12所示，本实施例提供了一种模型训练的装置，包括图像获取模块1201、图像筛选模块1202、图像标记模块1203、训练图像生成模块1204和模型训练模块1205，其中：
图像获取模块1201，用于获取包含冠状血管的图像并进行处理，得到原始图像；
图像筛选模块1202，用于对所述原始图像进行自动筛选，得到筛选后样本；
图像标记模块1203，用于对所述筛选后样本进行人工标记，得到标记后图像；
训练图像生成模块1204，用于根据所述筛选后样本和所述标记后的图像，通过随机中心裁剪和随机缩放，得到训练图像；
模型训练模块1205，用于根据所述训练图像，对冠状血管识别模型进行训练，得到训练好的冠状血管识别模型；所述冠状血管识别模型包括多个卷积模块，多个卷积模块中卷积核的个数依次增加。
如图13所示，本实施例提供了一种冠状血管识别装置，包括图像获取模块1301和图像识别模块1302，其中：
图像获取模块1301，用于获取包含冠状血管的图像并进行处理，得到处理后图像；
图像识别模块1302，用于将所述处理后图像输入冠状血管识别模型，得到主体清晰、边缘有渐变的冠状血管图像，其中，所述冠状血管识别模型为模型训练的装置中训练好的冠状血管识别模型。
本实施例中各个模块的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的装置仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例3：
本实施例提供了一种计算机设备，该计算机设备可以为计算机，如图14所示，其通过装置总线1401连接的处理器1402、存储器、输入装置1403、显示器1404和网络接口1405，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质1406和内存储器1407，该非易失性存储介质1406存储有操作装置、计算机程序和数据库，该内存储器1407为非易失性存储介质中的操作装置和计算机程序的运行提供环境，处理器1402执行存储器存储的计算机程序时，实现上述实施例1的模型训练的方法，如下：
获取包含冠状血管的图像并进行处理，得到原始图像；
对所述原始图像进行自动筛选，得到筛选后样本；
对所述筛选后样本进行人工标记，得到标记后图像；
根据所述筛选后样本和所述标记后的图像，通过随机中心裁剪和随机缩放，得到训练图像；
根据所述训练图像，对冠状血管识别模型进行训练，得到训练好的冠状血管识别模型；所述冠状血管识别模型包括多个卷积模块，多个卷积模块中卷积核的个数依次增加。
或，实现上述实施例1的冠状血管识别方法，如下：
获取包含冠状血管的图像并进行处理，得到处理后图像；
将所述处理后图像输入冠状血管识别模型，得到主体清晰、边缘有渐变的冠状血管图像，其中，所述冠状血管识别模型为模型训练的方法中训练好的冠状血管识别模型。
实施例4：
本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的模型训练的方法，如下：
获取包含冠状血管的图像并进行处理，得到原始图像；
对所述原始图像进行自动筛选，得到筛选后样本；
对所述筛选后样本进行人工标记，得到标记后图像；
根据所述筛选后样本和所述标记后的图像，通过随机中心裁剪和随机缩放，得到训练图像；
根据所述训练图像，对冠状血管识别模型进行训练，得到训练好的冠状血管识别模型；所述冠状血管识别模型包括多个卷积模块，多个卷积模块中卷积核的个数依次增加。
或，实现上述实施例1的冠状血管识别方法，如下：
获取包含冠状血管的图像并进行处理，得到处理后图像；
将所述处理后图像输入冠状血管识别模型，得到主体清晰、边缘有渐变的冠状血管图像，其中，所述冠状血管识别模型为模型训练的方法中训练好的冠状血管识别模型。
需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
综上所述，本发明提供了一种模型训练的方法，对原始图像进行自动筛选，得到筛选后样本；对筛选后样本进行人工标记，得到标记后图像；根据筛选后样本和对应的标记后的图像，通过随机中心裁剪和随机缩放，得到训练图像；根据训练图像，对冠状血管识别模型进行训练，以得到训练好的冠状血管识别模型。该方法提高了识别模型的适用性，降低模型的应用成本。本发明同时提供了一种冠状血管识别方法，通过训练好的冠状血管识别模型对处理后图像进行识别，冠状血管识别模型包括多个卷积模块，多个卷积模块中卷积核的个数依次增加；通过不同多个卷积模块中不同尺度卷积核的提取，然后再通过第二卷积层中激活函数relu对运算结果进行分辨，将分辨出的无效信息设为0。在合理的硬件成本情况下，通过本模型得到的管状血管图像满足能够接受的准确度。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (10)

1.一种模型训练的方法，其特征在于，所述方法包括：
获取包含冠状血管的图像并进行处理，得到原始图像；
对所述原始图像进行自动筛选，得到筛选后样本；
对所述筛选后样本进行人工标记，得到对应的标记后图像；
根据所述筛选后样本和所述标记后的图像，通过随机中心裁剪和随机缩放，得到训练图像；
根据所述训练图像对冠状血管识别模型进行训练，得到训练好的冠状血管识别模型；所述冠状血管识别模型包括多个卷积模块、多个反卷积模块和卷积组，多个卷积模块中卷积核的个数依次增加；将训练图像输入第一个卷积模块中，每个卷积模块的输出分别输入下一个卷积模块和对应的反卷积模块中，所有反卷积模块的输出均输入卷积组中，卷积组的输出为冠状血管识别模型的输出；卷积模块和反卷积模块的个数相同；
其中，所述根据所述筛选后样本和所述标记后的图像，通过随机中心裁剪和随机缩放，得到训练图像，具体包括：
生成n个中心位置随机变量对(p1，p2)、中心位置随机变量对的取值范围为0~1区间，同时生成n个指定范围的缩放系数随机变量；其中，n为第二设定阈值；
从n个缩放系数随机变量中随机选择一个缩放系数变量，作为缩放变量s；
根据所述缩放变量s确定可行图像中心范围，所述可行图像中心范围为正方形，该正方形的边长L=(PL-(PL*s/4)-( PL*s/4) )；PL为原始图像的长度，单位为像素；
将中心位置随机变量对映射至可行图像中心范围内，得到新的中心位置随机变量对(L*p1，L*p2)；
按所述新的中心位置随机变量对和所述缩放变量对筛选后样本和标记后图像中进行截图，得到新的图像对，作为训练图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述原始图像进行自动筛选，得到筛选后样本，具体包括：
根据原始图像上的数据点，对原始图像的X轴和Y轴分别进行矩运算，作为一个新的数据空间，称为图像矩空间；
将图像矩空间的每个维度按等数量分成多份，每份的数值范围不发生交叉，每个数值范围内包含的样本数量一样；
计算各个维度里，每个数值范围内样本份数的标准差；
选择标准差大的维度作为中心维度；
根据中心维度，查找各个样本在各个维度的分布；
计算各个样本的各个维度的值在对应数值范围包含的份数与该维度平均份数之差，称为样本维度差异度；
样本维度差异度之和最大的样本，作为筛选后样本；
若提取的样本数量达到第一设定阈值，则完成对图像的自动筛选；否则，返回选择标准差大的维度作为中心维度，并继续执行后续操作。
3.根据权利要求1所述的方法，其特征在于，所述获取包含冠状血管的图像并进行处理，得到原始图像，具体为：
将获取的图像，存储为长宽均为PL的PNG文件，作为原始图像。
4.一种冠状血管识别方法，其特征在于，所述方法包括：
获取包含冠状血管的图像并进行处理，得到处理后图像；
将所述处理后图像输入冠状血管识别模型，得到主体清晰、边缘有渐变的冠状血管图像，其中，所述冠状血管识别模型为权利要求1-3任一项所述的训练好的冠状血管识别模型。
5.根据权利要求4所述的方法，其特征在于，所述卷积组包括第一卷积层和第二卷积层；
所述将所述处理后图像输入所述冠状血管识别模型，得到主体清晰、边缘有渐变的冠状血管图像，具体包括：
将所述处理后图像输入第一个卷积模块中，将多个反卷积模块的输出输入第二卷积层中，得到第二卷积层的计算结果；
根据所述第一卷积层中激活函数，将所述计算结果映射到0~255的区间，得到主体清晰、边缘有渐变的冠状血管图像。
6.根据权利要求5所述的方法，其特征在于，所述将多个反卷积模块的输出输入第二卷积层中，得到第二卷积层的计算结果，具体包括：
将多个反卷积模块输出的多个特征图进行叠加运算，将叠加运算后的结果输入第二卷积层中，通过第二卷积层的卷积运算，得到运算结果；
利用第二卷积层中激活函数对运算结果进行分辨，将分辨出的无效信息设为0，得到第二卷积层输出的结果。
7.根据权利要求5所述的方法，其特征在于，多个卷积模块分别为第一卷积模块、第二卷积模块和第三卷积模块；
将所述处理后图像输入第一个卷积模块中，得到多个反卷积模块的输出，具体包括：
将所述处理后图像输入第一卷积模块进行运算，得到第一中间层；
将所述第一中间层输入第二卷积模块进行运算，得到第二中间层；
将所述第二中间层输入第三卷积模块进行运算，得到第三中间层；
根据所述三个反卷积模块分别对所述第一中间层、所述第二中间层和所述第三中间层进行反卷积运算，分别得到三个图像大小一致的特征图。
8.根据权利要求7所述的方法，其特征在于，所述第三卷积模块为单元组模块，包括三个卷积单元和第三卷积层，三个卷积单元分别为第一卷积单元、第二卷积单元和第三卷积单元，三个卷积单元中卷积核的大小均不同；
所述将所述第二中间层输入第三卷积模块进行运算，得到第三中间层，具体包括：
利用所述第一卷积单元、第二卷积单元和第三卷积单元，分别对所述第二中间层进行运算，分别得到第四中间层、第五中间层和第六中间层；
对第四中间层、第五中间层和第六中间层进行叠加，再根据第三卷积层进行运算，得到第三中间层。
9.根据权利要求4-8任一项所述的方法，其特征在于，所述获取包含冠状血管的图像并进行处理，得到处理后图像，具体包括：
获取包含冠状血管的图像，将所述包含冠状血管的图像存储为大小固定的图像；
将大小固定的图像中每个像素点的值除以255.0，得到图像中每个像素点的值，得到的图像即为处理后图像。
10.一种冠状血管识别装置，其特征在于，所述装置包括：
图像获取模块，用于获取包含冠状血管的图像并进行处理，得到处理后图像；
图像识别模块，用于将所述处理后图像输入冠状血管识别模型，得到主体清晰、边缘有渐变的冠状血管图像，其中，所述冠状血管识别模型为权利要求1-3任一项所述的训练好的冠状血管识别模型。
CN202110769281.7A 2021-07-07 2021-07-07 模型训练的方法及冠状血管识别方法、装置、设备和介质 Active CN113487628B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110769281.7A CN113487628B (zh) 2021-07-07 2021-07-07 模型训练的方法及冠状血管识别方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110769281.7A CN113487628B (zh) 2021-07-07 2021-07-07 模型训练的方法及冠状血管识别方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN113487628A CN113487628A (zh) 2021-10-08
CN113487628B true CN113487628B (zh) 2024-02-23

Family

ID=77940911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110769281.7A Active CN113487628B (zh) 2021-07-07 2021-07-07 模型训练的方法及冠状血管识别方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN113487628B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013049153A2 (en) * 2011-09-27 2013-04-04 Board Of Regents, University Of Texas System Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
CN108830155A (zh) * 2018-05-10 2018-11-16 北京红云智胜科技有限公司 一种基于深度学习的心脏冠状动脉分割及识别的方法
CN109961838A (zh) * 2019-03-04 2019-07-02 浙江工业大学 一种基于深度学习的超声影像慢性肾脏病辅助筛查方法
CN110021022A (zh) * 2019-02-21 2019-07-16 哈尔滨理工大学 一种基于深度学习的甲状腺核医学图像诊断方法
WO2019200753A1 (zh) * 2018-04-17 2019-10-24 平安科技（深圳）有限公司 病变监测方法、装置、计算机设备和存储介质
CN112184690A (zh) * 2020-10-12 2021-01-05 推想医疗科技股份有限公司 冠脉血管走向的预测方法、预测模型的训练方法及装置
CN112651979A (zh) * 2021-01-11 2021-04-13 华南农业大学 肺部x光图像分割方法、系统、计算机设备及存储介质
CN112785551A (zh) * 2020-12-30 2021-05-11 杭州电子科技大学 一种基于深度学习的冠状动脉分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3564961A1 (en) * 2018-05-03 2019-11-06 Koninklijke Philips N.V. Interactive coronary labeling using interventional x-ray images and deep learning

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013049153A2 (en) * 2011-09-27 2013-04-04 Board Of Regents, University Of Texas System Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
WO2019200753A1 (zh) * 2018-04-17 2019-10-24 平安科技（深圳）有限公司 病变监测方法、装置、计算机设备和存储介质
CN108830155A (zh) * 2018-05-10 2018-11-16 北京红云智胜科技有限公司 一种基于深度学习的心脏冠状动脉分割及识别的方法
CN110021022A (zh) * 2019-02-21 2019-07-16 哈尔滨理工大学 一种基于深度学习的甲状腺核医学图像诊断方法
CN109961838A (zh) * 2019-03-04 2019-07-02 浙江工业大学 一种基于深度学习的超声影像慢性肾脏病辅助筛查方法
CN112184690A (zh) * 2020-10-12 2021-01-05 推想医疗科技股份有限公司 冠脉血管走向的预测方法、预测模型的训练方法及装置
CN112785551A (zh) * 2020-12-30 2021-05-11 杭州电子科技大学 一种基于深度学习的冠状动脉分割方法
CN112651979A (zh) * 2021-01-11 2021-04-13 华南农业大学 肺部x光图像分割方法、系统、计算机设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"automated coronary tree segmentation for x-ray angiography sequences using fully-convolutional neural networks";Lei Zhao;《IEEE》;全文 *
"基于三维重建的肺肿瘤分割技术研究";徐永潇;《中国优秀硕士学位论文全文数据库信息科技辑》;全文 *
"基于深度卷积神经网络的医学影像诊断关键技术研究";庞浩;《中国博士学位论文全文数据库》;全文 *

Also Published As

Publication number Publication date
CN113487628A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
CN108830155B (zh) 一种基于深度学习的心脏冠状动脉分割及识别的方法
CN109741344B (zh) 血管分割方法、装置、医疗影像设备及存储介质
CN111127466B (zh) 医学图像检测方法、装置、设备及存储介质
CN110050281B (zh) 学习图像中的对象的注释
CN111161241B (zh) 一种肝脏图像识别方法、电子设备及存储介质
KR20040102038A (ko) 이미지 픽셀 인코딩 방법, 이미지 처리 방법 및 하나이상의 이미지 픽셀들에 의해 재생된 객체의 특성 인식을위한 이미지 처리 방법
CN109712163B (zh) 冠脉提取方法、装置、图像处理工作站和可读存储介质
CN110349143B (zh) 一种确定管状组织感兴趣区的方法、装置、设备及介质
CN102419864B (zh) 一种提取脑部ct图像骨骼方法及装置
JP6458166B2 (ja) 医用画像処理方法及び装置及びシステム及びプログラム
JP3842171B2 (ja) 断層像処理装置
CN115953393B (zh) 基于多任务学习的颅内动脉瘤检测系统、设备及存储介质
JP5105997B2 (ja) 医用画像処理装置、医用画像診断装置、及びプログラム
EP3338619A1 (en) Image processing device, image processing method, and image processing program
CN114332132A (zh) 图像分割方法、装置和计算机设备
JP3195136B2 (ja) 画像処理装置
Aslam et al. Liver-tumor detection using CNN ResUNet
CN114037803B (zh) 医学图像三维重建方法及系统
CN113889238B (zh) 一种图像识别方法、装置、电子设备及存储介质
CN114419181A (zh) Cta图像的重建方法及重建装置、显示方法及显示装置
CN113034522A (zh) 一种基于人工神经网络的ct图像分割方法
CN113487628B (zh) 模型训练的方法及冠状血管识别方法、装置、设备和介质
CN115661152B (zh) 基于模型预测的目标发展情况分析方法
CN114340496A (zh) 基于vrds ai医学影像的心脏冠脉的分析方法和相关装置
CN113793316B (zh) 一种超声扫查区域提取方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant