CN111640126B - 基于医学影像的人工智能诊断辅助方法 - Google Patents

基于医学影像的人工智能诊断辅助方法 Download PDF

Info

Publication number
CN111640126B
CN111640126B CN202010478319.0A CN202010478319A CN111640126B CN 111640126 B CN111640126 B CN 111640126B CN 202010478319 A CN202010478319 A CN 202010478319A CN 111640126 B CN111640126 B CN 111640126B
Authority
CN
China
Prior art keywords
image
target
layer
model
image area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010478319.0A
Other languages
English (en)
Other versions
CN111640126A (zh
Inventor
曲建明
蒲立新
王杰锋
范计朋
牟睿智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHENGDU GOLDISC UESTC MULTIMEDIA TECHNOLOGY CO LTD
Original Assignee
CHENGDU GOLDISC UESTC MULTIMEDIA TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHENGDU GOLDISC UESTC MULTIMEDIA TECHNOLOGY CO LTD filed Critical CHENGDU GOLDISC UESTC MULTIMEDIA TECHNOLOGY CO LTD
Priority to CN202010478319.0A priority Critical patent/CN111640126B/zh
Publication of CN111640126A publication Critical patent/CN111640126A/zh
Application granted granted Critical
Publication of CN111640126B publication Critical patent/CN111640126B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于医学影像的人工智能诊断辅助方法，包括以下步骤：获取目标可疑患者的医学影像，从所述医学影像中提取出目标图像区域；通过使用函数模板对步骤S1中的目标图像区域进行高度概括，然后使用函数对高度概括后的目标图像区域进行滑动窗口匹配，当匹配度满足要求时则匹配成功，获得目标匹配图像。本发明通过构建病灶诊断深度学习框架，针对医学影像扫描特性，采用三维卷积神经网络，建立医学影像人工智能模型，可实现病灶的快速定位和分割；从而避免了人工诊断的强烈主观意识，以及判断时容易出现的人工失误。

Description

基于医学影像的人工智能诊断辅助方法
技术领域
本发明属于医学影像诊断辅助技术领域，具体涉及基于医学影像的人工智能诊断辅助方法。
背景技术
医学影像是指为了医疗或医学研究，对人体或人体某部分，以非侵入方式取得内部组织影像的技术与处理过程。它包含以下两个相对独立的研究方向：医学成像系统和医学图像处理。前者是指图像行成的过程，包括对成像机理、成像设备、成像系统分析等问题的研究；后者是指对已经获得的图像作进一步的处理，其目的是或者是使原来不够清晰的图像复原，或者是为了突出图像中的某些特征信息，或者是对图像做模式分类等等。作为一门科学，医学影像属于生物影像，并包含影像诊断学、放射学、内视镜、医疗用热影像技术、医学摄影和显微镜。另外，包括脑波图和脑磁造影等技术，虽然重点在于测量和记录，没有影像呈显，但因所产生的数据俱有定位特性(即含有位置信息)，可被看作是另外一种形式的医学影像。
然后，在现有技术中，对于医学影像的应用还相当粗糙；小型医院对于医学影像的态度是直接弃用，因为成本相对较高，能看懂医学影像的医生属于高端人才，这些高端人才的缺口较大；大型医院对于医学影像的态度是医生通过肉眼对医学影像进行观察，然后根据观察结果做出判断时，主观意思较为强烈，由于很多相似疾病的医学影像相差不大，医生在做出判断时容易出现人工失误。
发明内容
本发明目的在于提供基于医学影像的人工智能诊断辅助方法，用于解决上述现有技术中存在的技术问题之一，如：在现有技术中，对于医学影像的应用还相当粗糙；小型医院对于医学影像的态度是直接弃用，因为成本相对较高，能看懂医学影像的医生属于高端人才，这些高端人才的缺口较大；大型医院对于医学影像的态度是医生通过肉眼对医学影像进行观察，然后根据观察结果做出判断时，主观意思较为强烈，由于很多相似疾病的医学影像相差不大，医生在做出判断时容易出现人工失误。
为实现上述目的，本发明的技术方案是：
基于医学影像的人工智能诊断辅助方法，包括以下步骤：
S1：获取目标可疑患者的医学影像，从所述医学影像中提取出目标图像区域；
S2：通过使用函数模板对步骤S1中的目标图像区域进行高度概括，然后使用函数对高度概括后的目标图像区域进行滑动窗口匹配，当匹配度满足要求时则匹配成功，获得目标匹配图像；
S3：在步骤S2的基础上，将所述目标匹配图像的历史数据分为训练样本图像和测试图像，其中，对所述训练样本图像依次进行：样本标定、数据标准化处理、特征选择和提取、模型训练，从而得到权值模型；对所述测试图像进行特征选择和提取，从而输入到所述权值模型中进行测试，所述权值模型经过上述测试得到优化权值模型，所述目标匹配图像的实时数据输入到所述优化权值模型中，得到目标特征分割图像；
S4、在步骤S3的基础上，将所述目标特征分割图像输入至筛选识别模型中，完成患者医学影像的分类和患者病灶的定位。
优选的，步骤S1中从所述医学影像中提取出目标图像区域采用阈值分割法，其具体步骤如下：
设目标可疑患者的医学影像为f(x，y)，经过阈值分割处理后的图像为g(x，y)，则目标图像区域的计算公式如下，
其中，T是阈值分割设定的阈值，该分段函数将f(x，y)＞T的部分划分成目标图像区域，将f(x，y)≤T的部分划分为背景图像区域，采用设定全局阈值或自适应阈值的方式将图像分为背景图像区域和目标图像区域，其中的全局阈值或自适应阈值可适配设置。
优选的，步骤S1中全局阈值或自适应阈值可适配设置，其中可适配设置采用最大类间方差法，即通过最大类间方差法来自适应的计算出最佳阈值，其具体步骤如下：
定义目标图像区域和背景图像区域的阈值为T，背景图像区域所占像素点与医学图像总像素点数的比值为w0，目标图像区域所占像素点与医学图像总像素点数的比值为w1，背景图像区域灰度均值为u0，目标图像区域灰度均值为u1，背景图像区域和目标图像区域的方差为ｇ，则：
u＝w0×u0+w1×u1
ｇ＝w0×(u0-u)2+w1×(u1-u)2；
联合该两式可得：
ｇ＝w0×w1+w0×(u0-u1)2；
其中，当ｇ取到最大值时，目标图像区域和背景图像区域的阈值T即为最佳阈值。
优选的，在步骤S2中，将高斯函数作为函数模板，用高斯函数来拟合MAs在灰度值上的分布特征，其中采用的高斯函数模板为：
在采用滑动窗口进行函数模板匹配过程中，通过计算滑动窗口对应的子图像和函数模板之间的相关系数来评价匹配度，相关系数计算公式为：
其中，表示子图像A的灰度均值，/>表示函数模板B的灰度均值，通过相关系数CAB(x，y)作为评判标准来评判匹配是否成功。
优选的，在步骤S3中还包括以下步骤，采用U-net网络模型，U-net网络模型的前半U状结构构成也是不断地卷积操作提取特征，池化操作压缩特征，使得输入图像进行不同层次的特征提取，即前半部分采用VGGNet-16的框架结构；U-net网络模型的前半U状结构构成是反卷积层，通过反卷积运算对特征图进行上采样操作，使得对其尺寸大小的还原；
其中，在反卷积的操作中，U-net网络模型还将前半部分网络结构每层处理得到的特征图进行复制操作，将其复制到当前特征图一起的通道中，然后实行通道剪裁，将浅层的特征传递到深层次的网络中。
优选的，U-net网络模型的的具体参数如下：
U-net网络模型的前半部分采用2个3*3大小的卷积层和1个2*2大小的池化层，激活函数选用ReLU函数，池化操作选用最大池化，然后不断重复卷积和池化操作；
U-net网络模型的后半部分采用1个2*2大小的反卷积层和2个3*3大小的卷积层，采用反卷积层对特征图进行还原，同时在反卷积的过程中使用特征图的维数减半，然后复制前半部分的特征图整合在一起后再进行卷积操作，并不断重复反卷积和卷积操作，在最后使用1个1*1大小的卷积层对特征图进行映射处理后输出。
优选的，步骤S4中筛选识别模型采用Fast-RCNN模型，其训练过程如下：
(1)特征提取；Fast-RCNN模型在特征提取阶段对整张图片进行特征提取；
(2)统一向量维度；Fast-RCNN模型将提取的候选区域映射到原图生成的特征图中，并在后面加入池化层，执行ROI Pooling操作，并且Fast-RCNN模型的最后一层池化层使用7*7的向量进行采样，针对每个候选区域生成固定大小维度的向量；
(3)分类和目标检测；Fast-RCNN模型将ROI Pooling层的结果输入全连接层生成用于任务损失计算的特征，然后在同一层使用Softmax进行目标物体分类和Bounding BoxRegressor边框回归操作，并同时进行分类和边框回归操作。
优选的，步骤S4中Fast-RCNN模型的具体识别过程如下：
(1)特征提取；Fast-RCNN模型使用整张图片作为卷积处理的输入，进行多层卷积处理；
(2)统一向量维度；Fast-RCNN模型在卷积层的最后一层，把得到的Feature Map映射到每个候选区域上，相当于将候选区域映射到原图中，并在最后加入一层ROI Pooling将候选区域转化为统一大小维度的向量，然后进行全连接操作；
(3)损失计算函数；在全连接之后，Fast-RCNN模型不需要进行SVM分类器训练，而是直接使用多任务损失计算函数，得到每个候选区域中目标物体属于每个类别的得分和候选区域的回归参数，并连接到Softmax层和Bounding Box回归层；
(4)参数优化；在参数微调阶段，提出分层次随机梯度下降方法，从N张图片中取出R个候选区域代替从R张图片中各取一个候选区域，使得提速R/N倍；
(5)检测与识别；Fast-RCNN模型直接在全连接层后针对每个Region Proposal中单个目标计算得到其概率值，以及边框回归相对于对象中心的偏移宽高，然后利用多任务损失函数将分类损失与目标定位损失相结合确定最后结果。
与现有技术相比，本发明所具有的有益效果为：
本方案通过构建病灶诊断深度学习框架，针对医学影像扫描特性，采用三维卷积神经网络，建立医学影像人工智能模型，可实现病灶的快速定位和分割；从而避免了人工诊断的强烈主观意识，以及判断时容易出现的人工失误。
附图说明
图1是本发明具体实施方式的步骤流程示意图。
图2是本发明具体实施方式的眼底血管分割流程示意图。
图3是本发明具体实施方式的Fast-RCNN模型的具体识别过程示意图。
图4是本发明具体实施方式的Fast-RCNN模型结构示意图。
具体实施方式
下面结合本发明的附图1-4，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
如图1所示，基于医学影像的人工智能诊断辅助方法，包括以下步骤：
S1：获取目标可疑患者的医学影像，从所述医学影像中提取出目标图像区域；
S2：通过使用函数模板对步骤S1中的目标图像区域进行高度概括，然后使用函数对高度概括后的目标图像区域进行滑动窗口匹配，当匹配度满足要求时则匹配成功，获得目标匹配图像；
S3：在步骤S2的基础上，将所述目标匹配图像的历史数据分为训练样本图像和测试图像，其中，对所述训练样本图像依次进行：样本标定、数据标准化处理、特征选择和提取、模型训练，从而得到权值模型；对所述测试图像进行特征选择和提取，从而输入到所述权值模型中进行测试，所述权值模型经过上述测试得到优化权值模型，所述目标匹配图像的实时数据输入到所述优化权值模型中，得到目标特征分割图像；
S4、在步骤S3的基础上，将所述目标特征分割图像输入至筛选识别模型中，完成患者医学影像的分类和患者病灶的定位。
优选的，步骤S1中从所述医学影像中提取出目标图像区域采用阈值分割法，其具体步骤如下：
设目标可疑患者的医学影像为f(x，y)，经过阈值分割处理后的图像为ｇ(x，y)，则目标图像区域的计算公式如下，
其中，T是阈值分割设定的阈值，该分段函数将f(x，y)＞T的部分划分成目标图像区域，将f(x，y)≤T的部分划分为背景图像区域，采用设定全局阈值或自适应阈值的方式将图像分为背景图像区域和目标图像区域，其中的全局阈值或自适应阈值可适配设置。
优选的，步骤S1中全局阈值或自适应阈值可适配设置，其中可适配设置采用最大类间方差法，即通过最大类间方差法来自适应的计算出最佳阈值，其具体步骤如下：
定义目标图像区域和背景图像区域的阈值为T，背景图像区域所占像素点与医学图像总像素点数的比值为w0，目标图像区域所占像素点与医学图像总像素点数的比值为w1，背景图像区域灰度均值为u0，目标图像区域灰度均值为u1，背景图像区域和目标图像区域的方差为ｇ，则：
u＝w0×u0+w1×u1
ｇ＝w0×(u0-u)2+w1×(u1-u)2；
联合该两式可得：
ｇ＝w0×w1+w0×(u0-u1)2；
其中，当g取到最大值时，目标图像区域和背景图像区域的阈值T即为最佳阈值。
优选的，在步骤S2中，将高斯函数作为函数模板，用高斯函数来拟合MAs在灰度值上的分布特征，其中采用的高斯函数模板为：
在采用滑动窗口进行函数模板匹配过程中，通过计算滑动窗口对应的子图像和函数模板之间的相关系数来评价匹配度，相关系数计算公式为：
其中，表示子图像A的灰度均值，/>表示函数模板B的灰度均值，通过相关系数CAB(x，y)作为评判标准来评判匹配是否成功。
优选的，在步骤S3中还包括以下步骤，采用U-net网络模型，U-net网络模型的前半U状结构构成也是不断地卷积操作提取特征，池化操作压缩特征，使得输入图像进行不同层次的特征提取，即前半部分采用VGGNet-16的框架结构；U-net网络模型的前半U状结构构成是反卷积层，通过反卷积运算对特征图进行上采样操作，使得对其尺寸大小的还原；
其中，在反卷积的操作中，U-net网络模型还将前半部分网络结构每层处理得到的特征图进行复制操作，将其复制到当前特征图一起的通道中，然后实行通道剪裁，将浅层的特征传递到深层次的网络中。
优选的，U-net网络模型的的具体参数如下：
U-net网络模型的前半部分采用2个3*3大小的卷积层和1个2*2大小的池化层，激活函数选用ReLU函数，池化操作选用最大池化，然后不断重复卷积和池化操作；
U-net网络模型的后半部分采用1个2*2大小的反卷积层和2个3*3大小的卷积层，采用反卷积层对特征图进行还原，同时在反卷积的过程中使用特征图的维数减半，然后复制前半部分的特征图整合在一起后再进行卷积操作，并不断重复反卷积和卷积操作，在最后使用1个1*1大小的卷积层对特征图进行映射处理后输出。
具体的，如图2所示，以眼底血管分割为例；在眼底血管的分割上使用认可度较高的DRIVE数据库，它是在2004年由荷兰的DR筛查工作得到的数据库，该库里面公布了40幅图像，且都具有专家手动分割的血管图像。使用基于U-net模型的血管分割算法对眼底血管进行分割，将DRIVE数据库中前20张眼底图像和专家标记的血管图像作为训练样本，将另外的20张眼底图像和专家标记的血管图像作为测试数据集，具体流程如图2所示，针对该分割流程做介绍。
如图4所示，Fast-RCNN模型整体框架如图4所示，Fast-RCNN模型的输入除了一整张图像外，还包括Edge Boxes处理得到的一系列候选区域。该网络首先对整张图像进行多次卷积和池化处理，可以得到一个特征图，接着对于每个RegionProposal提取它的特征向量。每个特征向量输入到全连接层中经过处理后进入到两个分支，一个是产生概率估计的分类层，另一个是产生修正坐标的定位层。这两个层的输出正好能满足检测任务中的分类和定位子任务，而且并行连接在网络末端，保证了两个任务的同时进行。
这里需要注意的是ROI池化层是首次在Fast-RCNN中出现，它用Max Pooling将ROI区域中的特征变换成某种尺寸的特征图，如5*5或7*7。因为目标区域的尺寸不固定，所在ROI的池化窗口尺寸也是不固定的，两者对应上最后才能得到固定尺寸的特征图。ROI池化层相比于SPP池化层，只是在层数上变成了一层，功能并没有发生变化。
Fast-RCNN模型的特点是多任务损失函数并行，分类层会输出离散的概率分布为p＝(p0，p1，…，pK)，一共是K+1个概率，分别是K类目标加上背景。通常p是由Softmax计算得到的。
Fast-RCNN模型的这种多任务损失函数为网络训练带来了便利，主要表现在分类和定位两大功能无需分步训练，也无需遵循先后训练的顺序，最为关键的是不用为分类器保存所有运算结果，这样可以节省大量存储空间。Fast-RCNN模型存在的缺点就是候选区域的获取仍然需要单独进行，在使用时还是会带来不便。
Fast-RCNN模型使用整张图片进行卷积处理，在训练阶段时间提高了18倍多，从22小时减少到1.2个小时。检测的速度如果在全连接层使用SVD普遍提高了150-213倍之间，在不计算候选区域生成时间每张图片检测从9.8s降低到0.1s。另外使用多任务损失联合计算方式在一定程度上提高了精确率，并且使用Softmax方法进行分类比SVM效果要好一些。Fast-RCNN模型中也尝试着提取更多的候选区域来提高精确度，结果证明候选区域的数量不是越多越好。
优选的，步骤S4中筛选识别模型采用Fast-RCNN模型，其训练过程如下：
(1)特征提取；Fast-RCNN模型在特征提取阶段对整张图片进行特征提取；
(2)统一向量维度；Fast-RCNN模型将提取的候选区域映射到原图生成的特征图中，并在后面加入池化层，执行ROI Pooling操作，并且Fast-RCNN模型的最后一层池化层使用7*7的向量进行采样，针对每个候选区域生成固定大小维度的向量；
(3)分类和目标检测；Fast-RCNN模型将ROI Pooling层的结果输入全连接层生成用于任务损失计算的特征，然后在同一层使用Softmax进行目标物体分类和Bounding BoxRegressor边框回归操作，并同时进行分类和边框回归操作。
如图3所示，优选的，步骤S4中Fast-RCNN模型的具体识别过程如下：
(1)特征提取；Fast-RCNN模型使用整张图片作为卷积处理的输入，进行多层卷积处理；
(2)统一向量维度；Fast-RCNN模型在卷积层的最后一层，把得到的Feature Map映射到每个候选区域上，相当于将候选区域映射到原图中，并在最后加入一层ROI Pooling将候选区域转化为统一大小维度的向量，然后进行全连接操作；
(3)损失计算函数；在全连接之后，Fast-RCNN模型不需要进行SVM分类器训练，而是直接使用多任务损失计算函数，得到每个候选区域中目标物体属于每个类别的得分和候选区域的回归参数，并连接到Softmax层和Bounding Box回归层；
(4)参数优化；在参数微调阶段，提出分层次随机梯度下降方法，从N张图片中取出R个候选区域代替从R张图片中各取一个候选区域，使得提速R/N倍；
(5)检测与识别；Fast-RCNN模型直接在全连接层后针对每个Region Proposal中单个目标计算得到其概率值，以及边框回归相对于对象中心的偏移宽高，然后利用多任务损失函数将分类损失与目标定位损失相结合确定最后结果。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (1)

1.基于医学影像的人工智能诊断辅助方法，其特征在于，包括以下步骤：
S1：获取目标可疑患者的医学影像，从所述医学影像中提取出目标图像区域；
S2：通过使用函数模板对步骤S1中的目标图像区域进行高度概括，然后使用函数对高度概括后的目标图像区域进行滑动窗口匹配，当匹配度满足要求时则匹配成功，获得目标匹配图像；
S3：在步骤S2的基础上，将所述目标匹配图像的历史数据分为训练样本图像和测试图像，其中，对所述训练样本图像依次进行：样本标定、数据标准化处理、特征选择和提取、模型训练，从而得到权值模型；对所述测试图像进行特征选择和提取，从而输入到所述权值模型中进行测试，所述权值模型经过上述测试得到优化权值模型，所述目标匹配图像的实时数据输入到所述优化权值模型中，得到目标特征分割图像；
S4、在步骤S3的基础上，将所述目标特征分割图像输入至筛选识别模型中，完成患者医学影像的分类和患者病灶的定位；
步骤S1中从所述医学影像中提取出目标图像区域采用阈值分割法，其具体步骤如下：
设目标可疑患者的医学影像为，经过阈值分割处理后的图像为/>，则目标图像区域的计算公式如下，
；
其中，T是阈值分割设定的阈值，分段函数将的部分划分成目标图像区域，将/>的部分划分为背景图像区域，采用设定全局阈值或自适应阈值的方式将图像分为背景图像区域和目标图像区域，其中的全局阈值或自适应阈值可适配设置；
步骤S1中全局阈值或自适应阈值可适配设置，其中可适配设置采用最大类间方差法，即通过最大类间方差法来自适应的计算出最佳阈值，其具体步骤如下：
定义目标图像区域和背景图像区域的阈值为T，背景图像区域所占像素点与医学图像总像素点数的比值为，目标图像区域所占像素点与医学图像总像素点数的比值为/>，背景图像区域灰度均值为/>，目标图像区域灰度均值为/>，背景图像区域和目标图像区域的方差为/>，则：
；
联合两式可得：
；
其中，当取到最大值时，目标图像区域和背景图像区域的阈值T即为最佳阈值；
在步骤S2中，将高斯函数作为函数模板，用高斯函数来拟合MAs在灰度值上的分布特征，其中采用的高斯函数模板为：
；
在采用滑动窗口进行函数模板匹配过程中，通过计算滑动窗口对应的子图像和函数模板之间的相关系数来评价匹配度，相关系数计算公式为：
；
其中，表示子图像A的灰度均值，/>表示函数模板B的灰度均值，通过相关系数作为评判标准来评判匹配是否成功；
在步骤S3中还包括以下步骤，采用U-net网络模型，U-net网络模型的前半U状结构构成也是不断地卷积操作提取特征，池化操作压缩特征，使得输入图像进行不同层次的特征提取，即前半部分采用VGGNet-16的框架结构；U-net网络模型的前半U状结构构成是反卷积层，通过反卷积运算对特征图进行上采样操作，使得对其尺寸大小的还原；
其中，在反卷积的操作中，U-net网络模型还将前半部分网络结构每层处理得到的特征图进行复制操作，将其复制到当前特征图一起的通道中，然后实行通道剪裁，将浅层的特征传递到深层次的网络中；
U-net网络模型的的具体参数如下：
U-net网络模型的前半部分采用2个3*3大小的卷积层和1个2*2大小的池化层，激活函数选用ReLU函数，池化操作选用最大池化，然后不断重复卷积和池化操作；
U-net网络模型的后半部分采用1个2*2大小的反卷积层和2个3*3大小的卷积层，采用反卷积层对特征图进行还原，同时在反卷积的过程中使用特征图的维数减半，然后复制前半部分的特征图整合在一起后再进行卷积操作，并不断重复反卷积和卷积操作，在最后使用1个1*1大小的卷积层对特征图进行映射处理后输出；
步骤S4中筛选识别模型采用Fast-RCNN模型，其训练过程如下：
（1）特征提取；Fast-RCNN模型在特征提取阶段对整张图片进行特征提取；
（2）统一向量维度；Fast-RCNN模型将提取的候选区域映射到原图生成的特征图中，并在后面加入池化层，执行ROI Pooling操作，并且Fast-RCNN模型的最后一层池化层使用7*7的向量进行采样，针对每个候选区域生成固定大小维度的向量；
（3）分类和目标检测；Fast-RCNN模型将ROI Pooling层的结果输入全连接层生成用于任务损失计算的特征，然后在同一层使用Softmax进行目标物体分类和Bounding BoxRegressor边框回归操作，并同时进行分类和边框回归操作；
步骤S4中Fast-RCNN模型的具体识别过程如下：
（1）特征提取；Fast-RCNN模型使用整张图片作为卷积处理的输入，进行多层卷积处理；
（2）统一向量维度；Fast-RCNN模型在卷积层的最后一层，把得到的Feature Map映射到每个候选区域上，相当于将候选区域映射到原图中，并在最后加入一层ROI Pooling将候选区域转化为统一大小维度的向量，然后进行全连接操作；
（3）损失计算函数；在全连接之后，Fast-RCNN模型不需要进行SVM分类器训练，而是直接使用多任务损失计算函数，得到每个候选区域中目标物体属于每个类别的得分和候选区域的回归参数，并连接到Softmax层和Bounding Box回归层；
（4）参数优化；在参数微调阶段，提出分层次随机梯度下降方法，从N张图片中取出R个候选区域代替从R张图片中各取一个候选区域，使得提速R/N倍；
（5）检测与识别；Fast-RCNN模型直接在全连接层后针对每个Region Proposal中单个目标计算得到其概率值，以及边框回归相对于对象中心的偏移宽高，然后利用多任务损失函数将分类损失与目标定位损失相结合确定最后结果。
CN202010478319.0A 2020-05-29 2020-05-29 基于医学影像的人工智能诊断辅助方法 Active CN111640126B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010478319.0A CN111640126B (zh) 2020-05-29 2020-05-29 基于医学影像的人工智能诊断辅助方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010478319.0A CN111640126B (zh) 2020-05-29 2020-05-29 基于医学影像的人工智能诊断辅助方法

Publications (2)

Publication Number Publication Date
CN111640126A CN111640126A (zh) 2020-09-08
CN111640126B true CN111640126B (zh) 2023-08-22

Family

ID=72332282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010478319.0A Active CN111640126B (zh) 2020-05-29 2020-05-29 基于医学影像的人工智能诊断辅助方法

Country Status (1)

Country Link
CN (1) CN111640126B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743814B (zh) * 2021-09-13 2024-07-26 上海联影医疗科技股份有限公司 医学影像质量评价和处理方法、装置、设备和介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182939A (zh) * 2014-08-18 2014-12-03 成都金盘电子科大多媒体技术有限公司 一种医疗影像图像细节增强方法
CN105005761A (zh) * 2015-06-16 2015-10-28 北京师范大学 一种结合显著性分析的全色高分辨率遥感图像道路检测方法
WO2016062159A1 (zh) * 2014-10-20 2016-04-28 网易（杭州）网络有限公司 图像匹配方法及手机应用测试平台
AU2016213771B1 (en) * 2013-03-01 2016-09-08 Heartflow, Inc. Method and system for determining treatments by modifying patient-specific geometrical models
CN106887039A (zh) * 2017-02-28 2017-06-23 成都金盘电子科大多媒体技术有限公司 一种基于医学影像的器官和病灶的三维成像方法及系统
CN108399628A (zh) * 2015-09-30 2018-08-14 快图有限公司 用于跟踪对象的方法和系统
CN108830279A (zh) * 2018-04-03 2018-11-16 南昌奇眸科技有限公司 一种图像特征提取与匹配方法
CN109069100A (zh) * 2016-11-09 2018-12-21 深圳市理邦精密仪器股份有限公司 超声成像系统及其方法
CN109461495A (zh) * 2018-11-01 2019-03-12 腾讯科技（深圳）有限公司 一种医学图像的识别方法、模型训练的方法及服务器
CN109741316A (zh) * 2018-12-29 2019-05-10 成都金盘电子科大多媒体技术有限公司 医学影像智能评片系统
CN109741317A (zh) * 2018-12-29 2019-05-10 成都金盘电子科大多媒体技术有限公司 医学影像智能评价方法
CN109994199A (zh) * 2017-11-24 2019-07-09 西门子医疗保健有限责任公司 基于计算机的诊断系统
CN110766643A (zh) * 2019-10-28 2020-02-07 电子科技大学 一种面向眼底图像的微动脉瘤检测方法
CN111127400A (zh) * 2019-11-29 2020-05-08 深圳蓝韵医学影像有限公司 一种乳腺病变检测方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101623431B1 (ko) * 2015-08-06 2016-05-23 주식회사 루닛 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2016213771B1 (en) * 2013-03-01 2016-09-08 Heartflow, Inc. Method and system for determining treatments by modifying patient-specific geometrical models
CN104182939A (zh) * 2014-08-18 2014-12-03 成都金盘电子科大多媒体技术有限公司 一种医疗影像图像细节增强方法
WO2016062159A1 (zh) * 2014-10-20 2016-04-28 网易（杭州）网络有限公司 图像匹配方法及手机应用测试平台
CN105005761A (zh) * 2015-06-16 2015-10-28 北京师范大学 一种结合显著性分析的全色高分辨率遥感图像道路检测方法
CN108399628A (zh) * 2015-09-30 2018-08-14 快图有限公司 用于跟踪对象的方法和系统
CN109069100A (zh) * 2016-11-09 2018-12-21 深圳市理邦精密仪器股份有限公司 超声成像系统及其方法
CN106887039A (zh) * 2017-02-28 2017-06-23 成都金盘电子科大多媒体技术有限公司 一种基于医学影像的器官和病灶的三维成像方法及系统
CN109994199A (zh) * 2017-11-24 2019-07-09 西门子医疗保健有限责任公司 基于计算机的诊断系统
CN108830279A (zh) * 2018-04-03 2018-11-16 南昌奇眸科技有限公司 一种图像特征提取与匹配方法
CN109461495A (zh) * 2018-11-01 2019-03-12 腾讯科技（深圳）有限公司 一种医学图像的识别方法、模型训练的方法及服务器
CN109741316A (zh) * 2018-12-29 2019-05-10 成都金盘电子科大多媒体技术有限公司 医学影像智能评片系统
CN109741317A (zh) * 2018-12-29 2019-05-10 成都金盘电子科大多媒体技术有限公司 医学影像智能评价方法
CN110766643A (zh) * 2019-10-28 2020-02-07 电子科技大学 一种面向眼底图像的微动脉瘤检测方法
CN111127400A (zh) * 2019-11-29 2020-05-08 深圳蓝韵医学影像有限公司 一种乳腺病变检测方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于SVM分类的红外舰船目标识别;张迪飞等;《红外与激光工程》;第45卷(第1期);第179-184页 *

Also Published As

Publication number Publication date
CN111640126A (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
US11633169B2 (en) Apparatus for AI-based automatic ultrasound diagnosis of liver steatosis and remote medical diagnosis method using the same
CN110047082B (zh) 基于深度学习的胰腺神经内分泌肿瘤自动分割方法及系统
EP3046478B1 (en) Image analysis techniques for diagnosing diseases
CN105719278B (zh) 一种基于统计形变模型的医学图像分割方法
CN102068281B (zh) 一种占位性病变超声图像的处理方法
CN111667467B (zh) 基于聚类算法的下肢血管钙化指数多参数累积计算方法
CN109829880A (zh) 一种基于深度学习的ct图像检测方法、装置和控制设备
CN109978037A (zh) 图像处理方法、模型训练方法、装置、和存储介质
CN106709967B (zh) 一种内窥成像算法及控制系统
CN111178369B (zh) 一种医学影像的识别方法及系统、电子设备、存储介质
CN101082983A (zh) 基于感兴趣区域的自适应医学序列图像插值方法
CN111640127B (zh) 一种用于骨科的精准临床诊断导航方法
CN116503548A (zh) 牙齿和牙槽骨图像分割重构方法及系统
CN115471512A (zh) 一种基于自监督对比学习的医学影像分割方法
Zhao et al. Attention residual convolution neural network based on U-net (AttentionResU-Net) for retina vessel segmentation
CN116309806A (zh) 一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法
CN109816665B (zh) 一种光学相干断层扫描图像的快速分割方法及装置
CN114972266A (zh) 基于自注意机制和稳定学习的淋巴瘤超声图像语义分割方法
CN111640126B (zh) 基于医学影像的人工智能诊断辅助方法
CN114332910A (zh) 一种面向远红外图像的相似特征计算的人体部位分割方法
CN116935009B (zh) 基于历史数据分析进行预测的手术导航系统
CN116580033B (zh) 一种基于图像块相似性匹配的多模态医学图像配准方法
CN109685803B (zh) 一种左心室图像分割方法、装置、设备及存储介质
CN110428392A (zh) 一种基于字典学习和低秩表示的医学图像融合方法
CN116597950A (zh) 一种医学图像分层方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant