CN110197206A - 图像处理的方法及装置 - Google Patents

图像处理的方法及装置 Download PDF

Info

Publication number
CN110197206A
CN110197206A CN201910390901.9A CN201910390901A CN110197206A CN 110197206 A CN110197206 A CN 110197206A CN 201910390901 A CN201910390901 A CN 201910390901A CN 110197206 A CN110197206 A CN 110197206A
Authority
CN
China
Prior art keywords
image
view
target area
feature
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910390901.9A
Other languages
English (en)
Other versions
CN110197206B (zh
Inventor
张树
李梓豪
卢光明
俞益洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Shenrui Bolian Technology Co Ltd
Beijing Shenrui Bolian Technology Co Ltd
Original Assignee
Hangzhou Shenrui Bolian Technology Co Ltd
Beijing Shenrui Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Shenrui Bolian Technology Co Ltd, Beijing Shenrui Bolian Technology Co Ltd filed Critical Hangzhou Shenrui Bolian Technology Co Ltd
Priority to CN201910390901.9A priority Critical patent/CN110197206B/zh
Publication of CN110197206A publication Critical patent/CN110197206A/zh
Application granted granted Critical
Publication of CN110197206B publication Critical patent/CN110197206B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请公开了一种图像处理的方法及装置。该申请的方法包括获取原始图像基于不同视角的多个视角图像；基于深度卷积神经网络模型对每个视角图像进行特征的提取，得到每个视角图像对应的视角图像特征；将多个视角图像特征进行融合，得到原始图像对应的图像特征；基于所述图像特征提取所述原始图像中的目标区域并对目标区域进行分类。本申请解决如何提高CT图像分类处理的效率以及准确率的问题。

Description

图像处理的方法及装置
技术领域
本申请涉及医学技术领域，具体而言，涉及一种图像处理的方法及装置。
背景技术
随着医疗技术和计算机技术的发展，医疗图像在医学诊断中的重要性愈发显著。其中应用广泛的为根据计算机断层扫描CT图像来进行病变的检测。根据CT图像进行病变的检测主要是对图像进行分类处理，提取出病变的区域或者位置。
现有相关的CT图像分类处理的方法主要是使用传统的计算机图形算法和模式分类算法进行图像的分类。但是传统的图像分类算法有以下不足：手工设计特征提取算法工作量大；受制于手工设计的特征的局限性，所得到的特征并不能全面地描述图像中的信息；传统分类算法对数据要求较高，准确度有限。
发明内容
本申请的主要目的在于提供一种图像处理的方法及装置，以解决如何提高CT图像分类处理的效率以及准确率的问题。
为了实现上述目的，根据本申请的第一方面，提供了一种图像处理的方法。
根据本申请的图像处理的方法包括：
获取原始图像基于不同视角的多个视角图像，所述原始图像为计算机断层扫描CT图像数据；
基于深度卷积神经网络模型对每个视角图像进行特征的提取，得到每个视角图像对应的视角图像特征；
将多个视角图像特征进行融合，得到原始图像对应的图像特征；
基于所述图像特征提取所述原始图像中的目标区域并对目标区域进行分类。
进一步的，所述获取原始图像基于不同视角的多个视角图像包括：
对所述原始图像进行预处理；
确定不同视角分别对应的窗宽窗位值；
将预处理后的原始图像按照不同视角对应的窗宽窗位值进行图像提取，得到不同视角对应的多个视角图像。
进一步的，所述将多个视角图像特征进行融合，得到原始图像对应的图像特征包括：
基于注意力机制将多个视角图像特征进行融合，得到所述原始图像对应的图像特征。
进一步的，所述基于所述图像特征提取所述原始图像中的目标区域并对目标区域进行分类包括：
基于区域生成网络模型对图像特征进行目标区域的提取；
基于深度学习的目标检测算法模型对所述目标区域进行位置精调和分类。
进一步的，所述基于注意力机制将多个视角图像特征进行融合，得到所述原始图像对应的图像特征包括：
根据所述每个视角图像特征中包含的位置信息进行注意力机制的通道选择，所述位置信息为通过位置信息监督获取的；
将多个视角图像特征在通道维度进行合并得到合并图像特征；
根据所述合并图像特征的各通道权重以及每个视角图像特征确定所述原始图像对应的图像特征。
进一步的，所述方法还包括：
获取训练样本，所述训练样本为已标记目标区域范围以及目标区域类别的预设数量的CT图像；
确定所述训练样本中每个CT图像对应的图像特征；
根据所述训练样本对应的图像特征进行模型的训练，得到所述区域生成网络模型以及所述深度学习的目标检测算法模型。
进一步的，所述方法还包括：
基于交叉熵和逻辑回归损失函数分别对区域生成网络模型以及所述深度学习的目标检测算法模型的训练过程进行监督。
为了实现上述目的，根据本申请的第二方面，提供了一种图像处理的装置。
根据本申请的图像处理的装置包括：
视角图像获取单元，用于获取原始图像基于不同视角的多个视角图像，所述原始图像为计算机断层扫描CT图像数据；
特征提取单元，用于基于深度卷积神经网络模型对每个视角图像进行特征的提取，得到每个视角图像对应的视角图像特征；
特征融合单元，用于将多个视角图像特征进行融合，得到原始图像对应的图像特征；
区域提取单元，用于基于所述图像特征提取所述原始图像中的目标区域并对目标区域进行分类。
进一步的，所述视角图像获取单元包括：
预处理模块，用于对所述原始图像进行预处理；
确定模块，用于确定不同视角分别对应的窗宽窗位值；
视角图像提取模块，用于将预处理后的原始图像按照不同视角对应的窗宽窗位值进行图像提取，得到不同视角对应的多个视角图像。
进一步的，所述特征融合单元，用于：
基于注意力机制将多个视角图像特征进行融合，得到所述原始图像对应的图像特征。
进一步的，所述区域提取单元包括：
区域提取模块，用于基于区域生成网络模型对图像特征进行目标区域的提取；
区域分类模块，用于基于深度学习的目标检测算法模型对所述目标区域进行位置精调和分类。
进一步的，所述特征融合单元，包括：
选择模块，用于根据所述每个视角图像特征中包含的位置信息进行注意力机制的通道选择，所述位置信息为通过位置信息监督获取的；
合并模块，用于将多个视角图像特征在通道维度进行合并得到合并图像特征；
确定模块，用于根据所述合并图像特征的各通道权重以及每个视角图像特征确定所述原始图像对应的图像特征。
进一步的，所述装置还包括：
样本获取单元，用于获取训练样本，所述训练样本为已标记目标区域范围以及目标区域类别的预设数量的CT图像；
确定单元，用于确定所述训练样本中每个CT图像对应的图像特征；
训练单元，用于根据所述训练样本对应的图像特征进行模型的训练，得到所述区域生成网络模型以及所述深度学习的目标检测算法模型。
进一步的，所述装置还包括：
监督单元，用于基于交叉熵和逻辑回归损失函数分别对区域生成网络模型以及所述深度学习的目标检测算法模型的训练过程进行监督。
为了实现上述目的，根据本申请的第三方面，提供了一种电子设备，包括：
至少一个处理器；
以及与所述处理器连接的至少一个存储器、总线；其中，
所述处理器、存储器通过所述总线完成相互间的通信；
所述处理器用于调用所述存储器中的程序指令，以执行第一方面中任一项所述的图像处理的方法。
为了实现上述目的，根据本申请的第四方面，提供了一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述第一方面中任一项所述的图像处理的方法。
在本申请实施例中，图像处理的方法和装置能够首先获取CT图像基于不同视角的多个视角图像；然后基于深度卷积神经网络模型对每个视角图像进行特征的提取，得到每个视角图像对应的视角图像特征；将多个视角图像特征进行融合，得到CT图像对应的图像特征。由于在特征提取的时候应用了深度卷积神经网络，并且是基于不同视角图像的视角图像特征融合得到的，因此CT图像的特征提取更准确更全面，另外在特征提取没有依靠手工设计，大大的减少了工作量，提高了效率。所以，以更准确更全面的CT图像的图像特征去提取目标区域(病变区域)并对目标区域分类就会更准确。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请一种实施例的图像处理的方法流程图；
图2是根据本申请另一种实施例的图像处理的方法流程图；
图3是根据本申请又一种实施例的图像处理方法对应的流程示意图；
图4是根据本申请一种实施例的图像处理的装置的组成框图；
图5是根据本申请另一种实施例的图像处理的装置的组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
根据本申请实施例，提供了一种图像处理的方法，如图1所示，该方法包括如下的步骤S101至步骤S104：
S101.获取原始图像基于不同视角的多个视角图像。
其中，原始图像为计算机断层扫描CT图像数据，不同的视角包括至少以下三种视角：软组织窗、肺窗、包含纵膈窗和骨窗的一个大范围窗。“获取原始图像基于不同视角的多个视角图像”即基于不同视角分别对应的窗宽窗位值来对原始图像进行量化，得到不同视角下的多个视角图像的表达。不同的视角对应的窗宽窗位值可以根据经验值直接设定也可以根据大量的历史数据分析确定。本实施例中的多视角处理相比于传统的使用固定视角(固定窗宽窗位值)，能够针对性地获取更显著的病变信息，而且相比于传统的固定视角的归一化处理不会带来更多的量化损失，避免了部分信息的丢失。
S102.基于深度卷积神经网络模型对每个视角图像进行特征的提取，得到每个视角图像对应的视角图像特征。
深度卷积神经网络一般用卷积核去提取特征，这些初始化的卷积核会在反向传播的过程中，在迭代中被一次又一次的更新，无限地逼近我们的真实解。其实本质没有对图像矩阵求解，而是初始化了一个符合某种分布的特征向量集，然后在反向传播中无限更新这个特征集，让它能无限逼近数学中的那个概念上的特征向量。
由于本发明实施例中是对CT图像中的病变进行检测识别，病变的尺寸通常比较小，因此在进行特征提取时优选的选用了基于Resnet的特征金字塔网络(Resnet FeaturePyramid Network，Resnet-FPN)，Resnet-FPN网络可以提升小尺度病变检测性能。具体的“基于深度卷积神经网络模型对每个视角图像进行特征的提取，得到每个视角图像对应的视角图像特征”即基于同一个Resnet-FPN网络，对每个视角图像进行特征提取，得到每个视角图像对应的视角图像特征。给出具体的示例：假设对于原始图像xi分别使用前述三种窗宽窗位值进行量化后，得到原始图像在三种视角下的表达对于窗宽窗位值j，图像将被使用共享权重的主干网络θ(·)进行特征提取，得到对应的特征fi j，如下式所示。其中主干网络θ(·)即为基于深度卷积神经网络模型Resnet-FPN。
需要说明的是，特征的提取包括纹理、形状、颜色等特征的提取。
S103.将多个视角图像特征进行融合，得到原始图像对应的图像特征。
“将不同视角图像对应的多个视角图像特征进行融合得到原始图像对应的图像特征”即将多个视角图像特征通过图像特征融合算法进行融合，得到原始图像对应的图像特征。本实施例中对图像特征融合算法没有限制，可以为任一种能够实现图像特征融合的图像特征融合算法。
S104.基于图像特征提取原始图像中的目标区域并对目标区域进行分类。
“基于图像特征提取原始图像中的目标区域并对目标区域进行分类”即将由步骤S103中融合得到的图像特征通过预设区域提取模型进行感兴趣区域(Regions ofInterest，ROI)的提取，得到可能包含病变的图像区域(目标区域)。然后，对目标区域进行分类，具体的分类是通过预设分类模型进行分类的。需要说明的是，预设区域提取模型的输入是图像数据，输出是标记有目标区域的图像，预设分类模型的输入是标记有目标区域的图像数据，输出为带有目标区域类别标记的图像。
从以上的描述中，可以看出，本申请实施例中图像处理的方法能够首先获取CT图像基于不同视角的多个视角图像；然后基于深度卷积神经网络模型对每个视角图像进行特征的提取，得到每个视角图像对应的视角图像特征；将多个视角图像特征进行融合，得到CT图像对应的图像特征。由于在特征提取的时候应用了深度卷积神经网络，并且是基于不同视角图像的视角图像特征融合得到的，因此CT图像的特征提取更准确更全面，另外在特征提取没有依靠手工设计，大大的减少了工作量，提高了效率。所以，以更准确更全面的CT图像的图像特征去提取目标区域(病变区域)并对目标区域分类就会更准确。
根据本申请另一实施例，提供了一种图像处理的方法，如图2所示，该方法包括：
S201.对原始图像进行预处理。
原始图像是机器直接扫描出的CT图像，对原始图像进行预处理包括格式的转换，还有一些无用信息的去除等。格式的转换主要是指将原始图像转换为预定图片格式(.png等)和预定大小的图像。一些无用的信息包括机器本身的参数等无用信息。
S202.获取原始图像基于不同视角的多个视角图像。
具体的获取原始图像基于不同视角的多个视角图像包括：
首先，确定不同视角分别对应的窗宽窗位值；
优选的，本实施例中选择以下三个视角：软组织窗、肺窗、包含纵膈窗和骨窗的一个大范围窗。具体的三个视角对应的窗宽窗位值是通过对聚类算法得出的：选择大量的由人工根据经验值选择检测的窗宽窗位值的CT图像，然后根据聚类算法进行聚类，根据聚类结果中三个数量最多的窗宽窗位值来确定三个不同视角分别对应的窗宽窗位值。需要说明的是，其中聚类算法可以为现有的任一种可以实现聚类效果的聚类算法，比如均值聚类、基于密度的聚类方法、高斯混合模型的最大期望聚类等，本实施例对聚类算法的种类不限制。
将预处理后的原始图像按照不同视角对应的窗宽窗位值进行图像提取，得到不同视角对应的多个视角图像。
S203.基于深度卷积神经网络模型对每个视角图像进行特征的提取，得到每个视角图像对应的视角图像特征。
本步骤的实现方式与图1步骤S102的实现方式是相同的，此处不再赘述。
S204.基于注意力机制将多个视角图像特征进行融合，得到原始图像对应的图像特征。
为了融合CT图像在多种视角下的不同特征表达(多个视角图像特征)，我们设计了通过注意力机制来融合三种不同视角下的视角图像特征。本实施例中我们使用CT图像的人体位置信息来辅助注意力机制中通道的选择。CT图像为人体轴向拍摄，每张图像都有人体Z轴的位置信息。我们在主干网络(Resnet-FPN网络)之后增加位置信息监督，加入信息位置监督后，经过Resnet-FPN网络生成的视角图像特征中将隐式包含位置信息，并辅助注意力机制的通道选择。通道选择好后，具体的多个视角图像特征进行融合的过程包括：首先，将多个视角图像特征在通道维度进行合并得到合并图像特征，其中合并是简单的组合；然后对合并图像特征分别进行通道维度的最大池化和平均池化，并求和得到各个通道的响应值描述；然后，连续应用一个两层全连接层组成的网络和一个非线性S型(sigmoid)激活函数，得到合并图像特征的各通道权重；最后，将各通道的权重与多个视角图像特征进行通道维度点乘，得到最终的原始图像对应的图像特征。给出具体的示例进行说明：假设三种视角下的视角图像特征分别为fi 1,fi 2,fi 3，则经过融合后得到的原始图像的图像特征为Fc：
Fc＝F·σ(Φ(Pmax(F)+Pavg(F)))
其中，F为合并图像特征；σ为sigmoid激活函数；Φ为两层全连接层组成的网络；Pmax(F)为对F进行通道维度的最大池化的结果；Pavg(F)为对F进行通道维度的平均池化的结果。
S205.基于区域生成网络模型对图像特征进行目标区域的提取。
将由步骤S204中得到的图像特征输入到区域生成网络模型(Region ProposalNetwork，RPN)中对图像特征进行感兴趣区域(Regions of Interest，ROI)的提取，得到可能包含病变的图像区域(目标区域)。RPN是一个全卷积网络，在每个位置同时预测目标边界和objectness得分。RPN是端到端训练的，生成高质量区域建议框。
S206.基于深度学习的目标检测算法模型对目标区域进行位置精调和分类。
将标记出目标区域后的图像特征输入到深度学习的目标检测算法模型(Region-based CNN，R-CNN)对目标区域进行位置的精调和分类，得到更精准的并带有类别标记的目标区域。
需要说明的是，关于前述步骤中的区域生成网络模型以及深度学习的目标检测算法模型都是需要提前训练得到的。具体的训练过程包括以下步骤：
首先，获取训练样本，训练样本为已标记目标区域范围以及目标区域类别的预设数量的CT图像；具体的标记工作通常是由经验人员标注的。具体的训练样本可以从数据库中得到，比如DeepLesion，DeepLesion是一个大规模CT图像数据库，包含32120张人体各个部位的CT扫描，32735个病变标注。
其次，确定训练样本中每个CT图像对应的图像特征；具体的确定训练样本中每个CT图像对应的图像特征的实现过程执行前述步骤S201-S204的过程。
最后，根据训练样本对应的图像特征进行模型的训练，得到区域生成网络模型以及深度学习的目标检测算法模型。在训练的过程中，基于交叉熵对区域生成网络模型进行监督，基于逻辑回归损失函数对目标区域的分类进行监督。另外，训练过程中，训练样本将被水平翻转作为数据扩充，以提升数据量，降R-CNN模型训练过程中过拟合的可能。
另外为了更直观的表示本实施例中的图像处理的方法的效果，评测了本实施例方法与相关技术1在几种不同单张图片平均误检个数下的敏感度，如表1所示，从表1对比结果中可以看到本实施例图像处理的方法更优。
表1在不同误检率下的敏感度(％)
FPs per image 0.5 1 2 4
相关技术1，3 slices 56.49 67.65 76.89 82.76
相关技术1，9 slices 59.32 70.68 79.09 84.34
本实施例，3 slices 70.01 78.77 84.71 89.03
本实施例，9 slices 73.83 81.82 87.60 91.30
表1中FPs per image(单张图片平均误检个数)，相关技术1是一种根据3D上下文增强的基于区域的卷积神经网络对端到端病变检测的方法。
针对上述图2中的图像处理的方法，给出又一种本实施例的图像处理方法对应的流程示意图，如图3所示，其中“图像预处理”对应上述步骤S201，“多视角图像生成”对应于上述步骤S202，“多视角特征提取”对应上述步骤S203，“基于注意力机制的位置信息辅助特征融合”对应上述步骤S204，“感兴趣区域提取”对应上述步骤S205，“区域分类以及位置精调”对应上述步骤S206。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例，还提供了一种用于实施上述图1和图2所述方法的图像处理的装置，如图4所示，该装置包括：
视角图像获取单元31，用于获取原始图像基于不同视角的多个视角图像，所述原始图像为计算机断层扫描CT图像数据；
其中，原始图像为计算机断层扫描CT图像数据，不同的视角包括至少以下三种视角：软组织窗、肺窗、包含纵膈窗和骨窗的一个大范围窗。“获取原始图像基于不同视角的多个视角图像”即基于不同视角分别对应的窗宽窗位值来对原始图像进行量化，得到不同视角下的多个视角图像的表达。不同的视角对应的窗宽窗位值可以根据经验值直接设定也可以根据大量的历史数据分析确定。本实施例中的多视角处理相比于传统的使用固定视角(固定窗宽窗位值)，能够针对性地获取更显著的病变信息，而且相比于传统的固定视角的归一化处理不会带来更多的量化损失，避免了部分信息的丢失。
特征提取单元32，用于基于深度卷积神经网络模型对每个视角图像进行特征的提取，得到每个视角图像对应的视角图像特征；
深度卷积神经网络一般用卷积核去提取特征，这些初始化的卷积核会在反向传播的过程中，在迭代中被一次又一次的更新，无限地逼近我们的真实解。其实本质没有对图像矩阵求解，而是初始化了一个符合某种分布的特征向量集，然后在反向传播中无限更新这个特征集，让它能无限逼近数学中的那个概念上的特征向量。
由于本发明实施例中是对CT图像中的病变进行检测识别，病变的尺寸通常比较小，因此在进行特征提取时优选的选用了基于Resnet的特征金字塔网络(Resnet FeaturePyramid Network，Resnet-FPN)，Resnet-FPN网络可以提升小尺度病变检测性能。具体的“基于深度卷积神经网络模型对每个视角图像进行特征的提取，得到每个视角图像对应的视角图像特征”即基于同一个Resnet-FPN网络，对每个视角图像进行特征提取，得到每个视角图像对应的视角图像特征。给出具体的示例：假设对于原始图像xi分别使用前述三种窗宽窗位值进行量化后，得到原始图像在三种视角下的表达对于窗宽窗位值j，图像将被使用共享权重的主干网络θ(·)进行特征提取，得到对应的特征fi j，如下式所示。其中主干网络θ(·)即为基于深度卷积神经网络模型Resnet-FPN。
需要说明的是，特征的提取包括纹理、形状、颜色等特征的提取。
特征融合单元33，用于将多个视角图像特征进行融合，得到原始图像对应的图像特征；
将多个视角图像特征通过图像特征融合算法进行融合，得到原始图像对应的图像特征。本实施例中对图像特征融合算法没有限制，可以为任一种能够实现图像特征融合的图像特征融合算法。
区域提取单元34，用于基于所述图像特征提取所述原始图像中的目标区域并对目标区域进行分类。
将由特征融合单元33中融合得到的图像特征通过预设区域提取模型进行感兴趣区域(Regions of Interest，ROI)的提取，得到可能包含病变的图像区域(目标区域)。然后，对目标区域进行分类，具体的分类是通过预设分类模型进行分类的。需要说明的是，预设区域提取模型的输入是图像数据，输出是标记有目标区域的图像，预设分类模型的输入是标记有目标区域的图像数据，输出为带有目标区域类别标记的图像。
从以上的描述中，可以看出，本申请实施例中图像处理的装置能够首先获取CT图像基于不同视角的多个视角图像；然后基于深度卷积神经网络模型对每个视角图像进行特征的提取，得到每个视角图像对应的视角图像特征；将多个视角图像特征进行融合，得到CT图像对应的图像特征。由于在特征提取的时候应用了深度卷积神经网络，并且是基于不同视角图像的视角图像特征融合得到的，因此CT图像的特征提取更准确更全面，另外在特征提取没有依靠手工设计，大大的减少了工作量，提高了效率。所以，以更准确更全面的CT图像的图像特征去提取目标区域(病变区域)并对目标区域分类就会更准确。
进一步的，如图5所示，所述视角图像获取单元31包括：
预处理模块311，用于对所述原始图像进行预处理；
窗宽窗位确定模块312，用于确定不同视角分别对应的窗宽窗位值；
视角图像提取模块313，用于将预处理后的原始图像按照不同视角对应的窗宽窗位值进行图像提取，得到不同视角对应的多个视角图像。
进一步的，所述特征融合单元33，用于：
基于注意力机制将多个视角图像特征进行融合，得到所述原始图像对应的图像特征。
进一步的，如图5所示，所述区域提取单元34包括：
区域提取模块341，用于基于区域生成网络模型对图像特征进行目标区域的提取；
区域分类模块342，用于基于深度学习的目标检测算法模型对所述目标区域进行位置精调和分类。
进一步的，如图5所示，所述特征融合单元33，包括：
选择模块331，用于根据所述每个视角图像特征中包含的位置信息进行注意力机制的通道选择，所述位置信息为通过位置信息监督获取的；
合并模块332，用于将多个视角图像特征在所述通道维度进行合并得到合并图像特征；
图像特征确定模块333，用于根据所述合并图像特征的各通道权重以及每个视角图像特征确定所述原始图像对应的图像特征。
进一步的，如图5所示，所述装置还包括：
样本获取单元35，用于获取训练样本，所述训练样本为已标记目标区域范围以及目标区域类别的预设数量的CT图像；
确定单元36，用于确定所述训练样本中每个CT图像对应的图像特征；
训练单元37，用于根据所述训练样本对应的图像特征进行模型的训练，得到所述区域生成网络模型以及所述深度学习的目标检测算法模型。
进一步的，如图5所示，所述装置还包括：
监督单元38，用于基于交叉熵和逻辑回归损失函数分别对区域生成网络模型以及所述深度学习的目标检测算法模型的训练过程进行监督。
根据本申请实施例，还提供了一种电子设备，该电子设备包括：
至少一个处理器；
以及与所述处理器连接的至少一个存储器、总线；其中，
所述处理器、存储器通过所述总线完成相互间的通信；
所述处理器用于调用所述存储器中的程序指令，以执行上述图1或图2中所述的图像处理的方法。
根据本申请实施例，还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行图1或图2所述的图像处理的方法。
具体的，本申请实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像处理的方法，其特征在于，所述方法包括：
获取原始图像基于不同视角的多个视角图像，所述原始图像为计算机断层扫描CT图像数据；
基于深度卷积神经网络模型对每个视角图像进行特征的提取，得到每个视角图像对应的视角图像特征；
将多个视角图像特征进行融合，得到原始图像对应的图像特征；
基于所述图像特征提取所述原始图像中的目标区域并对目标区域进行分类。
2.根据权利要求1所述的图像处理的方法，其特征在于，所述获取原始图像基于不同视角的多个视角图像包括：
对所述原始图像进行预处理；
确定不同视角分别对应的窗宽窗位值；
将预处理后的原始图像按照不同视角对应的窗宽窗位值进行图像提取，得到不同视角对应的多个视角图像。
3.根据权利要求1或2所述的图像处理的方法，其特征在于，所述将多个视角图像特征进行融合，得到原始图像对应的图像特征包括：
基于注意力机制将多个视角图像特征进行融合，得到所述原始图像对应的图像特征。
4.根据权利要求3所述的图像处理的方法，其特征在于，所述基于所述图像特征提取所述原始图像中的目标区域并对目标区域进行分类包括：
基于区域生成网络模型对图像特征进行目标区域的提取；
基于深度学习的目标检测算法模型对所述目标区域进行位置精调和分类。
5.根据权利要求4所述的图像处理的方法，其特征在于，所述基于注意力机制将多个视角图像特征进行融合，得到所述原始图像对应的图像特征包括：
根据所述每个视角图像特征中包含的位置信息进行注意力机制的通道选择，所述位置信息为通过位置信息监督获取的；
将多个视角图像特征在所述通道维度进行合并得到合并图像特征；
根据所述合并图像特征的各通道权重以及每个视角图像特征确定所述原始图像对应的图像特征。
6.根据权利要求5所述的图像处理的方法，其特征在于，所述方法还包括：
获取训练样本，所述训练样本为已标记目标区域范围以及目标区域类别的预设数量的CT图像；
确定所述训练样本中每个CT图像对应的图像特征；
根据所述训练样本对应的图像特征进行模型的训练，得到所述区域生成网络模型以及所述深度学习的目标检测算法模型。
7.根据权利要求6所述的图像处理的方法，其特征在于，所述方法还包括：
基于交叉熵和逻辑回归损失函数分别对区域生成网络模型以及所述深度学习的目标检测算法模型的训练过程进行监督。
8.一种图像处理的装置，其特征在于，所述装置包括：
视角图像获取单元，用于获取原始图像基于不同视角的多个视角图像，所述原始图像为计算机断层扫描CT图像数据；
特征提取单元，用于基于深度卷积神经网络模型对每个视角图像进行特征的提取，得到每个视角图像对应的视角图像特征；
特征融合单元，用于将多个视角图像特征进行融合，得到原始图像对应的图像特征；
区域提取单元，用于基于所述图像特征提取所述原始图像中的目标区域并对目标区域进行分类。
9.一种电子设备，其特征在于，包括：
至少一个处理器；
以及与所述处理器连接的至少一个存储器、总线；其中，
所述处理器、存储器通过所述总线完成相互间的通信；
所述处理器用于调用所述存储器中的程序指令，以执行权利要求1至权利要求7中任一项所述的图像处理的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行权利要求1至权利要求7中任一项所述的图像处理的方法。
CN201910390901.9A 2019-05-10 2019-05-10 图像处理的方法及装置 Active CN110197206B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910390901.9A CN110197206B (zh) 2019-05-10 2019-05-10 图像处理的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910390901.9A CN110197206B (zh) 2019-05-10 2019-05-10 图像处理的方法及装置

Publications (2)

Publication Number Publication Date
CN110197206A true CN110197206A (zh) 2019-09-03
CN110197206B CN110197206B (zh) 2021-07-13

Family

ID=67752513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910390901.9A Active CN110197206B (zh) 2019-05-10 2019-05-10 图像处理的方法及装置

Country Status (1)

Country Link
CN (1) CN110197206B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532997A (zh) * 2019-09-05 2019-12-03 杭州视在科技有限公司 一种用于机场的多相机融合自动获取站坪完整信息的方法
CN111368827A (zh) * 2020-02-27 2020-07-03 北京推想科技有限公司 医学图像处理方法、装置、计算机设备及存储介质
CN111739004A (zh) * 2020-06-22 2020-10-02 联想(北京)有限公司 图像处理方法、设备及存储介质
CN112070181A (zh) * 2020-11-16 2020-12-11 深圳市华汉伟业科技有限公司 一种基于图像流的协同检测方法及装置、存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077913A (zh) * 2013-03-27 2014-10-01 上海市城市建设设计研究总院 融合多视角图像信息的交通事件监测方法及其装置
US20170032221A1 (en) * 2015-07-29 2017-02-02 Htc Corporation Method, electronic apparatus, and computer readable medium of constructing classifier for disease detection
CN107341506A (zh) * 2017-06-12 2017-11-10 华南理工大学 一种基于多方面深度学习表达的图像情感分类方法
CN108010514A (zh) * 2017-11-20 2018-05-08 四川大学 一种基于深度神经网络的语音分类方法
CN108010041A (zh) * 2017-12-22 2018-05-08 数坤（北京）网络科技有限公司 基于深度学习神经网络级联模型的人体心脏冠脉提取方法
CN108305248A (zh) * 2018-01-17 2018-07-20 慧影医疗科技（北京）有限公司 一种骨折识别模型的构建方法及应用
CN108537135A (zh) * 2018-03-16 2018-09-14 北京市商汤科技开发有限公司 对象识别及对象识别网络的训练方法和装置、电子设备
CN108717439A (zh) * 2018-05-16 2018-10-30 哈尔滨理工大学 一种基于注意力机制和特征强化融合的中文文本分类方法
CN109285142A (zh) * 2018-08-07 2019-01-29 广州智能装备研究院有限公司 一种头颈部肿瘤检测方法、装置及计算机可读存储介质
CN109685058A (zh) * 2017-10-18 2019-04-26 杭州海康威视数字技术股份有限公司 一种图像目标识别方法、装置及计算机设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077913A (zh) * 2013-03-27 2014-10-01 上海市城市建设设计研究总院 融合多视角图像信息的交通事件监测方法及其装置
US20170032221A1 (en) * 2015-07-29 2017-02-02 Htc Corporation Method, electronic apparatus, and computer readable medium of constructing classifier for disease detection
CN107341506A (zh) * 2017-06-12 2017-11-10 华南理工大学 一种基于多方面深度学习表达的图像情感分类方法
CN109685058A (zh) * 2017-10-18 2019-04-26 杭州海康威视数字技术股份有限公司 一种图像目标识别方法、装置及计算机设备
CN108010514A (zh) * 2017-11-20 2018-05-08 四川大学 一种基于深度神经网络的语音分类方法
CN108010041A (zh) * 2017-12-22 2018-05-08 数坤（北京）网络科技有限公司 基于深度学习神经网络级联模型的人体心脏冠脉提取方法
CN108305248A (zh) * 2018-01-17 2018-07-20 慧影医疗科技（北京）有限公司 一种骨折识别模型的构建方法及应用
CN108537135A (zh) * 2018-03-16 2018-09-14 北京市商汤科技开发有限公司 对象识别及对象识别网络的训练方法和装置、电子设备
CN108717439A (zh) * 2018-05-16 2018-10-30 哈尔滨理工大学 一种基于注意力机制和特征强化融合的中文文本分类方法
CN109285142A (zh) * 2018-08-07 2019-01-29 广州智能装备研究院有限公司 一种头颈部肿瘤检测方法、装置及计算机可读存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
WEIXIN HUA 等: "Visual target tracking based on multi-view feature fusion with online multiple instance learning", 《PROCEEDINGS OF THE 36TH CHINESE CONTROL CONFERENCE》 *
吴杰芳: "深度卷积网络骨抑制成像（deepBSI）与多种影像方法对肺结节诊断效能的临床研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *
张自然: "基于人类视觉特性的图像质量评价", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
王泮渠: "基于视觉注意力选择机制的视频可疑目标识别方法", 《复旦大学科技创新计划报告书》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532997A (zh) * 2019-09-05 2019-12-03 杭州视在科技有限公司 一种用于机场的多相机融合自动获取站坪完整信息的方法
CN111368827A (zh) * 2020-02-27 2020-07-03 北京推想科技有限公司 医学图像处理方法、装置、计算机设备及存储介质
CN111368827B (zh) * 2020-02-27 2023-08-29 推想医疗科技股份有限公司 医学图像处理方法、装置、计算机设备及存储介质
CN111739004A (zh) * 2020-06-22 2020-10-02 联想(北京)有限公司 图像处理方法、设备及存储介质
CN111739004B (zh) * 2020-06-22 2024-01-23 联想(北京)有限公司 图像处理方法、设备及存储介质
CN112070181A (zh) * 2020-11-16 2020-12-11 深圳市华汉伟业科技有限公司 一种基于图像流的协同检测方法及装置、存储介质

Also Published As

Publication number Publication date
CN110197206B (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
US11593943B2 (en) RECIST assessment of tumour progression
CN110197206A (zh) 图像处理的方法及装置
Shin et al. Deep convolutional neural networks for computer-aided detection: CNN architectures, dataset characteristics and transfer learning
CN110337669B (zh) 一种用于多标签分割医学图像中的解剖结构的管线方法
CN108319957A (zh) 一种基于超点图的大规模点云语义分割方法
EP3252671A1 (en) Method of training a deep neural network
CN109389129A (zh) 一种图像处理方法、电子设备及存储介质
CN110705555A (zh) 基于fcn的腹部多器官核磁共振图像分割方法、系统及介质
CN106340021A (zh) 血管提取方法
CN104751175B (zh) 基于增量支持向量机的sar图像多类标场景分类方法
CN112614133B (zh) 一种无锚点框的三维肺结节检测模型训练方法及装置
CN103942535B (zh) 多目标跟踪方法及装置
Yan et al. Monocular depth estimation with guidance of surface normal map
Rezaei et al. Instance tumor segmentation using multitask convolutional neural network
CN106682127A (zh) 图像搜索系统及方法
Pan et al. Automatic strawberry leaf scorch severity estimation via faster R-CNN and few-shot learning
CN109740752A (zh) 深度模型训练方法及装置、电子设备及存储介质
WO2021027152A1 (zh) 基于条件生成对抗网络合成图像的方法及相关设备
CN109559328A (zh) 一种基于贝叶斯估计与水平集的快速图像分割方法及装置
Cuadros et al. Segmentation of large images with complex networks
Yang et al. Color texture segmentation based on image pixel classification
CN101366059A (zh) 用于多个器官系统的cad检测系统
Cai et al. Accurate weakly supervised deep lesion segmentation on CT scans: Self-paced 3D mask generation from RECIST
Sasmal et al. A survey on the utilization of Superpixel image for clustering based image segmentation
Zambrano-Vizuete et al. Segmentation of medical image using novel dilated ghost deep learning model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Method and device for image processing

Effective date of registration: 20231007

Granted publication date: 20210713

Pledgee: Guotou Taikang Trust Co.,Ltd.

Pledgor: SHENZHEN DEEPWISE BOLIAN TECHNOLOGY Co.,Ltd.

Registration number: Y2023980059614

PE01 Entry into force of the registration of the contract for pledge of patent right