CN111915556A - 一种基于双分支网络的ct图像病变检测方法、系统、终端及存储介质 - Google Patents

一种基于双分支网络的ct图像病变检测方法、系统、终端及存储介质 Download PDF

Info

Publication number
CN111915556A
CN111915556A CN202010571318.0A CN202010571318A CN111915556A CN 111915556 A CN111915556 A CN 111915556A CN 202010571318 A CN202010571318 A CN 202010571318A CN 111915556 A CN111915556 A CN 111915556A
Authority
CN
China
Prior art keywords
branch
feature
network
double
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010571318.0A
Other languages
English (en)
Other versions
CN111915556B (zh
Inventor
张树
李梓豪
马杰超
俞益洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Original Assignee
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenrui Bolian Technology Co Ltd, Shenzhen Deepwise Bolian Technology Co Ltd filed Critical Beijing Shenrui Bolian Technology Co Ltd
Priority to CN202010571318.0A priority Critical patent/CN111915556B/zh
Publication of CN111915556A publication Critical patent/CN111915556A/zh
Application granted granted Critical
Publication of CN111915556B publication Critical patent/CN111915556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本申请所提供的一种基于双分支网络的CT图像病变检测方法、系统、终端及存储介质，所述方法包括：将获取的3D医学图像切分为若干2D层面图像；根据切分的2D层面图像确定双分支网络中2D分支与3D分支的输入；将双分支网络逐级进行2D分支和3D分支特征提取，确定各层级的空间结构特征和上下文特征；将双分支网络各层级的空间结构特征和上下文特征进行特征融合，得到各层级融合特征；基于所述各层级融合特征，使用目标检测方法进行病变检测；本申请通过双分支网络分别对2D空间结构信息与3D上下文信息进行建模及信息提取，并通过跨层面特征融合方法在两个分支的每一个层级之后进行特征融合，使得特征表达同时具有空间和上下文信息，提高了病变检测的性能。

Description

一种基于双分支网络的CT图像病变检测方法、系统、终端及存 储介质
技术领域
本申请涉及医学影像处理技术领域，尤其是涉及一种基于双分支网络的CT图像病变检测方法、系统、终端及存储介质。
背景技术
电子计算机断层扫描(Computed Tomography，CT)使用X射线对人体进行扫描并获得高精度的体内组织成像。CT扫描广泛运用于临床中，对疾病的诊断过程具有重要意义。CT扫描是连续的、多层的成像，一份典型的CT扫描往往包含一百张以上的断层扫描，需要医生花费大量时间仔细诊断。近年来，深度学习技术在医学图像领域得到广泛应用，使用深度学习技术进行病变检测，可以大大缩短诊断时间，降低医生的工作量，提高诊断效率。
CT图像的病变检测要求在CT断层扫描中寻找可能发生病变的区域，由于病变具有三维立体的结构，往往会跨越若干层CT扫描，因此CT病变检测需要获得足够的3D上下文信息，也就是需要获得当前断层的相邻层面的信息。
使用3D卷积网络可以进行直观的3D信息建模，但3D卷积网络由于缺少预训练的权重，往往不容易训练，无法取得令人满意的效果；同时，3D卷积网络长于建模上下文信息，对当前CT断层的空间结构建模能力略有不足。而2D卷积网络是一种更为通用的网络结构。2D卷积网络可以较好的对空间结构进行建模；然而由于其固有的缺陷，难以获得足够的3D上下文信息。以往的方法往往单独使用2D或3D卷积网络中的一种作为主干网络，无法同时2D建模空间结构信息和3D上下文信息，不能充分提取CT断层扫描数据中的有效信息。
因此，亟需一种基于双分支网络的CT图像病变检测方法、系统、终端及存储介质，能够同时建模2D建模空间结构信息和3D上下文信息，取得更好的CT图像病变检测效果。
发明内容
针对现有技术的不足，本申请提供一种基于双分支网络的CT图像病变检测方法、系统、终端及存储介质，通过在主干网络中使用2D和3D分支，解决了现有技术中无法同时建模2D空间结构信息与3D上下文信息、病变检测效果差等问题。
为解决上述技术问题，第一方面，本申请提供一种基于双分支网络的CT图像病变检测方法，包括：
将获取的3D医学图像切分为若干2D层面图像；
根据切分的2D层面图像确定双分支网络中2D分支与3D分支的输入；
将双分支网络逐级进行2D分支和3D分支特征提取，确定各层级的空间结构特征和上下文特征；
将双分支网络各层级的空间结构特征和上下文特征进行特征融合，得到各层级融合特征；
基于所述各层级融合特征，使用目标检测方法进行病变检测。
可选的，所述根据切分的2D层面图像确定双分支网络中2D分支与3D分支的输入，包括：
确定进行病变检测的2D层面图像为中心层；
将所述中心层分别向上向下取其相邻的n层，组成(2n+1)层的连续层面，作为双分支网络中3D分支的输入；
将所述中心层向上向下分别取1层，组成3层连续层面，作为双分支网络中2D分支的输入。
可选的，所述将双分支网络逐级进行2D分支和3D分支特征提取，确定各层级的空间结构特征和上下文特征，包括：
采用ResNet、DenseNet或Inception结构作为双分支网络的2D分支和3D分支的主干网络；
将双分支网络逐级进行2D分支和3D分支特征提取，确定各层级的空间结构特征和上下文特征。
可选的，所述将双分支网络逐级进行2D分支和3D分支特征提取，确定各层级的空间结构特征和上下文特征，还包括：
采用原始ResNet结构作为双分支网络的2D分支的主干网络；
将2D分支的所有2D卷积修改为3D卷积得到3D分支的主干网络；
将双分支网络逐级进行2D分支和3D分支特征提取，确定各层级的空间结构特征和上下文特征。
可选的，所述将双分支网络各层级的空间结构特征和上下文特征进行特征融合，得到各层级融合特征，包括：
将双分支网络各层级的空间结构特征和上下文特征进行相似度计算，得到各层级的相似度特征；
将各层级的相似度特征与各层级的空间结构特征和上下文特征进行加和，得到各层级融合特征。
可选的，所述将双分支网络各层级的空间结构特征和上下文特征进行特征融合，得到各层级融合特征，还包括：
将双分支网络给各层级的2D分支特征和3D分支特征进行拼接，得到特征x：
将特征x进行转置，得到转置特征xT；
将转置特征xT与特征x进行点乘，得到相关矩阵M：
将相关矩阵M与特征x相乘，并使用shortcut方式与特征x相加，得到相似度特征Simi；
将相似度特征Simi与分别2D特征及3D特征采用shortcut连接的方式进行加和，得到各层级融合后的特征。
可选的，所述基于所述各层级融合特征，使用目标检测方法进行病变检测，包括：
使用Faster R-CNN作为目标检测器，将双分支网络每一层级提取到的融合特征分别输入区域提议网络得到若干候选区域；
将所述候选区域输入区域分类网络，得到最终病变检测结果。
第二方面，本申请还提供一种基于双分支网络的CT图像病变检测系统，包括：
获取单元，配置用于将获取的3D医学图像切分为若干2D层面图像；
确定单元，配置用于根据切分的2D层面图像确定双分支网络中2D分支与3D分支的输入；
特征提取单元，配置用于将双分支网络逐级进行2D分支和3D分支特征提取，确定各层级的空间结构特征和上下文特征；
特征融合单元，配置用于将双分支网络各层级的空间结构特征和上下文特征进行特征融合，得到各层级融合特征；
病变检测单元，配置用于基于所述各层级融合特征，使用目标检测方法进行病变检测。
可选的，所述确定单元具体用于：
确定进行病变检测的2D层面图像为中心层；
将所述中心层分别向上向下取其相邻的n层，组成(2n+1)层的连续层面，作为双分支网络中3D分支的输入；
将所述中心层向上向下分别取1层，组成3层连续层面，作为双分支网络中2D分支的输入。
可选的，所述特征提取单元具体用于：
采用ResNet、DenseNet或Inception结构作为双分支网络的2D分支和3D分支的主干网络；
将双分支网络逐级进行2D分支和3D分支特征提取，确定各层级的空间结构特征和上下文特征。
可选的，所述特征提取单元还具体用于：
采用原始ResNet结构作为双分支网络的2D分支的主干网络；
将2D分支的所有2D卷积修改为3D卷积得到3D分支的主干网络；
将双分支网络逐级进行2D分支和3D分支特征提取，确定各层级的空间结构特征和上下文特征。
可选的，所述特征融合单元具体用于：
将双分支网络各层级的空间结构特征和上下文特征进行相似度计算，得到各层级的相似度特征；
将各层级的相似度特征与各层级的空间结构特征和上下文特征进行加和，得到各层级融合特征。
可选的，所述特征融合单元还具体用于：
将双分支网络给各层级的2D分支特征和3D分支特征进行拼接，得到特征x：
将特征x进行转置，得到转置特征xT；
将转置特征xT与特征x进行点乘，得到相关矩阵M：
将相关矩阵M与特征x相乘，并使用shortcut方式与特征x相加，得到相似度特征Simi；
将相似度特征Simi与分别2D特征及3D特征采用shortcut连接的方式进行加和，得到各层级融合后的特征。
可选的，所述病变检测单元具体用于：
使用Faster R-CNN作为目标检测器，将双分支网络每一层级提取到的融合特征分别输入区域提议网络得到若干候选区域；
将所述候选区域输入区域分类网络，得到最终病变检测结果。
第三方面，本申请提供一种终端，包括：
处理器、存储器，其中，
该存储器用于存储计算机程序，
该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述的终端的方法。
第四方面，本申请提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
与现有技术相比，本申请具有如下有益效果：
本申请通过双分支网络分别对2D空间结构信息与3D上下文信息进行建模及信息提取，并通过跨层面特征融合的方法在两个分支的每一个层级之后进行特征融合，使得特征表达同时具有空间和上下文信息，两个分支得以耦合，强化了网络的特征表达能力，提高了病变检测的性能；此外，对于两种特征的相关性权重，提出了一种非局部的相似度求解方式，自动地进行特征权重求解。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种基于双分支网络的CT图像病变检测方法的流程图；
图2为本申请实施例所提供的一种双分支网络结构示意图；
图3为本申请另一实施例所提供的一种基于双分支网络的CT图像病变检测系统的结构示意图；
图4为本申请实施例所提供的一种终端系统的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请实施例所提供的一种基于双分支网络的CT图像病变检测方法的流程图，该方法100包括：
S101：将获取的3D医学图像切分为若干2D层面图像；
S102：根据切分的2D层面图像确定双分支网络中2D分支与3D分支的输入；
S103：将双分支网络逐级进行2D分支和3D分支特征提取，确定各层级的空间结构特征和上下文特征；
S104：将双分支网络各层级的空间结构特征和上下文特征进行特征融合，得到各层级融合特征；
S105：基于所述各层级融合特征，使用目标检测方法进行病变检测。
基于上述实施例，作为可选的实施例，所述S102根据切分的2D层面图像确定双分支网络中2D分支与3D分支的输入，包括：
确定进行病变检测的2D层面图像为中心层；
将所述中心层分别向上向下取其相邻的n层，组成(2n+1)层的连续层面，作为双分支网络中3D分支的输入；
将所述中心层向上向下分别取1层，组成3层连续层面，作为双分支网络中2D分支的输入。
具体的，若需在某一CT扫描层面进行病变检测，则以该层为中心层，分别向上向下取其相邻的n层，组成(2n+1)层的连续层面(一般为7层)，作为双分支网络中3D分支的输入。以该层为中心层，向上向下分别取1层，组成3层连续层面，作为双分支网络中2D分支的输入。
基于上述实施例，作为可选的实施例，所述S103将双分支网络逐级进行2D分支和3D分支特征提取，确定各层级的空间结构特征和上下文特征，包括：
采用ResNet、DenseNet或Inception结构作为双分支网络的2D分支和3D分支的主干网络；
将双分支网络逐级进行2D分支和3D分支特征提取，确定各层级的空间结构特征和上下文特征。
需要说明是，双分支网络的2D分支和3D分支可使用现有的主干网络，如ResNet，DenseNet，Inception等结构。上述几种网络皆具有从网络浅层至深层，随层次变深，所得特征尺度逐渐变小的特点。因此，几种网络都具有多尺度的特征输出能力，可以获得不同尺度上的特征表达。
基于上述实施例，作为可选的实施例，所述S103将双分支网络逐级进行2D分支和3D分支特征提取，确定各层级的空间结构特征和上下文特征，还包括：
采用原始ResNet结构作为双分支网络的2D分支的主干网络；
将2D分支的所有2D卷积修改为3D卷积得到3D分支的主干网络；
将双分支网络逐级进行2D分支和3D分支特征提取，确定各层级的空间结构特征和上下文特征。
具体的，如图2所示，图2为本申请实施例所提供的一种双分支网络结构示意图。使用ResNet作为2D分支和3D分支的结构，2D分支是未经修改的原始ResNet，而3D分支的实现结构可由2D分支的所有2D卷积操作修改为3D卷积得到。在3D分支中，我们保持所有深度通道不进行下采样，以保持深度通道的分辨率不发生变化。
ResNet的不同层级输出具有不同的特征尺度，记2D分支的第i个层级输出特征为fi，记3D分支的第i个层级输出特征为gi，二者将分别作为本层级的空间结构特征和上下文特征，输入后续特征融合模块。
基于上述实施例，作为可选的实施例，所述S104将双分支网络各层级的空间结构特征和上下文特征进行特征融合，得到各层级融合特征，包括：
将双分支网络各层级的空间结构特征和上下文特征进行相似度计算，得到各层级的相似度特征；
将各层级的相似度特征与各层级的空间结构特征和上下文特征进行加和，得到各层级融合特征。
基于上述实施例，作为可选的实施例，所述S104将双分支网络各层级的空间结构特征和上下文特征进行特征融合，得到各层级融合特征，还包括：
将双分支网络给各层级的2D分支特征和3D分支特征进行拼接，得到特征x：
将特征x进行转置，得到转置特征xT；
将转置特征xT与特征x进行点乘，得到相关矩阵M：
将相关矩阵M与特征x相乘，并使用shortcut方式与特征x相加，得到相似度特征Simi；
将相似度特征Simi与分别2D特征及3D特征采用shortcut连接的方式进行加和，得到各层级融合后的特征。
具体的，对于给定层级i的2D分支特征fi和3D分支特征gi：2D分支特征fi可代表当前断层的空间特征，其张量维度为(C*H*W)，其中C，H，W分别代表特征图的通道数量，高度和宽度；3D分支特征gi可代表当前断层的空间特征，其张量维度为(C*D*H*W)，其中，C，H，W意义与2D特征相同，D为深度通道，与输入连续层面的数量一致，D通道的每一份特征都代表对应深度。
将3D特征中深度通道的每一份特征与2D特征进行相似度匹配，以得到不同层面与当前层面的相似性，相似性代表着该层面与当前层面的关联程度，也是该层面对当前层面进行病变检测的贡献度。记相似度求解方法为S(·),层级i的3D特征相似度特征Simi可表达为：
Simi＝S(fi,gik)
相似度特征求解的方法较多，可以采用点积、余弦相似度等方式。在一种可能的实现方式中，使用非局部(Non-local)结构作为相似度特征求解方法。具体地，对于给定特征fi,gi，二者皆具有张量维度(C,D,H,W)；对gi的深度通道逐一与fi进行匹配得到fi,gik，将两个特征拼接到一起，得到拼接后的特征x_ik。
x＝concatenate(fi,gik)
对后者进行转置，得到转置特征xT.
xT＝Transpose(x)
转置特征xT具有张量维度(D*H*W,C)。该特征与特征x进行点乘，可得到相关矩阵M，该相关矩阵M即代表二者间的相关性权重：
M＝Reshape(x)·xT
将相关性权重即相关矩阵M与特征x相乘，并使用shortcut方式与原始特征x相加，即得到相似度特征Simi：
Simi＝x+M·x
将相似度特征Simi将与2D特征以及3D特征采用shortcut连接的方式进行加和，以得到本层级融合后的特征fi′、g′ik：
fi′＝fi+Center(Simi)
g′i＝gi+Simi
需要注意的是，对于2D特征，由于其只包含当前断层信息，故与相似度特征Simi相加时，只取其对应的中心层Center(Simi)进行相加，以保证特征的一致性。ResNet或其他主干网络的结构都有若干阶段(stage)，在某一个stage之后，取2D和3D分支的特征进行融合，得到本stage的输出特征fi′、g′i，同时把融合后的特征fi′、g′i将分别被送入2D、3D分支的后续层，融合后的特征f′i、g′i送入后续stage，接着做后续stage的特征提取和融合，以进行逐层级的特征提取和空间结构特征、上下文特征的互相融合。至此完成了的双分支网络的特征提取和空间结构特征、上下文特征的互相融合。该特征同时具有2D的空间结构信息与3D上下文信息。
基于上述实施例，作为可选的实施例，所述S105基于所述各层级融合特征，使用目标检测方法进行病变检测，包括：
使用Faster R-CNN作为目标检测器，将双分支网络每一层级提取到的融合特征分别输入区域提议网络得到若干候选区域；
将所述候选区域输入区域分类网络，得到最终病变检测结果。
具体的，任务是在2D的CT扫描上做病灶检出，因此使用中间层的融合后特征f′i作为每一层级输出，用于目标检测。使用Faster R-CNN作为目标检测器。所述Faster R-CNN目标检测器包括两部分，即用于生成候选区域的区域提议网络，及用于得到目标位置和类别的区域分类网络。将双分支网络每一尺度层级提取到的多尺度融合特征，分别输入区域提议网络得到若干候选区域；这些候选区域将进一步送入区域分类网络得到CT图像病变检测结果。
请参考图3，图3为本申请实施例所提供的一种基于双分支网络的CT图像病变检测系统的结构示意图，该系统300，包括：
获取单元301，配置用于将获取的3D医学图像切分为若干2D层面图像；
确定单元302，配置用于根据切分的2D层面图像确定双分支网络中2D分支与3D分支的输入；
特征提取单元303，配置用于将双分支网络逐级进行2D分支和3D分支特征提取，确定各层级的空间结构特征和上下文特征；
特征融合单元304，配置用于将双分支网络各层级的空间结构特征和上下文特征进行特征融合，得到各层级融合特征；
病变检测单元305，配置用于基于所述各层级融合特征，使用目标检测方法进行病变检测。
基于上述实施例，作为可选的实施例，所述确定单元302具体用于：
确定进行病变检测的2D层面图像为中心层；
将所述中心层分别向上向下取其相邻的n层，组成(2n+1)层的连续层面，作为双分支网络中3D分支的输入；
将所述中心层向上向下分别取1层，组成3层连续层面，作为双分支网络中2D分支的输入。
基于上述实施例，作为可选的实施例，所述特征提取单元303具体用于：
采用ResNet、DenseNet或Inception结构作为双分支网络的2D分支和3D分支的主干网络；
将双分支网络逐级进行2D分支和3D分支特征提取，确定各层级的空间结构特征和上下文特征。
基于上述实施例，作为可选的实施例，所述特征提取单元303还具体用于：
采用原始ResNet结构作为双分支网络的2D分支的主干网络；
将2D分支的所有2D卷积修改为3D卷积得到3D分支的主干网络；
将双分支网络逐级进行2D分支和3D分支特征提取，确定各层级的空间结构特征和上下文特征。
基于上述实施例，作为可选的实施例，所述特征融合单元304具体用于：
将双分支网络各层级的空间结构特征和上下文特征进行相似度计算，得到各层级的相似度特征；
将各层级的相似度特征与各层级的空间结构特征和上下文特征进行加和，得到各层级融合特征。
基于上述实施例，作为可选的实施例，所述特征融合单元304还具体用于：
将双分支网络给各层级的2D分支特征和3D分支特征进行拼接，得到特征x：
将特征x进行转置，得到转置特征xT；
将转置特征xT与特征x进行点乘，得到相关矩阵M：
将相关矩阵M与特征x相乘，并使用shortcut方式与特征x相加，得到相似度特征Simi；
将相似度特征Simi与分别2D特征及3D特征采用shortcut连接的方式进行加和，得到各层级融合后的特征。
基于上述实施例，作为可选的实施例，所述病变检测单元305具体用于：
使用Faster R-CNN作为目标检测器，将双分支网络每一层级提取到的融合特征分别输入区域提议网络得到若干候选区域；
将所述候选区域输入区域分类网络，得到最终病变检测结果。
请参考图4，图4为本申请实施例所提供的一种终端系统400的结构示意图，该终端系统400可以用于执行本发明实施例提供的基于双分支网络的CT图像病变检测方法。
其中，该终端系统400可以包括：处理器401、存储器402及通信单元403。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
其中，该存储器402可以用于存储处理器401的执行指令，存储器402可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。当存储器402中的执行指令由处理器401执行时，使得终端系统400能够执行以下上述方法实施例中的部分或全部步骤。
处理器401为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器401可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。
通信单元403，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。
本申请还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。
本申请通过双分支网络使用2D和3D两个分支分别对2D空间结构信息与3D上下文信息进行建模及信息提取，并通过跨层面特征融合的方法在两个分支的每一个层级之后进行特征融合，使得特征表达同时具有空间和上下文信息，两个分支得以耦合，强化了网络的特征表达能力，提高了病变检测的性能；此外，对于两种特征的相关性权重，提出了一种非局部的相似度求解方式，自动地进行特征权重求解
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的系统而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种基于双分支网络的CT图像病变检测方法，其特征在于，包括：
将获取的3D医学图像切分为若干2D层面图像；
根据切分的2D层面图像确定双分支网络中2D分支与3D分支的输入；
将双分支网络逐级进行2D分支和3D分支特征提取，确定各层级的空间结构特征和上下文特征；
将双分支网络各层级的空间结构特征和上下文特征进行特征融合，得到各层级融合特征；
基于所述各层级融合特征，使用目标检测方法进行病变检测。
2.根据权利要求1所述的基于双分支网络的CT图像病变检测方法，其特征在于，所述根据切分的2D层面图像确定双分支网络中2D分支与3D分支的输入，包括：
确定进行病变检测的2D层面图像为中心层；
将所述中心层分别向上向下取其相邻的n层，组成(2n+1)层的连续层面，作为双分支网络中3D分支的输入；
将所述中心层向上向下分别取1层，组成3层连续层面，作为双分支网络中2D分支的输入。
3.根据权利要求1所述的基于双分支网络的CT图像病变检测方法，其特征在于，所述将双分支网络逐级进行2D分支和3D分支特征提取，确定各层级的空间结构特征和上下文特征，包括：
采用ResNet、DenseNet或Inception结构作为双分支网络的2D分支和3D分支的主干网络；
将双分支网络逐级进行2D分支和3D分支特征提取，确定各层级的空间结构特征和上下文特征。
4.根据权利要求1所述的基于双分支网络的CT图像病变检测方法，其特征在于，所述将双分支网络逐级进行2D分支和3D分支特征提取，确定各层级的空间结构特征和上下文特征，包括：
采用原始ResNet结构作为双分支网络的2D分支的主干网络；
将2D分支的所有2D卷积修改为3D卷积得到3D分支的主干网络；
将双分支网络逐级进行2D分支和3D分支特征提取，确定各层级的空间结构特征和上下文特征。
5.据权利要求1所述的基于双分支网络的CT图像病变检测方法，其特征在于，所述将双分支网络各层级的空间结构特征和上下文特征进行特征融合，得到各层级融合特征，包括：
将双分支网络各层级的空间结构特征和上下文特征进行相似度计算，得到各层级的相似度特征；
将各层级的相似度特征与各层级的空间结构特征和上下文特征进行加和，得到各层级融合特征。
6.权利要求1所述的基于双分支网络的CT图像病变检测方法，其特征在于，所述将双分支网络各层级的空间结构特征和上下文特征进行特征融合，得到各层级融合特征，还包括：
将双分支网络给各层级的2D分支特征和3D分支特征进行拼接，得到特征x：
将特征x进行转置，得到转置特征xT；
将转置特征xT与特征x进行点乘，得到相关矩阵M：
将相关矩阵M与特征x相乘，并使用shortcut方式与特征x相加，得到相似度特征Simi；
将相似度特征Simi与分别2D特征及3D特征采用shortcut连接的方式进行加和，得到各层级融合后的特征。
7.根据权利要求1所述的基于双分支网络的CT图像病变检测方法，其特征在于，所述基于所述各层级融合特征，使用目标检测方法进行病变检测，包括：
使用Faster R-CNN作为目标检测器，将双分支网络每一层级提取到的融合特征分别输入区域提议网络得到若干候选区域；
将所述候选区域输入区域分类网络，得到最终病变检测结果。
8.一种基于双分支网络的CT图像病变检测系统，其特征在于，包括：
获取单元，配置用于将获取的3D医学图像切分为若干2D层面图像；
确定单元，配置用于根据切分的2D层面图像确定双分支网络中2D分支与3D分支的输入；
特征提取单元，配置用于将双分支网络逐级进行2D分支和3D分支特征提取，确定各层级的空间结构特征和上下文特征；
特征融合单元，配置用于将双分支网络各层级的空间结构特征和上下文特征进行特征融合，得到各层级融合特征；
病变检测单元，配置用于基于所述各层级融合特征，使用目标检测方法进行病变检测。
9.一种终端，其特征在于，包括：
处理器；
用于存储处理器的执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-7任一项所述的方法。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
CN202010571318.0A 2020-06-22 2020-06-22 一种基于双分支网络的ct图像病变检测方法、系统、终端及存储介质 Active CN111915556B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010571318.0A CN111915556B (zh) 2020-06-22 2020-06-22 一种基于双分支网络的ct图像病变检测方法、系统、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010571318.0A CN111915556B (zh) 2020-06-22 2020-06-22 一种基于双分支网络的ct图像病变检测方法、系统、终端及存储介质

Publications (2)

Publication Number Publication Date
CN111915556A true CN111915556A (zh) 2020-11-10
CN111915556B CN111915556B (zh) 2024-05-14

Family

ID=73226084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010571318.0A Active CN111915556B (zh) 2020-06-22 2020-06-22 一种基于双分支网络的ct图像病变检测方法、系统、终端及存储介质

Country Status (1)

Country Link
CN (1) CN111915556B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446730A (zh) * 2018-03-16 2018-08-24 北京推想科技有限公司 一种基于深度学习的ct肺结节检测方法
CN109544534A (zh) * 2018-11-26 2019-03-29 上海联影智能医疗科技有限公司 一种病灶图像检测装置、方法和计算机可读存储介质
CN110600105A (zh) * 2019-08-27 2019-12-20 武汉科技大学 一种ct影像数据处理方法、装置及存储介质
WO2020001217A1 (zh) * 2018-06-27 2020-01-02 东南大学 一种基于卷积神经网络的ct图像中带夹层主动脉分割方法
CN110942009A (zh) * 2019-11-22 2020-03-31 南京甄视智能科技有限公司 基于时空混合卷积网络的跌倒检测方法与系统
CN110992338A (zh) * 2019-11-28 2020-04-10 华中科技大学 一种原发灶转移辅助诊断系统
CN111047591A (zh) * 2020-03-13 2020-04-21 北京深睿博联科技有限责任公司 基于深度学习的病灶体积测量方法、系统、终端及存储介质
CN111127484A (zh) * 2019-12-25 2020-05-08 北京小白世纪网络科技有限公司 基于深度学习神经网络的肝脏ct图像分割方法及装置
CN111127482A (zh) * 2019-12-20 2020-05-08 广州柏视医疗科技有限公司 基于深度学习的ct影像肺气管的分割方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446730A (zh) * 2018-03-16 2018-08-24 北京推想科技有限公司 一种基于深度学习的ct肺结节检测方法
WO2020001217A1 (zh) * 2018-06-27 2020-01-02 东南大学 一种基于卷积神经网络的ct图像中带夹层主动脉分割方法
CN109544534A (zh) * 2018-11-26 2019-03-29 上海联影智能医疗科技有限公司 一种病灶图像检测装置、方法和计算机可读存储介质
CN110600105A (zh) * 2019-08-27 2019-12-20 武汉科技大学 一种ct影像数据处理方法、装置及存储介质
CN110942009A (zh) * 2019-11-22 2020-03-31 南京甄视智能科技有限公司 基于时空混合卷积网络的跌倒检测方法与系统
CN110992338A (zh) * 2019-11-28 2020-04-10 华中科技大学 一种原发灶转移辅助诊断系统
CN111127482A (zh) * 2019-12-20 2020-05-08 广州柏视医疗科技有限公司 基于深度学习的ct影像肺气管的分割方法及系统
CN111127484A (zh) * 2019-12-25 2020-05-08 北京小白世纪网络科技有限公司 基于深度学习神经网络的肝脏ct图像分割方法及装置
CN111047591A (zh) * 2020-03-13 2020-04-21 北京深睿博联科技有限责任公司 基于深度学习的病灶体积测量方法、系统、终端及存储介质

Also Published As

Publication number Publication date
CN111915556B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
CN110060263B (zh) 医学图像的分割方法、分割装置、分割系统及计算机可读介质
CN111553892B (zh) 基于深度学习的肺结节分割计算方法、装置及系统
JP5584006B2 (ja) 投影画像生成装置、投影画像生成プログラムおよび投影画像生成方法
CN111667459B (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质
CN111340756B (zh) 一种医学图像病变检出合并方法、系统、终端及存储介质
CN108805871A (zh) 血管图像处理方法、装置、计算机设备和存储介质
CN109712163B (zh) 冠脉提取方法、装置、图像处理工作站和可读存储介质
CN112037146A (zh) 医学图像伪影自动校正方法、装置和计算机设备
CN111312374B (zh) 医学图像处理方法、装置、存储介质及计算机设备
CN115830017A (zh) 基于图文多模态融合的肿瘤检测系统、方法、设备及介质
CN113256670A (zh) 图像处理方法及装置、网络模型的训练方法及装置
CN115409859A (zh) 冠状动脉血管图像分割方法及装置、存储介质和终端
CN114155193B (zh) 一种基于特征强化的血管分割方法及装置
CN116452618A (zh) 一种三输入脊柱ct图像分割方法
CN114299057A (zh) 血管中心线的提取方法和存储介质
CN113724185A (zh) 用于图像分类的模型处理方法、装置及存储介质
CN116883341A (zh) 一种基于深度学习的肝脏肿瘤ct图像自动分割方法
CN111915556B (zh) 一种基于双分支网络的ct图像病变检测方法、系统、终端及存储介质
CN116563305A (zh) 一种血管的异常区域的分割方法、装置及电子设备
CN113129297B (zh) 基于多期相肿瘤影像的直径自动测量方法及系统
CN113177953B (zh) 肝脏区域分割方法、装置、电子设备及存储介质
CN116129184A (zh) 多期相病灶分类方法、装置、设备及可读存储介质
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
CN115482261A (zh) 血管配准方法、装置、电子设备及存储介质
CN114241198A (zh) 获取局部影像组学特征的方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant