CN112529920A - 基于空间的肺叶分割方法、系统、存储介质及电子设备 - Google Patents

基于空间的肺叶分割方法、系统、存储介质及电子设备 Download PDF

Info

Publication number
CN112529920A
CN112529920A CN202011594146.5A CN202011594146A CN112529920A CN 112529920 A CN112529920 A CN 112529920A CN 202011594146 A CN202011594146 A CN 202011594146A CN 112529920 A CN112529920 A CN 112529920A
Authority
CN
China
Prior art keywords
module
output
representing
convolution
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011594146.5A
Other languages
English (en)
Other versions
CN112529920B (zh
Inventor
柴象飞
郭娜
张路
刘鹏飞
袁勇
刘晨
王健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huiying Medical Technology Beijing Co ltd
Original Assignee
Huiying Medical Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huiying Medical Technology Beijing Co ltd filed Critical Huiying Medical Technology Beijing Co ltd
Priority to CN202011594146.5A priority Critical patent/CN112529920B/zh
Publication of CN112529920A publication Critical patent/CN112529920A/zh
Application granted granted Critical
Publication of CN112529920B publication Critical patent/CN112529920B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了基于空间的肺叶分割方法、系统、存储介质及电子设备，涉及肺叶分割领域。该系统包括：输入模块、分割模块、空间循环模块以及输出模块，所述输入模块用于获取肺部的CT扫描图，并将所述CT扫描图输入至所述分割模块，所述分割模块用于处理接收到的所述CT扫描图，并将处理结果输入至所述空间循环模块，所述空间循环模块用于将接收到的处理结果进行叠加循环处理，将叠加循环处理结果输出至所述输出模块，所述输出模块用于将接收到的叠加循环处理结果进行输出。本发明能够解决未根据CT图像的前后层来推断叶间裂位置，准确地分割肺叶问题，达到肺叶过渡平缓，能预测出合理的肺叶范围的效果。

Description

基于空间的肺叶分割方法、系统、存储介质及电子设备
技术领域
本发明涉及肺叶分割领域，尤其涉及基于空间的肺叶分割方法、系统、存储介质及电子设备。
背景技术
传统的交互式方式需要人工参与，不能实现全自动分割肺叶；单纯的深度学习方法只考虑了空间上的相关性，然而肺叶分割任务是一个时序相关的任务，基于卷积神经网络的深度学习分割方法，通常只关注二维空间信息，尽管在医学图像处理中，往往一次输入多个相邻序列或者使用三维输入，但是这种方式仅仅只是将时序信息加入输入数据中，在大多数叶间裂不清晰的情况下，并未根据CT图像的前后层来推断叶间裂位置，准确地分割肺叶。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供基于空间的肺叶分割方法、系统、存储介质及电子设备。
本发明解决上述技术问题的技术方案如下：一种基于时序和空间的肺叶分割系统，包括：输入模块、分割模块、空间循环模块以及输出模块，所述输入模块用于获取肺部的CT扫描图，并将所述CT扫描图输入至所述分割模块，所述分割模块用于处理接收到的所述CT扫描图，并将处理结果输入至所述空间循环模块，所述空间循环模块用于将接收到的处理结果进行叠加循环处理，将叠加循环处理结果输出至所述输出模块，所述输出模块用于将接收到的叠加循环处理结果进行输出。
本发明的有益效果是：考虑到了肺叶分割时时序信息的重要性，并通过引入循环神经网络结构来加强肺叶分割时前后序列的相关性，即通过空间循环模块，可以做到在当前层面叶间裂不清晰时依赖前后层面清晰的叶间裂的信息来推断当前的肺叶分割结果。本发明对肺叶的分割具有很好的效果，且在叶间裂不清晰的地方，肺叶过渡平缓，能预测出合理的肺叶范围。
进一步，输入模块具体用于：
获取m个序列的肺部的CT扫描图，并将m个序列的肺部的CT扫描图输入至所述分割模块，其中，m为正整数。
进一步，分割模块为：语义分割模块，所述语义分割模块具体用于对接收到的所述CT扫描图进行分割，并将分割结果输入至所述空间循环模块。
进一步，空间循环模块具体用于：
在所述处理结果中提取出n个特征层，在每一个特征层的前后分别添加一个空白特征层，完成叠加循环处理，叠加循环处理的具体公式如下：
Figure BDA0002869860730000021
Figure BDA0002869860730000022
Figure BDA0002869860730000023
Figure BDA0002869860730000024
Figure BDA0002869860730000025
其中，it表示输入模块，ft表示忘记模块，ct表示细胞模块，ot表示输出模块，Ht表示隐藏模块，σ表示sigmoid激活函数，Wxi表示对象为x且输出为i层服务的卷积，Whi表示对象为h且输出为i层服务的卷积，Wci表示对象为c且输出为i层服务的卷积，W表示卷据操作，Wxf表示对象为x且输出为f层服务的卷积，Whf表示对象为h且输出为f层服务的卷积，Wcf表示对象为c且输出为f层服务的卷积，Wxc表示对象为x且输出为c层服务的卷积，Whc表示对象为h且输出为c层服务的卷积，Wxo表示对象为x且输出为o层服务的卷积，Who表示对象为h且输出为o层服务的卷积，Wco表示对象为c且输出为o层服务的卷积，bi表示输入偏执，bf表示忘记偏执，bc表示细胞偏执，bo表示输出偏执，W表示卷据操作，Xt表示当前层的特征输入，Ht-1表示前一层的隐含层，Ct-1表示前一层的输出，n为正整数，n≤m。
采用上述进一步方案的有益效果是，通过空间循环模块，可以做到在当前层面叶间裂不清晰时依赖前后层面清晰的叶间裂的信息来推断当前的肺叶分割结果。
本发明解决上述技术问题的另一种技术方案如下：一种基于时序和空间的肺叶分割方法，包括：
步骤1，输入模块获取肺部的CT扫描图，并将所述CT扫描图输入至分割模块；
步骤2，分割模块处理接收到的所述CT扫描图，并将处理结果输入至空间循环模块；
步骤3，空间循环模块将接收到的处理结果进行叠加循环处理，将叠加循环处理结果输出至输出模块；
步骤4，输出模块将接收到的叠加循环处理结果进行输出。
本发明的有益效果是：考虑到了肺叶分割时时序信息的重要性，并通过引入循环神经网络结构来加强肺叶分割时前后序列的相关性，即通过空间循环模块，可以做到在当前层面叶间裂不清晰时依赖前后层面清晰的叶间裂的信息来推断当前的肺叶分割结果。本发明对肺叶的分割具有很好的效果，且在叶间裂不清晰的地方，肺叶过渡平缓，能预测出合理的肺叶范围。
进一步，步骤1具体为：
获取m个序列的肺部的CT扫描图，并将m个序列的肺部的CT扫描图输入至所述分割模块，其中，m为正整数。
进一步，分割模块为：语义分割模块，所述语义分割模块具体用于对接收到的所述CT扫描图进行分割，并将分割结果输入至所述空间循环模块。
进一步，步骤3具体为：
在所述处理结果中提取出n个特征层，在每一个特征层的前后分别添加一个空白特征层，完成叠加循环处理，叠加循环处理的具体公式如下：
Figure BDA0002869860730000041
Figure BDA0002869860730000042
Figure BDA0002869860730000043
Figure BDA0002869860730000044
Figure BDA0002869860730000045
其中，it表示输入模块，ft表示忘记模块，ct表示细胞模块，ot表示输出模块，Ht表示隐藏模块，σ表示sigmoid激活函数，Wxi表示对象为x且输出为i层服务的卷积，Whi表示对象为h且输出为i层服务的卷积，Wci表示对象为c且输出为i层服务的卷积，W表示卷据操作，Wxf表示对象为x且输出为f层服务的卷积，Whf表示对象为h且输出为f层服务的卷积，Wcf表示对象为c且输出为f层服务的卷积，Wxc表示对象为x且输出为c层服务的卷积，Whc表示对象为h且输出为c层服务的卷积，Wxo表示对象为x且输出为o层服务的卷积，Who表示对象为h且输出为o层服务的卷积，Wco表示对象为c且输出为o层服务的卷积，bi表示输入偏执，bf表示忘记偏执，bc表示细胞偏执，bo表示输出偏执，W表示卷据操作，Xt表示当前层的特征输入，Ht-1表示前一层的隐含层，Ct-1表示前一层的输出，n为正整数，n≤m。
采用上述进一步方案的有益效果是，通过空间循环模块，可以做到在当前层面叶间裂不清晰时依赖前后层面清晰的叶间裂的信息来推断当前的肺叶分割结果。
本发明解决上述技术问题的另一种技术方案如下：一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行上述任一项所述的一种基于时序和空间的肺叶分割方法。
本发明的有益效果是：考虑到了肺叶分割时时序信息的重要性，并通过引入循环神经网络结构来加强肺叶分割时前后序列的相关性，即通过空间循环模块，可以做到在当前层面叶间裂不清晰时依赖前后层面清晰的叶间裂的信息来推断当前的肺叶分割结果。本发明对肺叶的分割具有很好的效果，且在叶间裂不清晰的地方，肺叶过渡平缓，能预测出合理的肺叶范围。
本发明解决上述技术问题的另一种技术方案如下：一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现上述任一项所述的一种基于时序和空间的肺叶分割方法。
本发明的有益效果是：考虑到了肺叶分割时时序信息的重要性，并通过引入循环神经网络结构来加强肺叶分割时前后序列的相关性，即通过空间循环模块，可以做到在当前层面叶间裂不清晰时依赖前后层面清晰的叶间裂的信息来推断当前的肺叶分割结果。本发明对肺叶的分割具有很好的效果，且在叶间裂不清晰的地方，肺叶过渡平缓，能预测出合理的肺叶范围。
本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。
附图说明
图1为本发明一种基于时序和空间的肺叶分割系统的其他实施例提供的结构示意图；
图2为本发明一种基于时序和空间的肺叶分割方法的实施例提供的流程示意图；
图3为本发明一种基于时序和空间的肺叶分割系统的实施例提供的网络结构示意图。
附图中，各标号所代表的部件列表如下：
1、输入模块，2、分割模块，3、空间循环模块，4、输出模块。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种基于时序和空间的肺叶分割系统，包括：输入模块1、分割模块2、空间循环模块3以及输出模块4，输入模块1用于获取肺部的CT扫描图，并将所述CT扫描图输入至分割模块2，分割模块2用于处理接收到的CT扫描图，并将处理结果输入至所述空间循环模块3，空间循环模块3用于将接收到的处理结果进行叠加循环处理，将叠加循环处理结果输出至输出模块4，输出模块4用于将接收到的叠加循环处理结果进行输出。
在一些可能的实施方式中，考虑到了肺叶分割时时序信息的重要性，并通过引入循环神经网络结构来加强肺叶分割时前后序列的相关性，即通过空间循环模块3，可以做到在当前层面叶间裂不清晰时依赖前后层面清晰的叶间裂的信息来推断当前的肺叶分割结果。本发明对肺叶的分割具有很好的效果，且在叶间裂不清晰的地方，肺叶过渡平缓，能预测出合理的肺叶范围。
需要说明的是，肺叶是解剖结构，人体一般有5个肺叶，右肺三个肺叶，分别是右肺上叶，右肺中叶，右肺下叶，左肺两个肺叶，分别是左肺上叶和左肺下叶，输入模块1获取多个序列的肺部CT扫描图。因为肺叶的分割结果往往依赖前后层面的信息，因此输入需要m个相邻序列的CT图像，这个数字m不确定，可以经验性地进行选择，如9，15，21等等。
分割模块2可以是任意的语义分割模型，如U-net等。本发明的重点不在于采用哪种分割模型，这里可以替换为任何可用的深度学习语义分割模型。
空间循环模块3，LSTM：可以是其他RNN模块，本发明使用了适用于图像特征的ConvLSTM模块。从前一个阶段的分割模型中提取出对应n个输出的特征层，其中，n≤m，再在n个特征层前后各加上一个空白特征层，如图3所示，即可进行完成一个双向的ConvLSTM模块操作，具体公式可参考下式：
Figure BDA0002869860730000071
Figure BDA0002869860730000072
Figure BDA0002869860730000073
Figure BDA0002869860730000074
Figure BDA0002869860730000075
其中，it表示输入模块，ft表示忘记模块，ct表示细胞模块，ot表示输出模块，Ht表示隐藏模块，σ表示sigmoid激活函数，Wxi表示对象为x且输出为i层服务的卷积，Whi表示对象为h且输出为i层服务的卷积，Wci表示对象为c且输出为i层服务的卷积，W表示卷据操作，Wxf表示对象为x且输出为f层服务的卷积，Whf表示对象为h且输出为f层服务的卷积，Wcf表示对象为c且输出为f层服务的卷积，Wxc表示对象为x且输出为c层服务的卷积，Whc表示对象为h且输出为c层服务的卷积，Wxo表示对象为x且输出为o层服务的卷积，Who表示对象为h且输出为o层服务的卷积，Wco表示对象为c且输出为o层服务的卷积，bi表示输入偏执，bf表示忘记偏执，bc表示细胞偏执，bo表示输出偏执，W表示卷据操作，Xt表示当前层的特征输入，Ht-1表示前一层的隐含层，Ct-1表示前一层的输出，n为正整数，n≤m；
输出模块4将n个序列的肺叶分割结果进行输出。
优选地，在上述任意实施例中，输入模块1具体用于：
获取m个序列的肺部的CT扫描图，并将m个序列的肺部的CT扫描图输入至分割模块2，其中，m为正整数。
优选地，在上述任意实施例中，分割模块2为：语义分割模块2，语义分割模块2具体用于对接收到的所述CT扫描图进行分割，并将分割结果输入至空间循环模块3。
优选地，在上述任意实施例中，空间循环模块3具体用于：
在处理结果中提取出n个特征层，在每一个特征层的前后分别添加一个空白特征层，完成叠加循环处理，叠加循环处理的具体公式如下：
Figure BDA0002869860730000081
Figure BDA0002869860730000082
Figure BDA0002869860730000083
Figure BDA0002869860730000084
Figure BDA0002869860730000085
其中，it表示输入模块，ft表示忘记模块，ct表示细胞模块，ot表示输出模块，Ht表示隐藏模块，σ表示sigmoid激活函数，Wxi表示对象为x且输出为i层服务的卷积，Whi表示对象为h且输出为i层服务的卷积，Wci表示对象为c且输出为i层服务的卷积，W表示卷据操作，Wxf表示对象为x且输出为f层服务的卷积，Whf表示对象为h且输出为f层服务的卷积，Wcf表示对象为c且输出为f层服务的卷积，Wxc表示对象为x且输出为c层服务的卷积，Whc表示对象为h且输出为c层服务的卷积，Wxo表示对象为x且输出为o层服务的卷积，Who表示对象为h且输出为o层服务的卷积，Wco表示对象为c且输出为o层服务的卷积，bi表示输入偏执，bf表示忘记偏执，bc表示细胞偏执，bo表示输出偏执，W表示卷据操作，Xt表示当前层的特征输入，Ct-1表示前一层的隐含层，Ct-1表示前一层的输出，n为正整数，n≤m。
在一些可能的实施方式中，通过空间循环模块3，可以做到在当前层面叶间裂不清晰时依赖前后层面清晰的叶间裂的信息来推断当前的肺叶分割结果。
如图2所示，一种基于时序和空间的肺叶分割方法，包括：
步骤1，输入模块1获取肺部的CT扫描图，并将CT扫描图输入至分割模块2；
步骤2，分割模块2处理接收到的CT扫描图，并将处理结果输入至空间循环模块3；
步骤3，空间循环模块3将接收到的处理结果进行叠加循环处理，将叠加循环处理结果输出至输出模块4；
步骤4，输出模块4将接收到的叠加循环处理结果进行输出。
在一些可能的实施方式中，考虑到了肺叶分割时时序信息的重要性，并通过引入循环神经网络结构来加强肺叶分割时前后序列的相关性，即通过空间循环模块3，可以做到在当前层面叶间裂不清晰时依赖前后层面清晰的叶间裂的信息来推断当前的肺叶分割结果。本发明对肺叶的分割具有很好的效果，且在叶间裂不清晰的地方，肺叶过渡平缓，能预测出合理的肺叶范围。
优选地，在上述任意实施例中，步骤1具体为：
获取m个序列的肺部的CT扫描图，并将m个序列的肺部的CT扫描图输入至分割模块2，其中，m为正整数。
优选地，在上述任意实施例中，分割模块2为：语义分割模块2，语义分割模块2具体用于对接收到的CT扫描图进行分割，并将分割结果输入至所述空间循环模块3。
优选地，在上述任意实施例中，步骤3具体为：
在处理结果中提取出n个特征层，在每一个特征层的前后分别添加一个空白特征层，完成叠加循环处理，叠加循环处理的具体公式如下：
Figure BDA0002869860730000091
Figure BDA0002869860730000101
Figure BDA0002869860730000102
Figure BDA0002869860730000103
Figure BDA0002869860730000104
其中，it表示输入模块，ft表示忘记模块，ct表示细胞模块，ot表示输出模块，Ht表示隐藏模块，σ表示sigmoid激活函数，Wxi表示对象为x且输出为i层服务的卷积，Whi表示对象为h且输出为i层服务的卷积，Wci表示对象为c且输出为i层服务的卷积，W表示卷据操作，Wxf表示对象为x且输出为f层服务的卷积，Whf表示对象为h且输出为f层服务的卷积，Wcf表示对象为c且输出为f层服务的卷积，Wxc表示对象为x且输出为c层服务的卷积，Whc表示对象为h且输出为c层服务的卷积，Wxo表示对象为x且输出为o层服务的卷积，Who表示对象为h且输出为o层服务的卷积，Wco表示对象为c且输出为o层服务的卷积，bi表示输入偏执，bf表示忘记偏执，bc表示细胞偏执，bo表示输出偏执，W表示卷据操作，Xt表示当前层的特征输入，Ht-1表示前一层的隐含层，Ct-1表示前一层的输出，n为正整数，n≤m。
在一些可能的实施方式中，通过空间循环模块3，可以做到在当前层面叶间裂不清晰时依赖前后层面清晰的叶间裂的信息来推断当前的肺叶分割结果。
一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行上述任一项所述的一种基于时序和空间的肺叶分割方法。
在一些可能的实施方式中，考虑到了肺叶分割时时序信息的重要性，并通过引入循环神经网络结构来加强肺叶分割时前后序列的相关性，即通过空间循环模块3，可以做到在当前层面叶间裂不清晰时依赖前后层面清晰的叶间裂的信息来推断当前的肺叶分割结果。本发明对肺叶的分割具有很好的效果，且在叶间裂不清晰的地方，肺叶过渡平缓，能预测出合理的肺叶范围。
一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现上述任一项所述的一种基于时序和空间的肺叶分割方法。
在一些可能的实施方式中，考虑到了肺叶分割时时序信息的重要性，并通过引入循环神经网络结构来加强肺叶分割时前后序列的相关性，即通过空间循环模块3，可以做到在当前层面叶间裂不清晰时依赖前后层面清晰的叶间裂的信息来推断当前的肺叶分割结果。本发明对肺叶的分割具有很好的效果，且在叶间裂不清晰的地方，肺叶过渡平缓，能预测出合理的肺叶范围。
可以理解，在一些实施例中，可以包含如上述各实施例中的部分或全部可选实施方式。
需要说明的是，上述各实施例是与在先方法实施例对应的产品实施例，对于产品实施例中各可选实施方式的说明可以参考上述各方法实施例中的对应说明，在此不再赘述。
读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例仅仅是示意性的，例如，步骤的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个步骤可以结合或者可以集成到另一个步骤，或一些特征可以忽略，或不执行。
上述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于时序和空间的肺叶分割系统，其特征在于，包括：输入模块、分割模块、空间循环模块以及输出模块，所述输入模块用于获取肺部的CT扫描图，并将所述CT扫描图输入至所述分割模块，所述分割模块用于处理接收到的所述CT扫描图，并将处理结果输入至所述空间循环模块，所述空间循环模块用于将接收到的处理结果进行叠加循环处理，将叠加循环处理结果输出至所述输出模块，所述输出模块用于将接收到的叠加循环处理结果进行输出。
2.根据权利要求1所述的一种基于时序和空间的肺叶分割系统，其特征在于，输入模块具体用于：
获取m个序列的肺部的CT扫描图，并将m个序列的肺部的CT扫描图输入至所述分割模块，其中，m为正整数。
3.根据权利要求2所述的一种基于时序和空间的肺叶分割系统，其特征在于，分割模块为：语义分割模块，所述语义分割模块具体用于对接收到的所述CT扫描图进行分割，并将分割结果输入至所述空间循环模块。
4.根据权利要求3所述的一种基于时序和空间的肺叶分割系统，其特征在于，空间循环模块具体用于：
在所述处理结果中提取出n个特征层，在每一个特征层的前后分别添加一个空白特征层，完成叠加循环处理，叠加循环处理的具体公式如下：
Figure FDA0002869860720000011
Figure FDA0002869860720000012
Figure FDA0002869860720000021
Figure FDA0002869860720000022
Figure FDA0002869860720000023
其中，it表示输入模块，ft表示忘记模块，ct表示细胞模块，ot表示输出模块，Ht表示隐藏模块，σ表示sigmoid激活函数，Wxi表示对象为x且输出为i层服务的卷积，Whi表示对象为h且输出为i层服务的卷积，Wci表示对象为c且输出为i层服务的卷积，W表示卷据操作，Wxf表示对象为x且输出为f层服务的卷积，Whf表示对象为h且输出为f层服务的卷积，Wcf表示对象为c且输出为f层服务的卷积，Wxc表示对象为x且输出为c层服务的卷积，Whc表示对象为h且输出为c层服务的卷积，Wxo表示对象为x且输出为o层服务的卷积，Who表示对象为h且输出为o层服务的卷积，Wco表示对象为c且输出为o层服务的卷积，bi表示输入偏执，bf表示忘记偏执，bc表示细胞偏执，bo表示输出偏执，W表示卷据操作，Xt表示当前层的特征输入，Ht-1表示前一层的隐含层，Ct-1表示前一层的输出，n为正整数，n≤m。
5.一种基于时序和空间的肺叶分割方法，其特征在于，包括：
步骤1，输入模块获取肺部的CT扫描图，并将所述CT扫描图输入至分割模块；
步骤2，分割模块处理接收到的所述CT扫描图，并将处理结果输入至空间循环模块；
步骤3，空间循环模块将接收到的处理结果进行叠加循环处理，将叠加循环处理结果输出至输出模块；
步骤4，输出模块将接收到的叠加循环处理结果进行输出。
6.根据权利要求5所述的一种基于时序和空间的肺叶分割方法，其特征在于，步骤1具体为：
获取m个序列的肺部的CT扫描图，并将m个序列的肺部的CT扫描图输入至所述分割模块，其中，m为正整数。
7.根据权利要求6所述的一种基于时序和空间的肺叶分割方法，其特征在于，分割模块为：语义分割模块，所述语义分割模块具体用于对接收到的所述CT扫描图进行分割，并将分割结果输入至所述空间循环模块。
8.根据权利要求7所述的一种基于时序和空间的肺叶分割方法，其特征在于，步骤3具体为：
在所述处理结果中提取出n个特征层，在每一个特征层的前后分别添加一个空白特征层，完成叠加循环处理，叠加循环处理的具体公式如下：
Figure FDA0002869860720000031
Figure FDA0002869860720000032
Figure FDA0002869860720000033
Figure FDA0002869860720000034
Figure FDA0002869860720000035
其中，it表示输入模块，ft表示忘记模块，ct表示细胞模块，ot表示输出模块，Ht表示隐藏模块，σ表示sigmoid激活函数，Wxi表示对象为x且输出为i层服务的卷积，Whi表示对象为h且输出为i层服务的卷积，Wci表示对象为c且输出为i层服务的卷积，W表示卷据操作，Wxf表示对象为x且输出为f层服务的卷积，Whf表示对象为h且输出为f层服务的卷积，Wcf表示对象为c且输出为f层服务的卷积，Wxc表示对象为x且输出为c层服务的卷积，Whc表示对象为h且输出为c层服务的卷积，Wxo表示对象为x且输出为o层服务的卷积，Who表示对象为h且输出为o层服务的卷积，Wco表示对象为c且输出为o层服务的卷积，bi表示输入偏执，bf表示忘记偏执，bc表示细胞偏执，bo表示输出偏执，W表示卷据操作，Xt表示当前层的特征输入，Ht-1表示前一层的隐含层，Ct-1表示前一层的输出，n为正整数，n≤m。
9.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如权利要求5至8中任一项所述的一种基于时序和空间的肺叶分割方法。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求5至8任一项所述的一种基于时序和空间的肺叶分割方法。
CN202011594146.5A 2020-12-29 2020-12-29 基于空间的肺叶分割方法、系统、存储介质及电子设备 Active CN112529920B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011594146.5A CN112529920B (zh) 2020-12-29 2020-12-29 基于空间的肺叶分割方法、系统、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011594146.5A CN112529920B (zh) 2020-12-29 2020-12-29 基于空间的肺叶分割方法、系统、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN112529920A true CN112529920A (zh) 2021-03-19
CN112529920B CN112529920B (zh) 2024-09-27

Family

ID=74977058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011594146.5A Active CN112529920B (zh) 2020-12-29 2020-12-29 基于空间的肺叶分割方法、系统、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN112529920B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110910408A (zh) * 2019-11-28 2020-03-24 慧影医疗科技（北京）有限公司 图像分割方法、装置、电子设备及可读存储介质
CN111368086A (zh) * 2020-03-17 2020-07-03 昆明理工大学 一种基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110910408A (zh) * 2019-11-28 2020-03-24 慧影医疗科技（北京）有限公司 图像分割方法、装置、电子设备及可读存储介质
CN111368086A (zh) * 2020-03-17 2020-07-03 昆明理工大学 一种基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
REZA AZAD等: "Bi-Directional ConvLSTM U-Net with Densley Connected Convolutions", 《ARXIV》, 3 September 2019 (2019-09-03), pages 1 - 10 *
WENJIA BAI等: "Recurrent Neural Networks for Aortic Image Sequence Segmentation with Sparse Annotations", 《MEDICAL IMAGE COMPUTING AND COMPUTER ASSISTED INTERVENTION - MICCAI 2018》, 13 September 2018 (2018-09-13), pages 586 - 594, XP047485608, DOI: 10.1007/978-3-030-00937-3_67 *

Also Published As

Publication number Publication date
CN112529920B (zh) 2024-09-27

Similar Documents

Publication Publication Date Title
US10452899B2 (en) Unsupervised deep representation learning for fine-grained body part recognition
Kowalczuk et al. Real-time stereo matching on CUDA using an iterative refinement method for adaptive support-weight correspondences
Wang et al. Laplacian pyramid adversarial network for face completion
Wallace et al. Few-shot generalization for single-image 3d reconstruction via priors
US20220083857A1 (en) Convolutional neural network operation method and device
US11935213B2 (en) Laparoscopic image smoke removal method based on generative adversarial network
Din et al. Effective removal of user-selected foreground object from facial images using a novel GAN-based network
Liao et al. Uncertainty-aware semantic guidance and estimation for image inpainting
CN116188684A (zh) 基于视频序列的三维人体重建方法及相关设备
CN109859314A (zh) 三维重建方法、装置、电子设备和存储介质
CN112836602B (zh) 基于时空特征融合的行为识别方法、装置、设备及介质
CN114998671A (zh) 基于卷积掩码的视觉特征学习器、获取装置及存储介质
CN110675311A (zh) 一种素描序约束下的素描生成的方法、装置及存储介质
Li et al. Feature pre-inpainting enhanced transformer for video inpainting
Yan et al. Vaccine-style-net: Point cloud completion in implicit continuous function space
CN110163194B (zh) 一种图像处理方法、装置及存储介质
CN116092164B (zh) 人脸图像重演方法、装置、电子设备及存储介质
CN112529920A (zh) 基于空间的肺叶分割方法、系统、存储介质及电子设备
Wang et al. Multi-Feature Fusion based Image Steganography using GAN
Li et al. FreqBlender: Enhancing DeepFake Detection by Blending Frequency Knowledge
CN116824161A (zh) 图像扩增方法、电子设备及存储介质
Zhang et al. PS-Net: A Learning Strategy for Accurately Exposing the Professional Photoshop Inpainting
CN115115537B (zh) 一种基于掩码训练的图像修复方法
CN115938546B (zh) 一种早期胃癌图像合成方法、系统、设备及存储介质
CN112613495B (zh) 真人视频生成方法、装置、可读存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100192 A206, 2 / F, building B-2, Dongsheng Science Park, Zhongguancun, 66 xixiaokou Road, Haidian District, Beijing

Applicant after: Huiying medical technology (Beijing) Co.,Ltd.

Address before: 100192 A206, 2 / F, building B-2, Dongsheng Science Park, Zhongguancun, 66 xixiaokou Road, Haidian District, Beijing

Applicant before: HUIYING MEDICAL TECHNOLOGY (BEIJING) Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant