CN113160186B - 一种肺叶分割方法及相关装置 - Google Patents

一种肺叶分割方法及相关装置 Download PDF

Info

Publication number
CN113160186B
CN113160186B CN202110457795.9A CN202110457795A CN113160186B CN 113160186 B CN113160186 B CN 113160186B CN 202110457795 A CN202110457795 A CN 202110457795A CN 113160186 B CN113160186 B CN 113160186B
Authority
CN
China
Prior art keywords
lung
data points
lobe
classified
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110457795.9A
Other languages
English (en)
Other versions
CN113160186A (zh
Inventor
吴乙荣
陈永健
王佳
刘于豪
吴海燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Hisense Medical Equipment Co Ltd
Original Assignee
Qingdao Hisense Medical Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Medical Equipment Co Ltd filed Critical Qingdao Hisense Medical Equipment Co Ltd
Priority to CN202110457795.9A priority Critical patent/CN113160186B/zh
Publication of CN113160186A publication Critical patent/CN113160186A/zh
Application granted granted Critical
Publication of CN113160186B publication Critical patent/CN113160186B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请公开了一种肺叶分割方法及相关装置。在本申请实施例中，通过神经网络模型对肺实质的数据点进行分类来得到即各肺叶的数据点。并通过将各肺叶的数据点取并集后与肺实质的数据点做差来得到未被准确分类的待分类数据点。基于上述各肺叶的初步分析结果，扩大各肺叶区域以确定各肺叶间的肺裂曲面。通过肺裂曲面构建符合径向基插值算法的等值面来识别待分类数据点的所属分类。基于待分类数据点的分类结果和已识别的各肺叶的数据点构建最终的肺叶分割结果。通过上述流程，缓解肺叶和肺实质不重合所导致的肺叶分类不准确的问题。

Description

一种肺叶分割方法及相关装置
技术领域
本申请涉及医学图像处理术领域，特别涉及一种肺叶分割方法及相关装置。
背景技术
医学领域针对肺部病理进行诊断和分析需要通过计算机断层扫描(CT，ComputedTomography)来获取肺部CT图像，并基于肺部CT图像的肺叶量化分析来确定病症。相关技术中，需基于肺部CT图像中的肺裂所在位置来确定各肺叶区域。由于肺裂的不完整性，以及肺部其他组织和周围肺实质的影响会导致肺裂区域无法在肺部CT图像中被清晰呈现。肺叶的分割结果直接影响精准量化肺部疾病的程度和治疗方案的构建结果。由此，如何高精度的对肺部CT图像的肺叶区域进行识别显得尤为重要。
发明内容
本申请的目的是提供一种肺叶分割方法及相关装置，用于解决相关技术中，缺少一种高精度的技术方案用于识别肺部CT图像中的各肺叶区域的问题。
第一方面，本申请实施例提供了一种肺叶分割方法，所述方法包括：
采用神经网络模型对肺实质的数据点进行分类，得到各个肺叶的数据点；
确定各个肺叶的数据点的并集与所述肺实质的数据点的差集，得到待分类数据点；
基于所述各肺叶的数据点确定肺裂曲面和所述肺裂曲面的等值面，并根据所述肺裂曲面的等值面对所述待分类数据点进行分类操作，将所述待分类数据点划分到相应的肺叶中，所述等值面为符合径向基插值算法的等值面；
由所述待分类数据点的分类结果和所述各个肺叶的数据点构建最终的肺叶分割结果。
在一些可能的实施例中，基于所述各肺叶的数据点确定肺裂曲面和所述肺裂曲面的等值面，包括：
对相邻两个肺叶的数据点进行扩充操作，得到所述两个肺叶的重叠区域内的数据点；
基于所述重叠区域内的数据点确定肺裂曲面；
构建所述肺裂曲面的等值面。
在一些可能的实施例中，所述构建所述肺裂曲面的等值面，包括：
确定肺裂曲面上各数据点的法向；并，
构建所述两个肺叶的重心之间的方向向量；
基于所述方向向量对所述肺裂曲面上各数据的法向进行校正；
按照各数据点的法向方向将所述肺裂曲面上的数据点平移预设距离，得到所述肺裂曲面在正法向方向和负法向方向的离面；
基于所述肺裂曲面在正法向方向和负法向方向的离面构建所述等值面。
在一些可能的实施例中，所述构建所述肺裂曲面的等值面之前，所述方法还包括：
对所述肺裂曲面上的数据点执行下采样操作。
在一些可能的实施例中，所述基于构建的肺裂曲面的等值面，对所述待分类数据点进行分类操作，包括：
将所述待分类数据点输入所述等值面的表达式中，得到输出结果；
基于输出结果确定所述待分类数据的分类结果。
在一些可能的实施例中，所述方法还包括：
基于以下方法训练所述神经网络模型：
获取肺部的CT图像序列以及所述CT图像序列的标注数据，所述标注数据中包括第一标注信息和第二标注信息；所述第一标注信息用于标注肺实质区域和背景区域，所述第二标注信息用于标注肺叶的类别；
采用所述第一标注信息对所述CT图像序列中各图像进行裁剪操作，得到肺部区域图像序列；
将肺部区域图像序列输入所述神经网络模型得到肺叶的预测类别；
基于所述第二标注信息和所述肺叶的预测类别，调整所述神经网络的参数。
在一些可能的实施例中，所述方法还包括：
采用肺实质分割模型对所述从肺部CT图像序列中分割出所述肺实质区域，得到所述第一标注信息。
在一些可能的实施例中，所述将肺部区域图像序列输入所述神经网络模型得到肺叶的预测类别之前，所述方法还包括：
确定不同肺部区域图像序列之间的像素点间距均值，和层间距均值；
以所述像素点间距均值为像素点采样间隔对所述不同肺部图像序列中的像素点和对应的标注数据进行重采样；并，以所述层间距均值为层采样间隔，对所述不同肺部图像序列和对应的标注数据进行重采样。
第二方面，本申请一实施例还提供了一种电子设备，包括：处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如本申请第一方面中提供的任一方法。
第三方面，本申请一实施例还提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如本申请第一方面中提供的任一方法。
本申请另一实施例还提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序用于使计算机执行本申请实施例提供的第一方面的方法。
本申请实施例，采用神经网络模型对肺实质的数据点进行分类，以此获取各肺叶的数据点。根据各肺叶的数据点的并集与肺实质的数据点做差，得到待分类数据点。针对肺裂曲面构建等值面，该等值面为符合径向基插值算法的等值面。基于该等值面对待分类数据点执行分类操作，以此将待分类数据点划分到其对应的肺叶和肺裂中。基于待分类数据点的分类结果和各肺叶的数据点构建最终的肺叶分割结果。通过上述流程，缓解肺叶和肺实质不重合导致的肺叶分类不准确的问题。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的肺部结构示意图；
图2为本申请实施例提供的肺叶分割算法的应用环境示意图；
图3为本申请实施例提供的电子设备130的硬件配置框图；
图4a为本申请实施例提供的肺叶分割算法的整体流程图；
图4b为本申请实施例提供的肺部CT图像中的肺实质区域示意图；
图4c为本申请实施例提供的为肺部区域图像序列添加标注数据的示意图；
图4d为本申请实施例提供的待分类数据点示意图；
图4e为本申请实施例提供的肺裂曲面上降采样的数据点集示意图；
图4f为本申请实施例提供的确定待分类数据点的所属分类示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、详尽地描述。在本申请实施例的描述中，除非另有说明，″/″表示或的意思，例如，A/B可以表示A或B；文本中的″和/或″仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，另外，在本申请实施例的描述中，″多个″是指两个或多于两个。
在本申请实施例的描述中，除非另有说明，术语″多个″是指两个或两个以上，其它量词与之类似应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
为进一步说明本申请实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。方法在实际的处理过程中或者控制设备执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
为便于理解，首先对本申请实施例中一些关键名词进行说明：
肺实质：肺实质指的是肺内各级的气管、支气管，以及终端肺泡的组织结构，与肺内空气相接触的肺部组织结构腔隙和呼吸道的通道。在肺部CT图像中，各肺叶均位于肺实质区域之中。
肺叶：具体如图1所示，人体肺部包含左肺和右肺。其中，左肺包含一条肺裂，基于该条肺裂可将左肺划分为左肺上叶和左肺下叶；右肺包含两条肺裂，即图1中示出的水平裂和斜裂。基于右肺的水平裂和斜裂将右肺划分为右肺上叶、右肺中叶以及右肺下叶。
本申请的发明构思为：通过神经网络模型对肺实质的数据点进行分类来得到各肺叶的初步分割结果，即各肺叶的数据点。进一步的，通过将各肺叶的数据点取并集并与肺实质的数据点做差，得到肺实质中属于肺叶或肺裂而未被准确分类的待分类数据点。基于上述各肺叶的初步分析结果，扩大各肺叶区域以确定各肺叶间的肺裂曲面。通过肺裂曲面构建符合径向基插值算法的等值面来识别待分类数据点的所属分类。并根据待分类数据点的分类结果和已识别的各肺叶的数据点构建最终的肺叶分割结果。通过上述流程，缓解肺叶和肺实质不重合导致的肺叶分类不准确的问题。
下面结合附图对本申请实施例所提供的一种肺叶分割方法进行详细说明。
参见图2，为根据本申请一个实施例的应用环境的示意图。包括网络100、至少一个终端设备101和服务器102。
其中，至少一个终端设备101通过网络100与服务器102进行通信，该网络100可以是有线网络100或无线网络100。肺叶分割方法可以由终端设备101执行，也可由服务器102执行，或者由至少一个终端设备101和服务器102协同执行。
预先构建用于识别肺叶区域的3D Unet神经网络模型。对该神经网络模型完成训练后，将该神经网络模型下发到终端设备101中。通过以训练的3D Unet神经网络模型能够识别到肺实质区域内，各肺叶的数据点。在确定各肺叶数据点的并集和肺实质区域的数据点后，通过做差确定待分类的数据点。
在一些可能的实施例中，针对3D Unet神经网络模型所识别到的左肺上叶和左肺下叶的数据点执行膨胀处理，形成数据点的重叠区域，将该重叠区域作为左肺的肺裂曲面。
在确定肺裂曲面后，构建该肺裂曲面符合径向基插值算法的等值面。并将待分类数据点带入径向基插值算法的表达式中，得到各待分类数据点的所属分类。进一步的，根据待分类数据点的分类结果和各肺叶对应的数据点构建出最终的肺叶分割结果。
另需说明的是，终端设备101可以但不限于各种台式计算机、笔记本电脑(如图2中示出的终端设备101_1)、智能手机(如图2中示出的终端设备101_n)、平板电脑和便携式可穿戴设备，或者是用于生成待分割图像或待分割的图像样本的专用设备，如医学领域的CT(Computed Tomography，电子计算机断层扫描)设备(如图2中示出的终端设备101_2)、MRI(Magnetic ResonanceImaging，磁共振成像)设备或心电图机等待。服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器来实现。
图3示例性的示出了本申请一个实施例提供的电子设备130的硬件结构图。
如图3所示，电子设备130以通用电子设备的形式表现。电子设备130的组件可以包括但不限于：上述至少一个处理器131、上述至少一个存储器132、连接不同系统组件(包括存储器132和处理器131)的总线133。
总线133表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器132可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)1321和/或高速缓存存储器1322，还可以进一步包括只读存储器(ROM)1323。
存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325，这样的程序模块1324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与电子设备130交互的设备通信，和/或与使得该电子设备130能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口135进行。并且，电子设备130还可以通过网络适配器136与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器136通过总线133与用于电子设备130的其它模块通信。应当理解，尽管图中未示出，可以结合电子设备130使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器132，上述指令可由处理器131执行以完成上述方法。可选地，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在本申请中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言一诸如Java、C++等，还包括常规的过程式程序设计语言一诸如″C″语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务端上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)一连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
在介绍完本申请实施例提供的电子设备130后，下面通过图4a对本申请实施例所提供的肺叶分割方法进行详细说明，包括以下步骤：
考虑到各肺叶区域在肺部CT图像中位于肺实质区域中，具体如图4b所示。即，仅针对肺部CT图像中的肺实质区域进行肺叶分割即可识别到肺部的各肺叶。故此，可以预先构建用于识别肺实质区域的肺实质识别模型，并针对肺部CT图像的肺实质区域对该模型进行训练，以使训练后的肺实质识别模型能够识别肺部CT图像中的肺实质区域。
在训练阶段需要对训练数据执行预处理操作，用于将肺实质识别模型的感兴趣区域(ROT)范围限定在肺部CT图像的肺实质区域。通过缩小感兴趣区域的大小能够有效降低训练阶段的时长。实施时，可将肺部CT图像中肺实质区域的像素值标记为255，并将非肺实质区域的灰度值设置为0，通过标注后的肺部CT图像对肺实质识别模型进行训练。训练后的肺实质识别模型能够识别出肺叶CT图像中的肺实质区域。
进一步的，构建用于识别肺实质中各肺叶的3D Unet神经网络模型。对3D Unet神经网络进行训练之前，需要将用于训练的肺部CT图像(即，dicom图像)转换成三维体数据形式(即，.nii格式)。实施时。可采用如SPM12等开源框架将dicom图像转换成.nii格式。此外，为使3D Unet神经网络模型能够识别肺实质区域中的各肺叶，首先获取用于训练的肺部的CT图像序列以及肺部CT图像序列的标注数据。该标注数据包括用于标注肺实质区域和背景区域的第一标注信息以及用于标注肺叶的类别的第二标注信息。
实施时，可通过将肺部CT图像序列输入肺实质识别模型，得到肺部CT图像序列中肺实质所在区域后，由人为标注出肺实质区域和背景区域在肺部CT图像中的位置。还可设置肺实质识别模型能够标注所识别出的肺实质区域和背景区域，将肺部CT图像序列输入肺实质识别模型之后，即可得到带有标注的肺实质区域和背景区域。在确定用于标注肺实质区域和背景区域的第一标注信息后，基于第一标注信息所标注的肺实质区域和背景区域对肺部CT图像序列进行裁剪操作，得到肺部CT图像序列中的肺实质区域。
上述裁剪结果即为用于训练3DUnet神经网络模型的肺部区域图像序列，具体如图4c所示。在获取肺部区域图像序列后，确定肺部区域图像序列中各肺叶所在位置，实施时可基于肺实质区域内的肺裂，人为识别出各肺叶所在区域，并添加1-5的第二标注信息。其中，1-5分别代表左肺上叶、左肺下叶、右肺上叶、右肺中叶以及右肺下叶。此外，还可设置肺实质识别模型对所识别的肺实质区域进行分割，得到各肺叶。并对各肺叶添加1-5的第二标注信息。接下来，将上述肺部区域图像序列输入到3DUnet神经网络模型中得到肺部区域图像序列中各肺叶的预测类别。根据3D Unet神经网络模型的输出结果和肺部区域图像序列中的第二标注信息确定损失函数，并通过该损失函数对3D Unet神经网络模型的参数进行调整。
此外，考虑到不同的肺部CT图像间的像素间距(Spacing_x，Spacing-y)以及层间距(Spacing-z)存在较大的差异性，为进一步增加3D Unet神经网络模型肺叶识别能力的准确性，本申请将裁剪后得到的肺部区域图像序列输入3DUnet神经网络模型之前，需要确定不同肺部区域图像序列之间的像素点间距均值和层间距均值。并基于上述均值对训练数据进行重采样。具体的，在获取各肺部区域图像序列间的像素点间距均值和层间距均值后，以该像素点间距均值作为像素点采样间隔对各肺部图像序列中的像素点和对应的标注数据进行重采样，并以该层间距均值作为层采样间隔对各肺部图像序列和对应的标注数据执行重采样操作。
通过上述流程，对所构建的3D Unet神经网络模型进行训练，以使训练后的3DUnet神经网络模型能够识别肺实质区域中的各肺叶。但，由于人工智能算法无法使分割精度达到100％，即，无法保证分割出的肺叶区域完全和肺实质区域重合。因而需要将未能正确分类的数据点分别归类到正确的肺叶区域上。考虑到实际的肺叶区域应小于肺实质区域，故此，具体如图4d所示，可通过将3D Unet神经网络模型所识别到的肺实质区域和肺叶区域做差，以此得到待分类数据点。
具体的，执行步骤401：采用神经网络模型对肺实质的数据点进行分类，得到各个肺叶的数据点。即，通过上述已训练的3D Unet神经网络模型确定肺实质区域中各肺叶对应的数据点。
在执行步骤401之后，执行步骤402：确定各个肺叶的数据点的并集与所述肺实质的数据点的差集，得到待分类数据点。实施时，将各肺的数据点取并集后与肺实质的数据点做差，以此得到待分类数据点。
通过上述步骤获取3D Unet神经网络模型中的待分类数据点后，执行步骤403：基于所述各肺叶的数据点确定肺裂曲面和所述肺裂曲面的等值面，并根据所述肺裂曲面的等值面对所述待分类数据点进行分类操作，将所述待分类数据点划分到相应的肺叶中。
实施时，可针对任一两个相邻肺叶(如左肺上叶相邻左肺下叶)所对应的数据点通过如采用膨胀处理的方式进行扩充，直至相邻肺叶的数据点形成重叠区域。该重叠区域的数据点即构成了肺裂曲面。其中，上述任一两个相邻肺叶的数据点是根据已训练的3D Unet神经网络模型的输出结果(各肺叶对应的数据点)得到的。
进一步的，还可通过对肺裂曲面中的数据点执行下采样操作来减少运算量。实施时，可如图4e所示，基于体素滤波器(VoxelGrid filter)对肺裂曲面中的数据点执行下采样操作，得到降采样的数据点集(即，过滤后的肺裂曲面)。
基于上述过滤后的肺裂曲面构建出符合径向基差值算法(RBF)的等值面，并通过径向基插值算法确定待分类数据点中属于该肺裂曲面上的点和该肺裂曲面两侧的点。应理解的是，肺裂曲面两侧的点即属于肺裂曲面两侧的肺叶。实施时，针对任一相邻的两个肺叶，构建两个肺叶的重心之间的方向向量。并为肺裂曲面上各数据点，添加垂直于该肺裂曲面的法向量。此外，为防止出现数据点法向计算错误的问题，需基于两个肺叶的重心规定一个方向向量。以该方向向量的指向为标准，确定各数据点的法向量方向。
应理解的是，本申请中规定方向向量的指向仅为了以此作为标准对各数据点的法向量进行矫正，以左肺为例，可设置方向向量的指向为左肺上叶指向左肺下叶，也可设置为左肺下叶指向左肺上叶。方向向量的具体指向可根据实际情况确定，本申请对此不作限定。
为便于理解本申请所提供的方案，下面以针对左肺的待分类数据点，规定方向向量的指向为左肺下叶指向左肺上叶为例进行说明。
在对肺裂曲面上各数据点添加法向量之后，通过将各数据点在其法向量所指向的正方向和负方向上分别移动预设距离，形成该肺裂曲面在正法相方向和负法向方向的两个离面。基于上述流程，构建出用于实施径向基差值算法(RBF)的等值面。
进一步的，分别将各待分类数据点带入径向基插值算法的表达式中，具体如下述公式(1)所示：
Figure BDA0003041183070000121
其中，S*(x)为输出结果；p(x)是线性多项式，为系数；xi为数据点的空间坐标；N为待分类数据点的个数；λ为权重。
线性多项式P(x)具体可如公式(2)所示：
P(x)＝C1+C2x+C3y+C4z 公式(2)
其中，C1、C2、C3、C4为P(x)的系数；x为待分类数据点空间坐标系的x轴坐标；y为待分类数据点空间坐标系的y轴坐标；z为待分类数据点空间坐标系的z轴坐标。
通过将待分类数据点的空间坐标带入上述径向基插值算法表达式中得到待分类数据点的输出结果，以方向向量为左肺下叶指向左肺上叶为例，具体如图4f所示，将输出结果大于0的待分类数据点确定为左肺下叶的数据点，将输出结果小于0的待分类数据点确定为左肺上叶的数据点，将输出结果＝0的数据点确定为肺裂曲面上的数据点。由此得到各待分类数据点的所属分类结果。
基于上述步骤确定3D Unet神经网络模型中所有待分类数据点的分类结果后，执行步骤404：由所述待分类数据点的分类结果和所述各个肺叶的数据点构建最终的肺叶分割结果。实施时，通过对待分类数据点的分类结果进行筛选，将属于各肺叶的数据点添加到步骤401中3D Unet神经网络模型所识别的各肺叶的数据点集合中。以此得到各肺叶对应的数据点，构建出最终的肺叶分割结果。
另需说明的是，在针对右肺的待分类数据点进行分类时，需要利用水平裂(具体如图1所示)构建等值面，并基于上述步骤403中的流程将待分类数据点集成到右肺上叶和右肺下叶。此时集成到右肺下叶的待分类数据点实际所属分类应为右肺中叶和右肺下叶，故而此时集成到右肺上叶的待分类数据点是准确的，但需要进一步确定上述集成到右肺下叶的待分类数据点的真实分类。具体的，基于斜裂构建等值面，并通过上述步骤403中的流程确定上述集成到右肺下叶的待分类数据点中属于右肺中叶和右肺下叶的数据点。
本申请实施例中，基于3DUnet神经网络模型，针对肺实质的区域进行训练。在减少感兴趣区域范围的同时降低了训练阶段的时长。针对3D Unet神经网络模型的输出结果，首先构建肺叶间的肺裂曲面，并对曲面上的数据点执行下采样操作。基于下采样后的肺裂曲面上的数据点，采用径向基插值算法进行等值面的插值，得到插值系数。进一步的，将各待分类数据点带入径向基插值算法表达式中，以此实现对待分类数据点进行正确分类。最后，基于待分类数据点的分类结果和3DUnet神经网络模型所识别到的各肺叶的数据点确定最终的肺叶分割结果，实现高精度的肺叶分割。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (8)

1.一种肺叶分割方法，其特征在于，所述方法包括：
采用神经网络模型对肺实质的数据点进行分类，得到各个肺叶的数据点；
确定各个肺叶的数据点的并集与所述肺实质的数据点的差集，得到待分类数据点；
基于所述各肺叶的数据点确定肺裂曲面和所述肺裂曲面的等值面，并根据所述肺裂曲面的等值面对所述待分类数据点进行分类操作，将所述待分类数据点划分到相应的肺叶中，所述等值面为符合径向基插值算法的等值面；
由所述待分类数据点的分类结果和所述各个肺叶的数据点构建最终的肺叶分割结果；
所述基于所述各肺叶的数据点确定肺裂曲面和所述肺裂曲面的等值面，包括：
对相邻两个肺叶的数据点进行扩充操作，得到所述两个肺叶的重叠区域内的数据点；
基于所述重叠区域内的数据点确定肺裂曲面；
确定肺裂曲面上各数据点的法向；并构建所述两个肺叶的重心之间的方向向量；
基于所述方向向量对所述肺裂曲面上各数据的法向进行校正；
按照各数据点的法向方向将所述肺裂曲面上的数据点平移预设距离，得到所述肺裂曲面在正法向方向和负法向方向的离面；
基于所述肺裂曲面在正法向方向和负法向方向的离面构建所述等值面。
2.根据权利要求1所述的方法，其特征在于，所述基于所述肺裂曲面在正法向方向和负法向方向的离面构建所述等值面之前，所述方法还包括：
对所述肺裂曲面上的数据点执行下采样操作。
3.根据权利要求1或2中所述的方法，其特征在于，所述根据所述肺裂曲面的等值面对所述待分类数据点进行分类操作，包括：
将所述待分类数据点输入所述等值面的表达式中，得到输出结果；
基于输出结果确定所述待分类数据的分类结果。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于以下方法训练所述神经网络模型：
获取肺部的CT图像序列以及所述CT图像序列的标注数据，所述标注数据中包括第一标注信息和第二标注信息；所述第一标注信息用于标注肺实质区域和背景区域，所述第二标注信息用于标注肺叶的类别；
采用所述第一标注信息对所述CT图像序列中各图像进行裁剪操作，得到肺部区域图像序列；
将肺部区域图像序列输入所述神经网络模型得到肺叶的预测类别；
基于所述第二标注信息和所述肺叶的预测类别，调整所述神经网络的参数。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
采用肺实质识别模型确定肺部CT图像序列中的肺实质区域以根据所述肺实质区域确定所述第一标注信息。
6.根据权利要求4所述的方法，其特征在于，所述将肺部区域图像序列输入所述神经网络模型得到肺叶的预测类别之前，所述方法还包括：
确定不同肺部区域图像序列之间的像素点间距均值，和层间距均值；
以所述像素点间距均值为像素点采样间隔对所述不同肺部区域 图像序列中的像素点和对应的标注数据进行重采样；并以所述层间距均值为层采样间隔 对所述不同肺部区域图像序列和对应的标注数据进行重采样。
7.一种电子设备，其特征在于，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-6中任何一项所述的方法。
8.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序用于使计算机执行如权利要求1-6任何一项所述的方法。
CN202110457795.9A 2021-04-27 2021-04-27 一种肺叶分割方法及相关装置 Active CN113160186B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110457795.9A CN113160186B (zh) 2021-04-27 2021-04-27 一种肺叶分割方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110457795.9A CN113160186B (zh) 2021-04-27 2021-04-27 一种肺叶分割方法及相关装置

Publications (2)

Publication Number Publication Date
CN113160186A CN113160186A (zh) 2021-07-23
CN113160186B true CN113160186B (zh) 2022-10-25

Family

ID=76871137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110457795.9A Active CN113160186B (zh) 2021-04-27 2021-04-27 一种肺叶分割方法及相关装置

Country Status (1)

Country Link
CN (1) CN113160186B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999937A (zh) * 2011-09-08 2013-03-27 上海翰攀信息科技有限公司 心脏散乱点云数据曲面重建的方法
CN103839292A (zh) * 2014-03-06 2014-06-04 中国科学院自动化研究所 对等值面进行采样并生成高质量三角网格的方法
CN110136119A (zh) * 2019-05-16 2019-08-16 杭州健培科技有限公司 一种基于深度学习的肺裂分割及完整性评估的方法和系统
CN111260669A (zh) * 2020-02-17 2020-06-09 北京推想科技有限公司 基于ct图像的肺叶分割方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101692286B (zh) * 2009-09-15 2013-01-02 上海交通大学 医学图像三视图获取方法
CN102254097A (zh) * 2011-07-08 2011-11-23 普建涛 肺部ct图像上的肺裂识别方法
CN107230204B (zh) * 2017-05-24 2019-11-22 东北大学 一种从胸部ct图像中提取肺叶的方法及装置
WO2019000455A1 (zh) * 2017-06-30 2019-01-03 上海联影医疗科技有限公司 图像分割的方法及系统
CN111709953B (zh) * 2017-11-03 2023-04-07 杭州依图医疗技术有限公司 Ct影像的肺叶段分割中的输出方法、装置
CN109658425B (zh) * 2018-12-12 2021-12-28 上海联影医疗科技股份有限公司 一种肺叶分割方法、装置、计算机设备及存储介质
CN110599482B (zh) * 2019-09-18 2022-06-03 青岛海信医疗设备股份有限公司 肺裂曲面确定方法、装置、电子设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999937A (zh) * 2011-09-08 2013-03-27 上海翰攀信息科技有限公司 心脏散乱点云数据曲面重建的方法
CN103839292A (zh) * 2014-03-06 2014-06-04 中国科学院自动化研究所 对等值面进行采样并生成高质量三角网格的方法
CN110136119A (zh) * 2019-05-16 2019-08-16 杭州健培科技有限公司 一种基于深度学习的肺裂分割及完整性评估的方法和系统
CN111260669A (zh) * 2020-02-17 2020-06-09 北京推想科技有限公司 基于ct图像的肺叶分割方法和装置

Also Published As

Publication number Publication date
CN113160186A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
Annarumma et al. Automated triaging of adult chest radiographs with deep artificial neural networks
US20180276815A1 (en) Highly Integrated Annotation and Segmentation System for Medical Imaging
CN111932547B (zh) 图像中目标物的分割方法、装置、电子设备及存储介质
CN113011509B (zh) 肺部支气管的分类方法、装置、电子设备和存储介质
JP7346553B2 (ja) 深層学習を使用する３ｄデータセット内のオブジェクトの成長率の決定
CN115062165B (zh) 基于读片知识图谱的医学影像诊断方法及装置
Wang et al. Pulmonary nodule detection in CT images based on shape constraint CV model
CN116091490A (zh) 一种基于YOLOv4-CA-CBAM-K-means++-SIOU的肺结节检测方法
CN110570425B (zh) 一种基于深度强化学习算法的肺结节分析方法及装置
CN111918611B (zh) 胸部x线图像的异常显示控制方法、记录介质及装置
CN110047145B (zh) 基于深度学习和有限元建模的组织变形模拟系统及方法
WO2023274599A1 (en) Methods and systems for automated follow-up reading of medical image data
Dou et al. Tooth instance segmentation based on capturing dependencies and receptive field adjustment in cone beam computed tomography
CN114708952A (zh) 一种图像标注方法、装置、存储介质和电子设备
CN113724185B (zh) 用于图像分类的模型处理方法、装置及存储介质
CN113269721B (zh) 模型训练方法、装置、电子设备及存储介质
CN113160186B (zh) 一种肺叶分割方法及相关装置
CN115147359B (zh) 肺叶分割网络模型训练方法、装置、电子设备及存储介质
CN115482261A (zh) 血管配准方法、装置、电子设备及存储介质
WO2021103623A1 (zh) 一种脓毒血症的预警装置、设备及存储介质
CN112912924A (zh) 预测算法分割的正确性
CN115482181B (zh) 一种图像信息提取方法、装置、电子设备和可读存储介质
CN113450351B (zh) 分割模型训练方法、图像分割方法、装置、设备及介质
CN115810016B (zh) 肺部感染cxr图像自动识别方法、系统、存储介质及终端
US20240212158A1 (en) Methods and systems for fast three-dimensional image segmentation and annotation by imitating weak supervision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant