CN112258500B - 淋巴结分区方法、装置、设备及计算机可读存储介质 - Google Patents

淋巴结分区方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN112258500B
CN112258500B CN202011245065.4A CN202011245065A CN112258500B CN 112258500 B CN112258500 B CN 112258500B CN 202011245065 A CN202011245065 A CN 202011245065A CN 112258500 B CN112258500 B CN 112258500B
Authority
CN
China
Prior art keywords
target
organ
mediastinum
sample
lymph node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011245065.4A
Other languages
English (en)
Other versions
CN112258500A (zh
Inventor
王成
高启予
俞益洲
李一鸣
乔昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Original Assignee
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenrui Bolian Technology Co Ltd, Shenzhen Deepwise Bolian Technology Co Ltd filed Critical Beijing Shenrui Bolian Technology Co Ltd
Priority to CN202011245065.4A priority Critical patent/CN112258500B/zh
Publication of CN112258500A publication Critical patent/CN112258500A/zh
Application granted granted Critical
Publication of CN112258500B publication Critical patent/CN112258500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请提供了一种淋巴结分区方法，包括：确定各个样本器官的轮廓信息以及各个目标器官的轮廓信息，其中，各个样本器官为样本纵膈的两侧胸腔内的各个器官，各个目标器官为目标纵膈的两侧胸腔内的各个器官；根据各个样本器官的轮廓信息以及各个目标器官的轮廓信息，生成各个样本器官到所述各个目标器官的稠密形变场；根据稠密形变场，对目标纵膈进行分区，得到目标纵膈分区结果；基于目标纵膈分区结果，对各个目标淋巴结进行分区。可见，本申请可以自动对各个目标淋巴结进行分区，避免了人工分区的弊端，提高了淋巴结分区结果的准确性。

Description

淋巴结分区方法、装置、设备及计算机可读存储介质
技术领域
本申请涉及计算机技术领域，特别涉及一种淋巴结分区方法、装置、设备及计算机可读存储介质。
背景技术
癌症，又称恶性肿瘤，严重威胁着人类健康，其中，肺癌是对人群健康和生命威胁最大的恶性肿瘤之一。根据2018年癌症发病及死亡数据统计表明，中国男性肺癌发病率及死亡率均居榜首，女性发病率占第二位，死亡率占第一位。同时，在世界范围内，肺癌的发病率与死亡率也居于榜首。据统计，90％与癌症相关的死亡病历与恶性肿瘤转移相关，是目前肿瘤研究工作的困境之一。
淋巴结是人体重要的免疫器官，研究肺部淋巴结对于肺部癌症转移研究具有重要意义，淋巴结状况对于肺癌的临床病理分期、治疗方案的选择与评估、患者的预后及治疗，均具有决定性作用。为此，国际肺癌研究协会2009年制定了第七版标准，将胸部淋巴结划分为14个区，以起到指导淋巴结分区、规范检查、便于分析其转移路径等目的，但是该标准并未提出任何自动分区算法，只是从医学的角度对淋巴结进行了分区。
现有的淋巴结分区主要依靠医生手动标注，不仅花费时间较长，还耗费了过多精力；此外，从图像标注的角度来讲，由于淋巴结数目较多、个体间差异较大，并且，存在不同医生对分区理解差异大、不同分区之间具有模糊地带等问题，导致不同医生的标注结果可能千差万别，很难保证标注质量，从而无法保证淋巴结分区结果的准确性。
发明内容
本申请提供了一种淋巴结分区方法、装置、设备及计算机可读存储介质，能够提高淋巴结分区结果的准确性。
第一方面，本申请提供了一种淋巴结分区方法，包括：
确定各个样本器官的轮廓信息以及各个目标器官的轮廓信息，所述各个样本器官为样本纵膈的两侧胸腔内的各个器官，所述各个目标器官为目标纵膈的两侧胸腔内的各个器官；
根据所述各个样本器官的轮廓信息以及所述各个目标器官的轮廓信息，生成所述各个样本器官到所述各个目标器官的稠密形变场；
根据所述稠密形变场，对所述目标纵膈进行分区，得到目标纵膈分区结果；
基于所述目标纵膈分区结果，对各个目标淋巴结进行分区，所述目标纵膈与各个目标淋巴结属于同一个体。
可选的，所述生成所述各个样本器官到所述各个目标器官的稠密形变场，包括：
采用无监督深度学习配准算法，生成所述各个样本器官到所述各个目标器官的稠密形变场。
可选的，所述根据所述各个样本器官的轮廓信息以及所述各个目标器官的轮廓信息，生成所述各个样本器官到所述各个目标器官的稠密形变场，包括：
根据各个样本器官的轮廓信息对应的点云空间、以及各个目标器官的轮廓信息对应的点云空间，生成所述各个样本器官到所述各个目标器官的稠密形变场。
可选的，所述根据所述稠密形变场，对所述目标纵膈进行分区，包括：
根据所述稠密形变场与样本纵膈点云空间，对所述目标纵膈进行分区；
其中，所述样本纵膈点云空间是预先生成的样本纵膈分区结果对应的点云空间，所述样本纵膈分区结果是由至少一位医生对样本纵膈进行标注而成的。
可选的，所述确定所述各个样本器官到所述各个目标器官的稠密形变场，包括：
依据各个目标淋巴结与各个目标器官之间的距离、以及各个目标淋巴结与各个目标器官之间的关系，将各个淋巴结进行分组，得到至少一个淋巴分组，其中，所述淋巴分组包括至少一个目标淋巴结、且所述淋巴分组对应至少一个目标器官；
对于每一淋巴分组对应的目标器官，生成该目标器官与相应样本器官之间的稠密形变场。
可选的，所述基于所述目标纵膈分区结果，对各个目标淋巴结进行分区，包括：
对于每个目标淋巴结，计算该目标淋巴结与目标纵膈点云空间中的每个点之间的距离，得到该目标淋巴结对应的各个距离值，所述目标纵膈点云空间是所述目标纵膈分区结果对应的点云空间；
根据该目标淋巴结对应的各个距离值，确定该目标淋巴结所属的纵膈分区，作为该目标淋巴结的分区结果。
可选的，所述根据该目标淋巴结对应的各个距离，确定该目标淋巴结所属的纵膈分区，包括：
根据该目标淋巴结对应的各个距离值，在所述目标纵膈点云空间中，选取距离该目标淋巴结最近的k个点，k≥1；
从所述k个点各自所属的纵膈分区中，选择一个纵膈分区，作为该目标淋巴结所属的纵膈分区。
可选的，所述从所述k个点各自所属的纵膈分区中，选择一个纵膈分区，包括：
确定所述k个点中的每一点所属的纵膈分区；
在所确定的各个纵膈分区中，统计每一纵膈分区包括的点数；
选取点数最大的纵膈分区。
第二方面，本申请提供了一种淋巴结分区装置，包括：
信息确定单元，用于确定各个样本器官的轮廓信息以及各个目标器官的轮廓信息，所述各个样本器官为样本纵膈的两侧胸腔内的各个器官，所述各个目标器官为目标纵膈的两侧胸腔内的各个器官；
变场生成单元，用于根据所述各个样本器官的轮廓信息以及所述各个目标器官的轮廓信息，生成所述各个样本器官到所述各个目标器官的稠密形变场；
纵膈分区单元，用于根据所述稠密形变场，对所述目标纵膈进行分区，得到目标纵膈分区结果；
淋巴分区单元，用于基于所述目标纵膈分区结果，对各个目标淋巴结进行分区，所述目标纵膈与各个目标淋巴结属于同一个体。
可选的，所述变场生成单元，具体用于采用无监督深度学习配准算法，生成所述各个样本器官到所述各个目标器官的稠密形变场。
可选的，所述变场生成单元，具体用于根据各个样本器官的轮廓信息对应的点云空间、以及各个目标器官的轮廓信息对应的点云空间，生成所述各个样本器官到所述各个目标器官的稠密形变场。
可选的，所述纵膈分区单元，具体用于根据所述稠密形变场与样本纵膈点云空间，对所述目标纵膈进行分区；其中，所述样本纵膈点云空间是预先生成的样本纵膈分区结果对应的点云空间，所述样本纵膈分区结果是由至少一位医生对样本纵膈进行标注而成的。
可选的，所述变场生成单元，具体用于：
依据各个目标淋巴结与各个目标器官之间的距离、以及各个目标淋巴结与各个目标器官之间的关系，将各个淋巴结进行分组，得到至少一个淋巴分组，其中，所述淋巴分组包括至少一个目标淋巴结、且所述淋巴分组对应至少一个目标器官；
对于每一淋巴分组对应的目标器官，生成该目标器官与相应样本器官之间的稠密形变场。
可选的，所述淋巴分区单元，包括：
距离计算子单元，用于对于每个目标淋巴结，计算该目标淋巴结与目标纵膈点云空间中的每个点之间的距离，得到该目标淋巴结对应的各个距离值，所述目标纵膈点云空间是所述目标纵膈分区结果对应的点云空间；
淋巴分区子单元，用于根据该目标淋巴结对应的各个距离值，确定该目标淋巴结所属的纵膈分区，作为该目标淋巴结的分区结果。
可选的，所述淋巴分区子单元，包括：
距离选取子单元，用于根据该目标淋巴结对应的各个距离值，在所述目标纵膈点云空间中，选取距离该目标淋巴结最近的k个点，k≥1；
分区确定子单元，用于从所述k个点各自所属的纵膈分区中，选择一个纵膈分区，作为该目标淋巴结所属的纵膈分区。
可选的，所述分区确定子单元，具体用于：
确定所述k个点中的每一点所属的纵膈分区；
在所确定的各个纵膈分区中，统计每一纵膈分区包括的点数；
选取点数最大的纵膈分区，作为该目标淋巴结所属的纵膈分区。
第三方面，本申请提供了一种电子设备，包括：处理器、存储器；
所述存储器，用于存储计算机程序；
所述处理器，用于通过调用所述计算机程序，执行上述淋巴结分区方法。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述淋巴结分区方法。
在以上本申请提供的技术方案中，确定各个样本器官的轮廓信息以及各个目标器官的轮廓信息，其中，各个样本器官为样本纵膈的两侧胸腔内的各个器官，各个目标器官为目标纵膈的两侧胸腔内的各个器官；根据各个样本器官的轮廓信息以及各个目标器官的轮廓信息，生成各个样本器官到所述各个目标器官的稠密形变场；根据稠密形变场，对目标纵膈进行分区，得到目标纵膈分区结果；基于目标纵膈分区结果，对各个目标淋巴结进行分区。可见，本申请可以自动对各个目标淋巴结进行分区，避免了人工分区的弊端，提高了淋巴结分区结果的准确性。
附图说明
图1为本申请示出的一种淋巴结分区方法的流程示意图；
图2为本申请示出的一种无监督深度学习配准算法的流程框图；
图3为本申请示出的一种淋巴结分组示意图；
图4为本申请示出的一种分区标注模板示意图；
图5为本申请示出的一种淋巴结分区方法的流程框图；
图6为本申请示出的一种淋巴结分区装置的组成示意图。
图7为本申请示出的一种电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
随着医学图像处理技术的不断发展，许多以往需要医生手动进行的图像处理都可以由计算机自动完成，但由于淋巴结数目较多、个体间差异较大等原因，利用计算机直接完成淋巴结自动分区仍然存在非常高的难度。而基于图像分割及图像处理的手段，实现纵膈分区和淋巴结分区的方式，往往面临着标注成本高、质量难以把控的问题，同时需要逐层片逐分区实现纵隔分区，程序消耗时间过大。为此，本申请实施例提供了一种淋巴结分区方法，将采用一种基于配准的方法，开发出一套自动进行纵隔分区及淋巴结分区的算法，可以快速实现分区，从而辅助医生提高诊断效率。
本申请实施例主要是依据国际肺癌研究协会第七版的标准，将样本对象(比如某人体)的纵膈区域划分为相应的分区，制作成模板数据，该模板数据即为样本纵膈分区结果；然后，利用深度学习方法，计算由样本对象的标注图像到目标对象(比如某人体)的待预测图像的配准场，利用该配准场阵对样本纵膈分区结果进行配准，以实现对目标对象的目标纵膈进行分区，从而得到目标纵膈分区结果；最后，利用目标对象的淋巴结到目标纵膈分区的映射，获得淋巴结的分区信息。该方法以一种端到端的方式，实现肺部纵隔及淋巴结全自动分区，以实现辅助医生分析肺部肿瘤转移路径、判断其来源、预测其去向的目的，从而减轻医生负担。
下面对本申请实施例提供的淋巴结分区方法进行具体介绍。
参见图1，为本申请实施例提供的一种淋巴结分区方法的流程示意图，该方法包括以下步骤：
S101：确定各个样本器官的轮廓信息以及各个目标器官的轮廓信息，其中，各个样本器官为样本纵膈的两侧胸腔内的各个器官，各个目标器官为目标纵膈的两侧胸腔内的各个器官。
在本申请实施例中，可以选择一个样本对象(比如某人体)，为便于描述，将该样本对象的纵膈区域定义为样本纵膈，将该样本纵膈的两侧胸腔内的各个器官定义为各个样本器官，例如，可以包括心脏、主动脉、肺动脉、气管、食管、肺等样本器官。
同理，对于待检测的目标对象，该目标对象与样本对象属于同一类对象，为便于描述，将该目标对象的纵膈区域定义为目标纵膈，将该目标纵膈的两侧胸腔内的各个器官定义为各个目标器官，例如，可以包括心脏、主动脉、肺动脉、气管、食管、肺等目标器官。
在本申请实施例中，可以使用基于ResUNet的深度学习图像分割算法，提取各个样本器官的轮廓信息，并将这些轮廓信息转换成点云格式保存，具体为
其中，表示各个样本器官的轮廓信息对应的器官点集；/>表示空集；U是并集符号；FindContour是图像处理库opencv的一个函数，用于提取各个样本器官的轮廓；FixedOrganMask[:,:,i]表示第i个样本器官，有Z+1个样本器官，Z≥0。
同理，可以使用基于ResUNet的深度学习图像分割算法，提取各个目标器官的轮廓信息，并将这些轮廓信息转换成点云格式保存，具体为
其中，表示各个目标器官的轮廓信息对应的器官点集；/>表示空集；U是并集符号；FindContour是图像处理库opencv的一个函数，用于提取各个目标器官的轮廓；MovingOrganMask[:,:,i]表示第i个目标器官，有Z+1个目标器官，Z≥0。
S102：根据各个样本器官的轮廓信息以及各个目标器官的轮廓信息，生成各个样本器官到各个目标器官的稠密形变场。
如果希望基于各个样本器官的图像，变换得到各个目标器官的图像，可以通过一个稠密形变场来实现。基于此思路，在已知“各个样本器官的轮廓信息”以及“各个目标器官的轮廓信息”的前提下，可以计算得到从“各个样本器官的图像”变换得到“各个目标器官的图像”所需的稠密形变场。
其中，关于稠密形变场，相对于只对部分点做预测的稀疏稠密场，获得的结果是对空间中每个点都做了预测，所以叫稠密形变场。
在本申请实施例的第一种实现方式中，当采用S102生成稠密形变场时，具体可以包括：采用无监督深度学习配准算法，生成各个样本器官到各个目标器官的稠密形变场。
在本实现方式中，采用无监督深度学习配准算法，不但可以实现逐点稠密预测，而且，在运算速度上，相比传统算法有指数级的速度提升。
为了生成各个样本器官图像到各个目标器官图像的稠密形变场，可以采用以下公式：
其中，gθ是配准算法模型；表示各个样本器官的轮廓信息对应的器官点集，参见公式(1)；/>表示各个目标器官的轮廓信息对应的器官点集，参见公式(2)；φ是稠密形变场。
具体来讲，参见图2所示的无监督深度学习配准算法的流程框图，其中，MovingImage表示各个目标器官的轮廓图像；FixedImage表示各个样本器官的轮廓图像；H×W×L表示对应图像的尺寸，H-高，W-宽，L-长；RegistrationModel表示配准算法模型，即上述公式(3)中的gθ；RegistrationField表示配准场φ，即，上述公式(3)中的稠密形变场。
在S102及其上述S102的第一种实现方式中，在生成各个样本器官图像到各个目标器官图像的稠密形变场时，具体可以根据各个样本器官的轮廓信息对应的点云空间、以及各个目标器官的轮廓信息对应的点云空间，生成各个样本器官到各个目标器官的稠密形变场。
在上述S101部分，介绍了可以将样本器官和目标器官以点云格式保存，基于此，可以基于各自的点云空间信息生成稠密形变场。
在本申请实施例的第二种实现方式中，当采用S102生成稠密形变场时，具体可以包括以下步骤A1-A2：
步骤A1：依据各个目标淋巴结与各个目标器官之间的距离、以及各个目标淋巴结与各个目标器官之间的关系，将各个淋巴结进行分组，得到至少一个淋巴分组，其中，所述淋巴分组包括至少一个目标淋巴结、且所述淋巴分组对应至少一个目标器官。
在本实现方式中，对于待检测的目标对象，可以将该目标对象的胸腔区域内的每一淋巴结定义为目标淋巴结，从而有多个目标淋巴结。对于每一目标淋巴结，可以计算该目标淋巴结与每一目标器官之间的欧式距离，并且，分析该目标淋巴结与每一目标器官之间的特定关系，然后，根据计算得到的欧式距离以及分析得到的特定关系，将这些目标淋巴结进行分组。具体地，对于每一目标器官，可以将距离该目标器官较近的目标淋巴结、以及属于该目标器官的淋巴结等归属于同一组，从而得到一个或多个淋巴分组。
例如，参见图3所示的淋巴结分组示意图，假设各个目标器官包括主动脉、肺动脉、气管、食管、肺等，在图3中，箭头指向同一目标器官的各个目标淋巴结属于同一淋巴分组、且每一淋巴分组对应一个目标器官。
步骤A2：对于每一淋巴分组对应的目标器官，生成该目标器官与相应样本器官之间的稠密形变场。
若采用步骤A1得到N个淋巴分组，便可以生成N个稠密形变场，N≥1。
例如，如图3所示，划分了5个淋巴分组，这5个淋巴分组各自对应的目标器官分别是主动脉、肺动脉、气管、食管和肺；并且，每一目标器官的相应样本器官属于同一器官，比如，目标器官“主动脉”，其相应的样本器官也是“主动脉”。因此，对于每一目标器官，在已知该目标器官对应的点云数据、以及该目标器官的相应样本器官对应的点云数据后，可以计算该样本器官图像到该目标器官图像的稠密形变场，这样，便计算得到5个稠密形变场。
S103：根据生成的稠密形变场，对目标纵膈进行分区，得到目标纵膈分区结果。
当通过S102计算得到多个稠密形变场后，便可以利用这些稠密形变场对目标纵膈进行分区。
在本申请实施例的一种实现方式中，S103具体可以包括：根据生成的稠密形变场与样本纵膈点云空间，对目标纵膈进行分区；其中，样本纵膈点云空间是预先生成的样本纵膈分区结果对应的点云空间，样本纵膈分区结果是由至少一位医生对样本纵膈进行标注而成的。
具体来讲，关于上述内容提到的样本纵膈，可以由多位医师对该样本纵膈进行标注，最终得到一个基于该样本纵膈的分区模板，这里，将该分区模板定义为样本纵膈分区结果。例如，如图4所示的分区标注模板示意图，该分区模板包括25个纵膈分区，左侧图为正视图，右侧图为侧视图。
对于医生标注而成的样本纵膈分区结果，可以将其转换成点云格式保存，这里将基于点云格式的样本纵膈分区结果，定义为样本纵膈点云空间。
在本实现方式中，可以利用S102生成的多个稠密形变场以及样本纵膈点云空间，对目标纵膈进行分区，从而得到目标纵膈点云空间，即，得到目标纵膈分区结果。具体地，利用这些稠密形变场，从样本纵膈点云空间变换到目标纵膈点云空间，从而实现对目标纵膈的分区，可以采用以下计算公式：
其中，表示目标纵膈点云空间的数据，/>表示样本纵膈点云空间的数据，φ是采用上述公式(3)得到的稠密形变场；GridSampler是pytorch中的一个函数，PyTorch是一个开源的Python机器学习库，基于Torch，用于自然语言处理等应用程序。
在图3中，SpatialTransform表示采用公式(4)进行配准计算；MovedImage表示配准后图像，记为M(φ)，也即目标纵膈分区结果对应的图像。
需要说明的是，基于上述S102可知，可能会计算得到多个稠密形变场，当存在多个稠密形变场时，需要基于各自的稠密形变场，采用公式(4)以及图3进行配准计算，从而实现对目标纵膈的分区。
S104：基于目标纵膈分区结果，对各个目标淋巴结进行分区，其中，目标纵膈与各个目标淋巴结属于同一个体。
在本申请实施例中，可以采用k最近邻方法，统计目标纵膈点云空间(即目标纵膈分区结果对应的点云空间)中与每个目标淋巴结最近的k个点的分区标签信息，然后，采用投票法决定各个目标淋巴结的分区结果。
具体地，在本申请实施例的一种实现方式中，S104具体可以包括以下步骤B1-B2：
步骤B1：对于每个目标淋巴结，计算该目标淋巴结与目标纵膈点云空间中的每个点之间的距离，得到该目标淋巴结对应的各个距离值。
将每一个目标淋巴结定义为一个点，那么，各个目标淋巴结将组成一个点集，这里，将该点集记为Ptest；上述表示目标纵膈点云空间，也是一个点集。假设/>大小为RN ×3,Ptest大小为RM×3，将二者扩展至同一纬度RN×M×3，记为Pt ′ est和/>其中，R表示点集，N*3、M*3以及N*M*3是对应点集的尺寸。
对于每个目标淋巴结，可以计算该目标淋巴结与目标纵膈点云空间中的每个点之间的欧式距离，可以采用以下计算公式：
其中，Distance表示距离值的集合，该集合包括每一目标淋巴结与目标纵膈点云空间中的每个点之间的欧式距离。
步骤B2：根据该目标淋巴结对应的各个距离值，确定该目标淋巴结所属的纵膈分区，作为该目标淋巴结的分区结果。
对于每一目标淋巴结，通过上述步骤B1，可以计算得到该目标淋巴结对应的一个或多个距离值，基于这些距离值，可以在目标纵膈分区结果中找出该目标淋巴结所属的纵膈分区，并将该纵膈分区作为该目标淋巴结的分区结果。
在本申请实施例的一种实现方式中，步骤B2具体可以包括以下步骤B21-B22：
步骤B21：根据该目标淋巴结对应的各个距离值，在目标纵膈点云空间中，选取距离该目标淋巴结最近的k个点，k≥1。
需要说明的是，K值可以预设设定，比如k＝5。
可以选取距离该目标淋巴结最近的k个点，相关公式如下所示：
Distance‘＝sort(Distance)[:,∶k]
其中，sort(Distance)[:,∶k]表示，对于每个目标淋巴结，在上述公式(5)得到的距离集合Distance中，选取与该目标淋巴结最近的k个点对应的距离值；Distance‘表示每个淋巴结对应的k个距离值。
例如，对于某个目标淋巴结，假设该目标淋巴结对应的距离值为20个，可以将这些距离值从小到大进行排序，选取排序在前的5个值，这5个值即对应目标纵膈点云空间中的5个点、且这5个点与该目标淋巴结距离最近。
步骤B22：从k个点各自所属的纵膈分区中，选择一个纵膈分区，作为该目标淋巴结所属的纵膈分区。
对于距离该目标淋巴结最近的k个点，这k个点各自属于一个纵膈分区，但需要说明的是，这k个纵膈分区可能是不同的纵膈分区、也可能存在重复的纵膈分区。
在本申请实施例一种实现方式中，步骤B22具体可以包括：确定k个点中的每一点所属的纵膈分区；在所确定的各个纵膈分区中，统计每一纵膈分区包括的点数；选取点数最大的纵膈分区。
例如，假设k＝5，先确定这5个点分别所属的纵膈分区、以及这5个纵膈分区的分区标签，比如分区标签分别为1、1、2、3、4，其中，分区标签1的出现频次最大，因此，可以将标签1对应的纵膈分区，作为对应的目标淋巴结的纵膈分区。当然，如果这5个分区标签不同，可以随机选择任一个标签对应的纵膈分区、或者选择5个点中距离该目标淋巴结最近的点所属的纵膈分区，作为该目标淋巴结的纵膈分区。
为了更直观的了解本申请实施例，请参见图5所示的淋巴结分区方法的流程框图。
本申请实施例提供了一种由计算机自动进行纵膈分区及淋巴结分区的算法，是一种可快速实现的基于配准的全深度学习的纵膈分区及淋巴结分区算法，是一种端到端的无监督深度学习配准算法，该算法可以多尺度优化配准结果，在大尺度形变任务中表现更加优异，同时相比传统算法有指数级的速度提升。该方案可以辅助医生治疗，提高效率，并且，该方案有利于医师之间相互沟通，提高了实验的可重复性。与现有的由医生手动标注实现分区的方式，本申请实施例是以计算机图像处理手段自动完成纵膈分区和淋巴结分区，可以提高医生诊断效率，便于沟通和交流。
在以上本申请实施例提供的淋巴结分区方法中，确定各个样本器官的轮廓信息以及各个目标器官的轮廓信息，其中，各个样本器官为样本纵膈的两侧胸腔内的各个器官，各个目标器官为目标纵膈的两侧胸腔内的各个器官；根据各个样本器官的轮廓信息以及各个目标器官的轮廓信息，生成各个样本器官到所述各个目标器官的稠密形变场；根据稠密形变场，对目标纵膈进行分区，得到目标纵膈分区结果；基于目标纵膈分区结果，对各个目标淋巴结进行分区。可见，本申请可以自动对各个目标淋巴结进行分区，避免了人工分区的弊端，提高了淋巴结分区结果的准确性。
参见图6，为本申请实施例提供的一种淋巴结分区装置的组成示意图，该装置包括：
信息确定单元610，用于确定各个样本器官的轮廓信息以及各个目标器官的轮廓信息，所述各个样本器官为样本纵膈的两侧胸腔内的各个器官，所述各个目标器官为目标纵膈的两侧胸腔内的各个器官；
变场生成单元620，用于根据所述各个样本器官的轮廓信息以及所述各个目标器官的轮廓信息，生成所述各个样本器官到所述各个目标器官的稠密形变场；
纵膈分区单元630，用于根据所述稠密形变场，对所述目标纵膈进行分区，得到目标纵膈分区结果；
淋巴分区单元640，用于基于所述目标纵膈分区结果，对各个目标淋巴结进行分区，所述目标纵膈与各个目标淋巴结属于同一个体。
在本申请实施例的一种实现方式中，所述变场生成单元620，具体用于采用无监督深度学习配准算法，生成所述各个样本器官到所述各个目标器官的稠密形变场。
在本申请实施例的一种实现方式中，所述变场生成单元620，具体用于根据各个样本器官的轮廓信息对应的点云空间、以及各个目标器官的轮廓信息对应的点云空间，生成所述各个样本器官到所述各个目标器官的稠密形变场。
在本申请实施例的一种实现方式中，所述纵膈分区单元630，具体用于根据所述稠密形变场与样本纵膈点云空间，对所述目标纵膈进行分区；其中，所述样本纵膈点云空间是预先生成的样本纵膈分区结果对应的点云空间，所述样本纵膈分区结果是由至少一位医生对样本纵膈进行标注而成的。
在本申请实施例的一种实现方式中，所述变场生成单元620，具体用于：
依据各个目标淋巴结与各个目标器官之间的距离、以及各个目标淋巴结与各个目标器官之间的关系，将各个淋巴结进行分组，得到至少一个淋巴分组，其中，所述淋巴分组包括至少一个目标淋巴结、且所述淋巴分组对应至少一个目标器官；
对于每一淋巴分组对应的目标器官，生成该目标器官与相应样本器官之间的稠密形变场。
在本申请实施例的一种实现方式中，所述淋巴分区单元640，包括：
距离计算子单元，用于对于每个目标淋巴结，计算该目标淋巴结与目标纵膈点云空间中的每个点之间的距离，得到该目标淋巴结对应的各个距离值，所述目标纵膈点云空间是所述目标纵膈分区结果对应的点云空间；
淋巴分区子单元，用于根据该目标淋巴结对应的各个距离值，确定该目标淋巴结所属的纵膈分区，作为该目标淋巴结的分区结果。
在本申请实施例的一种实现方式中，所述淋巴分区子单元，包括：
距离选取子单元，用于根据该目标淋巴结对应的各个距离值，在所述目标纵膈点云空间中，选取距离该目标淋巴结最近的k个点，k≥1；
分区确定子单元，用于从所述k个点各自所属的纵膈分区中，选择一个纵膈分区，作为该目标淋巴结所属的纵膈分区。
在本申请实施例的一种实现方式中，所述分区确定子单元，具体用于：
确定所述k个点中的每一点所属的纵膈分区；
在所确定的各个纵膈分区中，统计每一纵膈分区包括的点数；
选取点数最大的纵膈分区，作为该目标淋巴结所属的纵膈分区。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本申请实施例还提供了一种电子设备，该电子设备的结构示意图如图7所示，该电子设备7000包括至少一个处理器7001、存储器7002和总线7003，至少一个处理器6001均与存储器7002电连接；存储器7002被配置用于存储有至少一个计算机可执行指令，处理器7001被配置用于执行该至少一个计算机可执行指令，从而执行如本申请中任意一个实施例或任意一种可选实施方式提供的任意一种淋巴结分区方法的步骤。
进一步，处理器7001可以是FPGA(Field－Programmable Gate Array，现场可编程门阵列)或者其它具有逻辑处理能力的器件，如MCU(Microcontroller Unit，微控制单元)、CPU(Central Process Unit，中央处理器)。
应用本申请实施例，可以自动对各个目标淋巴结进行分区，避免了人工分区的弊端，提高了淋巴结分区结果的准确性。
本申请实施例还提供了另一种计算机可读存储介质，存储有计算机程序，该计算机程序用于被处理器执行时实现本申请中任意一个实施例或任意一种可选实施方式提供的任意一种淋巴结分区方法的步骤。
本申请实施例提供的计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(RandomAccess Memory，随即存储器)、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读存储介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
应用本申请实施例，可以自动对各个目标淋巴结进行分区，避免了人工分区的弊端，提高了淋巴结分区结果的准确性。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (9)

1.一种淋巴结分区方法，其特征在于，包括：
确定各个样本器官的轮廓信息以及各个目标器官的轮廓信息，所述各个样本器官为样本纵膈的两侧胸腔内的各个器官，所述各个目标器官为目标纵膈的两侧胸腔内的各个器官；
根据所述各个样本器官的轮廓信息以及所述各个目标器官的轮廓信息，生成所述各个样本器官到所述各个目标器官的稠密形变场；
根据所述稠密形变场，对所述目标纵膈进行分区，得到目标纵膈分区结果；
基于所述目标纵膈分区结果，对各个目标淋巴结进行分区，所述目标纵膈与各个目标淋巴结属于同一个体；
其中，所述根据所述各个样本器官的轮廓信息以及所述各个目标器官的轮廓信息，生成所述各个样本器官到所述各个目标器官的稠密形变场，包括：
根据各个样本器官的轮廓信息对应的点云空间、以及各个目标器官的轮廓信息对应的点云空间，生成所述各个样本器官到所述各个目标器官的稠密形变场；
其中，所述根据所述稠密形变场，对所述目标纵膈进行分区，包括：
根据所述稠密形变场与样本纵膈点云空间，对所述目标纵膈进行分区；
其中，所述样本纵膈点云空间是预先生成的样本纵膈分区结果对应的点云空间，所述样本纵膈分区结果是由至少一位医生对样本纵膈进行标注而成的。
2.根据权利要求1所述的方法，其特征在于，所述生成所述各个样本器官到所述各个目标器官的稠密形变场，包括：
采用无监督深度学习配准算法，生成所述各个样本器官到所述各个目标器官的稠密形变场。
3.根据权利要求1所述的方法，其特征在于，所述确定所述各个样本器官到所述各个目标器官的稠密形变场，包括：
依据各个目标淋巴结与各个目标器官之间的距离、以及各个目标淋巴结与各个目标器官之间的关系，将各个淋巴结进行分组，得到至少一个淋巴分组，其中，所述淋巴分组包括至少一个目标淋巴结、且所述淋巴分组对应至少一个目标器官；
对于每一淋巴分组对应的目标器官，生成该目标器官与相应样本器官之间的稠密形变场。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述基于所述目标纵膈分区结果，对各个目标淋巴结进行分区，包括：
对于每个目标淋巴结，计算该目标淋巴结与目标纵膈点云空间中的每个点之间的距离，得到该目标淋巴结对应的各个距离值，所述目标纵膈点云空间是所述目标纵膈分区结果对应的点云空间；
根据该目标淋巴结对应的各个距离值，确定该目标淋巴结所属的纵膈分区，作为该目标淋巴结的分区结果。
5.根据权利要求4所述的方法，其特征在于，所述根据该目标淋巴结对应的各个距离，确定该目标淋巴结所属的纵膈分区，包括：
根据该目标淋巴结对应的各个距离值，在所述目标纵膈点云空间中，选取距离该目标淋巴结最近的k个点，k≥1；
从所述k个点各自所属的纵膈分区中，选择一个纵膈分区，作为该目标淋巴结所属的纵膈分区。
6.根据权利要求5所述的方法，其特征在于，所述从所述k个点各自所属的纵膈分区中，选择一个纵膈分区，包括：
确定所述k个点中的每一点所属的纵膈分区；
在所确定的各个纵膈分区中，统计每一纵膈分区包括的点数；
选取点数最大的纵膈分区。
7.一种淋巴结分区装置，其特征在于，包括：
信息确定单元，用于确定各个样本器官的轮廓信息以及各个目标器官的轮廓信息，所述各个样本器官为样本纵膈的两侧胸腔内的各个器官，所述各个目标器官为目标纵膈的两侧胸腔内的各个器官；
变场生成单元，用于根据所述各个样本器官的轮廓信息以及所述各个目标器官的轮廓信息，生成所述各个样本器官到所述各个目标器官的稠密形变场；
纵膈分区单元，用于根据所述稠密形变场，对所述目标纵膈进行分区，得到目标纵膈分区结果；
淋巴分区单元，用于基于所述目标纵膈分区结果，对各个目标淋巴结进行分区，所述目标纵膈与各个目标淋巴结属于同一个体；
其中，所述变场生成单元，具体用于根据各个样本器官的轮廓信息对应的点云空间、以及各个目标器官的轮廓信息对应的点云空间，生成所述各个样本器官到所述各个目标器官的稠密形变场；
其中，所述纵膈分区单元，具体用于根据所述稠密形变场与样本纵膈点云空间，对所述目标纵膈进行分区；其中，所述样本纵膈点云空间是预先生成的样本纵膈分区结果对应的点云空间，所述样本纵膈分区结果是由至少一位医生对样本纵膈进行标注而成的。
8.一种电子设备，其特征在于，包括：处理器、存储器；
所述存储器，用于存储计算机程序；
所述处理器，用于通过调用所述计算机程序，执行如权利要求1-6中任一项所述的淋巴结分区方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6任一项所述的淋巴结分区方法。
CN202011245065.4A 2020-11-10 2020-11-10 淋巴结分区方法、装置、设备及计算机可读存储介质 Active CN112258500B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011245065.4A CN112258500B (zh) 2020-11-10 2020-11-10 淋巴结分区方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011245065.4A CN112258500B (zh) 2020-11-10 2020-11-10 淋巴结分区方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112258500A CN112258500A (zh) 2021-01-22
CN112258500B true CN112258500B (zh) 2023-08-04

Family

ID=74266647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011245065.4A Active CN112258500B (zh) 2020-11-10 2020-11-10 淋巴结分区方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112258500B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485695A (zh) * 2016-09-21 2017-03-08 西北大学 基于统计形状模型的医学图像Graph Cut分割方法
CN206007270U (zh) * 2016-05-13 2017-03-15 首都医科大学附属北京朝阳医院 一种用于纵隔镜组织活检的超声装置
CN108073676A (zh) * 2016-11-07 2018-05-25 富士通株式会社 图像检索设备以及图像检索方法
CN110533656A (zh) * 2019-08-30 2019-12-03 杭州依图医疗技术有限公司 一种确定纵隔淋巴结所在分区的方法及装置
CN110992310A (zh) * 2019-11-09 2020-04-10 杭州依图医疗技术有限公司 一种确定纵隔淋巴结所在分区的方法及装置
WO2020110519A1 (ja) * 2018-11-27 2020-06-04 富士フイルム株式会社 類似度決定装置、方法およびプログラム
CN111340825A (zh) * 2020-03-05 2020-06-26 上海市肺科医院（上海市职业病防治院） 一种纵膈淋巴结分割模型的生成方法及系统
CN111755105A (zh) * 2020-05-18 2020-10-09 杭州依图医疗技术有限公司 一种医学影像的显示方法及装置、计算机可读存储介质
CN111784664A (zh) * 2020-06-30 2020-10-16 广州柏视医疗科技有限公司 肿瘤淋巴结分布图谱生成方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7519209B2 (en) * 2004-06-23 2009-04-14 Vanderbilt University System and methods of organ segmentation and applications of same
US8494235B2 (en) * 2007-06-04 2013-07-23 Siemens Medical Solutions Usa, Inc. Automatic detection of lymph nodes
US8355552B2 (en) * 2007-06-20 2013-01-15 The Trustees Of Columbia University In The City Of New York Automated determination of lymph nodes in scanned images

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206007270U (zh) * 2016-05-13 2017-03-15 首都医科大学附属北京朝阳医院 一种用于纵隔镜组织活检的超声装置
CN106485695A (zh) * 2016-09-21 2017-03-08 西北大学 基于统计形状模型的医学图像Graph Cut分割方法
CN108073676A (zh) * 2016-11-07 2018-05-25 富士通株式会社 图像检索设备以及图像检索方法
WO2020110519A1 (ja) * 2018-11-27 2020-06-04 富士フイルム株式会社 類似度決定装置、方法およびプログラム
CN110533656A (zh) * 2019-08-30 2019-12-03 杭州依图医疗技术有限公司 一种确定纵隔淋巴结所在分区的方法及装置
CN110992310A (zh) * 2019-11-09 2020-04-10 杭州依图医疗技术有限公司 一种确定纵隔淋巴结所在分区的方法及装置
CN111340825A (zh) * 2020-03-05 2020-06-26 上海市肺科医院（上海市职业病防治院） 一种纵膈淋巴结分割模型的生成方法及系统
CN111755105A (zh) * 2020-05-18 2020-10-09 杭州依图医疗技术有限公司 一种医学影像的显示方法及装置、计算机可读存储介质
CN111784664A (zh) * 2020-06-30 2020-10-16 广州柏视医疗科技有限公司 肿瘤淋巴结分布图谱生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
非小细胞肺癌淋巴结转移的研究及预测模型的建立;敬涛;兰州大学;第1-63页 *

Also Published As

Publication number Publication date
CN112258500A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
CN107016665B (zh) 一种基于深度卷积神经网络的ct肺结节检测方法
Roth et al. A new 2.5 D representation for lymph node detection using random sets of deep convolutional neural network observations
Tian et al. A supervoxel‐based segmentation method for prostate MR images
CN110827310A (zh) Ct图像自动检测方法与系统
JP2008520322A (ja) 新規な３ｄ特徴を備えるコンピュータ支援検出（ｃａｄ）における誤検出の低減
CN111127438A (zh) 基于改进yolo算法的肺部ct图像中结节检测方法
CN111553890B (zh) 基于增量学习的x光正位胸片多任务检测方法
Wang et al. Identifying neutrophils in H&E staining histology tissue images
Lu et al. Feature driven local cell graph (FeDeG): predicting overall survival in early stage lung cancer
CN112435743A (zh) 一种基于机器学习的膀胱癌病理组学智能诊断方法及其预后模型
CN106651842A (zh) 一种ct影像肺结节种子点自动获取和分割方法
CN116091490A (zh) 一种基于YOLOv4-CA-CBAM-K-means++-SIOU的肺结节检测方法
Phan et al. Prediction of breast cancer recurrence using a deep convolutional neural network without region-of-interest labeling
CN112258500B (zh) 淋巴结分区方法、装置、设备及计算机可读存储介质
Andrearczyk et al. Segmentation and classification of head and neck nodal metastases and primary tumors in PET/CT
Tang et al. Lesion segmentation and RECIST diameter prediction via click-driven attention and dual-path connection
Pham et al. Chest x-rays abnormalities localization and classification using an ensemble framework of deep convolutional neural networks
CN112258499B (zh) 淋巴结分区方法、装置、设备及计算机可读存储介质
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
CN112381779A (zh) 肺癌tnm分期获取方法、装置及显示方法
De Nunzio et al. Approaches to juxta-pleural nodule detection in CT images within the MAGIC-5 Collaboration
Zhu et al. Embedding task knowledge into 3D neural networks via self-supervised learning
CN116468923A (zh) 一种基于加权重采样聚类不稳定性的图像强化方法及装置
CN114271763A (zh) 一种基于Mask RCNN的胃癌早期识别方法、系统、装置
Alwarasneh et al. Bridging explainable machine vision in CAD systems for lung cancer detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant