CN117351489A - 面向全身pet/ct扫描的头颈肿瘤靶区的勾画系统 - Google Patents

面向全身pet/ct扫描的头颈肿瘤靶区的勾画系统 Download PDF

Info

Publication number
CN117351489A
CN117351489A CN202311661670.3A CN202311661670A CN117351489A CN 117351489 A CN117351489 A CN 117351489A CN 202311661670 A CN202311661670 A CN 202311661670A CN 117351489 A CN117351489 A CN 117351489A
Authority
CN
China
Prior art keywords
image
pet
module
images
tumor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311661670.3A
Other languages
English (en)
Other versions
CN117351489B (zh
Inventor
王伊玲
黄娜
王捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Cancer Hospital
Original Assignee
Sichuan Cancer Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Cancer Hospital filed Critical Sichuan Cancer Hospital
Priority to CN202311661670.3A priority Critical patent/CN117351489B/zh
Publication of CN117351489A publication Critical patent/CN117351489A/zh
Application granted granted Critical
Publication of CN117351489B publication Critical patent/CN117351489B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/037—Emission tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/501—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Pulmonology (AREA)
  • Computational Linguistics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请公开了一种面向全身PET/CT扫描的头颈肿瘤靶区的勾画系统。一些实施例中提供了一种面向全身PET/CT扫描的头颈肿瘤靶区的勾画系统，包括数据获取模块、数据处理模块、肿瘤自动定位模块、自动裁剪模块，以及靶区分割模块；数据获取模块与数据处理模块信号连接，数据处理模块与肿瘤自动定位模块信号连接，肿瘤自动定位模块与自动裁剪模块信号连接，自动裁剪模块与靶区分割模块信号连接。本申请所提供的技术方案中，数据处理模块能够将PET图像和CT图像相互对准之后，然后输入至肿瘤自动定位模块中，得到对应的病理区之后，通过自动裁剪模块和靶区分割模块，进而得到对应的GTVp和GTVn。

Description

面向全身PET/CT扫描的头颈肿瘤靶区的勾画系统
技术领域
本申请涉及医疗技术领域，具体而言，涉及一种面向全身PET/CT扫描的头颈肿瘤靶区的勾画系统。
背景技术
头颈肿瘤是最常见的肿瘤，一般需要通过CT或者PET图像来确定肿瘤的位置，在CT图像或PET图像中勾画出GTVp和GTVn，GTVp（primary tumor）：代表原发肿瘤的大体肿瘤靶体积。GTVn（lymph nodes）：代表转移淋巴结的大体肿瘤靶体积。这指的是已经发生转移的淋巴结。
现有的技术方案中，基本上都是医生根据CT图像和PET图像，共同定位肿瘤位置，然后勾画靶区。这种勾画方式，非常耗费医生的时间，因为CT图像和PET图像，隶属于两个不同成像系统，所以医生需要繁复的切换两种系统，在两个系统上来观察肿瘤的位置，进而确定肿瘤的区域。并且CT图像和PET图像都不是一张图像，临床中会沿着头颈方向，形成多个具有一定间隔的断面图像，所以医生在PET图像和CT的图像对比时，难度很大。综上所述，现有的靶区勾画方式，因为CT设备和PET设备因为兼容程度不高，导致医生在频繁的切换CT图像和PET图像时，不能够确定两个图像之间的对应关系，所以导致了靶区勾画的工作量大，工作效率低。
发明内容
本申请的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本申请的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
作为本申请的第一个方面，为了解决CT设备和PET设备因为兼容程度不高，导致医生难以高效地根据CT图像和PET图像勾画出靶区的技术问题。本申请的一些实施例中提供了一种面向全身PET/CT扫描的头颈肿瘤靶区的勾画系统，包括数据获取模块、数据处理模块、肿瘤自动定位模块、自动裁剪模块，以及靶区分割模块；数据获取模块与数据处理模块信号连接，数据处理模块与肿瘤自动定位模块信号连接，肿瘤自动定位模块与自动裁剪模块信号连接，自动裁剪模块与靶区分割模块信号连接；其中：
数据获取模块分别与PET设备和CT设备连接，以收集PET图像和CT图像，并将PET图像和CT图像发送给数据处理模块；
数据处理模块，用于将CT图像和PET图像处理为相同标准下的灰度图片，并将CT图像和PET图像进行刚性配准对齐，并将处理好的PET图像和CT图像发送至肿瘤自动定位模块；
肿瘤自动定位模块，内置有神经网络模型，CT图像和PET图像输入至肿瘤自动定位模块得到若干个病理区，并将病理区数据发送给自动裁剪模块，病理区数据包括病理区的空间位置信息和置信度分数；
自动裁剪模块，获取病理区的中心点位置，并基于不同病理区的置信度分数和空间位置信息，裁剪出包含肿瘤的PET图像和CT图像，然后发送至靶区分割模块；
靶区分割模块，基于深度学习网络自动构建分割系统，在PET图像或CT图像中分割出GTVp和GTVn。
本申请所提供的技术方案中，数据处理模块能够将PET图像和CT图像相互对准之后，然后输入至肿瘤自动定位模块中，得到对应的病理区之后，通过自动裁剪模块和靶区分割模块进行处理，进而得到对应的GTVp和GTVn。如此在本申请所提供的方案中通过人工智能技术，能够对两个系统中不同的图像进行预处理，进而自动输出医生所需要的GTVp和GTVn，医生只需要判断GTVp和GTVn的真实性，对其校验无误之后，就完成了靶区勾画工作，相比较于之前手动的靶区勾画的方式，本申请所提供的方案，靶区勾画的效率更高。
进一步的，数据获取模块在收集CT图像和PET图像时：
数据获取模块与PET设备信号连接，获取PET设备传输的PET图像，得到PM1、PM2、PM3、…PMi…PMk；其中，PMi表示第i个PET图像，k表示图像的总数；
数据获取模块与CT设备信号连接，获取CT设备传输的PET图像数据，得到CM1、CM2、CM3、…CMi…CMn；CMi表示第i个CT图像，n表示图像的总数；
数据获取模块将PM1、PM2、PM3、…PMi…PMk和CM1、CM2、CM3、…CMi…PMn发送至数据处理模块。
CT图像和PET图像不仅仅是隶属于两个不同的设备这么简单，在医院的实际治疗环境中，CT设备的型号和PET设备的型号并不是一定的。所以就导致了CT设备和PET设备所得到的CT图像和PET图像，在清晰度上，以及摆放方式上，并不一致，进而导致了深度学习模型，在对CT图像和PET图像进行关联分析时，因为两者之间的各区域无法一一对应，而导致无法将CT图像和PET图像进行准确的关联处理，针对这一问题，本申请提供如下技术方案：
进一步的，数据处理模块包括图像配准单元、网格插值单元，以及归一化单元，图像配准单元用于CT图像和PET图像的配准，网格插值单元用于处理PET图像和CT图像，使得两者具有相同规格的最小像素网格点区域；归一化单元用于对PET图像的像素和CT图像的像素进行归一化处理；
归一化的公式为：
Norm（X）=X-mean（X）/std(X) ；其中，
Norm表示归一化操作；
X表示待归一化的数组；
mean（X）表示取X的均值；
Std（X）表示取X的标准差。
本申请所提供的技术方案中，通过设置了图像配准单元和网格差值单元，能够将PET图像和CT图像进行刚性对准，进而使得PET图像和CT图像能够在每个区域都相互对应，然后再利用网格插值单元，使得PET图像和CT图像的每个最小像素网格点区域都能够对应，同时针对PET图像和CT图像在图像识别特征上的差异，还进行了归一化处理，使得不同患者在不同扫描设备下完成的PET图像和CT图像能够在同一标准下进行判断。
本申请所提供的技术方案中，需要采用深度学习网络模型来自动生成靶区，所以在对深度学习网络模型进行训练时，就需要提供大量的相同规格的数据，并且还需要保证深度学习网络模型在使用时，输入给深度学习网络模型的数据也是与训练时，相同规格的数据，但是目前各个医院的CT设备和PET设备型号不一，所以导致了收集到的数据不能够用于深度学习网络模型的训练，而在将其训练完成之后，也不一定能够运用。针对这一问题，本申请提供如下技术方案：
图像配准单元将收集到的所有PET图像和CT图像都进行刚性配准，刚性配准的方法为：Y=TX, 其中X为原始图像数组，Y为配准后的图像数组，T为刚性变换矩阵；
，
其中，表示原始图像数组的旋转角度，d=(x,y)表示原始图像需要平移的距离。
在本申请所提供的技术方案中，将收集到的PET图像和CT图像都进行了刚性对准，进而对于不同患者的CT（或PET图像）图像，进行统一，以消除不同CT设备或PET设备带来的成像差异。
CT图像和PET图像一般都具有很多层图像，如果将这些图像都输入到深度学习网络模型中，则会导致深度学习网络模型的计算量大，而如果通过抽取的方式，抽出任意数量的图像输入到深度学习网络模型中，则会导致丢失过多的特征，而使得深度学习网络的精度不高，无法得到准确的预测结果。针对这一问题，本申请提供如下技术方案：
网格插值单元在进行插值时，确定最小像素网格点区域a×b×c，将多层PET图像和多层CT图像均划分为若干个最小像素网格点区域；然后，用线性插值法对每个最小像素网格点区域进行填充；线性插值的计算公式如下：
，
其中y(r)为待插值获得的图像在最小像素网格点区域r处的像素值，y(r0)、y(r1)为已知的图像在最小像素网格点区域r0、r1处的像素值，a表示最小像素格网格区域的x方向长度，b表示最小像素格网格区域的y方向长度，c表示最小像素格网格区域的z方向长度。
本方案中，采用线性插值单元进行填充时，每个最小像素点的像素值是以三维数据来计算并得到的，所以在对数据进行压缩的基础上，还能够避免因为直接抽取图像特征所导致的关键信息丢失，保证了深度学习网络模型的精度。
进一步的，a=2mm，b=2mm，c=3mm。
本方案中，最小像素网格点区域的像素值在通过线性差值来进行填充时，分别在x、y、z三个方向上，用a=2mm，b=2mm，c=3mm的区域进行线性差值，所以能够极大的减少计算量，同时该范围也基本上是肉眼识别能力的极限，所以深度神经网络模型，在该标准下进行训练之后，能够最大限度的接近医生的勾画的靶区。
PET图像因为不同的设备，其在每个像素格中的像素值，不仅仅有正数，还具有负数。这是PET图像所具有的特殊特征。所以，如果直接对PET进行归一化处理，不仅仅会出现负数，还会因为一些特殊的异常值的影响，导致归一化的结果，并不准确，进而影响深度学习模型，使得最终得到的靶区勾画并不准确。针对这一问题，本申请提供如下技术方案：
进一步的，在对PET图像进行归一化处理之前，需要对数据进行预处理，预处理方式如下：
步骤1：PET图像中每个最小像素网格点区域内的像素值减去所有最小像素网格点区域中像素值的最小值；
步骤2，设置最大阈值，然后将超过最大阈值的像素值直接设置为最大值。
本申请所提供的技术方案中，通过步骤1，使得PET图像中每个最小像素网格点区域的像素值，减去所有最小像素网格点区域中像素值的最小值，所以使得每个最小像素网格点区域并不会具有负数，然后设置了最大阈值之后，能够避免几个较大的最小像素网格点区域的像素值对于后续归一化的影响。
进一步的，肿瘤自动定位模块内置的神经网络模型为目标识别定位深度学习网络模型；肿瘤自动定位模块对输入的PET图像和CT图像进行分析，输出包含肿瘤目标的病理区，并计算出对应病理区的病理区数据。
进一步的，自动裁剪模块，用于对获取的病理区数据进行优化，过滤掉多余的信息。
进一步的，以自动裁剪模块处理后的PET、CT图像为输入，基于4层双通道Unet网络完成肿瘤目标自动分割。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。
另外，贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
在附图中：
图1为面向全身PET/CT扫描的头颈肿瘤靶区的勾画系统的结构示意图。
图2为数据处理模块的结构示意图。
图3为肿瘤自动定位模块输出实际肿瘤目标分布。
图4自动定位的肿瘤目标分布及其置信度分数。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现， 而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本公开。
参照图1~2，一种面向全身PET/CT扫描的头颈肿瘤靶区的勾画系统包括数据获取模块、数据处理模块、肿瘤自动定位模块、自动裁剪模块，以及靶区分割模块；数据获取模块与数据处理模块信号连接，数据处理模块与肿瘤自动定位模块信号连接，肿瘤自动定位模块与自动裁剪模块信号连接，自动裁剪模块与靶区分割模块信号连接。
其中，数据获取模块分别与PET设备和CT设备连接，以收集PET图像和CT图像，并将PET图像和CT图像发送给数据处理模块。具体的，PET设备和CT设备是两个不同体系的设备，并且患者也不可能会同时完成两项检查，一般而言，患者需要依次在两个设备上完成相应的检查。所以，数据获取模块，实质上就是与医院内部信息管理系统连接，在PET设备和CT设备将相同病人的检测结果上传到医院内部信息管理系统之后，数据获取模块则收集这些信息。具体的，在收集信息时，数据获取模块会对比患者的信息，以确定收集的PET图像和CT图像对应。具体的信息，可以为患者的病案号、身份证号码，就诊时间、入院时间等，具体的PET图像匹配方式和CT图像匹配方式，这里不再阐述。
进一步的，数据获取模块在收集CT图像和PET图像时：
数据获取模块与PET设备信号连接，获取PET设备传输的PET图像，得到PM1、PM2、PM3、…PMi…PMk；其中，PMi表示第i层PET图像，k表示图像的总数；
数据获取模块与CT设备信号连接，获取CT设备传输的PET图像，得到CM1、CM2、CM3、…CMi…CMn；CMi表示第i层CT图像，n表示图像的总数；
数据获取模块将PM1、PM2、PM3、…PMi…PMk和CM1、CM2、CM3、…CMi…CMn发送至数据处理模块。
CT设备和PET设备实际上得到的是患者在目标区域类似于三维建模的特征，但是在查看时，每次都是对某个断面进行查看，所以可以用上述方式来表示。
数据处理模块，主要用于提取CT图像和PET图像中的特征，但是在提取之前，需要对CT图像和PET图像进行预处理。预处理的方式，主要是让CT图像和PET图像能够在一个标准下进行特征的提取。
具体的，数据处理模块包括图像配准单元、网格插值单元，以及归一化单元，图像配准单元用于CT图像和PET图像的配准。具体的，图像配准时：将CT图像和PET图像进行刚性匹配，以让CT图像和PET图像在同一个参考标准下，进行排布；
图像配准单元将收集到的所有PET图像和CT图像都进行刚性配准，刚性配准的方法为：Y=TX, 其中X为原始图像数组，Y为配准后的图像数组，T为刚性变换矩阵；
，
其中，表示原始图像数组的旋转角度，d=(x,y)表示原始图像需要平移的距离。
进一步的，网格插值单元在进行插值时，确定最小像素网格点区域a×b×c，将多层PET图像和多层CT图像均划分为若干个最小像素网格点区域；然后，用线性插值法对每个最小像素网格点区域进行填充；线性插值的计算公式如下：
,
其中y(r)为待插值获得的图像在最小像素网格点区域r处的像素值，y(r0)、y(r1)为已知的图像在最小像素网格点区域r0、r1处的像素值；a表示最小像素格网格区域的x方向的长度，b表示最小像素格网格区域的y方向的长度，c表示最小像素格网格区域的z方向长度；进一步的，a=2mm，b=2mm，c=3mm。
本方案中，通过三维的线性插值之后，能够在患者的诊断区域建立出由一个个最小像素网格点区域组成的三维模型，每个最小像素网格点区域的像素值对应患者在该网格点的特征。所以，在确定肿瘤位置时，可以通过最小像素网格点区域的像素值进行定位。通过前面的描述，可以得知，网格差值单元实际上就是对一些数据进行筛选，在沿着头颈的长度方向（z方向上），会有很多个PET图像和CT图像，这些PET图像和CT图形之间的间距，受到对应设备精度的影响。本方案中，则是将PET图像与PET图像之间的间距设置为3mm，然后计算在3mm这个范围内，所有的PET图像在a×b这个范围内的像素值的均值。
归一化单元主要是要对PET图像和CT图像进行归一化处理，进而将每个最小像素网格点区域内的像素值用归一化后的数值进行替代；归一化的公式为：
Norm（X）=X-mean（X）/std(X) ；其中，Norm表示归一化操作，X表示在需要归一化的某张CT图像或者PET图像中，需要进行归一化的最小像素网格点区域的像素值，man（X）表示需要归一化的CT图像的所有最小像素网格点区域的像素值的平均值，Std（X）表示需要归一化的CT图像的所有最小像素网格点区域的像素值的标准差。
进一步的，归一化单元在分别对PET图像和CT图像进行归一化处理时，因为PET图像的特殊性，需要对PET图像进行预处理，具体的：预处理方式如下：
步骤1：PET图像中每个最小像素网格点区域内的像素值减去所有最小像素网格点区域中像素值的最小值。
步骤2，设置最大阈值，然后将超过最大阈值的像素值直接设置为最大值。
之所以需要这样处理，是因为在PET图像中，每个像素格内的像素值并不是传统意义上理解的多通道颜色的数值，或者灰度值，而实际上是亮度值。这个亮度值不仅仅有正数，还具有负数，并且在临床中，还会有很多的异常值，如此需要采用该方式去除。如此，在本申请中，像素值在PET图像中是指亮度值，在CT图像中是指灰度值。
例如，有5个最小像素网格点区域，其像素值分别为100、1000、10000、800、-100；则在步骤1中，经过处理之后，则像素值分别为200、1100、10100、900、0；将最大阈值设置为1000之后，则1100和10100的像素值则需要设置为1000。
在经过了数据处理模块处理之后，就能够得到经过了PET图像和CT图像完成了刚性配准，同时，最小像素网格点区域域中的像素值都进行了归一化处理。然后输入至肿瘤自动定位模块内之后，能够对肿瘤区域进行自动定位。
进一步的，肿瘤自动定位模块内置的神经网络模型为目标识别定位深度学习网络模型；肿瘤自动定位模块对输入的PET图像和CT图像进行分析，输出包含肿瘤目标的病理区，并计算出对应病理区的病理区数据。病理区数据包括病理区的空间位置信息和置信度分数。
进一步的，目标识别定位深度学习网络模型包括：
编码器、解码器，以及连接模块；其中，CT图像和PET图像输入至编码器内，以提取出CT图像和PET图像中的特征；编码器将逐层提取PET图像和CT图像的图像特征，也就是将PET图像和CT图像两两配对在一起，输入至编码器内。因为经过了输出处理模块的处理之后，PET图像和CT图像都被处理为间隔为3mm的断层图像。所以PET图像中的每张断层图像和CT图像中的每张断层图像都可以一一对应。进而可以输入到解码器中。
编码器的主体结构为Resnet50，由5层stage构成：stage 0为输入层，具备两个通道分别输入预处理后的PET和CT图像；stage 1到4都由基本残差单元bottleneck结构（1×1卷积核；reLU激活层；3×3 卷积核，reLU激活层，1×1 卷积核）串联构成，其对应的bottleneck数目分别为3、4、6、3。编码器将逐层提取PET、CT的图像特征。其中，这里的图像特征是指深度学习通过每一层的卷积、激活、池化等操作，在不同层级、尺度空间提取图像边缘、局部、宏观等抽象特征信息。
连接模块包含3层，每层包括一个1×1卷积核和一个3×3 卷积核，其作用为将第3-5层编码器提取的特征逐层处理连接到相应的解码器层。
解码器接收到提取的各层特征，并解析获得所需的肿瘤目标空间位置信息及相应置信度分数。
解码器由两部分构成，第一部分为经过连接模块处理后的第3-5层的编码器特征层；第二部分为经连接模块处理后的第5层编码器经一个3×3 卷积核处理后的第6层和再经过reLU激活层和一个3×3 卷积核处理后的第7层。
为了解析该7层网络，使用回归单元，经5次3×3 卷积和reLU激活操作后解析各层特征，并对各层结果加权融合，获得最终的肿瘤目标空间分布信息及相应的置信度分数。也就是，最终得到了肿瘤目标在各层PET图像和CT图像上的分布区域，并给对应可能存在肿瘤目标的区域（病理区）提供了置信度分数。而关于，病理区的空间信息，则可以直接获取。获取方式，就是得到该区域所隶属的PET图像或者CT图像的位置，然后获取该区域在PET图像或CT图像中的平面位置。
进一步的，目标识别定位深度学习网络模型为现有的Retina Unet深度学习网络模型，上述内容，仅仅是对于本申请中，关键性的部分进行了介绍，具体的模型接口，本领域技术人员在上述内容的启示下，可以从现有技术中直接或者间接的得出。
进一步的，因为目标识别定位深度学习网络模型最终需要输出肿瘤目标在各层PET图像和CT图像上的分布区域，并给对应可能存在肿瘤目标的区域提供了置信度分数。该结果，与深度学习网络模型的训练情况有关。为此，在本申请所提供的技术方案中，是将一部分已经由人工完成标注的PET图像和CT图像数据，作为对应的训练数据集，以对深度学习网络模型进行训练。
自动裁剪模块，用于对获取的病理区数据进行优化，过滤掉多余的信息。具体的，经过肿瘤自动定位模块处理后，对于每一层的PET图像和CT图像，将获得该PET图像或CT图像中的病理区和该病理区的病理区数据，也就是病理区的坐标（空间位置信息）如图3所示，和相应的置信度分数如图4所示，且置信度分数范围从0到1。
由于每一层图像（PET图像或CT图像）可能存在多个肿瘤目标，为了确定所有肿瘤目标的中心，我们以降低（实际肿瘤目标中心（Or）与自动定位肿瘤目标中心（Ol））差异为优化目标：，将病理区的置信度分数阈值threshold设为待优化参数，遍历置信度分数阈值：0.4，0.5，0.6，0.7，0.8，0.9，以确定最优的过滤方案。对于任一置信度分数阈值，当病理区B的置信度分数Sb大于所选择置信度分数阈值时，收集该病理区；最后取收集到的所有病理区Ob的三维坐标算数平均值作为肿瘤体积的中心。
，
即只考虑置信度分数大于所选的置信度分数阈值的肿瘤分布，而对于置信度分数小于所选的置信度分数阈值的图像层，将判定其上无肿瘤分布，从而完成肿瘤目标过滤；Or代表实际肿瘤目标中心点空间坐标；Ol代表系统预测的肿瘤目标中心点空间坐标；Minimze代表求最小值函数；B是系统预测的一个可能包含肿瘤的病理区；Ob为病理区B的中心空间位置坐标；Sb为病理区B的置信度分数；N代表收集到的病理区数量（当病理区置信度分数大于所设定的置信度分数阈值时才收集该病理区）；threshold为置信度分数阈值。经实验，当threshold=0.6时可以获得最小的目标函数值，故优选置信度分数阈值为0.6。
为了提高肿瘤分割模块的深度学习计算效率，以获得的肿瘤体积中心为原点，将预处理后的PET及CT图像裁剪为128×128×128像素大小，并通过前述的线性插值，将其插值为1×1×1 mm的网格。最终作为自动分割模块的输入，PET、CT的图像大小为256×256×384 mm。自动裁剪模块涉及两个步骤：
（1）根据各病理区及置信度分数，过滤获得肿瘤目标的中心点坐标（2）根据该中心点坐标（以此点为中心），沿x、y、z三个方向分别裁剪PET、CT图像至128×128×128像素大小。
以x方向裁剪为例，设中心点坐标为x0，则裁剪后的范围为(x0-64, x0+64），共128个像素点。由因为x方向每个像素点的间隔为2mm，所以裁剪后x方向的图像长度为256mm。
靶区分割模块：靶区分割模块：以自动裁剪模块处理后的PET图像和CT图像为输入，基于4层双通道Unet网络完成肿瘤目标自动分割。模型的训练方案为5折交叉验证，一共包括524例样本。将524样本随机分为5组，每组数据量为105，104，105，105，105，并依次作为每一折训练的验证集（训练集即为剩余的4组病例）。
实施例2：实施例2与实施例1的主要区别在于，用于增加样本数量，在肿瘤自动定位模块、自动裁剪模块，以及靶区分割模块，都需要使用人工智能网络，相应的都需要进行数据集训练，为了避免训练的数据集数据太少，在数据处理模块中还包括旋转平移单元和弹性形变单元。
旋转平移单元主要是在归一化单元后，对PET图像和CT图像进行旋转、平移变化，以增加训练数据集的数量。具体的，以横断面中心为参考点，在0°到360°的范围内随机旋转PET、CT图像。以横断面中心为参考点，在0-20%的范围内在横断面随机平移图像。
弹性形变单元,对于PET CT的每一个横断面，按照文献：Best Practices forConvolutional Neural Networks Applied to Visual Document Analysis的方式对图像数组实施弹性形变。之后优化设计了弹性形变的发生概率系数，并最终确定在0-25%的范围内实施弹性形变将获得较好的肿瘤追踪结果。
本方案中，通过旋转平移单元和弹性形变单元能够增加训练集中标注样本的数量。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种面向全身PET/CT扫描的头颈肿瘤靶区的勾画系统，其特征在于，包括：数据获取模块、数据处理模块、肿瘤自动定位模块、自动裁剪模块，以及靶区分割模块；数据获取模块与数据处理模块信号连接，数据处理模块与肿瘤自动定位模块信号连接，肿瘤自动定位模块与自动裁剪模块信号连接，自动裁剪模块与靶区分割模块信号连接；
其中：
数据获取模块分别与PET设备和CT设备连接，以收集PET图像和CT图像，并将PET图像和CT图像发送给数据处理模块；
数据处理模块，用于将CT图像和PET图像处理为相同标准下的灰度图片，并将CT图像和PET图像进行刚性配准对齐，并将处理好的PET图像和CT图像发送至肿瘤自动定位模块；
肿瘤自动定位模块，内置有神经网络模型，CT图像和PET图像输入至肿瘤自动定位模块得到若干个病理区，并将病理区数据发送给自动裁剪模块，病理区数据包括病理区的空间位置信息和置信度分数；
自动裁剪模块，获取病理区的中心点位置，并基于不同病理区的置信度分数和空间位置信息，裁剪出包含肿瘤的PET图像和CT图像，然后发送至靶区分割模块；
靶区分割模块，基于深度学习网络自动构建分割系统，在PET图像或CT图像中分割出GTVp和GTVn。
2.根据权利要求1所述的面向全身PET/CT扫描的头颈肿瘤靶区的勾画系统，其特征在于：数据获取模块在收集CT图像和PET图像时：
数据获取模块与PET设备信号连接，获取PET设备传输的PET图像，得到PM1、PM2、PM3、…PMi…PMk；其中，PMi表示第i个PET图像，k表示图像的总数；
数据获取模块与CT设备信号连接，获取CT设备传输的PET图像，得到CM1、CM2、CM3、…CMi…CMn；CMi表示第i个CT图像，n表示图像的总数；
数据获取模块将PM1、PM2、PM3、…PMi…PMk和CM1、CM2、CM3、…CMi…PMn发送至数据处理模块。
3.根据权利要求2所述的面向全身PET/CT扫描的头颈肿瘤靶区的勾画系统，其特征在于：数据处理模块包括图像配准单元、网格插值单元，以及归一化单元，图像配准单元用于CT图像和PET图像的配准，网格插值单元用于处理PET图像和CT图像，使得两者具有相同规格的最小像素网格点区域；归一化单元用于对PET图像的像素和CT图像的像素进行归一化处理；
归一化的公式为：
Norm（X）=X-mean（X）/std(X) ；其中，
Norm表示归一化操作；
X表示待归一化的数组；
mean（X）表示取X的均值；
Std（X）表示取X的标准差。
4.根据权利要求3所述的面向全身PET/CT扫描的头颈肿瘤靶区的勾画系统，其特征在于：图像配准单元将收集到的所有PET图像和CT图像都进行刚性配准，刚性配准的方法为：Y=TX, 其中X为原始图像数组，Y为配准后的图像数组，T为刚性变换矩阵；
其中，表示原始图像数组的旋转角度，d=(x,y)表示原始图像需要平移的距离。
5.根据权利要求3所述的面向全身PET/CT扫描的头颈肿瘤靶区的勾画系统，其特征在于：网格插值单元在进行插值时，确定最小像素网格点区域a×b×c，将PET图像和CT图像均划分为若干个最小像素网格点区域；然后，用线性插值法对每个最小像素网格点区域进行填充；线性插值的计算公式如下：
其中y(r)为待插值获得的图像在最小像素网格点区域r处的像素值，y(r0)、y(r1)为已知的图像在最小像素网格点区域r0、r1处的像素值，a表示最小像素格网格区域的x方向长度，b表示最小像素格网格区域的y方向长度，c表示最小像素格网格区域的z方向长度。
6.根据权利要求5所述的面向全身PET/CT扫描的头颈肿瘤靶区的勾画系统，其特征在于：a=2mm，b=2mm，c=3mm。
7.根据权利要求6所述的面向全身PET/CT扫描的头颈肿瘤靶区的勾画系统，其特征在于：在对PET图像进行归一化处理之前，需要对数据进行预处理，预处理方式如下：
步骤1：PET图像中每个最小像素网格点区域内的像素值减去所有最小像素网格点区域中像素值的最小值；
步骤2，设置最大阈值，然后将超过最大阈值的像素值直接设置为最大值。
8.根据权利要求1所述的面向全身PET/CT扫描的头颈肿瘤靶区的勾画系统，其特征在于：肿瘤自动定位模块内置的神经网络模型为目标识别定位深度学习网络模型；肿瘤自动定位模块对输入的PET图像和CT图像进行分析，输出包含肿瘤目标的病理区，并计算出对应病理区的病理区数据。
9.根据权利要求8所述的面向全身PET/CT扫描的头颈肿瘤靶区的勾画系统，其特征在于：自动裁剪模块，用于对获取的病理区数据进行优化，过滤掉多余的信息。
10.根据权利要求9所述的面向全身PET/CT扫描的头颈肿瘤靶区的勾画系统，其特征在于：靶区分割模块：以自动裁剪模块处理后的PET图像和CT图像为输入，基于4层双通道Unet网络完成肿瘤目标自动分割。
CN202311661670.3A 2023-12-06 2023-12-06 面向全身pet/ct扫描的头颈肿瘤靶区的勾画系统 Active CN117351489B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311661670.3A CN117351489B (zh) 2023-12-06 2023-12-06 面向全身pet/ct扫描的头颈肿瘤靶区的勾画系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311661670.3A CN117351489B (zh) 2023-12-06 2023-12-06 面向全身pet/ct扫描的头颈肿瘤靶区的勾画系统

Publications (2)

Publication Number Publication Date
CN117351489A true CN117351489A (zh) 2024-01-05
CN117351489B CN117351489B (zh) 2024-03-08

Family

ID=89367233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311661670.3A Active CN117351489B (zh) 2023-12-06 2023-12-06 面向全身pet/ct扫描的头颈肿瘤靶区的勾画系统

Country Status (1)

Country Link
CN (1) CN117351489B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
CN110827961A (zh) * 2018-08-10 2020-02-21 北京连心医疗科技有限公司 一种自适应放疗结构自动勾画方法、设备和存储介质
CN112419338A (zh) * 2020-12-08 2021-02-26 深圳大学 一种基于解剖先验知识的头颈部危及器官的分割方法
CN112508965A (zh) * 2019-12-10 2021-03-16 广州柏视医疗科技有限公司 医学影像中正常器官的轮廓线自动勾画系统
CN112712532A (zh) * 2020-12-30 2021-04-27 南京邮电大学 基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法
CN112790782A (zh) * 2021-02-02 2021-05-14 广州柏视医疗科技有限公司 基于深度学习的盆腔肿瘤ctv的自动勾画方法
WO2022099303A1 (en) * 2020-11-06 2022-05-12 The Regents Of The University Of California Machine learning techniques for tumor identification, classification, and grading
WO2022185222A1 (en) * 2021-03-02 2022-09-09 Novocure Gmbh Methods and apparatuses for visualization of tumor segmentation
CN115762724A (zh) * 2022-10-19 2023-03-07 深圳市联影高端医疗装备创新研究院 医学图像的靶区自动勾画方法、装置和系统
US11704808B1 (en) * 2022-02-25 2023-07-18 Wuxi Second People's Hospital Segmentation method for tumor regions in pathological images of clear cell renal cell carcinoma based on deep learning
CN116468741A (zh) * 2023-06-09 2023-07-21 南京航空航天大学 基于3d物理空间域和螺旋分解空间域的胰腺癌分割方法
CN116758089A (zh) * 2023-03-23 2023-09-15 北京大学第三医院（北京大学第三临床医学院） 一种宫颈癌临床靶区和正常器官智能勾画系统和方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
CN110827961A (zh) * 2018-08-10 2020-02-21 北京连心医疗科技有限公司 一种自适应放疗结构自动勾画方法、设备和存储介质
CN112508965A (zh) * 2019-12-10 2021-03-16 广州柏视医疗科技有限公司 医学影像中正常器官的轮廓线自动勾画系统
WO2022099303A1 (en) * 2020-11-06 2022-05-12 The Regents Of The University Of California Machine learning techniques for tumor identification, classification, and grading
CN112419338A (zh) * 2020-12-08 2021-02-26 深圳大学 一种基于解剖先验知识的头颈部危及器官的分割方法
CN112712532A (zh) * 2020-12-30 2021-04-27 南京邮电大学 基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法
CN112790782A (zh) * 2021-02-02 2021-05-14 广州柏视医疗科技有限公司 基于深度学习的盆腔肿瘤ctv的自动勾画方法
WO2022185222A1 (en) * 2021-03-02 2022-09-09 Novocure Gmbh Methods and apparatuses for visualization of tumor segmentation
US11704808B1 (en) * 2022-02-25 2023-07-18 Wuxi Second People's Hospital Segmentation method for tumor regions in pathological images of clear cell renal cell carcinoma based on deep learning
CN115762724A (zh) * 2022-10-19 2023-03-07 深圳市联影高端医疗装备创新研究院 医学图像的靶区自动勾画方法、装置和系统
CN116758089A (zh) * 2023-03-23 2023-09-15 北京大学第三医院（北京大学第三临床医学院） 一种宫颈癌临床靶区和正常器官智能勾画系统和方法
CN116468741A (zh) * 2023-06-09 2023-07-21 南京航空航天大学 基于3d物理空间域和螺旋分解空间域的胰腺癌分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIAOHANG FU 等: "Multimodal Spatial Attention Module for Targeting Multimodal PET-CT Lung Tumor Segmentation", 《IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS》, vol. 25, no. 9, 30 September 2021 (2021-09-30), pages 3507 - 3516, XP011876432, DOI: 10.1109/JBHI.2021.3059453 *
张珺倩 等: "机器学习在肿瘤放射治疗领域应用进展", 《生物医学工程学杂志》, vol. 36, no. 5, 31 October 2019 (2019-10-31), pages 879 - 884 *
田娟秀 等: "医学图像分析深度学习方法研究与挑战", 《自动化学报》, vol. 44, no. 3, 31 March 2018 (2018-03-31), pages 401 - 424 *

Also Published As

Publication number Publication date
CN117351489B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
Adegun et al. Deep learning-based system for automatic melanoma detection
CN110647874B (zh) 一种端到端的血细胞识别模型构造方法及应用
CN110390665B (zh) 基于深度学习多通道与图嵌法的膝关节病症超声诊断方法
CN107506797A (zh) 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法
CN110647875B (zh) 一种血细胞分割、识别模型构造的方法及血细胞识别方法
CN109829880A (zh) 一种基于深度学习的ct图像检测方法、装置和控制设备
CN111047572A (zh) 一种基于Mask RCNN的医学图像中脊柱自动定位方法
CN112150442A (zh) 基于深度卷积神经网络及多实例学习的新冠诊断系统
CN117274270B (zh) 基于人工智能的消化内镜实时辅助系统及方法
Saidy et al. Chest X-ray image segmentation using encoder-decoder convolutional network
CN111260639A (zh) 多视角信息协作的乳腺良恶性肿瘤分类方法
WO2021076605A1 (en) Weakly supervised multi-task learning for cell detection and segmentation
CN116579982A (zh) 一种肺炎ct图像分割方法、装置及设备
CN116468655A (zh) 基于胎儿磁共振成像的脑发育图谱与影像处理系统
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
CN117237351A (zh) 一种超声图像分析方法以及相关装置
Manikandan et al. Segmentation and Detection of Pneumothorax using Deep Learning
CN116524315A (zh) 一种基于Mask R-CNN的肺癌病理组织切片识别及分割方法
CN117809030A (zh) 一种基于人工神经网络的乳腺癌ct图像识别及分割方法
CN113610746A (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN117351489B (zh) 面向全身pet/ct扫描的头颈肿瘤靶区的勾画系统
CN113487579B (zh) 自动勾画模型的多模态迁移方法
CN114155234A (zh) 病灶肺段位置的识别方法、装置、存储介质及电子设备
Suryakanth et al. SA: 3D CNN-residual neural network based multimodal medical image classification
CN117831757B (zh) 基于病理ct多模态先验知识引导的肺癌诊断方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant