CN111784706B - 鼻咽癌原发肿瘤图像自动识别方法及系统 - Google Patents

鼻咽癌原发肿瘤图像自动识别方法及系统 Download PDF

Info

Publication number
CN111784706B
CN111784706B CN202010595992.2A CN202010595992A CN111784706B CN 111784706 B CN111784706 B CN 111784706B CN 202010595992 A CN202010595992 A CN 202010595992A CN 111784706 B CN111784706 B CN 111784706B
Authority
CN
China
Prior art keywords
dimensional image
dimensional
sequence
matrix
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010595992.2A
Other languages
English (en)
Other versions
CN111784706A (zh
Inventor
魏军
朱德明
谢培梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Baishi Data Technology Co ltd
Guangzhou Boshi Medical Technology Co ltd
Original Assignee
Guangzhou Baishi Data Technology Co ltd
Guangzhou Boshi Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baishi Data Technology Co ltd, Guangzhou Boshi Medical Technology Co ltd filed Critical Guangzhou Baishi Data Technology Co ltd
Priority to CN202010595992.2A priority Critical patent/CN111784706B/zh
Publication of CN111784706A publication Critical patent/CN111784706A/zh
Priority to PCT/CN2021/083154 priority patent/WO2022001237A1/zh
Application granted granted Critical
Publication of CN111784706B publication Critical patent/CN111784706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明实施例提供了一种鼻咽癌原发肿瘤图像自动识别方法及系统，以被测者的CT三维图像为基础，辅以MR序列三维图像，构成了语义分割网络模型的一个多模态输入，实现在CT上的鼻咽癌原发肿瘤识别。结合CT三维图像与MR序列三维图像，能有效提高输入数据的质量，并学习到高分辨率图像的全局信息和细节信息，能有效提高语义分割网络模型的预测准确度和泛化能力，并具备输入端与输出端的灵活性，进而有效提高医疗工作者的工作效率。

Description

鼻咽癌原发肿瘤图像自动识别方法及系统
技术领域
本发明涉及医疗图像处理技术领域，更具体地，涉及鼻咽癌原发肿瘤图像自动识别方法及系统。
背景技术
在医学领域，精准放射治疗技术已经大大提高了癌症患者的生存率。但是，这些先进的治疗方法需要对目标肿瘤的轮廓进行准确的判断，是资源密集型的。
近年来，有研究人员通过人工智能(Artificial Intelligence，AI)算法自动描绘鼻咽癌(nasopharyngeal carcinoma，NPC)原发肿瘤(gross tumor volume，GTV)。但是无法保证得到的鼻咽癌原发肿瘤的准确性。为此，现急需提供一种鼻咽癌原发肿瘤图像自动识别方法及系统。
发明内容
为克服上述问题或者至少部分地解决上述问题，本发明实施例提供了一种鼻咽癌原发肿瘤图像自动识别方法及系统。
第一方面，本发明实施例提供了一种鼻咽癌原发肿瘤图像自动识别方法，包括：
获取被测者的CT三维图像以及磁共振MR序列三维图像；
将所述MR序列三维图像与所述CT三维图像进行配准，以使所述MR序列三维图像中的像素位置与所述CT三维图像中的像素位置对齐，并将所述CT三维图像的第一三维矩阵与配准后的MR序列三维图像的第二三维矩阵进行组合，得到第一多通道矩阵；
将所述第一多通道矩阵输入至语义分割网络模型，得到由所述语义分割网络模型输出的第二多通道矩阵，所述第二多通道矩阵中不同通道分别表示不同风险程度的鼻咽癌原发肿瘤的分割结果。
优选地，还包括：
从所述第二多通道矩阵中选取任一通道，基于所述任一通道，确定三维概率图，所述三维概率图中的每个像素点的取值用于表示所述像素点属于所述鼻咽癌原发肿瘤的所属区域的概率值；
将所述三维概率图中取值大于预设阈值的像素点标记为1，否则标记为0，得到所述任一通道表示的鼻咽癌原发肿瘤的分割结果。
优选地，所述将所述MR序列三维图像与所述CT三维图像进行配准，具体包括：
分别确定所述CT三维图像的第一二值化图以及所述MR序列三维图像的第二二值化图，并基于所述第一二值化图中取值为1的像素点的位置信息以及所述第二二值化图中取值为1的像素点的位置信息构造配准能量函数；
基于所述配准能量函数取最小值时的配准参数，确定变换矩阵和位移，基于所述变换矩阵以及所述位移，对所述MR序列三维图像进行变换操作以及平移操作，使操作后的MR序列三维图像中的像素位置与所述CT三维图像中的像素位置对齐。
优选地，所述第一二值化图中所有取值为1的像素点的位置信息构成第一像素位置列表，所述第二二值化图中取值为1的像素点的位置信息构成第二像素位置列表；
相应地，所述配准能量函数取最小值时的配准参数具体通过如下方法确定：
确定所述第一像素位置列表中所有元素的第一均值以及所述第二像素位置列表中所有元素的第二均值；
基于所述第一像素位置列表中每一元素、所述第一均值、所述第二像素列表中每一元素以及所述第二均值，构建联合矩阵；
对所述联合矩阵进行分解，并基于分解的结果以及所述第一均值和所述第二均值，求解所述配准能量函数取最小值时的配准参数。
优选地，所述将所述第一多通道矩阵输入至语义分割网络模型，得到由所述语义分割网络模型输出的第二多通道矩阵，具体包括：
将所述第一多通道矩阵输入至所述语义分割网络模型的编码层，得到由所述编码层输出的特征矩阵；
将所述特征矩阵输入至所述语义分割网络模型的解码层，得到由所述解码层输出的第二多通道矩阵；
其中，所述编码层与所述解码层跳跃连接。
优选地，所述编码层包括卷积层和下采样层，所述解码层包括卷积层和上采样层；
所述编码层中的卷积层以及所述解码层中的卷积层具体为EvoNorms层。
优选地，所述将所述MR序列三维图像与所述CT三维图像进行配准之前，还包括：
分别对所述CT三维图像以及所述MR序列三维图像进行去噪处理，并分别计算去噪处理后的CT三维图像以及MR序列三维图像中像素点的最大取值和最小取值；
基于所述最大取值和所述最小取值，分别对去噪处理后的CT三维图像中像素点的取值以及去噪处理后的MR序列三维图像中像素点的取值进行更新，并将去噪处理后的CT三维图像中所有像素点的取值以及去噪处理后的MR序列三维图像中所有像素点的取值映射至0-255区间内。
第二方面，本发明实施例提供了一种鼻咽癌原发肿瘤图像自动识别系统，包括：三维图像获取模块、第一多通道矩阵确定模块和第二多通道矩阵确定模块。其中，
三维图像获取模块用于获取被测者的CT三维图像以及磁共振MR序列三维图像；
第一多通道矩阵确定模块用于将所述MR序列三维图像与所述CT三维图像进行配准，以使所述MR序列三维图像中的像素位置与所述CT三维图像中的像素位置对齐，并将所述CT三维图像的第一三维矩阵与配准后的MR序列三维图像的第二三维矩阵进行组合，得到第一多通道矩阵；
第二多通道矩阵确定模块用于将所述第一多通道矩阵输入至语义分割网络模型，得到由所述语义分割网络模型输出的第二多通道矩阵，所述第二多通道矩阵中不同通道分别表示不同风险程度的鼻咽癌原发肿瘤的分割结果。
第三方面，本发明实施例提供了一种电子设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的鼻咽癌原发肿瘤图像自动识别方法的步骤。
第四方面，本发明实施例提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的鼻咽癌原发肿瘤图像自动识别方法的步骤。
本发明实施例提供的一种鼻咽癌原发肿瘤图像自动识别方法及系统，以被测者的CT三维图像为基础，辅以MR序列三维图像，构成了语义分割网络模型的一个多模态输入，实现在CT上的鼻咽癌原发肿瘤识别。结合CT三维图像与MR序列三维图像，能有效提高输入数据的质量，并学习到高分辨率图像的全局信息和细节信息，能有效提高语义分割网络模型的预测准确度和泛化能力，并具备输入端与输出端的灵活性，进而有效提高医疗工作者的工作效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种鼻咽癌原发肿瘤图像自动识别方法的流程示意图；
图2为本发明实施例提供的一种鼻咽癌原发肿瘤图像自动识别系统的结构示意图；
图3为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种鼻咽癌原发肿瘤图像自动识别方法，包括：
S1，获取被测者的CT三维图像以及磁共振MR序列三维图像；
S2，将所述MR序列三维图像与所述CT三维图像进行配准，以使所述MR序列三维图像中的像素位置与所述CT三维图像中的像素位置对齐，并将所述CT三维图像的第一三维矩阵与配准后的MR序列三维图像的第二三维矩阵进行组合，得到第一多通道矩阵；
S3，将所述第一多通道矩阵输入至语义分割网络模型，得到由所述语义分割网络模型输出的第二多通道矩阵，所述第二多通道矩阵中不同通道分别表示不同风险程度的鼻咽癌原发肿瘤的分割结果。
具体地，本发明实施例中提供的鼻咽癌原发肿瘤图像自动识别方法，其执行主体为处理器，具体可以是本地处理器，也可以是云端处理器，本地处理器具体可以是电脑、平板以及智能手机等，本发明实施例中对此不作具体限定。
首先执行步骤S1。其中，被测者是指患者，可能患有鼻咽癌原发肿瘤，因此需要借助本发明实施例中提供的鼻咽癌原发肿瘤图像自动识别方法确定鼻咽癌原发肿瘤的位置。磁共振(Magnetic Resonance，MR)序列三维图像具体可以包括T1、T2、T1C、T1FSC这四个序列三维图像。
然后执行步骤S2。其中，将MR序列三维图像与CT三维图像进行配准，即是将每个MR序列三维图像配准到CT三维图像上，使配准后的每个MR序列三维图像中的像素位置均与CT三维图像中的像素位置对齐。然后将CT三维图像的第一三维矩阵与配准后的MR序列三维图像的第二三维矩阵进行组合，得到第一多通道矩阵。第一三维矩阵是指由CT三维图像中每一像素点的像素值构成的像素矩阵，第一三维矩阵中的元素与CT三维图像中的像素点一一对应。第二三维矩阵是由配准后的MR序列三维图像中每一像素点的像素值构成的像素矩阵，第二三维矩阵中的元素与配准后的MR序列三维图像中的像素点一一对应。将所述CT三维图像的第一三维矩阵与配准后的MR序列三维图像的第二三维矩阵进行组合，具体可以是第一三维矩阵和第二三维矩阵中相同位置上的元素进行组合，对应得到的第一多通道矩阵中每个元素均包含有多个通道。本发明实施例中，CT三维图像以及每个MR序列三维图像的大小尺寸均相同，因此第一三维矩阵、第二三维矩阵和第一多通道矩阵中的元素数量均相等。
需要说明的是，在配准后，可以从配准后的MR序列三维图像中选取任意若干个序列三维图像，将其第二三维矩阵与CT三维图像的第一三维矩阵进行组合，得到第一多通道矩阵。如果某个序列三维图像没有被选择，则该序列三维图像的第二三维矩阵被赋值为与CT三维矩阵相同维度大小的零矩阵。
把CT的三维矩阵与各个MR序列的三维矩阵进行拼接得到多通道的矩阵作为模型的输入。
最后执行步骤S3。其中，将第一多通道矩阵输入至语义分割网络模型，由语义分割网络模型输出第二多通道矩阵，第二多通道矩阵中不同通道相互独立，分别表示不同风险程度的鼻咽癌原发肿瘤的分割结果，即每个像素点属于鼻咽癌原发肿瘤的概率，如分割体积较大的鼻咽癌原发肿瘤表示保守治疗。
语义分割网络模型可以通过大量患者的CT三维图像以及磁共振MR序列三维图像对应得到的多通道矩阵样本训练得到，最终输出每个像素点属于鼻咽癌原发肿瘤的概率。语义分割网络模型能输出多个不同的鼻咽癌原发肿瘤的分割结果，分别代表不同风险程度，可根据需求挑选合适的分割结果进行后续分析。
本发明实施例中提供的鼻咽癌原发肿瘤图像自动识别方法，以被测者的CT三维图像为基础，辅以MR序列三维图像，构成了语义分割网络模型的一个多模态输入，实现在CT上的鼻咽癌原发肿瘤识别。结合CT三维图像与MR序列三维图像，能有效提高输入数据的质量，并学习到高分辨率图像的全局信息和细节信息，能有效提高语义分割网络模型的预测准确度和泛化能力，并具备输入端与输出端的灵活性，进而有效提高医疗工作者的工作效率。
在上述实施例的基础上，本发明实施例中提供的鼻咽癌原发肿瘤图像自动识别方法，还包括：
从所述第二多通道矩阵中选取任一通道，基于所述任一通道，确定三维概率图，所述三维概率图中的每个像素点的取值用于表示所述像素点属于所述鼻咽癌原发肿瘤的所属区域的概率值；
将所述三维概率图中取值大于预设阈值的像素点标记为1，否则标记为0，得到所述任一通道表示的鼻咽癌原发肿瘤的分割结果。
具体地，本发明实施例中，从所述第二多通道矩阵中选取任一通道，每一通道均对应一个矩阵，根据选取的通道对应的矩阵，确定三维概率图，三维概率图中的每个像素点的取值用于表示该像素点属于鼻咽癌原发肿瘤的所属区域的概率值。
将三维概率图中取值大于预设阈值的像素点标记为1，否则标记为0，得到所述任一通道表示的鼻咽癌原发肿瘤的分割结果。预设阈值具体可以是0.5，即将大于0.5的像素点标记为1，否则标记为0，得到最终的鼻咽癌原发肿瘤的分割结果。此处，标记与赋值的含义相同。
在上述实施例的基础上，本发明实施例中提供的鼻咽癌原发肿瘤图像自动识别方法，所述将所述MR序列三维图像与所述CT三维图像进行配准，具体包括：
分别确定所述CT三维图像的第一二值化图以及所述MR序列三维图像的第二二值化图，并基于所述第一二值化图中取值为1的像素点的位置信息以及所述第二二值化图中取值为1的像素点的位置信息构造配准能量函数；
基于所述配准能量函数取最小值时的配准参数，确定变换矩阵和位移，基于所述变换矩阵以及所述位移，对所述MR序列三维图像进行变换操作以及平移操作，使操作后的MR序列三维图像中的像素位置与所述CT三维图像中的像素位置对齐。
具体地，本发明实施例中提供的鼻咽癌原发肿瘤图像自动识别方法，对需要配准的CT三维图像以及MR序列三维图像分别提取二值化图，即身体部分的值为1，背景为0，分别得到第一三维矩阵和第二三维矩阵。分别提取CT三维图像的第一二值化图以及MR序列三维图像的第二二值化图中取值为1的像素点并输出列表，列表中的每个元素为像素点的坐标位置。第一二值化图中所有取值为1的像素点的位置信息构成第一像素位置列表，第二二值化图中取值为1的像素点的位置信息构成第二像素位置列表。
基于所述第一二值化图中取值为1的像素点的位置信息以及所述第二二值化图中取值为1的像素点的位置信息构造配准能量函数，具体可以得到如下配准能量函数：
Figure BDA0002557388790000091
其中，E为配准能量函数，pi为第二像素位置列表中第i个像素点的位置信息，qi为第一像素位置列表中第i个像素点的位置信息，||*||为向量的模，R、t为需要求解的使E达到最小值的配准参数，分别为变换矩阵和位移。
基于R、t，对MR序列三维图像进行变换操作以及平移操作，使操作后的MR序列三维图像中的像素位置与CT三维图像中的像素位置对齐。
在上述实施例的基础上，本发明实施例中提供的鼻咽癌原发肿瘤图像自动识别方法，所述配准能量函数取最小值时的配准参数具体通过如下方法确定：
确定所述第一像素位置列表中所有元素的第一均值以及所述第二像素位置列表中所有元素的第二均值；
基于所述第一像素位置列表中每一元素、所述第一均值、所述第二像素列表中每一元素以及所述第二均值，构建联合矩阵；
对所述联合矩阵进行分解，并基于分解的结果以及所述第一均值和所述第二均值，求解所述配准能量函数取最小值时的配准参数。
具体的，本发明实施例中，配准能量函数的求解过程如下：
Figure BDA0002557388790000092
Figure BDA0002557388790000093
Figure BDA0002557388790000094
W＝U∑VT
R*＝UVT
t*＝μq-R*μp
其中，n为第一像素位置列表以及第二像素位置列表中像素点的数量，μp为第二像素位置列表中所有元素的第二均值，即质心，μq为第一像素位置列表中所有元素的第一均值，也即质心，U、∑、V为把联合W进行SVD分解后得到的三个矩阵，其中∑为对角矩阵，R*和t*分别为使E达到最小值的最优解。
通过求解得出的R*和t*，便能使MR序列三维图像中的像素位置与CT三维图像中的像素位置对齐，从而得到配准后的MR序列三维图像。
在上述实施例的基础上，本发明实施例中提供的鼻咽癌原发肿瘤图像自动识别方法，所述将所述第一多通道矩阵输入至语义分割网络模型，得到由所述语义分割网络模型输出的第二多通道矩阵，具体包括：
将所述第一多通道矩阵输入至所述语义分割网络模型的编码层，得到由所述编码层输出的特征矩阵；
将所述特征矩阵输入至所述语义分割网络模型的解码层，得到由所述解码层输出的第二多通道矩阵；
其中，所述编码层与所述解码层跳跃连接。
具体地，本发明实施例中采用的语义分割网络模型包括编码层和解码层，也即编码器(encoder)和解码器(decoder)。编码层包括卷积层和下采样层，编码层通过卷积层和下采样层对输入的第一多通道矩阵中的每一通道均进行高层次抽象特征提取，将每一通道对应的图像编码为尺寸只有原图1/16的特征图，该特征图通过特征矩阵的形式表示。解码层包括卷积层和上采样层，解码层通过卷积层和上采样层将编码层输出的特征图转换为与原图尺寸相同的三维图像，其像素点的取值表示该像素点属于鼻咽癌原发肿瘤所属区域的概率。
需要说明的是，本发明实施例中编码层中较浅层的高分辨率特征与解码层中较高层的低分辨率特征直接相连，可以解决高层特征中细节(高分辨率)信息丢失的问题。
在上述实施例的基础上，本发明实施例中提供的鼻咽癌原发肿瘤图像自动识别方法，所述编码层包括卷积层和下采样层，所述解码层包括卷积层和上采样层；
所述编码层中的卷积层以及所述解码层中的卷积层具体为EvoNorms层。
具体地，本发明实施例中，编码层中的卷积层以及解码层中的卷积层均为EvoNorms层。EvoNorms层的计算公式如下：
Figure BDA0002557388790000111
其中，x为输入矩阵，维度为d*h*w*c，d为深度(z轴)，h为高度(y轴)，w为宽度(x轴)，c为通道数，v为在训练过程中可学习的参数，σ为Sigmoid函数，sd，h，w(x)为每个通道的d*h*w矩阵的标准差，即对x的每个通道分别进行该计算，γ、β相当于传统归一化层里的在训练过程中可学习的参数。
在上述实施例的基础上，本发明实施例中提供的鼻咽癌原发肿瘤图像自动识别方法，所述将所述MR序列三维图像与所述CT三维图像进行配准之前，还包括：
分别对所述CT三维图像以及所述MR序列三维图像进行去噪处理，并分别计算去噪处理后的CT三维图像以及MR序列三维图像中像素点的最大取值和最小取值；
基于所述最大取值和所述最小取值，分别对去噪处理后的CT三维图像中像素点的取值以及去噪处理后的MR序列三维图像中像素点的取值进行更新，并将去噪处理后的CT三维图像中所有像素点的取值以及去噪处理后的MR序列三维图像中所有像素点的取值映射至0-255区间内。
具体地，本发明实施例中，在进行配准之前，可以分别对MR序列三维图像与CT三维图像进行预处理，使各个被测者的各个三维图像更加统一。预处理的具体过程如下：
1)用中值滤波法分别对MR序列三维图像与CT三维图像进行去噪处理；
2)计算去噪处理后的两个三维图像中像素点的最大取值和最小取值；
3)分别取最小取值和最大取值的一半作为新的取值范围对所有像素点的取值进行截断，即把大于最大取值的一半的像素点的取值设为最大取值一半。
4)把所有像素点的取值线性映射至[0，255]。
综上所述，本发明实施例中提供的鼻咽癌原发肿瘤图像自动识别方法与现有技术相比，具有如下优点和有益效果：
(1)本发明实施例中利用被测者的CT三维图像，辅以磁共振MR4个序列(T2、T1、T1C、T1FSC)的三维图像，通过预处理、配准等步骤有效提高输入数据的质量，从而提高语义分割网络模型的预测效果。
(2)本发明实施例中使用深度学习方法，利用编码层-解码层及跳跃连接的网络结构，能学习到高分辨率图像的全局信息和细节信息，使用EvoNorms代替传统的归一化结构，能有效提高模型的预测准确度和泛化能力。
(3)本发明实施例中使用深度学习方法，使用者可以根据需求选择需要输入模型的MR序列，具备输入端的灵活性。
(4)本发明实施例中使用深度学习方法，能同时输出多个GTV分割结果，分别表示不同的风险程度，使用者可以根据需求选择合适的输出结果，具备输出端的灵活性。
(5)本发明实施例中在放射治疗计划工作流程中实施AI辅助的轮廓加工方法，能有效提高医疗工作者的工作效率，在对放射治疗的需求不断增加的背景下，对缺乏放射治疗资源的区域尤其具有吸引力。同时该方法可以扩展适用于所有其他癌症类型，对未来改变放射治疗的工作流程带来实质性的推进。
如图2所示，在上述实施例的基础上，本发明实施例中提供了一种鼻咽癌原发肿瘤图像自动识别系统，包括：三维图像获取模块21、第一多通道矩阵确定模块22和第二多通道矩阵确定模块23。其中，
三维图像获取模块21用于获取被测者的CT三维图像以及磁共振MR序列三维图像；
第一多通道矩阵确定模块22用于将所述MR序列三维图像与所述CT三维图像进行配准，以使所述MR序列三维图像中的像素位置与所述CT三维图像中的像素位置对齐，并将所述CT三维图像的第一三维矩阵与配准后的MR序列三维图像的第二三维矩阵进行组合，得到第一多通道矩阵；
第二多通道矩阵确定模块23用于将所述第一多通道矩阵输入至语义分割网络模型，得到由所述语义分割网络模型输出的第二多通道矩阵，所述第二多通道矩阵中不同通道分别表示不同风险程度的鼻咽癌原发肿瘤的分割结果。
具体地，本发明实施例中提供的鼻咽癌原发肿瘤图像自动识别系统中各模块的作用与上述方法类实施例中各步骤的操作流程是一一对应的，实现的效果也是一致的，具体参见上述实施例，本发明实施例中对此不再赘述。
图3所示，在上述实施例的基础上，本发明实施例中提供了一种电子设备，包括：处理器(processor)301、存储器(memory)302、通信接口(Communications Interface)303和通信总线304；其中，
所述处理器301、存储器302、通信接口303通过通信总线304完成相互间的通信。所述存储器302存储有可被所述处理器301执行的程序指令，处理器301用于调用存储器302中的程序指令，以执行上述各方法实施例所提供的鼻咽癌原发肿瘤图像自动识别方法。
需要说明的是，本实施例中的电子设备在具体实现时可以为服务器，也可以为PC机，还可以为其他设备，只要其结构中包括如图3所示的处理器301、通信接口303、存储器302和通信总线304，其中处理器301、通信接口303和存储器302通过通信总线304完成相互间的通信，且处理器301可以调用存储器302中的逻辑指令以执行上述方法即可。本实施例不对电子设备的具体实现形式进行限定。
存储器302中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地，本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的鼻咽癌原发肿瘤图像自动识别方法。
在上述实施例的基础上，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的鼻咽癌原发肿瘤图像自动识别方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种鼻咽癌原发肿瘤图像自动识别方法，其特征在于，包括：
获取被测者的CT三维图像以及磁共振MR序列三维图像；
将所述MR序列三维图像与所述CT三维图像进行配准，以使所述MR序列三维图像中的像素位置与所述CT三维图像中的像素位置对齐，并将所述CT三维图像的第一三维矩阵与配准后的MR序列三维图像的第二三维矩阵中相同位置上的元素进行组合，得到第一多通道矩阵；
将所述第一多通道矩阵输入至语义分割网络模型，得到由所述语义分割网络模型输出的第二多通道矩阵，所述第二多通道矩阵中不同通道分别表示不同风险程度的鼻咽癌原发肿瘤的分割结果；
从所述第二多通道矩阵中选取任一通道，基于所述任一通道，确定三维概率图，所述三维概率图中的每个像素点的取值用于表示所述像素点属于所述鼻咽癌原发肿瘤的所属区域的概率值；
将所述三维概率图中取值大于预设阈值的像素点标记为1，否则标记为0，得到所述任一通道表示的鼻咽癌原发肿瘤的分割结果。
2.根据权利要求1所述的鼻咽癌原发肿瘤图像自动识别方法，其特征在于，所述将所述MR序列三维图像与所述CT三维图像进行配准，具体包括：
分别确定所述CT三维图像的第一二值化图以及所述MR序列三维图像的第二二值化图，并基于所述第一二值化图中取值为1的像素点的位置信息以及所述第二二值化图中取值为1的像素点的位置信息构造配准能量函数；
基于所述配准能量函数取最小值时的配准参数，确定变换矩阵和位移，基于所述变换矩阵以及所述位移，对所述MR序列三维图像进行变换操作以及平移操作，使操作后的MR序列三维图像中的像素位置与所述CT三维图像中的像素位置对齐。
3.根据权利要求2所述的鼻咽癌原发肿瘤图像自动识别方法，其特征在于，所述第一二值化图中所有取值为1的像素点的位置信息构成第一像素位置列表，所述第二二值化图中取值为1的像素点的位置信息构成第二像素位置列表；
相应地，所述配准能量函数取最小值时的配准参数具体通过如下方法确定：
确定所述第一像素位置列表中所有元素的第一均值以及所述第二像素位置列表中所有元素的第二均值；
基于所述第一像素位置列表中每一元素、所述第一均值、所述第二像素列表中每一元素以及所述第二均值，构建联合矩阵；
对所述联合矩阵进行分解，并基于分解的结果以及所述第一均值和所述第二均值，求解所述配准能量函数取最小值时的配准参数。
4.根据权利要求1所述的鼻咽癌原发肿瘤图像自动识别方法，其特征在于，所述将所述第一多通道矩阵输入至语义分割网络模型，得到由所述语义分割网络模型输出的第二多通道矩阵，具体包括：
将所述第一多通道矩阵输入至所述语义分割网络模型的编码层，得到由所述编码层输出的特征矩阵；
将所述特征矩阵输入至所述语义分割网络模型的解码层，得到由所述解码层输出的第二多通道矩阵；
其中，所述编码层与所述解码层跳跃连接。
5.根据权利要求4所述的鼻咽癌原发肿瘤图像自动识别方法，其特征在于，所述编码层包括卷积层和下采样层，所述解码层包括卷积层和上采样层；
所述编码层中的卷积层以及所述解码层中的卷积层具体为EvoNorms层。
6.根据权利要求1-5任一项所述的鼻咽癌原发肿瘤图像自动识别方法，其特征在于，所述将所述MR序列三维图像与所述CT三维图像进行配准之前，还包括：
分别对所述CT三维图像以及所述MR序列三维图像进行去噪处理，并分别计算去噪处理后的CT三维图像以及MR序列三维图像中像素点的最大取值和最小取值；
基于所述最大取值和所述最小取值，分别对去噪处理后的CT三维图像中像素点的取值以及去噪处理后的MR序列三维图像中像素点的取值进行更新，并将去噪处理后的CT三维图像中所有像素点的取值以及去噪处理后的MR序列三维图像中所有像素点的取值映射至0-255区间内。
7.一种鼻咽癌原发肿瘤图像自动识别系统，其特征在于，包括：
三维图像获取模块，用于获取被测者的CT三维图像以及磁共振MR序列三维图像；
第一多通道矩阵确定模块，用于将所述MR序列三维图像与所述CT三维图像进行配准，以使所述MR序列三维图像中的像素位置与所述CT三维图像中的像素位置对齐，并将所述CT三维图像的第一三维矩阵与配准后的MR序列三维图像的第二三维矩阵中相同位置上的元素进行组合，得到第一多通道矩阵；
第二多通道矩阵确定模块，用于将所述第一多通道矩阵输入至语义分割网络模型，得到由所述语义分割网络模型输出的第二多通道矩阵，所述第二多通道矩阵中不同通道分别表示不同风险程度的鼻咽癌原发肿瘤的分割结果；
三维概率图确定模块，用于从所述第二多通道矩阵中选取任一通道，基于所述任一通道，确定三维概率图，所述三维概率图中的每个像素点的取值用于表示所述像素点属于所述鼻咽癌原发肿瘤的所属区域的概率值；
分割结果确定模块，用于将所述三维概率图中取值大于预设阈值的像素点标记为1，否则标记为0，得到所述任一通道表示的鼻咽癌原发肿瘤的分割结果。
8.一种电子设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一项所述的鼻咽癌原发肿瘤图像自动识别方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-6中任一项所述的鼻咽癌原发肿瘤图像自动识别方法的步骤。
CN202010595992.2A 2020-06-28 2020-06-28 鼻咽癌原发肿瘤图像自动识别方法及系统 Active CN111784706B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010595992.2A CN111784706B (zh) 2020-06-28 2020-06-28 鼻咽癌原发肿瘤图像自动识别方法及系统
PCT/CN2021/083154 WO2022001237A1 (zh) 2020-06-28 2021-03-26 鼻咽癌原发肿瘤图像自动识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010595992.2A CN111784706B (zh) 2020-06-28 2020-06-28 鼻咽癌原发肿瘤图像自动识别方法及系统

Publications (2)

Publication Number Publication Date
CN111784706A CN111784706A (zh) 2020-10-16
CN111784706B true CN111784706B (zh) 2021-06-04

Family

ID=72760136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010595992.2A Active CN111784706B (zh) 2020-06-28 2020-06-28 鼻咽癌原发肿瘤图像自动识别方法及系统

Country Status (2)

Country Link
CN (1) CN111784706B (zh)
WO (1) WO2022001237A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784706B (zh) * 2020-06-28 2021-06-04 广州柏视医疗科技有限公司 鼻咽癌原发肿瘤图像自动识别方法及系统
CN112508910A (zh) * 2020-12-02 2021-03-16 创新奇智(深圳)技术有限公司 用于多分类缺陷检测的缺陷提取方法及装置
CN113298855B (zh) * 2021-05-27 2021-12-28 广州柏视医疗科技有限公司 基于自动勾画的图像配准方法
CN115170510B (zh) * 2022-07-04 2023-04-07 北京医准智能科技有限公司 一种病灶检测方法、装置、电子设备及可读存储介质
CN117173092B (zh) * 2023-06-28 2024-04-09 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） 一种基于图像处理的鼻咽癌放疗方法及系统
CN117197472B (zh) * 2023-11-07 2024-03-08 四川农业大学 基于鼻出血内窥镜影像的高效师生半监督分割方法及装置
CN117288659B (zh) * 2023-11-24 2024-02-13 深圳市前海高新国际医疗管理有限公司 基于ai的肿瘤干细胞与正常细胞的形态学分析系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272510A (zh) * 2018-07-24 2019-01-25 清华大学 一种三维医学图像中管状结构的分割方法
CN110232691A (zh) * 2019-04-18 2019-09-13 浙江大学山东工业技术研究院 一种多模态的ct影像的分割方法
CN111091589A (zh) * 2019-11-25 2020-05-01 北京理工大学 基于多尺度监督学习的超声和核磁图像配准方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100456323C (zh) * 2006-11-17 2009-01-28 南方医科大学 三维图像的快速配准方法
MX341922B (es) * 2011-07-13 2016-09-07 The Multiple Myeloma Res Found Inc Metodos de captacion y distribucion de datos.
US8588498B2 (en) * 2011-09-30 2013-11-19 General Electric Company System and method for segmenting bones on MR images
CN109410188B (zh) * 2017-10-13 2021-06-04 科亚医疗科技股份有限公司 用于对医学图像进行分割的系统和方法
CN108257134B (zh) * 2017-12-21 2022-08-23 深圳大学 基于深度学习的鼻咽癌病灶自动分割方法和系统
CN110211079B (zh) * 2019-05-22 2021-07-13 首都医科大学 医学图像的融合方法及装置
CN110464353A (zh) * 2019-08-21 2019-11-19 南方医科大学 一种基于深度卷积神经网络的伪ct合成方法及应用
CN111008984B (zh) * 2019-12-10 2021-03-12 广州柏视医疗科技有限公司 医学影像中正常器官的轮廓线自动勾画方法
CN110969619B (zh) * 2019-12-19 2021-06-29 广州柏视医疗科技有限公司 一种自动识别鼻咽癌原发肿瘤的方法及装置
CN111091560A (zh) * 2019-12-19 2020-05-01 广州柏视医疗科技有限公司 鼻咽癌原发肿瘤图像识别方法及系统
CN111784706B (zh) * 2020-06-28 2021-06-04 广州柏视医疗科技有限公司 鼻咽癌原发肿瘤图像自动识别方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272510A (zh) * 2018-07-24 2019-01-25 清华大学 一种三维医学图像中管状结构的分割方法
CN110232691A (zh) * 2019-04-18 2019-09-13 浙江大学山东工业技术研究院 一种多模态的ct影像的分割方法
CN111091589A (zh) * 2019-11-25 2020-05-01 北京理工大学 基于多尺度监督学习的超声和核磁图像配准方法及装置

Also Published As

Publication number Publication date
WO2022001237A1 (zh) 2022-01-06
CN111784706A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN111784706B (zh) 鼻咽癌原发肿瘤图像自动识别方法及系统
CN108537784B (zh) 一种基于深度学习的ct图肺结节检测方法
CN109815850B (zh) 基于深度学习的虹膜图像分割及定位方法、系统、装置
CN110176012B (zh) 图像中的目标分割方法、池化方法、装置及存储介质
CN110555835B (zh) 一种脑片图像区域划分方法及装置
CN111325750B (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN111462264B (zh) 医学图像重建方法、医学图像重建网络训练方法和装置
CN110490927B (zh) 用于为图像中的对象生成中心线的方法、装置和系统
CN115661144A (zh) 基于可变形U-Net的自适应医学图像分割方法
WO2024011835A1 (zh) 一种图像处理方法、装置、设备及可读存储介质
CN112602114A (zh) 图像处理方法及装置、神经网络及训练方法、存储介质
CN111091560A (zh) 鼻咽癌原发肿瘤图像识别方法及系统
CN115496720A (zh) 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备
CN112330645A (zh) 基于注意力机制的胶质瘤分级方法以及装置
CN115830163A (zh) 基于深度学习的确定性引导的渐进式医学图像跨模态生成方法和装置
CN110992310A (zh) 一种确定纵隔淋巴结所在分区的方法及装置
CN113344933B (zh) 一种基于多层次特征融合网络的腺体细胞分割方法
CN114283406A (zh) 细胞图像识别方法、装置、设备、介质及计算机程序产品
CN112529915B (zh) 一种脑肿瘤图像分割方法及系统
WO2024104035A1 (zh) 基于长短期记忆自注意力模型的三维医学图像分割方法及系统
Dou et al. Tooth instance segmentation based on capturing dependencies and receptive field adjustment in cone beam computed tomography
CN111582449B (zh) 一种目标域检测网络的训练方法、装置、设备及存储介质
WO2021184195A1 (zh) 医学图像重建方法、医学图像重建网络训练方法和装置
CN113610746A (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN117058367A (zh) 高分辨率遥感影像建筑物语义分割方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant