CN112561877A - 多尺度双通道卷积模型训练方法、图像处理方法及装置 - Google Patents

多尺度双通道卷积模型训练方法、图像处理方法及装置 Download PDF

Info

Publication number
CN112561877A
CN112561877A CN202011475026.3A CN202011475026A CN112561877A CN 112561877 A CN112561877 A CN 112561877A CN 202011475026 A CN202011475026 A CN 202011475026A CN 112561877 A CN112561877 A CN 112561877A
Authority
CN
China
Prior art keywords
image
processing
characteristic
deconvolution
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011475026.3A
Other languages
English (en)
Other versions
CN112561877B (zh
Inventor
贾富仓
郑绥昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202011475026.3A priority Critical patent/CN112561877B/zh
Publication of CN112561877A publication Critical patent/CN112561877A/zh
Application granted granted Critical
Publication of CN112561877B publication Critical patent/CN112561877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种多尺度双通道卷积模型训练方法、肿瘤分割方法及装置，该多尺度双通道卷积模型训练方法包括：获取输入图像；对输入图像进行两次卷积处理，并将处理后的输入图像进行双通道上采样处理，得到第一图像和第二图像；分别对第一图像和第二图像进行两次卷积处理和一次最大池化处理，将处理过的第一图像和第二图像进行融合，得到卷积图像；对特征图像与输入图像进行多比例缩放融合，并对融合后的图像进行两次卷积处理，得到特征图像；其中特征图像包括输入图像的特征信息。通过上述卷积层对图像进行图像进行卷积处理，能提取更多的特征信息，并避免了特征信息的丢失。

Description

多尺度双通道卷积模型训练方法、图像处理方法及装置
技术领域
本发明涉及图像分割技术领域，特别是涉及一种多尺度双通道卷积模型训练方法、图像处理方法及装置。
背景技术
结直肠肿瘤是消化道的常见恶性肿瘤，大肠肿瘤的准确定位在适当治疗方案的诊断和设计中起着至关重要的作用。目前治疗结直肠肿瘤的手段通常是通过肿瘤切除、放射治疗等。想要进行精确的肿瘤切除，不仅要借助科学技术的手段去显示肿瘤的位置，大小和形状等信息，还需要具有丰富的临床经验的专业医生去诊断。与计算机断层扫描(CT)，单光子发射计算机断层扫描(SPECT)和正电子发射断层扫描(PET)等成像技术相比，磁共振成像(MRI)可以提供更加准确的结直肠肿瘤的形状，大小和位置等信息。目前在实际的临床工作中，主要通过专业的医生手动标注肿瘤区域，医生手工标注是一个及费力又费时的工作。需要标注医师有丰富的标注经验，因为每个人的肿瘤形状复杂多变。同时由于人工手动勾画往往会带有个人的主观意识，会造成一定的偏差，导可能会致误诊及漏诊的情况。
手动分割技术要求医生具有丰富的勾画经验和高超的医学学术水平。如果手动分割结直肠肿瘤的医生经验不足，就不能得到准确的分割结果。即使是经验丰富的医生也会带有个人主观意识，对同一幅图像的病灶区域多次勾画的结果也可能不同，其一致性和可重复性是难以得到保证的，分割的精度不准确会对医生的诊断和治疗规划的设定造成不良的影响。所以为了获得更加精准的分割结果，必然需要科学技术的辅助。因此，研究者们就开始研究一种全自动的、不依赖医生主观意识的、精度高的医疗图像分割方法，这样不仅可以提高肿瘤分割结果的精度，使医生更好的对病人诊断，同时也可以减轻医生的工作量，也为病人争取到了更多的治疗时间，促进了现代化医疗的进一步发展。
医学图像分析是利用深度学习算法对MRI(核磁共振成像)检测的医学图像进行病灶检测和图像分割的技术。
发明内容
本申请主要解决的技术问题是提供一种多尺度双通道卷积模型训练方法、图像处理方法及装置，是利用深度学习算法MRI(核磁共振成像)检测的医学图像进行病灶检测和图像分割的技术，以提高对肿瘤分割的精确度。
为解决上述问题，本申请提供了一种多尺度双通道卷积模型训练方法，包括：获取输入图像；对输入图像进行两次卷积处理，并将处理后的输入图像进行双通道上采样处理，得到第一图像和第二图像；分别对第一图像和第二图像进行两次卷积处理和一次最大池化处理，将处理过的第一图像和第二图像进行融合，得到卷积图像；对特征图像与输入图像进行多比例缩放融合，并对融合后的图像进行两次卷积处理，得到特征图像，特征图像包括输入图像的特征信息。
其中，对卷积图像与输入图像进行多比例缩放融合，并对融合后的图像进行两次卷积处理，得到特征图像的步骤之前还包括：将卷积图像调整到与输入图像相同大小；使用残差网络对调整后的特征图像与输入图像进行多比例缩放融合，得到特征图像。
其中，对输入图像进行两次卷积处理，并将处理后的图像进行双通道上采样处理，得到第一图像和第二图像的步骤包括：对输入图像进行两次卷积处理，收集输入图像的全局信息；对处理后的输入图像进行对称上采样处理，得到第一图像和第二图像；其中，第一图像和第二图像的分辨率相同，第一图像和第二图像的分辨率是输入图像的分辨率的两倍。
其中，对特征图像与输入图像进行多比例缩放融合，并对融合后的图像进行两次卷积处理，得到特征图像的步骤包括：对特征图像的特征信息与输入图像的特征信息进行融合，并对特征融合后的图像进行两次卷积处理，得到特征图像；其中，特征图像包括输入图像的特征信息。
本申请还提供一种肿瘤分割方法，分割方法包括：获取上述任一实施例的多尺度双通道卷积模型；将采集到的初始图像作为输入图像输入到多尺度双通道卷积模型中进行多次多尺度卷积处理，得到特征图像；其中，特征图像包括初始图像的特征信息；对特征图像进行两次单通道卷积处理，得到底层特征图像；对底层特征图像进行反卷积处理，得到反卷积图像，其中，反卷积图像包括特征图像的特征信息；对反卷积图像进行概率输出处理得到分割图像。
其中，将采集到的初始图像作为输入图像输入到多尺度双通道卷积模型中进行多次多尺度卷积处理，得到特征图像的步骤包括：将下采样处理之后的特征图像作为输入图像输入到多尺度双通道卷积模型中进行处理，得到第一特征图像；其中，第一特征图像包括初始图像的特征信息；对第一特征图像进行下采样处理；将下采样处理之后的第一特征图像作为输入图像输入到多尺度双通道卷积模型中进行处理，得到第二特征图像；其中，第二特征图像包括第一特征图像的特征信息；对第二特征图像进行下采样处理；将下采样处理之后的第二特征图像作为输入图像输入到多尺度双通道卷积模型中进行处理，得到第三特征图像；其中，第三特征图像包括第二特征图像的特征信息；对第三特征图像进行下采样处理；将进行下采样处理之后的第三特征图像作为输入图像输入到多尺度双通道卷积模型中进行处理，得到第四特征图像；其中，第四特征图像包括第三特征图像的特征信息。
其中，对底层特征图像进行反卷积处理，得到反卷积图像，其中，反卷积图像包括特征图像的特征信息的步骤之间还包括：对底层特征图像进行上采样处理；对底层特征图像进行反卷积处理，得到反卷积图像，其中，反卷积图像包括特征图像的特征信息的步骤包括：将上采样处理后的底层特征图像与第四特征图像进行融合处理，并进行两次反卷积处理，得到第四反卷积图像；对第四反卷积图像进行上采样处理；将上采样处理后的第四反卷积图像与第三特征图像进行融合处理，并进行两次反卷积处理，得到第三反卷积图像；对第三反卷积图像进行上采样处理；将上采样处理后的第三反卷积图像与第二特征图像进行融合处理，并进行两次反卷积处理，得到第二反卷积图像；对第二反卷积图像进行上采样处理；将上采样处理后的第二反卷积图像与第一特征图像进行融合处理，并进行两次反卷积处理，得到第一反卷积图像。
其中，使用损失函数对卷积处理进行优化，其中，损失函数为：
LossFL(pt)＝-αt(1-pt)γlog(pt)
Figure BDA0002834959190000041
其中，y∈{-1,+1},pt∈{0,1}是标签y＝1的类别的估计概率，γ为聚焦参数，平滑地调整了简单示例的权重。
本申请还提供了一种计算机可读存储介质，包括：计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施方式的多尺度双通道卷积模型训练方法中的步骤或上述任一实施方式的肿瘤分割方法中的步骤。
本申请的有益效果是：通过将获取到的初始图像经过两个连续的卷积处理之后，再经由两个对称上采样通道将初始图像的分辨率扩大两倍，得到第一图像和第二图像，将第一图像和第二图像经过两个连续的用于特征提取的卷积处理，使神经网络可以学到跟多的肿瘤细节特征信息，再通过一个用于下采样的最大池化操作将第一图像和第二图像恢复到初始图像大小并融合，使神经网络学习到更加准确的肿瘤位置信息。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请多尺度双通道卷积模型训练方法一实施方式的流程示意图；
图2是本申请多尺度双通道卷积模型训练方法一实施方式的结构示意图；
图3是本申请应用于肿瘤分割的图像处理方法一实施方式的流程示意图；
图4是本申请基于多尺度双通道卷积模型的U型深度网络分割方法一实施方式的框架示意图；
图5a是图4中编码阶段图像处理方法一实施方式的结构示意图；
图5b是图4中解码阶段图像处理方法一实施方式的结构示意图；
图6是本申请基于多尺度双通道卷积模型的图像处理装置一实施方式的框架示意图；
图7是本申请计算机可读存储介质一实施方式的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“”和“该”也旨在包括多数形式，除非上文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
应当理解，本文中使用的术语“包括”、“包含”或者其他任何变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的每一个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
请参阅图1，图1为本申请多尺度双通道卷积模型训练方法一种施方式的流程示意图，该方法包括以下步骤：
步骤S11：获取输入图像。
步骤S12：对输入图像进行两次卷积处理，并将处理后的输入图像进行双通道上采样处理，得到第一图像和第二图像。
其中，卷积处理的卷积核大小为3×3。
具体包括：将输入图像经过两个连续的卷积核大小为3×3的卷积层进行卷积处理，该3×3卷积层用于提取图像中的特征信息。将处理后的图像经过两个对称上采样通道将输入图像的分辨率扩大两倍，得到第一图像和第二图像，其中，第一图像和第二图像的分辨率相同。
步骤S13：分别对第一图像和第二图像进行两次卷积处理和一次最大池化处理，将处理过的第一图像和第二图像进行融合，得到特征图像。
分别对第一图像和第二图像进行两个连续的3×3的卷积层进行卷积处理，以提取到输入图像更多的特征信息，其中，经过卷积处理后的第一图像和第二图像的特征信息不同，分辨率相同。通过一个3×3的卷积层对第一图像和第二图像进行的最大池化处理，将第一图像和第二图像恢复到与输入图像相同大小。并将将经过卷积和池化处理之后的第一图像和第二图像进行融合，得到卷积图像。
需要说明的是，最大池化处理又称为下采样处理，对图像中的最大特征值进行提取。在其他实施例中，还可以使用平均池化和最小池化处理，平均池化和最小池化处后的输出值分别为选定区域的平均值和最小值。经过最大池化处理后的图像大小降低，具体地，图像的分辨率降低到原图像的二分之一倍。
步骤S14：对特征图像与输入图像进行多比例缩放融合，并对融合后的图像进行两次卷积处理，得到特征图像。
其中，特征图像与输入图像的分辨率相同。对特征图像与输入图像进行多比例缩放融合的步骤包括：使用残差网络对特征图像和输入图像进行融合处理。其中，残差网络的特征是在网络中使用Shortcut连接，被连接的两个特征图进行逐像素相加。因此需要保证Shortcut两端的张量具备相同的尺寸。需要说明的是，每次卷积处理之后张量的尺寸都会变小，通过残差连接，以保证卷积前后的张量尺寸一致。
本申请中的图像融合都是使用残差网络连接进行处理，以避免图像的特征信息的流失。
本申请还提供一种多尺度双通道卷积模型训练方法一实施方式的结构示意图，具体如图2所示。其中，横向箭头表示卷积处理，左侧向上/向下箭头表示上采样处理，右侧向下/向上箭头表示下采样处理，矩形方框表示图像或图层。
输入图像经过两次卷积处理之后，进行对称的双通道上采样处理，分成第一图像和第二图像，其中，第一图像和第二图像为对称图像，第一图像和第二图像的像素信息相同；再分别对第一图像和第二图像进行对称的两次卷积处理，其中，使用不同的卷积层值对第一图像和第二图像进行卷积处理，得到不同的图像特征信息。对进行两次对称的卷积处理之后的第一图像和第二图像进行下采样处理并融合，将融合后的图像与输入图像进行卷积融合，并将融合图像进行两次卷积处理，得到提取有图像特征信息的特征图像。
在本实施例中是对肿瘤细胞进行提取，并将肿瘤细胞与正常细胞进行图像分割，提取出肿瘤细胞信息的边缘位置有助于对肿瘤细胞的分割。
本实施例的有益效果是：通过将获取到的输入图像经过两个连续的卷积处理之后，再经由两个对称上采样通道将输入图像的分辨率扩大两倍，得到第一图像和第二图像，将第一图像和第二图像经过两个连续的用于特征提取的卷积处理，使神经网络可以学到跟多的肿瘤细节特征信息，再通过一个用于下采样的最大池化操作将第一图像和第二图像恢复到输入图像大小并融合，使神经网络学习到更加准确的肿瘤位置信息。
本申请还提供一种肿瘤分割方法，该分割方法基于多尺度U型深度网络的分割方法，请参阅图3，图3为本申请应用于肿瘤分割的图像处理方法一实施方式的流程示意图。具体包括：
步骤S31：获取多尺度双通道卷积模型。
其中，多尺度双通道卷积模型是通过上述实施方法建立的多尺度双通道卷积模型。
步骤S32：将采集到的初始图像作为输入图像输入到多尺度双通道卷积模型中进行多次多尺度卷积处理，得到特征图像；其中，特征图像包括初始图像的特征信息。
其中，初始图像是通过核磁共振检测得到的MRI图像。本申请是通过改型后的U型网络对MRI图像中的肿瘤细胞的边缘进行检测，得到正常细胞与肿瘤细胞的分割图像，以便对肿瘤细胞的切除。
多尺度双通道卷积模型用于提取图像中的特征信息。具体地，将初始图像输入到多尺度双通道卷积模型中按照多尺度双通道卷积模型训练方法进行多尺度卷积处理。在本实施例中，具体进行四次多尺度卷双通道积处理。其中，步骤S32中还包括将经过多尺度双通道卷积模型中进行处理过的图像进行下采样处理，对图像的分辨率进行调整。
请进一步参阅图4，图4为本申请一种基于多尺度双通道卷积模型的U型深度网络分割方法一实施方式的框架示意图。U型网络包括编码过程和解码过程，U型模型的左侧为编码过程，U型网络的右侧为解码过程。步骤S32是对图像进行深度网络编码过程，如图4左侧所示，具体处理步骤包括：
将采集到的初始图像作为输入图像输入到多尺度双通道卷积模型中进行第一次多尺度卷积处理，得到第一特征图像。其中，假设初始图像的分辨率为256×256×64。
具体地，将初始图像作为输入图像输入到多尺度双通道卷积模型中进行卷积两次卷积处理，再经过对称双通道上采样处理，得到输入图像的第一图像和第二图像，分别对输入图像的第一图像和第二图像进行两次卷积处理，再进行下采样处理融合，将融合的图像与输入图像进行两次卷积处理，得到第一特征图像。具体地，请参阅图5a，图5a是图4编码阶段图像处理方法一实施方式的结构示意图，具体对应图4左侧编码图像中每层图像的卷积处理的具体处理步骤。
对第一特征图像进行下采样处理。具体地，将第一特征图像的分辨率调整到128×128×128。
将下采样处理之后的第一特征图像作为输入图像输入到多尺度双通道卷积模型中进行第二次多尺度卷积处理，得到第二特征图像。具体地，将第一特征图像作为输入图像输入到多尺度双通道卷积模型中进行卷积两次卷积处理，再经过对称双通道上采样处理，得到输入图像的第一图像和第二图像，分别对输入图像的第一图像和第二图像进行两次卷积处理，再进行下采样处理融合，将融合的图像与输入图像进行两次卷积处理，得到第二特征图像。
对第二特征图像进行下采样处理。具体地，将第二特征图像的分辨率调整到64×64×256。
将下采样处理之后的第二特征图像作为输入图像输入到多尺度双通道卷积模型中进行第三次多尺度卷积处理，得到第三特征图像。具体地，将第二特征图像作为输入图像输入到多尺度双通道卷积模型中进行卷积两次卷积处理，再经过对称双通道上采样处理，得到输入图像的第一图像和第二图像，分别对输入图像的第一图像和第二图像进行两次卷积处理，再进行下采样处理融合，将融合的图像与输入图像进行两次卷积处理，得到第三特征图像。
对第三特征图像进行下采样处理。具体地，将第三特征图像的分辨率调整到32×32×512。
将下采样处理之后的第三特征图像作为输入图像输入到多尺度双通道卷积模型中进行第四次多尺度卷积处理，得到第四特征图像。具体地，将第三特征图像作为输入图像输入到多尺度双通道卷积模型中进行卷积两次卷积处理，再经过对称双通道上采样处理，得到输入图像的第一图像和第二图像，分别对输入图像的第一图像和第二图像进行两次卷积处理，再进行下采样处理融合，将融合的图像与输入图像进行两次卷积处理，得到第四特征图像。
对第四特征图像进行下采样处理。具体地，将第四特征图像的分辨率调整到16×16×1024。
在本实施例中，第四特征图像为经过四次多尺度双通道卷积模型处理过的特征图像。
上述步骤S32中对图像均是使用多尺度双通道卷积处理。
需要说明的是，本实施例中是使用二维卷积层对三维图像进行卷积处理。
步骤S33：对特征图像进行两次单通道卷积处理，得到底层特征图像。
具体地，将第四特征图像经过两个连续的卷积层进行卷积处理之后，得到底层特征图像。其中，底层特征图像的分辨率为16×16×1024。
步骤S34：对底层特征图像进行反卷积处理，得到反卷积图像；其中，反卷积图像包含特征图像的特征信息。
具体请参阅图4右侧所示，右侧为解码过程，具体反卷积处理步骤包括：
对底层特征图像进行反卷积处理之前还包括：对底层特征图像进行上采样处理，其中经过上采样处理之后的底层特征图像的分辨率为32×32×512。具体包括：
对底层图像进行上采样处理。其中，经过上采样处理之后的底层特征图像的分辨率为32×32×512。
将经过上采样处理之后的底层特征图像与第四特征图像进行融合，并对融合的图像经过两个连续的卷积层进行反卷积处理，得到第四反卷积图像。其中，第四反卷积图像包含底层特征图像的特征信息。具体地，请参阅图5b，图5b是图4中解码阶段图像处理方法一实施方法的结构示意图，具体对应图4右侧解码阶段每层图像的卷积处理方法。
将上采样处理之后的底层特征图像与未经下采样处理的第四特征图像进行融合，具体使用残差结构进行融合。将融合后的图像进行两个连续的卷积层进行反卷积处理，其中，反卷积处理的的方法与多尺度双通道卷积层进行卷积处理的方法对应，反卷积层同样使用对称的上采样通道对图像进行反卷积处理。进行反卷积处理之后得到第四反卷积图像。其中，第四反卷积图像包含第四特征图像的特征信息。
对第四反卷积图像进行上采样处理。其中，经过上采样处理之后的第四反卷积图像的分辨率为64×64×256。
将经过上采样处理之后的第四反卷积图像与第三特征图像进行融合，并对融合的图像经过两个连续的卷积层进行反卷积处理，得到第三反卷积图像。其中，第三反卷积图像包含第三特征图像的特征信息。
对第三反卷积图像进行上采样处理。经过上采样处理之后的第三反卷积图像的分辨率为128×128×128。
将经过上采样处理之后的第三反卷积图像与第二特征图像进行融合，并对融合的图像经过两个连续的卷积层进行反卷积处理，得到第二反卷积图像。其中，第二反卷积图像包含第二特征图像的特征信息。
对第二反卷积图像进行上采样处理。经过上采样处理之后的第二反卷积图像的分辨率为256×256×64。
将经过上采样处理之后的第二方卷积图像与第一特征图像进行融合，并对融合后的图像经过两个连续的卷积层进行反卷积处理，得到第一反卷积图像。其中，第一反卷积图像包含第一特征图像的特征信息。
在本实施例中，每个卷积和反卷积后面均接一个线性修正单元(RELU)对卷积参数进行修正。图像与图像的融合使用残差网络连接融合，在本实施例中还包括：对每个图层进行多尺度双通道卷积模型训练方法进行处理之后的图像，进行残差网络处理后，再输入至下一图层进行处理。
本实施例中还包括：使用损失函数对卷积处理进行优化。通过损失函数对每一卷积处理后的图像进行损失函数优化，能更好地得到图像的特征信息。在本实施例中，损失函数为：
LossFL(pt)＝-αt(1-pt)γlog(pt)
Figure BDA0002834959190000121
其中，y∈{-1,+1},pt∈{0,1}是标签y＝1的类别的估计概率，γ为聚焦参数，平滑地调整了简单示例的权重。
步骤S35：对反卷积图像进行概率输出处理得到分割图像。
具体地，使用1×1的卷积层来对每个像素所属的概率图进行输出，得到分割图像。其中，对反卷积图像进行概率输出的激活函数使用的是sigmoid函数。
本实施例的有益效果是：通过多尺度双通道卷积模型训练方法，对编码层的多尺度特征融合可以充分利用编码层的特征信息，经过上采样使网络可以学习到更多的细节特征信息，再经过残差网络连接使网络可以学习到更加精确的图像中肿瘤边界的位置信息，同时，通过残差结构连接避免的过多的跳跃连接和密集连接造成的特征信息丢失的可能。
本申请还提供一种基于多尺度双通道卷积模型的图像处理装置，具体请参阅图6，计算机可存储介质60包括处理器61和存储器62。
本实施方式中，存储器62用于存储程序数据，程序数据被执行时可实现如上述任一实施例的多尺度双通道卷积模型训练方法的步骤或上述任一肿瘤分割方法中的步骤；处理器61用于执行存储器62存储的程序指令以实现上述任一方法实施例中的步骤或者上述任一方法实施例中多尺度双通道模型或肿瘤分割方法对应执行的步骤。
具体而言，处理器61用于控制其自身以及存储器62以实现上述任一轨迹获取方法实施例中的步骤。处理器61还可以称为CPU(Central Processing Unit，中央处理单元)。处理器61可能是一种集成电路芯片，具有信号的处理能力。处理器61还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器61可以由多个集成电路芯片共同实现。
本申请还提供一种计算机可读存储介质，如图7所示，图7是本申请计算机可读存储介质一实施方式的结构示意图。
计算机可读存储介质70包括计算机可读存储介质70上存储的计算机程序701，计算机程序701被上述处理器执行时实现上述任一方法实施例中的步骤或者上述方法实施例中多尺度双通道卷积模型训练方法中的步骤或应用于肿瘤分割的图像处理方法对应执行的步骤。
具体地，集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质70中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质70中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质70包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种多尺度双通道卷积模型训练方法，其特征在于，所述多尺度双通道卷积模型训练方法包括：
获取输入图像；
对所述输入图像进行两次卷积处理，并将处理后的所述输入图像进行双通道上采样处理，得到第一图像和第二图像；
分别对所述第一图像和所述第二图像进行两次卷积处理和一次最大池化处理，将处理过的所述第一图像和所述第二图像进行融合，得到卷积图像；
对所述卷积图像与所述输入图像进行多比例缩放融合，并对融合后的图像进行两次卷积处理，得到特征图像；其中所述特征图像包括输入图像的特征信息。
2.根据权利要求1所述的多尺度双通道卷积模型训练方法，其特征在于，所述对所述卷积图像与所述输入图像进行多比例缩放融合，并对融合后的图像进行两次卷积处理，得到特征图像的步骤之前还包括：
将所述卷积图像调整到与所述输入图像相同大小；
使用残差网络对调整后的所述特征图像与所述输入图像进行多比例缩放融合，得到所述特征图像。
3.根据权利要求1所述的多尺度双通道卷积模型训练方法，其特征在于，所述对所述输入图像进行两次卷积处理，并将处理后的所述输入图像进行双通道上采样处理，得到第一图像和第二图像的步骤包括：
对所述输入图像进行两次卷积处理，收集所述输入图像的全局信息；
对处理后的所述输入图像进行对称上采样处理，得到所述第一图像和所述第二图像；
其中，所述第一图像和所述第二图像的分辨率相同，所述第一图像和所述第二图像的分辨率是所述输入图像的分辨率的两倍。
4.根据权利要求1所述的多尺度双通道卷积模型训练方法，其特征在于，所述对所述卷积图像与所述输入图像进行多比例缩放融合，并对融合后的图像进行两次卷积处理，得到特征图像的步骤包括：
对所述卷积图像的特征信息与所述输入图像的特征信息进行融合，并对特征融合后的图像进行两次卷积处理，得到特征图像；其中，所述特征图像包括所述输入图像的特征信息。
5.一种应用于肿瘤分割的图像处理方法，其特征在于，所述图像处理方法包括：
获取如权利要求1～4中任一项所述的多尺度双通道卷积模型训练方法；
将采集到的所述初始图像作为输入图像输入到所述多尺度双通道卷积模型中进行多次多尺度卷积处理，得到特征图像；其中，所述特征图像包括所述初始图像的特征信息；
对所述特征图像进行两次单通道卷积处理，得到底层特征图像；
对所述底层特征图像进行反卷积处理，得到反卷积图像，其中，所述反卷积图像包括所述特征图像的特征信息；
对所述反卷积图像进行概率输出处理得到分割图像。
6.根据权利要求5所述的图像处理方法，其特征在于，所述将采集到的所述初始图像作为输入图像输入到所述多尺度双通道卷积模型中进行多次多尺度卷积处理，得到特征图像的步骤包括：
将下采样处理之后的所述特征图像作为输入图像输入到多尺度双通道卷积模型中进行处理，得到第一特征图像；其中，所述第一特征图像包括所述初始图像的特征信息；
对所述第一特征图像进行下采样处理；
将下采样处理之后的所述第一特征图像作为输入图像输入到多尺度双通道卷积模型中进行处理，得到第二特征图像；其中，所述第二特征图像包括所述第一特征图像的特征信息；
对所述第二特征图像进行下采样处理；
将下采样处理之后的所述第二特征图像作为输入图像输入到多尺度双通道卷积模型中进行处理，得到第三特征图像；其中，所述第三特征图像包括所述第二特征图像的特征信息；
对所述第三特征图像进行下采样处理；
将进行下采样处理之后的所述第三特征图像作为输入图像输入到多尺度双通道卷积模型中进行处理，得到第四特征图像；其中，所述第四特征图像包括所述第三特征图像的特征信息。
7.根据权利要求6所述的图像处理方法，其特征在于，所述对所述底层特征图像进行反卷积处理，得到反卷积图像，其中，所述反卷积图像包括所述特征图像的特征信息的步骤之间还包括：
对所述底层特征图像进行上采样处理；
所述对所述底层特征图像进行反卷积处理，得到反卷积图像，其中，所述反卷积图像包括所述特征图像的特征信息的步骤包括：
将上采样处理后的所述底层特征图像与所述第四特征图像进行融合处理，并进行两次反卷积处理，得到第四反卷积图像；
对所述第四反卷积图像进行上采样处理；
将上采样处理后的所述第四反卷积图像与所述第三特征图像进行融合处理，并进行两次反卷积处理，得到第三反卷积图像；
对所述第三反卷积图像进行上采样处理；
将上采样处理后的所述第三反卷积图像与所述第二特征图像进行融合处理，并进行两次反卷积处理，得到第二反卷积图像；
对所述第二反卷积图像进行上采样处理；
将上采样处理后的所述第二反卷积图像与所述第一特征图像进行融合处理，并进行两次反卷积处理，得到第一反卷积图像。
8.根据权利要求5所述的图像处理方法，其特征在于，所述图像处理方法还包括：
使用损失函数对所述卷积处理进行优化，其中，所述损失函数为：
LossFL(pt)＝-αt(1-pt)γlog(pt)
Figure FDA0002834959180000031
其中，y∈{-1,+1},pt∈{0,1}是标签y＝1的类别的估计概率，γ为聚焦参数，平滑地调整了简单示例的权重。
9.一种基于多尺度双通道卷积模型的图像处理装置，所述图像处理装置应用于肿瘤分割，其特征在于，所述图像处理装置包括：
存储器，用于存储程序数据，所述存储程序数据被执行时实现如权利要求1～4任一项所述的多尺度双通道卷积模型训练方法中的步骤或权利要求5～8所述的图像处理方法中的步骤；
处理器，用于执行所述存储器存储的程序指令以实现如权利要求1～4任一项所述的多尺度双通道卷积模型训练方法中的步骤或权利要求5～8任一项所述的图像处理方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如权利要求1～4任一项的多尺度双通道卷积模型训练方法中的步骤或权利要求5～8任一项所述的图像处理方法中的步骤。
CN202011475026.3A 2020-12-14 2020-12-14 多尺度双通道卷积模型训练方法、图像处理方法及装置 Active CN112561877B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011475026.3A CN112561877B (zh) 2020-12-14 2020-12-14 多尺度双通道卷积模型训练方法、图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011475026.3A CN112561877B (zh) 2020-12-14 2020-12-14 多尺度双通道卷积模型训练方法、图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN112561877A true CN112561877A (zh) 2021-03-26
CN112561877B CN112561877B (zh) 2024-03-29

Family

ID=75063779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011475026.3A Active CN112561877B (zh) 2020-12-14 2020-12-14 多尺度双通道卷积模型训练方法、图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN112561877B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113362300A (zh) * 2021-06-03 2021-09-07 豪威科技(武汉)有限公司 训练、检测、聚焦方法及拍摄装置
CN113933111A (zh) * 2021-09-30 2022-01-14 南京大学 一种实现图像尺寸放大的上采样装置及其方法
CN114022679A (zh) * 2021-11-29 2022-02-08 重庆赛迪奇智人工智能科技有限公司 图像分割方法、模型训练方法、装置及电子设备
CN114648540A (zh) * 2022-03-22 2022-06-21 南京信息职业技术学院 一种基于MECAU-Net网络的医学图像分割方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830855A (zh) * 2018-04-02 2018-11-16 华南理工大学 一种基于多尺度低层特征融合的全卷积网络语义分割方法
CN109509149A (zh) * 2018-10-15 2019-03-22 天津大学 一种基于双通道卷积网络特征融合的超分辨率重建方法
CN110363151A (zh) * 2019-07-16 2019-10-22 中国人民解放军海军航空大学 基于双通道卷积神经网络虚警可控的雷达目标检测方法
CN110533676A (zh) * 2019-09-06 2019-12-03 青岛海信医疗设备股份有限公司 肿瘤图像分割方法、装置及终端设备
CN111080657A (zh) * 2019-12-13 2020-04-28 北京小白世纪网络科技有限公司 基于卷积神经网络多维度融合的ct图像器官分割方法
CN111199516A (zh) * 2019-12-30 2020-05-26 深圳大学 基于图像生成网络模型的图像处理方法、系统及存储介质
CN111311518A (zh) * 2020-03-04 2020-06-19 清华大学深圳国际研究生院 基于多尺度混合注意力残差网络的图像去噪方法及装置
US20200342572A1 (en) * 2018-04-02 2020-10-29 Tencent Technology (Shenzhen) Company Limited Image related processing method and apparatus, device and storage medium

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830855A (zh) * 2018-04-02 2018-11-16 华南理工大学 一种基于多尺度低层特征融合的全卷积网络语义分割方法
US20200342572A1 (en) * 2018-04-02 2020-10-29 Tencent Technology (Shenzhen) Company Limited Image related processing method and apparatus, device and storage medium
CN109509149A (zh) * 2018-10-15 2019-03-22 天津大学 一种基于双通道卷积网络特征融合的超分辨率重建方法
CN110363151A (zh) * 2019-07-16 2019-10-22 中国人民解放军海军航空大学 基于双通道卷积神经网络虚警可控的雷达目标检测方法
CN110533676A (zh) * 2019-09-06 2019-12-03 青岛海信医疗设备股份有限公司 肿瘤图像分割方法、装置及终端设备
CN111080657A (zh) * 2019-12-13 2020-04-28 北京小白世纪网络科技有限公司 基于卷积神经网络多维度融合的ct图像器官分割方法
CN111199516A (zh) * 2019-12-30 2020-05-26 深圳大学 基于图像生成网络模型的图像处理方法、系统及存储介质
CN111311518A (zh) * 2020-03-04 2020-06-19 清华大学深圳国际研究生院 基于多尺度混合注意力残差网络的图像去噪方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113362300A (zh) * 2021-06-03 2021-09-07 豪威科技(武汉)有限公司 训练、检测、聚焦方法及拍摄装置
CN113933111A (zh) * 2021-09-30 2022-01-14 南京大学 一种实现图像尺寸放大的上采样装置及其方法
CN113933111B (zh) * 2021-09-30 2022-08-19 南京大学 一种实现图像尺寸放大的上采样装置及其方法
CN114022679A (zh) * 2021-11-29 2022-02-08 重庆赛迪奇智人工智能科技有限公司 图像分割方法、模型训练方法、装置及电子设备
CN114648540A (zh) * 2022-03-22 2022-06-21 南京信息职业技术学院 一种基于MECAU-Net网络的医学图像分割方法

Also Published As

Publication number Publication date
CN112561877B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
Usman et al. Volumetric lung nodule segmentation using adaptive roi with multi-view residual learning
Gu et al. Automatic lung nodule detection using a 3D deep convolutional neural network combined with a multi-scale prediction strategy in chest CTs
Gecer et al. Detection and classification of cancer in whole slide breast histopathology images using deep convolutional networks
WO2020151536A1 (zh) 一种脑部图像分割方法、装置、网络设备和存储介质
CN112561877B (zh) 多尺度双通道卷积模型训练方法、图像处理方法及装置
Chino et al. Segmenting skin ulcers and measuring the wound area using deep convolutional networks
US20220198230A1 (en) Auxiliary detection method and image recognition method for rib fractures based on deep learning
Selver et al. Patient oriented and robust automatic liver segmentation for pre-evaluation of liver transplantation
Yi et al. Automatic catheter and tube detection in pediatric x-ray images using a scale-recurrent network and synthetic data
CN110246109B (zh) 融合ct影像和个性化信息的分析系统、方法、装置及介质
US10878564B2 (en) Systems and methods for processing 3D anatomical volumes based on localization of 2D slices thereof
An et al. Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
Rani et al. Superpixel with nanoscale imaging and boosted deep convolutional neural network concept for lung tumor classification
Trimpl et al. Beyond automatic medical image segmentation—the spectrum between fully manual and fully automatic delineation
CN112396606B (zh) 一种基于用户交互的医学图像分割方法、系统和装置
Tang et al. Automatic lumbar spinal CT image segmentation with a dual densely connected U-Net
Jiang et al. TransCUNet: UNet cross fused transformer for medical image segmentation
das Chagas et al. Fast fully automatic skin lesions segmentation probabilistic with Parzen window
Nazir et al. Machine Learning‐Based Lung Cancer Detection Using Multiview Image Registration and Fusion
CN115908449A (zh) 一种基于改进UNet模型的2.5D医学CT影像分割方法及装置
CN115019041A (zh) 基于pet/ct成像的病灶分割融合校准方法、设备、介质及产品
CN114881914A (zh) 基于医学影像确定三维功能肝段的系统及方法
Zhou et al. Rib Fracture Detection with Dual‐Attention Enhanced U‐Net
CN110533120A (zh) 器官结节的图像分类方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant