CN114187252B - 图像处理方法及装置、调整检测框的方法及装置 - Google Patents

图像处理方法及装置、调整检测框的方法及装置 Download PDF

Info

Publication number
CN114187252B
CN114187252B CN202111471005.9A CN202111471005A CN114187252B CN 114187252 B CN114187252 B CN 114187252B CN 202111471005 A CN202111471005 A CN 202111471005A CN 114187252 B CN114187252 B CN 114187252B
Authority
CN
China
Prior art keywords
gaussian
image
detection frame
nodule
lung nodule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111471005.9A
Other languages
English (en)
Other versions
CN114187252A (zh
Inventor
孙岩峰
张欢
王少康
陈宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Infervision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Medical Technology Co Ltd filed Critical Infervision Medical Technology Co Ltd
Priority to CN202111471005.9A priority Critical patent/CN114187252B/zh
Publication of CN114187252A publication Critical patent/CN114187252A/zh
Application granted granted Critical
Publication of CN114187252B publication Critical patent/CN114187252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10124—Digitally reconstructed radiograph [DRR]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请提供了一种图像处理方法及装置、调整检测框的方法及装置，该方法包括：对医学影像中包括的肺结节进行检测，以获取检测框；根据医学影像和检测框，获取第二高斯球图像；将医学影像和第二高斯球图像进行配准，得到医学影像和第二高斯球图像之间的形变关系；根据形变关系对第二高斯球图像进行形变，获取第一高斯球图像，其中第一高斯球图像中包括的第一高斯球的形状与肺结节的形状相同；将医学影像、检测框和第一高斯球图像输入分割网络模型，以获取肺结节的分割图像。本申请的技术方案通过结合配准和分割两部分流程，在提高了肺结节分割精度的同时，降低了高分割精度对分割网络模型的计算压力，进一步提高了分割流程的鲁棒性。

Description

图像处理方法及装置、调整检测框的方法及装置
技术领域
本申请涉及图像处理技术领域，具体涉及一种图像处理方法及装置、调整检测框的方法及装置。
背景技术
目前，肺癌已成为世界范围内发病率及死亡率最高的恶性肿瘤，严重威胁着人类的生命健康，早期发现是提高肺癌患者治疗效果的有效方法，同时由于肺结节是肺癌的早期形态，因此肺结节的检测识别在肺癌治疗中的重要性日益凸显。为增强肺结节检测结果的可解释性，并为后续结节良恶性、长短径、体积、前后片比对等模块提供计算和判定依据，如何提高肺结节的分割精度成为亟待解决的技术问题。
发明内容
有鉴于此，本申请实施例提供了一种图像处理方法及装置、调整检测框的方法及装置，能够在提高肺结节分割精度的同时，降低分割网络模型的计算压力。
第一方面，本申请的实施例提供了一种图像处理方法，包括：对医学影像中包括的肺结节进行检测，以获取检测框；根据医学影像和检测框，获取第二高斯球图像；将医学影像和第二高斯球图像进行配准，得到医学影像和第二高斯球图像之间的形变关系；根据形变关系对第二高斯球图像进行形变，获取第一高斯球图像，其中第一高斯球图像中包括的第一高斯球的形状与肺结节的形状相同；将医学影像、检测框和第一高斯球图像输入分割网络模型，以获取肺结节的分割图像。
在本申请某些实施例中，根据医学影像和检测框，获取第二高斯球图像，包括：将医学影像中检测框标注的肺结节的关键点进行高斯映射处理，以获取肺结节对应的第二高斯球，进而确定第二高斯球图像。
在本申请某些实施例中，将医学影像、检测框和第一高斯球图像输入分割网络模型，以获取肺结节的分割图像，包括：判断第一高斯球图像中包括的第一高斯球是否存在对应的检测框；当第一高斯球存在对应的检测框时，确定第一高斯球对应的肺结节的结节信息；根据结节信息确定输入分割网络模型的切块数据；以及将切块数据输入分割网络模型，以获取肺结节的分割图像。
在本申请某些实施例中，判断第一高斯球图像中包括的第一高斯球是否存在对应的检测框，包括：判断在检测框内第一高斯球的面积是否超过第一预设阈值，并且检测框的面积与检测框内的第一高斯球的面积之比是否未超过第二预设阈值。
在本申请某些实施例中，第一高斯球图像为三维图像，结节信息包括位置信息和类型信息，其中，确定第一高斯球对应的肺结节的结节信息，包括：将每层第一高斯球对应的检测框进行统计，确定第一高斯球外接的最大的检测框；根据最大的检测框，确定肺结节的位置信息；以及根据对每层第一高斯球对应的检测框的标注信息进行统计，确定类型信息。
在本申请某些实施例中，根据结节信息确定输入分割网络模型的切块数据，包括：将结节信息中包括的位置信息进行预设数值的扩充，以获取肺结节对应的扩充后的尺寸信息和扩充后的位置信息；基于扩充后的尺寸信息和扩充后的位置信息，获取第一切块；以及根据分割网络模型的预设输入条件，将第一切块进行切分，以获取切块数据。
在本申请某些实施例中，基于扩充后的尺寸信息和扩充后的位置信息，获取第一切块，包括：基于扩充后的尺寸信息和扩充后的位置信息，在医学影像上进行切块，以获取第二切块；基于扩充后的尺寸信息和扩充后的位置信息，在第一高斯球图像上进行切块，以获取第三切块；以及将第二切块和第三切块进行拼接，以获取第一切块。
在本申请某些实施例中，分割网络模型包括在训练过程中设置的肺结节的边缘区域的预设权重值，其中预设权重值包括将样本数据的梯度值进行高斯平滑并映射至预设区间内确定的。
第二方面，本申请的实施例提供了一种调整检测框的方法，该方法包括：基于上述第一方面的图像处理方法，获取肺结节的分割图像，其中肺结节的分割图像包括肺结节分割结果；基于肺结节分割结果生成外接框，其中外接框与肺结节分割结果一一对应；将外接框与检测框进行对比，以对检测框进行调整。
在本申请某些实施例中，将外接框与检测框进行对比，以对检测框进行调整，包括：根据外接框的位置信息对检测框进行调整；或者，在检测框内包括多个外接框时，增加检测框的数量；或者，在多个检测框对应一个外接框时，将多个检测框进行合并。
第三方面，本申请的实施例提供了一种图像处理装置，应用于肺结节检测，该装置包括：第一获取模块，用于对医学影像中包括的肺结节进行检测，以获取检测框；第二获取模块，用于根据医学影像和检测框，获取第二高斯球图像；配准模块，用于将医学影像和第二高斯球图像进行配准，得到医学影像和第二高斯球图像之间的形变关系；第三获取模块，用于根据形变关系对第二高斯球图像进行形变，获取第一高斯球图像，第一高斯球图像中包括的第一高斯球的形状与肺结节的形状相同；第四获取模块，用于将医学影像、检测框和第一高斯球图像输入分割网络模型，以获取肺结节的分割图像。
第四方面，本申请的实施例提供了一种调整检测框的装置，该装置包括：获取模块，用于基于第一方面所述的图像处理方法，获取肺结节的分割图像，其中肺结节的分割图像包括肺结节分割结果；生成模块，用于基于肺结节分割结果生成外接框，其中外接框与肺结节分割结果一一对应；对比调整模块，用于将外接框与检测框进行对比，以对检测框进行调整。
第五方面，本申请实施例提供了一种计算可读存储介质，存储介质存储有计算机程序，计算机程序用于执行上述第一方面所述的图像处理方法，或上述第二方面所述的调整检测框的方法。
第六方面，本申请的实施例提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器，其中，处理器用于执行上述第一方面所述的图像处理方法，或上述第二方面所述的调整检测框的方法。
本申请实施例提供了一种图像处理方法及装置、调整检测框的方法及装置，通过将配准操作过程与分割过程相结合，在提高了肺结节分割精度的同时，也降低了达到高精度分割效果时对分割网络模型的计算压力，并且进一步的提高了分割流程的鲁棒性和可靠性。
附图说明
图1是本申请一示例性实施例提供的图像处理方法的流程示意图。
图2是本申请一示例性实施例提供的第二高斯球图像的示意图。
图3是本申请一示例性实施例提供的第一高斯球图像的示意图。
图4是本申请另一示例性实施例提供的图像处理方法的流程示意图。
图5是本申请又一示例性实施例提供的图像处理方法的流程示意图。
图6是本申请再一示例性实施例提供的图像处理方法的流程示意图。
图7是本申请一示例性实施例提供的调整检测框的方法的流程示意图。
图8是本申请一示例性实施例提供的检测框调整前后差异可视化示意图。
图9是本申请另一示例性实施例提供的检测框调整前后差异可视化示意图。
图10是本申请一示例性实施例提供的图像处理装置的结构示意图。
图11是本申请一示例性实施例提供的调整检测框的装置的结构示意图。
图12是本申请一示例性实施例提供的用于图像处理或调整检测框的电子设备的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为提高肺结节的分割精度，通常会针对分割网络模型进行改进，或者以循环迭代的方式不断的对医学影像进行分割，以便于获取高精准度的分割结果。但上述方式都会对分割网络模型造成巨大的计算压力，并且由于包含肺部的医学影像各不相同，因此仅应用网络模型对肺结节进行分割，也会使得分割处理流程的鲁棒性和可靠性较低。
为了解决上述问题，本申请实施例提供了如下的图像处理方法。
图1是本申请一示例性实施例提供的图像处理方法的流程示意图。图1的方法由计算设备，例如，服务器，来执行。如图1所示，该图像处理方法包括如下内容。
110：对医学影像中包括的肺结节进行检测，以获取检测框。
具体地，医学影像可以是指包含肺部的三维医学影像，其可以是通过计算机断层扫描摄影(Computed Tomography，CT)、计算机X线摄影(Computed Radiography，CR)、数字化X线摄影(Digital Radiography，DR)、核磁共振或超声等技术直接获得的影像。
医学影像也可以是经过预处理后的图像，该预处理后的图像可以是指对原医学影像(例如肺部CT图像)进行预处理后获得的影像，其中预处理可以是灰度归一化、去噪处理或图像增强处理等，本申请实施例对预处理的方式不作具体限定。
医学影像的格式可以是DICOM影像，本申请实施例对此不作具体限定。
检测框与医学影像中包括的肺结节成一一对应关系，也就是说，可以理解为检测框在医学影像上对肺结节进行标注，即肺结节外接该检测框，并且肺结节的数量与检测框的数量基本相同。其中医学影像中包括的肺结节的数量可以是一个或多个，本申请实施例对肺结节的数量不作具体限定。
在一实施例中，服务器获取检测框的方式可以是将医学影像输入预先训练的检测模型中，以获取肺结节对应的检测框。
在另一实施例中，获取检测框的方式可以是通过指定的算法识别出医学影像中肺结节的位置，根据确定的位置自动生成预设大小的检测框，本申请实施例对检测框的大小和获取方式不作具体限定。
检测框的形状可以是矩形、圆形或其他多边形等，本申请实施例对检测框的形状不作具体限定。
优选地，本申请实施例将检测框的形状设置为矩形。
120：根据医学影像和检测框，获取第二高斯球图像。
具体地，服务器可以对医学影像中检测框标注的肺结节的关键点进行高斯映射处理，以获取肺结节对应的第二高斯球，进而确定第二高斯球图像。其中第二高斯球与肺结节一一对应，即第二高斯球的数量与位置信息，和肺结节的数量与位置信息成对应关系。关键点可以是肺结节的中心(或球心)，本申请实施例对关键点不作具体限定。
需要说明的是，第二高斯球可以理解为是一个概率图，距离肺结节的中心较近的像素点的灰度值比较大，距离肺结节的中心较远的像素点的灰度值比较小，例如参见图2(其中图2包括了4个第二高斯球)。
在一实施例中，在肺结节的数量为多个时，服务器可以对医学影像中包括的每个肺结节的关键点进行高斯映射处理，以获取每个肺结节对应的第二高斯球；基于获得的与多个肺结节对应的多个第二高斯球，确定第二高斯球图像。
130：将医学影像和第二高斯球图像进行配准，得到医学影像和第二高斯球图像之间的形变关系。
具体地，服务器可以将医学影像和第二高斯球图像进行配准，以确定医学影像中包括的肺结节，与第二高斯球图像中包括的第二高斯球之间的形变关系，即确定第二高斯球向肺结节形变的路径。
例如，肺结节为椭圆形，第二高斯球为正圆形，此时服务器可以将肺结节与第二高斯球进行配准，确定形变关系为将第二高斯球的正圆形变为与肺结节相同的椭圆形。
140：根据形变关系对第二高斯球图像进行形变，获取第一高斯球图像，
在一实施例中，第一高斯球图像中包括的第一高斯球的形状与肺结节的形状相同。
具体地，服务器可以根据步骤130确定的形变关系对第二高斯球图像中包括的第二高斯球进行形变，并将形变后的第二高斯球作为第一高斯球，进而根据第一高斯球生成第一高斯球图像，例如参见图3。其中形变后的第二高斯球与医学影像中包括的肺结节的形状相同，即第一高斯球的形状与肺结节的形状相同。需要说明的是，第一高斯球图像可以理解为肺结节的粗分割图像。
第一高斯球图像可以包括至少一个第一高斯球，第一高斯球的数量与第二高斯球和肺结节的数量相同，本申请实施例对第一高斯球的数量不作具体限定。
在一实施例中，在肺结节的数量为多个时，根据形变关系对第二高斯球图像中包括的多个第二高斯球进行形变；并将多个形变后的第二高斯球作为多个第一高斯球；将多个第一高斯球进行组合，以生成第一高斯球图像。
需要说明的是，步骤130和步骤140的执行主体可以是服务器上运行的配准网络模型，本申请实施例对此不作具体限定。
在一实施例中，将医学影像、检测框和第二高斯球图像输入配准网络模型进行配准，以获取第一高斯球图像。
配准网络模型可以是2.5D ResUnet网络，输出是2通道原图尺寸特征图，例如尺寸为(2，9，256，256)，本申请实施例对配准网络模型的具体类型不作限定。
还需要说明的是，2.5D网络指的是网络输入为三维尺寸(例如尺寸为(17,256,256))的医学影像，在第一个卷积层后将医学影像处理为(1,256,256)，而后所有操作均为二维操作。2.5D网络兼容了三维多层面图像信息，且避免了纯三维网络高显存消耗和高算力的问题。
并且，在对配准网络模型进行训练的过程中，为压缩配准网络模型的训练及测试时间，可以将采样样本经过适当放缩后拼接至输入图像中，即相当于并行处理n个样本，例如图2和图3可以理解为是并行处理4个样本。
150：将医学影像、检测框和第一高斯球图像输入分割网络模型，以获取肺结节的分割图像。
具体地，服务器可以先判断第一高斯球图像中包括的第一高斯球是否存在对应的检测框。当该第一高斯球存在对应的检测框时，确定检测框内该第一高斯球对应的肺结节的结节信息；当该第一高斯球不存在与之对应的检测框时，则将该第一高斯球作为假阳分割并予以删除。进而根据结节信息确定输入分割网络模型的切块数据，其中切块数据为根据检测框在医学影像和第一高斯球图像上切分的图像数据。最后将切块数据输入分割网络模型，以获取肺结节的分割图像。
肺结节的分割图像包括医学影像的背景和肺结节分割结果，即对医学影像进行肺结节的分割，可以获得背景与肺结节分割结果，再利用预设阈值对背景与肺结节分割结果进行二值化处理，可以得到肺结节的分割图像，例如该肺结节的分割图像上每个像素点可以用0或1进行表示，其中1表示肺结节区域的像素点，0表示背景区域的像素点。
分割网络模型可以是ResUnet、UNet或deeplab等分割网络，并且分割方式可以为2.5D分割，本申请实施例对分割网络的类型和分割方式不作具体限定。
优选地，本申请实施例将分割网络模型设置为ResUnet分割网络。
需要说明的是，分割网络模型在训练的过程中还可以通过损失函数反向传播，不断的进行训练，直至达到所需要的模型。其中在损失函数的设计上，利用深监督策略，将ResUnet解码器部分每层的输出上采样至最终输出尺寸，并与训练目标计算交叉熵损失，最终损失函数为上述各层损失的加权和。
此外，步骤150可以理解为是根据输入的医学影像、检测框及第一高斯球图像(即配准的肺结节的粗分割图像)进行指定区域的肺结节的精细分割。
还需要说明的是，该服务器内可以包括配准模块和结节分割模块，其中配准模块包括配准网络模型，结节分割模块包括分割网络模型。步骤110至步骤140在配准模块中执行，步骤150在结节分割模块中执行。
由此可知，本申请实施例通过将配准操作过程与分割过程相结合，在提高了肺结节分割精度的同时，也降低了达到高精度分割效果时对分割网络模型的计算压力，并且进一步的提高了分割流程的鲁棒性和可靠性。此外，本申请实施例选择2.5D分割网络模型，也在最大程度上保证了分割结果和医学影像之间信息的一致性。
在本申请一实施例中，根据医学影像和检测框，获取第二高斯球图像，包括：将医学影像中检测框标注的肺结节的关键点进行高斯映射处理，以获取肺结节对应的第二高斯球，进而确定第二高斯球图像。
具体地，服务器可以对医学影像中检测框标注的肺结节的关键点进行高斯映射处理，以获取肺结节对应的第二高斯球；基于与肺结节对应的第二高斯球，确定第二高斯球图像。其中关键点可以是肺结节的球心，也可以是肺结节上的任一位置，本申请实施例对关键点的位置不作具体限定。
在一实施例中，第二高斯球是以关键点为球心，球心的值为1，离球心越远值越小，灰度呈高斯分布。
在一实施例中，在肺结节的数量为多个时，将多个肺结节中每个肺结节的关键点进行高斯映射处理，以获取每个肺结节对应的第二高斯球；将多个肺结节对应的第二高斯球进行组合，以确定第二高斯球图像，例如图2。
第二高斯球图像可以包括至少一个第二高斯球，参见图2，图2所示的第一高斯球图像包括4个第二高斯球。其中第二高斯球与医学影像中包括的肺结节相对应，即第二高斯球的数量与位置信息，和肺结节的数量与位置信息成对应关系。
例如，在医学影像中肺结节的数量为3个时，第二高斯球的数量也为3个；在医学影像中左上角存在一个肺结节时，第二高斯球图像中左上角相同位置处对应存在一个第二高斯球。
由此可知，本申请实施例为后续分割模型能够学到由于灰度值不同而产生的距离信息，从而提高了网络模型的分割精度。
图4是本申请另一示例性实施例提供的图像处理方法的流程示意图。图4实施例是图1实施例的例子，相同之处不再赘述，此处着重描述不用之处。如图4所示，该图像处理方法包括如下内容。
410：判断第一高斯球图像中包括的第一高斯球是否存在对应的检测框。
具体地，第一高斯球图像可以是三维图像，即第一高斯球图像为立体图像。并且第一高斯球图像可以包括一个或多个第一高斯球，本申请实施例对第一高斯球的数量不作具体限定。也就是说，第一高斯球图像中的每个第一高斯球都存在多个层面。
服务器可以针对第一高斯球图像中包括的每个第一高斯球进行判断，检查每个第一高斯球所在的位置是否存在阈值匹配的检测框，在该第一高斯球存在与之匹配的检测框时，执行下述步骤420。若是第一高斯球的所有层面(即多个层面内)均不存在与之匹配的检测框时，则将该第一高斯球作为假阳分割，并删除该第一高斯球。
420：当第一高斯球存在对应的检测框时，确定第一高斯球对应的肺结节的结节信息。
具体地，当该第一高斯球存在对应的(或与之匹配的)检测框时，服务器可以将每层第一高斯球对应的检测框进行统计，确定第一高斯球外接的最大的检测框。根据最大的检测框，确定肺结节的位置信息。进而根据对每层第一高斯球对应的检测框的标注信息进行统计，确定类型信息。
类型信息可以是基于检测框的标注信息中包括的肺结节(即第一高斯球对应的肺结节)的尺寸信息确定的。
430：根据结节信息确定输入分割网络模型的切块数据。
具体地，服务器可以将结节信息中包括的肺结节的位置信息进行预设数值的扩充，以获取肺结节对应的扩充后的尺寸信息和扩充后的位置信息。
进一步地，基于扩充后的尺寸信息和扩充后的位置信息分别对医学影像和第一高斯球图像进行切分，获取第二切块和第三切块；进而将第二切块和第三切块进行拼接，以获取第一切块。
进一步地，根据分割网络模型的预设输入条件，将第一切块进行切分，以获取切块数据。需要说明的是，该步骤是根据分割网络模型的需要设定的，当第一切块满足分割网络模型的输入条件时，该步骤可省略，即第一切块直接可以作为切块数据。
440：将切块数据输入分割网络模型，以获取肺结节的分割图像。
具体地，2.5D分割网络模型对切块数据中包括的肺结节进行分割，可以获得背景与肺结节分割结果，再利用预设阈值对背景与肺结节分割结果进行二值化处理，可以得到肺结节的分割图像。
例如，该肺结节的分割图像上每个像素点可以用0或1进行表示，其中1表示肺结节区域的像素点，0表示背景区域的像素点。
由此可知，本申请实施例根据输入的医学影像和第一高斯球图像(即肺结节的粗分割图像)，进一步应用分割网络模型对肺结节进行精细分割。
在本申请一实施例中，判断第一高斯球图像中包括的第一高斯球是否存在对应的检测框，包括：判断在检测框内第一高斯球的面积是否超过第一预设阈值，并且检测框的面积与检测框内的第一高斯球的面积之比是否未超过第二预设阈值。
具体地，第一预设阈值可以是三分之一、三分之二等数值。第二预设阈值可以是4、5或6等数值，本申请实施例对第一预设阈值和第二预设阈值的数值不作具体限定。
在一实施例中，在服务器检测到第一高斯球的面积超过至少三分之二落在检测框内，且检测框面积与落在检测框内的第一高斯球的面积之比未超过(即不大于)5倍，则判定该第一高斯球存在对应的检测框。
需要说明的是，本申请实施例通过设置第一预设阈值和第二预设阈值的判断，相当于是设置第一高斯球和检测框的匹配逻辑，即第一高斯球和检测框符合该匹配逻辑时，则认为是存在与之对应的检测框。
由此可知，本申请实施例通过设置两个预设阈值作为判断的标准，使得判断结果更为准确。
图5是本申请又一示例性实施例提供的图像处理方法的流程示意图。图5实施例是图4实施例的例子，相同之处不再赘述，此处着重描述不用之处。如图5所示，该图像处理方法包括如下内容。
在一实施例中，第一高斯球图像为三维图像，结节信息包括位置信息和类型信息。第一高斯球图像为三维图像，即第一高斯球图像为立体图像，可以理解为第一高斯球图像具有多层信息。
510：将每层第一高斯球对应的检测框进行统计，确定第一高斯球外接的最大的检测框。
具体地，服务器可以将第一高斯球对应的(或匹配的)多个检测框进行整合，统计第一高斯球对应的多个检测框的尺寸信息，确定该第一高斯球外接的最大的检测框。其中多个检测框可以是多层第一高斯球分别对应的检测框。
在一实施例中，将每层第一高斯球图像对应检测框进行统计，确定第一高斯球外接的最大的检测框。
需要说明的是，为避免部分层面可能出现的检测不全，因此取的是每个肺结节对应的多个层面检测框中最大的那个，同时也可以将2D检测框转化为3D检测框形式，以便于后续获取切块数据。
520：根据最大的检测框，确定肺结节的位置信息。
具体地，根据确定的最大的检测框，确定位于该检测框内的第一高斯球的位置信息，即相当于是确定该检测框内对应的肺结节的位置信息。
位置信息可以是指该肺结节位于医学影像的具体位置处，其中可以在医学影像的任意位置处建立空间直角坐标系，该位置信息可以是以坐标的形式呈现，本申请实施例对此不作具体限定。
530：根据对每层第一高斯球对应的检测框的标注信息进行统计，确定类型信息。
具体地，服务器可以将每层第一高斯球对应的检测框的标注信息进行统计，并将占比高的类型作为该第一高斯球对应的肺结节的类型信息。
例如，通过类似于投票的方式，将得票数高的类型，作为该第一高斯球对应的肺结节的类型信息。
检测框的标注信息可以包括检测框的位置信息、检测框内第一高斯球对应的肺结节尺寸信息以及检测框内第一高斯球(或其对应的肺结节)的位置信息等。
类型信息可以是基于检测框的标注信息确定的，例如可以是根据标注信息中记录的肺结节的尺寸划分的类型，例如0-3mm第一类型的肺结节，3-5mm为第二类型的肺结节，以及5-7mm为第三类型的肺结节，本申请实施例对类型的划分不作具体限定。
由此可知，本申请实施例通过确定肺结节外接的最大的检测框，避免了因检测框未能完全包裹肺结节，而导致漏检的情况。同时，本申请实施例还初步确定了肺结节的位置信息，为后续扩充肺结节的位置信息，以便于分割出完整的肺结节实体提供了保障。
图6是本申请再一示例性实施例提供的图像处理方法的流程示意图。图6实施例是图4实施例的例子，相同之处不再赘述，此处着重描述不用之处。如图6所示，该图像处理方法包括如下内容。
610：将结节信息中包括的位置信息进行预设数值的扩充，以获取肺结节对应的扩充后的尺寸信息和扩充后的位置信息。
具体地，位置信息可以以坐标的形式呈现，即位置信息为(x,y,z)。此时服务器可以将位置信息在x轴、y轴和z轴三方向分别进行扩充，以便于获取肺结节对应的扩充后的尺寸信息和扩充后的位置信息。
在一实施例中，将位置信息中x轴和y轴方向的尺寸分别进行第一尺寸的扩充，z轴方向进行第二尺寸的扩充。第一尺寸和第二尺寸可以根据实际情况灵活设置，本申请实施例对此不作具体限定。
例如，将位置信息中x轴和y轴方向的尺寸扩充为原有的1.5倍，z轴方向扩充至原有的2倍。
620：基于扩充后的尺寸信息和扩充后的位置信息，获取第一切块。
具体地，服务器可以根据扩充后的尺寸信息和扩充后的位置信息，并以最大的检测框为依据，在医学影像上进行切分，以获取第二切块。同时，根据扩充后的尺寸信息和扩充后的位置信息，以最大的检测框为依据，在第一高斯球图像上进行切分，以获取第三切块。
需要说明的是，上述第二切块和第三切块的获取顺序可以同时进行，也可以按照预设的顺序依次进行，本申请实施例对此不作具体限定。
进一步地，可以将第二切块和第三切块按通道进行拼接，以获取第一切块，其中第一切块的尺寸可以为(2,zsize,ysize,xsize)。
630：根据分割网络模型的预设输入条件，将第一切块进行切分，以获取切块数据。
具体地，预设输入条件可以是输入图像的尺寸条件，本申请实施例对预设输入条件不作具体限定。
在一实施例中，根据分割网络模型的预设输入条件对第一切块进行输入尺寸的调整，例如对第一切块进行再次切分，以便于获取输入分割网络模型的切块数据。
例如，分割网络模型的输入尺寸固定为(17,256,256)比第一切块的尺寸小，此时需要将第一切块进一步的切分，得到若干个z方向为17的切块。需要说明的是，若是切块存在边缘不足的情况时，此时可以用0代替，x轴和y轴方向不足256的，可以将切块进行拼接(例如将四个切块拼接为上两个下两个)，并记录这些切块的位置、尺寸，并将其顺序发送至分割网络模型。
由此可知，本申请实施例通过将肺结节的位置信息进行扩充，避免了由于肺结节检测框的缺失以及粗分割精确度有限，导致无法完整的分割出一个肺结节的实体的问题。
在本申请一实施例中，基于扩充后的尺寸信息和扩充后的位置信息，获取第一切块，包括：基于扩充后的尺寸信息和扩充后的位置信息，在医学影像上进行切块，以获取第二切块；基于扩充后的尺寸信息和扩充后的位置信息，在第一高斯球图像上进行切块，以获取第三切块；以及将第二切块和第三切块进行拼接，以获取第一切块。
具体地，将肺结节进行扩充，获得肺结节扩充后的尺寸信息和扩充后的位置信息。
服务器(或结节分割模块)可以根据扩充后的尺寸信息和扩充后的位置信息，对应到医学影像上指定的肺结节位置处，并对该肺结节位置，以最大的检测框作为切分依据进行切分，获得第二切块。其中以最大的检测框为切分依据进行切分可以理解为是第二切块的大小为最大的检测框的尺寸大小。
服务器可以根据扩充后的尺寸信息和扩充后的位置信息，对应到第一高斯球图像上指定的第一高斯球(即肺结节)位置处，并对该第一高斯球位置，以最大的检测框为切分依据进行切分，获得第三切块。其中第三切块的大小为最大的检测框的尺寸大小。
服务器将第二切块和第三切块按通道拼接起来，获取第一切块，该第一切块的尺寸可以为(2,zsize,ysize,xsize)。拼接后的第一切块可以表示为第三切块上的第一高斯球显示在医学影像的对应位置处。
由此可知，本申请实施例通过将医学影像和第一高斯球图像的信息进行拼接，为后续获得精分割的肺结节的分割图像提供了保障。
在本申请一实施例中，分割网络模型包括在训练过程中设置的肺结节的边缘区域的预设权重值，其中预设权重值包括将样本数据的梯度值进行高斯平滑并映射至预设区间内确定的。
具体地，用户在对分割网络模型进行训练之前，需要构建训练的样本数据，该样本数据可以为具有肺结节标注信息的医学影像，其中对样本数据的标注可以是人工标注，也可以是机器标注，本申请实施例对标注方式不作具体限定。
在对分割网络模型进行训练的过程中，用户可以在肺结节的边缘区域设置预设权重值，其中该预设权重值为高权重值。并且该预设权重值的获取方式可以是根据样本数据的标注信息，计算肺结节的梯度变化，并将梯度值进行高斯平滑，并映射至预设区间内，以便于获得位于肺结节边缘，且分布平滑的权重分布，其中该预设区间可以是[1,3]，本申请实施例对预设区间不作具体限定。
由此可知，本申请实施例通过设置肺结节边缘的高权重值，能够在有效提高结节分割精度的同时，通过平滑分布降低了模型学习的难度，以及提高了对应误标注的鲁棒性。
图7是本申请一示例性实施例提供的调整检测框的方法的流程示意图。图7的方法由计算设备，例如，服务器，来执行。如图7所示，该调整检测框的方法包括如下内容。
710：获取肺结节的分割图像。
在一实施例中，肺结节的分割图像包括肺结节分割结果。
需要说明的是，获取肺结节的分割图像的方式与上述图1至图6实施例描述的图像处理方法基本相同，详情请参见上述实施例的记载。
720：基于肺结节分割结果生成外接框，其中外接框与肺结节分割结果一一对应。
具体地，生成外接框的方式可以是将肺结节的分割图像输入预先训练的检测模型中，以获取肺结节的分割图像中包括的肺结节分割结果的外接框。需要说明的是，外接框可以理解为是肺结节分割结果对应的检测框，外接框与检测框相同，都是用于标注肺结节的标注框，详情请参见上述对检测框的描述。
730：将外接框与检测框进行对比，以对检测框进行调整。
具体地，服务器可以将精分割的肺结节分割结果对应的外接框，与根据医学影像生成的检测框进行对比，并对检测框进行调整。其中调整后输出的检测框既可以是包括单个层面的2D检测框，也可以是包括对应3D肺结节分割结果的3D检测框。
在一实施例中，检测框可以根据外接框的位置，进行位置调整。
在另一实施例中，检测框可以根据外接框的数量，进行数量调整。
需要说明的是，该服务器上可以包括配准模块、结节分割模块和检测框调整模块，步骤710至步骤730可以在检测框调整模块中执行。也就是说，本申请实施例的整体结构包括三个模块。
医学影像及肺结节对应的检测框作为整体系统输入。首先经过配准模块处理，通过配准对检测框内可能的肺结节进行粗分割，并输出第一高斯球图像(即肺结节的粗分割图像)。而后肺结节的粗分割图像连同配准模块的输入一并输入结节分割模块，对结节进行精细分割，以获得精分割的肺结节的分割图像。最后根据精分割的肺结节分割结果，在检测框调整模块内对检测框进行位移、增加、删减、合并、分裂等优化操作，将精分割的肺结节分割结果以及优化后的检测框输出。
应当理解，调整后的检测框与肺结节分割结果相对应，检测框调整模块重新统计医学影像中包括的肺结节的数量、位置、分布等信息，并将检测框、肺结节分割结果以及医学影像拼接后的图像作为整个流程的最终输出。
由此可知，本申请实施例通过根据精分割的肺结节分割结果对应的外接框，对检测框进行修正，使得肺结节的检测结果可以直观的呈现在检测框内，以便于医护人员进行查看。
在本申请一实施例中，将外接框与检测框进行对比，以对检测框进行调整，包括：根据外接框的位置信息对检测框进行调整；或者，在检测框内包括多个外接框时，增加检测框的数量；或者，在多个检测框对应一个外接框时，将多个检测框进行合并，
具体地，肺结节的分割图像为三维图像，即肺结节的分割图像包括多个层面。
在服务器检测到当前层面只存在一个肺结节分割结果，且该肺结节分割结果全部或部分位于检测框和外接框内，但检测框与外接框之间存在位置信息或尺寸信息的差异时，则服务器可以依据外接框的位置信息或尺寸信息，对检测框进行调整。
例如，参见图8，调整检测框前的影像810中包括调整前的检测框811，调整检测框后的影像820中包括调整尺寸后的检测框821。
在服务器检测到当前层面检测框内存在多个肺结节分割结果，即在当前层面一个检测框内包括多个外接框时，则将检测框“裂解”，将检测框分裂成多个检测框，分别对应多个肺结节分割结果以及多个外接框。需要说明的是，检测框内包括多个外接框可以是检测框内包括一个完整的外接框，也可以是检测框内包括多个外接框的部分框内。
例如，参见图9，调整检测框前的影像910中包括调整前的检测框911，调整检测框后的影像920中包括的“裂解”后的检测框921以及检测框922。
在服务器检测到当前层面存在多个检测框对应一个肺结节分割结果，即在当前层面多个检测框对应一个外接框时，则依照外接框对检测框进行合并。
需要说明的是，肺结节的检测框中包括的信息除了大小、位置以外，还有结节类型和置信度等信息，而由肺结节分割结果的外接框仅有大小和位置信息。因此，需要对两种框的信息进行整合。这个过程可以理解为用新的外接框替代旧的检测框，同时把旧的检测框中包括的信息存下来，也可以理解为旧的检测框的大小位置由新的外接框包括的信息进行更新。
由此可知，本申请实施例通过将检测框进行优化更新，提高了检测框与肺结节分割结果的匹配性，以便于更直观的呈现医学影像中包括的肺结节的相关信息。
图10是本申请一示例性实施例提供的图像处理装置1000的结构示意图。如图10所示，该图像处理装置1000包括：第一获取模块1010，第二获取模块1020、配准模块1030、第三获取模块1040和第四获取模块1050。
第一获取模块1010用于对医学影像中包括的肺结节进行检测，以获取检测框；第二获取模块1020用于根据医学影像和检测框，获取第二高斯球图像；配准模块1030用于将医学影像和第二高斯球图像进行配准，得到医学影像和第二高斯球图像之间的形变关系；第三获取模块1040用于根据形变关系对第二高斯球图像进行形变，获取第一高斯球图像，第一高斯球图像中包括的第一高斯球的形状与肺结节的形状相同；第四获取模块1050用于将医学影像、检测框和第一高斯球图像输入分割网络模型，以获取肺结节的分割图像。
本申请实施例提供了一种图像处理装置，通过将配准操作过程与分割过程相结合，在提高了肺结节分割精度的同时，也降低了达到高精度分割效果时对分割网络模型的计算压力，并且进一步的提高了分割流程的鲁棒性和可靠性。
根据本申请一实施例，第二获取模块1020用于将医学影像中检测框标注的肺结节的关键点进行高斯映射处理，以获取肺结节对应的第二高斯球，进而确定第二高斯球图像。
根据本申请一实施例，第四获取模块1050用于判断第一高斯球图像中包括的第一高斯球是否存在对应的检测框；当第一高斯球存在对应的检测框时，确定第一高斯球对应的肺结节的结节信息；根据结节信息确定输入分割网络模型的切块数据；以及将切块数据输入分割网络模型，以获取肺结节的分割图像。
根据本申请一实施例，第四获取模块1050用于判断在检测框内第一高斯球的面积是否超过第一预设阈值，并且检测框的面积与检测框内的第一高斯球的面积之比是否未超过第二预设阈值。
根据本申请一实施例，第一高斯球图像为三维图像，结节信息包括位置信息和类型信息，第四获取模块1050用于将每层第一高斯球对应的检测框进行统计，确定第一高斯球外接的最大的检测框；根据最大的检测框，确定肺结节的位置信息；以及根据对每层第一高斯球对应的检测框的标注信息进行统计，确定类型信息。
根据本申请一实施例，第四获取模块1050用于将结节信息中包括的位置信息进行预设数值的扩充，以获取肺结节对应的扩充后的尺寸信息和扩充后的位置信息；基于扩充后的尺寸信息和扩充后的位置信息，获取第一切块；以及根据分割网络模型的预设输入条件，将第一切块进行切分，以获取切块数据。
根据本申请一实施例，第四获取模块1050用于基于扩充后的尺寸信息和扩充后的位置信息，在医学影像上进行切块，以获取第二切块；基于扩充后的尺寸信息和扩充后的位置信息，在第一高斯球图像上进行切块，以获取第三切块；以及将第二切块和第三切块进行拼接，以获取第一切块。
根据本申请一实施例，分割网络模型包括在训练过程中设置的肺结节的边缘区域的预设权重值，其中预设权重值包括将样本数据的梯度值进行高斯平滑并映射至预设区间内确定的。
应当理解，上述实施例中的第一获取模块1010，第二获取模块1020、配准模块1030、第三获取模块1040和第四获取模块1050的具体工作过程和功能可以参考上述图1至图6实施例提供的图像处理方法中的描述，为了避免重复，在此不再赘述。
图11是本申请一示例性实施例提供的调整检测框的装置1100的结构示意图。如图11所示，该调整检测框的装置1100包括：获取模块1110、生成模块1120和对比调整模块1130。
获取模块1110用于获取肺结节的分割图像，其中肺结节的分割图像包括肺结节分割结果；生成模块1120用于基于肺结节分割结果生成外接框，其中外接框与肺结节分割结果一一对应；对比调整模块1130用于将外接框与检测框进行对比，以对检测框进行调整。
本申请实施例提供了一种调整检测框的装置，通过根据精分割的肺结节分割结果生活的外接框，对检测框进行修正，使得肺结节的检测结果可以直观的呈现在检测框内，以便于医护人员进行查看。
根据本申请一实施例，对比调整模块1130用于根据外接框的位置信息对检测框进行调整；或者，在检测框内包括多个外接框时，增加检测框的数量；或者，在多个检测框对应一个外接框时，将多个检测框进行合并。
应当理解，上述实施例中的获取模块1110、生成模块1120和对比调整模块1130的具体工作过程和功能可以参考上述图7至图9实施例提供的调整检测框的方法中的描述，为了避免重复，在此不再赘述。
图12是本申请一示例性实施例提供的用于图像处理或调整检测框的电子设备的框图。
参照图12，电子设备1200包括处理组件1210，其进一步包括一个或多个处理器，以及由存储器1220所代表的存储器资源，用于存储可由处理组件1210的执行的指令，例如应用程序。存储器1220中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1210被配置为执行指令，以执行上述图像处理方法或调整检测框的方法。
电子设备1200还可以包括一个电源组件被配置为执行电子设备1200的电源管理，一个有线或无线网络接口被配置为将电子设备1200连接到网络，和一个输入输出(I/O)接口。可以基于存储在存储器1220的操作系统操作电子设备1200，例如Windows ServerTM，MacOS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
一种非临时性计算机可读存储介质，当存储介质中的指令由上述电子设备1200的处理器执行时，使得上述电子设备1200能够执行一种图像处理方法或调整检测框的方法，包括：对医学影像中包括的肺结节进行检测，以获取检测框；根据医学影像和检测框，获取第二高斯球图像；将医学影像和第二高斯球图像进行配准，得到医学影像和第二高斯球图像之间的形变关系；根据形变关系对第二高斯球图像进行形变，获取第一高斯球图像，其中第一高斯球图像中包括的第一高斯球的形状与肺结节的形状相同；将医学影像、检测框和第一高斯球图像输入分割网络模型，以获取肺结节的分割图像。或者，基于上述第一方面的图像处理方法，获取肺结节的分割图像，其中肺结节的分割图像包括肺结节分割结果；基于肺结节分割结果生成外接框，其中外接框与肺结节分割结果一一对应；将外接框与检测框进行对比，以对检测框进行调整。
上述所有可选技术方案，可采用任意结合形成本申请的可选实施例，在此不再一一赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序校验码的介质。
需要说明的是，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种图像处理方法，应用于肺结节检测，其特征在于，包括：
对医学影像中包括的所述肺结节进行检测，以获取检测框；
对所述医学影像中所述检测框标注的所述肺结节的关键点进行高斯映射处理，以获取所述肺结节对应的第二高斯球，进而确定第二高斯球图像；
将所述医学影像和所述第二高斯球图像进行配准，得到所述医学影像和所述第二高斯球图像之间的形变关系；
根据所述形变关系对所述第二高斯球图像中包括的第二高斯球进行形变，获取形变后的第二高斯球；将所述形变后的第二高斯球作为第一高斯球；基于所述第一高斯球生成第一高斯球图像，其中所述第一高斯球图像中包括的所述第一高斯球的形状与所述肺结节的形状相同；
判断所述第一高斯球图像中包括的所述第一高斯球是否存在对应的所述检测框；
当所述第一高斯球存在对应的所述检测框时，确定所述第一高斯球对应的所述肺结节的结节信息；
根据所述结节信息确定输入分割网络模型的切块数据；以及
将所述切块数据输入所述分割网络模型，以获取肺结节的分割图像，
其中，所述第一高斯球图像为三维图像，所述结节信息包括位置信息和类型信息。
2.根据权利要求1所述的图像处理方法，其特征在于，所述判断所述第一高斯球图像中包括的所述第一高斯球是否存在对应的所述检测框，包括：
判断在所述检测框内所述第一高斯球的面积是否超过第一预设阈值，并且所述检测框的面积与所述检测框内的所述第一高斯球的面积之比是否未超过第二预设阈值。
3.根据权利要求1所述的图像处理方法，其特征在于，所述确定所述第一高斯球对应的所述肺结节的结节信息，包括：
将每层第一高斯球对应的所述检测框进行统计，确定所述第一高斯球外接的最大的检测框；
根据所述最大的检测框，确定所述肺结节的所述位置信息；以及
根据对所述每层第一高斯球对应的所述检测框的标注信息进行统计，确定所述类型信息。
4.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述结节信息确定输入分割网络模型的切块数据，包括：
将所述结节信息中包括的位置信息进行预设数值的扩充，以获取所述肺结节对应的扩充后的尺寸信息和扩充后的位置信息；
基于所述扩充后的尺寸信息和所述扩充后的位置信息，获取第一切块；以及
根据所述分割网络模型的预设输入条件，将所述第一切块进行切分，以获取所述切块数据。
5.根据权利要求4所述的图像处理方法，其特征在于，所述基于所述扩充后的尺寸信息和所述扩充后的位置信息，获取第一切块，包括：
基于所述扩充后的尺寸信息和所述扩充后的位置信息，在所述医学影像上进行切块，以获取第二切块；
基于所述扩充后的尺寸信息和所述扩充后的位置信息，在所述第一高斯球图像上进行切块，以获取第三切块；以及
将所述第二切块和所述第三切块进行拼接，以获取所述第一切块。
6.根据权利要求1至5中任一项所述的图像处理方法，其特征在于，所述分割网络模型包括在训练过程中设置的所述肺结节的边缘区域的预设权重值，
其中，所述预设权重值包括将样本数据的梯度值进行高斯平滑并映射至预设区间内确定的。
7.一种调整检测框的方法，其特征在于，包括：
基于如权利要求1至6任一项所述的图像处理方法，获取肺结节的分割图像，其中所述肺结节的分割图像包括肺结节分割结果；
基于所述肺结节分割结果生成外接框，其中所述外接框与所述肺结节分割结果一一对应；
将所述外接框与检测框进行对比，以对所述检测框进行调整。
8.根据权利要求7所述的调整检测框的方法，其特征在于，所述将所述外接框与检测框进行对比，以对所述检测框进行调整，包括：
根据所述外接框的位置信息对所述检测框进行调整；或者，
在所述检测框内包括多个外接框时，增加所述检测框的数量；或者，
在多个检测框对应一个所述外接框时，将所述多个检测框进行合并。
9.一种图像处理装置，应用于肺结节检测，其特征在于，包括：
第一获取模块，用于对医学影像中包括的所述肺结节进行检测，以获取检测框；
第二获取模块，用于对所述医学影像中所述检测框标注的所述肺结节的关键点进行高斯映射处理，以获取所述肺结节对应的第二高斯球，进而确定第二高斯球图像；
配准模块，用于将所述医学影像和所述第二高斯球图像进行配准，得到所述医学影像和所述第二高斯球图像之间的形变关系；
第三获取模块，用于根据所述形变关系对所述第二高斯球图像中包括的第二高斯球进行形变，获取形变后的第二高斯球；将所述形变后的第二高斯球作为第一高斯球；基于所述第一高斯球生成第一高斯球图像，其中所述第一高斯球图像中包括的所述第一高斯球的形状与所述肺结节的形状相同；
第四获取模块，用于判断所述第一高斯球图像中包括的所述第一高斯球是否存在对应的所述检测框；当所述第一高斯球存在对应的所述检测框时，确定所述第一高斯球对应的所述肺结节的结节信息；根据所述结节信息确定输入分割网络模型的切块数据；以及将所述切块数据输入所述分割网络模型，以获取肺结节的分割图像，
其中，所述第一高斯球图像为三维图像，所述结节信息包括位置信息和类型信息。
10.一种调整检测框的装置，其特征在于，包括：
获取模块，用于基于如权利要求1至6任一项所述的图像处理方法，获取肺结节的分割图像，其中所述肺结节的分割图像包括肺结节分割结果；
生成模块，用于基于所述肺结节分割结果生成外接框，其中所述外接框与所述肺结节分割结果一一对应；
对比调整模块，用于将所述外接框与检测框进行对比，以对所述检测框进行调整。
11.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至6任一项所述的图像处理方法，和/或用于执行上述权利要求7或8所述的调整检测框的方法。
12.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器，
其中，所述处理器用于执行上述权利要求1至6任一项所述的图像处理方法，和/或用于执行上述权利要求7或8所述的调整检测框的方法。
CN202111471005.9A 2021-12-03 2021-12-03 图像处理方法及装置、调整检测框的方法及装置 Active CN114187252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111471005.9A CN114187252B (zh) 2021-12-03 2021-12-03 图像处理方法及装置、调整检测框的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111471005.9A CN114187252B (zh) 2021-12-03 2021-12-03 图像处理方法及装置、调整检测框的方法及装置

Publications (2)

Publication Number Publication Date
CN114187252A CN114187252A (zh) 2022-03-15
CN114187252B true CN114187252B (zh) 2022-09-20

Family

ID=80542242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111471005.9A Active CN114187252B (zh) 2021-12-03 2021-12-03 图像处理方法及装置、调整检测框的方法及装置

Country Status (1)

Country Link
CN (1) CN114187252B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820571B (zh) * 2022-05-21 2023-05-30 东北林业大学 一种基于dlpe算法的肺炎纤维化量化分析方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2832832A1 (fr) * 2001-11-23 2003-05-30 Ge Med Sys Global Tech Co Llc Procede de detection et de caracterisation automatique de nodules dans une image tomographique et systeme d'imagerie medicale par tomodensimetrie correspondant
GB2451367B (en) * 2004-05-20 2009-05-27 Medicsight Plc Nodule Detection
CN101669828A (zh) * 2009-09-24 2010-03-17 复旦大学 基于pet/ct图像纹理特征的肺部恶性肿瘤与良性结节检测系统
CN101763644B (zh) * 2010-03-10 2011-11-30 华中科技大学 肺结节三维分割与特征提取方法及系统
CN102842132B (zh) * 2012-07-12 2015-12-09 上海联影医疗科技有限公司 一种ct肺结节检测方法
CN104899851A (zh) * 2014-03-03 2015-09-09 天津医科大学 一种分割肺结节图像的方法
CN104616307B (zh) * 2015-02-12 2018-05-08 河北大学 一种肺部ct图像粘连血管型结节检测方法
CN105488800A (zh) * 2015-11-30 2016-04-13 上海联影医疗科技有限公司 特征提取方法、计算机辅助诊断的方法及其系统
CN106611413A (zh) * 2016-11-30 2017-05-03 上海联影医疗科技有限公司 图像分割方法及其系统
CN109493347B (zh) * 2017-09-12 2021-03-23 深圳科亚医疗科技有限公司 在图像中对稀疏分布的对象进行分割的方法和系统
US10628659B2 (en) * 2017-11-27 2020-04-21 International Business Machines Corporation Intelligent tumor tracking system
CN107895369B (zh) * 2017-11-28 2022-11-22 腾讯科技（深圳）有限公司 图像分类方法、装置、存储介质及设备
CN108765369B (zh) * 2018-04-20 2023-05-02 平安科技（深圳）有限公司 肺结节的检测方法、装置、计算机设备和存储介质
CN111369530B (zh) * 2020-03-04 2021-04-02 浙江明峰智能医疗科技有限公司 一种基于深度学习的ct图像肺结节快速筛查方法
CN111768382B (zh) * 2020-06-30 2023-08-15 重庆大学 一种基于肺结节生长形态的交互式分割方法
CN113409325B (zh) * 2020-12-24 2022-09-23 华中科技大学 基于精细分割的大幅面sar影像舰船目标检测识别方法
CN113256672B (zh) * 2021-05-20 2024-05-28 推想医疗科技股份有限公司 图像处理方法及装置，模型的训练方法及装置，电子设备
CN113240696B (zh) * 2021-05-20 2022-02-08 推想医疗科技股份有限公司 图像处理方法及装置，模型的训练方法及装置，电子设备

Also Published As

Publication number Publication date
CN114187252A (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
CN112017189B (zh) 图像分割方法、装置、计算机设备和存储介质
CN109859296B (zh) Smpl参数预测模型的训练方法、服务器及存储介质
CN108520519B (zh) 一种图像处理方法、装置及计算机可读存储介质
CN108615237B (zh) 一种肺部图像处理方法及图像处理设备
KR101007276B1 (ko) 3차원 안면 인식
US7907768B2 (en) Method and apparatus for probabilistic atlas based on shape modeling technique
CN110599528A (zh) 一种基于神经网络的无监督三维医学图像配准方法及系统
CN111127631B (zh) 基于单图像的三维形状和纹理重建方法、系统及存储介质
KR20210002606A (ko) 의료 영상 처리 방법 및 장치, 전자 기기 및 저장 매체
KR102476016B1 (ko) 안구 위치 정보 확정 방법 및 장치
US7928978B2 (en) Method for generating multi-resolution three-dimensional model
CN113362314B (zh) 医学图像识别方法、识别模型训练方法及装置
CN114693604A (zh) 脊椎医学影像处理方法、装置、设备及存储介质
US9262835B2 (en) Method, apparatus, and medical imaging system for segmenting image of object from image of organ
CN111369524B (zh) 结节识别模型训练方法、结节识别方法及装置
CN114187252B (zh) 图像处理方法及装置、调整检测框的方法及装置
Zhao et al. Region-based saliency estimation for 3D shape analysis and understanding
CN107480673B (zh) 确定医学图像中感兴趣区域的方法、装置及图像编辑系统
CN110992310A (zh) 一种确定纵隔淋巴结所在分区的方法及装置
CN109087357A (zh) 扫描定位方法、装置、计算机设备及计算机可读存储介质
CN112529900A (zh) 匹配乳腺图像中roi的方法、装置、终端与存储介质
WO2024045395A1 (zh) 基于ct图像的病灶检测方法、装置及计算机可读存储介质
CN115409951A (zh) 图像处理方法、装置、电子设备及存储介质
CN110533637B (zh) 一种检测对象的方法及装置
CN114693642A (zh) 一种结节匹配方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant