CN114445338A - 图像处理方法、装置、存储介质及电子设备 - Google Patents

图像处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN114445338A
CN114445338A CN202111600022.8A CN202111600022A CN114445338A CN 114445338 A CN114445338 A CN 114445338A CN 202111600022 A CN202111600022 A CN 202111600022A CN 114445338 A CN114445338 A CN 114445338A
Authority
CN
China
Prior art keywords
image
target
point
marking
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111600022.8A
Other languages
English (en)
Inventor
孙海伦
曹延泽
郑铭鑫
陆可
韩宇
吴迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Corp
Original Assignee
Neusoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Corp filed Critical Neusoft Corp
Priority to CN202111600022.8A priority Critical patent/CN114445338A/zh
Publication of CN114445338A publication Critical patent/CN114445338A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公开涉及一种图像处理方法、装置、存储介质及电子设备。该方法包括：获取目标对象的已标注断层图像和未标注断层图像；其中，该已标注断层图像包括一个或多个第一标记点，该第一标记点用于在该已标注断层图像中标记该目标对象所在的目标图像区域或者不包括该目标对象的背景区域；根据该已标注断层图像与未标注断层图像的灰度值，确定每个该第一标记点在该未标注断层图像中对应的第二标记点；根据该第二标记点，确定该未标注断层图像中该目标对象所在的目标图像区域。这样，根据已标注断层图像的第一标记点就可以准确地确定未标注断层图像的第二标记点，从而减少人工标注标记点的工作量，提高了图像处理的效率。

Description

图像处理方法、装置、存储介质及电子设备
技术领域
本公开涉及人工智能领域，具体地，涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
在医疗领域，使用深度学习算法从核磁共振影像中获取目标对象所在的目标图像区域，以便对目标图像区域进行分析，成为一种常用的影像分析方法。例如，对脊柱的核磁共振影像，可以使用深度学习算法进行分析后得到脊柱所在的目标图像区域。为了更为准确的确定目标图像区域，需要人工对图像进行勾画标注，确定图像中的标记点(每个标记点可以用于表征目标对象所在的目标图像区域或者不包括目标对象的背景区域)，将标注后的图像输入深度学习算法模型中，以便深度学习算法根据标记点提取得到更为准确的目标图像区域。在相关技术中，核磁共振影像包括多层图像，需要人工对每一层图像进行标注，以便对每一层图像确定目标图像区域，但是，该方式需要人工进行大量的图像标注，效率低下。
发明内容
本公开的目的是提供一种图像处理方法、装置、存储介质及电子设备，以解决相关技术中存在的上述问题。
为了实现上述目的，本公开的第一方面提供了一种图像处理方法，所述方法包括：
获取目标对象的已标注断层图像和未标注断层图像；其中，所述已标注断层图像包括一个或多个第一标记点，所述第一标记点用于在所述已标注断层图像中标记所述目标对象所在的目标图像区域或者不包括所述目标对象的背景区域；
根据所述已标注断层图像与所述未标注断层图像的灰度值，确定每个所述第一标记点在所述未标注断层图像中对应的第二标记点；
根据所述第二标记点，确定所述未标注断层图像中所述目标对象所在的目标图像区域。
可选地，所述根据所述已标注断层图像与未标注断层图像的灰度值，确定每个第一标记点在所述未标注断层图像中对应的第二标记点包括：
根据所述已标注断层图像与未标注断层图像的灰度值，确定目标形变参数和目标位移参数；其中，所述目标形变参数用于表征对所述第一标记点对应的第一相邻区域进行形状变换的参数，所述目标位移参数用于表征对所述第一标记点进行位置移动的参数；
针对每个第一标记点，根据目标形变参数、目标位移参数、以及该第一标记点的位置信息，计算得到该第一标记点在所述未标注断层图像中对应的第二标记点的位置信息。
可选地，所述根据所述第二标记点，确定所述未标注断层图像中所述目标对象所在的目标图像区域包括：
针对每个第二标记点，将该第二标记点的相邻位置点作为该第二标记点的同类标记点；其中，所述同类标记点与该第二标记点均用于标记所述未标注断层图像的目标区域，或者均用于标记所述未标注断层图像的背景区域；
根据所述第二标记点和所述同类标记点，确定所述未标注断层图像中所述目标对象所在的目标图像区域。
可选地，所述第一标记点通过以下方式获取：
获取用户在已标注断层图像上标注的一个或多个候选标记点；
将所述已标注断层图像作为第一目标层图像，循环执行标记点调整步骤，直至确定所述候选标记点满足预设标记条件，将所述候选标记点作为所述第一标记点；
其中，所述标记点调整步骤包括：
根据所述候选标记点，确定所述第一目标层图像中所述目标对象所在的第一候选目标区域；
展示所述第一候选目标区域，以便用户根据所述第一候选目标区域对所述候选标记点进行调整，或者用户确定所述第一候选目标区域为预期目标区域；
在用户根据所述第一候选目标区域对所述候选标记点进行调整的情况下，将调整后的候选标记点作为新的候选标记点；
在用户确定所述第一候选目标区域为预期目标区域的情况下，确定所述候选标记点满足预设标记条件。
可选地，在所述根据所述第二标记点对所述未标注断层图像进行分割之前，所述方法还包括：
将所述第二标记点作为所述未标注断层图像上的一个或多个候选标记点；
将所述未标注断层图像作为所述第一目标层图像，循环执行所述标记点调整步骤，直至确定所述候选标记点满足所述预设标记条件，将所述候选标记点作为新的第二标记点。
可选地，所述方法还包括：
提取待处理图像在目标方向上的每一层的候选图像，所述待处理图像为包括所述目标对象的立体影像；
将所述候选图像进行预处理后得到所述第二目标层图像，所述第二目标层图像包括所述已标注断层图像和未标注断层图像。
可选地，所述将所述候选图像进行预处理后得到所述第二目标层图像包括：
将所述候选图像进行灰度处理后，得到灰度图像；
将所述灰度图像进行噪声处理和/或对比度处理后，得到所述第二目标层图像。
第二方面，本公开提供一种图像处理装置，所述装置包括：
断层图像获取模块，用于获取目标对象的已标注断层图像和未标注断层图像；其中，所述已标注断层图像包括一个或多个第一标记点，所述第一标记点用于在所述已标注断层图像中标记所述目标对象所在的目标图像区域或者不包括所述目标对象的背景区域；
标记点确定模块，用于根据所述已标注断层图像与所述未标注断层图像的灰度值，确定每个所述第一标记点在所述未标注断层图像中对应的第二标记点；
目标图像处理模块，用于根据所述第二标记点，确定所述未标注断层图像中所述目标对象所在的目标图像区域。
可选地，所述标记点确定模块，用于根据所述已标注断层图像与未标注断层图像的灰度值，确定目标形变参数和目标位移参数；其中，所述目标形变参数用于表征对所述第一标记点对应的第一相邻区域进行形状变换的参数，所述目标位移参数用于表征对所述第一标记点进行位置移动的参数；针对每个第一标记点，根据目标形变参数、目标位移参数、以及该第一标记点的位置信息，计算得到该第一标记点在所述未标注断层图像中对应的第二标记点的位置信息。
可选地，所述目标图像处理模块，用于针对每个第二标记点，将该第二标记点的相邻位置点作为该第二标记点的同类标记点；其中，所述同类标记点与该第二标记点均用于标记所述未标注断层图像的目标区域，或者均用于标记所述未标注断层图像的背景区域；根据所述第二标记点和所述同类标记点，确定所述未标注断层图像中所述目标对象所在的目标图像区域。
可选地，所述装置还包括：
第一标记点获取模块，用于获取用户在已标注断层图像上标注的一个或多个候选标记点；将所述已标注断层图像作为第一目标层图像，循环执行标记点调整步骤，直至确定所述候选标记点满足预设标记条件，将所述候选标记点作为所述第一标记点；
其中，所述标记点调整步骤包括：根据所述候选标记点，确定所述第一目标层图像中所述目标对象所在的第一候选目标区域；展示所述第一候选目标区域，以便用户根据所述第一候选目标区域对所述候选标记点进行调整，或者用户确定所述第一候选目标区域为预期目标区域；在用户根据所述第一候选目标区域对所述候选标记点进行调整的情况下，将调整后的候选标记点作为新的候选标记点；在用户确定所述第一候选目标区域为预期目标区域的情况下，确定所述候选标记点满足预设标记条件。
可选地，在所述根据所述第二标记点对所述未标注断层图像进行分割之前，所述装置还包括：
第二标记点获取模块，用于将所述第二标记点作为所述未标注断层图像上的一个或多个候选标记点；将所述未标注断层图像作为所述第一目标层图像，循环执行所述标记点调整步骤，直至确定所述候选标记点满足所述预设标记条件，将所述候选标记点作为新的第二标记点。
可选地，所述装置还包括：
图像预处理模块，用于提取待处理图像在目标方向上的每一层的候选图像，所述待处理图像为包括所述目标对象的立体影像；将所述候选图像进行预处理后得到所述第二目标层图像，所述第二目标层图像包括所述已标注断层图像和未标注断层图像。
可选地，所述图像预处理模块，用于将所述候选图像进行灰度处理后，得到灰度图像；将所述灰度图像进行噪声处理和/或对比度处理后，得到所述第二目标层图像。
第三方面，本公开提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面所述方法的步骤。
第四方面，本公开提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面所述方法的步骤。
采用上述技术方案，获取目标对象的已标注断层图像和未标注断层图像；其中，该已标注断层图像包括一个或多个第一标记点，该第一标记点用于在该已标注断层图像中标记该目标对象所在的目标图像区域或者不包括该目标对象的背景区域；根据该已标注断层图像与未标注断层图像的灰度值，确定每个该第一标记点在该未标注断层图像中对应的第二标记点；根据该第二标记点，确定该未标注断层图像中该目标对象所在的目标图像区域。这样，根据已标注断层图像的第一标记点就可以准确地确定未标注断层图像的第二标记点，从而减少人工标注标记点的工作量，提高了图像处理的效率。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是本公开实施例提供的一种图像处理方法的流程图。
图2是本公开实施例提供的一种第一标记点的获取方法的流程图。
图3是本公开实施例提供的一种图像处理装置的结构示意图。
图4是本公开实施例提供的第二种图像处理装置的结构示意图。
图5是本公开实施例提供的第三种图像处理装置的结构示意图。
图6是本公开实施例提供的第四种图像处理装置的结构示意图。
图7是本公开实施例提供的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
需要说明的是，在本公开中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序；术语“S101”、“S102”、“S201”、“S202”等用于区别步骤，而不必理解为按照特定的顺序或先后次序执行方法步骤；下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。
首先，对本公开的应用场景进行说明。本公开可以应用于图像处理场景，特别是医疗领域对核磁共振影像进行处理的场景。在相关技术中，核磁共振影像包括多层图像，需要人工对每一层图像进行标记，以便使用深度学习算法对每层图像进行分析对每一层图像确定目标图像区域，但是，该方式需要人工进行大量的图像标注，效率低下。
为了解决上述问题，本公开提供了一种图像处理方法、装置、存储介质及电子设备，可以根据已标注断层图像中的第一标记点、以及已标注断层图像与未标注断层图像的灰度值，确定每个第一标记点在未标注断层图像中对应的第二标记点，然后根据该第二标记点，确定该未标注断层图像中目标对象所在的目标图像区域。这样，可以减少人工标注标记点的工作量，提高了图像处理的效率。
以下结合附图对本公开的具体实施方式进行详细说明。
图1是本公开实施例提供的一种图像处理方法，如图1所示，该方法可以包括：
S101、获取目标对象的已标注断层图像和未标注断层图像。
其中，该已标注断层图像包括一个或多个第一标记点，该第一标记点用于在该已标注断层图像中标记该目标对象所在的目标图像区域或者不包括该目标对象的背景区域。
示例地，上述已标注断层图像和未标注断层图像可以是针对目标对象进行切片检测得到的断层图像。例如，该目标对象可以为人体或动物的脊柱、建筑物墙体中的钢筋或木材等对象，通过核磁共振检测，可以得到包括多个断层图像的核磁共振影像，可以将该多个断层图像中的其中任意一个断层图像增加第一标记点，并将增加第一标记点后的该断层图像作为上述已标注断层图像；可以将该目标对象对应的其他断层图像作为上述未标注断层图像。
进一步地，该核磁共振影像可以是立体影像，该立体影像包括目标方向上的多个断层图像，该目标方向可以是矢状面方向、冠状面方向或横断面方向。在该目标方向上，可以按照多个断层图像的位置进行排序，将排序在最前的断层图像增加第一标记点，并将增加第一标记点后的该排序在最前的断层图像作为上述已标注断层图像；将与该已标注断层图像相邻的断层图像作为上述未标注断层图像。
上述第一标记点可以是用户在断层图像上人工标注的标记点。进一步地，该第一标记点可以分为第一目标对象标记点和第一背景标记点两类，该第一目标对象标记点用于在该已标注断层图像中标记该目标对象所在的目标图像区域；该第一目标对象标记点用于在该已标注断层图像中标记不包括该目标对象的背景区域。
在本公开的一个示例中，可以采用分水岭算法对已标注断层图像进行分割，从而确定该已标注断层图像中该目标对象所在的目标图像区域。分水岭算法是一种基于拓扑理论的数学形态学的分割方法，可以把图像看作是测地学上的拓扑地貌，图像中每一个像素点的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆，而集水盆的边界则形成分水岭。由于目标对象在断层图像上的灰度值分布，可能会出现多余的边缘区域，导致分水岭算法产生过度分割，也就是将不应该分割的一个整体目标对象进行了分割。为消除分水岭算法产生的过度分割，通常可以采用增加标记点的方法，通过标记点去除多余的边缘区域，从而避免过度分割。本实施例中使用的分水岭算法可以参考相关技术中的已有算法，本公开对此不再赘述。
S102、根据已标注断层图像与未标注断层图像的灰度值，确定每个第一标记点在未标注断层图像中对应的第二标记点。
在本步骤中，可以采用以下任意一种方式确定该第二标记点：
方式一、首先根据该已标注断层图像与未标注断层图像的灰度值，确定目标位移参数；然后，针对每个第一标记点，根据目标位移参数和该第一标记点的位置信息，计算得到该第一标记点在未标注断层图像中对应的第二标记点的位置信息。
示例地，可以通过第一预设光流算法确定目标位移参数，该第一预设光流算法可以包括以下公式(1)：
Figure BDA0003432705570000091
其中，(x11，y11)表示上述已标注断层图像中第一标记点的位置信息(也就是该第一标记点的像素坐标)，(x12，y12)表示上述未标注断层图像中与上述第一标记点(x11，y11)对应的第二标记点的位置信息(也就是该第二标记点的像素坐标)，(Δx1,Δy1)表示上述目标位移参数，其中，Δx1表示第二标记点的x轴坐标相对于第一标记点的位移差值，也就是x12＝x11+Δx1，Δy1表示第二标记点的y轴坐标相对于第一标记点的位移差值，也就是y12＝y11+Δy1，I(x11,y11)表示上述已标注断层图像中的第一标记点(x11，y11)的第一灰度值，J(x12,y12)表示上述未标注断层图像中的第二标记点(x12，y12)的第二灰度值，[[-wx11,wx11],[-wy11,wy11]]表示上述第一标记点(x11，y11)对应的预设矩形相邻区域，ε2表示第一标记点与第二标记点的灰度值的差值，min(Δx1,Δy1)(ε1)表示根据该公式(1)求解得到使得ε1最小的(Δx1,Δy1)的取值，例如，可以通过最小二乘法基于该公式(1)求解得到(Δx2,Δy2)的取值。需要说明的是，根据最小二乘法求解得到(Δx2,Δy2)的取值的方法，可以参考相关技术中的说明，本公开对此不再赘述。
然后，针对每个第一标记点，根据以下公式(2)计算得到该第一标记点在未标注断层图像中对应的第二标记点的位置信息：
Figure BDA0003432705570000101
其中，
Figure BDA0003432705570000102
表示该第一标记点的像素坐标，
Figure BDA0003432705570000103
表示上述未标注断层图像中与该第一标记点对应的第二标记点的像素坐标，
Figure BDA0003432705570000104
表示上述目标位移参数。
进一步地，上述第一预设光流算法可以为基于金字塔分层的LK光流算法，其中，该第一预设光流算法对应的窗口大小可以为预设窗口(例如20个像素)，若跟踪得到的第二标记点与对应的第一标记点的距离小于或等于该预设窗口，则保留该第二标记点；若跟踪得到的第二标记点与对应的第一标记点的距离大于该预设窗口，则舍弃该第二标记点。
需要说明的是，由于核磁共振影像具有层间相似性，在相邻两层图像之间的灰度值分布差异较小的且情况下，使用该方式一，通过第一预设光流算法确定目标位移参数，并根据目标位移参数计算得到未标注断层图像的第二标记点，在对未标注断层图像进行基于标记的分水岭分割时，就无需重新选择标记点，可以减少人工标记的工作量，提高图像处理的效率。
方式二、首先根据该已标注断层图像与未标注断层图像的灰度值，确定目标形变参数和目标位移参数；然后，针对每个第一标记点，根据目标形变参数、目标位移参数、以及该第一标记点的位置信息，计算得到该第一标记点对应的第二标记点的位置信息。
其中，该目标形变参数用于表征对该第一标记点对应的第一相邻区域进行形状变换的参数，该目标位移参数用于表征对该第一标记点进行位置移动的参数。
示例地，可以通过第二预设光流算法确定目标位移参数，该第二预设光流算法可以包括以下公式(3)：
Figure BDA0003432705570000111
其中，(x21，y21)表示上述已标注断层图像中第一标记点的位置信息(也就是该第一标记点的像素坐标)；；(x22，y22)表示上述未标注断层图像中与上述第一标记点(x21，y21)对应的第二标记点的位置信息(也就是该第二标记点的像素坐标)；(Δx2,Δy2)表示上述目标位移参数；；其中，Δx2表示第二标记点的x轴坐标相对于第一标记点的位移差值，也就是x22＝x21+Δx2；Δy2表示第二标记点的y轴坐标相对于第一标记点的位移差值，也就是y22＝y21+Δy2；a表示上述目标形变参数；；I(x21,y21)表示上述已标注断层图像中的第一标记点(x21，y21)的第一灰度值；；J(x22,y22)表示上述未标注断层图像中的第二标记点(x22，y22)的第二灰度值；；[[-wx21,wx21],[-wy21,wy21]]表示上述第一标记点(x21，y21)对应的预设矩形相邻区域；ε2表示第一标记点与第二标记点的灰度值的差值；min(Δx2,Δy2),a(ε2)表示根据该公式(3)求解得到使得ε2最小的(Δx2,Δy2)和a的取值，例如，可以通过最小二乘法基于该公式(3)求解得到(Δx2,Δy2)和a的取值。
进一步的，上述公式(3)中的目标形变参数a可以为参数矩阵
Figure BDA0003432705570000112
然后，针对每个第一标记点，根据以下公式(4)计算得到该第一标记点在未标注断层图像中对应的第二标记点的位置信息：
Figure BDA0003432705570000121
其中，
Figure BDA0003432705570000122
表示该第一标记点的像素坐标，
Figure BDA0003432705570000123
表示上述未标注断层图像中与该第一标记点对应的第二标记点的像素坐标，
Figure BDA0003432705570000124
表示上述目标形变参数，
Figure BDA0003432705570000125
表示上述目标位移参数。
同样地，上述第二预设光流算法可以为基于金字塔分层的LK光流算法，其中，该第二预设光流算法对应的窗口大小可以为预设窗口(例如20个像素)，若跟踪得到的第二标记点与对应的第一标记点的距离小于或等于该预设窗口，则保留该第二标记点；若跟踪得到的第二标记点与对应的第一标记点的距离大于该预设窗口，则舍弃该第二标记点。
这样，在方式二中通过引入目标形变参数，对标记点的相邻区域在两个断层图像(已标注断层图像和未标注断层图像)之间进行形状变换(例如旋转或缩放)，从而可以适应目标对象在不同层之间有一定的形状差异的断层图像，提高标记点的准确度，从而既能够提高图像处理效率，又可以提高获取的目标图像区域的准确度。
S103、根据该第二标记点，确定该未标注断层图像中该目标对象所在的目标图像区域。
示例地，可以将第二标记点作为分水岭算法的标记点，采用基于标记的分水岭算法对该未标注断层图像进行分割，从而确定该未标注断层图像中该目标对象所在的目标图像区域。
采用上述方法，获取目标对象的已标注断层图像和未标注断层图像；其中，该已标注断层图像包括一个或多个第一标记点，该第一标记点用于在该已标注断层图像中标记该目标对象所在的目标图像区域或者不包括该目标对象的背景区域；根据该已标注断层图像与未标注断层图像的灰度值，确定每个该第一标记点在该未标注断层图像中对应的第二标记点；根据该第二标记点，确定该未标注断层图像中该目标对象所在的目标图像区域。这样，根据已标注断层图像的第一标记点就可以准确地确定未标注断层图像的第二标记点，从而减少人工标注标记点的工作量，提高了图像处理的效率。
在本公开的另一实施例中，上述S103步骤还可以通过以下方式实现：
首先，针对每个第二标记点，将该第二标记点的相邻位置点作为该第二标记点的同类标记点。
其中，该同类标记点与该第二标记点均用于标记该未标注断层图像的目标区域，或者均用于标记该未标注断层图像的背景区域。
示例地，该第二标记点的相邻位置点可以是以该第二标记点为圆心，以r为半径的区域内的所有像素点，其中，r为预设的领域半径，r可以为大于或等于1个像素的任意数值，例如，r可以为3个像素或5个像素。
然后，根据该第二标记点和该同类标记点，确定该未标注断层图像中该目标对象所在的目标图像区域。
需要说明的是，根据第一标记点，确定已标注断层图像中该目标对象所在的目标图像区域时，也可以采用上述类似的方式，针对每个第一标记点，将该第一标记点的相邻位置点作为该第一标记点的同类标记点。其中，该同类标记点与该第一标记点均用于标记该未标注断层图像的目标区域，或者均用于标记该未标注断层图像的背景区域。然后，根据该第一标记点和该同类标记点，确定已标注断层图像中该目标对象所在的目标图像区域。
这样，通过将标记点的相邻区域作为同类标记点，可以进一步减少人工操作的工作量，提高图像分割的可靠性。
图2是本公开实施例提供的一种第一标记点的获取方法，如图2所示，该第一标记点通过以下方式获取：
S201、获取用户在已标注断层图像上标注的一个或多个候选标记点。
该候选标记点可以是人工标注的标记点。
S202、将该已标注断层图像作为第一目标层图像，循环执行标记点调整步骤，直至确定该候选标记点满足预设标记条件，将该候选标记点作为该第一标记点。
其中，该标记点调整步骤可以包括：
S11、根据该候选标记点，确定该第一目标层图像中目标对象所在的第一候选目标区域。
S12、展示该第一候选目标区域，以便用户根据该第一候选目标区域对该候选标记点进行调整，或者用户确定该第一候选目标区域为预期目标区域。
S13、在用户根据该第一候选目标区域对该候选标记点进行调整的情况下，将调整后的候选标记点作为新的候选标记点；或者，在用户确定该第一候选目标区域为预期目标区域的情况下，确定该候选标记点满足预设标记条件。
示例地，可以采用基于标记的分水岭算法对第一目标层图像进行分割，从而确定该第一目标层图像中该目标对象所在的目标图像区域，并通过电子设备向用户展示该第一候选目标区域。
这样，用户可以根据展示的第一候选目标区域，确定该第一候选目标区域是否为用户期望的预期目标区域。
若确定该第一候选目标区域与预期目标区域不一致，则可以通过电子设备对候选标记点进行调整(包括增加、删除、修改)，例如，若由于某个候选标记点导致出现过分割，则删除该候选标记点；若某个区域由于缺少标记点造成欠分割，则可以在该区域增加新的候选标记点。用户对候选标记点完成调整后，可以通过电子设备发送标记点调整指令(例如，用户通过电子设备点击预设调整按键，触发该标记点调整指令)。在接收到该标记点调整指令的情况下，可以将调整后的候选标记点作为新的候选标记点，并循环执行上述标记点调整步骤。
若确定该第一候选目标区域为预期目标区域，则可以通过电子设备发出第一预设指令(例如点击第一预设按键触发该第一预设指令)。在接收到该第一预设指令的情况下，可以确定该候选标记点满足预设标记条件，停止继续执行标记点调整步骤，将该候选标记点作为该第一标记点。
这样，通过该方式实现了半自动的交互式的标记点控制，从而可以提高人工标注的效率和准确性，也提高了图像处理的效率和准确性。
进一步地，在该根据该第二标记点对该未标注断层图像进行分割之前，还可以对该未标注断层图像的第二标记点进行交互式的标记点控制，进一步提高图像处理的效率和准确性，示例地：可以首先，将该第二标记点作为该未标注断层图像上的一个或多个候选标记点；然后，将该未标注断层图像作为上述第一目标层图像，循环执行上述标记点调整步骤，直至确定该候选标记点满足预设标记条件，将该候选标记点作为新的第二标记点。
这样，通过该方式可以对自动获取的第二标记点的准确性进行人工校验，从而进一步提高了第二标记点的准确性，也提高了获取目标图像区域的准确性。
在本公开的另一实施例中，第二目标图像包括已标注断层图像和未标注断层图像，可以通过以下方式获取已标注断层图像和未标注断层图像：
首先，提取待处理图像在目标方向上的每一层的候选图像。
其中，该待处理图像为包括该目标对象的立体影像，例如核磁共振影像。
其次，将该候选图像进行预处理后得到第二目标层图像。
其中，该第二目标层图像包括已标注断层图像和未标注断层图像，该预处理可以包括灰度处理、噪声处理和对比度处理中的一种或多种。
示例地，可以首先将该候选图像进行灰度处理后，得到灰度图像；然后将该灰度图像进行噪声处理和/或对比度处理后，得到该第二目标层图像。
示例地，该噪声处理可以包括：通过高斯去噪算法对上述灰度图像进行去噪处理。由于分水岭算法对噪声敏感，在图像有噪声的情况下易出现“过分割”现象，因此，通过该噪声处理可以排除噪声干扰，避免出现由于过分割出现过多的细小区域，从而可以提升分水岭算法对图像进行分割的效果。
该对比度处理可以包括：基于对比度受限的自适应直方图均衡法增强上述灰度图像的对比度。通过该对比度处理，可以提高灰度图像的局部对比度，从而可以进一步提升分水岭算法对图像进行分割的效果。
需要说明的是，上述已标注断层图像可以在预处理后通过人工标注第一标记点得到；也可以在预处理前通过人工标注第一标记点，然后再进行预处理后得到。
在本公开的另一实施例中，在待处理图像包括目标对象在目标方向上的多个候选断层图像的情况下，可以根据该多个断层图像在目标方向上的位置进行排序；首先将排序在最前的断层图像增加第一标记点后作为上述已标注断层图像，按照多个断层图像的排序，循环执行预设图像处理步骤，直至排序在最后的断层图像处理完成。其中，该预设图像处理步骤可以包括：
S21、将与该已标注断层图像相邻的下一层断层图像作为上述未标注断层图像。
S22、根据已标注断层图像与未标注断层图像的灰度值，确定每个第一标记点在未标注断层图像中对应的第二标记点。
S23、根据该第二标记点，确定该未标注断层图像中该目标对象所在的目标图像区域。
S24、在该未标注断层图像不是排序最后的断层图像的情况下，将该未标注断层图像作为新的已标注断层图像，将该第二标记点作为新的第一标记点。
这样，按照位置排序后，相邻断层图像之间的相似度最高，标记点的位置相邻度也更高，因此，通过该预设图像处理步骤，得到的每个断层图像的标记点更为准确，图像处理后得到的目标区域图像也更为准确。
图3是本公开实施例提供的一种图像处理装置的结构示意图，如图3所示，该装置300包括：
断层图像获取模块301，用于获取目标对象的已标注断层图像和未标注断层图像；其中，该已标注断层图像包括一个或多个第一标记点，该第一标记点用于在该已标注断层图像中标记该目标对象所在的目标图像区域或者不包括该目标对象的背景区域；
标记点确定模块302，用于根据该已标注断层图像与该未标注断层图像的灰度值，确定每个该第一标记点在该未标注断层图像中对应的第二标记点；
目标图像处理模块303，用于根据该第二标记点，确定该未标注断层图像中该目标对象所在的目标图像区域。
可选地，该标记点确定模块302，用于根据该已标注断层图像与未标注断层图像的灰度值，确定目标形变参数和目标位移参数；其中，该目标形变参数用于表征对该第一标记点对应的第一相邻区域进行形状变换的参数，该目标位移参数用于表征对该第一标记点进行位置移动的参数；针对每个第一标记点，根据目标形变参数、目标位移参数、以及该第一标记点的位置信息，计算得到该第一标记点在该未标注断层图像中对应的第二标记点的位置信息。
可选地，该目标图像处理模块303，用于针对每个第二标记点，将该第二标记点的相邻位置点作为该第二标记点的同类标记点；其中，该同类标记点与该第二标记点均用于标记该未标注断层图像的目标区域，或者均用于标记该未标注断层图像的背景区域；根据该第二标记点和该同类标记点，确定该未标注断层图像中该目标对象所在的目标图像区域。
图4是本公开实施例提供的第二种图像处理装置的结构示意图，如图4所示，该装置还包括：
第一标记点获取模块401，用于获取用户在已标注断层图像上标注的一个或多个候选标记点；将该已标注断层图像作为第一目标层图像，循环执行标记点调整步骤，直至确定该候选标记点满足预设标记条件，将该候选标记点作为该第一标记点；
其中，该标记点调整步骤包括：根据该候选标记点，确定该第一目标层图像中该目标对象所在的第一候选目标区域；展示该第一候选目标区域，以便用户根据该第一候选目标区域对该候选标记点进行调整，或者用户确定该第一候选目标区域为预期目标区域；在用户根据该第一候选目标区域对该候选标记点进行调整的情况下，将调整后的候选标记点作为新的候选标记点；在用户确定该第一候选目标区域为预期目标区域的情况下，确定该候选标记点满足预设标记条件。
图5是本公开实施例提供的第三种图像处理装置的结构示意图，如图5所示，该装置还包括：
第二标记点获取模块501，用于将该第二标记点作为该未标注断层图像上的一个或多个候选标记点；将该未标注断层图像作为该第一目标层图像，循环执行该标记点调整步骤，直至确定该候选标记点满足该预设标记条件，将该候选标记点作为新的第二标记点。
图6是本公开实施例提供的第四种图像处理装置的结构示意图，如图6所示，该装置还包括：
图像预处理模块601，用于提取待处理图像在目标方向上的每一层的候选图像，该待处理图像为包括该目标对象的立体影像；将该候选图像进行预处理后得到该第二目标层图像，该第二目标层图像包括该已标注断层图像和未标注断层图像。
可选地，该图像预处理模块601，用于将该候选图像进行灰度处理后，得到灰度图像；将该灰度图像进行噪声处理和/或对比度处理后，得到该第二目标层图像。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图7是根据一示例性实施例示出的一种电子设备700的框图。如图7所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。
其中，处理器701用于控制该电子设备700的整体操作，以完成上述的图像处理方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、5G、NB-IOT、eMTC、或其他6G等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块等。
在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的图像处理方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的图像处理方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的图像处理方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述图像处理方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
获取目标对象的已标注断层图像和未标注断层图像；其中，所述已标注断层图像包括一个或多个第一标记点，所述第一标记点用于在所述已标注断层图像中标记所述目标对象所在的目标图像区域或者不包括所述目标对象的背景区域；
根据所述已标注断层图像与所述未标注断层图像的灰度值，确定每个所述第一标记点在所述未标注断层图像中对应的第二标记点；
根据所述第二标记点，确定所述未标注断层图像中所述目标对象所在的目标图像区域。
2.根据权利要求1所述的方法，其特征在于，所述根据所述已标注断层图像与未标注断层图像的灰度值，确定每个第一标记点在所述未标注断层图像中对应的第二标记点包括：
根据所述已标注断层图像与未标注断层图像的灰度值，确定目标形变参数和目标位移参数；其中，所述目标形变参数用于表征对所述第一标记点对应的第一相邻区域进行形状变换的参数，所述目标位移参数用于表征对所述第一标记点进行位置移动的参数；
针对每个第一标记点，根据目标形变参数、目标位移参数、以及该第一标记点的位置信息，计算得到该第一标记点在所述未标注断层图像中对应的第二标记点的位置信息。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第二标记点，确定所述未标注断层图像中所述目标对象所在的目标图像区域包括：
针对每个第二标记点，将该第二标记点的相邻位置点作为该第二标记点的同类标记点；其中，所述同类标记点与该第二标记点均用于标记所述未标注断层图像的目标区域，或者均用于标记所述未标注断层图像的背景区域；
根据所述第二标记点和所述同类标记点，确定所述未标注断层图像中所述目标对象所在的目标图像区域。
4.根据权利要求1所述的方法，其特征在于，所述第一标记点通过以下方式获取：
获取用户在已标注断层图像上标注的一个或多个候选标记点；
将所述已标注断层图像作为第一目标层图像，循环执行标记点调整步骤，直至确定所述候选标记点满足预设标记条件，将所述候选标记点作为所述第一标记点；
其中，所述标记点调整步骤包括：
根据所述候选标记点，确定所述第一目标层图像中所述目标对象所在的第一候选目标区域；
展示所述第一候选目标区域，以便用户根据所述第一候选目标区域对所述候选标记点进行调整，或者用户确定所述第一候选目标区域为预期目标区域；
在用户根据所述第一候选目标区域对所述候选标记点进行调整的情况下，将调整后的候选标记点作为新的候选标记点；
在用户确定所述第一候选目标区域为预期目标区域的情况下，确定所述候选标记点满足预设标记条件。
5.根据权利要求4所述的方法，其特征在于，在所述根据所述第二标记点对所述未标注断层图像进行分割之前，所述方法还包括：
将所述第二标记点作为所述未标注断层图像上的一个或多个候选标记点；
将所述未标注断层图像作为所述第一目标层图像，循环执行所述标记点调整步骤，直至确定所述候选标记点满足所述预设标记条件，将所述候选标记点作为新的第二标记点。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：
提取待处理图像在目标方向上的每一层的候选图像，所述待处理图像为包括所述目标对象的立体影像；
将所述候选图像进行预处理后得到所述第二目标层图像，所述第二目标层图像包括所述已标注断层图像和未标注断层图像。
7.根据权利要求6所述的方法，其特征在于，所述将所述候选图像进行预处理后得到所述第二目标层图像包括：
将所述候选图像进行灰度处理后，得到灰度图像；
将所述灰度图像进行噪声处理和/或对比度处理后，得到所述第二目标层图像。
8.一种图像处理装置，其特征在于，所述装置包括：
断层图像获取模块，用于获取目标对象的已标注断层图像和未标注断层图像；其中，所述已标注断层图像包括一个或多个第一标记点，所述第一标记点用于在所述已标注断层图像中标记所述目标对象所在的目标图像区域或者不包括所述目标对象的背景区域；
标记点确定模块，用于根据所述已标注断层图像与所述未标注断层图像的灰度值，确定每个所述第一标记点在所述未标注断层图像中对应的第二标记点；
目标图像处理模块，用于根据所述第二标记点，确定所述未标注断层图像中所述目标对象所在的目标图像区域。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1至7中任一项所述方法的步骤。
CN202111600022.8A 2021-12-24 2021-12-24 图像处理方法、装置、存储介质及电子设备 Pending CN114445338A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111600022.8A CN114445338A (zh) 2021-12-24 2021-12-24 图像处理方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111600022.8A CN114445338A (zh) 2021-12-24 2021-12-24 图像处理方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN114445338A true CN114445338A (zh) 2022-05-06

Family

ID=81363949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111600022.8A Pending CN114445338A (zh) 2021-12-24 2021-12-24 图像处理方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN114445338A (zh)

Similar Documents

Publication Publication Date Title
CN109685060B (zh) 图像处理方法和装置
CN110310287B (zh) 基于神经网络的危及器官自动勾画方法、设备和存储介质
JP6564018B2 (ja) 放射線画像の肺野セグメンテーション技術及び骨減弱技術
CN111105424A (zh) 淋巴结自动勾画方法及装置
CN106683104B (zh) 基于集成深度卷积神经网络的前列腺磁共振图像分割方法
WO2019071976A1 (zh) 基于区域增长和眼动模型的全景图像显著性检测方法
US9317926B2 (en) Automatic spinal canal segmentation using cascaded random walks
CN106373128B (zh) 一种嘴唇精确定位的方法和系统
JP2009211138A (ja) 対象領域抽出方法および装置ならびにプログラム
US8306354B2 (en) Image processing apparatus, method, and program
CN114332132A (zh) 图像分割方法、装置和计算机设备
CN113971728B (zh) 图像识别方法、模型的训练方法、装置、设备及介质
CN110992310A (zh) 一种确定纵隔淋巴结所在分区的方法及装置
CN110880169A (zh) 病灶区域标注方法、装置、计算机系统及可读存储介质
CN110706217A (zh) 一种基于深度学习的肺部肿瘤自动勾画方法
CN111612749B (zh) 基于肺部影像的病灶检测方法和装置
CN115147359B (zh) 肺叶分割网络模型训练方法、装置、电子设备及存储介质
CN113780421B (zh) 基于人工智能的脑部pet影像识别方法
CN114445338A (zh) 图像处理方法、装置、存储介质及电子设备
CN113240638B (zh) 基于深度学习的目标检测方法、设备及介质
CN112530554B (zh) 一种扫描定位方法、装置、存储介质及电子设备
CN107590808B (zh) 医学图像中的前列腺分割方法
JP5383486B2 (ja) 脳出血部位セグメンテーションする装置の作動方法および装置
CN114445419A (zh) 一种基于支气管拓扑结构的肺段分割方法、装置及系统
Hsu et al. Contour extraction in medical images using initial boundary pixel selection and segmental contour following

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination