CN113362331A - 图像分割方法、装置、电子设备及计算机存储介质 - Google Patents

图像分割方法、装置、电子设备及计算机存储介质 Download PDF

Info

Publication number
CN113362331A
CN113362331A CN202010149322.8A CN202010149322A CN113362331A CN 113362331 A CN113362331 A CN 113362331A CN 202010149322 A CN202010149322 A CN 202010149322A CN 113362331 A CN113362331 A CN 113362331A
Authority
CN
China
Prior art keywords
image
sub
segmentation
segmentation result
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010149322.8A
Other languages
English (en)
Inventor
马建强
唐喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010149322.8A priority Critical patent/CN113362331A/zh
Priority to PCT/US2021/020493 priority patent/WO2021178419A1/en
Priority to US17/190,099 priority patent/US11880982B2/en
Publication of CN113362331A publication Critical patent/CN113362331A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种图像分割方法、装置、电子设备及计算机存储介质。图像分割方法，包括：获取第一图像以及第二图像，第一图像和第二图像基于同一成像目标得到，第一图像的分辨率大于第二图像的分辨率；基于第一图像的若干个子图像进行图像分割处理，得到第一初始分割结果，并且基于第二图像进行图像分割处理，得到第二初始分割结果；基于成像目标，融合第一初始分割结果与第二初始分割结果，得到目标分割结果。本申请提供的方案，可使得得到的目标分割结果的准确性以及精确性较高。

Description

图像分割方法、装置、电子设备及计算机存储介质
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种图像分割方法、装置、电子设备及计算机存储介质。
背景技术
在图像处理领域，经常存在分割出图像中包括的对象的需求。例如，在医学图像处理领域，为了更好地分析病理信息，需要在病理图像上勾画出病变区域。
然而，经常出现由于图像的分辨率较高导致的图像分割结果准确率较低的情况。例如，在医学图像处理领域，由于病理图像的分辨率非常高，大小可能会达到有几万像素*几万像素，导致目前用于处理病理图像的神经网络，例如UNet，无法直接在电子设备的GPU上进行训练以及使用；为此，一般将图像分成小块，然后通过神经网络处理得到的小块来对图像进行分割，导致分割结果的准确率较低。
发明内容
有鉴于此，本发明实施例提供一种图像分割方案，以至少部分解决上述问题。
根据本发明实施例的第一方面，提供了一种图像分割方法，包括：
获取第一图像以及第二图像，所述第一图像和所述第二图像基于同一成像目标得到，所述第一图像的分辨率大于所述第二图像的分辨率；
基于所述第一图像的若干个子图像进行图像分割处理，得到第一初始分割结果，并且基于所述第二图像进行图像分割处理，得到第二初始分割结果；
基于所述成像目标，融合所述第一初始分割结果与所述第二初始分割结果，得到目标分割结果。
根据本发明实施例的第二方面，提供了一种图像分割方法，包括：
获取第一病理图像以及第二病理图像，所述第一病理图像和所述第二病理图像基于同一病变区域得到，所述第一病理图像的分辨率大于所述第二病理图像的分辨率；
基于所述第一病理图像的若干个子图像进行图像分割处理，得到第一初始分割结果，并且基于所述第二病理图像进行图像分割处理，得到第二初始分割结果；
基于所述病变区域，融合所述第一初始分割结果与所述第二初始分割结果，得到目标分割结果。
根据本发明实施例的第三方面，提供了一种图像分割装置，包括：
图像获取单元，用于获取第一图像以及第二图像，所述第一图像和所述第二图像基于同一成像目标得到，所述第一图像的分辨率大于所述第二图像的分辨率；
分割单元，用于基于所述第一图像的若干个子图像进行图像分割处理，得到第一初始分割结果，并且基于所述第二图像进行图像分割处理，得到第二初始分割结果；
融合单元，用于基于所述成像目标，融合所述第一初始分割结果与所述第二初始分割结果，得到目标分割结果。
根据本发明实施例的第四方面，提供了一种图像分割装置，包括：
图像获取单元，用于获取第一病理图像以及第二病理图像，所述第一病理图像和所述第二病理图像基于同一病变区域得到，所述第一病理图像的分辨率大于所述第二病理图像的分辨率；
分割单元，用于基于所述第一病理图像的若干个子图像进行图像分割处理，得到第一初始分割结果，并且基于所述第二病理图像进行图像分割处理，得到第二初始分割结果；
融合单元，用于基于所述病变区域，融合所述第一初始分割结果与所述第二初始分割结果，得到目标分割结果。
根据本发明实施例的第五方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上所述的图像分割方法对应的操作。
根据本发明实施例的第六方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的图像分割方法。
根据本发明实施例提供的图像分割方案，通过获取第一图像以及第二图像，第一图像和第二图像基于同一成像目标得到，第一图像的分辨率大于第二图像的分辨率；基于第一图像的若干个子图像进行图像分割处理，得到第一初始分割结果，使得第一初始分割结果更加聚焦于细节特征，即得到的第一初始分割结果较为精确，但可能出现某个子图像对应的部分分割结果错误的情况；基于第二图像进行图像分割处理，得到第二初始分割结果，使得第二初始分割结果更加聚焦于全局特征，即分割出的成像目标的位置更加准确，不会出现局部错误的情况，但是对于成像目标的边缘区域，分割结果不够精确；然后，可以基于成像目标，融合第一初始分割结果与第二初始分割结果，得到目标分割结果，可以通过第一初始分割结果保证得到的目标分割结果的精确性，并可以通过第二初始分割结果，纠正第一初始分割结果中的某个子图像对应的部分分割错误的情况，使得得到的目标分割结果的准确性以及精确性较高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1A为本申请实施例一提供的一种图像分割方法的流程示意图；
图1B为图1A所示实施例中的一种场景示例的示意图；
图2为本申请实施例二提供的一种图像分割方法的流程示意图；
图3A为本申请实施例三提供的一种图像分割方法的流程示意图；
图3B为图3A所示实施例中的一种场景示例的示意图；
图3C为图3A所示实施例中的一种划窗示意图；
图3D为图3A所示实施例中的一种神经网络模型的结构示意图；
图4A为本申请实施例四提供的一种界面示意图；
图4B为本申请实施例四提供的另一种界面示意图；
图5为本申请实施例五提供的一种图像分割装置的结构框图；
图6为本申请实施例六提供的一种图像分割方法的流程示意图；
图7为本申请实施例八的一种电子设备的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
下面结合本发明实施例附图进一步说明本发明实施例具体实现。
实施例一
图1A为本申请实施例一提供的一种图像分割方法的流程示意图，如图1A所示，本实施例提供的图像分割方法包括：
S102、获取第一图像以及第二图像，第一图像和第二图像基于同一成像目标得到，第一图像的分辨率大于第二图像的分辨率。
第一图像和第二图像可以为预先存储的图像，也可为通过图像采集设备实时拍摄的图像，本实施例对此不进行限定。例如，第一图像和第二图像可以为通过高清扫描仪扫描病变区域得到并预先存储的图像，或者，可以为通过自动驾驶车辆的图像传感器实时采集到的图像等。
另外，第一图像的分辨率可以非常高，不受执行本实施例提供的方法的电子设备的硬件限制，例如可以达到几万像素*几万像素。而第二图像的分辨率可以受执行本实施例提供的方法的电子设备的硬件限制，从而可以通过电子设备执行S104中基于第二图像进行图像分割处理的步骤。
本实施例中，第一图像和第二图像是基于同一成像目标得到的，即，第一图像和第二图像中包括同一个成像目标的特征，从而可以根据成像目标的特征，对第一图像和第二图像进行初始分割。
成像目标的特征可分为细节特征和全局特征。由于第一图像的分辨率大于第二图像的分辨率，因此两者比较而言，第一图像包括的成像目标的特征中，细节特征所占的比重较大；第二图像包括的成像目标的特征中，全局特征所占的比重较大。例如，第一图像和第二图像通过分别以第一扫描倍数和第二扫描倍数扫描所述成像目标而获得。例如，所述第一扫描倍数大于所述第二扫描倍数。
S104、基于第一图像的若干个子图像进行图像分割处理，得到第一初始分割结果，并且基于第二图像进行图像分割处理，得到第二初始分割结果。
例如，所述图像分割处理可以为基于图像中的前景和背景进行分割的处理，例如语义分割处理。语义分割即通过确定图像中与成像目标对应的像素，来识别图像中的成像目标并确定其位置，具体地，通过语义分割，可以将图像中的每个像素进行标注，标注可以用于指示该像素是否属于成像目标，或者指示该像素具体属于哪个成像目标。本实施例中，成像目标可以为医疗受检者的部分或全部。例如，成像目标可以为肝脏，也可以为肝脏上的肿瘤；或者，成像目标也可以为行驶环境中的车辆、行人等。
本实施例中，基于第一图像进行图像分割处理的过程，可以与基于第二图像进行图像分割处理的过程可以并行执行，也可以按照预先设置的先后顺序执行，本实施例对此不进行限定。
第一图像的若干个子图像可以通过对第一图像进行裁切得到，或者通过在第一图像上划窗得到。若干个子图像的分辨率可以相同也可以不同，本实施例对此不进行限定。本申请中的若干个为两个或两个以上。
通过分别对若干个子图像进行图像分割处理，可以得到第一图像对应的第一初始分割结果。
由于第一图像中，细节特征所占的比重较大，且第一初始分割结果是基于第一图像的若干个子图像得到的，而在确定子图像的过程中，会丢失部分全局特征，从而增加了子图像中细节特征的占比，因此，得到第一初始分割结果更加聚焦于细节特征，即第一初始分割结果较为精确，但可能出现某个子图像对应的部分分割结果错误的情况。
由于第二图像中，全局特征所占的比重较大，且是基于第二图像整体进行的图像分割处理，不会出现丢失全局特征的情况，因此，得到第二初始分割结果更加聚焦于全局特征，即分割出的成像目标的位置更加准确，不会出现局部错误的情况，但是对于成像目标的边缘区域，分割结果不够精确。
S106、基于成像目标，融合第一初始分割结果与第二初始分割结果，得到目标分割结果。
由于第一图像和第二图像是基于同一个成像目标得到的，因此，在本步骤中，可以基于成像目标，将第一初始分割结果和第二初始分割结果融合。
此外，根据上述步骤S104可知，第一初始分割结果较为精确，但可能出现某个子图像对应的部分分割结果错误的情况；而第二初始分割结果更加聚焦于全局特征，即分割出的成像目标的位置更加准确，不会出现局部错误的情况，但是对于成像目标的边缘区域，分割结果不够精确。
通过步骤S106，将第一初始分割结果和第二初始分割结果融合，可以通过第一初始分割结果保证目标分割结果的精确性，并可以通过第二初始分割结果，纠正第一初始分割结果中的某个子图像对应的部分分割错误的情况，从而保证得到的目标分割结果的准确性以及精确性。
参考图1B，对本申请的一种使用场景进行实例性说明。
获取第一图像以及第二图像，第一图像和第二图像基于同一成像目标得到，第一图像的分辨率大于第二图像的分辨率。
确定第一图像的若干个子图像，并对若干个子图像进行图像分割处理，以确定第一初始分割结果，第一初始分割结果具体可以为第一图像的所有像素进行标注后的图像，其中，黑色表示该像素被标注为背景，白色表示该像素被标注为前景。对第二子图像进行图像分割处理，可以确定第二初始分割结果，第二初始分割结果与第一初始分割结果类似，在此不再赘述。
将第一初始分割结果和第二初始分割结果融合后，可以得到目标分割结果。
本实施例提供的图像分割方案，通过获取第一图像以及第二图像，第一图像和第二图像基于同一成像目标得到，第一图像的分辨率大于第二图像的分辨率；基于第一图像的若干个子图像进行图像分割处理，得到第一初始分割结果，使得第一初始分割结果更加聚焦于细节特征，即得到的第一初始分割结果较为精确，但可能出现某个子图像对应的部分分割结果错误的情况；基于第二图像进行图像分割处理，得到第二初始分割结果，使得第二初始分割结果更加聚焦于全局特征，即分割出的成像目标的位置更加准确，不会出现局部错误的情况，但是对于成像目标的边缘区域，分割结果不够精确；然后，可以基于成像目标，融合第一初始分割结果与第二初始分割结果，得到目标分割结果，可以通过第一初始分割结果保证得到的目标分割结果的精确性，并可以通过第二初始分割结果，纠正第一初始分割结果中的某个子图像对应的部分分割错误的情况，使得得到的目标分割结果的准确性以及精确性较高。
本实施例的图像分割方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如手机、PAD等)和PC机等。
实施例二
图2为本申请实施例二提供的一种图像分割方法的流程示意图，如图2所示，本实施例提供的图像分割方法包括：
S202、分别以第一扫描倍数和第二扫描倍数扫描成像目标，得到第一图像以及第二图像。
其中，第一扫描倍数大于第二扫描倍数，使得第一图像的分辨率大于第二图像的分辨率。
本实施例中，可以通过扫描仪，将成像目标放大第一扫描倍数后，扫描得到第一图像，并将成像目标放大第二扫描倍数后，扫描得到第一图像。
可替代地，也可以将成像目标放大第一扫描倍数后，扫描得到第一图像；然后将第一图像进行缩放处理，以得到第二扫描倍数对应的第二图像。
本实施例中，第一图像的数量可以为若干个，若干个第一图像的分辨率可以不同；第二图像的数量也可以为若干个，若干个第二图像的分辨率也可以不同。
S204、基于第一图像的若干个子图像进行图像分割处理，得到第一初始分割结果，并且基于第二图像进行图像分割处理，得到第二初始分割结果。
当第一图像或第二图像的数量包括若干个时，针对若干个第一图像的子图像进行的图像分割处理的过程可以并行执行，针对若干个第二图像进行图像分割处理的过程也可以并行执行，当然，也可按照设定的先后顺序执行，本实施例对此不进行限定。
可选地，为了保证分割结果的准确性，避免遗漏，第一图像的若干个子图像中位置相邻的两个所述子图像可以存在重叠区域。当然，若干子图像中任意位置相邻的两个子图像之间，均可以存在重叠区域；也可以仅有部分位置相邻的两个子图像之间存在重叠区域，本实施例对此不进行限定。
可选地，所述方法还包括；在所述第一图像中确定多个子图像分割区域，对所述多个子图像分割区域进行分割，得到所述若干个子图像，其中，所述子图像分割区域包括相邻的第一子图像分割区域和第二子图像分割区域，所述第一子图像分割区域和第二子图像分割区域至少部分重叠。
可选地，所述在所述第一图像中确定多个子图像分割区域，对所述多个子图像分割区域进行分割，包括：对所述第一图像进行网格化处理，得到二维网格化图像；在所述二维网格化图像中，通过以目标步长在目标维度上移动目标切割窗口，对所述多个子图像分割区域进行分割，其中，在所述目标维度上，所述目标步长的网格数不大于所述目标切割窗口的网格数。例如，在所述目标维度上，所述目标步长的网格数小于所述目标切割窗口的网格数。例如，在所述目标维度上，所述目标步长的网格数等于所述目标切割窗口的网格数。
本实施例中，以通过预先训练的神经网络模型进行图像分割处理为例，进行示例性说明。为了方便描述，后续将基于第一图像的若干个子图像进行图像分割处理的神经网络模型称为第一神经网络模型，将基于第二图像进行图像分割处理的神经网络模型称为第二神经网络模型。
可选地，本实施例中，为了提高目标分割结果的准确率，在进行图像分割处理之前，可以对第一图像或对第二图像进行数据增广处理，具体地数据增广处理可以包括：翻转变换、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动、旋转变换/反射变换等。
具体地，可以对第一图像的若干个子图像进行数据增广处理，或者可以直接对第二图像进行数据增广处理。
可选地，本实施例中，基于第一图像的若干个子图像进行图像分割处理，得到第一初始分割结果的步骤可以包括：从若干个子图像中确定出包括成像目标的边缘的若干个边缘子图像；通过预先训练的分割神经网络，对若干个边缘子图像进行图像分割处理，得到分别对应于边缘子图像的若干个子分割结果；基于若干个子分割结果，得到第一初始分割结果。
本实施例中，第一神经网络模型中可以包括用于确定子图像是否为边缘子图像的神经网络支路，以及预先训练的分割神经网络；当将若干个子图像输入第一神经网络模型时，通过神经网络支路确定输入的子图像是否为边缘子图像，若是，则可以通过预先训练的分割神经网络，对边缘子图像进行图像分割处理，得到对应的子分割结果，则处理若干个边缘子图像后，可以得到分别对应于边缘子图像的若干个子分割结果，进而可以得到第一初始分割结果。
由于第一预设分割结果的优势在于更加聚焦于细节特征，即得到的第一初始分割结果较为精确，而在图像分割处理时，对成像目标的边缘的分割精度要求较高，因此，通过确定出成像目标的边缘的若干个边缘子图像，再通过预先训练的分割神经网络，对若干个边缘子图像进行图像分割处理，得到分别对应于边缘子图像的若干个子分割结果，使得得到的第一预设分割结果更加聚焦于成像目标的边缘，提高了图像分割处理的效率。
具体地，本实施例中，方法还可以包括：从若干个子图像中确定出不包括成像目标的边缘的若干个非边缘子图像，并确定若干个非边缘子图像分别对应的若干个分割标注信息；基于若干个子分割结果，得到第一初始分割结果，包括：对若干个边缘子图像分别对应的若干个子分割结果和若干个非边缘子图像分别对应的若干个分割标注信息进行拼合处理，得到第一初始分割结果。
本实施例中，针对非边缘子图像，由于其中不包括成像目标的边缘，因此，可以确定非边缘子图像中仅包括待分割的成像目标，或者不包括待分割的成像目标，因此，可以直接确定非边缘子图像对应的分割标记信息，不再通过预先训练的分割神经网络对其进行图像分割处理，从而可以进一步提高图像分割处理的效率。
例如，可以将第一图像的若干个子图像依序输入至第一神经网络模型，若通过第一神经网络模型确定某一子图像为边缘子图像，则通过第一神经网络模型中预先训练的分割神经网络，对该边缘子图像进行图像分割处理，得到其对应的子分割结果；或者，若通过第一神经网络模型，确定某一子图像为非边缘子图像，则可以根据该非边缘子图像的图像内容，将该非边缘子图像中的所有像素的分割标记信息确定为待分割的成像目标对应的标记信息或者背景对应的标记信息。在将所有子图像均经过第一神经网络模型处理后，可以将若干个边缘子图像的若干个子分割结果和若干个非边缘子图像的若干个子分割结果进行拼合处理，得到第一初始分割结果。
可选地，本实施例中，从若干个子图像中确定出包括成像目标的边缘的若干个边缘子图像，包括：通过预先训练的分类器，对若干个子图像进行分类，以从中确定出包括成像目标的边缘的若干个边缘子图像。由此，可以快速地从若干子图像中确定出边缘子图像。同理，也可以通过分类器确定出非边缘子图像。
具体分类器的实现可参考相关的图像分类方法，本实施例对此不再赘述。
另外，由于上述的分割神经网络在训练时大多通过一个完整的样本图像进行训练，然而，在训练分割神经网络时，仍然会将样本图像裁切为若干个样本子图像，然后基于样本子图像进行训练，训练时的收敛速度较慢。
本实施例中，为了提高分割神经网络训练时的收敛速度，分割神经网络可以通过下述方法进行预先训练：将样本图像裁切为若干个样本子图像，并从中确定出包括成像目标的边缘的若干个边缘样本子图像；通过分割神经网络，确定若干个边缘样本子图像对应的边缘预测子分割结果；根据边缘预测子分割结果，调整分割神经网络中的参数。
由于分割神经网络的在使用时，重点对边缘子图像进行初始分割，因此，在训练时，可以仅根据边缘样本子图像对应的边缘预测子分割结果，调整分割神经网络中的参数，而不再将样本图像对应的非边缘样本子图像作为训练依据，从而可以提高分割神经网络的收敛速度。
此外，本实施例中，上述的第二神经网络模型或分割神经网络可以为全卷积神经网络模型(FCN，Fully Convolutional Networks for Semantic Segmentation)、生物医学图像分割的卷积神经网络模型UNet、进行像素级别图像分割的全卷积网络模型SegNet、用于图像分割的深度学习模型DeepLab等。
S206、确定第一初始分割结果和第二初始分割结果基于成像目标的像素对应关系。
本实施例中，由于第一初始分割结果与第一图像对应，第二初始分割结果与第二图像对应，而第一图像和第二图像的分辨率不同，导致第一图像和第二图像的像素总数量、长宽上的像素数量等存在差异，可能出现第一图像和第二图像上同一位置的像素，会对应到成像目标的不同位置，致使第一初始分割结果和第二初始分割结果直接融合时，会出现结果错误的情况。
因此，本实施例中，先通过步骤S206，确定第一初始分割结果和第二初始分割结果基于成像目标的像素对应关系，再通过后续步骤进行融合，可以保证融合得到的目标分割结果的准确性。
具体地，像素对应关系可以用于指示第一图像以及第二图像中，对应成像目标的同一位置的像素，进而可以指示能够融合的第一初始分割结果和第二初始分割结果。
进一步可选地，本实施例中，步骤S206可以包括：对第一初始分割结果进行下采样处理和/或对第二初始分割结果进行上采样处理，使得第一初始分割结果的分辨率与第二初始分割结果的分辨率一致；基于分辨率一致的第一初始分割结果和第二初始分割结果，确定像素对应关系。
通过对第一初始分割结果进行下采样处理和/或对第二初始分割结果进行上采样处理，使得第一初始分割结果和处理后的第二初始分割结果的分辨率一致，由此，只要第一初始分割结果中的成像目标和第二初始分割结果中的成像目标的位置进行对齐，例如对齐成像目标的中心等，即可将第一初始分割结果中的像素与第二初始分割结果中的像素一一对应进行融合。当然，若成像目标在第一图像或第二图像中的位置相同，也可以默认像素对应关系为，相同位置的像素一一对应，本实施例对此不进行限定。
为了使得融合得到的目标分割结果更加准确，本实施例中，优选对第二初始分割结果进行上采样处理，使得第一初始分割结果和处理后的第二初始分割结果的分辨率一致。当然，为了减小计算数量以及减小目标分割结果的分辨率，也可以对第一初始分割结果进行下采样处理；或者，既对第一初始分割结果进行下采样处理，又对第二初始分割结果进行上采样处理。
此外，若第一图像或第二图像的数量为若干个，则，第一初始分割结果或第二初始分割结果的数量也为若干个，则，可以从中确定出分辨率最高的初始分割结果，并对其他的第一初始分割结果或第二初始分割结果进行上采样处理。
S208、根据像素对应关系，融合第一初始分割结果与第二初始分割结果，得到目标分割结果。
进一步可选地，本实施例中，步骤S208，包括：根据像素对应关系，分别确定第一初始分割结果和第二初始分割结果中目标像素位置的第一分割标注信息和第二分割标注信息；基于第一分割标注信息和第二分割标注信息，确定目标像素位置的目标分割标注信息，以得到目标分割结果。
本实施例中，目标像素位置具体可以为目标像素的坐标信息，坐标原点可以为第一初始分割结果的图像左下角或者第二初始分割结果的图像左下角。
分割标注信息，用于指示目标像素的标注类型，例如，标注类型具体可以为成像目标、背景等，相邻两个标注类型不同的像素之间即为分割出的成像目标的边缘。
具体基于第一分割标注信息和第二分割标注信息，确定目标像素位置的目标分割标注信息时，可以根据第一分割标注信息和第二分割标注信息进行投票，或者根据第一分割标注信息和第二分割标注信息进行投票结合权重进行计算等，本实施例对此不进行限定。
本实施例提供的图像分割方案，针对第一图像的若干个子图像进行图像分割处理的第一神经网络模型，添加分类器来从若干个子图片中确定出若干个边缘子图片，使得得到的第一初始分割结果更加聚焦于成像目标的边缘。
本实施例的图像分割方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如手机、PAD等)和PC机等。
图3A为本申请实施例三提供的一种图像分割方法的流程示意图，本实施例中，以第一图像的数量为1个，第二图像的数量为两个进行示例性说明，但并不作为本申请的限定，如图3A所示，本实施例提供的图像分割方法包括：
S302、扫描肝脏器官切片，得到20倍肝脏图像(第一图像)，5倍肝脏图像(一个第二图像)，以及1.5倍肝脏图像(另一个第二图像)。
参照图3B，左侧的三个图像分别为20倍肝脏图像、5倍肝脏图像、1.5倍肝脏图像。此处的倍数是指基于实际的肝脏器官切片的放大倍数。
S304、将20倍肝脏图像输入至第一神经网络模型Network1，通过第一神经网络模型对20倍肝脏图像进行划窗测试，并对每个划窗的小窗(即子图像)进行图像分割处理，得到第一初始分割结果。
可选地，为了保证分割结果的准确性，避免遗漏，第一图像的若干个子图像中位置相邻的两个所述子图像可以存在重叠区域。
可选地，所述方法还包括；在所述第一图像中确定多个子图像分割区域，对所述多个子图像分割区域进行分割，得到所述若干个子图像，其中，所述子图像分割区域包括相邻的第一子图像分割区域和第二子图像分割区域，所述第一子图像分割区域和第二子图像分割区域至少部分重叠。
可选地，所述在所述第一图像中确定多个子图像分割区域，对所述多个子图像分割区域进行分割，包括：对所述第一图像进行网格化处理，得到二维网格化图像；在所述二维网格化图像中，通过以目标步长在目标维度上移动目标切割窗口，对所述多个子图像分割区域进行分割，其中，在所述目标维度上，所述目标步长的网格数不大于所述目标切割窗口的网格数。例如，在所述目标维度上，所述目标步长的网格数小于所述目标切割窗口的网格数。例如，在所述目标维度上，所述目标步长的网格数等于所述目标切割窗口的网格数。
例如，在进行划窗测试时，为了避免遗漏，可以采用overlap的划窗方式，例如，相邻的小窗之间存在重叠区域，即位置相邻的两个所述子图像可以存在重叠区域。参照图3C，示出了一种进行划窗测试的示意图，图中示意性的示出了三个小窗，即三个以目标步长在目标维度上移动后目标切割窗口，分别用数字1、2、3表示。图3C中，以目标切割窗口的长宽分别为两个网格，overlap的长宽为一个窗口的长宽一半(即目标切割窗口移动时步长为一个网格)为例，进行示例性说明，在实际使用时，本领域的技术人员可根据需求调整overlap的尺寸，即调整目标步长，这也在本申请的保护范围内。参照图3D，示出了一种具体地第一神经网络模型的结构示意图。
如图所示，第一神经网络模型包括编码器网络Encoder，用于提取子图像中的特征，其具体为ResNet101网络。
编码器网络Encoder提取的子图像的图像特征具体可以包括底层特征Low levelfeature和高层特征High level feature。其中，底层特征Low level feature一般包括图像中的一些小的细节信息，例如边缘(edge)，角(corner)，颜色(color)，像素值(pixeles)，梯度(gradients)等；高层特征High level feature建立在底层特征之上，具有更丰富的语义信息，可以用于图像中目标或物体形状的识别和检测，即对图像进行初始分割。
编码器网络Encoder可以连接有分割神经网络。
分割神经网络具体可以包括金字塔池化单元(ASPP，Atrous Spatial PyramidPooling)以及解码器网络Segmentation。
ASPP以高层特征High level feature为输入，并通过采样率不同的空洞卷积对高层特征进行处理，得到若干个尺度的图像特征，然后将若干个尺度的图像特征进行池化处理，并输出。
由于ASPP是将若干个尺度的图像特征进行池化后输出的，因此，其输出的图像特征的维度较高，则可以对其进行降维处理，然后将其与底层特征Low level feature组合，并将组合后的图像特征作为解码器网络Segmentation的输入，解码器网络Segmentation可以根据输入的图像特征进行计算，并输出分割结果。解码器网络可以为全卷积神经网络模型(FCN，Fully Convolutional Networks for Semantic Segmentation)、生物医学图像分割的卷积神经网络模型UNet、进行像素级别图像分割的全卷积网络模型SegNet、用于图像分割的深度学习模型DeepLab等。
由于20倍肝脏图像的分辨率高，且按照像素划分小块时，肿瘤区域占小块的比例较大，导致第一神经网络模型在训练时不易收敛，为此，本申请中的第一神经网络模型还包括分类网络Classification，分类网络以高层特征High level feature为输入，并根据输入的特征确定子图像的分类。
本实施例中，子图像的类别可以包括边缘类Edge region、背景类background、前景类foreground。
另外，由于本申请以肝脏图像为例进行说明，则边缘类Edge region具体可以为肿瘤边缘类，背景类background具体可以为全背景类，前景类foreground具体可以为全肿瘤类；且，对应的类别划分标准可以为肿瘤区域占整个子图像的比例，比如占比为0.05及以下的为全背景类，占比为0.95及以上为全肿瘤类，占比为0.05至0.95之间为肿瘤边缘类。
下面对第一神经网络模型的训练过程进行说明。
1)预先确定样本图像，以及样本图像的真实初始分割结果。
2)确定样本图像若干个样本子图像，并将若干个样本子图像分别输入至编码器网络Encoder。
3)编码器网络Encoder输出当前样本子图像的高层特征High level feature至分类网络，分类网络输出当前样本子图像的预测分类结果。
4)根据当前样本子图像的预测分类结果，以及根据样本图像的真实分割结果确定当前样本子图像的真实分类结果Classify label，并基于交叉熵损失函数Cross Entropyloss，根据当前样本子图像的预测分类结果和真实分类结果，进行反向传播，来调整编码器网络Encoder和分类网络的参数。
5)编码器网络Encoder输出当前样本子图像的高层特征High level feature和底层特征Low level feature至分割神经网络，分割神经网络输出当前样本子图像的预测子分割结果Seg.pred.。
6)判断当前样本子图像的分类结果是否为边缘类。
7)若是，则将当前样本子图像的分类结果更新至分割神经网络，从而基于损失函数(Focal loss、dice loss)，根据当前样本子图像的预测子分割结果Seg.pred.和真实语义子分割结果Seg.label进行反向传播，来调整编码器网络Encoder和分割神经网络的参数。
8)若不是，则不进行反向传播，即不根据当前样本子图像的预测子分割结果，调整编码器网络Encoder和分割神经网络的参数。
本实施例中，在训练第一神经网络模型时，仅在当前样本子图像的类型为边缘类时，即样本子图像为边缘样本子图像时，才调整分割神经网络的参数，从而能够避免除边缘类的其他区域的干扰，提高了收敛速度。
可替代的，在训练时，可以先确定样本子图像的类别，确定当前样本子图像的类型为边缘类，再将当前样本子图像的底层特征和高层特征输入分割神经网络；或者，可以在分割神经网络输出当前样本子图像的预测子分割结果后，再确定当前样本子图像的类型是否为边缘类，本实施例对此不进行限定。
本实施例中，进行训练时，编码器网络Encoder的参数是同时根据分类网络和分割网络的输出调整的，因此，本申请中的第一神经网络模型的结构为端到端的多任务分割网络结构。
下面对第一神经网络模型的使用过程进行说明。
1)对20倍肝脏图像进行划窗测试，从而得到20倍肝脏图像的若干个子图像。
2)将若干个子图像分别输入至编码器网络Encoder。
3)编码器网络Encoder输出当前子图像的高层特征High level feature至分类网络，分类网络输出当前样本子图像的分类结果。针对肝脏图像，类型包括全肿瘤类、全背景类、肿瘤边缘类。
4)若分类结果是全肿瘤类，则整个当前子图像中的像素均标记为肿瘤，即其子分割结果为全肿瘤；若分类结果是全背景类，则整个当前子图像的像素均标记为背景，及其子分割结果为全背景；若分类结果是肿瘤边缘类(对应边缘子图像)，则通过分割神经网络确定当前子图像的子分割结果，即其包括部分肿瘤、部分背景。
如图3B所示，将第一神经网络输出的若干个子图像对应的子分割结果进行拼合处理stitch后，可以得到20倍肝脏图像对应的第一初始分割结果。
可替代地，上述分类网络可以替换为用于确定子图像中包括肿瘤的比例的逻辑回归神经网络，从而可以根据逻辑回归神经网络回归的子图像中肿瘤的占比，来确定子图像的分类结果。
S306、将5倍肝脏图像输入至一第二神经网络模型Network2，通过该第二神经网络模型直接对5倍肝脏图像进行图像分割处理，得到一第二初始分割结果。
S308、将1.5倍肝脏图像输入至另一第二神经网络模型Network3，通过该第二神经网络模型直接对1.5倍肝脏图像进行图像分割处理，得到另一第二初始分割结果。
S310、将一第二初始分割结果以及另一第二初始分割结果进行上采样处理upsampling，使其与第一初始分割结果的分辨率一致。
S312、根据第一初始分割结果，以及处理后的一第二初始分割结果以及另一第二初始分割结果进行融合，得到目标分割结果。
本实施例中，进行融合时，可以针对每个像素位置，根据第一初始分割结果、一第二初始分割结果、另一第二初始分割结果中的第一分割标记信息、一第二分割标记信息、另一第二分割标记信息，确定该像素位置的目标分割标记信息。
例如，针对(300，500)的像素位置，第一分割标记信指示其为“肿瘤”、一第二分割标记信息指示其为“背景”、另一第二分割标记信息指示其为“背景”，则可以确定该像素位置的目标分割标记信息为“背景”。应当理解的是，此处仅为举例说明，并不作为本申请的限定。
本实施例中，仅以20倍肝脏图像、5倍肝脏图像、1.5倍肝脏图像三个为例进行说明，在实际使用时，分辨率不同的图像的数量越多，确定的目标分割结果的准确率越高。
本方案在100张肝脏肿瘤的分割效率如下表所示：
Model Dice Jaccard
UNet 0.910 0.785
DeepLabv3+ 0.935 0.880
Multi-task Network 0.943 0.894
Multi-task Network(with MP) 0.946 0.900
其中，Model表示使用的神经网络模型；Multi-task Network为本实施例中的第一神经网络模型；表中的MP表示多视角预测策略(划窗时对每个子图像进行多视角数据增广预测)，Dice是一种医学图像分割任务常用评测指标；Jaccard为另一种不同于Dice的图像分割常用评测指标。
例如，一个数据增广预测可以为旋转增广预测，例如，对待分割的图像(例如上述的第一图像的子图像)进行多角度旋转，得到多个与待分割图像方向不同的图像，例如，待分割图像为第一图像的子图像patch-A，则旋转后可以得到方向不同的patch-B、patch-C、patch-D，旋转前后共计4个图像；之后可以将待分割图像与旋转得到的图像均进行图像分割处理，并将分别对应的图像分割处理的结果进行合并，得到待分割图像对应的分割结果，例如可以得到上述的第一图像的子图像对应的子分割结果。
从表中看到我们采用的处理20倍肝脏图像的第一神经网络模型(Multi-taskNetwork)比常规的分割网络(UNet、DeepLabv3+等)效果更好。
实验发现进一步通过三个神经网络集成的方式对20倍肝脏图像、5倍肝脏图像、1.25倍肝脏图像分别进行处理后，得到的目标分割结果，相比仅对20倍肝脏图像进行处理的第一神经网络模型提高3.7％。
本实施例的图像分割方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如手机、PAD等)和PC机等。
实施例四
本实施例对图像分割方法的使用场景进行示例性说明。
如图4A所示，在进行图像分割前，可以通过图4A示出的界面选择待分割的图像，例如可以选择“患者A的肝脏病理图像”并触发“开始分割”按钮，此时，可以将患者A对应的两张或多张分辨率不同的肝脏病理图像通过上述实施例提供的方法进行处理，得到肝脏病理图像对应的目标分割结果。
当然，在其他实现方式中，也可以通过其他方式选择或者上传图像，本实施例对此不进行限定。
在得到肝脏病理图像对应的目标分割结果后，可以将其通过界面进行展示，例如图4B所示。
根据目标分割结果，可以确定肝脏病例图像中的病变的边缘，则在图4B中，可以将病变边缘叠加在原始的肝脏病理图像中进行展示，例如图4B中的实线。
若用户对目标识别结果不满意，则可以在界面中进行勾画，来确定自己希望的病变的边缘，或确定自己希望识别出的病变区域，例如图4B中的虚线椭圆可以为用户勾画的希望识别出的病变区域，用户勾画后可以触发界面中的“重新分割”按钮，从而可以根据用户的勾画，再次通过上述实施例提供的方法进行图像分割处理。
实施例五
图5为本申请实施例五提供的一种图像分割装置的结构框图，如图5所示，本实施例提供的图像分割装置，包括：图像获取单元402、分割单元404、融合单元406。
图像获取单元402，用于获取第一图像以及第二图像，第一图像和第二图像基于同一成像目标得到，第一图像的分辨率大于第二图像的分辨率。
分割单元404，用于基于第一图像的若干个子图像进行图像分割处理，得到第一初始分割结果，并且基于第二图像进行图像分割处理，得到第二初始分割结果。
融合单元406，用于基于成像目标，融合第一初始分割结果与第二初始分割结果，得到目标分割结果。
可选地，本申请实施例中，融合单元406，包括：像素关系确定单元，用于确定第一初始分割结果和第二初始分割结果基于成像目标的像素对应关系；融合子单元，用于根据像素对应关系，融合第一初始分割结果与第二初始分割结果，得到目标分割结果。
可选地，本申请实施例中，像素关系确定单元，包括：采样处理单元，用于对第一初始分割结果进行下采样处理和/或对第二初始分割结果进行上采样处理，使得第一初始分割结果的分辨率与第二初始分割结果的分辨率一致；关系确定单元，用于基于分辨率一致的第一初始分割结果和第二初始分割结果，确定像素对应关系。
可选地，本申请实施例中，融合子单元，包括：分割标注信息确定单元，用于根据像素对应关系，分别确定第一初始分割结果和第二初始分割结果中目标像素位置的第一分割标注信息和第二分割标注信息；目标标注信息确定单元，用于基于第一分割标注信息和第二分割标注信息，确定目标像素位置的目标分割标注信息，以得到目标分割结果。
可选地，本申请实施例中，分割单元404，包括：边缘子图像确定单元，用于从若干个子图像中确定出包括成像目标的边缘的若干个边缘子图像；边缘分割单元，用于通过预先训练的分割神经网络，对若干个边缘子图像进行图像分割处理，得到分别对应于边缘子图像的若干个子分割结果；结果确定单元，用于基于若干个子分割结果，得到第一初始分割结果。
可选地，本申请实施例中，装置还包括：非边缘子图像确定单元，用于从若干个子图像中确定出不包括成像目标的边缘的若干个非边缘子图像，并根据若干个非边缘子图像中包括的图像内容，确定若干个非边缘子图像对应的若干个子分割结果；分割单元404具体用于：对若干个边缘子图像的若干个子分割结果和若干个非边缘子图像的若干个子分割结果进行拼合处理，得到第一初始分割结果。
可选地，本申请实施例中，边缘确定单元具体用于：通过预先训练的分类器，对若干个子图像进行分类，以从中确定出包括成像目标的边缘的若干个边缘子图像。
可选地，本申请实施例中，装置还包括训练单元，用于训练分割神经网络；训练单元包括：样本边缘子图像确定单元，用于将样本图像裁切为若干个样本子图像，并从中确定出包括成像目标的边缘的若干个边缘样本子图像；预测单元，用于通过分割神经网络，确定若干个边缘样本子图像对应的边缘预测子分割结果；调整单元，用于根据边缘预测子分割结果，调整分割神经网络中的参数。
可选地，本申请实施例中，图像获取单元402具体用于：分别以第一扫描倍数和第二扫描倍数扫描成像目标，得到第一图像以及第二图像，其中，第一扫描倍数大于第二扫描倍数，使得第一图像的分辨率大于第二图像的分辨率。
可选地，本申请实施例中，所述第一图像的若干个子图像中位置相邻的两个所述子图像存在重叠区域。
可选地，所述装置还包括；子图像确定单元，用于在所述第一图像中确定多个子图像分割区域，对所述多个子图像分割区域进行分割，得到所述若干个子图像，其中，所述子图像分割区域包括相邻的第一子图像分割区域和第二子图像分割区域，所述第一子图像分割区域和第二子图像分割区域至少部分重叠。
可选地，所述子图像确定单元，具体用于：对所述第一图像进行网格化处理，得到二维网格化图像；在所述二维网格化图像中，通过以目标步长在目标维度上移动目标切割窗口，对所述多个子图像分割区域进行分割，其中，在所述目标维度上，所述目标步长的网格数不大于所述目标切割窗口的网格数。例如，在所述目标维度上，所述目标步长的网格数小于所述目标切割窗口的网格数。例如，在所述目标维度上，所述目标步长的网格数等于所述目标切割窗口的网格数。
本实施例提供的图像分割方案，通过获取第一图像以及第二图像，第一图像和第二图像基于同一成像目标得到，第一图像的分辨率大于第二图像的分辨率；基于第一图像的若干个子图像进行图像分割处理，得到第一初始分割结果，使得第一初始分割结果更加聚焦于细节特征，即得到的第一初始分割结果较为精确，但可能出现某个子图像对应的部分分割结果错误的情况；基于第二图像进行图像分割处理，得到第二初始分割结果，使得第二初始分割结果更加聚焦于全局特征，即分割出的成像目标的位置更加准确，不会出现局部错误的情况，但是对于成像目标的边缘区域，分割结果不够精确；然后，可以基于成像目标，融合第一初始分割结果与第二初始分割结果，得到目标分割结果，可以通过第一初始分割结果保证得到的目标分割结果的精确性，并可以通过第二初始分割结果，纠正第一初始分割结果中的某个子图像对应的部分分割错误的情况，使得得到的目标分割结果的准确性以及精确性较高。
本实施例的图像分割装置用于实现前述若干个方法实施例中相应的图像分割方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的图像分割装置中的各个单元的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。
实施例六
图6为本申请实施例六提供的一种图像分割方法的流程示意图，如图6所示，本实施例提供的图像分割方法，包括：
S502、获取第一病理图像以及第二病理图像。
第一病理图像和第二病理图像基于同一病变区域得到，第一病理图像的分辨率大于第二病理图像的分辨率。
病变区域可以包括肝脏上的肿瘤区域等。
S504、基于第一病理图像的若干个子图像进行图像分割处理，得到第一初始分割结果，并且基于第二病理图像进行图像分割处理，得到第二初始分割结果。
可选地，本申请实施例中，所述第一病理图像的若干个子图像中位置相邻的两个所述子图像存在重叠区域。
可选地，所述方法还包括；在所述第一病理图像中确定多个子图像分割区域，对所述多个子图像分割区域进行分割，得到所述若干个子图像，其中，所述子图像分割区域包括相邻的第一子图像分割区域和第二子图像分割区域，所述第一子图像分割区域和第二子图像分割区域至少部分重叠。
可选地，所述在所述第病理一图像中确定多个子图像分割区域，对所述多个子图像分割区域进行分割，包括：对所述第一图像进行网格化处理，得到二维网格化图像；在所述二维网格化图像中，通过以目标步长在目标维度上移动目标切割窗口，对所述多个子图像分割区域进行分割，其中，在所述目标维度上，所述目标步长的网格数不大于所述目标切割窗口的网格数。例如，在所述目标维度上，所述目标步长的网格数小于所述目标切割窗口的网格数。例如，在所述目标维度上，所述目标步长的网格数等于所述目标切割窗口的网格数。
S506、基于病变区域，融合第一初始分割结果与第二初始分割结果，得到目标分割结果。
可选地，本申请实施例中，步骤S506包括：确定第一初始分割结果和第二初始分割结果基于病变区域的像素对应关系；根据像素对应关系，融合第一初始分割结果与第二初始分割结果，得到目标分割结果。
可选地，本申请实施例中，确定第一初始分割结果和第二初始分割结果基于病变区域的像素对应关系，包括：对第一初始分割结果进行下采样处理和/或对第二初始分割结果进行上采样处理，使得第一初始分割结果的分辨率与第二初始分割结果的分辨率一致；基于分辨率一致的第一初始分割结果和第二初始分割结果，确定像素对应关系。
可选地，本申请实施例中，根据像素对应关系，融合第一初始分割结果与第二初始分割结果，得到目标分割结果，包括：根据像素对应关系，分别确定第一初始分割结果和第二初始分割结果中目标像素位置的第一分割标注信息和第二分割标注信息；基于第一分割标注信息和第二分割标注信息，确定目标像素位置的目标分割标注信息，以得到目标分割结果。
可选地，本申请实施例中，基于第一图像的若干个子图像进行图像分割处理，得到第一初始分割结果，包括：从若干个子图像中确定出包括病变区域的病变边缘的若干个边缘子图像；通过预先训练的分割神经网络，对若干个边缘子图像进行图像分割处理，得到分别对应于边缘子图像的若干个子分割结果；基于若干个子分割结果，得到第一初始分割结果。
可选地，本申请实施例中，方法还包括：从若干个子图像中确定出不包括病变区域的病变边缘的若干个非边缘子图像，并根据若干个非边缘子图像中包括的图像内容，确定若干个非边缘子图像对应的若干个子分割结果；基于若干个子分割结果，得到第一初始分割结果，包括：对若干个边缘子图像的若干个子分割结果和若干个非边缘子图像的若干个子分割结果进行拼合处理，得到第一初始分割结果。
本实施例中，病变边缘具体可以为肝脏上的肿瘤的边缘等。
可选地，本申请实施例中，从若干个子图像中确定出包括病变区域的病变边缘的若干个边缘子图像，包括：通过预先训练的分类器，对若干个子图像进行分类，以从中确定出包括病变区域的边缘的若干个边缘子图像。
可选地，本申请实施例中，分割神经网络通过下述方法进行预先训练：将样本图像裁切为若干个样本子图像，并从中确定出包括病变区域的边缘的若干个边缘样本子图像；通过分割神经网络，确定若干个边缘样本子图像对应的边缘预测子分割结果；根据边缘预测子分割结果，调整分割神经网络中的参数。
可选地，本申请实施例中，获取第一病理图像以及第二病理图像，包括：分别以第一扫描倍数和第二扫描倍数扫描包括病变区域的病变器官切片，得到第一病理图像以及第二病理图像，其中，第一扫描倍数大于第二扫描倍数，使得第一图像的分辨率大于第二图像的分辨率。
本实施例提供的图像分割方案，通过获取第一病理图像以及第二病理图像，第一病理图像和第二病理图像基于同一病变区域得到，第一病理图像的分辨率大于第二病理图像的分辨率；基于第一病理图像的若干个子图像进行图像分割处理，得到第一初始分割结果，使得第一初始分割结果更加聚焦于细节特征，即得到的第一初始分割结果较为精确，但可能出现某个子图像对应的部分分割结果错误的情况；基于第二病理图像进行图像分割处理，得到第二初始分割结果，使得第二初始分割结果更加聚焦于全局特征，即分割出的成像目标的位置更加准确，不会出现局部错误的情况，但是对于成像目标的边缘区域，分割结果不够精确；然后，可以基于病变区域，融合第一初始分割结果与第二初始分割结果，得到目标分割结果，可以通过第一初始分割结果保证得到的目标分割结果的精确性，并可以通过第二初始分割结果，纠正第一初始分割结果中的某个子图像对应的部分分割错误的情况，使得得到的目标分割结果的准确性以及精确性较高，进而可以保证根据目标分割结果确定的病变区域范围等的准确度较高。
本实施例的图像分割方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如手机、PAD等)和PC机等。
实施例七
本实施例提供的图像分割装置，包括：图像获取单元、分割单元、融合单元。
图像获取单元，用于获取第一病理图像以及第二病理图像，第一病理图像和第二病理图像基于同一病变区域得到，第一病理图像的分辨率大于第二病理图像的分辨率。
分割单元，用于基于第一病理图像的若干个子图像进行图像分割处理，得到第一初始分割结果，并且基于第二病理图像进行图像分割处理，得到第二初始分割结果。
融合单元，用于基于病变区域，融合第一初始分割结果与第二初始分割结果，得到目标分割结果。
本实施例提供的图像分割装置的结构框图可参考图5。
可选地，本申请实施例中，融合单元，包括：像素关系确定单元，用于确定第一初始分割结果和第二初始分割结果基于病变区域的像素对应关系；融合子单元，用于根据像素对应关系，融合第一初始分割结果与第二初始分割结果，得到目标分割结果。
可选地，本申请实施例中，像素关系确定单元，包括：采样处理单元，用于对第一初始分割结果进行下采样处理和/或对第二初始分割结果进行上采样处理，使得第一初始分割结果的分辨率与第二初始分割结果的分辨率一致；关系确定单元，用于基于分辨率一致的第一初始分割结果和第二初始分割结果，确定像素对应关系。
可选地，本申请实施例中，融合子单元，包括：分割标注信息确定单元，用于根据像素对应关系，分别确定第一初始分割结果和第二初始分割结果中目标像素位置的第一分割标注信息和第二分割标注信息；目标标注信息确定单元，用于基于第一分割标注信息和第二分割标注信息，确定目标像素位置的目标分割标注信息，以得到目标分割结果。
可选地，本申请实施例中，分割单元，包括：边缘子图像确定单元，用于从若干个子图像中确定出包括病变区域的病变边缘的若干个边缘子图像；边缘分割单元，用于通过预先训练的分割神经网络，对若干个边缘子图像进行图像分割处理，得到分别对应于边缘子图像的若干个子分割结果；结果确定单元，用于基于若干个子分割结果，得到第一初始分割结果。
可选地，本申请实施例中，装置还包括：非边缘子图像确定单元，用于从若干个子图像中确定出不包括病变区域的病变边缘的若干个非边缘子图像，并根据若干个非边缘子图像中包括的图像内容，确定若干个非边缘子图像对应的若干个子分割结果；
分割单元具体用于：对若干个边缘子图像的若干个子分割结果和若干个非边缘子图像的若干个子分割结果进行拼合处理，得到第一初始分割结果。
本实施例中，病变边缘具体可以为肝脏上的肿瘤的边缘等。
可选地，本申请实施例中，边缘确定单元具体用于：通过预先训练的分类器，对若干个子图像进行分类，以从中确定出包括病变区域的边缘的若干个边缘子图像。
可选地，本申请实施例中，装置还包括训练单元，用于训练分割神经网络；训练单元包括：样本边缘子图像确定单元，用于将样本图像裁切为若干个样本子图像，并从中确定出包括病变区域的边缘的若干个边缘样本子图像；预测单元，用于通过分割神经网络，确定若干个边缘样本子图像对应的边缘预测子分割结果；调整单元，用于根据边缘预测子分割结果，调整分割神经网络中的参数。
可选地，本申请实施例中，图像获取单元具体用于：分别以第一扫描倍数和第二扫描倍数扫描包括病变区域的病变器官切片，得到第一病理图像以及第二病理图像，其中，第一扫描倍数大于第二扫描倍数，使得第一病理图像的分辨率大于第二病理图像的分辨率。
可选地，本申请实施例中，所述第一病理图像的若干个子图像中位置相邻的两个所述子图像存在重叠区域。
可选地，所述装置还包括；子图像确定单元，用于在所述第一病理图像中确定多个子图像分割区域，对所述多个子图像分割区域进行分割，得到所述若干个子图像，其中，所述子图像分割区域包括相邻的第一子图像分割区域和第二子图像分割区域，所述第一子图像分割区域和第二子图像分割区域至少部分重叠。
可选地，所述子图像确定单元，具体用于：对所述第一病理图像进行网格化处理，得到二维网格化图像；在所述二维网格化图像中，通过以目标步长在目标维度上移动目标切割窗口，对所述多个子图像分割区域进行分割，其中，在所述目标维度上，所述目标步长的网格数不大于所述目标切割窗口的网格数。例如，在所述目标维度上，所述目标步长的网格数小于所述目标切割窗口的网格数。例如，在所述目标维度上，所述目标步长的网格数等于所述目标切割窗口的网格数。
本实施例提供的图像分割方案，通过获取第一病理图像以及第二病理图像，第一病理图像和第二病理图像基于同一病变区域得到，第一病理图像的分辨率大于第二病理图像的分辨率；基于第一病理图像的若干个子图像进行图像分割处理，得到第一初始分割结果，使得第一初始分割结果更加聚焦于细节特征，即得到的第一初始分割结果较为精确，但可能出现某个子图像对应的部分分割结果错误的情况；基于第二病理图像进行图像分割处理，得到第二初始分割结果，使得第二初始分割结果更加聚焦于全局特征，即分割出的成像目标的位置更加准确，不会出现局部错误的情况，但是对于成像目标的边缘区域，分割结果不够精确；然后，可以基于病变区域，融合第一初始分割结果与第二初始分割结果，得到目标分割结果，可以通过第一初始分割结果保证得到的目标分割结果的精确性，并可以通过第二初始分割结果，纠正第一初始分割结果中的某个子图像对应的部分分割错误的情况，使得得到的目标分割结果的准确性以及精确性较高，进而可以保证根据目标分割结果确定的病变区域范围等的准确度较高。
本实施例的图像分割装置用于实现前述方法实施例六中相应的图像分割方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的图像分割装置中的各个单元的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。
实施例八
参照图7，示出了根据本发明实施例八的一种电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。
如图7所示，该电子设备可以包括：处理器(processor)602、通信接口(Communications Interface)604、存储器(memory)606、以及通信总线608。
其中：
处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。
通信接口604，用于与其它电子设备或服务器进行通信。
处理器602，用于执行程序610，具体可以执行上述图像分割方法实施例中的相关步骤。
具体地，程序610可以包括程序代码，该程序代码包括计算机操作指令。
处理器602可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific lntegrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器606，用于存放程序610。存储器606可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序610具体可以用于使得处理器602执行以下操作：获取第一图像以及第二图像，第一图像和第二图像基于同一成像目标得到，第一图像的分辨率大于第二图像的分辨率；基于第一图像的若干个子图像进行图像分割处理，得到第一初始分割结果，并且基于第二图像进行图像分割处理，得到第二初始分割结果；基于成像目标，融合第一初始分割结果与第二初始分割结果，得到目标分割结果。
可选地，本申请实施例中，程序610具体可以用于使得处理器602在基于成像目标，融合第一初始分割结果与第二初始分割结果，得到目标分割结果时：确定第一初始分割结果和第二初始分割结果基于成像目标的像素对应关系；根据像素对应关系，融合第一初始分割结果与第二初始分割结果，得到目标分割结果。
可选地，本申请实施例中，程序610具体可以用于使得处理器602在确定第一初始分割结果和第二初始分割结果基于成像目标的像素对应关系时：对第一初始分割结果进行下采样处理和/或对第二初始分割结果进行上采样处理，使得第一初始分割结果的分辨率与第二初始分割结果的分辨率一致；基于分辨率一致的第一初始分割结果和第二初始分割结果，确定像素对应关系。
可选地，本申请实施例中，程序610具体可以用于使得处理器602在根据像素对应关系，融合第一初始分割结果与第二初始分割结果，得到目标分割结果时：根据像素对应关系，分别确定第一初始分割结果和第二初始分割结果中目标像素位置的第一分割标注信息和第二分割标注信息；基于第一分割标注信息和第二分割标注信息，确定目标像素位置的目标分割标注信息，以得到目标分割结果。
可选地，本申请实施例中，程序610具体可以用于使得处理器602在基于第一图像的若干个子图像进行图像分割处理，得到第一初始分割结果时：从若干个子图像中确定出包括成像目标的边缘的若干个边缘子图像；通过预先训练的分割神经网络，对若干个边缘子图像进行图像分割处理，得到分别对应于边缘子图像的若干个子分割结果；基于若干个子分割结果，得到第一初始分割结果。
可选地，本申请实施例中，程序610还可以用于使得处理器602执行下述步骤：从若干个子图像中确定出不包括成像目标的边缘的若干个非边缘子图像，并根据若干个非边缘子图像中包括的图像内容，确定若干个非边缘子图像对应的若干个子分割结果；基于若干个子分割结果，得到第一初始分割结果，包括：对若干个边缘子图像的若干个子分割结果和若干个非边缘子图像的若干个子分割结果进行拼合处理，得到第一初始分割结果。
可选地，本申请实施例中，程序610具体可以用于使得处理器602在从若干个子图像中确定出包括成像目标的边缘的若干个边缘子图像时：通过预先训练的分类器，对若干个子图像进行分类，以从中确定出包括成像目标的边缘的若干个边缘子图像。
可选地，本申请实施例中，程序610具体可以用于使得处理器602执行下述步骤，以预先训练分割神经网络：将样本图像裁切为若干个样本子图像，并从中确定出包括成像目标的边缘的若干个边缘样本子图像；通过分割神经网络，确定若干个边缘样本子图像对应的边缘预测子分割结果；根据边缘预测子分割结果，调整分割神经网络中的参数。
可选地，本申请实施例中，程序610具体可以用于使得处理器602在获取第一图像以及第二图像时：分别以第一扫描倍数和第二扫描倍数扫描成像目标，得到第一图像以及第二图像，其中，第一扫描倍数大于第二扫描倍数，使得第一图像的分辨率大于第二图像的分辨率。
可选地，本申请实施例中，所述第一图像的若干个子图像中位置相邻的两个所述子图像存在重叠区域。
可选地，所述方法还包括；在所述第一图像中确定多个子图像分割区域，对所述多个子图像分割区域进行分割，得到所述若干个子图像，其中，所述子图像分割区域包括相邻的第一子图像分割区域和第二子图像分割区域，所述第一子图像分割区域和第二子图像分割区域至少部分重叠。
可选地，所述在所述第一图像中确定多个子图像分割区域，对所述多个子图像分割区域进行分割，包括：对所述第一图像进行网格化处理，得到二维网格化图像；在所述二维网格化图像中，通过以目标步长在目标维度上移动目标切割窗口，对所述多个子图像分割区域进行分割，其中，在所述目标维度上，所述目标步长的网格数不大于所述目标切割窗口的网格数。例如，在所述目标维度上，所述目标步长的网格数小于所述目标切割窗口的网格数。例如，在所述目标维度上，所述目标步长的网格数等于所述目标切割窗口的网格数。
另一方面，程序610具体可以用于使得处理器602执行以下操作：获取第一病理图像以及第二病理图像，所述第一病理图像和所述第二病理图像基于同一病变区域得到，所述第一病理图像的分辨率大于所述第二病理图像的分辨率；基于所述第一病理图像的若干个子图像进行图像分割处理，得到第一初始分割结果，并且基于所述第二病理图像进行图像分割处理，得到第二初始分割结果；基于所述病变区域，融合所述第一初始分割结果与所述第二初始分割结果，得到目标分割结果。
可选地，本申请实施例中，程序610具体可以用于使得处理器602在基于病变区域，融合第一初始分割结果与第二初始分割结果，得到目标分割结果时：确定第一初始分割结果和第二初始分割结果基于病变区域的像素对应关系；根据像素对应关系，融合第一初始分割结果与第二初始分割结果，得到目标分割结果。
可选地，本申请实施例中，程序610具体可以用于使得处理器602在确定第一初始分割结果和第二初始分割结果基于病变区域的像素对应关系时：对第一初始分割结果进行下采样处理和/或对第二初始分割结果进行上采样处理，使得第一初始分割结果的分辨率与第二初始分割结果的分辨率一致；基于分辨率一致的第一初始分割结果和第二初始分割结果，确定像素对应关系。
可选地，本申请实施例中，程序610具体可以用于使得处理器602在根据像素对应关系，融合第一初始分割结果与第二初始分割结果，得到目标分割结果时：根据像素对应关系，分别确定第一初始分割结果和第二初始分割结果中目标像素位置的第一分割标注信息和第二分割标注信息；基于第一分割标注信息和第二分割标注信息，确定目标像素位置的目标分割标注信息，以得到目标分割结果。
可选地，本申请实施例中，程序610具体可以用于使得处理器602在基于第一病理图像的若干个子图像进行图像分割处理，得到第一初始分割结果时：从若干个子图像中确定出包括病变区域的病变边缘的若干个边缘子图像；通过预先训练的分割神经网络，对若干个边缘子图像进行图像分割处理，得到分别对应于边缘子图像的若干个子分割结果；基于若干个子分割结果，得到第一初始分割结果。
可选地，本申请实施例中，程序610还可以用于使得处理器602执行下述步骤：从若干个子图像中确定出不包括病变区域的病变边缘的若干个非边缘子图像，并根据若干个非边缘子图像中包括的图像内容，确定若干个非边缘子图像对应的若干个子分割结果；可选地，本申请实施例中，程序610具体可以用于使得处理器602在基于若干个子分割结果，得到第一初始分割结果时：对若干个边缘子图像的若干个子分割结果和若干个非边缘子图像的若干个子分割结果进行拼合处理，得到第一初始分割结果。
可选地，本申请实施例中，程序610具体可以用于使得处理器602在从若干个子图像中确定出包括病变区域的病变边缘的若干个边缘子图像时：通过预先训练的分类器，对若干个子图像进行分类，以从中确定出包括病变区域的边缘的若干个边缘子图像。
可选地，本申请实施例中，程序610具体可以用于使得处理器602执行下述步骤，以预先训练分割神经网络：将样本图像裁切为若干个样本子图像，并从中确定出包括病变区域的边缘的若干个边缘样本子图像；通过分割神经网络，确定若干个边缘样本子图像对应的边缘预测子分割结果；根据边缘预测子分割结果，调整分割神经网络中的参数。
可选地，本申请实施例中，程序610具体可以用于使得处理器602在获取第一病理图像以及第二病理图像时：分别以第一扫描倍数和第二扫描倍数扫描包括病变区域的病变器官切片，得到第一病理图像以及第二病理图像，其中，第一扫描倍数大于第二扫描倍数，使得第一病理图像的分辨率大于第二病理图像的分辨率。
可选地，本申请实施例中，所述第一病理图像的若干个子图像中位置相邻的两个所述子图像存在重叠区域。
可选地，所述方法还包括；在所述第一病理图像中确定多个子图像分割区域，对所述多个子图像分割区域进行分割，得到所述若干个子图像，其中，所述子图像分割区域包括相邻的第一子图像分割区域和第二子图像分割区域，所述第一子图像分割区域和第二子图像分割区域至少部分重叠。
可选地，所述在所述第一病理图像中确定多个子图像分割区域，对所述多个子图像分割区域进行分割，包括：对所述第一图像进行网格化处理，得到二维网格化图像；在所述二维网格化图像中，通过以目标步长在目标维度上移动目标切割窗口，对所述多个子图像分割区域进行分割，其中，在所述目标维度上，所述目标步长的网格数不大于所述目标切割窗口的网格数。例如，在所述目标维度上，所述目标步长的网格数小于所述目标切割窗口的网格数。例如，在所述目标维度上，所述目标步长的网格数等于所述目标切割窗口的网格数。
程序610中各步骤的具体实现可以参见上述图像分割方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
通过本实施例的电子设备，通过获取第一图像以及第二图像，第一图像和第二图像基于同一成像目标得到，第一图像的分辨率大于第二图像的分辨率；基于第一图像的若干个子图像进行图像分割处理，得到第一初始分割结果，使得第一初始分割结果更加聚焦于细节特征，即得到的第一初始分割结果较为精确，但可能出现某个子图像对应的部分分割结果错误的情况；基于第二图像进行图像分割处理，得到第二初始分割结果，使得第二初始分割结果更加聚焦于全局特征，即分割出的成像目标的位置更加准确，不会出现局部错误的情况，但是对于成像目标的边缘区域，分割结果不够精确；然后，可以基于成像目标，融合第一初始分割结果与第二初始分割结果，得到目标分割结果，可以通过第一初始分割结果保证得到的目标分割结果的精确性，并可以通过第二初始分割结果，纠正第一初始分割结果中的某个子图像对应的部分分割错误的情况，使得得到的目标分割结果的准确性以及精确性较高。
需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。
上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的图像分割方法。此外，当通用计算机访问用于实现在此示出的图像分割方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的图像分割方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。
以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。

Claims (17)

1.一种图像分割方法，包括：
获取第一图像以及第二图像，所述第一图像和所述第二图像基于同一成像目标得到，所述第一图像的分辨率大于所述第二图像的分辨率：
基于所述第一图像的若干个子图像进行图像分割处理，得到第一初始分割结果，并且基于所述第二图像进行图像分割处理，得到第二初始分割结果；
基于所述成像目标，融合所述第一初始分割结果与所述第二初始分割结果，得到目标分割结果。
2.根据权利要求1所述的方法，其中，所述基于所述成像目标，融合所述第一初始分割结果与所述第二初始分割结果，得到目标分割结果，包括：
确定所述第一初始分割结果和所述第二初始分割结果基于所述成像目标的像素对应关系；
根据所述像素对应关系，融合所述第一初始分割结果与所述第二初始分割结果，得到所述目标分割结果。
3.根据权利要求2所述的方法，其中，所述确定所述第一初始分割结果和所述第二初始分割结果基于所述成像目标的像素对应关系，包括：
对所述第一初始分割结果进行下采样处理和/或对所述第二初始分割结果进行上采样处理，使得所述第一初始分割结果的分辨率与所述第二初始分割结果的分辨率一致；
基于分辨率一致的所述第一初始分割结果和所述第二初始分割结果，确定所述像素对应关系。
4.根据权利要求2所述的方法，其中，所述根据所述像素对应关系，融合所述第一初始分割结果与所述第二初始分割结果，得到所述目标分割结果，包括：
根据所述像素对应关系，分别确定所述第一初始分割结果和所述第二初始分割结果中目标像素位置的第一分割标注信息和第二分割标注信息；
基于所述第一分割标注信息和所述第二分割标注信息，确定所述目标像素位置的目标分割标注信息，以得到所述目标分割结果。
5.根据权利要求1所述的方法，其中，所述基于所述第一图像的若干个子图像进行图像分割处理，得到第一初始分割结果，包括：
从所述若干个子图像中确定出包括所述成像目标的边缘的若干个边缘子图像；
通过预先训练的分割神经网络，对所述若干个边缘子图像进行图像分割处理，得到分别对应于所述边缘子图像的若干个子分割结果；
基于所述若干个子分割结果，得到所述第一初始分割结果。
6.根据权利要求5所述的方法，其中，所述方法还包括：
从所述若干个子图像中确定出不包括所述成像目标的边缘的若干个非边缘子图像，并根据所述若干个非边缘子图像中包括的图像内容，确定所述若干个非边缘子图像对应的若干个子分割结果；
所述基于所述若干个子分割结果，得到所述第一初始分割结果，包括：
对所述若干个边缘子图像的若干个子分割结果和所述若干个非边缘子图像的若干个子分割结果进行拼合处理，得到所述第一初始分割结果。
7.根据权利要求5所述的方法，其中，所述从所述若干个子图像中确定出包括所述成像目标的边缘的若干个边缘子图像，包括：
通过预先训练的分类器，对所述若干个子图像进行分类，以从中确定出包括所述成像目标的边缘的若干个边缘子图像。
8.根据权利要求5所述的方法，其中，所述分割神经网络通过下述方法进行预先训练：
将样本图像裁切为若干个样本子图像，并从中确定出包括所述成像目标的边缘的若干个边缘样本子图像；
通过所述分割神经网络，确定所述若干个边缘样本子图像对应的边缘预测子分割结果；
根据所述边缘预测子分割结果，调整所述分割神经网络中的参数。
9.根据权利要求1所述的方法，其中，所述获取第一图像以及第二图像，包括：
分别以第一扫描倍数和第二扫描倍数扫描所述成像目标，得到所述第一图像以及所述第二图像，其中，所述第一扫描倍数大于所述第二扫描倍数。
10.根据权利要求1所述的方法，其中，所述第一图像的若干个子图像中位置相邻的两个所述子图像存在重叠区域。
11.根据权利要求1所述的方法，其中，所述方法还包括；
在所述第一图像中确定多个子图像分割区域，对所述多个子图像分割区域进行分割，得到所述若干个子图像，其中，所述子图像分割区域包括相邻的第一子图像分割区域和第二子图像分割区域，所述第一子图像分割区域和第二子图像分割区域至少部分重叠。
12.根据权利要求11所述的方法，其中，所述在所述第一图像中确定多个子图像分割区域，对所述多个子图像分割区域进行分割，包括：
对所述第一图像进行网格化处理，得到二维网格化图像；
在所述二维网格化图像中，通过以目标步长在目标维度上移动目标切割窗口，对所述多个子图像分割区域进行分割，其中，在所述目标维度上，所述目标步长的网格数小于所述目标切割窗口的网格数。
13.一种图像分割方法，包括：
获取第一病理图像以及第二病理图像，所述第一病理图像和所述第二病理图像基于同一病变区域得到，所述第一病理图像的分辨率大于所述第二病理图像的分辨率；
基于所述第一病理图像的若干个子图像进行图像分割处理，得到第一初始分割结果，并且基于所述第二病理图像进行图像分割处理，得到第二初始分割结果；
基于所述病变区域，融合所述第一初始分割结果与所述第二初始分割结果，得到目标分割结果。
14.一种图像分割装置，包括：
图像获取单元，用于获取第一图像以及第二图像，所述第一图像和所述第二图像基于同一成像目标得到，所述第一图像的分辨率大于所述第二图像的分辨率；
分割单元，用于基于所述第一图像的若干个子图像进行图像分割处理，得到第一初始分割结果，并且基于所述第二图像进行图像分割处理，得到第二初始分割结果；
融合单元，用于基于所述成像目标，融合所述第一初始分割结果与所述第二初始分割结果，得到目标分割结果。
15.一种图像分割装置，包括：
图像获取单元，用于获取第一病理图像以及第二病理图像，所述第一病理图像和所述第二病理图像基于同一病变区域得到，所述第一病理图像的分辨率大于所述第二病理图像的分辨率；
分割单元，用于基于所述第一病理图像的若干个子图像进行图像分割处理，得到第一初始分割结果，并且基于所述第二病理图像进行图像分割处理，得到第二初始分割结果；
融合单元，用于基于所述病变区域，融合所述第一初始分割结果与所述第二初始分割结果，得到目标分割结果。
16.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-13中任一项所述的图像分割方法对应的操作。
17.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-13中任一所述的图像分割方法。
CN202010149322.8A 2020-03-04 2020-03-04 图像分割方法、装置、电子设备及计算机存储介质 Pending CN113362331A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010149322.8A CN113362331A (zh) 2020-03-04 2020-03-04 图像分割方法、装置、电子设备及计算机存储介质
PCT/US2021/020493 WO2021178419A1 (en) 2020-03-04 2021-03-02 Method and system for performing image segmentation
US17/190,099 US11880982B2 (en) 2020-03-04 2021-03-02 Method and system for performing image segmentation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010149322.8A CN113362331A (zh) 2020-03-04 2020-03-04 图像分割方法、装置、电子设备及计算机存储介质

Publications (1)

Publication Number Publication Date
CN113362331A true CN113362331A (zh) 2021-09-07

Family

ID=77523791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010149322.8A Pending CN113362331A (zh) 2020-03-04 2020-03-04 图像分割方法、装置、电子设备及计算机存储介质

Country Status (3)

Country Link
US (1) US11880982B2 (zh)
CN (1) CN113362331A (zh)
WO (1) WO2021178419A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114155255A (zh) * 2021-12-14 2022-03-08 成都索贝数码科技股份有限公司 一种基于特定人物时空轨迹的视频横屏转竖屏方法
CN116503863A (zh) * 2023-06-26 2023-07-28 尚特杰电力科技有限公司 光伏板编号方法、存储介质、控制器
CN116542945A (zh) * 2023-05-11 2023-08-04 哈尔滨工业大学重庆研究院 晶圆图像分割处理方法、电子设备及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115547481A (zh) * 2021-06-29 2022-12-30 富联精密电子(天津)有限公司 疾病辨别模型训练方法、装置及计算机可读存储介质
US20230316532A1 (en) * 2022-02-15 2023-10-05 Siemens Healthcare Gmbh Acute intracranial hemorrhage segmentation on brain images for volume quantification and individual detection
US20230316474A1 (en) * 2022-04-01 2023-10-05 Adobe Inc. Enhancing detailed segments in latent code-based edited digital images
CN115223154A (zh) * 2022-07-20 2022-10-21 中国科学院长春光学精密机械与物理研究所 目标检测系统及其检测方法
CN117011550B (zh) * 2023-10-08 2024-01-30 超创数能科技有限公司 一种电子显微镜照片中的杂质识别方法及装置
CN117911908B (zh) * 2024-03-20 2024-05-28 湖北经济学院 一种无人机航拍图像的增强处理方法及系统
CN118279138B (zh) * 2024-05-29 2024-09-06 北京智芯微电子科技有限公司 图像处理方法、装置、电子设备、存储介质及芯片

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120033862A1 (en) * 2010-08-06 2012-02-09 Sony Corporation Systems and methods for segmenting digital images
CN102550011A (zh) * 2009-11-26 2012-07-04 株式会社日立制作所 图像摄影系统、图像摄影方法以及存储图像摄影程序的存储介质
US20150242697A1 (en) * 2014-02-24 2015-08-27 MedSight Tech Corp. Methods and systems for performing segmentation and registration of images using neutrosophic similarity scores
CN105513041A (zh) * 2015-10-28 2016-04-20 深圳大学 一种大幅面遥感图像海陆分割的方法及系统
CN106530305A (zh) * 2016-09-23 2017-03-22 北京市商汤科技开发有限公司 语义分割模型训练和图像分割方法及装置、计算设备
RU2654199C1 (ru) * 2017-07-18 2018-05-16 Самсунг Электроникс Ко., Лтд. Сегментация тканей человека на компьютерном изображении
CN109272522A (zh) * 2018-10-19 2019-01-25 山东大学 一种基于局部特征的图像细化分割方法
CN109493347A (zh) * 2017-09-12 2019-03-19 深圳科亚医疗科技有限公司 在图像中对稀疏分布的对象进行分割的方法和系统
CN109872306A (zh) * 2019-01-28 2019-06-11 腾讯科技（深圳）有限公司 医学图像分割方法、装置和存储介质
CN110110617A (zh) * 2019-04-22 2019-08-09 腾讯科技（深圳）有限公司 医学影像分割方法、装置、电子设备和存储介质
CN110163866A (zh) * 2019-04-01 2019-08-23 上海卫莎网络科技有限公司 一种图像处理方法、电子设备及计算机可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100014755A1 (en) * 2008-07-21 2010-01-21 Charles Lee Wilson System and method for grid-based image segmentation and matching
US8547389B2 (en) * 2010-04-05 2013-10-01 Microsoft Corporation Capturing image structure detail from a first image and color from a second image
JP5751038B2 (ja) * 2010-12-20 2015-07-22 株式会社リコー 画像形成装置、画像形成方法、及び集積回路
US9530218B2 (en) 2014-04-04 2016-12-27 Hrl Laboratories, Llc Method for classification and segmentation and forming 3D models from images
US11587321B2 (en) * 2020-04-13 2023-02-21 Plantronics, Inc. Enhanced person detection using face recognition and reinforced, segmented field inferencing

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102550011A (zh) * 2009-11-26 2012-07-04 株式会社日立制作所 图像摄影系统、图像摄影方法以及存储图像摄影程序的存储介质
US20120257086A1 (en) * 2009-11-26 2012-10-11 Hitachi, Ltd. Imaging system, imaging method, and storage medium storing imaging program
US20120033862A1 (en) * 2010-08-06 2012-02-09 Sony Corporation Systems and methods for segmenting digital images
US20150242697A1 (en) * 2014-02-24 2015-08-27 MedSight Tech Corp. Methods and systems for performing segmentation and registration of images using neutrosophic similarity scores
CN105513041A (zh) * 2015-10-28 2016-04-20 深圳大学 一种大幅面遥感图像海陆分割的方法及系统
CN106530305A (zh) * 2016-09-23 2017-03-22 北京市商汤科技开发有限公司 语义分割模型训练和图像分割方法及装置、计算设备
RU2654199C1 (ru) * 2017-07-18 2018-05-16 Самсунг Электроникс Ко., Лтд. Сегментация тканей человека на компьютерном изображении
CN109493347A (zh) * 2017-09-12 2019-03-19 深圳科亚医疗科技有限公司 在图像中对稀疏分布的对象进行分割的方法和系统
CN109272522A (zh) * 2018-10-19 2019-01-25 山东大学 一种基于局部特征的图像细化分割方法
CN109872306A (zh) * 2019-01-28 2019-06-11 腾讯科技（深圳）有限公司 医学图像分割方法、装置和存储介质
CN110163866A (zh) * 2019-04-01 2019-08-23 上海卫莎网络科技有限公司 一种图像处理方法、电子设备及计算机可读存储介质
CN110110617A (zh) * 2019-04-22 2019-08-09 腾讯科技（深圳）有限公司 医学影像分割方法、装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YI ZENG等: "Towards high-resolution salient object detection", 《ARXIV》, 2 November 2019 (2019-11-02), pages 4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114155255A (zh) * 2021-12-14 2022-03-08 成都索贝数码科技股份有限公司 一种基于特定人物时空轨迹的视频横屏转竖屏方法
CN116542945A (zh) * 2023-05-11 2023-08-04 哈尔滨工业大学重庆研究院 晶圆图像分割处理方法、电子设备及存储介质
CN116542945B (zh) * 2023-05-11 2024-01-05 哈尔滨工业大学重庆研究院 晶圆图像分割处理方法、电子设备及存储介质
CN116503863A (zh) * 2023-06-26 2023-07-28 尚特杰电力科技有限公司 光伏板编号方法、存储介质、控制器
CN116503863B (zh) * 2023-06-26 2023-09-15 尚特杰电力科技有限公司 光伏板编号方法、存储介质、控制器

Also Published As

Publication number Publication date
WO2021178419A1 (en) 2021-09-10
US11880982B2 (en) 2024-01-23
US20210279887A1 (en) 2021-09-09

Similar Documents

Publication Publication Date Title
CN113362331A (zh) 图像分割方法、装置、电子设备及计算机存储介质
CN111027547B (zh) 一种针对二维图像中的多尺度多形态目标的自动检测方法
CN112651979B (zh) 肺部x光图像分割方法、系统、计算机设备及存储介质
CN112348787B (zh) 物体缺陷检测模型的训练方法、物体缺陷检测方法及装置
CN110991560B (zh) 一种结合上下文信息的目标检测方法及系统
CN111275034B (zh) 从图像中提取文本区域的方法、装置、设备和存储介质
CN110675407B (zh) 一种图像实例分割方法、装置、电子设备及存储介质
CN109961446B (zh) Ct/mr三维图像分割处理方法、装置、设备及介质
CN111445478A (zh) 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法
CN111815707A (zh) 点云确定方法、点云筛选方法、装置、计算机设备
CN112750121B (zh) 用于病理玻片数字图像质量检测的系统及其方法
CN112560698A (zh) 图像处理方法、装置、设备和介质
CN113344958B (zh) 一种显微成像扫描方法及扫描系统
CN112101205B (zh) 基于多任务网络的训练方法和装置
CN112102259A (zh) 一种基于边界引导深度学习的图像分割算法
CN111598088A (zh) 目标检测方法、装置、计算机设备及可读存储介质
CN114399764A (zh) 一种病理切片的扫描方法及系统
CN111383207A (zh) 一种肌骨超声图像处理方法、系统、装置及可读存储介质
CN116433596A (zh) 一种边坡坡面植被覆盖率测量方法、装置及相关组件
CN112330660B (zh) 一种基于神经网络的精子尾部检测方法及其系统
CN115019044A (zh) 单株植物的分割方法、装置、终端设备和可读存储介质
CN113255405B (zh) 车位线识别方法及其系统、车位线识别设备、存储介质
CN115546239B (zh) 基于边界注意力与距离变换的目标分割方法和装置
CN112102341B (zh) 一种细胞图像分割方法及其装置
CN113705430B (zh) 基于检测模型的表格检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40059847

Country of ref document: HK