CN113822845A - 医学图像中组织结构的层级分割方法、装置、设备及介质 - Google Patents

医学图像中组织结构的层级分割方法、装置、设备及介质 Download PDF

Info

Publication number
CN113822845A
CN113822845A CN202110598151.1A CN202110598151A CN113822845A CN 113822845 A CN113822845 A CN 113822845A CN 202110598151 A CN202110598151 A CN 202110598151A CN 113822845 A CN113822845 A CN 113822845A
Authority
CN
China
Prior art keywords
sample
dimensional
segmentation
image
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110598151.1A
Other languages
English (en)
Inventor
魏东
卢东焕
刘洪�
李悦翔
马锴
郑冶枫
王连生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110598151.1A priority Critical patent/CN113822845A/zh
Publication of CN113822845A publication Critical patent/CN113822845A/zh
Priority to EP22814976.1A priority patent/EP4307221A1/en
Priority to PCT/CN2022/091783 priority patent/WO2022252929A1/zh
Priority to US17/985,785 priority patent/US20230074520A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种医学图像中组织结构的层级分割方法、装置、设备及介质，涉及人工智能领域。包括：对三维医学图像中包含的各张二维医学图像进行特征提取，得到二维医学图像对应的图像特征，三维医学图像通过对目标组织结构进行连续扫描得到；基于图像特征确定各张二维医学图像在目标方向上的偏移量；基于偏移量对图像特征进行特征对齐，得到对齐后的图像特征；基于对齐后的图像特征对三维医学图像进行三维分割，得到三维医学图像中目标组织结构的三维层级分布。从三维医学图像中分割出组织结构的三维层级分布，并在分割前对图像特征进行特征对齐，能够消除扫描过程中因目标组织结构移动导致的图像间偏移，提高层级分割的准确性。

Description

医学图像中组织结构的层级分割方法、装置、设备及介质
技术领域
本申请实施例涉及人工智能领域，特别涉及一种医学图像中组织结构的层级分割方法、装置、设备及介质。
背景技术
医学扫描是一种利用扫描仪器对组织结构进行扫描，得到组织结构三维影像的技术。常见的医学扫描技术包括电子计算机断层扫描(Computed Tomography)、光学相干断层扫描(Optical Coherence Tomography，OCT)等等。
通过观察医学扫描得到医学图像，医护人员即可基于分析组织结构是否存在异常或病变。比如，医护人员基于眼部的OCT图像可以对视网膜层的病变情况进行诊断。相关技术中，利用计算机设备对OCT图像进行层级分割时，都是将各张二维的OCT图像作为独立个体进行分割，以此得到各张二维OCT图像中的层级位置。
然而，由于三维空间内组织结构的层级分布具有连续性，因此仅进行二维层级分割所得到的分割结果的准确性较差，且所能提供的诊断信息有限，导致目前医学图像的利用率较低。
发明内容
本申请实施例提供了一种医学图像中组织结构的层级分割方法、装置、设备及介质，能够从三维医学图像中分割出组织结构的三维层级分布，提高层级分割的准确性，并提供更多的诊断信息，提高医学图像的利用率。所述技术方案如下：
一方面，本申请实施例提供了一种医学图像中组织结构的层级分割方法，所述方法包括：
对三维医学图像中包含的各张二维医学图像进行特征提取，得到所述二维医学图像对应的图像特征，所述三维医学图像通过对目标组织结构进行连续扫描得到；
基于所述图像特征确定各张所述二维医学图像在目标方向上的偏移量；
基于所述偏移量对所述图像特征进行特征对齐，得到对齐后的所述图像特征；
基于对齐后的所述图像特征对所述三维医学图像进行三维分割，得到所述三维医学图像中所述目标组织结构的三维层级分布。
另一方面，本申请实施例提供了一种医学图像中组织结构的层级分割方法，所述方法包括：
通过特征提取网络对样本三维医学图像中包含的各张样本二维医学图像进行特征提取，得到所述样本二维医学图像对应的样本图像特征，所述样本三维医学图像通过对样本组织结构进行连续扫描得到；
将所述样本图像特征输入对齐网络，得到各张所述样本二维医学图像在目标方向上的样本偏移量；
基于所述样本偏移量对所述样本图像特征进行特征对齐，得到对齐后的所述样本图像特征；
将对齐后的所述样本图像特征输入分割网络，得到所述样本三维医学图像对应的样本三维分割结果，所述样本三维分割结果用于表征所述样本组织结构的层级分布情况；
基于所述样本偏移量、所述样本三维分割结果以及样本标注，训练所述特征提取网络、所述对齐网络以及所述分割网络。
另一方面，本申请实施例提供了一种医学图像中组织结构的层级分割装置，所述装置包括：
第一提取模块，用于对三维医学图像中包含的各张二维医学图像进行特征提取，得到所述二维医学图像对应的图像特征，所述三维医学图像通过对目标组织结构进行连续扫描得到；
偏移确定模块，用于基于所述图像特征确定各张所述二维医学图像在目标方向上的偏移量；
第一对齐模块，用于基于所述偏移量对所述图像特征进行特征对齐，得到对齐后的所述图像特征；
第一分割模块，用于基于对齐后的所述图像特征对所述三维医学图像进行三维分割，得到所述三维医学图像中所述目标组织结构的三维层级分布。
另一方面，本申请实施例提供了一种医学图像中组织结构的层级分割装置，所述装置包括：
第二提取模块，用于通过特征提取网络对样本三维医学图像中包含的各张样本二维医学图像进行特征提取，得到所述样本二维医学图像对应的样本图像特征，所述样本三维医学图像通过对样本组织结构进行连续扫描得到；
偏移预测模块，用于将所述样本图像特征输入对齐网络，得到各张所述样本二维医学图像在目标方向上的样本偏移量；
第二对齐模块，用于基于所述样本偏移量对所述样本图像特征进行特征对齐，得到对齐后的所述样本图像特征；
第二分割模块，用于将对齐后的所述样本图像特征输入分割网络，得到所述样本三维医学图像对应的样本三维分割结果，所述样本三维分割结果用于表征所述样本组织结构的层级分布情况；
训练模块，用于基于所述样本偏移量、所述样本三维分割结果以及样本标注，训练所述特征提取网络、所述对齐网络以及所述分割网络。
另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上述方面所述的方法。
另一方面，本申请实施例提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上述方面所述的方法。
另一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面提供的方法。
本申请实施例中，对三维医学图像中的二维医学图像进行特征提取后，首先基于图像特征，确定连续扫描过程中因目标组织结构移动造成的二维医学图像的偏移量，并基于该偏移量对图像特征进行特征对齐，从而基于对齐后的图像特征对三维医学图像进行特征分割，得到三维医学图像中目标组织结构的层级分布；采用本申请实施例提供的方案，能够实现三维层面的层级识别，从三维医学图像中分割出组织结构的三维层级分布，为后续诊断提供更多的有效信息，提高医学图像的利用率；并且，在进行三维分割前对图像特征进行特征对齐，能够消除扫描过程中因目标组织结构移动导致的图像间偏移，进而提高分割得到的层级分布的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请一个示例性实施例提供的层级分割模型的结构图；
图2示出了本申请一个示例性实施例提供的实施环境的示意图；
图3示出了本申请一个示例性实施例提供的医学图像中组织结构的层级分割方法的流程图；
图4示出了本申请另一个示例性实施例提供的医学图像中组织结构的层级分割方法的流程图；
图5是本申请一个示例性实施例示出的层级分割过程的实施示意图；
图6示出了本申请另一个示例性实施例提供的医学图像中组织结构的层级分割方法的流程图；
图7示出了本申请另一个示例性实施例提供的医学图像中组织结构的层级分割方法的流程图；
图8是本申请一个示例性实施例示出的模型训练过程的实施示意图；
图9是本申请另一个示例性实施例示出的模型训练过程的实施示意图；
图10是不同方案下B-scan图像对齐效果的对比图；
图11是本申请一个示例性实施例提供的医学图像中组织结构的层级分割装置的结构框图；
图12是本申请一个示例性实施例提供的医学图像中组织结构的层级分割装置的结构框图；
图13示出了本申请一个示例性实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例涉及的方法，即利用计算机视觉技术对医学图像中组织结构进行层级分割，确定出组织结构的三维层级结构。比如，利用本申请实施例提供的方案，可以基于人眼眼球的OCT图像，分割得到视网膜层的三维层级位置。
在一种实施方式中，计算机设备利用层级分割模型实现对组织结构的层级分割，其中，该层级分割模型为2D-3D混合模型。如图1所示，其示出了本申请一个示例性实施例提供的层级分割模型的结构图。层级分割模型由特征提取网络101(2D网络)、对齐网络102(3D网络)以及分割网络103(3D网络)构成。
层级分割过程中，三维医学图像104(连续扫描得到的二维医学图像1041构成)首先被输入特征提取网络101，由特征提取网络101对各张二维医学图像1041进行特征提取，得到图像特征105。由于连续扫描目标组织结构过程中，目标组织结构可能会发生移动，相应的，扫描得到的二维医学图像1041之间可能存在相对偏移，因此通过特征提取网络101提取得到图像特征105后，并非直接基于图像特征105进行三维层级分割，而是基于图像特征105，利用对齐网络102对二维医学图像1041进行偏移量预测，得到各张二维医学图像1041的偏移量106，从而基于该偏移量106对图像特征105进行特征对齐，进而将对齐后的图像特征105输入分割网络103，由分割网络103进行三维层级分割，最终得到目标组织结构在三维医学图像104中的三维层级分布107。
相较于通过人工进行层级识别，利用上述层级分割模型可以实现对三维医学图像的三维层级识别，得到组织结构的三维层级分布，不仅提高了层级分割的效率，还能够从医学图像中提取到更多有效信息，提高了医学图像的利用率；并且，在进行三维分割之前对图像之间的偏移量进行预测，从而基于偏移量对图像特征进行特征对齐，消除扫描过程中组织结构移动造成的影响，提高分割得到的三维层级分布的准确性，进而提高后续基于三维层级分布进行医学诊断的准确性。
本申请实施例提供的医学图像中组织结构的层级分割方法，可用于完成组织结构的层级分割任务，该组织结构可以是人体组织结构，比如眼球、心脏、血管等等；并且，所采用的医学图像可以是CT图像、OCT图像等等，本申请实施例并不对医学图像以及组织结构的类型进行限定。
在一种可能的应用场景下，本申请实施例提供的方法可以实现成为医学图像处理程序的全部或一部分。医护人员使用医学图像处理程序的过程中，只需要将扫描得到的三维医学图像输入程序，程序即可自动对三维医学图像进行层级分割，并输出图像中组织结构的层级分布。后续医护人员即可基于该层级分布分析组织结构是否存在异常或病变。当然，医学图像处理程序除了输出组织结构的层级分布外，还可以输出对齐后的三维医学图像，以便医护人员基于该图像人工识别组织结构的层级分布。
在其他可能的应用场景下，医学图像处理程序的输出可以作为下游系统的输入，由下游系统基于层级分布进行进一步处理。比如，医学图像处理程序输出的层级分布可以输入人工智能咨询系统，由人工智能咨询系统基于层级分布提供参考咨询结果，并反馈给用户。
除了上述应用场景外，本申请实施例提供的方法还可以应用于其他需要基于图像对组织结构进行层级分割的场景，本申请实施例并不对具体应用场景进行限定。
图2示出了本申请一个示例性实施例提供的实施环境的示意图。该实施环境中包括终端210和服务器220。其中，终端210与服务器220之间通过通信网络进行数据通信，可选地，通信网络可以是有线网络也可以是无线网络，且该通信网络可以是局域网、城域网以及广域网中的至少一种。
终端210是具有医学图像层级分割需求的电子设备，该电子设备可以是智能手机、平板电脑或个人计算机等等，本实施例并此不作限定。图2中，以终端210为医护人员使用的计算机为例进行说明。
在一些实施例中，终端210中安装有具有医学图像层级分割功能的应用程序。当需要对扫描得到的三维医学图像进行层级分割时，用户将待分割的三维医学图像输入应用程序，从而将三维医学图像上传至服务器220，由服务器220进行三维医学图像进行层级分割，并反馈分割结果。
服务器220可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一些实施例中，服务器220用于为终端210中安装的应用程序提供医学图像层级分割服务。可选的，服务器220中设置层级分割模型，该层级分割模型由特征提取网络221、对齐网络222以及分割网络223构成。进行层级分割时，服务器220将待分割的三维医学图像输入特征提取网络221，由特征提取网络221对各张二维医学图像进行特征提取，并进一步通过对齐网络222对提取到的图像特征进行特征对齐，进而由分割网络223利用对齐后的图像特征进行三维分割，最终将得到的三维层级分布反馈至终端210。终端210接收到三维层级分布后，通过应用程序对三维层级分布进行解析并显示。
当然，在其他可能的实施方式中，层级分割模型也可以部署在终端210侧，由终端210在本地实现三维层级分割，无需借助服务器220，本实施例对此不作限定。为了方便表述，下述各个实施例以医学图像中组织结构的层级分割方法由计算机设备执行为例进行说明。
图3示出了本申请一个示例性实施例提供的医学图像中组织结构的层级分割方法的流程图。本实施例以该方法用于计算机设备为例进行说明，该方法包括如下步骤。
步骤301，对三维医学图像中包含的各张二维医学图像进行特征提取，得到二维医学图像对应的图像特征，三维医学图像通过对目标组织结构进行连续扫描得到。
本申请实施例中，三维医学图像是由若干张连续扫描得到的二维医学图像所构成的图像集合，即不同二维医学图像为目标组织结构中不同切片的扫描图像。
目标组织结构为多层结构，本申请实施例的目的即对目标组织结构进行三维层级分割，确定出不同层级在三维医学图像中所处的位置。
可选的，该目标组织结构可以为眼球、心脏、血管等人体组织结构，且该三维医学图像可以为(三维)OCT图像，而二维医学图像则是通过B-scan(横向扫描)得到的图像。
在给定
Figure BDA0003091946410000083
的情况下，(三维)OCT图像可以写作实值函数V(x，y，z):Ω→R，其中，x和y轴是一个B-scan图像(即二维医学图像)中的行和列，z轴则正交于B-scan图像。V可以被看作是一个OCT图像中所有B-Scans图像的有序集合：V(b)＝{Ib}，其中Ib：Φ→R表示第b张B-scan图像，且
Figure BDA0003091946410000084
b∈[1,NB]，NB是(三维)OCT图像中B-Scans图像的总数。
下述各个实施例中，以三维医学图像为眼部OCT图像，且需要对眼部OCT图像中的视网膜层进行层级分割为例进行说明，但并不对此构成限定。
在一种可能的实施方式中，计算机设备对三维医学图像中的各张二维医学图像分别进行特征提取，得到各张二维医学图像各自对应的图像特征，该图像特征即为特征图(feature map)。其中，单张二维医学图像对应的图像特征用于表征该二维医学图像的二维特征，而多张二维医学图像对应的图像特征堆叠即可用于表征三维医学图像的三维特征。
步骤302，基于图像特征确定各张二维医学图像在目标方向上的偏移量。
由于三维医学图像中的二维医学图像通过多次扫描得到(即各张二维医学图像单独获取)，而在扫描过程中目标组织结构可能会发生移动，因此相邻二维医学图像之间可能会出现错位。比如，对眼部进行扫描过程中，眼球可能会发生移动，导致相邻二维医学图像中的视网膜层出现错位。
在二维医学图像之间发生错位的情况下，若直接利用提取到的图像特征进行三维分割，将会影响最终得到的三维分割结果的准确性(同一层级上连续位置之间出现错位)。为了提高后续三维分割的准确性，本实施例中，计算机设备需要基于提取得到的图像特征确定各张二维医学图像的偏移量，其中，该偏移量为二维医学图像在目标方向上的偏移量，该目标方向可以为目标组织结构的主要移动方向。
在一种可能的实施方式中，当二维医学图像为B-scan图像时，该目标方向为A-scan(纵向扫描)方向，即B-scan图像的y轴方向(列方向)。示意性的，当二维医学图像为眼部OCT图像中的B-scan图像时，视网膜层可以表示为S＝{rb,}，其中a∈[1,NA]，NA是A-scans的数量，rb,即第b张B-scan图像中第a个A-scan上视网膜曲面的位置。
步骤303，基于偏移量对图像特征进行特征对齐，得到对齐后的图像特征。
进一步的，计算机设备基于确定出的偏移量，在目标方向上对提取到的图像特征进行特征对齐，修正因扫描过程中目标组织结构位移造成的图像特征错位，得到对齐后的图像特征。
在一种可能的实施方式中，计算机设备基于偏移量，在A-scan方向上对图像特征进行特征对齐。
步骤304，基于对齐后的图像特征对三维医学图像进行三维分割，得到三维医学图像中目标组织结构的三维层级分布。
进一步的，计算机设备基于对齐后的图像特征进行三维分割，得到目标组织结构在三维医学图像中的三维层级分布。在一种可能的实施方式中，计算机设备基于图像特征进行三维分割，得到目标组织结构中层级在各张二维医学图像中的坐标，进一步基于各张二维医学图像中的坐标得到三维医学图像中目标组织结构的三维层级分布(比如目标组织结构中特定层级的三维平滑表面)。
在一种可能的应用场景下，计算机设备对眼部OCT图像中的各张B-scan图像进行特征提取，并基于图像特征对确定各张B-scan图像的偏移量，并基于该偏移量对图像特征进行对齐。完整特征对齐后，计算机设备基于图像特征进行三维分割，得到视网膜层在各张B-scan图像中的二维层级分布，进而对各张B-scan图像中的二维层级分布进行拼接，得到视网膜层的三维层级分布。
综上所述，本申请实施例中，对三维医学图像中的二维医学图像进行特征提取后，首先基于图像特征，确定连续扫描过程中因目标组织结构移动造成的二维医学图像的偏移量，并基于该偏移量对图像特征进行特征对齐，从而基于对齐后的图像特征对三维医学图像进行特征分割，得到三维医学图像中目标组织结构的层级分布；采用本申请实施例提供的方案，能够实现三维层面的层级识别，从三维医学图像中分割出组织结构的三维层级分布，为后续诊断提供更多的有效信息，提高医学图像的利用率；并且，在进行三维分割前对图像特征进行特征对齐，能够消除扫描过程中因目标组织结构移动导致的图像间偏移，进而提高分割得到的层级分布的准确性。
由于完整医学图像的尺寸较大，直接对完整医学图像进行层级分割的运算量过大，因此在进行层级分割前，计算机通常将完整医学图像划分为若干尺寸较小的三维医学图像，并分别对划分得到的三维医学图像进行层级分割。相应的，对各个三维医学图像进行层级分割得到三维层级分布后，计算机设备需要进一步基于三维医学图像在完整医学图像中所处的位置，对各个三维医学图像对应的三维层级分布进行拼接，得到完整医学图像对应的完整三维层级分布。
此外，在进行划分前，计算机设备还可以对完整医学图像进行其它预处理，比如，对OCT图像中的视网膜层进行整平处理，本实施例对此不作限定。
在一些实施例中，上述特征提取过程由特征提取网络执行，偏移量确定过程由对齐网络执行，而三维分割过程则由分割网络执行，下面通过示例性的实施例，对各个网络的处理流程进行说明。
图4示出了本申请另一个示例性实施例提供的医学图像中组织结构的层级分割方法的流程图。本实施例以该方法用于计算机设备为例进行说明，该方法包括如下步骤。
步骤401，通过特征提取网络对二维医学图像进行特征提取，得到二维医学图像对应的至少两层图像特征，特征提取网络为二维卷积神经网络，且不同层的图像特征由特征提取网络中不同二维卷积层进行特征提取得到。
本实施例中，计算机设备采用预先训练得到的特征提取网络对各张二维医学图像进行特征提取(特征提取网络相当于编码器(encoder)，用于对二维医学图像进行下采样编码)。其中，该特征提取网络是由至少两层二维卷积层构成的二维卷积神经网络，即二维医学图像经过至少两层二维卷积层(通过二维卷积核进行卷积池化激活等处理)逐级特征提取，逐步从低层图像特征提取到高层图像特征，且随着特征提取的不断深入，提取到的图像特征越来越多抽象(即高层图像特征相较于低层图像特征更加抽象)。
可选的，该特征提取网络可以通过对已有特征提取网络进行改进得到，也可以经过重新设计得到，本申请实施例并不对特征提取网络的具体网络结构进行限定；并且，可以通过减少特征提取网络中各层卷积层的通道数，以此降低网络的参数量。
由于特征提取网络最终输出的高层图像特征过于抽象，不利于后续基于高层图像特征进行特征解码，因此本申请实施例中，计算机设备需要获取各层二维卷积层提取到的图像特征，即除了获取最后一层二维卷积层输出的高层图像特征外，还需要获取其他二维卷积层输出的低层图像特征。
示意性的，如图5所示，特征提取网络51中设置有四层二维卷积层，分别为第一特征提取层511、第二特征提取层512、第三特征提取层513以及第四特征提取层514。眼部OCT图像52输入特征提取网络51后，各张B-scan图像经过逐级特征提取，相应的，计算机设备获取各层二维卷积层输出的图像特征，分别为第一特征提取层511输出的第一图像特征、第二特征提取层512输出的第二图像特征、第三特征提取层513输出的第三图像特征以及第四特征提取层514输出的第四图像特征。
步骤402，将各层图像特征输入对齐网络，得到对齐网络输出的偏移向量，偏移向量中包含各张二维医学图像在目标方向上的偏移量，对齐网络是由三维卷积层构成的三维卷积神经网络，且对齐网络与特征提取网络中的卷积层跳跃连接。
完成特征提取后，为了进一步确定三维医学图像中连续二维医学图像之间的错位情况，计算机设备将提取到的各层图像特征输入预先训练得到的对齐网络，由对齐网络输出指示每张二维医学图像在目标方向上偏移量的偏移向量。
在一些实施例中，偏移向量为一维向量，且一维向量中数据的数量与三维医学图像中二维医学图像的数量一致，即偏移向量中每一个数据表征对应二维医学图像在目标方向上的偏移量。
由于连续二维医学图像的图像特征在空间上具有连续性，因此不同于特征提取网络采用二维卷积层，对齐网络采用三维卷积层对图像特征进行三维卷积处理，提高确定出的偏移量的准确性。
对齐网络相当于解码器(encoder)，用于对图像特征进行特征解码。在一些实施例中，对齐网络由至少两层三维卷积层(通过三维卷积核对图像特征进行卷积池化激活处理)构成，图像特征即经过至少两个三维卷积层逐级特征解码。
并且，为了避免因仅利用高层图像特征进行对齐导致偏移量预测不准确，本实施例中，对齐网络与特征提取网络中的卷积层采用跳跃连接(skip-connection)，即特征提取网络中二维卷积层提取到低层图像特征被传递至对齐网络中三维卷积层，从而在特征解码过程中融入更多低层图像语义信息，提高特征解码质量。
示意性的，如图5所示，对齐网络53中设置有三层三维卷积层和第一输出层534，分别为第一对齐层531、第二对齐层532以及第三特征提取层533，其中，第一对齐层531与第三特征提取层513之间跳跃连接(第三图像特征被直接传递至第一对齐层531)，第二对齐层532与第二特征提取层512之间跳跃连接(第二图像特征被直接传递至第二对齐层532)，第三对齐层533与第一特征提取层511之间跳跃连接(第一图像特征被直接传递至第三对齐层533)。经过一系列特征解码后，计算机设备通过第一输出层534对图像特征进行全连接处理，得到三维医学图像对应的偏移向量535。
步骤403，基于偏移量对各层图像特征进行特征对齐，得到对齐后的图像特征。
为了避免因仅利用高层图像特征进行三维分割导致三维分割准确性较低的问题，本实施例中，特征提取网络提取到的各层图像特征均用于进行三维分割，因此计算机设备需要利用确定出的偏移量，对各层图像特征进行特征对齐，即对高层图像特征以及低层图像特征均进行特征对齐。
在一种可能的实施方式中，层级分割模型中设置有空间变换模块(SpatialTransformer Module，STM)，STM用于基于输入的图像或者图像特征(即特征图)，产生一个对应的空间转换参数，然后根据空间转换参数对图像或者特征图进行全局空间变换。本实施例中，计算机设备将图像特征以及偏移向量输入STM后，STM基于偏移向量中的各个偏移量对图像特征进行特征对齐，从而消除图像特征之间的错位。
由于对齐网络确定出的偏移量是针对原始二维医学图像，而在特征提取过程中存在下采样过程(即图像特征的特征尺度与二维医学图像不同)，因此在进行特征对齐时，计算机设备需要对偏移量进行调整，以适配图像特征的特征尺度。可选的，本步骤可以包括如下步骤：
一、基于图像特征的特征尺度，对偏移量进行调整，得到调整后的偏移量。
在一种可能的实施方式中，对于各层图像特征，计算机设备基于该图像特征的特征尺度以及二维医学图像的图像尺寸，确定偏移量的缩放比例，从而基于缩放比例调整偏移量。
在一个示意性的例子中，二维医学图像的图像尺寸为32×32，且对应的偏移量为d时，对于16×16的图像特征(即特征图的尺寸为16×16)，该图像特征对应的偏移量为d/2；对于8×8的图像特征，该图像特征对应的偏移量即为d/4。
二、基于调整后的偏移量，对图像特征进行特征对齐，得到对齐后的图像特征。
进一步的，计算机设备基于各层图像特征各自对应的偏移量(调整后)，在目标方向上对图像特征进行特征对齐，得到对齐后的图像特征，消除图像特征错位。
示意性的，如图5所示，计算机设备通过STM 55对特征提取网络51提取到的各层图像特征进行特征对齐。
步骤404，将对齐后的各层图像特征输入分割网络，得到分割网络输出的层级分布概率，层级分布概率用于表示目标组织结构中各个层级在三维医学图像中所处位置的概率，分割网络是由三维卷积层构成的三维卷积神经网络，且分割网络与特征提取网络中的卷积层跳跃连接。
由于目标组织结构在二维医学图像中的位置存在连续性(比如视网膜层在二维医学图像中的位置形成三维平滑曲面)，因此若基于图像特征进行二维分割，将会丢失目标组织结构在二维医学图像之间的连续性信息，影响层级分割的准确性。为了提高层级分割的准确性，本申请实施例中，计算机设备基于各层图像特征进行三维分割，即在分割过程中考虑目标组织结构在不同二维医学图像中的层级连续性，提高分割得到的三维层级分布的准确性。
分割网络相当于解码器(encoder)，用于对图像特征进行特征解码，得到三维分割结果。在一些实施例中，分割网络由至少两层三维卷积层(通过三维卷积核对图像特征进行卷积池化激活处理)构成，图像特征即经过至少两个三维卷积层逐级特征解码。
并且，为了避免因仅利用高层图像特征进行分割导致分割结果不准确，本实施例中，分割网络与特征提取网络中的卷积层采用跳跃连接(skip-connection)，即特征提取网络中二维卷积层提取到低层图像特征经过特征对齐后，被传递至分割网络中三维卷积层，从而在特征解码过程中融入更多低层图像语义信息，提高特征解码质量。
可选的，分割网络还包括输出层，该输出层可以为全连接层，三维卷积层对图像特征进行处理后，将处理结果输入输出层，得到层级分布概率。
示意性的，当二维医学图像为B-scan图像时，该层级分布概率可以表示为qb,(r|V；θ)，V表示二维医学图像的有序集合(即三维医学图像)，θ为分割网络的网络参数，b表示第b张二维医学图像，a表示二维医学图像中的第a个A-scan列，r表示A-scan列中第r行的像素。其中，层级分布概率的概率值越高，表示A-scan中第r行像素在目标层级上的概率越高。
示意性的，如图5所示，分割网络54中设置有三层三维卷积层和第二输出层544，分别为第一分割层541、第二分割层542以及第三分割层543，其中，第一分割层541与第三特征提取层513之间跳跃连接(第三图像特征经过特征对齐后被直接传递至第一分割层541)，第二分割层542与第二特征提取层512之间跳跃连接(第二图像特征经过特征对齐后被直接传递至第二分割层542)，第三分割层543与第一特征提取层511之间跳跃连接(第一图像特征经过特征对齐后被直接传递至第三分割层543)。经过一系列特征解码后，计算机设备通过第二输出层544对图像特征进行全连接处理，得到层级分布概率545。
步骤405，基于层级分布概率生成目标组织结构的三维层级分布。
在一种可能的实施方式中，计算机设备基于层级分布概率，通过soft-argmax(结合softmax函数达到argmax的目的)得到目标组织结构的三维层级分布。结合上述步骤中的示例，该三维层级分布可以表示为：
Figure BDA0003091946410000151
其中，R为A-scan的高度(即A-scan中像素的数量)。
示意性的，如图5所示，基于层级分布概率545，计算机设备最终生成眼部OCT图像52对应的视网膜层级分布546。
本实施例中，计算机设备利用2D-3D混合模型(即由2D特征提取网络、3D对齐网络以及3D分割网络构成的层级分割模型)进行三维层级分割，将二维医学图像中目标组织结构的连续性信息融入到层级分割过程，有助于提高三维层级分割的准确性；并且，在进行三维层级分割之前，对图像特征进行特征对齐，消除图像特征错位对层级分割准确性的影响，进一步提高的三维分割的准确性。
上述实施例对层级分割模型的应用过程进行了说明，下面采用示例性的实施例对模型训练过程进行说明。
图6示出了本申请另一个示例性实施例提供的医学图像中组织结构的层级分割方法的流程图。本实施例以该方法用于计算机设备为例进行说明，该方法包括如下步骤。
步骤601，通过特征提取网络对样本三维医学图像中包含的各张样本二维医学图像进行特征提取，得到样本二维医学图像对应的样本图像特征，样本三维医学图像通过对样本组织结构进行连续扫描得到。
可选的，该样本三维医学图像从训练数据集中获取，该训练数据集可以为公开的数据集，或者，基于需求自定义的数据集，且各个样本三维医学图像对应各自的样本标注(groundtruth)。本实施例中，该样本标注用于指示样本三维医学图像中样本组织结构的层级位置。
以训练数据集为SD-OCT为例，该训练数据集中包括256例正常人的眼部OCT图像，以及115例患有老年化黄斑病人的眼部OCT图像。OCT图像由若干连续扫描得到的B-scan图像构成，且OCT图像对应三个视网膜层的人工标注，分别为内边界膜的内部(ILM)，视网膜色素上皮玻璃疣复合体的内部(IRPE)，以及Bruchs膜的外部(OBM)。
特征提取网络的网络结构，以及特征提取网络进行特征提取的过程可以参考上述应用侧实施例，本实施例在此不再赘述。
步骤602，将样本图像特征输入对齐网络，得到各张样本二维医学图像在目标方向上的样本偏移量。
在一种可能的实施方式中，计算机设备将样本图像特征输入对齐网络，得到样本偏移向量，该样本偏移向量中包含各张样本二维医学图像在目标方向上的样本偏移量。
可选的，对齐网络与特征提取网络的卷积层之间采用跳跃连接，特征提取网络中间层卷积层输出的样本图像特征可以被传递到对齐网络的中间层卷积层，从而融入更多低层图像语义信息，提高偏移量的预测准确性。
对齐网络的网络结构，以及对齐网络进行偏移量预测的过程可以参考上述应用侧实施例，本实施例在此不再赘述。
步骤603，基于样本偏移量对样本图像特征进行特征对齐，得到对齐后的样本图像特征。
在一种可能的实施方式中，计算机设备基于样本偏移量，对特征提取网络各个卷积层输出的样本图像特征分别进行特征对齐。其中，在进行特征对齐过程中，计算机设备需要基于样本图像特征的特征尺度，对样本偏移量进行调整，从而利用调整后的样本偏移量进行特征对齐。特征对齐的过程可以参考上述应用侧实施例，本实施例在此不再赘述。
步骤604，将对齐后的样本图像特征输入分割网络，得到样本三维医学图像对应的样本三维分割结果，样本三维分割结果用于表征样本组织结构的层级分布情况。
可选的，分割网络与特征提取网络的卷积层之间采用跳跃连接，特征提取网络中间层卷积层输出的样本图像特征经过特征对对齐后，可以被传递到分割网络的中间层卷积层，从而在层级分割过程中融入更多低层图像语义信息，提高层级分割的准确性。
分割网络的网络结构，以及分割网络进行三维层级分割的过程可以参考上述应用侧实施例，本实施例在此不再赘述。
在一些实施例中，该样本三维分割结果表现为样本层级分布概率，样本层级分布概率用于表示样本组织结构中各个层级在样本三维医学图像中所处位置的概率。
示意性的，当样本二维医学图像为B-scan图像时，该样本层级分布概率可以表示为qb,a(r|V；θ)，V表示样本二维医学图像的有序集合(即样本三维医学图像)，θ为分割网络的网络参数，b表示第b张样本二维医学图像，a表示样本二维医学图像中的第a个A-scan列，r表示A-scan列中第r行的像素。其中，样本层级分布概率的概率值越高，表示A-scan中第r行像素在目标层级上的概率越高。
步骤605，基于样本偏移量、样本三维分割结果以及样本标注，训练特征提取网络、对齐网络以及分割网络。
通过上述步骤得到样本偏移量以及样本三维分割结果后，计算机设备以样本三维医学图像对应的样本标注为监督，确定层级分割模型的总损失，从而采用反向传播算法对特征提取网络、对齐网络以及分割网络进行训练(即调整网络参数)，直至满足训练完成条件。
在一种可能的实施方式中，上述训练过程在PyTorch(1.4.0)神经网络框架上完成。并且，训练过程中使用Adam算法作为网络训练时的优化器，训练轮数为120轮，训练初始学习率为1e-3，并且在训练的过程中，如果损失函数十轮不降，则学习率减半。
综上所述，本申请实施例中，对三维医学图像中的二维医学图像进行特征提取后，首先基于图像特征，确定连续扫描过程中因目标组织结构移动造成的二维医学图像的偏移量，并基于该偏移量对图像特征进行特征对齐，从而基于对齐后的图像特征对三维医学图像进行特征分割，得到三维医学图像中目标组织结构的层级分布；采用本申请实施例提供的方案，能够实现三维层面的层级识别，从三维医学图像中分割出组织结构的三维层级分布，为后续诊断提供更多的有效信息，提高医学图像的利用率；并且，在进行三维分割前对图像特征进行特征对齐，能够消除扫描过程中因目标组织结构移动导致的图像间偏移，进而提高分割得到的层级分布的准确性。
在一种可能的实施方式中，层级分割模型的损失主要有两部分构成，分别为对齐网络的对齐损失以及分割网络的分割损失。如图7所示，上述步骤605可以包括如下步骤：
步骤605A，基于样本偏移量以及样本标注，确定对齐网络的对齐损失。
经过图像对齐后，相邻样本二维医学图像之间具备相似性，因此计算机设备可以通过对相邻样本二维医学图像进行图像匹配，以此确定图像对齐效果；此外对于经过良好对齐的样本二维医学图像，相邻样本二维医学图像中组织结构的层级位置接近，因此计算机设备还可以基于对齐后样本二维医学图像中标注的层级位置，确定图像对齐效果。在一种可能的实施方式中，本步骤可以包括如下步骤：
一、基于样本偏移量对样本二维医学图像进行图像对齐。
计算机设备基于对齐网络预测得到的样本偏移量，在目标方向上调整各张样本二维医学图像，从而实现图像对齐。
二、基于对齐后相邻的样本二维医学图像，确定标准化互相关损失。
完成图像对齐后，计算机设备抽取相邻的样本二维医学图像，并确定两张图像之间的标准化互相关(local Normalized Cross-Correlation，NCC)损失。示意性的，NCC损失可以表示为：
Figure BDA0003091946410000181
其中，(bi,bj)表示相邻的样本二维医学图像，
Figure BDA0003091946410000182
为相邻样本二维医学图像构成的集合，φ表示图像空间，p为图像空间中的像素点，
Figure BDA0003091946410000183
Figure BDA0003091946410000184
Figure BDA0003091946410000185
表示对齐后图像中的像素点，pk表示像素点周围的n2个像素点。
三、基于对齐后相邻样本二维医学图像中相同样本标注点之间的距离，确定第一平滑损失。
在一种可能的实施方式中，当样本二维医学图像为B-scan图像时，计算机设备基于样本偏移量，对相邻两张B-scan图像中同一A-scan上的样本标注点进行调整，从而确定两个样本标注点之间的距离，得到第一平滑损失。其中，第一平滑损失越小，表明对齐后图像中的目标组织结构的层级越平滑，对齐效果越好。
示意性的，第一平滑损失可以表示为：
Figure BDA0003091946410000186
其中，(bi,bj)表示相邻的样本二维医学图像，
Figure BDA0003091946410000191
为相邻样本二维医学图像构成的集合，
Figure BDA0003091946410000192
表示第bi张样本二维医学图像中第a列A-scan中层级位置的标注，
Figure BDA0003091946410000193
表示第bi张样本二维医学图像的偏移量，
Figure BDA0003091946410000194
表示第bj张样本二维医学图像中第a列A-scan中层级位置的标注，
Figure BDA0003091946410000195
表示第bj张样本二维医学图像的偏移量，NA为A-scan的列数。
四、将标准化互相关损失和第一平滑损失确定为对齐损失。
进一步的，计算机设备将NCC损失和第一平滑损失作为对齐网络的对齐损失，该对齐损失可以表示为：
Figure BDA0003091946410000196
示意性的，如图8所示，特征提取网络81对样本三维医学图像82进行特征提取后，由对齐网络83基于样本图像特征预测得到样本偏移量831，计算机设备基于样本偏移量831以及样本标注86确定对齐损失。
步骤605B，基于样本三维分割结果以及样本标注，确定分割网络的第一分割损失。
在一种可能的实施方式中，样本三维分割结果为分割网络输出的样本层级分布概率，计算机设备确定第一分割损失可以包括如下步骤：
一、基于样本三维分割结果所指示的样本层级分布概率，确定交叉熵损失，样本层级分布概率用于表示样本组织结构中各个层级在样本三维医学图像中所处位置的概率。
示意性的，当样本二维医学图像为B-scan图像时，该交叉熵损失可以表示为：
Figure BDA0003091946410000197
其中，
Figure BDA0003091946410000198
为样本层级分布概率，
Figure BDA0003091946410000199
表示第b张B-scan图像中第a列A-scan中的层级标注，r为A-scan中的像素，R为A-scan的行数，
Figure BDA00030919464100001910
为指示函数，当x为真时，函数值为1，当x为假时，函数值为0。
二、基于样本层级分布概率生成样本层级分布；基于样本层级分布以及样本标注所指示的标注层级分布，确定第一范数损失。
在一种可能的实施方式中，计算机设备基于样本层级分布概率生成样本层级分布，从而确定样本层级分布与样本标注所指示的标注层级分布之间的分布差异，得到两者之间的第一范数损失(L1)，该第一范数损失即用于引导预测出的层级接近真值(即标注的层级)。
示意性的，该第一范数损失可以表示为：
Figure BDA0003091946410000201
其中，
Figure BDA0003091946410000202
Figure BDA0003091946410000203
表示样本层级分布，
Figure BDA0003091946410000204
通过soft-argmax获得：
Figure BDA0003091946410000205
Figure BDA0003091946410000206
为指示函数，当x为真时，函数值为1，当x为假时，函数值为0。
三、基于样本层级分布中相邻点的位置差值，确定第二平滑损失。
在一种可能的实施方式中，利用样本组织结构的层级具有平滑曲面这一先验信息，计算机设备可以确定样本层级分布中相邻点的位置差值，并以近似曲面的二维梯度作为位置差值的约束，确定第二平滑损失，该第二平滑损失用于提高预测得到的层级的平滑性。
示意性的，该第二平滑损失可以表示为：
Figure BDA0003091946410000207
其中，
Figure BDA0003091946410000208
Figure BDA0003091946410000209
和
Figure BDA00030919464100002010
分别表示样本三维医学图像中z轴方向上和x轴方向上的像素间距，S为样本层级分布。
四、将交叉熵损失、第一范数损失和第二平滑损失确定为第一分割损失。
进一步的，计算机设备将交叉熵损失、第一范数损失以及第二平滑损失作为分割网络的第一分割损失，该第一分割损失可以表示为：
Figure BDA00030919464100002011
λ是用于控制第二平滑损失权重的超参数。
在一种可能的实施方式中，对于眼部OCT图像，三种视网膜层ILM、IRPE和OBM层对应的λ分别设置为0、0.3和0.5。
示意性的，如图8所示，STM 85将经过特征对齐的样本图像特征输入分割网络84，得到分割网络84输出的样本层级分布概率841。计算机设备基于样本层级分布概率841和样本标注86确定交叉熵损失；进一步的，计算机设备基于样本层级分布概率841生成样本层级分布842，进而基于样本层级分布842和样本标注86确定第一范数损失以及第二平滑损失。
步骤605C，基于对齐损失和第一分割损失，训练特征提取网络、对齐网络以及分割网络。
进一步的，计算机设备基于对齐损失和第一分割损失确定总损失，从而利用总损失训练提取网络、对齐网络以及分割网络。
在一种可能的实施方式中，分割网络包括第一网络输出头和第二网络输出头，第一网络输出头用于输出样本三维分割结果，第二网络输出头用于输出图像中各个像素点所属层级的层级标注。其中，第二网络输出头的加入可以为网络提供额外的训练任务，从而利用像素级别的监督信息达到更好的训练效果(应用阶段则无需第二网络输出头)。
可选的，计算机设备将对齐后的样本图像特征输入分割网络后，除了得到样本三维分割结果外，还会得到样本三维医学图像对应的样本像素标注结果，相应的，在训练过程中，计算机设备基于样本偏移量、样本三维分割结果、样本像素标注结果以及样本标注，训练特征提取网络、对齐网络以及分割网络。
其中，该样本像素标注结果可以采用层级图(layer map)进行表示。
在确定损失的过程中，除了确定上述实施例中的对齐损失、第一分割损失外，计算机设备还基于样本像素标注结果以及样本标注，确定分割网络的第二分割损失。在一种可能的实施方式中，计算机设备将Dice+交叉熵损失
Figure BDA0003091946410000211
作为第二分割损失。
示意性的，在图8的基础上，如图9所示，分割网络84的第二网络输出头输出样本像素标注结果843，计算机设备基于样本像素标注结果843和样本标注86确定第二分割损失。
将采用上述实施例提供方案训练得到层级分割模型应用与眼部OCT图像中视网膜层的三维分割，能够提高分割得到的视网膜层的平滑度。如图10所示，其示出了相关技术方案与本申请提供方案之间B-scan图像对齐效果的对比图，而表一则从MAD(Mean AbsoluteDistance)和NCC(Normalized Cross-Correlation)两个维度对对齐结果进行定量分析(数值越低对齐效果越好)。
表一
Figure BDA0003091946410000212
从图10和表一可以明显看出，采用本申请实施例提供的方案，可以明显提高B-scan图像的对齐效果。
表二示出了SD-OCT训练数据集上各种方案分割结果的数据对比，评价指标选择了平均绝对距离(mean absolute distance,MSD)，并且给出了方差。
表二
Figure BDA0003091946410000221
从表二可以看出，不加任何对齐算法的实验得到了最差的结果，表明B-scan之间的错位会对OCT数据的三维分割产生消极的影响；此外，加入对齐网络之后，本申请技术方案相对于预对齐的方案有一定的提升，原因在于，在网络训练过程中,对齐网络的对齐结果在每一轮会有微小的不同，这对分割网络来说相当于一种数据增强，因此能取得更好的效果。同时平滑损失的去除降低了本申请技术方案的效果，证明利用视网膜曲面平滑这一先验信息的有效性。
图11是本申请一个示例性实施例提供的医学图像中组织结构的层级分割装置的结构框图，该装置包括：
第一提取模块1101，用于对三维医学图像中包含的各张二维医学图像进行特征提取，得到所述二维医学图像对应的图像特征，所述三维医学图像通过对目标组织结构进行连续扫描得到；
偏移确定模块1102，用于基于所述图像特征确定各张所述二维医学图像在目标方向上的偏移量；
第一对齐模块1103，用于基于所述偏移量对所述图像特征进行特征对齐，得到对齐后的所述图像特征；
第一分割模块1104，用于基于对齐后的所述图像特征对所述三维医学图像进行三维分割，得到所述三维医学图像中所述目标组织结构的三维层级分布。
可选的，所述第一提取模块1101，用于：
通过特征提取网络对所述二维医学图像进行特征提取，得到所述二维医学图像对应的至少两层所述图像特征，所述特征提取网络为二维卷积神经网络，且不同层的图像特征由所述特征提取网络中不同二维卷积层进行特征提取得到；
所述第一对齐模块1103，用于：
基于所述偏移量对各层所述图像特征进行特征对齐，得到对齐后的所述图像特征。
可选的，所述第一对齐模块1103，具体用于：
基于所述图像特征的特征尺度，对所述偏移量进行调整，得到调整后的偏移量；
基于所述调整后的偏移量，对所述图像特征进行特征对齐，得到对齐后的所述图像特征。
可选的，所述偏移确定模块1102，用于：
将各层所述图像特征输入对齐网络，得到所述对齐网络输出的偏移向量，所述偏移向量中包含各张二维医学图像在所述目标方向上的所述偏移量，所述对齐网络是由三维卷积层构成的三维卷积神经网络，且所述对齐网络与所述特征提取网络中的卷积层跳跃连接。
可选的，所述第一分割模块1104，用于：
将对齐后的各层所述图像特征输入分割网络，得到所述分割网络输出的层级分布概率，所述层级分布概率用于表示所述目标组织结构中各个层级在所述三维医学图像中所处位置的概率，所述分割网络是由三维卷积层构成的三维卷积神经网络，且所述分割网络与所述特征提取网络中的卷积层跳跃连接；
基于所述层级分布概率生成所述目标组织结构的所述三维层级分布。
可选的，所述三维医学图像由完整医学图像划分得到；
所述装置还包括：
拼接模块，用于基于所述三维医学图像在所述完整医学图像中所处的位置，对各个所述三维医学图像对应的所述三维层级分布进行拼接，得到所述完整医学图像对应的完整三维层级分布。
可选的，所述三维医学图像为光学相干断层扫描OCT图像，所述二维医学图像通过横向扫描(B-scan)得到，所述目标方向为纵向扫描(A-scan)方向。
综上所述，本申请实施例中，对三维医学图像中的二维医学图像进行特征提取后，首先基于图像特征，确定连续扫描过程中因目标组织结构移动造成的二维医学图像的偏移量，并基于该偏移量对图像特征进行特征对齐，从而基于对齐后的图像特征对三维医学图像进行特征分割，得到三维医学图像中目标组织结构的层级分布；采用本申请实施例提供的方案，能够实现三维层面的层级识别，从三维医学图像中分割出组织结构的三维层级分布，为后续诊断提供更多的有效信息，提高医学图像的利用率；并且，在进行三维分割前对图像特征进行特征对齐，能够消除扫描过程中因目标组织结构移动导致的图像间偏移，进而提高分割得到的层级分布的准确性。
图12是本申请一个示例性实施例提供的医学图像中组织结构的层级分割装置的结构框图，该装置包括：
第二提取模块1201，用于通过特征提取网络对样本三维医学图像中包含的各张样本二维医学图像进行特征提取，得到所述样本二维医学图像对应的样本图像特征，所述样本三维医学图像通过对样本组织结构进行连续扫描得到；
偏移预测模块1202，用于将所述样本图像特征输入对齐网络，得到各张所述样本二维医学图像在目标方向上的样本偏移量；
第二对齐模块1203，用于基于所述样本偏移量对所述样本图像特征进行特征对齐，得到对齐后的所述样本图像特征；
第二分割模块1204，用于将对齐后的所述样本图像特征输入分割网络，得到所述样本三维医学图像对应的样本三维分割结果，所述样本三维分割结果用于表征所述样本组织结构的层级分布情况；
训练模块1205，用于基于所述样本偏移量、所述样本三维分割结果以及样本标注，训练所述特征提取网络、所述对齐网络以及所述分割网络。
可选的，所述训练模块1205，包括：
第一损失确定单元，用于基于所述样本偏移量以及所述样本标注，确定所述对齐网络的对齐损失；
第二损失确定单元，用于基于所述样本三维分割结果以及所述样本标注，确定所述分割网络的第一分割损失；
训练单元，用于基于所述对齐损失和所述第一分割损失，训练所述特征提取网络、所述对齐网络以及所述分割网络。
可选的，所述第一损失确定单元，用于：
基于所述样本偏移量对所述样本二维医学图像进行图像对齐；
基于对齐后相邻的所述样本二维医学图像，确定标准化互相关损失；
基于对齐后相邻样本二维医学图像中相同样本标注点之间的距离，确定第一平滑损失；
将所述标准化互相关损失和所述第一平滑损失确定为所述对齐损失。
可选的，所述第二损失确定单元，用于：
基于所述样本三维分割结果所指示的样本层级分布概率，确定交叉熵损失，所述样本层级分布概率用于表示所述样本组织结构中各个层级在所述样本三维医学图像中所处位置的概率；
基于所述样本层级分布概率生成样本层级分布；基于所述样本层级分布以及所述样本标注所指示的标注层级分布，确定第一范数损失；
基于所述样本层级分布中相邻点的位置差值，确定第二平滑损失；
将所述交叉熵损失、所述第一范数损失和所述第二平滑损失确定为所述第一分割损失。
可选的，所述分割网络包括第一网络输出头和第二网络输出头，所述第一网络输出头用于输出所述样本三维分割结果，所述第二网络输出头用于输出图像中各个像素点所属层级的层级标注；
所述装置还包括：
第三分割模型，用于将对齐后的所述样本图像特征输入所述分割网络，得到所述样本三维医学图像对应的样本像素标注结果；
所述训练模块1205，还用于：
所述基于所述样本偏移量、所述样本三维分割结果、所述样本像素标注结果以及样本标注，训练所述特征提取网络、所述对齐网络以及所述分割网络。
可选的，所述训练模块1205，包括：
第一损失确定单元，用于基于所述样本偏移量以及所述样本标注，确定所述对齐网络的对齐损失；
第二损失确定单元，用于基于所述样本三维分割结果以及所述样本标注，确定所述分割网络的第一分割损失；
第三损失确定单元，用于基于所述样本像素标注结果以及所述样本标注，确定所述分割网络的第二分割损失；
训练单元，用于基于所述对齐损失、所述第一分割损失和所述第二分割损失，训练所述特征提取网络、所述对齐网络以及所述分割网络。
综上所述，本申请实施例中，对三维医学图像中的二维医学图像进行特征提取后，首先基于图像特征，确定连续扫描过程中因目标组织结构移动造成的二维医学图像的偏移量，并基于该偏移量对图像特征进行特征对齐，从而基于对齐后的图像特征对三维医学图像进行特征分割，得到三维医学图像中目标组织结构的层级分布；采用本申请实施例提供的方案，能够实现三维层面的层级识别，从三维医学图像中分割出组织结构的三维层级分布，为后续诊断提供更多的有效信息，提高医学图像的利用率；并且，在进行三维分割前对图像特征进行特征对齐，能够消除扫描过程中因目标组织结构移动导致的图像间偏移，进而提高分割得到的层级分布的准确性。
需要说明的是：上述实施例提供的装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其实现过程详见方法实施例，这里不再赘述。
请参考图13，其示出了本申请一个示例性实施例提供的计算机设备的结构示意图。具体来讲：所述计算机设备1300包括中央处理单元(Central Processing Unit，CPU)1301、包括随机存取存储器1302和只读存储器1303的系统存储器1304，以及连接系统存储器1304和中央处理单元1301的系统总线1305。所述计算机设备1300还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(Input/Output，I/O系统)1306，和用于存储操作系统1313、应用程序1314和其他程序模块1315的大容量存储设备1307。
所述基本输入/输出系统1306包括有用于显示信息的显示器1308和用于用户输入信息的诸如鼠标、键盘之类的输入设备1309。其中所述显示器1308和输入设备1309都通过连接到系统总线1305的输入输出控制器1310连接到中央处理单元1301。所述基本输入/输出系统1306还可以包括输入输出控制器1310以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1310还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1307通过连接到系统总线1305的大容量存储控制器(未示出)连接到中央处理单元1301。所述大容量存储设备1307及其相关联的计算机可读介质为计算机设备1300提供非易失性存储。也就是说，所述大容量存储设备1307可以包括诸如硬盘或者驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括随机存取记忆体(RAM，Random Access Memory)、只读存储器(ROM，Read Only Memory)、闪存或其他固态存储其技术，只读光盘(Compact Disc Read-Only Memory，CD-ROM)、数字通用光盘(Digital Versatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1304和大容量存储设备1307可以统称为存储器。
存储器存储有一个或多个程序，一个或多个程序被配置成由一个或多个中央处理单元1301执行，一个或多个程序包含用于实现上述方法的指令，中央处理单元1301执行该一个或多个程序实现上述各个方法实施例提供的方法。
根据本申请的各种实施例，所述计算机设备1300还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1300可以通过连接在所述系统总线1305上的网络接口单元1311连接到网络1312，或者说，也可以使用网络接口单元1311来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本申请实施例提供的方法中由计算机设备所执行的步骤。
本申请实施例还提供一种计算机可读存储介质，该可读存储介质中存储有至少一条指令，至少一条指令由处理器加载并执行以实现上述任一实施例所述的医学图像中组织结构的层级分割方法。
可选地，该计算机可读存储介质可以包括：ROM、RAM、固态硬盘(SSD，Solid StateDrives)或光盘等。其中，RAM可以包括电阻式随机存取记忆体(ReRAM,Resistance RandomAccess Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例所述的医学图像中组织结构的层级分割方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (17)

1.一种医学图像中组织结构的层级分割方法，其特征在于，所述方法包括：
对三维医学图像中包含的各张二维医学图像进行特征提取，得到所述二维医学图像对应的图像特征，所述三维医学图像通过对目标组织结构进行连续扫描得到；
基于所述图像特征确定各张所述二维医学图像在目标方向上的偏移量；
基于所述偏移量对所述图像特征进行特征对齐，得到对齐后的所述图像特征；
基于对齐后的所述图像特征对所述三维医学图像进行三维分割，得到所述三维医学图像中所述目标组织结构的三维层级分布。
2.根据权利要求1所述的方法，其特征在于，所述对三维医学图像中包含的各张二维医学图像进行特征提取，得到所述二维医学图像对应的图像特征，包括：
通过特征提取网络对所述二维医学图像进行特征提取，得到所述二维医学图像对应的至少两层所述图像特征，所述特征提取网络为二维卷积神经网络，且不同层的图像特征由所述特征提取网络中不同二维卷积层进行特征提取得到；
所述基于所述偏移量对所述图像特征进行特征对齐，得到对齐后的所述图像特征，包括：
基于所述偏移量对各层所述图像特征进行特征对齐，得到对齐后的所述图像特征。
3.根据权利要求2所述的方法，其特征在于，所述基于所述偏移量对各层所述图像特征进行特征对齐，得到对齐后的所述图像特征，包括：
基于所述图像特征的特征尺度，对所述偏移量进行调整，得到调整后的偏移量；
基于所述调整后的偏移量，对所述图像特征进行特征对齐，得到对齐后的所述图像特征。
4.根据权利要求2所述的方法，其特征在于，所述基于所述图像特征确定各张二维医学图像在目标方向上的偏移量，包括：
将各层所述图像特征输入对齐网络，得到所述对齐网络输出的偏移向量，所述偏移向量中包含各张二维医学图像在所述目标方向上的所述偏移量，所述对齐网络是由三维卷积层构成的三维卷积神经网络，且所述对齐网络与所述特征提取网络中的卷积层跳跃连接。
5.根据权利要求2所述的方法，其特征在于，所述基于对齐后的所述图像特征对所述三维医学图像进行三维分割，得到所述三维医学图像中所述目标组织结构的三维层级分布，包括：
将对齐后的各层所述图像特征输入分割网络，得到所述分割网络输出的层级分布概率，所述层级分布概率用于表示所述目标组织结构中各个层级在所述三维医学图像中所处位置的概率，所述分割网络是由三维卷积层构成的三维卷积神经网络，且所述分割网络与所述特征提取网络中的卷积层跳跃连接；
基于所述层级分布概率生成所述目标组织结构的所述三维层级分布。
6.根据权利要求1至5任一所述的方法，其特征在于，所述三维医学图像由完整医学图像划分得到；
所述基于对齐后的所述图像特征对所述三维医学图像进行三维分割，得到所述三维医学图像中所述目标组织结构的三维层级分布之后，所述方法还包括：
基于所述三维医学图像在所述完整医学图像中所处的位置，对各个所述三维医学图像对应的所述三维层级分布进行拼接，得到所述完整医学图像对应的完整三维层级分布。
7.根据权利要求1至5任一所述的方法，其特征在于，所述三维医学图像为光学相干断层扫描OCT图像，所述二维医学图像通过横向扫描得到，所述目标方向为纵向扫描方向。
8.一种医学图像中组织结构的层级分割方法，其特征在于，所述方法包括：
通过特征提取网络对样本三维医学图像中包含的各张样本二维医学图像进行特征提取，得到所述样本二维医学图像对应的样本图像特征，所述样本三维医学图像通过对样本组织结构进行连续扫描得到；
将所述样本图像特征输入对齐网络，得到各张所述样本二维医学图像在目标方向上的样本偏移量；
基于所述样本偏移量对所述样本图像特征进行特征对齐，得到对齐后的所述样本图像特征；
将对齐后的所述样本图像特征输入分割网络，得到所述样本三维医学图像对应的样本三维分割结果，所述样本三维分割结果用于表征所述样本组织结构的层级分布情况；
基于所述样本偏移量、所述样本三维分割结果以及样本标注，训练所述特征提取网络、所述对齐网络以及所述分割网络。
9.根据权利要求8所述的方法，其特征在于，所述基于所述样本偏移量、所述样本三维分割结果以及样本标注，训练所述特征提取网络、所述对齐网络以及所述分割网络，包括：
基于所述样本偏移量以及所述样本标注，确定所述对齐网络的对齐损失；
基于所述样本三维分割结果以及所述样本标注，确定所述分割网络的第一分割损失；
基于所述对齐损失和所述第一分割损失，训练所述特征提取网络、所述对齐网络以及所述分割网络。
10.根据权利要求9所述的方法，其特征在于，所述基于所述样本偏移量以及所述样本标注，确定所述对齐网络的对齐损失，包括：
基于所述样本偏移量对所述样本二维医学图像进行图像对齐；
基于对齐后相邻的所述样本二维医学图像，确定标准化互相关损失；
基于对齐后相邻样本二维医学图像中相同样本标注点之间的距离，确定第一平滑损失；
将所述标准化互相关损失和所述第一平滑损失确定为所述对齐损失。
11.根据权利要求9所述的方法，其特征在于，所述基于所述样本三维分割结果以及所述样本标注，确定所述分割网络的第一分割损失，包括：
基于所述样本三维分割结果所指示的样本层级分布概率，确定交叉熵损失，所述样本层级分布概率用于表示所述样本组织结构中各个层级在所述样本三维医学图像中所处位置的概率；
基于所述样本层级分布概率生成样本层级分布；基于所述样本层级分布以及所述样本标注所指示的标注层级分布，确定第一范数损失；
基于所述样本层级分布中相邻点的位置差值，确定第二平滑损失；
将所述交叉熵损失、所述第一范数损失和所述第二平滑损失确定为所述第一分割损失。
12.根据权利要求8所述的方法，其特征在于，所述分割网络包括第一网络输出头和第二网络输出头，所述第一网络输出头用于输出所述样本三维分割结果，所述第二网络输出头用于输出图像中各个像素点所属层级的层级标注；
所述方法还包括：
将对齐后的所述样本图像特征输入所述分割网络，得到所述样本三维医学图像对应的样本像素标注结果；
所述基于所述样本偏移量、所述样本三维分割结果以及样本标注，训练所述特征提取网络、所述对齐网络以及所述分割网络，包括：
所述基于所述样本偏移量、所述样本三维分割结果、所述样本像素标注结果以及样本标注，训练所述特征提取网络、所述对齐网络以及所述分割网络。
13.根据权利要求12所述的方法，其特征在于，所述基于所述样本偏移量、所述样本三维分割结果、所述样本像素标注结果以及样本标注，训练所述特征提取网络、所述对齐网络以及所述分割网络，包括：
基于所述样本偏移量以及所述样本标注，确定所述对齐网络的对齐损失；
基于所述样本三维分割结果以及所述样本标注，确定所述分割网络的第一分割损失；
基于所述样本像素标注结果以及所述样本标注，确定所述分割网络的第二分割损失；
基于所述对齐损失、所述第一分割损失和所述第二分割损失，训练所述特征提取网络、所述对齐网络以及所述分割网络。
14.一种医学图像中组织结构的层级分割装置，其特征在于，所述装置包括：
第一提取模块，用于对三维医学图像中包含的各张二维医学图像进行特征提取，得到所述二维医学图像对应的图像特征，所述三维医学图像通过对目标组织结构进行连续扫描得到；
偏移确定模块，用于基于所述图像特征确定各张所述二维医学图像在目标方向上的偏移量；
第一对齐模块，用于基于所述偏移量对所述图像特征进行特征对齐，得到对齐后的所述图像特征；
第一分割模块，用于基于对齐后的所述图像特征对所述三维医学图像进行三维分割，得到所述三维医学图像中所述目标组织结构的三维层级分布。
15.一种医学图像中组织结构的层级分割装置，其特征在于，所述装置包括：
第二提取模块，用于通过特征提取网络对样本三维医学图像中包含的各张样本二维医学图像进行特征提取，得到所述样本二维医学图像对应的样本图像特征，所述样本三维医学图像通过对样本组织结构进行连续扫描得到；
偏移预测模块，用于将所述样本图像特征输入对齐网络，得到各张所述样本二维医学图像在目标方向上的样本偏移量；
第二对齐模块，用于基于所述样本偏移量对所述样本图像特征进行特征对齐，得到对齐后的所述样本图像特征；
第二分割模块，用于将对齐后的所述样本图像特征输入分割网络，得到所述样本三维医学图像对应的样本三维分割结果，所述样本三维分割结果用于表征所述样本组织结构的层级分布情况；
训练模块，用于基于所述样本偏移量、所述样本三维分割结果以及样本标注，训练所述特征提取网络、所述对齐网络以及所述分割网络。
16.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1至7任一所述的方法，或，实现如权利要求8至13任一所述的方法。
17.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至7任一所述的方法，或，实现如权利要求8至13任一所述的方法。
CN202110598151.1A 2021-05-31 2021-05-31 医学图像中组织结构的层级分割方法、装置、设备及介质 Pending CN113822845A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110598151.1A CN113822845A (zh) 2021-05-31 2021-05-31 医学图像中组织结构的层级分割方法、装置、设备及介质
EP22814976.1A EP4307221A1 (en) 2021-05-31 2022-05-09 Hierarchical segmentation method and apparatus for tissue structure in medical image, device, and medium
PCT/CN2022/091783 WO2022252929A1 (zh) 2021-05-31 2022-05-09 医学图像中组织结构的层级分割方法、装置、设备及介质
US17/985,785 US20230074520A1 (en) 2021-05-31 2022-11-11 Method and apparatus for performing layer segmentation on tissue structure in medical image, device, and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110598151.1A CN113822845A (zh) 2021-05-31 2021-05-31 医学图像中组织结构的层级分割方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN113822845A true CN113822845A (zh) 2021-12-21

Family

ID=78923828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110598151.1A Pending CN113822845A (zh) 2021-05-31 2021-05-31 医学图像中组织结构的层级分割方法、装置、设备及介质

Country Status (4)

Country Link
US (1) US20230074520A1 (zh)
EP (1) EP4307221A1 (zh)
CN (1) CN113822845A (zh)
WO (1) WO2022252929A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022252929A1 (zh) * 2021-05-31 2022-12-08 腾讯科技（深圳）有限公司 医学图像中组织结构的层级分割方法、装置、设备及介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3923183A1 (en) * 2020-06-11 2021-12-15 Tata Consultancy Services Limited Method and system for video analysis
CN117611516A (zh) * 2023-09-04 2024-02-27 北京智芯微电子科技有限公司 图像质量评估、人脸识别、标签生成及确定方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9947102B2 (en) * 2016-08-26 2018-04-17 Elekta, Inc. Image segmentation using neural network method
CN111311592B (zh) * 2020-03-13 2021-10-08 中南大学 一种基于深度学习的三维医学图像自动分割方法
CN113822845A (zh) * 2021-05-31 2021-12-21 腾讯科技（深圳）有限公司 医学图像中组织结构的层级分割方法、装置、设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022252929A1 (zh) * 2021-05-31 2022-12-08 腾讯科技（深圳）有限公司 医学图像中组织结构的层级分割方法、装置、设备及介质

Also Published As

Publication number Publication date
EP4307221A1 (en) 2024-01-17
WO2022252929A1 (zh) 2022-12-08
US20230074520A1 (en) 2023-03-09

Similar Documents

Publication Publication Date Title
WO2020215984A1 (zh) 基于深度学习的医学图像检测方法及相关设备
CN111369576B (zh) 图像分割模型的训练方法、图像分割方法、装置及设备
US11887311B2 (en) Method and apparatus for segmenting a medical image, and storage medium
EP3989119A1 (en) Detection model training method and apparatus, computer device, and storage medium
US10452899B2 (en) Unsupervised deep representation learning for fine-grained body part recognition
US20200327721A1 (en) Autonomous level identification of anatomical bony structures on 3d medical imagery
CN113822845A (zh) 医学图像中组织结构的层级分割方法、装置、设备及介质
JP2021530061A (ja) 画像処理方法及びその装置、電子機器並びにコンピュータ可読記憶媒体
CN110599421A (zh) 模型训练方法、视频模糊帧转换方法、设备及存储介质
CN111242952B (zh) 图像分割模型训练方法、图像分割方法、装置及计算设备
Zhang et al. Joint vessel segmentation and deformable registration on multi-modal retinal images based on style transfer
CN113822792A (zh) 图像配准方法、装置、设备及存储介质
CN113822323A (zh) 脑部扫描图像的识别处理方法、装置、设备及存储介质
CN112489048B (zh) 一种基于深度网络的视神经自动分割方法
CN113610746A (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN111918611B (zh) 胸部x线图像的异常显示控制方法、记录介质及装置
CN111598904B (zh) 图像分割方法、装置、设备及存储介质
CN111369564B (zh) 一种图像处理的方法、模型训练的方法及装置
CN113781496A (zh) 基于cbct脊椎图像的椎弓根螺钉通道自动规划系统和方法
CN113643263A (zh) 一种上肢骨定位与前臂骨融合畸形的识别方法及系统
CN117726822B (zh) 基于双分支特征融合的三维医学图像分类分割系统及方法
Khan A Novel Deep Learning-Based Framework for Context-Aware Semantic Segmentation in Medical Imaging
CN113706443A (zh) 图像的预测方法、装置、设备及可读存储介质
Zhang Uncertainty-aware Salient Object Detection
Wang Structure-Aware Representation Learning and its Medical Applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination