CN116542918A - 图像配准模型训练方法及装置、图像处理方法 - Google Patents

图像配准模型训练方法及装置、图像处理方法 Download PDF

Info

Publication number
CN116542918A
CN116542918A CN202310451247.4A CN202310451247A CN116542918A CN 116542918 A CN116542918 A CN 116542918A CN 202310451247 A CN202310451247 A CN 202310451247A CN 116542918 A CN116542918 A CN 116542918A
Authority
CN
China
Prior art keywords
deformation
model
registered
image sample
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310451247.4A
Other languages
English (en)
Inventor
周登继
凌赛广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yiwei Science And Technology Beijing Co ltd
Original Assignee
Yiwei Science And Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yiwei Science And Technology Beijing Co ltd filed Critical Yiwei Science And Technology Beijing Co ltd
Priority to CN202310451247.4A priority Critical patent/CN116542918A/zh
Publication of CN116542918A publication Critical patent/CN116542918A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本公开提供了一种图像配准模型训练方法，涉及图像处理技术领域，包括：利用形变学习子模型，对待配准眼底图像样本进行处理，获得形变图像样本；获得形变图像关键点信息和参考图像关键点信息；基于形变图像关键点信息和参考图像关键点信息，获得第一损失值；基于第一损失值，调整形变学习子模型的参数；利用第二损失值，调整逆形变学习子模型；循环迭代形变学习子模型，直到第一损失值满足第一收敛条件且第二损失值满足第二收敛条件，获得训练好的形变学习子模型；将训练好的形变学习子模型确定为图像配准模型。通过图像配准模型训练方法获得的图像配准模型可以针对不同模态图像进行配准，实现了提高多模态眼底图像配准结果的精度的目的。

Description

图像配准模型训练方法及装置、图像处理方法
技术领域
本公开属于图像处理技术领域，具体涉及一种图像配准模型训练方法及装置、图像处理方法。
背景技术
医学眼底图像已经广泛用于记录和检查多种疾病的临床表现，眼底图像配准是眼底图像处理与分析的基本的手段之一。眼底图像配准能够使得两幅或多幅眼底图像在空间上对齐，从而辅助医生进行眼科诊断和治疗，因此，眼底图像配准具有重要的临床应用价值。
由于单一模态眼底图像信息单一，临床应用上通常会对普通眼底相机图像、眼底荧光血管造影图像以及光学相干断层扫描血管成像(Optical Coherence TomographyAngiography，OCTA)图像等不同模态的眼底图像进行综合分析，然而，传统的图像配准方法无法适配多模态的眼底图像配准，导致多模态眼底图像的配准结果精度低，极大的限制了眼底图像在临床应用的发展。
发明内容
有鉴于此，本公开提供一种图像配准模型训练方法及装置、图像处理方法、计算机可读存储介质及电子设备，以解决传统眼底图配准方法无法适配多模态眼底图像配准，导致多模态眼底图像的配准结果精度低的问题。
第一方面，本公开一实施例提供了一种图像配准模型训练方法，包括：利用形变学习子模型，基于待配准眼底图像样本和参考图像样本，对待配准眼底图像样本进行处理，获得形变图像样本，待配准眼底图像样本的模态和参考图像样本的模态不同；利用第一特征点提取子模型，提取形变图像样本的关键点，获得形变图像关键点信息；利用第一特征点提取子模型，提取参考图像样本的关键点，获得参考图像关键点信息；基于形变图像关键点信息和参考图像关键点信息，利用第一损失函数，进行损失计算，获得第一损失值；基于第一损失值，调整形变学习子模型的参数；利用逆形变学习子模型，基于待配准眼底图像样本和参考图像样本，对参考图像样本进行逆形变处理，获得逆形变参考图像样本；基于逆形变参考样本和待配准眼底样本，获得第二损失值；利用第二损失值，调整逆形变学习子模型的参数，并循环迭代逆形变学习子模型；循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，获得训练好的形变学习子模型，并将训练好的形变学习子模型确定为图像配准模型，图像配准模型用于基于待配准眼底图像和参考图像，对待配准眼底图像进行形变，得到形变图像，并将形变图像确定为待配准眼底图像对应的配准图像。
结合第一方面，在第一方面的某些实现方式中，形变学习子模型包括第一卷积神经网络层、第二卷积神经网络层、第三卷积神经网络层、第一transformer层和第二transformer层，形变处理包括第一形变处理和第二形变处理，利用形变学习子模型，基于待配准眼底图像样本和参考图像样本，对待配准眼底图像样本进行处理，获得形变图像样本，包括：利用第一卷积神经网络层，基于待配准眼底图像样本和参考图像样本，确定第一形变场；利用第二卷积神经网络层，提取待配准眼底图像样本的局部特征；利用第三卷积神经网络层，基于第一形变场对待配准眼底图像样本的局部特征进行第一形变处理，确定待配准眼底图像样本的局部特征形变结果；利用第一transformer层，基于待配准眼底图像样本，提取待配准眼底图像样本的全局特征；利用第二transformer层，基于第一形变场、待配准眼底图像样本的局部特征形变结果和待配准眼底图像样本的全局特征，进行第二形变处理，获得形变图像样本。
结合第一方面，在第一方面的某些实现方式中，基于逆形变参考样本和待配准眼底样本，确定第二损失值，包括：利用第二特征点提取子模型，提取逆形变参考图像样本的关键点，获得逆形变参考图像关键点信息；利用第二特征点提取子模型，提取待配准眼底图像样本的关键点，获得待配准眼底图像关键点信息；基于逆形变参考图像关键点信息和待配准眼底图像关键点信息，利用第二损失函数，进行损失计算，获得第二损失值。
结合第一方面，在第一方面的某些实现方式中，该方法还包括：利用逆形变学习子模型，基于形变图像样本和待配准眼底图像样本，并对形变图像样本进行逆形变处理，获得逆形变图像样本；基于逆形变图像样本和待配准眼底图像样本，利用第三损失函数，进行损失计算，获得第三损失值；基于第三损失值，调整形变学习子模型的参数；循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，获得训练好的形变学习子模型，包括：循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，且第三损失值满足第三收敛条件，获得训练好的形变学习子模型。
结合第一方面，在第一方面的某些实现方式中，该方法还包括：利用形变学习子模型，基于逆形变参考图像样本与参考图像样本，对逆形变参考图像样本进行形变处理，获得形变参考图像样本；基于形变参考图像样本与参考图像样本，利用第四损失函数，进行损失计算，获得第四损失值；基于第四损失值，调整形变学习子模型的参数；循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，且第三损失值满足第三收敛条件，获得训练好的形变学习子模型，包括：循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，且第三损失值满足所述第三收敛条件，且第四损失值满足第四收敛条件，获得训练好的形变学习子模型。
结合第一方面，在第一方面的某些实现方式中，在利用形变学习子模型，基于待配准眼底图像样本和参考图像样本，对待配准眼底图像样本进行处理，获得形变图像样本之前，该方法还包括：基于初始参考图像样本和待配准眼底图像样本，利用区域定位子模型，对初始参考图像样本进行裁剪，获得参考图像样本，其中，初始参考图像样本的拍摄视野与待配准眼底图像样本的拍摄视野不一致，参考图像样本包括的眼底图像区域与待配准眼底图像样本包括的眼底图像区域相对应。
第二方面，本公开一实施例提供了一种图像处理方法，包括：获取不同模态的多幅眼底图像；将不同模态的多幅眼底图像中的一幅眼底图像确定为参考图像，将不同模态的多幅眼底图像中除参考图像之外的眼底图像确定为至少一幅待配准眼底图像；基于参考图像和至少一幅待配准眼底图像，利用图像配准模型，对至少一幅待配准眼底图像进行配准，得到至少一幅待配准眼底图像各自的配准图像，其中，图像配准模型基于上述第一方面所提及的图像配准模型训练方法确定。
第三方面，本公开一实施例提供了一种图像配准模型训练装置，包括：形变模块，用于利用形变学习子模型，基于待配准眼底图像样本和参考图像样本，对待配准眼底图像样本进行处理，获得形变图像样本，待配准眼底图像样本的模态和参考图像样本的模态不同；第一特征提取模块，用于利用第一特征点提取子模型，提取形变图像样本的关键点，获得形变图像关键点信息；第一特征提取模块，还用于利用第一特征点提取子模型，提取参考图像样本的关键点，获得参考图像关键点信息；损失计算模块，用于基于形变图像关键点信息和参考图像关键点信息，利用第一损失函数，进行损失计算，获得第一损失值；调整模块，用于基于第一损失值，调整形变学习子模型的参数；逆形变处理模块，用于利用逆形变学习子模型，基于待配准眼底图像样本和参考图像样本，对参考图像样本进行逆形变处理，获得逆形变参考图像样本；损失计算模块，还用于基于逆形变参考样本和待配准眼底样本，获得第二损失值；调整模块，还用于利用所述第二损失值，调整逆形变学习子模型的参数，并循环迭代逆形变学习子模型；确定模块，用于循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件获得训练好的形变学习子模型，并将训练好的形变学习子模型确定为图像配准模型，图像配准模型用于基于待配准眼底图像和参考图像，对待配准眼底图像进行形变，得到形变图像，并将形变图像确定为待配准眼底图像对应的配准图像。
第四方面，本公开一实施例提供了一种图像处理装置，包括：获取模块，用于获取不同模态的多幅眼底图像；图像确定模块，用于将不同模态的多幅眼底图像中的一幅眼底图像确定为参考图像，将不同模态的多幅眼底图像中除参考图像之外的眼底图像确定为至少一幅待配准眼底图像；配准模块，用于基于参考图像和至少一幅待配准眼底图像，利用图像配准模型，对至少一幅待配准眼底图像进行配准，得到至少一幅待配准眼底图像各自的配准图像，其中，图像配准模型基于上述第一方面所提及的图像配准模型训练方法确定。
第五方面，本公开一实施例提供了一种电子设备，该电子设备包括：处理器，用于存储处理器可执行计算机程序的存储器，其中，处理器记载并执行该计算机程序用于执行上述提及的方法。
第六方面，本公开一实施例提供了一种计算机存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器加载时用于执行上述提及的方法。
本公开提供的图像配准模型训练方法通过形变学习子模型、特征点提取子模型，确定形变图像样本和形变图像关键点信息，并结合参考图像样本的关键点信息，训练形变学习子模型，并将训练好的形变学习子模型确定为图像配准模型。由于训练过程中，待配准图像样本和参考图像样本的模态不同，训练好的图像配准模型可以针对不同模态图像进行配准，从而实现了对多模态眼底图像的配准的目的，提高了多模态眼底图像配准结果的精度。此外，本公开实施例通过调整逆形变学习子模型的参数，并通过循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，获得训练好的形变学习子模型，能够以参考图像样本逆形变到待配准眼底图像样本的形变场，确定形变过程的精确度。逆形变学习子模型迭代过程越短，逆形变学习子模型迭代结果越精确，使得形变学习子模型迭代时间越短，获得的图像配准结果越精确，在缩短训练时间的同时，能够进一步提高图像配准结果的精度。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。
图1所示为本公开的一实施例提供的应用场景示意图。
图2所示为本公开的一实施例提供的图像配准模型训练方法的流程示意图。
图3所示为本公开的一实施例提供的利用形变学习子模型，基于待配准眼底图像样本和参考图像样本，对待配准眼底图像样本进行处理，获得形变图像样本的流程示意图。
图4所示为本公开的一实施例提供的基于逆形变参考样本和待配准眼底样本，确定第二损失值的流程示意图。
图5所示为本公开的另一实施例提供的图像配准模型训练方法的流程示意图。
图6所示为本公开的另一实施例提供的图像配准模型训练方法的流程示意图。
图7所示为本公开的一实施例提供的初始图像配准模型的结构示意图。
图8所示为本公开的一实施例提供的图像处理方法的流程示意图。
图9所示为本公开的一实施例提供的图像配准模型训练装置的结构示意图。
图10所示为本公开的一实施例提供的图像处理装置的结构示意图。
图11所示为本公开的一实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本公开一部分实施例，而不是全部的实施例。
医学眼底图像已经广泛用于记录和检查多种疾病的临床表现，例如视网膜、视神经、青光眼、或黄斑等眼部疾病、糖尿病、高血压及心脑血管等全身疾病。眼底图像配准是眼底图像处理与分析的基本手段之一，眼底图像配准能够实现在空间上对齐两幅或多幅不同时间、不同视场的眼底图像，从而辅助医生进行进行眼科诊断和治疗。此外，医生可以分析不同时间拍摄的眼底图像，为临床眼底疾病提供更全面的信息。因此，眼底图像配准具有重要的临床应用价值，例如，应用于辅助医生进行手术计划、治疗计划的制定、病理情况的跟踪和治疗效果的综合评价以及发病机理的研究等。
由于单一模态的眼底图像的信息单一，为了更合理地制定治疗方案或更深入地研究，临床应用上通常会对普通眼底相机图像、眼底荧光血管造影图像、以及OCTA图像等不同模态的眼底图像进行综合分析，以便获得更加全面的疾病信息，从而深入研究疾病，还能够更加全面地辅助医生进行治疗计划的制定。然而，传统的图像配准方法无法适配多模态的眼底图像配准，导致多模态眼底图像的配准结果精度低，极大的限制了眼底图像在临床应用上的发展。
下面结合图1对本公开一实施例的应用场景进行简单的介绍。
图1所示为本公开一实施例提供的应用场景示意图。如图1所示，本公开实施例所适用的场景包括服务器110、与服务器110通信连接的图像接收装置120。
具体而言，图像接收装置120用于接收待配准眼底图像样本和参考图像样本，待配准眼底图像样本的模态和参考图像样本的模态不同，服务器110用于利用形变学习子模型，对待配准眼底图像样本进行处理，获得形变图像样本；利用第一特征点提取子模型，提取形变图像样本的关键点，获得形变图像关键点信息；利用第一特征点提取子模型，提取参考图像样本的关键点，获得参考图像关键点信息；基于形变图像关键点信息和参考图像关键点信息，利用第一损失函数，进行损失计算，获得第一损失值；基于第一损失值，调整形变学习子模型的参数；利用逆形变学习子模型，基于待配准眼底图像样本和参考图像样本，对参考图像样本进行逆形变处理，获得逆形变参考图像样本；基于逆形变参考样本和待配准眼底样本，确定第二损失值；利用第二损失值，调整逆形变学习子模型的参数，并循环迭代逆形变学习子模型；循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且所述第二损失值满足第二收敛条件，获得训练好的形变学习子模型，并将训练好的形变学习子模型确定为图像配准模型，图像配准模型用于基于待配准眼底图像和参考图像，对待配准眼底图像进行形变，得到形变图像，并将形变图像确定为所述待配准眼底图像对应的配准图像。即，该场景实现了一种图像配准模型训练方法。
或者，图像接收装置120用于获取不同模态的多幅眼底图像，服务器110用于将不同模态的多幅眼底图像中的一幅眼底图像确定为参考图像，将不同模态的多幅眼底图像中除参考图像之外的眼底图像确定为至少一幅待配准眼底图像；基于参考图像和至少一幅待配准眼底图像，利用图像配准模型，对至少一幅待配准眼底图像进行配准，得到至少一幅待配准眼底图像各自的配准图像。即，该场景实现了一种图像处理方法。其中，此场景提及的图像配准模型可为上述场景中生成的于基于待配准眼底图像和参考图像，对待配准眼底图像进行形变，得到形变图像，并将形变图像确定为所述待配准眼底图像对应的配准图像的图像配准模型。由于图1所示的上述场景利用服务器110实现了图像配准模型训练方法和/或图像处理方法，因此，提高了场景的适应能力。
示例性地，上述提及的待配准眼底图像样本、参考图像样本以及不同模态的多幅眼底图像包括但不限于普通眼底相机图像、广角眼底相机图像、眼底荧光血管造影图像、以及OCTA图像等图像。
图2所示为本公开的一实施例提供的图像配准模型训练方法的流程示意图。如图2所示，本公开实施例提供的图像配准模型训练方法包括如下步骤。
步骤S210，利用形变学习子模型，基于待配准眼底图像样本和参考图像样本，对待配准眼底图像样本进行处理，获得形变图像样本。
待配准眼底图像样本的模态和参考图像样本的模态不同。
示例性地，待配准眼底图像样本为OCTA图像，参考图像为普通眼底相机图像(即，彩色眼底图像)，利用形变学习子模型，将OCTA图像校正至普通眼底相机图像的形变场，获得形变图像样本。形变场是待配准眼底图像样本按照参考图像形变，待配准眼底图像和形变后的图像之间的像素点的位移场，是待配准眼底到参考图像的变化的函数表达。应当理解，本公开实施例中待配准眼底图像样本可以是OCTA图像，也可以是普通相机图像，对应地，参考图像可以为普通眼底相机图像或OCTA图像，待配准眼底图形样本和参考图像样本模态不同即可，待配准眼底图像样本和参考图像样本包括但不限于普通眼底相机图像、广角眼底相机图像、眼底荧光血管造影图像、以及OCTA图像等图像。示例性地，形变学习子模型可以为卷积神经网络模型或者深度学习网络模型。
步骤S220，利用第一特征点提取子模型，提取形变图像样本的关键点，获得形变图像关键点信息。
示例性地，将上述获得形变图像的样本，利用第一特征提取子模型提取形变图像样本的特征点，获得形变图像关键点信息。示例性地，第一特征点提取子模型可以是训练好的特征点提取模型，第一特征点提取子模型可以为深度学习网络模型或其他能够实现特征点提取的网络模型。本公开实施例不对第一特征点提取子模型的类型作进一步限定。
步骤S230，利用第一特征点提取子模型，提取参考图像样本的关键点，获得参考图像关键点信息。
示例性地，对与待配准眼底图像样本的参考图像样本进行特征点提取，参考图像样本可以根据需求选取。
步骤S240，基于形变图像关键点信息和参考图像关键点信息，利用第一损失函数，进行损失计算，获得第一损失值。
示例性地，第一损失函数可以是关键点信息之间的损失函数，也可以根据需求进行选择。将形变图像关键点信息和参考图像关键点信息进行匹配，并判断形变图像关键点和参考图像关键点之间的距离，将距离作为损失函数，即，选取距离计算函数作为损失函数。应当理解，距离计算函数能够实现关键点之间距离均可以选为第一损失函数，例如欧式距离函数、马氏距离函数、余弦相似度函数或Hellinger距离函数等函数。
在一些实施例中，形变学习子模型和第一特征点提取子模型嵌入循环对抗网络中，第一损失函数可以为对抗网络的损失函数GAN Loss与关键点信息之间的损失函数之和。应当理解，当形变学习子模型和第一特征点提取子模型嵌入循环对抗网络中时，形变学习子模型为对抗网络生成器，第一特征点提取子模型为对抗网络判别器，根据生成器和判别器获得损失函数GAN Loss。
步骤S250，基于第一损失值，调整形变学习子模型的参数。
步骤S260，利用逆形变学习子模型，基于待配准眼底图像样本和参考图像样本，对参考图像样本进行逆形变处理，获得逆形变参考图像样本。
示例性地，利用逆形变学习子模型，将参考图像样本按照待配准眼底图像样本的形变场进行形变处理，从而获得逆形变参考图像样本。应当理解，本公开实施例中的逆形变学习子模型结构可与上述形变学习子模型相同，逆形变学习子模型的逆形变过程是与形变学习子模型的形变过程相反的过程。
步骤S270，基于逆形变参考样本和待配准眼底样本，确定第二损失值。
示例性地，基于逆形变参考样本和待配准眼底样本之间的距离，确定第二损失值。
在一些实施例中，步骤S270的具体实施方式如图4所示，此处不再赘述。
步骤S280，利用第二损失值，调整所述逆形变学习子模型的参数，并循环迭代所述逆形变学习子模型。
步骤S290，循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，获得训练好的形变学习子模型，并将训练好的形变学习子模型确定为图像配准模型。
图像配准模型用于基于待配准眼底图像和参考图像，对待配准眼底图像进行形变，得到形变图像，并将形变图像确定为待配准眼底图像对应的配准图像。
示例性地，第一收敛条件可以根据需求设定。当形变学习子模型和第一特征点提取子模型嵌入对抗网络时，第一损失值可以通过梯度下降算法实现满足第一收敛条件。应当理解，训练过程中，可以根据需求选取迭代方式和设定第一收敛条件。
示例性地，第二收敛条件可以按照需求进行选取。循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，可以使得逆向的形变过程对正向的形变过程进行监督，逆形变学习子模型在训练过程中实现对形变学习子模型的监督，从而使得训练好的形变学习子的处理精度进一步提高
本公开实施例提供的图像配准模型训练方法，通过形变学习子模型、特征点提取子模型，确定形变图像样本和形变图像关键点信息，并结合参考图像样本的关键点信息，训练形变学习子模型，并将训练好的形变学习子模型确定为图像配准模型。由于待配准眼底图像样本的模态和参考图像样本的模态不同，因此能够实现了对多模态眼底图像的配准的目的，提高了多模态眼底图像配准结果的精度。此外，本公开实施例形变学习子模型和第一特征点提取子模型，能够嵌入循环对抗网络中进行训练，减少了运行时间。在应用过程中，训练好的形变学习子模型对待配准眼底图像进行形变的结果更接近参考图像样本，进一步提高了多模态眼底图像配准结果的精度。此外，本公开实施例通过调整逆形变学习子模型的参数，并通过循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，获得训练好的形变学习子模型，能够以参考图像样本逆形变到待配准眼底图像样本的形变场，确定形变过程的精确度。形变过程的精确度越高，逆形变学习子模型迭代过程越短，逆形变学习子模型迭代结果越精确，使得形变学习子模型迭代时间越短，获得的图像配准结果越精确，在缩短训练时间的同时，能够进一步提高图像配准结果的精度。
图3所示为本公开的一实施例提供的利用形变学习子模型，基于待配准眼底图像样本和参考图像样本，对待配准眼底图像样本进行处理，获得形变图像样本的流程示意图。如图3所示，本公开一实施例提供的利用形变学习子模型，基于待配准眼底图像样本和参考图像样本，对待配准眼底图像样本进行处理，获得形变图像样本包括如下步骤。
步骤S310，利用第一卷积神经网络层，基于待配准眼底图像样本和参考图像样本，确定第一形变场。
形变学习子模型包括第一卷积神经网络层、第二卷积神经网络层、第三卷积神经网络层、第一transformer层和第二transformer层。
示例性地，利用第一卷积神经网络层，将待配准眼底图像样本按照参考图像样本形变的形变场，确定为第一形变场。
步骤S320，利用第二卷积神经网络层，提取待配准眼底图像样本的局部特征。
示例性地，利用第二卷积神经网络层，通过卷积池化，捕捉图像中的局部特征，提取待配准眼底图像样本的局部特征。
步骤S330，利用第三卷积神经网络层，基于第一形变场对待配准眼底图像样本的局部特征进行第一形变处理，确定待配准眼底图像样本的局部特征形变结果。
形变处理包括第一形变处理和第二形变处理。
步骤S340，利用第一transformer层，基于待配准眼底图像样本，提取待配准眼底图像样本的全局特征。
示例性地，第一transformer层能够获取待配准眼底图像样本中的长距离依赖和局部特征。
步骤S350，利用第二transformer层，基于第一形变场、待配准眼底图像样本的局部特征形变结果和待配准眼底图像样本的全局特征，进行第二形变处理，获得形变图像样本。
示例性地，第二transformer层能够通过局部特征和全局特征相结合的方式，进行第二形变处理，获得形变图像样本。
在一些实施例中，形变学习子模型采用三层下采样和三层上采样结构。通过卷积核池化捕捉待配准眼底图像样本(和/或参考图像样本)和Transformer层捕获待配准眼底图像样本(和/或参考图像样本)中的长距离依赖和全局特征，通过全局特征和局部特征相结合的方式学习待配准眼底图像至参考图像的形变场。
本公开实施例提供的模型训方法，由于形变学习子模型包括卷积层(即，第一卷积神经网络层、第二卷积神经网络层和第三卷积神经网络层)和transformer层(即，第一transformer层和第二transformer层)，能够通过全局特征和局部特征相结合的方式获得形变图像样本，提高了对局部微小形变的处理，进一步提高了利用图像配准模型获得的图像配准结果的精度。
图4所示为本公开的一实施例提供的基于逆形变参考样本和待配准眼底样本，获得第二损失值的流程示意图。如图4所示，本公开实施例提供的基于逆形变参考样本和待配准眼底样本，确定第二损失值包括如下步骤。
步骤S410，利用第二特征点提取子模型，提取逆形变参考图像样本的关键点，获得逆形变参考图像关键点信息。
示例性地，第二特征点提取子模型可以与上述第一特征点子提取模型相同，也可以是其他特征点提取模型，能够实现提取逆形变参考图像样本的关键点的目的即可，本公开实施例不对第二特征点提取子模型的结构作进一步限定。
步骤S420，利用第二特征点提取子模型，提取待配准眼底图像样本的关键点，获得待配准眼底图像关键点信息。
示例性地，逆形变参考图像样本和待配准眼底图像样本可以同时被输入第二特征点提取子模型，对应地，步骤S420和步骤S430可以同时进行，也可以调整顺序。
步骤S430，基于逆形变参考图像关键点信息和待配准眼底图像关键点信息，利用第二损失函数，进行损失计算，获得第二损失值。
示例性地，第二损失函数与第一损失函数同，均为计算关键点之间的距离的距离函数。第二损失函数可以与上述第一损失函数相同，也可以是根据需求选取的其他距离函数，例如，欧式距离函数、马氏距离函数、余弦相似度函数或Hellinger距离函数等函数。
本公开实施例通过特征点提取模型，获得逆形变参考图像关键点信息和待配准眼底图像关键点信息，从而基于逆形变参考图像关键点信息和待配准眼底图像关键点信息，利用第二损失函数，进行损失计算，获得第二损失值。第二损失值的精确度更高，可以帮助训练过程中，逆形变学习子模型的迭代结果更精确，从而，使得形变过程的精确度更高，从而能够进一步提高图像配准结果的精度。
图5所示为本公开的另一实施例提供的图像配准模型训练方法的流程示意图。在本公开图4所示实施例的基础上延伸出本公开图5所示实施例，下面着重叙述图5所示实施例与图4所示实施例的不同之处，相同之处不再赘述。
如图5所示，本公开另一实施例提供的图像配准模型训练方法还包括如下步骤。
步骤S510，利用逆形变学习子模型，基于形变图像样本和待配准眼底图像样本，并对形变图像样本进行逆形变处理，获得逆形变图像样本。
示例性地，利用逆形变学习子模型，将形变图像样本按照待配准眼底图像样本形变的形变场，对形变图像样本进行逆形变处理，获得逆形变图像样本。
步骤S520，基于逆形变图像样本和待配准眼底图像样本，利用第三损失函数，进行损失计算，获得第三损失值。
示例性地，第三损失函数可以与第一损失函数和第二损失函数相同，也可以是其他计算特征点距离的函数。
步骤S530，基于第三损失值，调整形变学习子模型的参数。
循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，获得训练好的形变学习子模型，包括：循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，且第三损失值满足第三收敛条件，获得训练好的形变学习子模型。
示例性地，第三收敛条件可以按照需求选取，循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，且第三损失值满足第三收敛条件，从而获得的训练好的形变学习子模型，调整好的逆形变学习子模型能够对形变图像样本和待配准眼底图像样本进行更精确形变，能够更好地监督形变学习子模型，从而进一步提高图像配准模型的精确度。
在一些实施例中，形变学习子模型、逆形变学习子模型、第一特征点提取子模型、第二特征点提取子模型，嵌入对抗循环网络中，收敛条件可以结合根据生成器和判别器的损失函数GAN Loss、第一损失函数、第二函数以及第三损失函数确定。
本公开实施例通过逆形变学习子模型，对形变图像样本进行逆形变处理，由于形变图像样本是待配准眼底图像基于参考图像的形变场形变获得，对形变图像样本的逆形变处理，并确定逆形变图像样本和待配准眼底图像样本的损失值，从而根据损失值调整形变学习子模型的参数，训练好的形变学习子模型能够更准确地确定待配准眼底图像和参考图像的形变场。因此，本公开实施例提供的图像配准模型训练方法，能够进一步提高图像配准模型的精确度。
图6所示为本公开的另一实施例提供的图像配准模型训练方法的流程示意图。在本公开图5所示实施例的基础上延伸出本公开图6所示实施例，下面着重叙述图6所示实施例与图5所示实施例的不同之处，相同之处不再赘述。
如图6所示，本公开另一实施例提供的图像配准模型训练方法还包括如下步骤。
步骤S610，利用形变学习子模型，基于逆形变参考图像样本与参考图像样本，对逆形变参考图像样本进行形变处理，获得形变参考图像样本。
示例性地，利用形变学习子模型，将逆形变参考图像样本按照参考图像样本进行形变，获得形变参考图像样本。
步骤S620，基于形变参考图像样本与参考图像样本，利用第四损失函数，进行损失计算，获得第四损失值。
示例性地，第四损失函数可以与第一损失函数、第二损失函数、第三损失函数相同，也可以是其他计算特征点距离的函数。
步骤S630，基于第四损失值，调整形变学习子模型的参数。
循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，且第三损失值满足第三收敛条件，获得训练好的形变学习子模型，包括：循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，且第三损失值满足所述第三收敛条件，且第四损失值满足第四收敛条件，获得训练好的形变学习子模型。
示例性地，第四收敛条件可以按照需求选取，循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，且第三损失值满足所述第三收敛条件，且第四损失值满足第四收敛条件，从而获得训练好的形变学习子模型，因此训练好的形变学习子模型能够提高逆形变参考图像样本按照参考图像样本形变的精确度，从而进一步提高图像配准模型的精确度。
本公开实施例通过提高逆形变参考图像样本按照参考图像样本形变的精确度，从而实现了进一步提高图像配准模型的精确度的目的。
在一些实施例中，在利用形变学习子模型，基于待配准眼底图像样本和参考图像样本，对待配准眼底图像样本进行处理，获得形变图像样本之前，该图像配准模型训练方法还包括：基于初始参考图像样本和待配准眼底图像样本，利用区域定位子模型，对初始参考图像样本进行裁剪，获得参考图像样本，其中，初始参考图像样本的拍摄视野与待配准眼底图像样本的拍摄视野不一致，参考图像样本包括的眼底图像区域与待配准眼底图像样本包括的眼底图像区域相对应。示例性地，当初始参考图像样本的拍摄视野大于待配准眼底图像样本时，利用区域定位子模型，对初始参考样本按照待配准眼底图像样本视野范围进行剪裁，获得参考样本。应当理解，利用区域定位子模型处理的目的是为了使得参考图像样本和待配准眼底图像样本的视野一致。因此，当初始参考图像样本的拍摄视野小于待配准眼底图像时，将初始参考图像确定为参考图像，利用区域定位子模型对待配准眼底图像样本进行剪裁，获得的处理后的待配准眼底图像和参考图像的视野一致。本公开实施例通过区域定位子模型，使得参考图像样本的视野与待配准眼底图像样本的视野相同，减少了模型训练过程中的计算量，提高了模型的处理速度。
图7所示为本公开的一实施例提供的初始图像配准模型的结构示意图。如图7所示，本公开的一实施例提供的初始图像配准模型的结构包括：区域定位子模型710、形变学习子模型720、第一特征点提取子模型730、逆形变学习子模型740、第二特征点提取子模型750。本公开实施例提及的初始图像配准模型的利用上述提及的图像配准模型训练的方法，对初始图像配准模型进行训练，从而获得最终的图像配准模型。示例性地，训练过程中，待配准眼底图像样本和选定的初始参考图像样本进入区域定位子模型710，获得参考图像样本。参考图像样本及待配准眼底图像样本在形变学习子模型720中，进行形变处理，获得形变图像样本。利用第一特征提取子模型730，获得形变图像关键点信息以及参考图像关键点信息，然后计算获得第一损失值。逆形变学习子模型740用于处理参考图像样本和待配准眼底图像样本，获得逆形变参考图像样本，并计算第二损失值。并根据第一损失值第二损失值调整形变学习子模型720和逆形变学习子模型740，直至第一损失值满足第一收敛条件和第二损失值满足第二收敛条件，将训练好的形变学习子模型720确定为图像配准模型。应当理解，在实际训练过程中，形变学习子模型和逆形变学习子模型还可以用于获得形变参考图像样本和逆形变图像样本，并计算第三损失值和第四损失值，循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，且第三损失值满足第三收敛条件，且第四损失值满足第四收敛条件，最终获得训练好的形变学习子模型。
图8所示为本公开的一实施例提供的图像处理方法的流程示意图。如图8所示，本公开实施例提供的图像处理方法包括如下步骤。
步骤S810，获取不同模态的多幅眼底图像。
示例性地，不同模态的眼底图像可以是OCTA图像和眼底荧光血管造影眼底图像，OCTA图像和普通眼底图像等不同模态的眼底图像。
步骤S820，将不同模态的多幅眼底图像中的一幅眼底图像确定为参考图像，将不同模态的多幅眼底图像中除参考图像之外的眼底图像确定为至少一幅待配准眼底图像。
示例性地，选取OCTA图像、眼底荧光血管造影眼底图像、普通眼底图像中的一幅眼底图像确定为参考图像。将不同模态的多幅眼底图像中除参考图像之外的眼底图像确定为至少一幅待配准眼底图像。
步骤S830，基于参考图像和至少一幅待配准眼底图像，利用图像配准模型，对至少一幅待配准眼底图像进行配准，得到至少一幅待配准眼底图像各自的配准图像。
图像配准模型基于上述所提及的图像配准模型训练方法确定。
示例性地，通过利用图像配准模型，对至少一幅待配准眼底图像进行配准，得到至少一幅待配准眼底图像各自的配准图像，配准图像按照待配准眼底图像按照参考图像进行形变获得。
本公开实施例的图像处理方法，基于不同模态的多幅眼底图像，利用图像配准模型，获得至少一幅待配准眼底图像各自的配准图像。由于图像配准模型利用上述提及的图像配准模型训练方法确定，获得的配准图像结果更加精确，能够更全面辅助医生对治疗方案的制定，以及推进相关研究的发展。
图9所示为本公开的一实施例提供的图像配准模型训练装置的结构示意图。如图9所示，本公开的实施例提供的图像配准模型训练装置900包括：形变模块910、第一特征提取模块920、损失计算模块930、调整模块940、逆形变处理模块950和确定模块960。具体地，形变模块910，用于利用形变学习子模型，基于待配准眼底图像样本和参考图像样本，对待配准眼底图像样本进行处理，获得形变图像样本，待配准眼底图像样本的模态和参考图像样本的模态不同；第一特征提取模块920，用于利用第一特征点提取子模型，提取形变图像样本的关键点，获得形变图像关键点信息；第一特征提取模块920，还用于利用第一特征点提取子模型，提取参考图像样本的关键点，获得参考图像关键点信息；损失计算模块930，用于基于形变图像关键点信息和参考图像关键点信息，利用第一损失函数，进行损失计算，获得第一损失值；调整模块940，用于基于第一损失值，调整形变学习子模型的参数；逆形变处理模块950，用于利用逆形变学习子模型，基于待配准眼底图像样本和参考图像样本，对参考图像样本进行逆形变处理，获得逆形变参考图像样本；损失计算模块930，还用于基于逆形变参考样本和待配准眼底样本，获得第二损失值；调整模块940，还用于利用第二损失值，调整逆形变学习子模型的参数，并循环迭代逆形变学习子模型；确定模块960，用于循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，获得训练好的形变学习子模型，并将训练好的形变学习子模型确定为图像配准模型，图像配准模型用于基于待配准眼底图像和参考图像，对待配准眼底图像进行形变，得到形变图像，并将形变图像确定为待配准眼底图像对应的配准图像。
在一些实施例中，形变学习子模型包括第一卷积神经网络层、第二卷积神经网络层、第三卷积神经网络层、第一transformer层和第二transformer层，形变模块910还用于，利用形变学习子模型，基于待配准眼底图像样本和参考图像样本，对待配准眼底图像样本进行处理，获得形变图像样本，包括：利用第一卷积神经网络层，基于待配准眼底图像样本和参考图像样本，确定第一形变场；利用第二卷积神经网络层，提取待配准眼底图像样本的局部特征；利用第三卷积神经网络层，基于第一形变场对待配准眼底图像样本的局部特征进行第一形变处理，确定待配准眼底图像样本的局部特征形变结果；利用第一transformer层，基于待配准眼底图像样本，提取待配准眼底图像样本的全局特征；利用第二transformer层，基于第一形变场、待配准眼底图像样本的局部特征形变结果和待配准眼底图像样本的全局特征，进行第二形变处理，获得形变图像样本。
在一些实施例中，图像配准模型训练装置还包括第二特征点提取模块，损失计算模块930还用于，利用第二特征点提取子模型，提取逆形变参考图像样本的关键点，获得逆形变参考图像关键点信息；利用第二特征点提取子模型，提取待配准眼底图像样本的关键点，获得待配准眼底图像关键点信息；基于逆形变参考图像关键点信息和待配准眼底图像关键点信息，利用第二损失函数，进行损失计算，获得第二损失值。
在一些实施例中，逆形变处理模块950还用于，利用逆形变学习子模型，基于形变图像样本和待配准眼底图像样本，并对形变图像样本进行逆形变处理，获得逆形变图像样本；损失计算模块930还用于，基于逆形变图像样本和待配准眼底图像样本，利用第三损失函数，进行损失计算，获得第三损失值；调整模块940还用于，基于第三损失值，调整形变学习子模型的参数；确定模块960还用于，循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，且第三损失值满足第三收敛条件，获得训练好的形变学习子模型。
在一些实施例中，形变模块910还用于，利用形变学习子模型，基于逆形变参考图像样本与参考图像样本，对逆形变参考图像样本进行形变处理，获得形变参考图像样本。损失计算模块930还用于，基于形变参考图像样本与参考图像样本，利用第四损失函数，进行损失计算，获得第四损失值；调整模块940还用于，基于第四损失值，调整形变学习子模型的参数；确定模块960还用于，循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，且第三损失值满足所述第三收敛条件，且第四损失值满足第四收敛条件，获得训练好的形变学习子模型。
在一些实施例中，图像配准模型训练装置还包括裁剪模块，在利用形变学习子模型，基于待配准眼底图像样本和参考图像样本，对待配准眼底图像样本进行处理，获得形变图像样本之前，裁剪模块用于基于初始参考图像样本和待配准眼底图像样本，利用区域定位子模型，对初始参考图像样本进行裁剪，获得参考图像样本，其中，初始参考图像样本的拍摄视野与待配准眼底图像样本的拍摄视野不一致，参考图像样本包括的眼底图像区域与待配准眼底图像样本包括的眼底图像区域相对应。
图10所示为本公开的一实施例提供的图像处理装置的结构示意图。如图10所示，本公开的一实施例提供的图像处理装置1000包括获取模块1010、图像确定模块1020和配准模块1030。具体地，获取模块1010，用于获取不同模态的多幅眼底图像；图像确定模块1020，用于将不同模态的多幅眼底图像中的一幅眼底图像确定为参考图像，将不同模态的多幅眼底图像中除参考图像之外的眼底图像确定为至少一幅待配准眼底图像；配准模块1030，用于基于参考图像和至少一幅待配准眼底图像，利用图像配准模型，对至少一幅待配准眼底图像进行配准，得到至少一幅待配准眼底图像各自的配准图像，其中，图像配准模型基于上述所提及的图像配准模型训练方法确定。
下面，参考图11来描述根据本公开实施例的电子设备图11所示为本公开的一实施例提供的电子设备的结构示意图。
图11所示的电子设备1100(该电子设备1100具体可以是一种计算机设备)包括存储器1101、处理器1102、通信接口1103以及总线1104。其中，存储器1101、处理器1102、通信接口1103通过总线1104实现彼此之间的通信连接。
存储器1101可以是只读存储器(Read Only Memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(Random Access Memory，RAM)。存储器1101可以存储程序，当存储器1101中存储的程序被处理器1102执行时，处理器1102和通信接口1103用于执行本公开实施例的图像配准模型训练方法或图像处理方法中的各个步骤。
处理器1102可以采用通用的中央处理器(Central Processing Unit，CPU)，微处理器，应用专用集成电路(Application Specific Integrated Circuit，ASIC)，图形处理器(Graphics Processing Unit，GPU)或者一个或多个集成电路，用于执行相关程序，以实现本公开实施例的图像配准模型训练装置或图像处理装置中的各个单元所需执行的功能。
处理器1102还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本公开的图像配准模型训练方法和图像处理方法的各个步骤可以通过处理器1102中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1102还可以是通用处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1101，处理器1102读取存储器1101中的信息，结合其硬件完成本公开实施例的图像配准模型训练装置或图像处理装置中包括的单元所需执行的功能，或者执行本公开实施例的图像配准模型训练方法和图像处理方法。
通信接口1103使用例如但不限于收发器一类的收发装置，来实现电子设备1100与其他设备或通信网络之间的通信。例如，可以通过通信接口1103获取待配准眼底图像样本或待配准眼底图像。
总线1104可包括在电子设备1100各个部件(例如，存储器1101、处理器1102、通信接口1103)之间传送信息的通路。
应注意，尽管图11所示的电子设备1100仅仅示出了存储器、处理器、通信接口，但是在具体实现过程中，本领域的技术人员应当理解，电子设备1100还包括实现正常运行所必须的其他器件。同时，根据具体需要，本领域的技术人员应当理解，电子设备1100还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当理解，电子设备1100也可仅仅包括实现本公开实施例所必须的器件，而不必包括图11中所示的全部器件。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种图像配准模型训练方法，其特征在于，包括：
利用形变学习子模型，基于待配准眼底图像样本和参考图像样本，对所述待配准眼底图像样本进行处理，获得形变图像样本，所述待配准眼底图像样本的模态和所述参考图像样本的模态不同；
利用第一特征点提取子模型，提取所述形变图像样本的关键点，获得形变图像关键点信息；
利用所述第一特征点提取子模型，提取所述参考图像样本的关键点，获得参考图像关键点信息；
基于所述形变图像关键点信息和所述参考图像关键点信息，利用第一损失函数，进行损失计算，获得第一损失值；
基于所述第一损失值，调整所述形变学习子模型的参数；
利用逆形变学习子模型，基于所述待配准眼底图像样本和所述参考图像样本，对所述参考图像样本进行逆形变处理，获得逆形变参考图像样本；
基于所述逆形变参考样本和所述待配准眼底样本，获得第二损失值；
利用所述第二损失值，调整所述逆形变学习子模型的参数，并循环迭代所述逆形变学习子模型；
循环迭代所述形变学习子模型，直到所述第一损失值满足第一收敛条件，且所述第二损失值满足第二收敛条件，获得训练好的形变学习子模型，并将所述训练好的形变学习子模型确定为图像配准模型，所述图像配准模型用于基于待配准眼底图像和参考图像，对所述待配准眼底图像进行形变，得到形变图像，并将所述形变图像确定为所述待配准眼底图像对应的配准图像。
2.根据权利要求1所述的方法，其特征在于，所述形变学习子模型包括第一卷积神经网络层、第二卷积神经网络层、第三卷积神经网络层、第一transformer层和第二transformer层，所述形变处理包括第一形变处理和第二形变处理，所述利用形变学习子模型，基于待配准眼底图像样本和参考图像样本，对所述待配准眼底图像样本进行处理，获得形变图像样本，包括：
利用所述第一卷积神经网络层，基于所述待配准眼底图像样本和所述参考图像样本，确定第一形变场；
利用所述第二卷积神经网络层，提取所述待配准眼底图像样本的局部特征；
利用所述第三卷积神经网络层，基于所述第一形变场对所述待配准眼底图像样本的局部特征进行所述第一形变处理，确定所述待配准眼底图像样本的局部特征形变结果；
利用所述第一transformer层，基于所述待配准眼底图像样本，提取所述待配准眼底图像样本的全局特征；
利用所述第二transformer层，基于所述第一形变场、所述待配准眼底图像样本的局部特征形变结果和所述待配准眼底图像样本的全局特征，进行所述第二形变处理，获得所述形变图像样本。
3.根据权利要求1所述的方法，其特征在于，所述基于所述逆形变参考样本和所述待配准眼底样本，获得第二损失值，包括：
利用第二特征点提取子模型，提取所述逆形变参考图像样本的关键点，获得逆形变参考图像关键点信息；
利用所述第二特征点提取子模型，提取所述待配准眼底图像样本的关键点，获得待配准眼底图像关键点信息；
基于所述逆形变参考图像关键点信息和所述待配准眼底图像关键点信息，利用第二损失函数，进行损失计算，获得所述第二损失值。
4.根据权利要求3所述的方法，其特征在于，还包括：
利用逆形变学习子模型，基于所述形变图像样本和所述待配准眼底图像样本，并对所述形变图像样本进行逆形变处理，获得逆形变图像样本；
基于所述逆形变图像样本和所述待配准眼底图像样本，利用第三损失函数，进行损失计算，获得第三损失值；
基于所述第三损失值，调整所述形变学习子模型的参数；
所述循环迭代所述形变学习子模型，直到所述第一损失值满足第一收敛条件，且所述第二损失值满足所述第二收敛条件，获得训练好的形变学习子模型，包括：
循环迭代所述形变学习子模型，直到所述第一损失值满足所述第一收敛条件，且所述第二损失值满足第二收敛条件，且所述第三损失值满足第三收敛条件，获得所述训练好的形变学习子模型。
5.根据权利要求4所述的方法，其特征在于，还包括：
利用所述形变学习子模型，基于所述逆形变参考图像样本与所述参考图像样本，对所述逆形变参考图像样本进行形变处理，获得形变参考图像样本；
基于所述形变参考图像样本与所述参考图像样本，利用第四损失函数，进行损失计算，获得第四损失值；
基于所述第四损失值，调整所述形变学习子模型的参数；
所述循环迭代所述形变学习子模型，直到所述第一损失值满足所述第一收敛条件，且所述第二损失值满足所述第二收敛条件，且所述第三损失值满足第三收敛条件，获得所述训练好的形变学习子模型，包括：
循环迭代所述形变学习子模型，直到所述第一损失值满足所述第一收敛条件，且所述第二损失值满足所述第二收敛条件，且所述第三损失值满足所述第三收敛条件，且所述第四损失值满足第四收敛条件，获得所述训练好的形变学习子模型。
6.根据权利要求1至5任一项所述的方法，其特征在于，在所述利用形变学习子模型，基于待配准眼底图像样本和参考图像样本，对所述待配准眼底图像样本进行处理，获得形变图像样本之前，还包括：
基于初始参考图像样本和所述待配准眼底图像样本，利用区域定位子模型，对所述初始参考图像样本进行裁剪，获得所述参考图像样本，其中，所述初始参考图像样本的拍摄视野大于所述待配准眼底图像样本的拍摄视野，所述参考图像样本包括的眼底图像区域与所述待配准眼底图像样本包括的眼底图像区域相对应。
7.一种图像处理方法，其特征在于，包括：
获取不同模态的多幅眼底图像；
将所述不同模态的多幅眼底图像中的一幅眼底图像确定为参考图像，将所述不同模态的多幅眼底图像中除所述参考图像之外的眼底图像确定为至少一幅待配准眼底图像；
基于所述参考图像和所述至少一幅待配准眼底图像，利用图像配准模型，对所述至少一幅待配准眼底图像进行配准，得到所述至少一幅待配准眼底图像各自的配准图像，其中，所述图像配准模型基于1至6任一项所述的图像配准模型训练方法确定。
8.一种图像配准模型训练装置，其特征在于，包括：
形变模块，用于利用形变学习子模型，基于待配准眼底图像样本和参考图像样本，对所述待配准眼底图像样本进行处理，获得形变图像样本，所述待配准眼底图像样本的模态和所述参考图像样本的模态不同；
第一特征提取模块，用于利用第一特征点提取子模型，提取所述形变图像样本的关键点，获得形变图像关键点信息；
第一特征提取模块，还用于利用所述第一特征点提取子模型，提取所述参考图像样本的关键点，获得参考图像关键点信息；
损失计算模块，用于基于所述形变图像关键点信息和所述参考图像关键点信息，利用第一损失函数，进行损失计算，获得第一损失值；
调整模块，用于基于所述第一损失值，调整所述形变学习子模型的参数；
逆形变处理模块，用于利用逆形变学习子模型，基于所述待配准眼底图像样本和所述参考图像样本，对所述参考图像样本进行逆形变处理，获得逆形变参考图像样本；
所述损失计算模块，还用于基于所述逆形变参考样本和所述待配准眼底样本，获得第二损失值；
所述调整模块，还用于利用所述第二损失值，调整所述逆形变学习子模型的参数，并循环迭代所述逆形变学习子模型；
确定模块，用于循环迭代所述形变学习子模型，直到所述第一损失值满足第一收敛条件，且所述第二损失值满足第二收敛条件，获得训练好的形变学习子模型，并将所述训练好的形变学习子模型确定为图像配准模型，所述图像配准模型用于基于待配准眼底图像和参考图像，对所述待配准眼底图像进行形变，得到形变图像，并将所述形变图像确定为所述待配准眼底图像对应的配准图像。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器，
其中，所述处理器用于执行上述权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至7任一项所述的方法。
CN202310451247.4A 2023-04-24 2023-04-24 图像配准模型训练方法及装置、图像处理方法 Pending CN116542918A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310451247.4A CN116542918A (zh) 2023-04-24 2023-04-24 图像配准模型训练方法及装置、图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310451247.4A CN116542918A (zh) 2023-04-24 2023-04-24 图像配准模型训练方法及装置、图像处理方法

Publications (1)

Publication Number Publication Date
CN116542918A true CN116542918A (zh) 2023-08-04

Family

ID=87449826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310451247.4A Pending CN116542918A (zh) 2023-04-24 2023-04-24 图像配准模型训练方法及装置、图像处理方法

Country Status (1)

Country Link
CN (1) CN116542918A (zh)

Similar Documents

Publication Publication Date Title
KR101857624B1 (ko) 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치
Xiuqin et al. A fundus retinal vessels segmentation scheme based on the improved deep learning U-Net model
WO2020260936A1 (en) Medical image segmentation using an integrated edge guidance module and object segmentation network
CN110889826B (zh) 眼部oct图像病灶区域的分割方法、装置及终端设备
CN111291825B (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
US10984222B2 (en) Method, apparatus and system for 3D face tracking
US11967181B2 (en) Method and device for retinal image recognition, electronic equipment, and storage medium
US9142030B2 (en) Systems, methods and computer readable storage media storing instructions for automatically segmenting images of a region of interest
CN112348785B (zh) 一种癫痫病灶定位方法及系统
US11532090B2 (en) Electronic device and method for estimating optical flow
Dangi et al. Cine cardiac MRI slice misalignment correction towards full 3D left ventricle segmentation
CN114120030A (zh) 基于注意力机制的医学图像处理方法及相关设备
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN110738702B (zh) 一种三维超声图像的处理方法、装置、设备及存储介质
CN114758137A (zh) 超声图像分割方法、装置及计算机可读存储介质
CN113870215A (zh) 中线提取方法及装置
CN112634231A (zh) 一种图像分类方法、装置、终端设备和存储介质
WO2015176502A1 (zh) 一种图像特征的估计方法和设备
CN113724203B (zh) 应用于oct图像中目标特征分割的模型训练方法及装置
CN113706451A (zh) 颅内动脉瘤识别检测的方法、装置、系统和计算机可读存储介质
CN111462203B (zh) Dr病灶演化分析装置和方法
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
CN116468702A (zh) 黄褐斑评估方法、装置、电子设备及计算机可读存储介质
CN116542918A (zh) 图像配准模型训练方法及装置、图像处理方法
CN112488982A (zh) 一种超声图像检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination