CN114519729A - 图像配准质量评估模型训练方法、装置和计算机设备 - Google Patents

图像配准质量评估模型训练方法、装置和计算机设备 Download PDF

Info

Publication number
CN114519729A
CN114519729A CN202011308476.3A CN202011308476A CN114519729A CN 114519729 A CN114519729 A CN 114519729A CN 202011308476 A CN202011308476 A CN 202011308476A CN 114519729 A CN114519729 A CN 114519729A
Authority
CN
China
Prior art keywords
image
registration
training
criticality
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011308476.3A
Other languages
English (en)
Inventor
魏东
祁可翰
李悦翔
陈嘉伟
马锴
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011308476.3A priority Critical patent/CN114519729A/zh
Publication of CN114519729A publication Critical patent/CN114519729A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种图像质量评估模型训练方法、装置、计算机设备和存储介质。该方法包括：将训练参考图像和训练配准图像输入初始图像配准质量评估模型中的初始关键度信息提取网络中，得到训练参考关键度信息和训练配准关键度信息；计算目标关键度误差信息，并基于目标关键度误差信息更新初始关键度信息提取网络；将训练参考图像、训练配准图像、训练参考关键度信息和训练配准关键度信息输入初始图像配准质量评估模型中的初始图像配准质量评估网络中，得到初始图像配准质量评估结果；计算评估结果误差信息，并更新初始图像配准质量评估网络，当训练完成时，得到图像配准质量评估模型。采用本方法能够提高图像配准质量评估的准确性。

Description

图像配准质量评估模型训练方法、装置和计算机设备
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像配准质量评估模型训练、图像配准质量评估方法、装置、计算机设备和存储介质。
背景技术
随着人工智能技术的发展，出现了图像配准技术，图像配准(Imageregistration)就是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程，它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。由于图像配准被广泛应用，使得对图像配准质量的评估越来越重要。目前，对图像配准质量的评估通常是使用评估指标进行评估，然而，通过评估指标对图像配准质量进行评估存在评估结果准确性低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高图像配准质量评估准确性的图像配准质量评估模型训练、图像配准质量评估方法、装置、计算机设备和存储介质。
一种图像配准质量评估模型训练方法，所述方法包括：
获取训练图像样本及目标图像配准质量评估结果，训练图像样本包括训练参考图像和对应的目标参考关键度信息以及训练配准图像和对应的目标配准关键度信息，训练配准图像是基于训练参考图像将训练待配准图像进行图像配准后得到的图像；
将训练参考图像和训练配准图像输入初始图像配准质量评估模型中的初始关键度信息提取网络中，得到训练参考关键度信息和训练配准关键度信息；
计算训练参考关键度信息与对应的目标参考关键度信息的参考关键度误差信息，并计算训练配准关键度信息与对应的目标配准关键度信息的配准关键度误差信息；
基于参考关键度误差信息和配准关键度误差信息确定目标关键度误差信息，并基于目标关键度误差信息更新初始关键度信息提取网络；
将训练参考图像、训练配准图像、训练参考关键度信息和训练配准关键度信息输入初始图像配准质量评估模型中的初始图像配准质量评估网络中，得到初始图像配准质量评估结果；
计算初始图像配准质量评估结果与目标图像配准质量评估结果的评估结果误差信息；
基于评估结果误差信息更新初始图像配准质量评估网络，当训练完成时，得到图像配准质量评估模型。
一种图像配准质量评估模型训练装置，所述装置包括：
训练样本获取模块，用于获取训练图像样本及目标图像配准质量评估结果，训练图像样本包括训练参考图像和对应的目标参考关键度信息以及训练配准图像和对应的目标配准关键度信息，训练配准图像是基于训练参考图像将训练待配准图像进行图像配准后得到的图像；
训练信息提取模块，用于将训练参考图像和训练配准图像输入初始图像配准质量评估模型中的初始关键度信息提取网络中，得到训练参考关键度信息和训练配准关键度信息；
关键度误差计算模块，用于计算训练参考关键度信息与对应的目标参考关键度信息的参考关键度误差信息，并计算训练配准关键度信息与对应的目标配准关键度信息的配准关键度误差信息；
提取网络更新模块，用于基于参考关键度误差信息和配准关键度误差信息确定目标关键度误差信息，并基于目标关键度误差信息更新初始关键度信息提取网络；
初始质量评估模块，用于将训练参考图像、训练配准图像、训练参考关键度信息和训练配准关键度信息输入初始图像配准质量评估模型中的初始图像配准质量评估网络中，得到初始图像配准质量评估结果；
评估误差计算模块，用于计算初始图像配准质量评估结果与目标图像配准质量评估结果的评估结果误差信息；
模型得到模块，用于基于评估结果误差信息更新初始图像配准质量评估网络，当训练完成时，得到图像配准质量评估模型。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取训练图像样本及目标图像配准质量评估结果，训练图像样本包括训练参考图像和对应的目标参考关键度信息以及训练配准图像和对应的目标配准关键度信息，训练配准图像是基于训练参考图像将训练待配准图像进行图像配准后得到的图像；
将训练参考图像和训练配准图像输入初始图像配准质量评估模型中的初始关键度信息提取网络中，得到训练参考关键度信息和训练配准关键度信息；
计算训练参考关键度信息与对应的目标参考关键度信息的参考关键度误差信息，并计算训练配准关键度信息与对应的目标配准关键度信息的配准关键度误差信息；
基于参考关键度误差信息和配准关键度误差信息确定目标关键度误差信息，并基于目标关键度误差信息更新初始关键度信息提取网络；
将训练参考图像、训练配准图像、训练参考关键度信息和训练配准关键度信息输入初始图像配准质量评估模型中的初始图像配准质量评估网络中，得到初始图像配准质量评估结果；
计算初始图像配准质量评估结果与目标图像配准质量评估结果的评估结果误差信息；
基于评估结果误差信息更新初始图像配准质量评估网络，当训练完成时，得到图像配准质量评估模型。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取训练图像样本及目标图像配准质量评估结果，训练图像样本包括训练参考图像和对应的目标参考关键度信息以及训练配准图像和对应的目标配准关键度信息，训练配准图像是基于训练参考图像将训练待配准图像进行图像配准后得到的图像；
将训练参考图像和训练配准图像输入初始图像配准质量评估模型中的初始关键度信息提取网络中，得到训练参考关键度信息和训练配准关键度信息；
计算训练参考关键度信息与对应的目标参考关键度信息的参考关键度误差信息，并计算训练配准关键度信息与对应的目标配准关键度信息的配准关键度误差信息；
基于参考关键度误差信息和配准关键度误差信息确定目标关键度误差信息，并基于目标关键度误差信息更新初始关键度信息提取网络；
将训练参考图像、训练配准图像、训练参考关键度信息和训练配准关键度信息输入初始图像配准质量评估模型中的初始图像配准质量评估网络中，得到初始图像配准质量评估结果；
计算初始图像配准质量评估结果与目标图像配准质量评估结果的评估结果误差信息；
基于评估结果误差信息更新初始图像配准质量评估网络，当训练完成时，得到图像配准质量评估模型。
上述图像配准质量评估模型训练方法、装置、计算机设备和存储介质，通过将训练参考图像和训练配准图像输入初始图像配准质量评估模型中的初始关键度信息提取网络中，得到训练参考关键度信息和训练配准关键度信息；然后计算得到目标关键度误差信息，使用目标关键度误差信息更新初始关键度信息提取网络，同时将训练参考图像、训练配准图像、训练参考关键度信息和训练配准关键度信息输入初始图像配准质量评估模型中的初始图像配准质量评估网络中，得到初始图像配准质量评估结果。然后计算评估结果误差信息，并使用评估结果误差信息更新初始图像配准质量评估网络，当训练完成时，得到图像配准质量评估模型，即使用从初始关键度信息提取网络中得到训练参考关键度信息和训练配准关键度信息作为初始图像配准质量评估网络的输入进行训练，提高训练得到的图像配准质量评估网络的准确性，从而提高了训练得到的图像配准质量评估模型的准确性。
一种图像配准质量评估方法，所述方法包括：
获取参考图像和配准图像，配准图像是基于参考图像将待配准图像进行图像配准后得到的图像；
分别提取参考图像和配准图像对应的关键点，得到参考关键点和配准关键点；
计算参考关键点对应的高斯分布信息，并基于参考关键点对应的高斯分布信息和参考图像中像素点的位置确定参考图像对应的参考关键度信息；
计算配准关键点对应的高斯分布信息，并基于配准关键点对应的高斯分布信息和配准图像中像素点的位置确定配准图像对应的配准关键度信息；
基于参考图像、配准图像、参考关键度信息和配准关键度信息进行图像配准质量评估，得到参考图像和配准图像对应的图像配准质量评估结果。
在其中一个实施例中，在获取参考图像和配准图像之前，还包括：
获取参考图像和待配准图像，将参考图像和待配准图像输入到图像配准模型中，得到输出的配准图像，图像配准模型是基于深度神经网络算法使用训练样本训练得到的。
在其中一个实施例中，计算参考关键点对应的高斯分布信息，并基于参考关键点对应的高斯分布信息和参考图像中像素点的位置确定参考图像对应的参考关键度信息，包括：
将参考关键点的位置坐标作为均值，并根据均值和预设协方差矩阵进行二维高斯分布计算，得到参考关键点对应的高斯分布信息；
基于参考关键点对应的高斯分布信息和参考图像中像素点的位置坐标计算参考图像中像素点对应的参考关键度；
基于参考图像中像素点对应的参考关键度得到参考图像对应的参考关键度信息。
在其中一个实施例中，计算配准关键点对应的高斯分布信息，并基于配准关键点对应的高斯分布信息和配准图像中像素点的位置确定配准图像对应的配准关键度信息，包括：
将配准关键点的位置坐标作为均值，并根据均值和预设协方差矩阵进行二维高斯分布计算，得到配准关键点对应的高斯分布信息；
基于配准关键点对应的高斯分布信息和配准图像中像素点的位置坐标计算配准图像中像素点对应的配准关键度；
基于配准图像中像素点对应的配准关键度得到配准图像对应的配准关键度信息。
一种图像配准质量评估装置，所述装置包括：
图像获取模块，用于获取参考图像和配准图像，配准图像是基于参考图像将待配准图像进行图像配准后得到的图像；
关键点提取模块，用于分别提取参考图像和配准图像对应的关键点，得到参考关键点和配准关键点；
参考信息确定模块，用于计算参考关键点对应的高斯分布信息，并基于参考关键点对应的高斯分布信息和参考图像中像素点的位置确定参考图像对应的参考关键度信息；
配置信息确定模块，用于计算配准关键点对应的高斯分布信息，并基于配准关键点对应的高斯分布信息和配准图像中像素点的位置确定配准图像对应的配准关键度信息；
质量评估模块，用于基于参考图像、配准图像、参考关键度信息和配准关键度信息进行图像配准质量评估，得到参考图像和配准图像对应的图像配准质量评估结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取参考图像和配准图像，配准图像是基于参考图像将待配准图像进行图像配准后得到的图像；
分别提取参考图像和配准图像对应的关键点，得到参考关键点和配准关键点；
计算参考关键点对应的高斯分布信息，并基于参考关键点对应的高斯分布信息和参考图像中像素点的位置确定参考图像对应的参考关键度信息；
计算配准关键点对应的高斯分布信息，并基于配准关键点对应的高斯分布信息和配准图像中像素点的位置确定配准图像对应的配准关键度信息；
基于参考图像、配准图像、参考关键度信息和配准关键度信息进行图像配准质量评估，得到参考图像和配准图像对应的图像配准质量评估结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取参考图像和配准图像，配准图像是基于参考图像将待配准图像进行图像配准后得到的图像；
分别提取参考图像和配准图像对应的关键点，得到参考关键点和配准关键点；
计算参考关键点对应的高斯分布信息，并基于参考关键点对应的高斯分布信息和参考图像中像素点的位置确定参考图像对应的参考关键度信息；
计算配准关键点对应的高斯分布信息，并基于配准关键点对应的高斯分布信息和配准图像中像素点的位置确定配准图像对应的配准关键度信息；
基于参考图像、配准图像、参考关键度信息和配准关键度信息进行图像配准质量评估，得到参考图像和配准图像对应的图像配准质量评估结果。
上述图像配准质量评估方法、装置、计算机设备和存储介质，通过提取参考图像和配准图像对应的参考关键点和配准关键点，然后计算参考关键点对应的高斯分布信息确定参考图像对应的参考关键度信息，并计算配准关键点对应的高斯分布信息，确定配准图像对应的配准关键度信息，最后使用参考图像、配准图像、参考关键度信息和配准关键度信息进行图像配准质量评估，得到参考图像和配准图像对应的图像配准质量评估结果。即通过在进行图像配准质量评估时不但使用参考图像和配准图像，而且使用参考关键度信息和配准关键度信息，从而提高了图像配准质量评估结果的准确性。
附图说明
图1为一个实施例中图像配准质量评估方法的应用环境图；
图2为一个实施例中图像配准质量评估模型训练方法的流程示意图；
图3为一个实施例中预训练关键度信息提取网络的流程示意图；
图4为一个实施例中获取标签的流程示意图；
图5为一个实施例中得到目标参考关键度信息的流程示意图；
图6为一个实施例中得到目标配准关键度信息的流程示意图；
图7为一个具体实施例中图像配准质量评估模型训练方法的流程示意图；
图8为一个实施例中图像配准质量评估方法的流程示意图；
图9为一个实施例中模型评估的流程示意图；
图10为一个实施例中得到参考关键度信息的流程示意图；
图11为一个实施例中得到配准关键度信息的流程示意图；
图12为一个具体实施例中关键点图像的示意图；
图13为一个实施例中图像配准质量评估模型训练方法的训练框架示意图；
图14为一个实施例中图像配准质量评估方法的应用场景图；
图15为一个实施例中图像配准质量评估模型训练装置的结构框图；
图16为一个实施例中图像配准质量评估装置的结构框图；
图17为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供的方案涉及人工智能的计算机视觉技术等技术，具体通过如下实施例进行说明:
本申请提供的图像配准质量评估模型训练方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。服务器104接收到终端102发送的模型训练指令，根据该模型训练指令服务器104获取训练图像样本及目标图像配准质量评估结果，训练图像样本包括训练参考图像和对应的目标参考关键度信息以及训练配准图像和对应的目标配准关键度信息，训练配准图像是基于训练参考图像将训练待配准图像进行图像配准后得到的图像；服务器104将训练参考图像和训练配准图像输入初始图像配准质量评估模型中的初始关键度信息提取网络中，得到训练参考关键度信息和训练配准关键度信息；服务器104计算训练参考关键度信息与对应的目标参考关键度信息的参考关键度误差信息，并计算训练配准关键度信息与对应的目标配准关键度信息的配准关键度误差信息；服务器104基于参考关键度误差信息和配准关键度误差信息确定目标关键度误差信息，并基于目标关键度误差信息更新初始关键度信息提取网络；服务器104将训练参考图像、训练配准图像、训练参考关键度信息和训练配准关键度信息输入初始图像配准质量评估模型中的初始图像配准质量评估网络中，得到初始图像配准质量评估结果；计算初始图像配准质量评估结果与目标图像配准质量评估结果的评估结果误差信息；服务器104基于评估结果误差信息更新初始图像配准质量评估网络，当训练完成时，得到图像配准质量评估模型。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
在一个实施例中，如图2所示，提供了一种图像配准质量评估模型训练方法，以该方法应用于图1中的服务器为例进行说明，可以理解的是，该方法也可以应用到终端中，在本实施例中，该方法包括以下步骤:
步骤202，获取训练图像样本及目标图像配准质量评估结果，训练图像样本包括训练参考图像和对应的目标参考关键度信息以及训练配准图像和对应的目标配准关键度信息，训练配准图像是基于训练参考图像将训练待配准图像进行图像配准后得到的图像。
其中，训练图像样本是指用于训练图像配准质量评估模型的图像样本。目标图像配准质量评估结果是指训练图像中训练参考图像和训练配准图像之间的图像配准质量评估结果。训练参考图像是指训练图像配准质量评估模型时的参考图像。训练配准图像是指训练图像配准质量评估模型时训练参考图像对应的配准图像。目标参考关键度信息用于表示训练参考图像对于目标图像配准质量评估结果的关键程度。目标配准关键度信息用于表示训练配准图像对于目标图像配准质量评估结果的关键程度。
具体地，服务器可以从数据库中获取到训练图像样本及对应的目标图像配准质量评估结果。服务器也可以从互联网采集到训练图像样本，并得到目标图像配准质量评估结果。在一个实施例中，服务器也可以采集到训练参考图像和训练配准图像，然后提取训练参考图像和训练配准图像中的关键点，根据训练参考图像和训练配准图像中的关键点计算得到目标参考关键度信息、目标配准关键度信息以及目标图像配准质量评估结果。
步骤204，将训练参考图像和训练配准图像输入初始图像配准质量评估模型中的初始关键度信息提取网络中，得到训练参考关键度信息和训练配准关键度信息。
其中，初始关键度信息提取网络是指神经网络参数初始化的关键度信息提取网络，训练参考关键度信息是指使用初始关键度信息提取网络提取到的训练参考图像对应的关键度信息。训练配准关键度信息是指使用初始关键度信息提取网络提取到的训练配准图像对应的关键度信息。
具体地，服务器预先设置好要训练的初始图像配准质量评估模型，即初始化图像配准质量评估模型中的模型参数。然后将训练参考图像和训练配准图像输入初始图像配准质量评估模型中的初始关键度信息提取网络中，得到初始关键度信息提取网络输出的训练参考关键度信息和训练配准关键度信息。
步骤206，计算训练参考关键度信息与对应的目标参考关键度信息的参考关键度误差信息，并计算训练配准关键度信息与对应的目标配准关键度信息的配准关键度误差信息。
其中，参考关键度误差信息用于表示参考关键度信息之间的误差。配准关键度误差信息用于表示配准关键度信息之间的误差。
具体地，服务器可以使用预先设置好的损失函数计算训练参考关键度信息与对应的目标参考关键度信息的参考关键度误差信息，以及计算训练配准关键度信息与对应的目标配准关键度信息的配准关键度误差信息。其中，损失函数可以是均分误差损失函数、平均绝对值误差、平滑平均绝对误差、对数双曲余弦损失函数以及分位数损失等等。
步骤208，基于参考关键度误差信息和配准关键度误差信息确定目标关键度误差信息，并基于目标关键度误差信息更新初始关键度信息提取网络。
其中，目标关键度误差信息用于表示训练样本图像总体的关键度误差信息。
具体地，服务器计算参考关键度误差信息和配准关键度误差信息的和，得到目标关键度误差信息。然后基于目标关键度误差信息使用梯度下降算法更新初始关键度信息提取网络中的网络参数。
步骤210，将训练参考图像、训练配准图像、训练参考关键度信息和训练配准关键度信息输入初始图像配准质量评估模型中的初始图像配准质量评估网络中，得到初始图像配准质量评估结果。
其中，初始图像配准质量评估结果是指使用初始图像配准质量评估网络得到的图像配准质量评估结果。
具体地，服务器同时将训练参考图像和训练配准图像，以及初始关键度信息提取网络输出的训练参考关键度信息和训练配准关键度信息输入初始图像配准质量评估模型中的初始图像配准质量评估网络中，得到初始图像配准质量评估结果。
步骤212，计算初始图像配准质量评估结果与目标图像配准质量评估结果的评估结果误差信息。
步骤214，基于评估结果误差信息更新初始图像配准质量评估网络，当训练完成时，得到图像配准质量评估模型。
其中，评估结果误差信息用于初始图像配准质量评估模型的输出结果的误差。
具体地，服务器计算初始图像配准质量评估结果与目标图像配准质量评估结果之间的差，得到评估结果误差信息，然后基于评估结果误差信息使用梯度下降算法更新初始图像配准质量评估网络中的网络参数。当未达到训练完成条件时，将更新后的关键度信息提取网络作为初始关键度信息提取网络，并更新后的图像配准质量评估网络作为初始图像配准质量评估网络，然后返回步骤S204继续进行迭代执行。当达到训练完成条件时，将最后一次更新的关键度信息提取网络和图像配准质量评估网络作为训练得到的图像配准质量评估模型。其中，训练完成条件时预先设置好的，包括训练达到最大迭代次数、评估结果误差信息小于预先设置好的阈值和模型参数不再发生变化中的至少一种。
在上述图像配准质量评估模型训练中，通过将训练参考图像和训练配准图像输入初始图像配准质量评估模型中的初始关键度信息提取网络中，得到训练参考关键度信息和训练配准关键度信息；然后计算得到目标关键度误差信息，使用目标关键度误差信息更新初始关键度信息提取网络，同时将训练参考图像、训练配准图像、训练参考关键度信息和训练配准关键度信息输入初始图像配准质量评估模型中的初始图像配准质量评估网络中，得到初始图像配准质量评估结果。然后计算评估结果误差信息，并使用评估结果误差信息更新初始图像配准质量评估网络，当训练完成时，得到图像配准质量评估模型，即使用从初始关键度信息提取网络中得到训练参考关键度信息和训练配准关键度信息作为初始图像配准质量评估网络的输入进行训练，提高训练得到的图像配准质量评估网络的准确性，从而提高了训练得到的图像配准质量评估模型的准确性。
在一个实施例中，如图3所示，在步骤202之前，在获取训练图像样本及目标图像配准质量评估结果，训练图像样本包括训练参考图像和对应的目标参考关键度信息以及训练配准图像和对应的目标配准关键度信息，训练配准图像是基于训练参考图像将训练待配准图像进行图像配准后得到的图像之前，还包括：
步骤302，获取预训练图像样本，预训练图像样本包括预训练参考图像和对应的目标预训练参考关键度信息以及预训练配准图像和对应的目标预训练配准关键度信息。
其中，预训练图像样本是指在预先训练关键度信息提取网络时使用的图像样本。预训练参考图像是指在预先训练关键度信息提取网络时使用的参考图像。预训练配准图像是指在预先训练关键度信息提取网络时使用的配准图像。目标预训练参考关键度信息是指在预先训练关键度信息提取网络时使用的目标参考关键度信息。目标预训练配准关键度信息是指在预先训练关键度信息提取网络时使用的目标配准关键度信息。
具体地，服务器可以从互联网采集到预训练图像样本。服务器也可以是直接从数据库中获取到预训练图像样本。服务器也可以从互联网采集到预训练参考图像和预训练配准图像，然后提取预训练参考图像和预训练配准图像中的关键点，根据关键点计算得到目标预训练参考关键度信息和目标预训练配准关键度信息。
步骤304，将预训练参考图像和预训练配准图像输入预训练关键度信息提取网络中，得到预训练参考关键度信息和预训练配准关键度信息。
其中，预训练关键度信息提取网络是指预先需要进行训练的关键度信息提取网络。预训练参考关键度信息是指使用预训练关键度信息提取网络得到的预训练参考图像对应的参考关键度信息。预训练配准关键度信息是指使用预训练关键度信息提取网络得到的预训练配准图像对应的配准考关键度信息。
具体地，服务器获取到需要预训练的关键度信息提取网络，该预训练关键度信息提取网络中的网络参数都是初始化后的。然后同时将预训练参考图像和预训练配准图像输入预训练关键度信息提取网络中进行关键度信息提取，得到预训练参考关键度信息和预训练配准关键度信息。
在一个实施例中，服务器可以将预训练参考图像和预训练配准图像输入到预训练关键点提取网络中进行关键点提取，根据提取到的关键点计算得到预训练参考关键度信息和预训练配准关键度信息。
步骤306，计算预训练参考关键度信息与对应的目标预训练参考关键度信息的预训练参考关键度误差信息，并计算预训练配准关键度信息与对应的目标预训练配准关键度信息的预训练配准关键度误差信息。
步骤308，基于预训练参考关键度误差信息和预训练配准关键度误差信息确定目标预训练关键度误差信息，并基于目标预训练关键度误差信息更新预训练关键度信息提取网络。
其中，预训练参考关键度误差信息是指预训练时参考关键度信息的误差信息。预训练配准关键度误差信息是指预训练时配准关键度信息的误差信息。目标预训练关键度误差信息是指预训练时关键度信息的误差信息。
具体地，服务器使用预先设置好的损失函数计算预训练参考关键度信息与对应的目标预训练参考关键度信息之间的差，得到预训练参考关键度误差信息，同时计算预训练配准关键度信息与对应的目标预训练配准关键度信息的差，得到预训练配准关键度误差信息。然后计算预训练参考关键度误差信息和预训练配准关键度误差信息的和，得到目标预训练关键度误差信息。然后服务器基于目标预训练关键度误差信息使用梯度下降算法更新预训练关键度信息提取网络。
步骤310，当预训练完成时，将预训练完成的关键度信息提取网络作为初始图像配准质量评估模型中的初始关键度信息提取网络。
具体地，当预训练未达到预训练完成条件时，服务器将更新后预训练关键度信息提取网络作为初始的预训练关键度信息提取网络，然后返回步骤304不断进行循环迭代，直到达到预训练完成条件时，将预训练完成的关键度信息提取网络作为初始图像配准质量评估模型中的初始关键度信息提取网络。其中，预训练完成条件时预先设置好的，包括预训练达到最大迭代次数、目标预训练关键度误差信息小于预先设置好的阈值和网络参数不再发生变化中的至少一种。
在上述实施例中，通过将预训练完成的关键度信息提取网络作为初始图像配准质量评估模型中的初始关键度信息提取网络，然后进一步训练得到图像配准质量评估模型，能够使训练得到的图像配准质量评估模型更新的准确。
在一个实施例中，如图4所示，步骤302，获取训练图像样本及目标图像配准质量评估结果，训练图像样本包括训练参考图像和对应的目标参考关键度信息以及训练配准图像和对应的目标配准关键度信息，包括：
步骤402，获取训练参考图像和对应的参考关键点标签以及训练配准图像和对应的配准关键点标签。
其中，参考关键点标签是指根据训练参考图像对应的参考关键点得到的标签，配准关键点标签是指根据训练配准图像对应的配准关键点得到的标签。
具体地，服务器可以从互联网采集到训练参考图像和对应的参考关键点标签以及训练配准图像和对应的配准关键点标签。服务器可以从互联网采集到训练参考图像和训练配准图像，然后使用关键点提取算法提取到训练参考图像对应的参考关键点和训练配准图像对应的配准关键点，从而得到参考关键点标签和配准关键点标签。
步骤404，计算参考关键点标签对应的高斯分布信息，并基于参考关键点标签对应的高斯分布信息和训练参考图像中像素点的位置确定训练参考图像对应的目标参考关键度信息。
具体地，服务器使用参考关键点标签的位置坐标计算高斯分布信息，然后服务器使用参考关键点标签对应的高斯分布信息和训练参考图像中各个像素点的位置坐标计算得到训练参考图像中各个像素点对应的高斯分布的值。然后将训练参考图像中各个像素点对应的高斯分布的值作为目标参考关键度信息。
步骤406，计算配准关键点标签对应的高斯分布信息，并基于配准关键点标签对应的高斯分布信息和训练配准图像中像素点的位置确定训练配准图像对应的目标配准关键度信息。
具体地，服务器使用配准关键点标签的位置坐标计算高斯分布信息，然后服务器使用配准关键点标签对应的高斯分布信息和训练配准图像中各个像素点的位置坐标计算得到训练配准图像中各个像素点对应的高斯分布的值。然后将训练配准图像中各个像素点对应的高斯分布的值作为目标配准关键度信息。
步骤408，并计算参考关键点标签与配准关键点标签的关键点标签距离，将关键点标签距离作为目标图像配准质量评估结果。
其中，关键点标签距离用于表示关键点之间的距离，距离越近，说明关键点越近，说明图像配准质量越好。
具体地，服务器使用距离算法计算参考关键点标签与对应的配准关键点标签的关键点标签距离，将关键点标签距离作为目标图像配准质量评估结果，其中，距离算法可以包括欧式距离算法、L2(二阶范数)距离算法、L1(一阶范数)距离算法、余弦距离算法中的至少一种。在一个具体的实施例中，可以使用如下所示的公式(1)计算关键点标签距离。
Figure BDA0002788956390000161
其中，S表示目标图像配准质量评估结果。K表示参考关键点标签和配准关键点标签组成的标签对的数量。
Figure BDA0002788956390000162
表示参考图像中第K个参考关键点标签。
Figure BDA0002788956390000163
表示配准图像中第K个配准关键点标签。
Figure BDA0002788956390000164
表示L2距离。即通过使用公式(1)计算每个参考关键点标签和配准关键点标签组成的标签对的L2距离值，然后通过计算L2距离值总和与标签对的数量的比值，得到关键点标签距离，然后将该距离作为目标图像配准质量评估结果。
在上述实施例中，通过计算目标参考关键度信息、目标配准关键度信息以及计算参考关键点标签与配准关键点标签的关键点标签距离，得到目标图像配准质量评估结果，从而使训练时使用的数据更加的准确，并且在后续训练图像配准质量评估模型时，可以直接使用，提高了训练效率。
在一个实施例中，参考关键点标签包括至少二个；如图5所示，步骤404，即计算参考关键点标签对应的高斯分布信息，并基于参考关键点标签对应的高斯分布信息和训练参考图像中像素点的位置确定训练参考图像对应的目标参考关键度信息，包括：
步骤502，获取各个参考关键点标签对应的位置坐标，将位置坐标作为均值，并根据均值和预设协方差矩阵进行二维高斯分布计算，得到各个参考关键点标签对应的高斯分布信息。
具体地，服务器获取到参考图像的尺寸大小，根据参考图像的尺寸大小确定参考图像中各个参考关键点标签对应的位置坐标。然后将各个参考关键点标签对应的位置坐标作为均值，并和预设协方差矩阵生成各个参考关键点对应的二维高斯分布函数，将生成的二维高斯分布函数作为各个参考关键点标签对应的高斯分布信息。每一个参考关键点都生成一个对应的高斯分布信息。
步骤504，基于各个参考关键点标签对应的高斯分布信息和训练参考图像中像素点的位置坐标计算训练参考图像中像素点对应的各个参考关键度。
具体地，服务器基于各个参考关键点标签对应的高斯分布信息使用训练参考图像中像素点的位置坐标计算训练参考图像中每个像素点对应的各个参考关键度，即服务器可以将训练参考图像中像素点的位置坐标输入到参考关键点标签对应的高斯分布函数中进行计算，得到该参考关键点标签对应的在训练参考图像中每个像素点对应的参考关键度。
步骤506，从像素点对应的各个参考关键度中选取目标参考关键度，得到训练参考图像中像素点对应的目标参考关键度，基于训练参考图像中像素点对应的目标参考关键度得到训练参考图像对应的目标参考关键度信息。
具体地，服务器比较每个像素点对应的各个参考关键度的大小，选取最大的参考关键度作为像素点对应的目标参考关键度，得到训练参考图像对应的目标参考关键度信息。
在一个实施例中，配准关键点标签包括至少二个；如图6所示，步骤406，即计算配准关键点标签对应的高斯分布信息，并基于配准关键点标签对应的高斯分布信息和训练配准图像中像素点的位置坐标确定训练配准图像对应的目标配准关键度信息，包括：
步骤602，获取各个配准关键点标签对应的位置坐标，将位置坐标作为均值，并根据均值和预设协方差矩阵进行二维高斯分布计算，得到各个配准关键点标签对应的高斯分布信息。
具体地，服务器获取到配准图像的尺寸大小，根据配准图像的尺寸大小确定配准图像中各个配准关键点标签对应的位置坐标。然后将各个配准关键点标签对应的位置坐标作为均值，并和预设协方差矩阵生成各个配准关键点对应的二维高斯分布函数，将生成的二维高斯分布函数作为各个配准关键点标签对应的高斯分布信息。每一个配准关键点都生成一个对应的高斯分布信息。
步骤604，基于各个配准关键点标签对应的高斯分布信息和训练配准图像中像素点的位置坐标计算训练配准图像中像素点对应的各个配准关键度。
具体地，服务器基于各个配准关键点标签对应的高斯分布信息使用训练配准图像中像素点的位置坐标计算训练配准图像中每个像素点对应的各个配准关键度，即服务器可以将训练配准图像中像素点的位置坐标输入到配准关键点标签对应的高斯分布函数中进行计算，得到该配准关键点标签对应的在训练配准图像中每个像素点对应的配准关键度。
步骤606，从像素点对应的各个配准关键度中选取目标配准关键度，得到训练配准图像中像素点对应的目标配准关键度，基于训练配准图像中像素点对应的目标配准关键度得到训练配准图像对应的目标配准关键度信息。
具体地，服务器比较每个像素点对应的各个配准关键度的大小，选取最大的配准关键度作为像素点对应的目标配准关键度，得到训练配准图像对应的目标配准关键度信息。服务器根据每个配准关键点标签生成对应的高斯分布函数，根据每个高斯分布函数计算训练配准图像中每个像素点对应的关键度，得到每个高斯分布函数对应的目标配准关键度信息。
在上述实施例中，通过将关键点位置坐标作为均值，并和预设协方差矩阵生成二维高斯分布信息，将根据二维高斯分布信息得到的高斯分布填充到图像尺寸大小的矩阵中，得到该训练配准图像对应的目标配准关键度信息，从而提高了得到目标配准关键度信息的准确性。
在一个实施例中，步骤206，计算训练参考关键度信息与对应的目标参考关键度信息的参考关键度误差信息，包括：
计算训练参考关键度信息中各个像素点对应的训练参考关键度与目标参考关键度信息中各个像素点对应的目标参考关键度之间的误差平方和；计算参考图像的宽度与参考图像的高度的乘积，并计算误差平方和与乘积的比值，得到参考关键度误差信息。
具体地，服务器计算每个像素点对应的训练参考关键度与目标参考关键度之间的误差平方，然后将所有像素点的误差平和进行相加，得到误差平方和，然后根据参考图像的尺寸大小计算参考图像的宽度与参考图像的高度的乘积，最后计算误差平方和与该乘积的比值，得到参考关键度误差信息。
在一个实施例中，当有多个训练图像样本时，计算所有训练图像样本的参考关键度误差信息的总和，然后计算该总和与训练图像样本总数量的比值，得到目标参考关键度误差信息。
在一个具体地实施例中，可以使用如下所示的公式(2)计算目标参考关键度误差信息。
Figure BDA0002788956390000191
其中，L1＝LMSE表示使用MSE均分误差损失函数计算目标配准关键度误差信息。b_s表示一个批次中的训练图像样本数量，w表示训练图像的宽度，h表示训练图像的高度。pb(x,y)表示第b张训练图像在位置(x，y)对应的训练参考度信息，该训练参考度信息是预测得到的。final_mapb(x,y)表示第b张训练图像在位置(x，y)对应的目标参考度信息，该目标参考度信息是标签。该训练图像可以是参考图像，也可以是配置图像。
在一个实施例中，步骤206，计算训练配准关键度信息与对应的目标配准关键度信息的配准关键度误差信息，包括：
计算训练配准关键度信息中各个像素点对应的训练配准关键度与目标配准关键度信息中各个像素点对应的目标配准关键度之间的误差平方和；计算配准图像的宽度与配准图像的高度的乘积，并计算误差平方和与乘积的比值，得到配准关键度误差信息。
具体地，服务器计算每个像素点对应的训练配准关键度与目标配准关键度之间的误差平方，然后将所有像素点的误差平和进行相加，得到误差平方和，然后根据配准图像的尺寸大小计算配准图像的宽度与配准图像的高度的乘积，最后计算误差平方和与该乘积的比值，得到配准关键度误差信息。
在一个实施例中，当具有多个训练图像样本时，计算所有训练图像样本的配准关键度误差信息的总和，然后计算该总和与训练图像样本总数量的比值，得到目标配准关键度误差信息。在一个具体的实施例中，也可以使用公式(2)来计算目标配准关键度误差信息。可以使用目标配准关键度误差信息和目标参考关键度误差信息的总和去更新初始关键度信息提取网络。
在一个实施例中，步骤212，即计算初始图像配准质量评估结果与目标图像配准质量评估结果的评估结果误差信息，包括步骤：
计算初始图像配准质量评估结果与目标图像配准质量评估结果的绝对差值，得到评估结果误差信息。
具体地，服务器计算初始图像配准质量评估结果与目标图像配准质量评估结果的绝对差值，得到评估结果误差信息。当有多个训练图像样本时，计算每个训练图像样本的评估结果误差信息，然后计算每个评估结果误差信息的总和与训练图像样本总数量的比值，得到目标评估结果误差信息，可以使用目标评估结果误差信息更新初始图像配准质量评估结果。比如，可以使用如下所示的公式(3)计算目标评估结果误差信息。
Figure BDA0002788956390000201
其中，L2表示使用L1范数作为损失函数计算得到的目标评估结果误差信息。Sb表示第b张训练图像样本对应的目标图像配准质量评估结果，
Figure BDA0002788956390000202
表示第b张训练图像样本对应的初始图像配准质量评估结果，该训练图像样本可以是参考图像，也可以是配准图像。
在一个具体的实施例中，如图7所示，图像配准质量评估模型训练方法具体包括以下步骤：
步骤702，获取预训练图像样本，预训练图像样本包括预训练参考图像和对应的目标预训练参考关键度信息以及预训练配准图像和对应的目标预训练配准关键度信息。
步骤704，将预训练参考图像和预训练配准图像输入预训练关键度信息提取网络中，得到预训练参考关键度信息和预训练配准关键度信息；
步骤706，基于预训练参考关键度信息与目标预训练参考关键度信息，以及预训练配准关键度信息与目标预训练配准关键度信息计算得到目标预训练关键度误差信息；
步骤708，基于目标预训练关键度误差信息更新预训练关键度信息提取网络，当预训练完成时，将预训练完成的关键度信息提取网络作为初始关键度信息提取网络。
步骤710，获取训练图像样本及目标图像配准质量评估结果，训练图像样本包括训练参考图像和对应的目标参考关键度信息以及训练配准图像和对应的目标配准关键度信息，训练配准图像是基于训练参考图像将训练待配准图像进行图像配准后得到的图像。
步骤712，将训练参考图像和训练配准图像输入初始图像配准质量评估模型中的初始关键度信息提取网络中，得到训练参考关键度信息和训练配准关键度信息；
步骤714，计算训练参考关键度信息与对应的目标参考关键度信息的参考关键度误差信息，并计算训练配准关键度信息与对应的目标配准关键度信息的配准关键度误差信息；
步骤716，基于参考关键度误差信息和配准关键度误差信息确定目标关键度误差信息，并基于目标关键度误差信息更新初始关键度信息提取网络；
步骤718，将训练参考图像、训练配准图像、训练参考关键度信息和训练配准关键度信息输入初始图像配准质量评估模型中的初始图像配准质量评估网络中，得到初始图像配准质量评估结果；
步骤720，计算初始图像配准质量评估结果与目标图像配准质量评估结果的评估结果误差信息；基于评估结果误差信息更新初始图像配准质量评估网络，当训练完成时，得到第一图像配准质量评估模型。
在该具体实施例中，计算机设备可以通过执行如下所示的指令步骤训练得到第一图像配准质量评估模型:
Figure BDA0002788956390000211
Figure BDA0002788956390000221
其中，N为训练图像样本总数量，batch_size为训练过程中每一个批次的训练图像样本数量。Fi为第i个训练批次中的参考图像，Wi为第i个训练批次中的配准图像。f表示关键度信息提取网络。f(·)表示关键度信息提取网络输出的关键度信息，final_map最终的关键度热力图。
Figure BDA0002788956390000222
表示第i个参考图像对应的最终关键度热力图。
Figure BDA0002788956390000223
表示第i个配准图像对应的最终关键度热力图。max_epoch表示训练的最大迭代次数。G表示图像配准质量评估网络，g(·)表示图像配准质量评估网络输出的图像配准质量评估结果。Si表示第i个批次中所有训练图像样本对应的图像配准质量评估结果标签。f(Fi)表示关键度信息提取网络输出的参考图像对应的关键度信息。f(Wi)表示关键度信息提取网络输出的配准图像对应的关键度信息。
然后将训练得到的图像配准质量评估模型进行部署使用。在使用时，图像配准质量评估方法具体包括以下步骤：
获取参考图像和配准图像，配准图像是基于参考图像将待配准图像进行图像配准后得到的图像；将参考图像和配准图像输入第一图像配准质量评估模型中，第一图像配准质量评估模型使用关键度信息提取网络对参考图像和配准图像进行关键度信息提取，得到参考图像对应的参考关键度信息和配准图像对应的配准关键度信息，将参考图像、配准图像、参考关键度信息和配准关键度信息输入到图像配准质量评估网络中，得到参考图像和配准图像对应的图像配准质量评估结果。
在一个实施例中，如图8所示，提供了一种图像配准质量评估方法，以该方法应用于图1中的服务器为例进行说明，可以理解的是，该方法也可以应用到终端中，在本实施例中，该方法包括以下步骤：
步骤802，获取参考图像和配准图像，配准图像是基于参考图像将待配准图像进行图像配准后得到的图像。
其中，参考图像是指在图像配准时待配准图像需要配准的图像，即待配准图像在进行配准时需要依据参考图像进行配准。待配准图像是指需要进行图像配准的图像。配准图像是指将待配准图像进行图像配准后得到的图像。
具体地，服务器可以从数据库中获取到保存的参考图像和配准图像，服务器可以预先使用参考图像将待配准图像进行图像配准后，将得到的配准图像和参考图像保存到服务器数据库中。服务器也可以获取到用户通过终端上传的参考图像和配准图像。服务器也可以直接从互联网中获取到参考图像和配准图像。服务器也可以从第三方服务器中获取到参考图像和配准图像，该第三方服务器可以是进行图像配准的服务器。
步骤804，分别提取参考图像和配准图像对应的关键点，得到参考关键点和配准关键点。
其中，关键点是指在图像中含有丰富的局部信息，可以使用不变形式表示的点或者块。关键点经常出现在图像的拐角、以及纹理变化剧烈的地方。参考关键点是指参考图像中的关键点，配准关键点是指配准图像中的关键点。图像中的关键点可以仅有一个，也可以有多个。
具体地，服务器可以使用关键点提取算法分别提取到参考图像和配准图像对应的关键点，得到参考关键点和配准关键点，其中关键点提取算法可以是SIFT(Scale-invariant feature transform，尺度不变特征变换)算法、SURF(Speeded Up RobustFeatures，加速稳健特征)算法、FAST(Features from Accelerated Segment Test，加速段测试的特征)算法、ORB(Oriented FAST and Rotated BRIEF，ORB采取FAST算法检测特征点,采取BRIEF(Binary Robust Independent Elementary Features，二进制鲁棒独立的基本特征)算法计算特征点描述)算法和深度学习算法等等。
步骤806，计算参考关键点对应的高斯分布信息，并基于参考关键点对应的高斯分布信息和参考图像中像素点的位置确定参考图像对应的参考关键度信息。
其中，高斯分布信息是指关键点的位置坐标作为均值生成的高斯分布，参考关键点对应的高斯分布信息是指将参考关键点的位置坐标作为均值生成的高斯分布。关键度是指图像中像素点的关键程度。参考关键度是指参考图像中像素点的关键程度。参考图像像素点的参考关键度越高，说明该像素点在进行图像配准质量评估时越重要。参考关键点是参考图像中关键程度最高的像素点。参考关键度信息用于表示参考图像中所有像素点的关键程度。
具体地，服务器可以使用参考关键点的位置坐标作为均值，然后根据预先设置好的协方差矩阵生成高斯分布。然后根据高斯分布和参考图像中像素点的位置坐标计算出参考图像中像素点对应的参考关键度，从而得到参考图像对应的参考关键度信息。
在一个实施例中，当参考图像中包括多个参考关键点时，使用每个参考关键点计算得到参考图像对应的各个参考关键度信息，然后根据各个参考关键度信息进行筛选得到参考图像对应的最终参考关键度信息。
步骤808，计算配准关键点对应的高斯分布信息，并基于配准关键点对应的高斯分布信息和配准图像中像素点的位置确定配准图像对应的配准关键度信息。
其中，配准关键点对应的高斯分布信息是指将配准关键点的位置坐标作为均值生成的高斯分布。配准关键度是指配准图像中像素点的关键程度，配准关键度越高，说明该像素点在进行图像配准质量评估时越重要。配准关键点是配准图像中关键程度最高的像素点。配准关键度信息用于表示配准图像中所有像素点的关键程度。
具体地，服务器可以使用配准关键点的位置坐标作为均值，然后根据预先设置好的协方差矩阵生成高斯分布。然后根据高斯分布和配准图像中像素点的位置坐标计算出配准图像中像素点对应的配准关键度，从而得到配准图像对应的配准关键度信息。
在一个实施例中，当配准图像中包括多个配准关键点时，使用每个配准关键点计算得到配准图像对应的各个配准关键度信息，然后根据各个配准关键度信息进行筛选得到配准图像对应的最终配准关键度信息。
步骤808，基于参考图像、配准图像、参考关键度信息和配准关键度信息进行图像配准质量评估，得到参考图像和配准图像对应的图像配准质量评估结果。
其中，图像配准质量评估用于评估参考图像和配准图像的配准质量。图像配准质量评估结果用于表示参考图像和配准图像的配准质量，可以用质量分数表示。
具体地，服务器可以基于深度学习算法使用参考图像、配准图像、参考关键度信息和配准关键度信息进行图像配准质量评估，得到参考图像和配准图像对应的图像配准质量评估结果。其中，深度学习算法可以是卷积神经网络算法、线性回归算法、循环神经网络算法和前馈神经网络算法等等。
上述图像配准质量评估方法，通过提取参考图像和配准图像对应的参考关键点和配准关键点，然后计算参考关键点对应的高斯分布信息确定参考图像对应的参考关键度信息，并计算配准关键点对应的高斯分布信息，确定配准图像对应的配准关键度信息，最后使用参考图像、配准图像、参考关键度信息和配准关键度信息进行图像配准质量评估，得到参考图像和配准图像对应的图像配准质量评估结果。即通过在进行图像配准质量评估时不但使用参考图像和配准图像，而且使用参考关键度信息和配准关键度信息，从而提高了图像配准质量评估结果的准确性。
在一个实施例中，在获取参考图像和配准图像之前，还包括：
获取参考图像和待配准图像，将参考图像和待配准图像输入到图像配准模型中，得到输出的配准图像，图像配准模型是基于深度神经网络算法使用训练样本训练得到的。
其中，图像配准模型用于对图像进行配准。
具体地，服务器获取到大量训练样本，每个训练样本中包括训练参考图像和训练待配准图像以及对应的标签配准图像。在训练图像配准模型时，服务器将训练样本输入模型参数初始化的图像配准模型中，得到输出的训练配准图像，计算训练配准图像和标签配准图像之间的误差，比如，可以计算训练配准图像与标签配准图像之间的相似度来确定误差，该相似度可以是通过计算训练配准图像中关键点和标签配准图像中关键点的距离得到。然后通过计算得到的误差更新初始化的模型参数，然后不断进行循环迭代，直到训练配准图像和标签配准图像之间的误差小于预设误差阈值时，得到训练完成的图像配准模型。其中，深度神经网络算法可以是卷积神经网络算法、
服务器可以将训练完成的图像配准模型进行部署使用。即服务器通过获取到参考图像和待配准图像，可以是用户通过终端上传到服务器的参考图像和待配准图像，也可以是直接从服务器数据库中获取到参考图像和待配准图像。然后将参考图像和待配准图像输入到图像配准模型中，得到输出的配准图像。然后使用得到的配准图像和参考图像进行图像配准质量评估。在一个具体的实施例中，参考图像和待配准图像可以从公开的FIRE(Fundus Image Registration Dataset，视网膜眼底图像数据集)数据集获取，然后使用SyN(symmetric image normalization method，对称图像归一化方法)配准算法进行配准。在一个具体的实施例中，可以使用如下所示的公式(4)对待配准图像和参考图像进行配准。
(F,W)＝R(F,M) 公式(4)
其中，F是指参考图像，W是指配准图像，R表示配准过程，可以是各种配准算法。M是指待配准图像。
在一个实施例中，如图9所示，配准图像质量评估方法还包括：
步骤902，将参考图像和配准图像输入第一图像配准质量评估模型中，第一图像配准质量评估模型使用关键度信息提取网络对参考图像和配准图像进行关键度信息提取，得到参考图像对应的参考关键度信息和配准图像对应的配准关键度信息，将参考图像、配准图像、参考关键度信息和配准关键度信息输入到图像配准质量评估网络中，得到参考图像和配准图像对应的图像配准质量评估结果。
步骤904，第一图像配准质量评估模型是使用目标关键度信息和目标图像配准质量评估结果进行训练得到的，目标关键度信息是基于训练图像关键点标签对应的高斯分布信息和训练图像中像素点的位置确定的，目标图像配准质量评估结果是基于训练参考图像对应的关键点标签和训练配准图像对应的关键点标签之间的距离得到的。
其中，目标关键度信息是指图像配准质量评估模型在训练时使用的关键点信息标签。目标图像配准质量评估结果是指图像配准质量评估模型在训练时使用的图像配准质量评估结果标签。训练图像是指用于训练图像配准质量评估模型的图像，包括训练参考图像和训练配准图像。训练配准图像是使用训练参考图像作为目标图像将训练待配准图像进行配准后得到的图像。训练图像关键点标签是指使用训练图像中的关键点得到的标签。训练参考图像对应的关键点标签是指根据训练参考图像中的关键点得到的训练时使用的标签。训练配准图像对应的关键点标签是指根据训练配准图像中的关键点得到的训练时使用的标签。
具体地，关键度信息提取网络是基于卷积神经网络算法使用参考图像和配准图像作为输入，使用目标关键度信息作为标签进行训练得到的。图像配准质量评估网络是基于残差网络算法使用关键度信息提取网络输出的参考关键度信息和配准关键度信息以及参考图像和配准图像作为输入，使用目标图像配准质量评估结果作为标签进行训练得到的。根据训练好的关键度信息提取网络和图像配准质量评估网络就得到了第一图像配准质量评估模型，将第一图像配准质量评估模型部署到服务器中进行使用。
当服务器接收到参考图像和配准图像的配置质量评估请求时，服务器将参考图像和配准图像输入第一图像配准质量评估模型中，第一图像配准质量评估模型使用关键度信息提取网络对参考图像和配准图像进行关键度信息提取，得到参考图像对应的参考关键度信息和配准图像对应的配准关键度信息，将参考图像、配准图像、参考关键度信息和配准关键度信息输入到图像配准质量评估网络中，得到参考图像和配准图像对应的图像配准质量评估结果，第一图像配准质量评估模型将得到的图像配准质量评估结果输出。服务器可以将第一图像配准质量评估模型输出的图像配准质量评估结果进行保存。
在上述实施例中，通过使用第一图像配准质量评估模型进行图像配准质量评估，提高了得到图像配准质量评估结果的效率和准确性。
在一个实施例中，步骤804，分别提取参考图像和配准图像对应的关键点，得到参考关键点和配准关键点，包括步骤：
使用关键点检测模型对参考图像和配准图像进行关键点检测，得到参考图像对应的参考关键点和配准图像对应的配准关键点，关键点检测模型是基于关键点训练图像和对应的关键点标签使用深度神经网络算法训练得到的。
其中，关键点训练图像是指用于训练关键点检测模型的图像，关键点标签是根据关键点训练图像中关键点得到的训练关键点检测模型时使用的标签。关键点检测模型用于对参考图像和配准图像中的关键点进行检测。
具体地，服务器预先使用关键点训练图像作为模型参数初始化的关键点检测模型的输入，将对应的关键点标签作为模型参数初始化的关键点检测模型的标签进行训练，当训练完成时得到关键点检测模型，将关键点检测模型部署后进行使用。当接收到对参考图像和配准图像进行关键点检测的请求时，将参考图像和配准图像同时输入到关键点检测模型中，得到输出的得到参考图像对应的参考关键点和配准图像对应的配准关键点。
在上述实施例中，使用关键点检测模型检测出参考图像和配准图像中出关键点，提高了关键点的检测准确性和效率。
在一个实施例中，步骤810，即基于参考图像、配准图像、参考关键度信息和配准关键度信息进行图像配准质量评估，得到参考图像和配准图像对应的图像配准质量评估结果，包括步骤：
将参考图像、配准图像、参考关键度信息和配准关键度信息输入到第二图像配准质量评估模型中，得到输出的参考图像和配准图像对应的图像配准质量评估结果，第二图像配准质量评估模型是使用训练参考图像、训练配准图像、目标参考关键度信息和目标配准关键度信息使用深度神经网络算法进行训练得到的。
其中，训练参考图像是指训练时使用的参考图像。训练配准图像是指训练时使用的参考图像对应的配准图像。第二图像配准质量评估模型使用参考图像、配准图像、参考图像对应的参考关键度信息和配准图像对应的配准关键度信息对图像配准质量进行评估。
具体地，服务器预先获取到训练参考图像和训练配准图像对应的关键度信息，然后将训练参考图像和训练配准图像以及训练参考图像和训练配准图像对应的关键度信息作为模型参数初始化的第二图像配准质量评估模型的输入，将目标参考关键度信息和目标配准关键度信息作为标签进行训练，当训练完成时得到第二图像配准质量评估模型，服务器将第二图像配准质量评估模型进行部署并使用。当服务器接收到对参考图像和配准图像的图像配准质量评估请求时，获取到参考图像对应的参考关键度信息和配准图像对应的配准关键度信息，其中，服务器可以预先提取参考图像和配准图像分别对应的关键点，然后根据参考图像和配准图像分别对应的关键点使用步骤806和步骤808计算得到参考关键度信息和配准关键度信息。然后将参考图像、配准图像、参考关键度信息和配准关键度信息输入到第二图像配准质量评估模型中，得到输出的参考图像和配准图像对应的图像配准质量评估结果。
在上述实施例中，服务器直接使用第二图像配准质量评估模型对参考图像和配准图像的图像配准质量进行评估，提高了得到图像配准质量评估结果的效率。
在一个实施例中，如图10所示，步骤806，计算参考关键点对应的高斯分布信息，并基于参考关键点对应的高斯分布信息和参考图像中像素点的位置确定参考图像对应的参考关键度信息，包括：
步骤1002，将参考关键点的位置坐标作为均值，并根据均值和预设协方差矩阵进行二维高斯分布计算，得到参考关键点对应的高斯分布信息。
具体地，预设协方差矩阵是指预先设置好的协方差矩阵，用于生成高斯分布。服务器将参考关键点的位置坐标作为均值，根据均值和预设协方差矩阵生成二维高斯分布函数，得到参考关键点对应的高斯分布信息，比如，当参考关键点的位置坐标为(x1，y1)，预设协方差矩阵为
Figure BDA0002788956390000301
该σ为超参，可以设置为5。根据参考关键点的位置坐标和预设协方差矩阵生成二维高斯分布函数，得到该参考关键点对应的高斯分布信息。
步骤1004，基于参考关键点对应的高斯分布信息和参考图像中像素点的位置坐标计算参考图像中像素点对应的参考关键度。
步骤1006，基于参考图像中像素点对应的参考关键度得到参考图像对应的参考关键度信息。
具体地，服务器获取到参考图像的尺寸大小，根据参考图像的尺寸大小确定参考图像中各个像素点的位置坐标。比如，参考图像的尺寸大小为(w，h)，其中，w表示参考图像的宽度，h表示参考图像的高度，然后根据参考图像的尺寸大小确定参考图像中每个像素点的位置坐标。将参考图像中像素点的位置坐标输入到参考关键点对应的二维高斯分布函数中进行计算，得到各个像素点对应的参考关键度。其中，参考关键度最大的像素点为参考关键点。然后根据各个像素点对应的参考关键度得到参考关键度矩阵，将该参考关键度矩阵作为参考图像对应的参考关键度信息。在一个具体地实施例中，将参考关键点信息进行可视化处理，可以得到参考关键度信息对应的热力图。
在上述实施例中，通过使用参考关键点的位置坐标和预设协方差矩阵计算高斯分布，得到参考图像对应的参考关键度信息，能够得到参考图像中每个像素点的参考关键度，从而使得到的参考关键度信息更加的准确。
在一个实施例中，当参考关键点包括至少二个时，将各个参考关键点的位置坐标作为均值，并根据各个均值和预设协方差矩阵进行二维高斯分布计算，得到各个参考关键点对应的高斯分布信息，基于各个参考关键点对应的高斯分布信息和参考图像中像素点的位置坐标计算各个参考关键点对应的参考图像中像素点的参考关键度，然后比较各个参考关键点对应的参考图像中同一像素点的参考关键度的大小，选取最大的参考关键度作为该像素点的最终的参考关键度，将参考图像中每个像素点对应的各个参考关键度进行比较，确定每个像素点对应的最终的参考关键度，根据每个像素点对应的最终的参考关键度得到参考图像对应的参考关键度信息。在一个具体的实施例中，在得到各个参考关键点对应的参考图像中像素点的参考关键度，将各个参考关键点对应的参考图像中像素点的参考关键度进行可视化处理得到各个参考关键度热力图，比如，当有10个参考关键点时，可以得到10个参考关键度热力图。然后可以使用如下所示的公式(5)计算得到的参考图像对应的最终参考关键度热力图。
final_map(x,y)＝max{map1(x,y),map2(x,y),...,mapK(x,y)} 公式(5)
其中，final_map(x,y)表示最终关键度热力图中在位置(x，y)处的值。map1,map2,...,mapK表示各个关键度热力图，K表示关键度热力图的总数量。mapK(x,y)表示第K个关键度热力图在位置(x，y)处的值。map{·}表示对集合中的所有元素取最大值。
在一个实施例中，如图11所示，步骤808，即计算配准关键点对应的高斯分布信息，并基于配准关键点对应的高斯分布信息和配准图像中像素点的位置确定配准图像对应的配准关键度信息，包括：
步骤1102，将配准关键点的位置坐标作为均值，并根据均值和预设协方差矩阵进行二维高斯分布计算，得到配准关键点对应的高斯分布信息。
具体地，预设协方差矩阵是指预先设置好的协方差矩阵，用于生成高斯分布，与计算参考关键点对应的高斯分布信息使用的协方差矩阵相同。服务器将配准关键点的位置坐标作为均值，根据均值和预设协方差矩阵生成二维高斯分布函数，得到配准关键点对应的高斯分布信息。
步骤1104，基于配准关键点对应的高斯分布信息和配准图像中像素点的位置坐标计算配准图像中像素点对应的配准关键度。
步骤1106，基于配准图像中像素点对应的配准关键度得到配准图像对应的配准关键度信息。
具体地，服务器获取到配准图像的尺寸大小，该配准图像的尺寸大小与参考图像的尺寸大小一致，根据配准图像的尺寸大小确定配准图像中各个像素点的位置坐标。然后将配准图像中像素点的位置坐标输入到配准关键点对应的二维高斯分布函数中进行计算，得到各个像素点对应的配准关键度。其中，配准关键度最大的像素点为配准关键点。然后根据各个像素点对应的配准关键度得到配准关键度矩阵，将该配准关键度矩阵作为配准图像对应的配准关键度信息。在一个具体地实施例中，将配准关键点信息进行可视化处理，可以得到配准关键度信息对应的热力图。
在一个实施例中，当配准关键点包括至少二个时，将各个配准关键点的位置坐标作为均值，并根据各个均值和预设协方差矩阵进行二维高斯分布计算，得到各个配准关键点对应的高斯分布信息，基于各个配准关键点对应的高斯分布信息和配准图像中像素点的位置坐标计算各个配准关键点对应的参考图像中像素点的配准关键度，然后比较各个配准关键点对应的参考图像中同一像素点的各个配准关键度大小，选取最大的配准关键度作为该像素点最终的配准关键度，将配准图像中每个像素点对应的各个配准关键度进行比较，确定每个像素点对应最终的配准关键度，根据每个像素点对应最终的配准关键度得到配准图像对应的配准关键度信息。在一个具体的实施例中，在得到各个配准关键点对应的配准图像中像素点的各个配准关键度，将各个配准关键点对应的配准图像中像素点的配准关键度进行可视化处理得到各个配准关键点对应的各个配准关键度热力图，然后可以使用公式(5)计算得到配准图像对应的最终配准关键度热力图。在一个具体的实施例中，如图12中左侧a所示，为视网膜眼底图像的中各个关键点的示意图。使用该视网膜眼底图像中的各个关键点计算得到视网膜眼底图像对应的关键度热力图可以如图12中右侧b所示，其中，各个关键点的关键度是每个关键点对应的关键度热力图中的最大值，然后热力图关键度从各个关键点的位置处向外逐步衰减，图中是由黑色的关键点向外逐步衰减(衰减过程图中未示出)。
在上述实施例中，通过使用关键点对应的高斯分布信息和图像中像素点的位置坐标计算图像中像素点对应的关键度，从而得到图像对应的关键度信息，提高了得到的关键度信息的准确性。
本申请还提供一种应用场景，该应用场景应用上述的图像配准质量评估模型训练方法和图像配准质量评估方法。具体地，该图像配准质量评估模型训练方法和图像配准质量评估方法在该应用场景的应用如下：
如图13所示，为图像配准质量评估模型训练方法和图像配准质量评估方法的应用框架示意图。具体来说：
在云服务器中训练视网膜眼底图像配准质量评估模型。具体来说：
获取到训练图像样本，该训练图像样本中包括视网膜眼底配准图像和视网膜眼底参考图像，将视网膜眼底配准图像和视网膜眼底参考图像输入到图像配准质量评估模型中的关键度信息提取网络中，得到输出的热力图，然后使用视网膜眼底参考图像计算得到热力图标签，通过使用MSE损失函数计算得到误差信息，然后使用误差信息更新关键度信息提取网络。同时将视网膜眼底配准图像、视网膜眼底参考图像以及关键度信息提取网络输出的热力图输入到图像配准质量评估模型中的图像配置质量评估网络得到输出的图像质量评估分数，然后使用L1范数损失函数计算输出的图像配准质量评估分数与真实图像配准质量分数的误差信息，使用该误差信息更新图像配置质量评估网络，当训练完成时，得到图像配准质量评估模型。
如图14所示，为云服务器中进行图像配准质量评估的过程，具体包括：
云服务器获取到用户通过终端A上传的医学图像配置结果，比如，视网膜眼底配准图像和视网膜眼底参考图像，云服务器将视网膜眼底配准图像和视网膜眼底参考图像输入到图像配准质量评估模型中的关键度信息提取网络中，得到输出的配准热力图和参考热力图，将视网膜眼底配准图像、视网膜眼底参考图像配准热力图和参考热力图输入到图像配置质量评估网络中，得到预测的图像质量评估分数。然后将预测的图像质量评估分数发送到终端B进行展示。
在该实施例中，使用FIRE数据集对图像配准质量评估模型进行测试，然后使用评价指标进行评价，其中，选择Pearson相关系数(PLCC)、均方根误差(RMSE)、均方误差(MSE)、平均绝对误差(MAE)作为评价指标。得到的医学配准图像质量评估模型的评价指标表如下表1所示：
Method PLCC(↑) RMSE(↓) MSE(↓) MAE(↓)
传统算法1 0.9198 0.4749 0.2255 0.3612
传统算法2 0.6940 0.8789 0.7725 0.6790
本申请 0.9222 0.4676 0.2186 0.3521
其中，(↑)表示越高越好，(↓)表示越低越好。其中，明显可以看出，本申请测试的各项评价指标明显优于传统算法，因此，使用本申请对图像配置质量进行评估，能够提升对图像配置质量的评估效果。
应该理解的是，虽然图2-12的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-12中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图15所示，提供了一种图像质量评估模型训练装置1500，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：训练样本获取模块1502、训练信息提取模块1504、关键度误差计算模块1506、提取网络更新模块1508、初始质量评估模块1510、评估误差计算模块1512和模型得到模块1514，其中：
训练样本获取模块1502，用于获取训练图像样本及目标图像配准质量评估结果，训练图像样本包括训练参考图像和对应的目标参考关键度信息以及训练配准图像和对应的目标配准关键度信息，训练配准图像是基于训练参考图像将训练待配准图像进行图像配准后得到的图像；
训练信息提取模块1504，用于将训练参考图像和训练配准图像输入初始图像配准质量评估模型中的初始关键度信息提取网络中，得到训练参考关键度信息和训练配准关键度信息；
关键度误差计算模块1506，用于计算训练参考关键度信息与对应的目标参考关键度信息的参考关键度误差信息，并计算训练配准关键度信息与对应的目标配准关键度信息的配准关键度误差信息；
提取网络更新模块1508，用于基于参考关键度误差信息和配准关键度误差信息确定目标关键度误差信息，并基于目标关键度误差信息更新初始关键度信息提取网络；
初始质量评估模块1510，用于将训练参考图像、训练配准图像、训练参考关键度信息和训练配准关键度信息输入初始图像配准质量评估模型中的初始图像配准质量评估网络中，得到初始图像配准质量评估结果；
评估误差计算模块1512，用于计算初始图像配准质量评估结果与目标图像配准质量评估结果的评估结果误差信息；
模型得到模块1514，用于基于评估结果误差信息更新初始图像配准质量评估网络，当训练完成时，得到图像配准质量评估模型。
在一个实施例中，图像质量评估模型训练装置1500，还包括：
预训练模块，用于获取预训练图像样本，预训练图像样本包括预训练参考图像和对应的目标预训练参考关键度信息以及预训练配准图像和对应的目标预训练配准关键度信息；将预训练参考图像和预训练配准图像输入预训练关键度信息提取网络中，得到预训练参考关键度信息和预训练配准关键度信息；计算预训练参考关键度信息与对应的目标预训练参考关键度信息的预训练参考关键度误差信息，并计算预训练配准关键度信息与对应的目标预训练配准关键度信息的预训练配准关键度误差信息；基于预训练参考关键度误差信息和预训练配准关键度误差信息确定目标预训练关键度误差信息，并基于目标预训练关键度误差信息更新预训练关键度信息提取网络；当预训练完成时，将预训练完成的关键度信息提取网络作为初始图像配准质量评估模型中的初始关键度信息提取网络。
在一个实施例中，训练样本获取模块1502，包括：
标签获取单元，用于获取训练参考图像和对应的参考关键点标签以及训练配准图像和对应的配准关键点标签；
参考信息计算单元，用于计算参考关键点标签对应的高斯分布信息，并基于参考关键点标签对应的高斯分布信息和训练参考图像中像素点的位置确定训练参考图像对应的目标参考关键度信息；
配准信息计算单元，用于计算配准关键点标签对应的高斯分布信息，并基于配准关键点标签对应的高斯分布信息和训练配准图像中像素点的位置确定训练配准图像对应的目标配准关键度信息；
结果计算单元，用于并计算参考关键点标签与配准关键点标签的关键点标签距离，将关键点标签距离作为目标图像配准质量评估结果。
在一个实施例中，参考关键点标签包括至少二个；参考信息计算单元还用于获取各个参考关键点标签对应的位置坐标，将位置坐标作为均值，并根据均值和预设协方差矩阵进行二维高斯分布计算，得到各个参考关键点标签对应的高斯分布信息；基于各个参考关键点标签对应的高斯分布信息和训练参考图像中像素点的位置坐标计算训练参考图像中像素点对应的各个参考关键度；从像素点对应的各个参考关键度中选取目标参考关键度，得到训练参考图像中像素点对应的目标参考关键度，基于训练参考图像中像素点对应的目标参考关键度得到训练参考图像对应的目标参考关键度信息。
在一个实施例中，配准关键点标签包括至少二个；配准信息计算单元还用于：获取各个配准关键点标签对应的位置坐标，将位置坐标作为均值，并根据均值和预设协方差矩阵进行二维高斯分布计算，得到各个配准关键点标签对应的高斯分布信息；基于各个配准关键点标签对应的高斯分布信息和训练配准图像中像素点的位置坐标计算训练配准图像中像素点对应的各个配准关键度；从像素点对应的各个配准关键度中选取目标配准关键度，得到训练配准图像中像素点对应的目标配准关键度，基于训练配准图像中像素点对应的目标配准关键度得到训练配准图像对应的目标配准关键度信息。
在一个实施例中，关键度误差计算模块1506还用于计算训练参考关键度信息中各个像素点对应的训练参考关键度与目标参考关键度信息中各个像素点对应的目标参考关键度之间的误差平方和；计算参考图像的宽度与参考图像的高度的乘积，并计算误差平方和与乘积的比值，得到参考关键度误差信息。
在一个实施例中，评估误差计算模块1512还用于计算初始图像配准质量评估结果与目标图像配准质量评估结果的绝对差值，得到评估结果误差信息。
在一个实施例中，如图16所示，提供了一种图像质量评估装置1600，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：图像获取模块1602、关键点提取模块1604、参考信息确定模块1606、配置信息确定模块1608和质量评估模块1610，其中：
图像获取模块1602，用于获取参考图像和配准图像，配准图像是基于参考图像将待配准图像进行图像配准后得到的图像；
关键点提取模块1604，用于分别提取参考图像和配准图像对应的关键点，得到参考关键点和配准关键点；
参考信息确定模块1606，用于计算参考关键点对应的高斯分布信息，并基于参考关键点对应的高斯分布信息和参考图像中像素点的位置确定参考图像对应的参考关键度信息；
配置信息确定模块1608，用于计算配准关键点对应的高斯分布信息，并基于配准关键点对应的高斯分布信息和配准图像中像素点的位置确定配准图像对应的配准关键度信息；
质量评估模块1610，用于基于参考图像、配准图像、参考关键度信息和配准关键度信息进行图像配准质量评估，得到参考图像和配准图像对应的图像配准质量评估结果。
在一个实施例中，图像质量评估装置1600，还包括：
配准模块，用于获取参考图像和待配准图像，将参考图像和待配准图像输入到图像配准模型中，得到输出的配准图像，图像配准模型是基于深度神经网络算法使用训练样本训练得到的。
在一个实施例中，图像质量评估装置1600，还包括：
模型评估模块，用于将参考图像和配准图像输入第一图像配准质量评估模型中，第一图像配准质量评估模型使用关键度信息提取网络对参考图像和配准图像进行关键度信息提取，得到参考图像对应的参考关键度信息和配准图像对应的配准关键度信息，将参考图像、配准图像、参考关键度信息和配准关键度信息输入到图像配准质量评估网络中，得到参考图像和配准图像对应的图像配准质量评估结果；第一图像配准质量评估模型是使用目标关键度信息和目标图像配准质量评估结果进行训练得到的，目标关键度信息是基于训练图像关键点标签对应的高斯分布信息和训练图像中像素点的位置确定的，目标图像配准质量评估结果是基于训练参考图像对应的关键点标签和训练配准图像对应的关键点标签之间的距离得到的。
在一个实施例中，关键点提取模块1604还用于使用关键点检测模型对参考图像和配准图像进行关键点检测，得到参考图像对应的参考关键点和配准图像对应的配准关键点，关键点检测模型是基于关键点训练图像和对应的关键点标签使用深度神经网络算法训练得到的。
在一个实施例中，质量评估模块1610还用于将参考图像、配准图像、参考关键度信息和配准关键度信息输入到第二图像配准质量评估模型中，得到输出的参考图像和配准图像对应的图像配准质量评估结果，第二图像配准质量评估模型是使用训练参考图像、训练配准图像、目标参考关键度信息和目标配准关键度信息使用深度神经网络算法进行训练得到的。
在一个实施例中，参考信息确定模块1606还用于将参考关键点的位置坐标作为均值，并根据均值和预设协方差矩阵进行二维高斯分布计算，得到参考关键点对应的高斯分布信息；基于参考关键点对应的高斯分布信息和参考图像中像素点的位置坐标计算参考图像中像素点对应的参考关键度；基于参考图像中像素点对应的参考关键度得到参考图像对应的参考关键度信息。
在一个实施例中，参考信息确定模块16s06还用于将配准关键点的位置坐标作为均值，并根据均值和预设协方差矩阵进行二维高斯分布计算，得到配准关键点对应的高斯分布信息；基于配准关键点对应的高斯分布信息和配准图像中像素点的位置坐标计算配准图像中像素点对应的配准关键度；基于配准图像中像素点对应的配准关键度得到配准图像对应的配准关键度信息。
关于图像质量评估装置和图像质量评估模型训练装置的具体限定可以参见上文中对于图像质量评估方法和图像质量评估模型训练方法的限定，在此不再赘述。上述图像质量评估装置和图像质量评估模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图17所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像样本数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像质量评估方法和图像质量评估模型训练方法。
本领域技术人员可以理解，图17中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种图像配准质量评估模型训练方法，其特征在于，所述方法包括：
获取训练图像样本及目标图像配准质量评估结果，所述训练图像样本包括训练参考图像和对应的目标参考关键度信息以及训练配准图像和对应的目标配准关键度信息，所述训练配准图像是基于所述训练参考图像将训练待配准图像进行图像配准后得到的图像；
将所述训练参考图像和所述训练配准图像输入初始图像配准质量评估模型中的初始关键度信息提取网络中，得到训练参考关键度信息和训练配准关键度信息；
计算所述训练参考关键度信息与对应的目标参考关键度信息的参考关键度误差信息，并计算所述训练配准关键度信息与对应的目标配准关键度信息的配准关键度误差信息；
基于所述参考关键度误差信息和所述配准关键度误差信息确定目标关键度误差信息，并基于所述目标关键度误差信息更新所述初始关键度信息提取网络；
将所述训练参考图像、所述训练配准图像、所述训练参考关键度信息和所述训练配准关键度信息输入初始图像配准质量评估模型中的初始图像配准质量评估网络中，得到初始图像配准质量评估结果；
计算所述初始图像配准质量评估结果与所述目标图像配准质量评估结果的评估结果误差信息；
基于所述评估结果误差信息更新所述初始图像配准质量评估网络，当训练完成时，得到图像配准质量评估模型。
2.根据权利要求1所述的方法，其特征在于，在所述获取训练图像样本及目标图像配准质量评估结果，所述训练图像样本包括训练参考图像和对应的目标参考关键度信息以及训练配准图像和对应的目标配准关键度信息，所述训练配准图像是基于所述训练参考图像将训练待配准图像进行图像配准后得到的图像之前，还包括：
获取预训练图像样本，所述预训练图像样本包括预训练参考图像和对应的目标预训练参考关键度信息以及预训练配准图像和对应的目标预训练配准关键度信息；
将所述预训练参考图像和所述预训练配准图像输入预训练关键度信息提取网络中，得到预训练参考关键度信息和预训练配准关键度信息；
计算所述预训练参考关键度信息与对应的目标预训练参考关键度信息的预训练参考关键度误差信息，并计算所述预训练配准关键度信息与对应的目标预训练配准关键度信息的预训练配准关键度误差信息；
基于所述预训练参考关键度误差信息和所述预训练配准关键度误差信息确定目标预训练关键度误差信息，并基于所述目标预训练关键度误差信息更新所述预训练关键度信息提取网络；
当预训练完成时，将预训练完成的关键度信息提取网络作为所述初始图像配准质量评估模型中的初始关键度信息提取网络。
3.根据权利要求1所述的方法，其特征在于，所述获取训练图像样本及目标图像配准质量评估结果，所述训练图像样本包括训练参考图像和对应的目标参考关键度信息以及训练配准图像和对应的目标配准关键度信息，包括：
获取所述训练参考图像和对应的参考关键点标签以及训练配准图像和对应的配准关键点标签；
计算所述参考关键点标签对应的高斯分布信息，并基于所述参考关键点标签对应的高斯分布信息和所述训练参考图像中像素点的位置确定所述训练参考图像对应的所述目标参考关键度信息；
计算所述配准关键点标签对应的高斯分布信息，并基于所述配准关键点标签对应的高斯分布信息和所述训练配准图像中像素点的位置确定所述训练配准图像对应的所述目标配准关键度信息；
并计算所述参考关键点标签与所述配准关键点标签的关键点标签距离，将所述关键点标签距离作为所述目标图像配准质量评估结果。
4.根据权利要求3所述的方法，其特征在于，所述参考关键点标签包括至少二个；
所述计算所述参考关键点标签对应的高斯分布信息，并基于所述参考关键点标签对应的高斯分布信息和所述训练参考图像中像素点的位置确定所述训练参考图像对应的所述目标参考关键度信息，包括：
获取各个参考关键点标签对应的位置坐标，将所述位置坐标作为均值，并根据所述均值和预设协方差矩阵进行二维高斯分布计算，得到所述各个参考关键点标签对应的高斯分布信息；
基于所述各个参考关键点标签对应的高斯分布信息和所述训练参考图像中像素点的位置坐标计算所述训练参考图像中像素点对应的各个参考关键度；
从所述像素点对应的各个参考关键度中选取目标参考关键度，得到所述训练参考图像中像素点对应的目标参考关键度，基于所述训练参考图像中像素点对应的目标参考关键度得到所述训练参考图像对应的所述目标参考关键度信息。
5.根据权利要求3所述的方法，其特征在于，所述配准关键点标签包括至少二个；
所述计算所述配准关键点标签对应的高斯分布信息，并基于所述配准关键点标签对应的高斯分布信息和所述训练配准图像中像素点的位置坐标确定所述训练配准图像对应的所述目标配准关键度信息，包括：
获取各个配准关键点标签对应的位置坐标，将所述位置坐标作为均值，并根据所述均值和预设协方差矩阵进行二维高斯分布计算，得到所述各个配准关键点标签对应的高斯分布信息；
基于所述各个配准关键点标签对应的高斯分布信息和所述训练配准图像中像素点的位置坐标计算所述训练配准图像中像素点对应的各个配准关键度；
从所述像素点对应的各个配准关键度中选取目标配准关键度，得到所述训练配准图像中像素点对应的目标配准关键度，基于所述训练配准图像中像素点对应的目标配准关键度得到所述训练配准图像对应的所述目标配准关键度信息。
6.根据权利要求1所述的方法，其特征在于，所述计算所述训练参考关键度信息与对应的目标参考关键度信息的参考关键度误差信息，包括：
计算所述训练参考关键度信息中各个像素点对应的训练参考关键度与所述目标参考关键度信息中各个像素点对应的目标参考关键度之间的误差平方和；
计算所述参考图像的宽度与参考图像的高度的乘积，并计算所述误差平方和与所述乘积的比值，得到所述参考关键度误差信息。
7.根据权利要求1所述的方法，其特征在于，所述计算所述初始图像配准质量评估结果与所述目标图像配准质量评估结果的评估结果误差信息，包括：
计算所述初始图像配准质量评估结果与所述目标图像配准质量评估结果的绝对差值，得到所述评估结果误差信息。
8.一种图像配准质量评估方法，其特征在于，所述方法包括：
获取参考图像和配准图像，所述配准图像是基于所述参考图像将待配准图像进行图像配准后得到的图像；
分别提取所述参考图像和所述配准图像对应的关键点，得到参考关键点和配准关键点；
计算所述参考关键点对应的高斯分布信息，并基于所述参考关键点对应的高斯分布信息和所述参考图像中像素点的位置确定所述参考图像对应的参考关键度信息；
计算所述配准关键点对应的高斯分布信息，并基于所述配准关键点对应的高斯分布信息和所述配准图像中像素点的位置确定所述配准图像对应的配准关键度信息；
基于所述参考图像、配准图像、所述参考关键度信息和所述配准关键度信息进行图像配准质量评估，得到所述参考图像和所述配准图像对应的图像配准质量评估结果。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
将所述参考图像和所述配准图像输入第一图像配准质量评估模型中，所述第一图像配准质量评估模型使用关键度信息提取网络对所述参考图像和所述配准图像进行关键度信息提取，得到所述参考图像对应的参考关键度信息和所述配准图像对应的配准关键度信息，将所述参考图像、所述配准图像、所述参考关键度信息和所述配准关键度信息输入到图像配准质量评估网络中，得到所述参考图像和所述配准图像对应的图像配准质量评估结果；
所述第一图像配准质量评估模型是使用目标关键度信息和目标图像配准质量评估结果进行训练得到的，所述目标关键度信息是基于训练图像关键点标签对应的高斯分布信息和训练图像中像素点的位置确定的，所述目标图像配准质量评估结果是基于训练参考图像对应的关键点标签和训练配准图像对应的关键点标签之间的距离得到的。
10.根据权利要求8所述的方法，其特征在于，所述分别提取所述参考图像和所述配准图像对应的关键点，得到参考关键点和配准关键点，包括：
使用关键点检测模型对所述参考图像和所述配准图像进行关键点检测，得到所述参考图像对应的参考关键点和所述配准图像对应的配准关键点，所述关键点检测模型是基于关键点训练图像和对应的关键点标签使用深度神经网络算法训练得到的。
11.根据权利要求8所述的方法，其特征在于，所述基于所述参考图像、配准图像、所述参考关键度信息和所述配准关键度信息进行图像配准质量评估，得到所述参考图像和所述配准图像对应的图像配准质量评估结果，包括：
将所述参考图像、配准图像、所述参考关键度信息和所述配准关键度信息输入到第二图像配准质量评估模型中，得到输出的所述参考图像和所述配准图像对应的图像配准质量评估结果，所述第二图像配准质量评估模型是使用训练参考图像、训练配准图像、目标参考关键度信息和目标配准关键度信息使用深度神经网络算法进行训练得到的。
12.一种图像配准质量评估模型训练装置，其特征在于，所述装置包括：
训练样本获取模块，用于获取训练图像样本及目标图像配准质量评估结果，所述训练图像样本包括训练参考图像和对应的目标参考关键度信息以及训练配准图像和对应的目标配准关键度信息，所述训练配准图像是基于所述训练参考图像将训练待配准图像进行图像配准后得到的图像；
训练信息提取模块，用于将所述训练参考图像和所述训练配准图像输入初始图像配准质量评估模型中的初始关键度信息提取网络中，得到训练参考关键度信息和训练配准关键度信息；
关键度误差计算模块，用于计算所述训练参考关键度信息与对应的目标参考关键度信息的参考关键度误差信息，并计算所述训练配准关键度信息与对应的目标配准关键度信息的配准关键度误差信息；
提取网络更新模块，用于基于所述参考关键度误差信息和所述配准关键度误差信息确定目标关键度误差信息，并基于所述目标关键度误差信息更新所述初始关键度信息提取网络；
初始质量评估模块，用于将所述训练参考图像、所述训练配准图像、所述训练参考关键度信息和所述训练配准关键度信息输入初始图像配准质量评估模型中的初始图像配准质量评估网络中，得到初始图像配准质量评估结果；
评估误差计算模块，用于计算所述初始图像配准质量评估结果与所述目标图像配准质量评估结果的评估结果误差信息；
模型得到模块，用于基于所述评估结果误差信息更新所述初始图像配准质量评估网络，当训练完成时，得到图像配准质量评估模型。
13.一种图像配准质量评估装置，其特征在于，所述装置包括：
图像获取模块，用于获取参考图像和配准图像，所述配准图像是基于所述参考图像将待配准图像进行图像配准后得到的图像；
关键点提取模块，用于分别提取所述参考图像和所述配准图像对应的关键点，得到参考关键点和配准关键点；
参考信息确定模块，用于计算所述参考关键点对应的高斯分布信息，并基于所述参考关键点对应的高斯分布信息和所述参考图像中像素点的位置确定所述参考图像对应的参考关键度信息；
配置信息确定模块，用于计算所述配准关键点对应的高斯分布信息，并基于所述配准关键点对应的高斯分布信息和所述配准图像中像素点的位置确定所述配准图像对应的配准关键度信息；
质量评估模块，用于基于所述参考图像、配准图像、所述参考关键度信息和所述配准关键度信息进行图像配准质量评估，得到所述参考图像和所述配准图像对应的图像配准质量评估结果。
14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
15.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
CN202011308476.3A 2020-11-20 2020-11-20 图像配准质量评估模型训练方法、装置和计算机设备 Pending CN114519729A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011308476.3A CN114519729A (zh) 2020-11-20 2020-11-20 图像配准质量评估模型训练方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011308476.3A CN114519729A (zh) 2020-11-20 2020-11-20 图像配准质量评估模型训练方法、装置和计算机设备

Publications (1)

Publication Number Publication Date
CN114519729A true CN114519729A (zh) 2022-05-20

Family

ID=81594133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011308476.3A Pending CN114519729A (zh) 2020-11-20 2020-11-20 图像配准质量评估模型训练方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN114519729A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100691A (zh) * 2022-08-24 2022-09-23 腾讯科技（深圳）有限公司 关键点检测模型的获取、关键点检测方法、装置和设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100691A (zh) * 2022-08-24 2022-09-23 腾讯科技（深圳）有限公司 关键点检测模型的获取、关键点检测方法、装置和设备
CN115100691B (zh) * 2022-08-24 2023-08-08 腾讯科技（深圳）有限公司 关键点检测模型的获取、关键点检测方法、装置和设备

Similar Documents

Publication Publication Date Title
CN111709409B (zh) 人脸活体检测方法、装置、设备及介质
CN111523621B (zh) 图像识别方法、装置、计算机设备和存储介质
CN110909651B (zh) 视频主体人物的识别方法、装置、设备及可读存储介质
CN110334587B (zh) 人脸关键点定位模型的训练方法、装置及关键点定位方法
CN109583489A (zh) 缺陷分类识别方法、装置、计算机设备和存储介质
CN110503076B (zh) 基于人工智能的视频分类方法、装置、设备和介质
CN111795704A (zh) 一种视觉点云地图的构建方法、装置
CN111754396B (zh) 脸部图像处理方法、装置、计算机设备和存储介质
CN110765882B (zh) 一种视频标签确定方法、装置、服务器及存储介质
CN112001932B (zh) 人脸识别方法、装置、计算机设备和存储介质
CN112949740B (zh) 一种基于多级度量的小样本图像分类方法
CN113095333B (zh) 无监督特征点检测方法及装置
CN113570684A (zh) 图像处理方法、装置、计算机设备和存储介质
CN112132099A (zh) 身份识别方法、掌纹关键点检测模型训练方法和装置
CN111476806A (zh) 图像处理方法、装置、计算机设备和存储介质
CN113139462A (zh) 无监督的人脸图像质量评估方法、电子设备和存储介质
CN107862680A (zh) 一种基于相关滤波器的目标跟踪优化方法
CN111507285A (zh) 人脸属性识别方法、装置、计算机设备和存储介质
CN110751171A (zh) 图像数据分类方法、装置、计算机设备和存储介质
CN113298146A (zh) 一种基于特征检测的图像匹配方法、装置、设备及介质
CN111178187A (zh) 一种基于卷积神经网络的人脸识别方法及装置
CN106971176A (zh) 基于稀疏表示的红外人体目标跟踪方法
CN113706550A (zh) 图像场景识别和模型训练方法、装置和计算机设备
CN114519729A (zh) 图像配准质量评估模型训练方法、装置和计算机设备
CN113065593A (zh) 模型训练方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40070928

Country of ref document: HK