CN111210467A - 图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents

图像处理方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111210467A
CN111210467A CN202010071526.4A CN202010071526A CN111210467A CN 111210467 A CN111210467 A CN 111210467A CN 202010071526 A CN202010071526 A CN 202010071526A CN 111210467 A CN111210467 A CN 111210467A
Authority
CN
China
Prior art keywords
image
preset
registered
reference image
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010071526.4A
Other languages
English (en)
Inventor
宋涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202010071526.4A priority Critical patent/CN111210467A/zh
Publication of CN111210467A publication Critical patent/CN111210467A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、电子设备及计算机可读存储介质，其中方法包括：获取待配准图像和用于配准的参考图像；将所述待配准图像和所述参考图像输入预设神经网络模型，所述预设神经网络模型训练中衡量相似度的目标函数包括预设待配准图像和预设参考图像的相关系数损失；基于所述预设神经网络模型将所述待配准图像向所述参考图像配准，获得配准结果，可以提高图像配准的精度和实时性。

Description

图像处理方法、装置、电子设备及计算机可读存储介质
本申请是申请号为201811614468.4、申请日为2018年12月27日、发明创造名称为“图像处理方法、装置、电子设备及计算机可读存储介质”的中国专利申请的分案申请。
技术领域
本发明涉及计算机视觉技术领域，具体涉及图像处理方法、装置、电子设备及计算机可读存储介质。
背景技术
图像配准是将不同的获取时间、不同传感器、不同条件下的同一场景或者同一目标的两幅或者多幅图像进行配准的过程，被广泛应用于医学图像处理过程中。医学图像配准是医学图像处理领域中一项重要技术，对临床诊断和治疗起着越来越重要的作用。
现代医学通常需要将多个模态或者多个时间点获得的医学图像进行综合分析，那么在进行分析之前就需要将几副图像进行配准工作。传统的可形变配准方法是通过不断计算每个像素点的一个对应关系，通过相似性度量函数来计算配准后的图像与参考图像的相似度并且不断的迭代的一个过程，直到达到一个合适的结果，这个过程通常需要几个小时甚至更长的时间来完成，而在实际应用中病人脏器器官配准的需求量较大，并且在很多情况下如手术前对配准的结果要求急迫，可见一般的配准方法较浪费诊断医生的时间，缺乏时效性。
发明内容
本申请实施例提供了图像处理方法、装置、电子设备及计算机可读存储介质，可以提高图像配准的精度和实时性。
本申请实施例第一方面提供一种图像处理方法，包括：
获取待配准图像和用于配准的参考图像；
将所述待配准图像和所述参考图像输入预设神经网络模型，所述预设神经网络模型训练中衡量相似度的目标函数包括预设待配准图像和预设参考图像的相关系数损失；
基于所述预设神经网络模型将所述待配准图像向所述参考图像配准，获得配准结果。
在一种可选的实施方式中，所述获取待配准图像和用于配准的参考图像之前，所述方法还包括：
获取原始待配准图像和原始参考图像，对所述原始待配准图像和所述原始参考图像进行图像归一化处理，获得满足目标参数的待配准图像和参考图像。
在一种可选的实施方式中，所述对所述原始待配准图像和所述原始参考图像进行图像归一化处理，获得满足目标参数的所述待配准图像和所述参考图像包括：
将所述原始待配准图像转换为预设灰度值范围内和预设图像尺寸的待配准图像；
将所述原始参考图像转换为所述预设灰度值范围内和所述预设图像尺寸的参考图像。
在一种可选的实施方式中，所述预设神经网络模型的训练过程包括：
获取所述预设待配准图像和所述预设参考图像，将所述预设待配准图像和所述预设参考图像输入所述预设神经网络模型生成形变场；
基于所述形变场将所述预设待配准图像向所述预设参考图像配准，获得配准后图像；
获得所述配准后图像和所述预设参考图像的相关系数损失；
基于所述相关系数损失对所述预设神经网络模型进行参数更新，获得训练后的预设神经网络模型。
在一种可选的实施方式中，所述获取所述预设待配准图像和所述预设参考图像之后，所述方法还包括：
对所述预设待配准图像和所述预设参考图像进行图像归一化处理，获得满足预设训练参数的预设待配准图像和预设参考图像；
所述将所述预设待配准图像和所述预设参考图像输入所述预设神经网络模型生成形变场包括：
将所述满足预设训练参数的预设待配准图像和预设参考图像输入所述预设神经网络模型生成形变场。
在一种可选的实施方式中，所述方法还包括：
将所述预设待配准图像的尺寸和所述预设参考图像的尺寸转换为预设图像尺寸；
所述对所述预设待配准图像和所述预设参考图像进行图像归一化处理，获得满足预设训练参数的预设待配准图像和预设参考图像包括：
根据目标窗宽对所述转换后的预设待配准图像和预设参考图像进行处理，获得处理后的预设待配准图像和预设参考图像。
在一种可选的实施方式中，所述根据目标窗宽对所述转换后的预设待配准图像和预设参考图像进行处理之前，所述方法还包括：
获取所述预设待配准图像的目标类别标签，根据预设类别标签与预设窗宽的对应关系，确定所述目标类别标签对应的所述目标窗宽。
在一种可选的实施方式中，所述方法还包括：
基于预设优化器对所述预设神经网络模型进行预设学习率和预设阈值次数的参数更新。
本申请实施例第二方面提供一种图像处理装置，包括：获取模块和配准模块，其中：
所述获取模块，用于获取待配准图像和用于配准的参考图像；
所述配准模块，用于将所述待配准图像和所述参考图像输入预设神经网络模型，所述预设神经网络模型训练中衡量相似度的目标函数包括预设待配准图像和预设参考图像的相关系数损失；
所述配准模块，还用于基于所述预设神经网络模型将所述待配准图像向所述参考图像配准，获得配准结果。
在一种可选的实施方式中，所述图像处理装置还包括：
预处理模块，用于获取原始待配准图像和原始参考图像，对所述原始待配准图像和所述原始参考图像进行图像归一化处理，获得满足目标参数的所述待配准图像和所述参考图像。
在一种可选的实施方式中，所述预处理模块具体用于：
将所述原始待配准图像转换为预设灰度值范围内和预设图像尺寸的待配准图像；
将所述原始参考图像转换为所述预设灰度值范围内和所述预设图像尺寸的参考图像。
在一种可选的实施方式中，所述配准模块包括配准单元和更新单元，其中：
所述配准单元用于，获取所述预设待配准图像和所述预设参考图像，将所述预设待配准图像和所述预设参考图像输入所述预设神经网络模型生成形变场；
所述配准单元还用于，基于所述形变场将所述预设待配准图像向所述预设参考图像配准，获得配准后图像；
所述更新单元用于，获得所述配准后图像和所述预设参考图像的相关系数损失；以及用于基于所述相关系数损失对所述预设神经网络模型进行参数更新，获得训练后的预设神经网络模型。
在一种可选的实施方式中，所述预处理模块还用于：
对所述预设待配准图像和所述预设参考图像进行图像归一化处理，获得满足预设训练参数的预设待配准图像和预设参考图像；
所述配准单元具体用于，将所述满足预设训练参数的预设待配准图像和预设参考图像输入所述预设神经网络模型生成形变场。
在一种可选的实施方式中，所述预处理模块具体用于：
将所述预设待配准图像的尺寸和所述预设参考图像的尺寸转换为预设图像尺寸；
根据目标窗宽对所述转换后的预设待配准图像和预设参考图像进行处理，获得处理后的预设待配准图像和预设参考图像。
在一种可选的实施方式中，所述预处理模块还具体用于：
在所述根据预设窗宽对所述转换后的预设待配准图像和预设参考图像进行处理之前，获取所述预设待配准图像的目标类别标签，根据预设类别标签与预设窗宽的对应关系，确定所述目标类别标签对应的所述目标窗宽。
在一种可选的实施方式中，所述更新单元还用于：
基于预设优化器对所述预设神经网络模型进行预设学习率和预设阈值次数的参数更新。
本申请实施例第三方面提供一种电子设备，包括处理器以及存储器，所述存储器用于存储一个或多个程序，所述一个或多个程序被配置成由所述处理器执行，所述程序包括用于执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
本申请实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
本申请实施例通过获取待配准图像和用于配准的参考图像，将上述待配准图像和上述参考图像输入预设神经网络模型，上述预设神经网络模型训练中衡量相似度的目标函数包括预设待配准图像和预设参考图像的相关系数损失，基于上述预设神经网络模型将上述待配准图像向上述参考图像配准，获得配准结果，可以提高图像配准的精度和实时性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本申请实施例公开的一种图像处理方法的流程示意图；
图2是本申请实施例公开的一种预设神经网络模型训练方法的流程示意图；
图3是本申请实施例公开的一种图像处理装置的结构示意图；
图4是本申请实施例公开的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的图像处理装置可以允许多个其他终端设备进行访问。上述图像处理装置可以为电子设备，包括终端设备，具体实现中，上述终端设备包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，所述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。
本申请实施例中的深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示，如每个像素点强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如，人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。
下面对本申请实施例进行详细介绍。
请参阅图1，图1是本申请实施例公开的一种图像处理的流程示意图，如图1所示，该图像处理方法可以由上述图像处理装置执行，包括如下步骤：
101、获取待配准图像和用于配准的参考图像。
图像配准是将不同的获取时间、不同传感器、不同条件下的同一场景或者同一目标的两幅或者多幅图像进行配准的过程，被广泛应用于医学图像处理过程中。医学图像配准是医学图像处理领域中一项重要技术，对临床诊断和治疗起着越来越重要的作用。现代医学通常需要将多个模态或者多个时间点获得的医学图像进行综合分析，那么在进行分析之前就需要将几副图像进行配准工作。
本申请实施例中提到的待配准图像(moving)和用于配准的参考图像(fixed)均可以为通过各种医学图像设备获得的医学图像，尤其可以是可形变的器官的图像，比如肺部CT，其中待配准图像和用于配准的参考图像一般为同一器官在不同时间点或不同条件下采集的图像，经过配准后可以获得配准结果图像(moved)。
由于需要进行配准的医学图像可能具有多样性，在图像中可以体现为图像灰度值、图像尺寸等特征的多样性。可选的，在步骤101之前，可以获取原始待配准图像和原始参考图像，对所述原始待配准图像和所述原始参考图像进行图像归一化处理，获得满足目标参数的待配准图像和参考图像。
上述目标参数可以理解为描述图像特征的参数，即用于使上述原始图像数据呈统一风格的规定参数。例如，上述目标参数可以包括：用于描述图像分辨率、图像灰度、图像大小等特征的参数。
上述原始待配准图像可以为通过各种医学图像设备获得的医学图像，尤其可以是可形变的器官的图像，具有多样性，在图像中可以体现为图像灰度值、图像尺寸等特征的多样性。在进行配准前可以对原始待配准图像和原始参考图像做一些基本的预处理，也可以仅对上述原始待配准图像进行预处理。其中可以包括上述图像归一化处理。图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。
本申请实施例中的图像归一化是指对图像进行一系列标准的处理变换，使之变换为一固定标准形式的过程，该标准图像称作归一化图像。图像归一化可以利用图像的不变矩寻找一组参数使其能够消除其他变换函数对图像变换的影响，将待处理的原始图像转换成相应的唯一标准形式，该标准形式图像对平移、旋转、缩放等仿射变换具有不变特性。因此，通过上述图像归一化处理可以获得统一风格的图像，提高后续处理的稳定性和准确度。
可选的，上述待配准图像和参考图像也可以是通过算法提取出的掩膜(mask)或者特征点。其中掩膜可以理解为一种图像滤镜的模板，图像掩膜可以理解为用选定的图像、图形或物体，对处理的图像(全部或局部)进行遮挡，来控制图像处理的区域或处理过程。数字图像处理中掩模一般为二维矩阵数组，有时也用多值图像，可以用于结构特征提取。
在提取特征或mask后，可以减少图像处理中的干扰，使得配准结果更准确。
具体的，可以将上述原始待配准图像转换为预设灰度值范围内和预设图像尺寸的待配准图像；
将上述原始参考图像转换为上述预设灰度值范围内和上述预设图像尺寸的参考图像。
本申请实施例中的图像处理装置可以存储有上述预设灰度值范围和上述预设图像尺寸。可以通过simple ITK软件做重采样(resample)的操作来保证需要上述待配准图像和上述参考图像的位置和分辨率基本保持一致。ITK是一个开源的跨平台系统，为开发人员提供了一整套用于图像分析的软件工具。
上述预设图像尺寸可以为长宽高：416x 416x 80，可以通过剪切或者填充(补零)的操作来保证上述待配准图像和上述参考图像的图像尺寸一致为416x416x 80。
通过对原始图像数据进行预处理，可以降低其多样性，神经网络模型能够给出更稳定的判断。
对于在不同时间或/和不同条件下获取的两幅医学图像1和2配准，就是寻找一个映射关系P，使图像1上的每一个点在图像2上都有唯一的点与之相对应。并且这两点应对应同一解剖位置。映射关系P表现为一组连续的空间变换。常用的空间几何变换有刚体变换(Rigid body transformation)、仿射变换(Affine transformation)、投影变换(Projective transformation)和非线性变换(Nonlinear transformation)。
其中，刚性变换是指物体内部任意两点间的距离及平行关系保持不变。仿射变换是一种最为简单的非刚性变换，它一种保持平行性，但不保角的、距离发生变化的变换。而在许多重要的临床应用中，就经常需要应用可形变的图像配准方法，比如在研究腹部以及胸部脏器的图像配准时，由于生理运动或者患者移动造成内部器官和组织的位置、尺寸和形态发生改变，就需要可形变变换来补偿图像变形。
在本申请实施例中，上述预处理还可以包括上述刚性变换，即先进行图像的刚性变换，在根据本申请实施例中的方法实现上图像配准。
在图像处理领域，只有物体的位置(平移变换)和朝向(旋转变换)发生改变，而形状不变，得到的变换称为上述刚性变换。
102、将上述待配准图像和上述参考图像输入预设神经网络模型，上述预设神经网络模型训练中衡量相似度的目标函数包括预设待配准图像和预设参考图像的相关系数损失。
本申请实施例中，图像处理装置中可以存储有上述预设神经网络模型，该预设神经网络模型可以预先训练获得。
上述预设神经网络模型可以是基于相关系数损失进行训练获得，具体可以基于预设待配准图像和预设参考图像的相关系数损失作为衡量相似度的目标函数进行训练获得。
本申请实施例中提到的相关系数是最早由统计学家卡尔·皮尔逊设计的统计指标，是研究变量之间线性相关程度的量，一般用字母r表示。由于研究对象的不同，相关系数有多种定义方式，较为常用的是皮尔逊相关系数。
一般相关系数是按积差方法计算，同样以两变量与各自平均值的离差为基础，通过两个离差相乘来反映两变量之间相关程度；着重研究线性的单相关系数。需要说明的是，皮尔逊相关系数并不是唯一的相关系数，但是最常见的相关系数，本申请实施例中的相关系数可以为皮尔逊相关系数。
具体的，在预设神经网络模型中可以通过特征提取配准后图像和预设参考图像的特征图，利用特征图之间的互相关系数，得到上述相关系数损失。
上述相关系数损失的可以基于以下公式获得：
Figure BDA0002377429820000091
其中，F可以表示上述预设参考图像，M(φ)可以表示上述配准后图像。φ可以表示神经网络代表的非线性关系。加上三角符号的
Figure BDA0002377429820000092
分别表示配准后图像的均值和预设参考图像的参数均值。比如
Figure BDA0002377429820000093
表示预设参考图像的参数均值，那么上述减法
Figure BDA0002377429820000094
则可以理解为上述预设参考图像的每个像素值减掉参数均值，以此类推。
上述预设神经网络模型的训练过程可以包括：
获取上述预设待配准图像和上述预设参考图像，将上述预设待配准图像和上述预设参考图像输入上述预设神经网络模型生成形变场；
基于上述形变场将上述预设待配准图像向上述预设参考图像配准，获得配准后图像；
获得上述配准后图像和上述预设参考图像的相关系数损失；
基于上述相关系数损失对上述预设神经网络模型进行参数更新，获得训练后的预设神经网络模型。
具体的，上述形变场生使用的损失函数可以包括L2损失函数，使预设神经网络模型学习到合适的形变场使moved图像和fixed图像更相似。
103、基于上述预设神经网络模型将上述待配准图像向上述参考图像配准，获得配准结果。
图像配准一般是首先对两幅图像进行特征提取得到特征点；再通过进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数；最后由坐标变换参数进行图像配准。
本申请实施例中的预设神经网络模型的卷积层可以为3D卷积，通过上述预设神经网络模型生成形变场(deformable field)，然后通过3D的空间转换层将需要形变的待配准图像进行可形变的变换，获得配准后的上述配准结果，即包括生成的配准结果图像(moved)。
其中，上述预设神经网络模型中，使用L2损失和相关系数作为损失函数，可以在保证上述形变场平滑的同时达到先进的配准精度。
现有的方法是利用有监督深度学习来做配准，基本没有金标准，必须利用的、传统配准方法来获得标记，处理时间较长，且限制了配准精度。并且利用传统方法做配准需要计算每个像素点的变换关系，计算量巨大，消耗时间也很大。
根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题，称之为无监督学习。本申请实施例使用基于无监督深度学习的神经网络来进行图像配准，可用于任何会发生形变的脏器的配准中。本申请实施例可以利用GPU执行上述方法在几秒内得到配准结果，更加高效。
本申请实施例通过获取待配准图像和用于配准的参考图像，将上述待配准图像和上述参考图像输入预设神经网络模型，上述预设神经网络模型训练中衡量相似度的目标函数包括预设待配准图像和预设参考图像的相关系数损失，基于上述预设神经网络模型将上述待配准图像向上述参考图像配准，获得配准结果，可以提高图像配准的精度和实时性。
请参阅图2，图2是本申请实施例公开的另一种图像处理方法的流程示意图，具体为一种预设神经网络的训练方法的流程示意图，图2是在图1的基础上进一步优化得到的。执行本申请实施例步骤的主体可以为一种图像处理装置，可以是与图1所示实施例的方法中相同或者不同的图像处理装置。如图2所示，该图像处理方法包括如下步骤：
201、获取预设待配准图像和预设参考图像，将上述预设待配准图像和上述预设参考图像输入上述预设神经网络模型生成形变场。
其中，与图1所示实施例中类似的，上述预设待配准图像(moving)和上述预设参考图像(fixed)，均可以为通过各种医学图像设备获得的医学图像，尤其可以是可形变的器官的图像，比如肺部CT，其中待配准图像和用于配准的参考图像一般为同一器官在不同时间点或不同条件下采集的图像。“预设”一词是为了区别于图1所示实施例中的待配准图像和参考图像区别，这里的预设待配准图像和预设参考图像主要作为该预设神经网络模型的输入，用于进行该预设神经网络模型的训练。
由于需要进行配准的医学图像可能具有多样性，在图像中可以体现为图像灰度值、图像尺寸等特征的多样性。可选的，上述获取上述预设待配准图像和上述预设参考图像之后，上述方法也可以包括：
对上述预设待配准图像和上述预设参考图像进行图像归一化处理，获得满足预设训练参数的预设待配准图像和预设参考图像；
其中，上述将上述预设待配准图像和上述预设参考图像输入上述预设神经网络模型生成形变场包括：
将上述满足预设训练参数的预设待配准图像和预设参考图像输入上述预设神经网络模型生成形变场。
上述预设训练参数可以包括预设灰度值范围和预设图像尺寸(如416x 416x80)。上述图像归一化处理的过程可以参考图1所示实施例的步骤101中的具体描述。可选的，首先在配准前进行的预处理可以包括刚体变换。具体可以通过simple ITK软件做重采样的操作来保证预设待配准图像和预设参考图像的位置和分辨率基本保持一致。为了后续训练过程的方便操作，可以对图像进行预定大小的裁剪或者填充。假设预先设定的输入图像的图像尺寸长宽高为416x416x 80，就需要通过剪切或者填充(补零)的操作来保证预设待配准图像和预设参考图像的图像尺寸一致为416x 416x 80。
可选的，可以根据目标窗宽对上述转换后的预设待配准图像和预设参考图像进行处理，获得处理后的预设待配准图像和预设参考图像。
因为不同的器官组织在CT上的表现是不一样的，也就是对应的灰度级别可能不同。所谓的窗宽(windowing)就是指用韩森费尔德(发明者)单位(Hounsfield Unit，HU)所得的数据来计算出影像的过程，不同的放射强度(Raiodensity)对应到256种不同程度的灰阶值，这些不同的灰阶值可以依CT值的不同范围来重新定义衰减值，假设CT范围的中心值不变，定义的范围一变窄后，我们称为窄窗位(Narrow Window)，比较细部的小变化就可以分辨出来了，在影像处理的观念上称为对比压缩。
为了肺部CT中的重要信息，可以预先设置目标窗宽，比如通过目标窗宽为[-1200，600]对预设待配准图像和预设参考图像归一化到[0，1]，即对于原图像中大于600的设为1，小于-1200的设为0。
本申请实施例中不同组织在CT上可以设置公认的窗宽、窗位，是为了更好地提取重要的信息。这里的[-1200，600]的具体值-1200，600代表的是窗位，范围大小为1800，即窗宽。上述图像归一化处理是为了方便后续的损失计算不造成梯度爆炸。
本申请实施例提出一种归一化层来保证训练的稳定性和收敛性。可以假设特征图大小为N x C x D x H x W，其中N指的是batch size：每批数据量的大小，C是通道数，D是深度，H和W分别为特征图的高和宽；可选的，上述H、W、D也可以分别为表示特征图的长、宽、高的参数，在不同的应用中可以是其他图像参数来描述特征图。本申请实施例可以通过计算C x D x H x W的最小值和最大值，来对每个图像数据做归一化处理操作。
可选的，上述根据预设窗宽对上述转换后的预设待配准图像和预设参考图像进行处理之前，上述方法还包括：
获取上述预设待配准图像的目标类别标签，根据预设类别标签与预设窗宽的对应关系，确定上述目标类别标签对应的上述目标窗宽。
具体的，图像处理装置可以存储有至少一个预设窗宽和至少一个预设类别标签，以及存储有上述预设类别标签与预设窗宽的对应关系，输入的预设待配准图像可以携带目标类别标签，或者用户可以通过操作图像处理装置选取该预设待配准图像的目标类别标签，图像处理装置可以在上述预设类别标签中查找到上述目标类别标签，根据上述预设类别标签与预设窗宽的对应关系，在上述预设窗宽中确定上述目标类别标签对应的目标窗宽，再根据该目标窗宽对上述转换后的预设待配准图像和预设参考图像进行处理。
通过上述步骤，图像处理装置可以快速灵活地选取不同的预设待配准图像处理使用的窗宽，便于进行后续的配准处理。
202、基于上述形变场将上述预设待配准图像向上述预设参考图像配准，获得配准后图像。
其中，由于L2具有光滑的性质，对于形变场的梯度可以使用L2损失函数。
将预处理过后的预设待配准图像和预设参考图像输入到待训练的神经网络中生成形变场(deformable field)，再基于上述形变场和上述预设待配准图像向上述预设参考图像配准，即利用该形变场和预设参考图像生成形变后的配准结果图像(moved)。
上述配准后图像即为预设待配准图像经过预设神经网络模型向预设参考图像初步配准后的中间图像，这个过程可以理解为多次执行，即可以重复执行步骤202和步骤203以不断训练和优化该预设神经网络模型。
203、获得上述配准后图像和上述预设参考图像的相关系数损失，基于上述相关系数损失对上述预设神经网络模型进行参数更新，获得训练后的预设神经网络模型。
本申请实施例中，通过相关系数损失作为配准后的图像和参考图像的相似度评估标准，即可以重复执行步骤202和步骤203，不断对上述预设神经网络模型的参数进行更新，来指导完成网络的训练。
可选的，可以基于预设优化器对所述预设神经网络模型进行预设学习率和预设阈值次数的参数更新。
上述更新时涉及的预设阈值次数，指的是神经网络训练中的时期(epoch)。一个时期可以理解为所有训练样本的一个正向传递和一个反向传递。
优化器中使用的算法一般有自适应梯度优化算法(Adaptive Gradient，AdaGrad)，它能够对每个不同的参数调整不同的学习率，对频繁变化的参数以更小的步长进行更新，而稀疏的参数以更大的步长进行更新；以及RMSProp算法，结合梯度平方的指数移动平均数来调节学习率的变化，能够在不稳定(Non-Stationary)的目标函数情况下进行很好地收敛。
具体的，上述预设优化器可以采用ADAM的优化器，结合AdaGrad和RMSProp两种优化算法的优点。对梯度的一阶矩估计(First Moment Estimation，即梯度的均值)和二阶矩估计(SecondMoment Estimation，即梯度的未中心化的方差)进行综合考虑，计算出更新步长。
图像处理装置或者上述预设优化器中可以存储上述预设阈值次数和预设学习率来控制更新。比如学习率0.001，预设阈值次数300epoch。以及可以设置学习率的调整规则，以该学习率的调整规则调整参数更新的学习率，比如可以设置分别在40、120和200epoch时学习率减半。
在获得上述训练后的预设神经网络模型之后，图像处理装置可以执行图1所示实施例中的部分或全部方法，即可以基于上述预设神经网络模型将待配准图像向参考图像配准，获得配准结果。
一般而言，大多数技术使用互信息的配准方法，需要估计联合分布密度。而非参数化方法估计互信息(比如使用直方图)，不仅计算量大并且不支持反向传播，无法应用到神经网络中。本申请实施例采用局部窗口的相关系数作为相似度度量损失，训练后的预设神经网络模型的可用于图像配准，尤其是任何会发生形变的脏器的医学图像配准中，可以对于不同时间点的随访图像进行形变配准，配准效率高、结果更加准确。
一般在某些手术中需要在术前或者手术期间进行不同质量和速度的各种扫描，获得医学图像，但通常需要做完各种扫描之后才可以进行医学图像配准，这是不满足手术中的实时需求的，所以一般需要通过额外的时间对手术的结果进行判定，如果配准后发现手术结果不够理想，可能需要进行后续的手术治疗，对于医生和病人来说都会带来时间上的浪费，耽误治疗。而基于本申请实施例的预设神经网络模型进行配准，可以应用于手术中实时的医学图像配准，比如在做肿瘤切除手术中进行实时配准来判断肿瘤是否完全切除，提高了时效性。
本申请实施例通过获取预设待配准图像和预设参考图像，将上述预设待配准图像和上述预设参考图像输入上述预设神经网络模型生成形变场，基于上述形变场将上述预设待配准图像向上述预设参考图像配准，获得配准后图像，获得上述配准后图像和上述预设参考图像的相关系数损失，基于上述相关系数损失对上述预设神经网络模型进行参数更新，获得训练后的预设神经网络模型，可以应用于可形变配准，提高图像配准的精度和实时性。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，图像处理装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本申请实施例可以根据上述方法示例对图像处理装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
请参阅图3，图3是本申请实施例公开的一种图像处理装置的结构示意图。如图3所示，该图像处理装置300包括：获取模块310和配准模块320，其中：
上述获取模块310，用于获取待配准图像和用于配准的参考图像；
上述配准模块320，用于将上述待配准图像和上述参考图像输入预设神经网络模型，上述预设神经网络模型训练中衡量相似度的目标函数包括预设待配准图像和预设参考图像的相关系数损失；
上述配准模块320，还用于基于上述预设神经网络模型将上述待配准图像向上述参考图像配准，获得配准结果。
可选的，上述图像处理装置300还包括：预处理模块330，用于获取原始待配准图像和原始参考图像，对上述原始待配准图像和上述原始参考图像进行图像归一化处理，获得满足目标参数的上述待配准图像和上述参考图像。
可选的，上述预处理模块330具体用于：
将上述原始待配准图像转换为预设灰度值范围内和预设图像尺寸的待配准图像；
将上述原始参考图像转换为上述预设灰度值范围内和上述预设图像尺寸的参考图像。
可选的，上述配准模块320包括配准单元321和更新单元322，其中：
上述配准单元321用于，获取上述预设待配准图像和上述预设参考图像，将上述预设待配准图像和上述预设参考图像输入上述预设神经网络模型生成形变场；
上述配准单元321还用于，基于上述形变场将上述预设待配准图像向上述预设参考图像配准，获得配准后图像；
上述更新单元322用于，获得上述配准后图像和上述预设参考图像的相关系数损失；以及用于基于上述相关系数损失对上述预设神经网络模型进行参数更新，获得训练后的预设神经网络模型。
可选的，上述预处理模块330还用于：
对上述预设待配准图像和上述预设参考图像进行图像归一化处理，获得满足预设训练参数的预设待配准图像和预设参考图像；
上述配准单元321具体用于，将上述满足预设训练参数的预设待配准图像和预设参考图像输入上述预设神经网络模型生成形变场。
可选的，上述预处理模块330具体用于：
将上述预设待配准图像的尺寸和上述预设参考图像的尺寸转换为预设图像尺寸；
根据目标窗宽对上述转换后的预设待配准图像和预设参考图像进行处理，获得处理后的预设待配准图像和预设参考图像。
可选的，上述预处理模块330还具体用于：
在上述根据预设窗宽对上述转换后的预设待配准图像和预设参考图像进行处理之前，获取上述预设待配准图像的目标类别标签，根据预设类别标签与预设窗宽的对应关系，确定上述目标类别标签对应的上述目标窗宽。
可选的，上述更新单元322还用于：
基于预设优化器对上述预设神经网络模型进行预设学习率和预设阈值次数的参数更新。
图3所示的实施例中的图像处理装置300可以执行图1和/或图2所示实施例中的部分或全部方法。
实施图3所示的图像处理装置300，图像处理装置300可以获取待配准图像和用于配准的参考图像，将上述待配准图像和上述参考图像输入预设神经网络模型，上述预设神经网络模型训练中衡量相似度的目标函数包括预设待配准图像和预设参考图像的相关系数损失，基于上述预设神经网络模型将上述待配准图像向上述参考图像配准，获得配准结果，可以提高图像配准的精度和实时性。
请参阅图4，图4是本申请实施例公开的一种电子设备的结构示意图。如图4所示，该电子设备400包括处理器401和存储器402，其中，电子设备400还可以包括总线403，处理器401和存储器402可以通过总线403相互连接，总线403可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，简称EISA)总线等。总线403可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。其中，电子设备400还可以包括输入输出设备404，输入输出设备404可以包括显示屏，例如液晶显示屏。存储器402用于存储包含指令的一个或多个程序；处理器401用于调用存储在存储器402中的指令执行上述图1和图2实施例中提到的部分或全部方法步骤。上述处理器401可以对应实现图3中的电子设备300中的各模块的功能。
实施图4所示的电子设备400，电子设备400可以获取待配准图像和用于配准的参考图像，将上述待配准图像和上述参考图像输入预设神经网络模型，上述预设神经网络模型训练中衡量相似度的目标函数包括预设待配准图像和预设参考图像的相关系数损失，基于上述预设神经网络模型将上述待配准图像向上述参考图像配准，获得配准结果，可以提高图像配准的精度和实时性。
本申请实施例还提供一种计算机可读存储介质，其中，该计算机可读存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种图像处理方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述模块(或单元)的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (18)

1.一种图像处理方法，其特征在于，所述方法包括：
获取待配准图像和用于配准的参考图像；
将所述待配准图像和所述参考图像输入预设神经网络模型，所述预设神经网络模型训练中衡量相似度的目标函数包括预设待配准图像和预设参考图像的相关系数损失；
基于所述预设神经网络模型将所述待配准图像向所述参考图像配准，获得配准结果。
2.根据权利要求1所述的图像处理方法，其特征在于，所述获取待配准图像和用于配准的参考图像之前，所述方法还包括：
获取原始待配准图像和原始参考图像，对所述原始待配准图像和所述原始参考图像进行图像归一化处理，获得满足目标参数的所述待配准图像和所述参考图像。
3.根据权利要求2所述的图像处理方法，其特征在于，所述对所述原始待配准图像和所述原始参考图像进行图像归一化处理，获得满足目标参数的所述待配准图像和所述参考图像包括：
将所述原始待配准图像转换为预设灰度值范围内和预设图像尺寸的待配准图像；
将所述原始参考图像转换为所述预设灰度值范围内和所述预设图像尺寸的参考图像。
4.根据权利要求1-3任一项所述的图像处理方法，其特征在于，所述预设神经网络模型的训练过程包括：
获取所述预设待配准图像和所述预设参考图像，将所述预设待配准图像和所述预设参考图像输入所述预设神经网络模型生成形变场；
基于所述形变场将所述预设待配准图像向所述预设参考图像配准，获得配准后图像；
获得所述配准后图像和所述预设参考图像的相关系数损失；
基于所述相关系数损失对所述预设神经网络模型进行参数更新，获得训练后的预设神经网络模型。
5.根据权利要求4所述的图像处理方法，其特征在于，所述获取所述预设待配准图像和所述预设参考图像之后，所述方法还包括：
对所述预设待配准图像和所述预设参考图像进行图像归一化处理，获得满足预设训练参数的预设待配准图像和预设参考图像；
所述将所述预设待配准图像和所述预设参考图像输入所述预设神经网络模型生成形变场包括：
将所述满足预设训练参数的预设待配准图像和预设参考图像输入所述预设神经网络模型生成形变场。
6.根据权利要求5所述的图像处理方法，其特征在于，所述方法还包括：
将所述预设待配准图像的尺寸和所述预设参考图像的尺寸转换为预设图像尺寸；
所述对所述预设待配准图像和所述预设参考图像进行图像归一化处理，获得满足预设训练参数的预设待配准图像和预设参考图像包括：
根据目标窗宽对所述转换后的预设待配准图像和预设参考图像进行处理，获得处理后的预设待配准图像和预设参考图像。
7.根据权利要求6所述的图像处理方法，其特征在于，所述根据目标窗宽对所述转换后的预设待配准图像和预设参考图像进行处理之前，所述方法还包括：
获取所述预设待配准图像的目标类别标签，根据预设类别标签与预设窗宽的对应关系，确定所述目标类别标签对应的所述目标窗宽。
8.根据权利要求5-7任一项所述的图像处理方法，其特征在于，所述方法还包括：
基于预设优化器对所述预设神经网络模型进行预设学习率和预设阈值次数的参数更新。
9.一种图像处理装置，其特征在于，包括：获取模块和配准模块，其中：
所述获取模块，用于获取待配准图像和用于配准的参考图像；
所述配准模块，用于将所述待配准图像和所述参考图像输入预设神经网络模型，所述预设神经网络模型训练中衡量相似度的目标函数包括预设待配准图像和预设参考图像的相关系数损失；
所述配准模块，还用于基于所述预设神经网络模型将所述待配准图像向所述参考图像配准，获得配准结果。
10.根据权利要求9所述的图像处理装置，其特征在于，还包括：预处理模块，用于获取原始待配准图像和原始参考图像，对所述原始待配准图像和所述原始参考图像进行图像归一化处理，获得满足目标参数的所述待配准图像和所述参考图像。
11.根据权利要求10所述的图像处理装置，其特征在于，所述预处理模块具体用于：
将所述原始待配准图像转换为预设灰度值范围内和预设图像尺寸的待配准图像；
将所述原始参考图像转换为所述预设灰度值范围内和所述预设图像尺寸的参考图像。
12.根据权利要求9-11任一项所述的图像处理装置，其特征在于，所述配准模块包括配准单元和更新单元，其中：
所述配准单元用于，获取所述预设待配准图像和所述预设参考图像，将所述预设待配准图像和所述预设参考图像输入所述预设神经网络模型生成形变场；
所述配准单元还用于，基于所述形变场将所述预设待配准图像向所述预设参考图像配准，获得配准后图像；
所述更新单元用于，获得所述配准后图像和所述预设参考图像的相关系数损失；以及用于基于所述相关系数损失对所述预设神经网络模型进行参数更新，获得训练后的预设神经网络模型。
13.根据权利要求12所述的图像处理装置，其特征在于，所述预处理模块还用于：
对所述预设待配准图像和所述预设参考图像进行图像归一化处理，获得满足预设训练参数的预设待配准图像和预设参考图像；
所述配准单元具体用于，将所述满足预设训练参数的预设待配准图像和预设参考图像输入所述预设神经网络模型生成形变场。
14.根据权利要求13所述的图像处理装置，其特征在于，所述预处理模块具体用于：
将所述预设待配准图像的尺寸和所述预设参考图像的尺寸转换为预设图像尺寸；
根据目标窗宽对所述转换后的预设待配准图像和预设参考图像进行处理，获得处理后的预设待配准图像和预设参考图像。
15.根据权利要求14所述的图像处理装置，其特征在于，所述预处理模块还具体用于：
在所述根据预设窗宽对所述转换后的预设待配准图像和预设参考图像进行处理之前，获取所述预设待配准图像的目标类别标签，根据预设类别标签与预设窗宽的对应关系，确定所述目标类别标签对应的所述目标窗宽。
16.根据权利要求13-15任一项所述的图像处理装置，其特征在于，所述更新单元还用于：
基于预设优化器对所述预设神经网络模型进行预设学习率和预设阈值次数的参数更新。
17.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器用于存储一个或多个程序，所述一个或多个程序被配置成由所述处理器执行，所述程序包括用于执行如权利要求1-8任一项所述的方法。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-8任一项所述的方法。
CN202010071526.4A 2018-12-27 2018-12-27 图像处理方法、装置、电子设备及计算机可读存储介质 Pending CN111210467A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010071526.4A CN111210467A (zh) 2018-12-27 2018-12-27 图像处理方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811614468.4A CN109754414A (zh) 2018-12-27 2018-12-27 图像处理方法、装置、电子设备及计算机可读存储介质
CN202010071526.4A CN111210467A (zh) 2018-12-27 2018-12-27 图像处理方法、装置、电子设备及计算机可读存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201811614468.4A Division CN109754414A (zh) 2018-12-27 2018-12-27 图像处理方法、装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111210467A true CN111210467A (zh) 2020-05-29

Family

ID=66404078

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010071526.4A Pending CN111210467A (zh) 2018-12-27 2018-12-27 图像处理方法、装置、电子设备及计算机可读存储介质
CN201811614468.4A Pending CN109754414A (zh) 2018-12-27 2018-12-27 图像处理方法、装置、电子设备及计算机可读存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201811614468.4A Pending CN109754414A (zh) 2018-12-27 2018-12-27 图像处理方法、装置、电子设备及计算机可读存储介质

Country Status (7)

Country Link
US (1) US20210192758A1 (zh)
JP (1) JP2021530061A (zh)
KR (1) KR20210021039A (zh)
CN (2) CN111210467A (zh)
SG (1) SG11202102267XA (zh)
TW (1) TWI754195B (zh)
WO (1) WO2020134769A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951311A (zh) * 2020-07-27 2020-11-17 上海联影智能医疗科技有限公司 图像配准方法、计算机设备和存储介质
CN114205642A (zh) * 2020-08-31 2022-03-18 北京金山云网络技术有限公司 一种视频图像的处理方法和装置
CN114511599A (zh) * 2022-01-20 2022-05-17 推想医疗科技股份有限公司 模型训练方法及其装置、医学图像配准方法及其装置
CN115908515A (zh) * 2022-11-11 2023-04-04 北京百度网讯科技有限公司 影像配准方法、影像配准模型的训练方法及装置

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210467A (zh) * 2018-12-27 2020-05-29 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN110782421B (zh) * 2019-09-19 2023-09-26 平安科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN110766729B (zh) * 2019-10-16 2023-05-16 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111047629B (zh) * 2019-11-04 2022-04-26 中国科学院深圳先进技术研究院 多模态图像配准的方法、装置、电子设备及存储介质
CN111191675B (zh) * 2019-12-03 2023-10-24 深圳市华尊科技股份有限公司 行人属性识别模型实现方法及相关装置
CN110992411B (zh) * 2019-12-04 2023-05-02 图玛深维医疗科技(北京)有限公司 图像配准模型的训练方法和装置
US11348259B2 (en) * 2020-05-23 2022-05-31 Ping An Technology (Shenzhen) Co., Ltd. Device and method for alignment of multi-modal clinical images using joint synthesis, segmentation, and registration
CN112070781B (zh) * 2020-08-13 2024-01-30 沈阳东软智能医疗科技研究院有限公司 颅脑断层扫描图像的处理方法、装置、存储介质及电子设备
CN111932533B (zh) * 2020-09-22 2021-04-27 平安科技（深圳）有限公司 Ct图像椎骨定位方法、装置、设备及介质
EP4222961A1 (en) * 2020-09-30 2023-08-09 Snap Inc. Method, system and computer-readable storage medium for image animation
CN112307934B (zh) * 2020-10-27 2021-11-09 深圳市商汤科技有限公司 图像检测方法及相关模型的训练方法、装置、设备、介质
CN112348819A (zh) * 2020-10-30 2021-02-09 上海商汤智能科技有限公司 模型训练方法、图像处理及配准方法以及相关装置、设备
CN112560778B (zh) * 2020-12-25 2022-05-27 万里云医疗信息科技（北京）有限公司 Dr图像身体部位识别方法、装置、设备及可读存储介质
CN113570499B (zh) * 2021-07-21 2022-07-05 此刻启动(北京)智能科技有限公司 一种自适应图像调色方法、系统、存储介质及电子设备
US12033336B2 (en) * 2021-08-13 2024-07-09 Merative Us L.P. Deformable registration of medical images
CN113538539B (zh) * 2021-08-20 2023-09-22 浙江大学 基于布谷鸟搜索算法的肝脏ct图像配准方法及计算机可读存储介质
JP7566705B2 (ja) 2021-09-08 2024-10-15 株式会社東芝 学習方法、学習プログラム、および学習装置
CN113850852B (zh) * 2021-09-16 2024-10-18 北京航空航天大学 一种基于多尺度上下文的内窥镜图像配准方法及设备
CN114155376A (zh) * 2021-11-05 2022-03-08 苏州微创畅行机器人有限公司 目标特征点提取方法、装置、计算机设备和存储介质
KR102603177B1 (ko) * 2022-06-03 2023-11-17 주식회사 브라이토닉스이미징 영상 공간 정규화와 이를 이용한 정량화 시스템 및 그 방법
CN115393402B (zh) * 2022-08-24 2023-04-18 北京医智影科技有限公司 图像配准网络模型的训练方法、图像配准方法及设备
CN115690178A (zh) * 2022-10-21 2023-02-03 上海精劢医疗科技有限公司 基于深度学习的跨模块非刚体配准方法、系统及介质
US20240144482A1 (en) * 2022-11-01 2024-05-02 Regeneron Pharmaceuticals, Inc. Methods, devices, and systems for spatial transcriptome slide alignment

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160093050A1 (en) * 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Image registration device, image registration method, and ultrasonic diagnosis apparatus having image registration device
CN107578453A (zh) * 2017-10-18 2018-01-12 北京旷视科技有限公司 压缩图像处理方法、装置、电子设备及计算机可读介质
CN108335322A (zh) * 2018-02-01 2018-07-27 深圳市商汤科技有限公司 深度估计方法和装置、电子设备、程序和介质
CN108345903A (zh) * 2018-01-25 2018-07-31 中南大学湘雅二医院 一种基于模态距离约束的多模态融合图像分类方法
CN108629753A (zh) * 2018-05-22 2018-10-09 广州洪森科技有限公司 一种基于循环神经网络的人脸图像恢复方法及装置
CN108960300A (zh) * 2018-06-20 2018-12-07 北京工业大学 一种基于深度神经网络的城市土地利用信息分析方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7967995B2 (en) * 2008-03-31 2011-06-28 Tokyo Electron Limited Multi-layer/multi-input/multi-output (MLMIMO) models and method for using
CN103810699B (zh) * 2013-12-24 2017-01-11 西安电子科技大学 基于无监督深度神经网络的sar图像变化检测方法
CN103714547B (zh) * 2013-12-30 2017-03-22 北京理工大学 一种结合边缘区域和互相关的图像配准方法
US10235606B2 (en) * 2015-07-22 2019-03-19 Siemens Healthcare Gmbh Method and system for convolutional neural network regression based 2D/3D image registration
CN108960014B (zh) * 2017-05-23 2021-05-11 北京旷视科技有限公司 图像处理方法、装置和系统及存储介质
CN108416802B (zh) * 2018-03-05 2020-09-18 华中科技大学 一种基于深度学习的多模医学图像非刚性配准方法及系统
CN108596961B (zh) * 2018-04-17 2021-11-23 浙江工业大学 基于三维卷积神经网络的点云配准方法
CN108776787B (zh) * 2018-06-04 2020-09-29 京东数字科技控股有限公司 图像处理方法及装置、电子设备、存储介质
CN108921100B (zh) * 2018-07-04 2020-12-01 武汉高德智感科技有限公司 一种基于可见光图像与红外图像融合的人脸识别方法及系统
CN111210467A (zh) * 2018-12-27 2020-05-29 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160093050A1 (en) * 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Image registration device, image registration method, and ultrasonic diagnosis apparatus having image registration device
CN107578453A (zh) * 2017-10-18 2018-01-12 北京旷视科技有限公司 压缩图像处理方法、装置、电子设备及计算机可读介质
CN108345903A (zh) * 2018-01-25 2018-07-31 中南大学湘雅二医院 一种基于模态距离约束的多模态融合图像分类方法
CN108335322A (zh) * 2018-02-01 2018-07-27 深圳市商汤科技有限公司 深度估计方法和装置、电子设备、程序和介质
CN108629753A (zh) * 2018-05-22 2018-10-09 广州洪森科技有限公司 一种基于循环神经网络的人脸图像恢复方法及装置
CN108960300A (zh) * 2018-06-20 2018-12-07 北京工业大学 一种基于深度神经网络的城市土地利用信息分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GUHA BALAKRISHNAN 等: "An Unsupervised Learning Model for Deformable Medical Image Registration" *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951311A (zh) * 2020-07-27 2020-11-17 上海联影智能医疗科技有限公司 图像配准方法、计算机设备和存储介质
CN111951311B (zh) * 2020-07-27 2024-05-28 上海联影智能医疗科技有限公司 图像配准方法、计算机设备和存储介质
CN114205642A (zh) * 2020-08-31 2022-03-18 北京金山云网络技术有限公司 一种视频图像的处理方法和装置
CN114205642B (zh) * 2020-08-31 2024-04-26 北京金山云网络技术有限公司 一种视频图像的处理方法和装置
CN114511599A (zh) * 2022-01-20 2022-05-17 推想医疗科技股份有限公司 模型训练方法及其装置、医学图像配准方法及其装置
CN115908515A (zh) * 2022-11-11 2023-04-04 北京百度网讯科技有限公司 影像配准方法、影像配准模型的训练方法及装置
CN115908515B (zh) * 2022-11-11 2024-02-13 北京百度网讯科技有限公司 影像配准方法、影像配准模型的训练方法及装置

Also Published As

Publication number Publication date
TW202025137A (zh) 2020-07-01
KR20210021039A (ko) 2021-02-24
CN109754414A (zh) 2019-05-14
TWI754195B (zh) 2022-02-01
JP2021530061A (ja) 2021-11-04
WO2020134769A1 (zh) 2020-07-02
US20210192758A1 (en) 2021-06-24
SG11202102267XA (en) 2021-04-29

Similar Documents

Publication Publication Date Title
CN111210467A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN111292362A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US10706333B2 (en) Medical image analysis method, medical image analysis system and storage medium
Pishchulin et al. Building statistical shape spaces for 3d human modeling
CN112885453B (zh) 用于标识后续医学图像中的病理变化的方法和系统
CN109767460A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN106462963B (zh) 用于自适应放射治疗中自动勾画轮廓的系统和方法
CN102934128A (zh) 放射摄影图像中的恶性肿块检测和分级
CN110517249A (zh) 超声弹性图像的成像方法、装置、设备及介质
CN113781488A (zh) 舌象图像的分割方法、装置及介质
WO2017086433A1 (ja) 医用画像処理方法及び装置及びシステム及びプログラム
CN115861656A (zh) 用于自动处理医学图像以输出警报的方法、设备和系统
CN115564756A (zh) 医学图像病灶定位显示方法与系统
CN113962957A (zh) 医学图像处理方法、骨骼图像处理方法、装置、设备
Luo et al. Measurement Guidance in Diffusion Models: Insight from Medical Image Synthesis
Sorour et al. A Deep Learning System for Detecting Cardiomegaly Disease Based on CXR Image
CN115880358A (zh) 定位模型的构建方法、影像标志点的定位方法及电子设备
Billot et al. SE (3)-equivariant and noise-invariant 3D rigid motion tracking in brain MRI
CN110570417B (zh) 肺结节分类装置及图像处理设备
Rickmann et al. Vertex Correspondence in Cortical Surface Reconstruction
CN113822904B (zh) 一种图像标注装置、方法及可读存储介质
SANONGSIN et al. A New Deep Learning Model for Diffeomorphic Deformable Image Registration Problems
Eppenhof Supervised deformable image registration using deep neural networks
van der Heijden et al. GENERATION OF LUNG CT IMAGES USING SEMANTIC LAYOUTS
CN118657721A (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40020151

Country of ref document: HK

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200529