CN109741379A - 图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents

图像处理方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN109741379A
CN109741379A CN201811559600.6A CN201811559600A CN109741379A CN 109741379 A CN109741379 A CN 109741379A CN 201811559600 A CN201811559600 A CN 201811559600A CN 109741379 A CN109741379 A CN 109741379A
Authority
CN
China
Prior art keywords
registration
image
network model
mutual information
mentioned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811559600.6A
Other languages
English (en)
Inventor
宋涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202010072311.4A priority Critical patent/CN111292362A/zh
Priority to CN201811559600.6A priority patent/CN109741379A/zh
Publication of CN109741379A publication Critical patent/CN109741379A/zh
Priority to PCT/CN2019/114563 priority patent/WO2020125221A1/zh
Priority to KR1020217008724A priority patent/KR20210048523A/ko
Priority to JP2021521764A priority patent/JP2022505498A/ja
Priority to SG11202102960XA priority patent/SG11202102960XA/en
Priority to TW108146264A priority patent/TW202044198A/zh
Priority to US17/210,021 priority patent/US20210209775A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、电子设备及计算机可读存储介质，其中方法包括：获取待配准图像和用于配准的参考图像；将所述待配准图像和所述参考图像输入预设神经网络模型，所述预设神经网络模型基于预设待配准图像和预设参考图像的互信息损失进行训练获得；基于所述预设神经网络模型将所述待配准图像向所述参考图像配准，获得配准结果，可以提高图像配准的精度和实时性。

Description

图像处理方法、装置、电子设备及计算机可读存储介质
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。
背景技术
图像配准是将不同的获取时间、不同传感器、不同条件下的同一场景或者同一目标的两幅或者多幅图像进行配准的过程，被广泛应用于医学图像处理过程中。医学图像配准是医学图像处理领域中一项重要技术，对临床诊断和治疗起着越来越重要的作用。
现代医学通常需要将多个模态或者多个时间点获得的医学图像进行综合分析，那么在进行分析之前就需要将几副图像进行配准工作。传统的可形变配准方法是通过不断计算每个像素点的一个对应关系，通过相似性度量函数来计算配准后的图像与参考图像的相似度并且不断的迭代的一个过程，直到达到一个合适的结果，这个过程通常需要几个小时甚至更长的时间来完成，而在实际应用中病人脏器器官配准的需求量较大，并且在很多情况下如手术前对配准的结果要求急迫，可见一般的配准方法较浪费诊断医生的时间，缺乏时效性。
发明内容
本申请实施例提供了一种图像处理方法、装置、电子设备及计算机可读存储介质，可以提高图像配准的精度和实时性。
本申请实施例第一方面提供一种图像处理方法，包括：
获取待配准图像和用于配准的参考图像；
将所述待配准图像和所述参考图像输入预设神经网络模型，所述预设神经网络模型基于预设待配准图像和预设参考图像的互信息损失进行训练获得；
基于所述预设神经网络模型将所述待配准图像向所述参考图像配准，获得配准结果。
在一种可选的实施方式中，所述获取待配准图像和用于配准的参考图像之前，所述方法还包括：
获取原始待配准图像和原始参考图像，对所述原始待配准图像和所述原始参考图像进行图像归一化处理，获得满足目标参数的所述待配准图像和所述参考图像。
在一种可选的实施方式中，所述对所述原始待配准图像和所述原始参考图像进行图像归一化处理，获得满足目标参数的所述待配准图像和所述参考图像包括：
将所述原始待配准图像转换为预设灰度值范围内和预设图像尺寸的待配准图像；以及，
将所述原始参考图像转换为所述预设灰度值范围内和所述预设图像尺寸的参考图像。
在一种可选的实施方式中，所述预设神经网络模型包括配准模型和互信息估计网络模型，所述预设神经网络模型的训练过程包括：
获取所述预设待配准图像和所述预设参考图像，将所述预设待配准图像和所述预设参考图像输入所述配准模型生成形变场；
在基于所述形变场和所述预设待配准图像向所述预设参考图像配准的过程中，通过所述互信息估计网络模型对配准后图像和所述预设参考图像的互信息进行估计，获得互信息损失；
基于所述互信息损失对所述配准模型和所述互信息估计网络模型进行参数更新，获得训练后的预设神经网络模型。
在一种可选的实施方式中，所述通过所述互信息估计网络模型对配准后图像和所述预设参考图像的互信息进行估计，获得互信息损失包括：
通过所述互信息估计网络模型，基于配准后图像和所述预设参考图像获得联合概率分布和边缘概率分布；
根据所述联合概率分布参数和所述边缘概率分布参数计算获得所述互信息损失。
在一种可选的实施方式中，所述基于所述互信息损失对所述配准模型和所述互信息估计网络模型进行参数更新，获得训练后的预设神经网络模型包括：
基于所述互信息损失对所述配准模型进行第一阈值次数的参数更新，基于所述互信息损失对所述互信息估计网络模型进行第二阈值次数的参数更新，获得所述训练后的预设神经网络模型。
在一种可选的实施方式中，所述方法还包括：
基于预设优化器对所述预设神经网络模型进行预设学习率和第三阈值次数的参数更新。
在一种可选的实施方式中，所述获取所述预设待配准图像和所述预设参考图像之后，所述方法还包括：
对所述预设待配准图像和所述预设参考图像进行图像归一化处理，获得满足预设训练参数的所述预设待配准图像和所述预设参考图像；
所述将所述预设待配准图像和所述预设参考图像输入所述配准模型生成形变场包括：
将所述满足预设训练参数的所述预设待配准图像和所述预设参考图像输入所述配准模型生成所述形变场。
本申请实施例第二方面提供一种图像处理装置，包括：获取模块和配准模块，其中：
所述获取模块，用于获取待配准图像和用于配准的参考图像；
所述配准模块，用于将所述待配准图像和所述参考图像输入预设神经网络模型，所述预设神经网络模型基于预设待配准图像和预设参考图像的互信息损失进行训练获得；
所述配准模块，还用于基于所述预设神经网络模型将所述待配准图像向所述参考图像配准，获得配准结果。
在一种可选的实施方式中，所述图像处理装置还包括：
预处理模块，用于获取原始待配准图像和原始参考图像，对所述原始待配准图像和所述原始参考图像进行图像归一化处理，获得满足目标参数的所述待配准图像和所述参考图像。
在一种可选的实施方式中，所述预处理模块具体用于：
将所述原始待配准图像转换为预设灰度值范围内和预设图像尺寸的待配准图像；以及，
将所述原始参考图像转换为所述预设灰度值范围内和所述预设图像尺寸的参考图像。
在一种可选的实施方式中，所述预设神经网络模型包括配准模型和互信息估计网络模型，所述配准模块包括配准单元、互信息估计单元和更新单元，其中：
所述配准单元用于，获取所述预设待配准图像和所述预设参考图像，将所述预设待配准图像和所述预设参考图像输入所述配准模型生成形变场；
所述互信息估计单元用于，在所述配准模块基于所述形变场和所述预设待配准图像向所述预设参考图像配准的过程中，通过所述互信息估计网络模型对配准后图像和所述预设参考图像的互信息进行估计，获得互信息损失；
所述更新单元用于，基于所述互信息损失对所述配准模型和所述互信息估计网络模型进行参数更新，获得训练后的预设神经网络模型。
在一种可选的实施方式中，所述互信息估计单元具体用于：
通过所述互信息估计网络模型，基于配准后图像和所述预设参考图像获得联合概率分布和边缘概率分布；
根据所述联合概率分布参数和所述边缘概率分布参数计算获得所述互信息损失。
在一种可选的实施方式中，所述更新单元具体用于：
基于所述互信息损失对所述配准模型进行第一阈值次数的参数更新，基于所述互信息损失对所述互信息估计网络模型进行第二阈值次数的参数更新，获得所述训练后的预设神经网络模型。
在一种可选的实施方式中，所述更新单元还用于，基于预设优化器对所述预设神经网络模型进行预设学习率和第三阈值次数的参数更新。
在一种可选的实施方式中，所述预处理模块还用于：
在获取所述预设待配准图像和所述预设参考图像之后，对所述预设待配准图像和所述预设参考图像进行图像归一化处理，获得满足预设训练参数的所述预设待配准图像和所述预设参考图像；
所述配准模块还用于，将所述满足预设训练参数的所述预设待配准图像和所述预设参考图像输入所述配准模型生成形变场。
本申请实施例第三方面提供一种电子设备，包括处理器以及存储器，所述存储器用于存储一个或多个程序，所述一个或多个程序被配置成由所述处理器执行，所述程序包括用于执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
本申请实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
本申请实施例通过获取待配准图像和用于配准的参考图像，将待配准图像和参考图像输入预设神经网络模型，该预设神经网络模型基于预设神经网络模型基于预设待配准图像和预设参考图像的互信息损失进行训练获得，基于该预设神经网络模型将待配准图像向参考图像配准，获得配准结果，可以提高图像配准的精度和实时性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本申请实施例公开的一种图像处理方法的流程示意图；
图2是本申请实施例公开的一种预设神经网络的训练方法的流程示意图；
图3是本申请实施例公开的一种图像处理装置的结构示意图；
图4是本申请实施例公开的另一种图像处理装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的图像处理装置可以允许多个其他终端设备进行访问。上述图像处理装置可以为电子设备，包括终端设备，具体实现中，上述终端设备包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，所述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。
本申请实施例中的深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示，如每个像素点强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如，人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。
下面对本申请实施例进行详细介绍。
请参阅图1，图1是本申请实施例公开的一种图像处理的流程示意图，如图1所示，该图像处理方法可以由上述图像处理装置执行，包括如下步骤：
101、获取待配准图像和用于配准的参考图像。
图像配准是将不同的获取时间、不同传感器、不同条件下的同一场景或者同一目标的两幅或者多幅图像进行配准的过程，被广泛应用于医学图像处理过程中。医学图像配准是医学图像处理领域中一项重要技术，对临床诊断和治疗起着越来越重要的作用。现代医学通常需要将多个模态或者多个时间点获得的医学图像进行综合分析，所以在进行分析之前就需要将几副图像进行配准工作。
本申请实施例中提到的待配准图像(moving)和用于配准的参考图像(fixed)均可以为通过各种医学图像设备获得的医学图像，尤其针对一些可能会出现形变的器官的图像，比如肺部CT，其中待配准图像和用于配准的参考图像一般为同一器官在不同时间点或不同条件下采集的图像。
由于需要进行配准的医学图像可能具有多样性，在图像中可以体现为图像灰度值、图像尺寸等特征的多样性。可选的，在步骤101之前，可以获取原始待配准图像和原始参考图像，对所述原始待配准图像和所述原始参考图像进行图像归一化处理，获得满足目标参数的上述待配准图像和上述参考图像。
上述目标参数可以理解为描述图像特征的参数，即用于使上述原始图像数据呈统一风格的规定参数。例如，上述目标参数可以包括：用于描述图像分辨率、图像灰度、图像大小等特征的参数。
上述原始待配准图像可以为通过各种医学图像设备获得的医学图像，尤其可以是可形变的器官的图像，具有多样性，在图像中可以体现为图像灰度值、图像尺寸等特征的多样性。在进行配准前可以对原始待配准图像和原始参考图像做一些基本的预处理，也可以仅对上述原始待配准图像进行预处理。其中可以包括上述图像归一化处理。图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。
本申请实施例中的图像归一化是指对图像进行一系列标准的处理变换，使之变换为一固定标准形式的过程，该标准图像称作归一化图像。图像归一化可以利用图像的不变矩寻找一组参数使其能够消除其他变换函数对图像变换的影响，将待处理的原始图像转换成相应的唯一标准形式，该标准形式图像对平移、旋转、缩放等仿射变换具有不变特性。因此，通过上述图像归一化处理可以获得统一风格的图像，提高后续处理的稳定性和准确度。
具体的，可以将上述原始待配准图像转换为预设灰度值范围内和预设图像尺寸的待配准图像；
将上述原始参考图像转换为上述预设灰度值范围内和上述预设图像尺寸的参考图像。
其中，上述转换主要是为了获得风格一致的待配准图像和参考图像，即可以理解为将上述原始待配准图像和原始参考图像转换至相同的灰度值范围内和相同的图像尺寸，也可以仅转换至相同的图像尺寸或者相同的灰度值范围内，可以使后续的图像处理过程更加准确和稳定。
本申请实施例中的图像处理装置可以存储有上述预设灰度值范围和上述预设图像尺寸。可以通过simple ITK软件做重采样(resample)的操作来保证需要上述待配准图像和上述参考图像的位置和分辨率基本保持一致。ITK是一个开源的跨平台系统，为开发人员提供了一整套用于图像分析的软件工具。
上述预设图像尺寸可以为长宽高：416x 416x 80，可以通过剪切或者填充(补零)的操作来保证上述待配准图像和上述参考图像的图像尺寸一致为416x 416x 80。
通过对原始图像数据进行预处理，可以降低其多样性，神经网络模型能够给出更稳定的判断。
对于在不同时间或/和不同条件下获取的两幅医学图像1和2配准，就是寻找一个映射关系P，使图像1上的每一个点在图像2上都有唯一的点与之相对应。并且这两点应对应同一解剖位置。映射关系P表现为一组连续的空间变换。常用的空间几何变换有刚体变换(Rigid body transformation)、仿射变换(Affine transformation)、投影变换(Projective transformation)和非线性变换(Nonlinear transformation)。
其中，刚性变换是指物体内部任意两点间的距离及平行关系保持不变。仿射变换是一种最为简单的非刚性变换，它一种保持平行性，但不保角的、距离发生变化的变换。而在许多重要的临床应用中，就经常需要应用可形变的图像配准方法，比如在研究腹部以及胸部脏器的图像配准时，由于生理运动或者患者移动造成内部器官和组织的位置、尺寸和形态发生改变，就需要可形变变换来补偿图像变形。
在本申请实施例中，上述预处理还可以包括上述刚性变换，即先进行图像的刚性变换，再根据本申请实施例中的方法实现上图像配准。
在图像处理领域，只有物体的位置(平移变换)和朝向(旋转变换)发生改变，而形状不变，得到的变换称为上述刚性变换。
102、将上述待配准图像和上述参考图像输入预设神经网络模型，上述预设神经网络模型基于预设待配准图像和预设参考图像的互信息损失进行训练获得。
本申请实施例中，图像处理装置中可以存储有上述预设神经网络模型，该预设神经网络模型可以预先训练获得。
上述预设神经网络模型可以是基于神经元估计互信息的方式进行训练获得，具体可以基于预设待配准图像和预设参考图像的互信息损失进行训练获得。
上述预设神经网络模型可以包括配准模型和互信息估计网络模型，上述预设神经网络模型的训练过程可以包括：
获取上述预设待配准图像和上述预设参考图像，将上述预设待配准图像和上述预设参考图像输入上述配准模型生成形变场；
在基于上述形变场和上述预设待配准图像向上述预设参考图像配准的过程中，通过上述互信息估计网络模型对上述预设待配准图像和上述预设参考图像的互信息进行估计，获得互信息损失；
基于上述互信息损失对上述配准模型和上述互信息估计网络模型进行参数更新，获得训练后的预设神经网络模型。
具体的，可以基于神经网络梯度下降算法对高维度连续随机变量间的互信息进行估计。比如MINE(mutualinformation neural estimaiton)算法，在维度上和样本大小上是线性可测量的，可使用反向传播算法训练。MINE算法可以最大或者最小化互信息，提升生成模型的对抗训练，突破监督学习分类任务的瓶颈。
103、基于上述预设神经网络模型将上述待配准图像向上述参考图像配准，获得配准结果。
图像配准一般是首先对两幅图像进行特征提取得到特征点；再通过进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数；最后由坐标变换参数进行图像配准。
本申请实施例中的预设神经网络模型的卷积层可以为3D卷积，通过上述预设神经网络模型生成形变场(deformable field)，然后通过3D的空间转换层将需要形变的待配准图像进行可形变的变换，获得配准后的上述配准结果，即包括生成的配准结果图像(moved)。
其中，上述预设神经网络模型中，为了保证可形变场的平滑性采用了L2损失函数函数对形变场的梯度进行约束。通过一个神经网络来估计互信息作为损失函数来评价配准后的图像与参考图像之间的相似度来指导网络的训练。
现有的方法是利用有监督深度学习来做配准，基本没有金标准，必须利用的、传统配准方法来获得标记，处理时间较长，且限制了配准精度。并且利用传统方法做配准需要计算每个像素点的变换关系，计算量巨大，消耗时间也很大。
根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题，称之为无监督学习。本申请实施例使用基于无监督深度学习的神经网络来进行图像配准，可用于任何会发生形变的脏器的配准中。本申请实施例可以利用GPU执行上述方法在几秒内得到配准结果，更加高效。
本申请实施例通过获取待配准图像和用于配准的参考图像，将待配准图像和参考图像输入预设神经网络模型，该预设神经网络模型基于预设待配准图像和预设参考图像的互信息损失进行训练获得，基于该预设神经网络模型将待配准图像向参考图像配准，获得配准结果，可以提高图像配准的精度和实时性。
请参阅图2，图2是本申请实施例公开的另一种图像处理方法的流程示意图，具体为一种预设神经网络的训练方法的流程示意图，图2是在图1的基础上进一步优化得到的。执行本申请实施例步骤的主体可以为一种图像处理装置，可以是与图1所示实施例的方法中相同或者不同的图像处理装置。如图2所示，该图像处理方法包括如下步骤：
201、获取预设待配准图像和预设参考图像，将上述预设待配准图像和上述预设参考图像输入上述配准模型生成形变场。
其中，与图1所示实施例中类似的，上述预设待配准图像(moving)和上述预设参考图像(fixed)，均可以为通过各种医学图像设备获得的医学图像，尤其可以是可形变的器官的图像，比如肺部CT，其中待配准图像和用于配准的参考图像一般为同一器官在不同时间点或不同条件下采集的图像。这里“预设”一词是为了区别于图1所示实施例中的待配准图像和参考图像区别，这里的预设待配准图像和预设参考图像主要作为该预设神经网络模型的输入，用于进行该预设神经网络模型的训练。
由于需要进行配准的医学图像可能具有多样性，在图像中可以体现为图像灰度值、图像尺寸等特征的多样性。可选的，上述获取上述预设待配准图像和上述预设参考图像之后，上述方法也可以包括：
对上述预设待配准图像和上述预设参考图像进行图像归一化处理，获得满足预设训练参数的上述预设待配准图像和上述预设参考图像；
其中，上述将上述预设待配准图像和上述预设参考图像输入上述配准模型生成形变场包括：
将上述满足预设训练参数的上述预设待配准图像和上述预设参考图像输入上述配准模型生成形变场。
上述预设训练参数可以包括预设灰度值范围和预设图像尺寸(如416x 416x 80)。上述图像归一化处理的过程可以参考图1所示实施例的步骤101中的具体描述。可选的，首先在配准前进行的预处理可以包括刚体变换和数据归一化。具体可以通过simple ITK软件做重采样的操作来保证预设待配准图像和预设参考图像的位置和分辨率基本保持一致。为了后续训练过程的方便操作，可以对图像进行预定大小的裁剪或者填充。假设预先设定的输入图像的图像尺寸长宽高为416x 416x 80，就需要通过剪切或者填充(补零)的操作来保证预设待配准图像和预设参考图像的图像尺寸一致为416x 416x 80。为了肺部CT中的重要信息，可以通过窗宽为[-1200，600]对预设待配准图像和预设参考图像归一化到[0，1]，即对于原图像中大于600的设为1，小于-1200的设为0。
因为不同的器官组织在CT上的表现是不一样的，也就是对应的灰度级别可能不同。所谓的窗宽(windowing)就是指用韩森费尔德(发明者)单位(Hounsfield Unit，HU)所得的数据来计算出影像的过程，不同的放射强度(Raiodensity)对应到256种不同程度的灰阶值，这些不同的灰阶值可以依CT值的不同范围来重新定义衰减值，假设CT范围的中心值不变，定义的范围一变窄后，我们称为窄窗位(Narrow Window)，比较细部的小变化就可以分辨出来了，在影像处理的观念上称为对比压缩。
本申请实施例中不同组织在CT上可以设置公认的窗宽、窗位，是为了更好地提取重要的信息。这里的[-1200，600]的具体值-1200，600代表的是窗位，范围大小为1800，即窗宽。上述图像归一化处理是为了方便后续的损失计算不造成梯度爆炸。
其中，可以选用L2损失函数，L2损失函数的特性是比较光滑，这里为了应对形变场的梯度的变化较大而造成突变，产生褶皱和空洞的情况，而梯度是通过临近像素点的差值来表示，即是为了保证相邻像素点不要变化太大，造成较大的形变。
将预处理过后的预设待配准图像和预设参考图像输入到待训练的神经网络中生成形变场(deformable field)，再基于上述形变场和上述预设待配准图像向上述预设参考图像配准，即利用该形变场和预设参考图像生成形变后的配准结果图像(moved)。
202、在基于上述形变场和上述预设待配准图像向上述预设参考图像配准的过程中，通过互信息估计网络模型对配准后图像和上述预设参考图像的互信息进行估计，获得互信息损失。
本申请实施例中的预设神经网络模型可以包括互信息估计网络模型和配准模型。配准后图像即为预设待配准图像本次经过该配准网络向预设参考图像配准后的图像。具体的，可以通过上述互信息估计网络模型，基于上述配准后图像和上述预设参考图像获得联合概率分布和边缘概率分布；再根据上述联合概率分布参数和上述边缘概率分布参数计算获得互信息损失。
具体的，可以基于神经网络梯度下降算法对高维度连续随机变量间的互信息进行估计。比如MINE(mutualinformation neural estimaiton)算法，在维度上和样本大小上是线性可测量的，可使用反向传播算法训练。MINE算法可以最大或者最小化互信息，提升生成模型的对抗训练，突破监督学习分类任务的瓶颈可以基于以下互信息计算公式计算所述互信息损失：
其中，X，Z可以理解为两个输入图像(配准后图像和预设参考图像)，这里X，Z可以理解为解空间，解空间是指齐次线性方程组所有解的集合构成一个向量空间，也就是一个集合，上述计算互信息损失的参数属于上述两个输入图像的解空间；PXZ为联合概率分布，PX与PZ为边缘概率分布；θ为上述互信息估计网络的初始化参数。
其中，训练中互信息越大，表示配准的结果越准确。公式里面的sup为最小上界，训练中不断增大这个最小上界就是最大化互信息。上述T可以理解为上述互信息估计网络模型(包括其参数)，结合这个公式可以估计互信息，所以这里的T也是有参数需要更新的。这个公式和T共同组成互信息损失。
203、基于上述互信息损失对上述配准模型和上述互信息估计网络模型进行参数更新，获得训练后的预设神经网络模型。
本申请实施例中，通过神经元估计互信息作为配准后的图像和参考图像的相似度评估标准，即可以重复执行步骤202和步骤203，不断对上述配准模型和互信息估计网络模型的参数进行更新，来指导完成两个网络的训练。
可选的，可以基于上述互信息损失对上述配准模型进行第一阈值次数的参数更新，基于上述互信息损失对上述互信息估计网络模型进行第二阈值次数的参数更新，获得上述训练后的预设神经网络模型。
图像处理装置中可以存储有上述第一阈值次数和第二阈值次数，其中，上述第一阈值次数和第二阈值次数可以不同，上述第一阈值次数可以大于上述第二阈值次数。
上述更新时涉及的第一阈值次数和第二阈值次数，指的是神经网络训练中的时期(epoch)。一个时期可以理解为所有训练样本的一个正向传递和一个反向传递。
具体的，上述配准模型和互信息估计网络模型可以进行独立的参数更新，举例来讲，第一阈值次数为120，第二阈值次数为50，即可以在前50个epoch互信息估计网络模型和配准模型一起更新，50个epoch之后冻住互信息估计网络模型的网络参数，只更新配准模型，直到配准模型的120个epoch更新完成。
可选的，还可以基于预设优化器对上述预设神经网络模型进行预设学习率和第三阈值次数的参数更新，以获得最后的训练后的预设神经网络模型。
优化器中使用的算法一般有自适应梯度优化算法(Adaptive Gradient，AdaGrad)，它能够对每个不同的参数调整不同的学习率，对频繁变化的参数以更小的步长进行更新，而稀疏的参数以更大的步长进行更新；以及RMSProp算法，结合梯度平方的指数移动平均数来调节学习率的变化，能够在不稳定(Non-Stationary)的目标函数情况下进行很好地收敛。
其中，上述预设优化器可以采用ADAM的优化器，结合AdaGrad和RMSProp两种优化算法的优点。对梯度的一阶矩估计(First Moment Estimation，即梯度的均值)和二阶矩估计(SecondMoment Estimation，即梯度的未中心化的方差)进行综合考虑，计算出更新步长。
上述第三阈值次数与前述第一阈值次数和第二阈值次数一样，指的是epoch。图像处理装置或者上述预设优化器中可以存储上述第三阈值次数和预设学习率来控制更新。比如学习率0.001，第三阈值次数300epoch。以及可以设置学习率的调整规则，以该学习率的调整规则调整参数更新的学习率，比如可以设置分别在40、120和200epoch时学习率减半。
在获得上述训练后的预设神经网络模型之后，图像处理装置可以执行图1所示实施例中的部分或全部方法，即可以基于上述预设神经网络模型将待配准图像向参考图像配准，获得配准结果。
一般而言，大多数技术使用非参数化方法估计互信息(比如使用直方图)，不仅计算量大并且不支持反向传播，无法应用到神经网络中。本申请实施例采用神经元估计互信息来衡量图像的相似性损失，训练后的预设神经网络模型的可用于图像配准，尤其是任何会发生形变的脏器的医学图像配准中，可以对于不同时间点的随访图像进行形变配准，配准效率高、结果更加准确。
一般在某些手术中需要在术前或者手术期间进行不同质量和速度的各种扫描，获得医学图像，但通常需要做完各种扫描之后才可以进行医学图像配准，这是不满足手术中的实时需求的，所以一般需要通过额外的时间对手术的结果进行判定，如果配准后发现手术结果不够理想，可能需要进行后续的手术治疗，对于医生和病人来说都会带来时间上的浪费，耽误治疗。而基于本申请实施例的预设神经网络模型进行配准，可以应用于手术中实时的医学图像配准，比如在做肿瘤切除手术中进行实时配准来判断肿瘤是否完全切除，提高了时效性。
本申请实施例通过获取预设待配准图像和预设参考图像，将上述预设待配准图像和上述预设参考图像输入上述配准模型生成形变场，在基于上述形变场和上述预设待配准图像向上述预设参考图像配准的过程中，通过互信息估计网络模型对配准后图像和上述预设参考图像的互信息进行估计，获得互信息损失,基于上述互信息损失对上述配准模型和上述互信息估计网络模型进行参数更新，获得训练后的预设神经网络模型，可以应用于可形变配准，提高图像配准的精度和实时性。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，图像处理装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本申请实施例可以根据上述方法示例对图像处理装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
请参阅图3，图3是本申请实施例公开的一种图像处理装置的结构示意图。如图3所示，该图像处理装置300包括：获取模块310和配准模块320，其中：
上述获取模块310，用于获取待配准图像和用于配准的参考图像；
上述配准模块320，用于将上述待配准图像和上述参考图像输入预设神经网络模型，上述预设神经网络模型基于预设待配准图像和预设参考图像的互信息损失进行训练获得；
上述配准模块320，还用于基于上述预设神经网络模型将上述待配准图像向上述参考图像配准，获得配准结果。
可选的，上述图像处理装置300还包括：预处理模块330，用于获取原始待配准图像和原始参考图像，对上述原始待配准图像和上述原始参考图像进行图像归一化处理，获得满足目标参数的上述待配准图像和上述参考图像。
可选的，上述预处理模块330具体用于：
将上述原始待配准图像转换为预设灰度值范围内和预设图像尺寸的待配准图像；
将上述原始参考图像转换为上述预设灰度值范围内和上述预设图像尺寸的参考图像。
可选的，上述预设神经网络模型包括配准模型和互信息估计网络模型，上述配准模块320包括配准单元321、互信息估计单元322和更新单元323，其中：
上述配准单元321用于，获取上述预设待配准图像和上述预设参考图像，将上述预设待配准图像和上述预设参考图像输入上述配准模型生成形变场；
上述互信息估计单元322用于，在上述配准模块基于上述形变场和上述预设待配准图像向上述预设参考图像配准的过程中，通过上述互信息估计网络模型对配准后图像和上述预设参考图像的互信息进行估计，获得互信息损失；
上述更新单元323用于，基于上述互信息损失对上述配准模型和上述互信息估计网络模型进行参数更新，获得训练后的预设神经网络模型。
可选的，上述互信息估计单元322具体用于：
通过上述互信息估计网络模型，基于配准后图像和上述预设参考图像获得联合概率分布和边缘概率分布；
根据上述联合概率分布参数和上述边缘概率分布参数计算获得上述互信息损失。
可选的，上述更新单元323具体用于：
基于上述互信息损失对上述配准模型进行第一阈值次数的参数更新，基于上述互信息损失对上述互信息估计网络模型进行第二阈值次数的参数更新，获得上述训练后的预设神经网络模型。
可选的，上述更新单元323还用于，基于预设优化器对上述预设神经网络模型进行预设学习率和第三阈值次数的参数更新。
可选的，上述预处理模块330还用于：
对上述预设待配准图像和上述预设参考图像进行图像归一化处理，获得满足预设训练参数的上述预设待配准图像和上述预设参考图像；
上述配准模块还用于，将上述满足预设训练参数的上述预设待配准图像和上述预设参考图像输入上述配准模型生成形变场。
图3所示的实施例中的图像处理装置300可以执行图1和/或图2所示实施例中的部分或全部方法。
实施图3所示的图像处理装置300，图像处理装置300可以获取待配准图像和用于配准的参考图像，将待配准图像和参考图像输入预设神经网络模型，该预设神经网络模型基于预设神经网络模型基于预设待配准图像和预设参考图像的互信息损失进行训练获得，基于该预设神经网络模型将待配准图像向参考图像配准，获得配准结果，可以提高图像配准的精度和实时性。
请参阅图4，图4是本申请实施例公开的另一种图像处理装置的结构示意图。如图4所示，该电子设备400包括处理器401和存储器402，其中，电子设备400还可以包括总线403，处理器401和存储器402可以通过总线403相互连接，总线403可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，简称EISA)总线等。总线403可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。其中，电子设备400还可以包括输入输出设备404，输入输出设备404可以包括显示屏，例如液晶显示屏。存储器402用于存储包含指令的一个或多个程序；处理器401用于调用存储在存储器402中的指令执行上述图1和图2实施例中提到的部分或全部方法步骤。上述处理器401可以对应实现图3中的图像处理装置300中的各模块的功能。
实施图4所示的电子设备400，电子设备400可以获取待配准图像和用于配准的参考图像，将待配准图像和参考图像输入预设神经网络模型，该预设神经网络模型基于预设神经网络模型基于预设待配准图像和预设参考图像的互信息损失进行训练获得，基于该预设神经网络模型将待配准图像向参考图像配准，获得配准结果，可以提高图像配准的精度和实时性。
本申请实施例还提供一种计算机可读存储介质，其中，该计算机可读存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种图像处理方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述模块(或单元)的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
获取待配准图像和用于配准的参考图像；
将所述待配准图像和所述参考图像输入预设神经网络模型，所述预设神经网络模型基于预设待配准图像和预设参考图像的互信息损失进行训练获得；
基于所述预设神经网络模型将所述待配准图像向所述参考图像配准，获得配准结果。
2.根据权利要求1所述的图像处理方法，其特征在于，所述获取待配准图像和用于配准的参考图像之前，所述方法还包括：
获取原始待配准图像和原始参考图像，对所述原始待配准图像和所述原始参考图像进行图像归一化处理，获得满足目标参数的所述待配准图像和所述参考图像。
3.根据权利要求2所述的图像处理方法，其特征在于，所述对所述原始待配准图像和所述原始参考图像进行图像归一化处理，获得满足目标参数的所述待配准图像和所述参考图像包括：
将所述原始待配准图像转换为预设灰度值范围内和预设图像尺寸的待配准图像；以及，
将所述原始参考图像转换为所述预设灰度值范围内和所述预设图像尺寸的参考图像。
4.根据权利要求1-3任一项所述的图像处理方法，其特征在于，所述预设神经网络模型包括配准模型和互信息估计网络模型，所述预设神经网络模型的训练过程包括：
获取所述预设待配准图像和所述预设参考图像，将所述预设待配准图像和所述预设参考图像输入所述配准模型生成形变场；
在基于所述形变场和所述预设待配准图像向所述预设参考图像配准的过程中，通过所述互信息估计网络模型对配准后图像和所述预设参考图像的互信息进行估计，获得互信息损失；
基于所述互信息损失对所述配准模型和所述互信息估计网络模型进行参数更新，获得训练后的预设神经网络模型。
5.根据权利要求4所述的图像处理方法，其特征在于，所述通过所述互信息估计网络模型对配准后图像和所述预设参考图像的互信息进行估计，获得互信息损失包括：
通过所述互信息估计网络模型，基于配准后图像和所述预设参考图像获得联合概率分布和边缘概率分布；
根据所述联合概率分布参数和所述边缘概率分布参数计算获得所述互信息损失。
6.根据权利要求4或5所述的图像处理方法，其特征在于，所述基于所述互信息损失对所述配准模型和所述互信息估计网络模型进行参数更新，获得训练后的预设神经网络模型包括：
基于所述互信息损失对所述配准模型进行第一阈值次数的参数更新，基于所述互信息损失对所述互信息估计网络模型进行第二阈值次数的参数更新，获得所述训练后的预设神经网络模型。
7.根据权利要求6所述的图像处理方法，其特征在于，所述方法还包括：
基于预设优化器对所述预设神经网络模型进行预设学习率和第三阈值次数的参数更新。
8.一种图像处理装置，其特征在于，包括：获取模块和配准模块，其中：
所述获取模块，用于获取待配准图像和用于配准的参考图像；
所述配准模块，用于将所述待配准图像和所述参考图像输入预设神经网络模型，所述预设神经网络模型基于预设待配准图像和预设参考图像的互信息损失进行训练获得；
所述配准模块，还用于基于所述预设神经网络模型将所述待配准图像向所述参考图像配准，获得配准结果。
9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器用于存储一个或多个程序，所述一个或多个程序被配置成由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。
CN201811559600.6A 2018-12-19 2018-12-19 图像处理方法、装置、电子设备及计算机可读存储介质 Pending CN109741379A (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN202010072311.4A CN111292362A (zh) 2018-12-19 2018-12-19 图像处理方法、装置、电子设备及计算机可读存储介质
CN201811559600.6A CN109741379A (zh) 2018-12-19 2018-12-19 图像处理方法、装置、电子设备及计算机可读存储介质
PCT/CN2019/114563 WO2020125221A1 (zh) 2018-12-19 2019-10-31 图像处理方法、装置、电子设备及计算机可读存储介质
KR1020217008724A KR20210048523A (ko) 2018-12-19 2019-10-31 이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 기억 매체
JP2021521764A JP2022505498A (ja) 2018-12-19 2019-10-31 画像処理方法、装置、電子機器及びコンピュータ読取可能記憶媒体
SG11202102960XA SG11202102960XA (en) 2018-12-19 2019-10-31 Image processing method and apparatus, electronic device, and computer readable storage medium
TW108146264A TW202044198A (zh) 2018-12-19 2019-12-17 一種圖像處理方法、裝置、電子設備及電腦可讀儲存媒介
US17/210,021 US20210209775A1 (en) 2018-12-19 2021-03-23 Image Processing Method and Apparatus, and Computer Readable Storage Medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811559600.6A CN109741379A (zh) 2018-12-19 2018-12-19 图像处理方法、装置、电子设备及计算机可读存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010072311.4A Division CN111292362A (zh) 2018-12-19 2018-12-19 图像处理方法、装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN109741379A true CN109741379A (zh) 2019-05-10

Family

ID=66360763

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010072311.4A Pending CN111292362A (zh) 2018-12-19 2018-12-19 图像处理方法、装置、电子设备及计算机可读存储介质
CN201811559600.6A Pending CN109741379A (zh) 2018-12-19 2018-12-19 图像处理方法、装置、电子设备及计算机可读存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010072311.4A Pending CN111292362A (zh) 2018-12-19 2018-12-19 图像处理方法、装置、电子设备及计算机可读存储介质

Country Status (7)

Country Link
US (1) US20210209775A1 (zh)
JP (1) JP2022505498A (zh)
KR (1) KR20210048523A (zh)
CN (2) CN111292362A (zh)
SG (1) SG11202102960XA (zh)
TW (1) TW202044198A (zh)
WO (1) WO2020125221A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110660020A (zh) * 2019-08-15 2020-01-07 天津中科智能识别产业技术研究院有限公司 一种基于融合互信息的对抗生成网络的图像超分辨率方法
CN111161332A (zh) * 2019-12-30 2020-05-15 上海研境医疗科技有限公司 同源病理影像配准预处理方法、装置、设备及存储介质
WO2020125221A1 (zh) * 2018-12-19 2020-06-25 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN111724421A (zh) * 2020-06-29 2020-09-29 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN111738365A (zh) * 2020-08-06 2020-10-02 腾讯科技（深圳）有限公司 图像分类模型训练方法、装置、计算机设备及存储介质
CN112529949A (zh) * 2020-12-08 2021-03-19 北京安德医智科技有限公司 一种基于t2图像生成dwi图像的方法及系统
WO2021051593A1 (zh) * 2019-09-19 2021-03-25 平安科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN112598028A (zh) * 2020-12-10 2021-04-02 上海鹰瞳医疗科技有限公司 眼底图像配准模型训练方法、眼底图像配准方法和装置
CN113706450A (zh) * 2021-05-18 2021-11-26 腾讯科技（深圳）有限公司 图像配准方法、装置、设备及可读存储介质
CN113724300A (zh) * 2020-05-25 2021-11-30 北京达佳互联信息技术有限公司 图像配准方法、装置、电子设备及存储介质
CN113808175A (zh) * 2021-08-31 2021-12-17 数坤（北京）网络科技有限公司 一种图像配准方法、装置、设备及可读存储介质
WO2022088572A1 (zh) * 2020-10-30 2022-05-05 上海商汤智能科技有限公司 模型训练方法、图像处理及配准方法、装置、设备、介质
CN114693642A (zh) * 2022-03-30 2022-07-01 北京医准智能科技有限公司 一种结节匹配方法、装置、电子设备及存储介质
CN115423853A (zh) * 2022-07-29 2022-12-02 荣耀终端有限公司 一种图像配准方法和设备
CN116309751A (zh) * 2023-03-15 2023-06-23 北京医准智能科技有限公司 影像处理方法、装置、电子设备及介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112534B (zh) * 2021-04-20 2022-10-18 安徽大学 一种基于迭代式自监督的三维生物医学图像配准方法
CN113255894B (zh) * 2021-06-02 2022-12-06 华南农业大学 Bp神经网络模型的训练方法、病虫害检测方法及电子设备
CN113516697B (zh) * 2021-07-19 2024-02-02 北京世纪好未来教育科技有限公司 图像配准的方法、装置、电子设备及计算机可读存储介质
CN113936173A (zh) * 2021-10-08 2022-01-14 上海交通大学 一种最大化互信息的图像分类方法、设备、介质及系统
CN115393402B (zh) * 2022-08-24 2023-04-18 北京医智影科技有限公司 图像配准网络模型的训练方法、图像配准方法及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170286806A1 (en) * 2014-09-30 2017-10-05 Samsung Electronics Co., Ltd. Image registration device, image registration method, and ultrasonic diagnosis apparatus having image registration device
CN107403446A (zh) * 2016-05-18 2017-11-28 西门子保健有限责任公司 用于使用智能人工代理的图像配准的方法和系统
CN107886508A (zh) * 2017-11-23 2018-04-06 上海联影医疗科技有限公司 差分减影方法和医学图像处理方法及系统
US20180247410A1 (en) * 2017-02-27 2018-08-30 Case Western Reserve University Predicting immunotherapy response in non-small cell lung cancer with serial radiomics
CN108846829A (zh) * 2018-05-23 2018-11-20 平安科技（深圳）有限公司 病变部位识别方法及装置、计算机装置及可读存储介质
CN109035316A (zh) * 2018-08-28 2018-12-18 北京安德医智科技有限公司 核磁共振图像序列的配准方法及设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100470587C (zh) * 2007-01-26 2009-03-18 清华大学 一种医学图像中腹部器官分割方法
JP2012235796A (ja) * 2009-09-17 2012-12-06 Sharp Corp 診断処理装置、診断処理システム、診断処理方法、診断処理プログラム及びコンピュータ読み取り可能な記録媒体、並びに、分類処理装置
CN102208109B (zh) * 2011-06-23 2012-08-22 南京林业大学 X射线图像和激光图像的异源图像配准方法
JP5706389B2 (ja) * 2011-12-20 2015-04-22 富士フイルム株式会社 画像処理装置および画像処理方法、並びに、画像処理プログラム
JP6037790B2 (ja) * 2012-11-12 2016-12-07 三菱電機株式会社 目標類識別装置及び目標類識別方法
US9922272B2 (en) * 2014-09-25 2018-03-20 Siemens Healthcare Gmbh Deep similarity learning for multimodal medical images
CN107292872A (zh) * 2017-06-16 2017-10-24 艾松涛 图像处理方法/系统、计算机可读存储介质及电子设备
CN111292362A (zh) * 2018-12-19 2020-06-16 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170286806A1 (en) * 2014-09-30 2017-10-05 Samsung Electronics Co., Ltd. Image registration device, image registration method, and ultrasonic diagnosis apparatus having image registration device
CN107403446A (zh) * 2016-05-18 2017-11-28 西门子保健有限责任公司 用于使用智能人工代理的图像配准的方法和系统
US20180247410A1 (en) * 2017-02-27 2018-08-30 Case Western Reserve University Predicting immunotherapy response in non-small cell lung cancer with serial radiomics
CN107886508A (zh) * 2017-11-23 2018-04-06 上海联影医疗科技有限公司 差分减影方法和医学图像处理方法及系统
CN108846829A (zh) * 2018-05-23 2018-11-20 平安科技（深圳）有限公司 病变部位识别方法及装置、计算机装置及可读存储介质
CN109035316A (zh) * 2018-08-28 2018-12-18 北京安德医智科技有限公司 核磁共振图像序列的配准方法及设备

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020125221A1 (zh) * 2018-12-19 2020-06-25 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN110660020A (zh) * 2019-08-15 2020-01-07 天津中科智能识别产业技术研究院有限公司 一种基于融合互信息的对抗生成网络的图像超分辨率方法
CN110660020B (zh) * 2019-08-15 2024-02-09 天津中科智能识别产业技术研究院有限公司 一种基于融合互信息的对抗生成网络的图像超分辨率方法
WO2021051593A1 (zh) * 2019-09-19 2021-03-25 平安科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN111161332A (zh) * 2019-12-30 2020-05-15 上海研境医疗科技有限公司 同源病理影像配准预处理方法、装置、设备及存储介质
CN113724300A (zh) * 2020-05-25 2021-11-30 北京达佳互联信息技术有限公司 图像配准方法、装置、电子设备及存储介质
CN111724421B (zh) * 2020-06-29 2024-01-09 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN111724421A (zh) * 2020-06-29 2020-09-29 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN111738365A (zh) * 2020-08-06 2020-10-02 腾讯科技（深圳）有限公司 图像分类模型训练方法、装置、计算机设备及存储介质
WO2022088572A1 (zh) * 2020-10-30 2022-05-05 上海商汤智能科技有限公司 模型训练方法、图像处理及配准方法、装置、设备、介质
CN112529949A (zh) * 2020-12-08 2021-03-19 北京安德医智科技有限公司 一种基于t2图像生成dwi图像的方法及系统
CN112598028A (zh) * 2020-12-10 2021-04-02 上海鹰瞳医疗科技有限公司 眼底图像配准模型训练方法、眼底图像配准方法和装置
CN113706450A (zh) * 2021-05-18 2021-11-26 腾讯科技（深圳）有限公司 图像配准方法、装置、设备及可读存储介质
CN113808175A (zh) * 2021-08-31 2021-12-17 数坤（北京）网络科技有限公司 一种图像配准方法、装置、设备及可读存储介质
CN114693642A (zh) * 2022-03-30 2022-07-01 北京医准智能科技有限公司 一种结节匹配方法、装置、电子设备及存储介质
CN115423853A (zh) * 2022-07-29 2022-12-02 荣耀终端有限公司 一种图像配准方法和设备
CN116309751A (zh) * 2023-03-15 2023-06-23 北京医准智能科技有限公司 影像处理方法、装置、电子设备及介质
CN116309751B (zh) * 2023-03-15 2023-12-19 浙江医准智能科技有限公司 影像处理方法、装置、电子设备及介质

Also Published As

Publication number Publication date
KR20210048523A (ko) 2021-05-03
TW202044198A (zh) 2020-12-01
SG11202102960XA (en) 2021-04-29
WO2020125221A1 (zh) 2020-06-25
JP2022505498A (ja) 2022-01-14
CN111292362A (zh) 2020-06-16
US20210209775A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
CN109741379A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN109754414A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN109767460A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
Pishchulin et al. Building statistical shape spaces for 3d human modeling
US11033251B2 (en) Systems and methods for ultrasound imaging
Madani et al. Fast and accurate view classification of echocardiograms using deep learning
JP6947759B2 (ja) 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法
Zhang et al. Semi-supervised assessment of incomplete LV coverage in cardiac MRI using generative adversarial nets
US10121273B2 (en) Real-time reconstruction of the human body and automated avatar synthesis
US20230169727A1 (en) Generative Nonlinear Human Shape Models
CN112750531A (zh) 一种中医自动化望诊系统、方法、设备和介质
CN107437252B (zh) 用于黄斑病变区域分割的分类模型构建方法和设备
US20210330285A1 (en) Systems and methods for automated physiological parameter estimation from ultrasound image sequences
Kelkar et al. Assessing the ability of generative adversarial networks to learn canonical medical image statistics
Chang et al. Salgaze: Personalizing gaze estimation using visual saliency
WO2023092959A1 (zh) 图像分割方法及其模型的训练方法及相关装置、电子设备
de Souza et al. Predicting body measures from 2D images using Convolutional Neural Networks
Lehment et al. Using segmented 3D point clouds for accurate likelihood approximation in human pose tracking
JP2023505676A (ja) 機械学習方法のデータ拡張
CN109191425A (zh) 医学影像分析方法
Kalyani et al. Medical Image Processing from Large Datasets Using Deep Learning
CN112766063B (zh) 基于位移补偿的微表情拟合方法和系统
KR102426925B1 (ko) 3d 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법 및 프로그램
Bastiaansen et al. Atlas-based segmentation of the human embryo using deep learning with minimal supervision
Nakano et al. Gaussian process with physical laws for 3D cardiac modeling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190510