CN110853083B - 一种变形场的处理方法、装置、电子设备及存储介质 - Google Patents

一种变形场的处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110853083B
CN110853083B CN201911031633.8A CN201911031633A CN110853083B CN 110853083 B CN110853083 B CN 110853083B CN 201911031633 A CN201911031633 A CN 201911031633A CN 110853083 B CN110853083 B CN 110853083B
Authority
CN
China
Prior art keywords
deformation field
deformation
training
image
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911031633.8A
Other languages
English (en)
Other versions
CN110853083A (zh
Inventor
马姗姗
曹晓欢
薛忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN201911031633.8A priority Critical patent/CN110853083B/zh
Publication of CN110853083A publication Critical patent/CN110853083A/zh
Application granted granted Critical
Publication of CN110853083B publication Critical patent/CN110853083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Abstract

本申请公开了一种变形场的处理方法、装置、电子设备及存储介质,所述方法包括确定第一图像至第二图像的第一变形场,可以直接基于形变求逆模型对所述第一变形场进行求逆操作,得到第二变形场。随后根据所述第二变形场的空间坐标系对所述第一变形场进行空间变换操作,得到空间变换后的第一变形场,根据所述空间变换后的第一变形场和所述第二变形场确定补偿函数,基于所述补偿函数和第二变形场得到补偿后的第二变形场,即与正向变形场对应的逆向变形场,以满足实际生活生产中多种应用场景的需求。

Description

一种变形场的处理方法、装置、电子设备及存储介质
技术领域
本申请涉及互联网技术领域,尤其涉及一种变形场的处理方法、装置、电子设备及存储介质。
背景技术
医学影像的非刚性配准技术是医学影像处理的基础,在图像信息融合、辅助诊断、手术规划、手术导航以及医学基础理论研究等领域发挥着十分重要的作用。非刚性配准主要解决的是图像的弹性形变的问题,实际上是像素从一个空间变换到另外一个空间的坐标映射关系,需要求出参考图像和浮动图像之间的变形场(正向变形场),将变形场作用于浮动图像,从而得到配准之后的图像,使得配准之后的图像与参考图像对应点达到空间上的一致,这种一致是指变换之后的浮动图像与参考图像同一解剖点具有相同的空间位置。
然而,随着非刚性配准技术在实际生活,生产中的应用,仅仅根据参考图像和浮动图像之间得到的正向变形场已经不能满足需求。通常情况下,得到正向变形场的同时需要求出相对应的反向变形场。
发明内容
本申请实施例提供了一种变形场的处理方法、装置、电子设备及存储介质,用于获得第二变形场,即与正向变形场对应的逆向变形场,以满足实际生活生产中多种应用场景的需求。
一方面,本申请实施例提供了一种变形场的处理方法,该方法包括:
确定第一图像至第二图像的第一变形场;
基于形变求逆模型对第一变形场进行求逆操作,得到第二变形场;
根据第二变形场的空间坐标系对第一变形场进行空间变换操作,得到空间变换后的第一变形场;
根据空间变换后的第一变形场和第二变形场确定补偿函数;
基于补偿函数和第二变形场得到补偿后的第二变形场,使用补偿后的第二变形场对待形变图像进行形变处理。
另一方面提供了一种变形场的处理装置,该装置包括:
确定模块,用于确定第一图像至第二图像的第一变形场;
求逆操作模块,用于基于形变求逆模型对第一变形场进行求逆操作,得到第二变形场;
空间变换模块,用于根据第二变形场的空间坐标系对第一变形场进行空间变换操作,得到空间变换后的第一变形场;
确定模块,用于根据空间变换后的第一变形场和第二变形场确定补偿函数;
处理模块,用于基于补偿函数和第二变形场确定补偿后的第二变形场,使用补偿后的第二变形场对待形变图像进行形变处理。
另一方面提供了一种电子设备,该电子设备包括处理器和存储器,存储器中存储有至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或该指令集由处理器加载并执行以实现如上述的变形场的处理方法。
另一方面提供了一种计算机可读存储介质,存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或该指令集由处理器加载并执行以实现如上述的变形场的处理方法。
本申请实施例提供的变形场的处理方法、设备及存储介质,具有如下技术效果:
服务器可以直接基于形变求逆模型对第一变形场进行求逆操作,得到第二变形场。并根据空间变换后的第一变形场和第二变形场确定补偿函数,基于补偿函数和第二变形场得到补偿后的第二变形场,如此,本申请可以获得第二变形场,即与正向变形场对应的逆向变形场,以满足实际生活生产中多种应用场景的需求。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种应用环境的示意图;
图2是本申请实施例提供的一种变形场的处理方法的流程示意图;
图3是本申请实施例提供的一种获取形变求逆模型的示意图;
图4是本申请实施例提供的一种获取形变求逆模型的示意图;
图5是本申请实施例提供的一种获取形变求逆模型的示意图;
图6是本申请实施例提供的一种变形场的处理方法的示意图;
图7是本申请实施例提供的一种变形场的处理装置的结构示意图;
图8是本申请实施例提供的一种变形场的处理方法的服务器的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1,图1是本申请实施例提供的一种应用环境的示意图,包括服务器101和终端设备102,其中,服务器101可以基于形变求逆模型获取补偿后的第二变形场的服务器,且可以为下游的终端设备102提供形变处理的服务器。比如,终端设备102获取图像后,可以向服务器101上传该图像,以使服务器101可以对该图像进行形变处理。
具体的,服务器101确定第一图像至第二图像的第一变形场,并基于形变求逆模型对第一变形场进行求逆操作,得到第二变形场。随后,服务器101可以根据第二变形场的空间坐标系对第一变形场进行空间变换操作,得到空间变换后的第一变形场,并根据空间变换后的第一变形场和第二变形场确定补偿函数,以及基于补偿函数和第二变形场得到补偿后的第二变形场,使用补偿后的第二变形场对待形变图像进行形变处理。
本申请实施例中,执行主语可以是图1所示的服务器,还可以是一个服务器平台或者服务器集群,该平台或者集群中可以包括多个服务器。比如,第一服务器获取终端设备发送的第一图像和第二图像后,可以确定第一图像至第二图像的第一变形场,随后将第一变形场发送给第二服务器。
第二服务器可以基于形变求逆模型对第一变形场进行求逆操作,得到第二变形场,并将第二变形场以及第一变形场发送至第三服务器。
第三服务器接收到第二服务器发送的第二变形场以及第一变形场,可以根据第二变形场的空间坐标系对第一变形场进行空间变换操作,得到空间变换后的第一变形场,并根据空间变换后的第一变形场和第二变形场确定补偿函数,基于补偿函数和第二变形场得到补偿后的第二变形场。如此,通过上述3个服务器就得到了补偿后的第二变形场,第三服务器可以使用补偿后的第二变形场对待形变图像进行形变处理。
本申请实施例中,服务器101和终端设备102可以通过无线链路连接。
本申请实施例中,第一服务器,第二服务器和第三服务器之间可以通过无线链路连接,还可以通过有线链路连接。通信链路类型的选择可以根据实际的应用情况和应用环境而定。可选的,第一服务器,第二服务器和第三服务器可以被设置在同一个空间内。
本申请实施例中,终端设备102可以是移动手机,平板电脑,台式电脑,笔记本电脑以及可穿戴设备等等。服务器101还可以是计算机终端或者类似的运算装置。
以下介绍本申请一种变形场的处理方法的具体实施例,图2是本申请实施例提供的一种变形场的处理方法的流程示意图,本说明书提供了如实施例或流程图的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或服务器产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示,该方法可以包括:
S201:服务器确定第一图像至第二图像的第一变形场。
本申请实施例中,步骤S201是将两幅图像(第一图像和第二图像)进行空间匹配的过程,也就是将第一图像匹配至第二图像的过程,该过程可以被称为图像配准。一般的,图像配准就是将不同时间,不同成像设备或者不同条件下获取的两幅或者多幅图像进行匹配,叠加的过程。图像配准可以被应用在各行各业,比如烟感数据分析,计算机视觉,图像处理等领域,其中,图像处理还包括医学上的图像处理。比如,医学配准应用在医学上的图像处理后,可以将多种成像模式下的图像进行综合分析,利用各自的信息优势,更好的了解组织情况。
在服务器确定第一图像至第二图像的第一变形场之前,可以通过终端设备或者其他方式获取第一图像和第二图像。如此,服务器可以基于第二图像确定第一图像至该第二图像的第一变形场。
其中,第一变形场是用于作用在该第一图像上,以得到第一图像的第一配准图像,其中,第一解剖点在该第一配准图像的空间位置和该第一解剖点在第二图像的空间位置一致。也就是说,同一个解剖点在第二图像和通过第一变形场得到的第一配准图像上有相同的空间位置。其中,相同的空间位置可以包括为位置一致,角度一致以及大小一致。
S203:服务器基于形变求逆模型对第一变形场进行求逆操作,得到第二变形场。
本申请实施例中,第二变形场是用于作用在该第二图像上,以得到第二图像的第二配准图像,其中,第二解剖点在该第二配准图像的空间位置和该第二解剖点在第一图像的空间位置一致。也就是说,同一个解剖点在第一图像和通过第二变形场得到的第二配准图像上有相同的空间位置。其中,相同的空间位置可以包括为位置一致,角度一致以及大小一致。
本申请实施例中,服务器基于形变求逆模型得到第二变形场的实施方式可以是一种基于深度学习获取第二变形场的实施方式。应用深度学习获取第二变形场的原因是:现实应用中变形场的求逆问题得到的是无限逼近的近似解,而深度学习方法的本质是利用反向传播算法不断迭代更新模型参数,逐渐收敛到最优解,所以利用深度学习的方法对变形场求逆,符合变形场求逆问题的本质,可以较好的求得逆向变形场的近似解。
下面通过多种实施方式介绍本申请实施例中,服务器如何训练得到形变求逆模型,以使服务器后续可以通过训练得到的形变求逆模型直接对第一变形场进行求逆操作。
一种可选的实施例中,服务器可以获取第一训练变形场和第二训练变形场,作为训练该形变求逆模型的训练数据。其中,该第一训练变形场和第二训练变形场是通过现有算法生成的一批绝对可逆的变形场。服务器基于模型参量为预设参量的预设模型对第一训练变形场进行求逆操作,得到第三训练变形场,并根据第三训练变形场和第二训练变形场确定损失函数。服务器可以基于损失函数对预设模型进行模型参量的更新,得到该形变求逆模型。
具体的,假设图片库中有大量的图像对,每个图像对包括第一训练图像A和第二训练图像B,服务器可以通过现有算法得到每个图像对的第一训练变形场fA→B和第二训练变形场fB→A。第一训练变形场和第二训练变形场的具体内容可以参考上文的第一变形场和第二变形场的内容,在这里不在赘述。
图3是本申请实施例提供的一种获取形变求逆模型的示意图,在具体的训练过程中,服务器可以将每个图像对的第一训练变形场fA→B和第二训练变形场fB→A中的一个训练变形场作为训练数据,另外一个训练变形场作为标签数据,例如,可以将第一训练变形场fA→B作为训练数据,将第二训练变形场fB→A作为标签数据。如此,服务器可以将第一训练变形场fA→B输入模型参量为预设参量的预设模型,得到第一训练变形场fA→B的逆向变形场,也就是第三训练变形场f′B→A。随后,服务器可以根据第三训练变形场f′B→A和第二训练变形场fB→A确定损失函数,并在反向传播阶段基于该损失函数对预设模型进行模型参量的更新,随着预设模型的不断更新,可以得到该形变求逆模型。可选的,损失函数可以包括但不限于均方差损失函数(Mean Square error,MSE)、支持向量机损失函数(Support VectorMachine,SVM)、Cross Entropy交叉熵损失函数等。可选的,预设模型可以包括但不限于UNet神经网络模型、全卷积网络模型(Fully Convolution Networks,FCN)、SegNet网络模型、全卷积DenseNet网络模型等。
该种实施方式中,由于未训练的预设模型的模型参量是预设的,因此,第一次训练过程得到的第三训练变形场f′B→A和第二训练变形场fB→A差距是很大的,但是随着训练过程的持续进行,第三训练变形场f′B→A和第二训练变形场fB→A差距会越来越小,也就是迭代过程的损失函数会收敛至最小值,以满足技术人员的的预设要求,最终得到形变求逆模型。该种方式的优势是可以在相对短的时间内得到形变求逆模型。然而,该种实施方式是基于大量的第一训练变形场fA→B和第二训练变形场fB→A训练得到,然而由于医学图像非刚性配准问题的不适定性,实际应用中不存在绝对可逆的变形场,只能得到无限逼近的近似解,这就导致无法获得大量训练所需的真实的第一训练变形场fA→B和第二训练变形场fB→A。并且利用现有算法有目的生成的绝对可逆的变形场脱离现实应用场景,模型的泛化性能较差。为了有效解决上述问题,下文将继续阐述如何使用其他实施方式训练得到形变求逆模型。
另一种可选的实施方式中,服务器可以如图4所示的示意图得到形变求逆模型,图4是本申请实施例提供的一种获取形变求逆模型的示意图,服务器可以获取第一训练变形场,基于模型参量为预设参量的预设模型对第一训练变形场进行求逆操作,得到第三训练变形场。服务器可以基于第三训练变形场的空间坐标系对第一训练变形场进行空间变换操作,得到空间变换后的第一训练变形场。然而,由于通过预设模型得到的第三训练变形场还不是准确的,为了使得获得的第三训练变形场更加准确,服务器可以基于空间变换后的第一训练变形场和第三训练变形场确定训练损失函数,并基于训练损失函数对预设模型进行模型参量的更新,得到形变求逆模型。
具体的,假设图片库中有大量的图像对,每个图像对包括第一训练图像A和第二训练图像B,服务器可以确定图像对的第一训练变形场fA→B,并将第一训练变形场fA→B输入模型参量为预设参量的预设模型,得到第一训练变形场fA→B的逆向变形场,也就是第三训练变形场f′B→A。此时,第三训练变形场理论上是第一训练变形场的逆向变形场,因此,将第一训练变形场和第三训练变形场变换到同一个空间坐标系下,两者应该具有大小相等,方向相反的性质。基于上述原因,服务器可以基于第三训练变形场的空间坐标系对第一训练变形场进行空间变换操作,得到空间变换后的第一训练变形场g,进而得到f′B→A+g=0。然而,由于基于预设模型得到的第三训练变形场是不准确的,因此,可以根据空间变换后的第一训练变形场和第三训练变形场确定训练损失函数,训练损失函数(Loss)的公式可以如公式(1)表示:
Figure BDA0002250317780000091
其中,f′i表示第三训练变形场,gi表示基于第三训练变形场得到的空间变换后的第一训练变形场。
一种可选的基于第三训练变形场的空间坐标系对第一训练变形场进行空间变换操作的实施方式中,首先根据第三训练变形场得到第三训练变形场所指向的新的坐标位置,例如在位置a(x,y)处指向的新的坐标位置为b(x+dx,y+dy)。然后计算得到在位置b(x+dx,y+dy)处第一训练变形场的值,将该值放到位置a(x,y)处,得到经过空间变换之后的第一训练变形场。通常情况下,新的坐标位置不为整数值,此时需要利用插值算法得到新的坐标位置下的像素值,例如双线性插值算法或者最近邻插值算法。
另一种可选的实施方式中,服务器可以如图5所示的示意图得到形变求逆模型,图5是本申请实施例提供的一种获取形变求逆模型的示意图,这种实施方式中获取形变求逆模型可以分为两个阶段。第一阶段:服务器可以获取第一训练变形场和第二训练变形场,作为训练该形变求逆模型的训练数据。其中,该第一训练变形场和第二训练变形场是通过现有算法生成的一批绝对可逆的变形场。服务器基于模型参量为预设参量的预设模型对第一训练变形场进行求逆操作,得到第三训练变形场,并根据第三训练变形场和第二训练变形场确定损失函数。服务器可以基于第三训练变形场和第二训练变形场确定的损失函数对预设模型进行模型参量的更新,得到模型参量为第一参量的过渡模型。第二阶段:服务器获取第四训练变形场,基于模型参量为第一参量的过渡模型对第四训练变形场进行求逆操作,得到第五训练变形场。随后,基于第五训练变形场的空间坐标系对第四训练变形场进行空间变换操作,得到空间变换后的第四训练变形场,基于空间变换后的第四训练变形场和第五训练变形场确定训练损失函数。基于第四训练变形场和第五训练变形场确定的训练损失函数对过渡模型进行模型参量的更新,得到形变求逆模型。其中,第一阶段的过渡模型的实施方式可以参考第一种实施方式中获取变形求逆模型的实施方式,第二阶段的实施方式可以参考第二种实施方式中获取变形求逆模型的实施方式。
通过第一阶段可以快速迭代得到所想要的过渡模型,通过第二阶段可以得到更加准确的形变求逆模型。对比于第一种实施方式,具有可以得到更加准确的形变求逆模型的有益效果,对比于第二种实施方式,具有快速迭代的有益效果。
S205:服务器根据第二变形场的空间坐标系对第一变形场进行空间变换操作,得到空间变换后的第一变形场。
本申请实施例中,服务器得到空间变换后的第一变形场的实施方式可以参考上文中服务器如何得到空间变换后的第一训练变形场的实施方式,在这里不再赘述。
S207:服务器根据空间变换后的第一变形场和第二变形场确定补偿函数。
本申请实施例中,假设空间变换后的第一变形场为f1,第二变形场为f2,服务器可以基于空间变换后的第一变形场和第二变形场确定补偿函数(Error)公式(2):
Error=f1+f2……公式(2)
其中,Error是补偿函数,f1是空间变换后的第一变形场,f2是第二变形场。
S209:服务器基于补偿函数和第二变形场确定补偿后的第二变形场,使用补偿后的第二变形场对待形变图像进行形变处理。
基于上文可知,由于确定的变形求逆模型的精确性,本申请实施例得到的第二变形场可能不是最准确的,因此,本申请实施例可以通过如下的方式得到补偿后的第二变形场。
服务器可以将补偿函数和预设函数进行匹配,得到匹配程度值。假设匹配程度值为第一程度值,则服务器可以使用补偿函数对第二变形场进行补偿操作,得到补偿后的第二变形场,并使用补偿后的第二变形场对待形变图像进行形变处理。假设匹配程度值为第二程度值,则不用对第二变形场进行补偿操作,直接可以使用第二变形场对待形变图像进行形变处理。其中,该第一程度值小于第二程度值。
举个例子,假设补偿函数为1,预设函数为0,则补偿函数与预设函数的匹配程度值为第一程度值0,0可以表示补偿函数和预设函数不完全匹配,则服务器使用补偿函数对第二变形场进行补偿操作,得到补偿后的第二变形场,若补偿函数为0,预设函数为0,则补偿函数与预设函数的匹配程度值为第一程度值100%,100%可以表示补偿函数和预设函数完全匹配。本申请实施例中,补偿后的第二变形场可以用公式(3)表示:
f3=f2+Error……公式(3)
其中,Error是补偿函数,f2是第二变形场,f3是补偿后的第二变形场。
图6是本申请实施例提供的一种获取形变求逆模型的示意图,服务器确定第一图像至第二图像的第一变形场。服务器基于形变求逆模型对第一变形场进行求逆操作,得到第二变形场。此时的第二变形场需要进一步的操作以提高精确度。随后,服务器根据第二变形场的空间坐标系对第一变形场进行空间变换操作,得到空间变换后的第一变形场,并根据空间变换后的第一变形场和第二变形场确定补偿函数,最后,服务器可以基于补偿函数和第二变形场得到补偿后的第二变形场,使用补偿后的第二变形场对待形变图像进行形变处理。
本申请实施例中,服务器基于补偿后的第二变形场可以将第二图像映射到第一图像上,使得第二解剖点在第二图像的第二配准图像上的空间位置和盖第二解剖点在第一图像的空间位置一致。其次,在制定放疗计划对剂量进行累积分析时,需要利用逆向变形场将当前时间点的剂量映射场映射到前一个时间点。
上述的实施例主要讲述了形变求逆模型的获得,以及基于获得的形变求逆模型确定补偿后的第二变形场的过程。其中,第一变形场可以被称为正向变形场,补偿后的第二变形场被称为逆向变形场,实际应用中,正向变形场与逆向变形场的逆一致性是定义两幅图像之间唯一对应关系的必要条件,因为逆一致性可以保证正向变形场定义的对应关系与逆向变形场定义的对应关系一致,确定了两幅图像之间的一一对应关系。
现有技术中,某些非刚性配准算法可以同时求出正向变形场以及逆向变形场,例如,CL-TPS(Consistent Landmark Thin-plate Spline)配准算法,该算法在给定一组对应点的情况下,通过最小化TPS弯曲能量函数,同时估计出正向变形场和逆向变形场,使得正向变形场和逆向变形场的逆一致性误差最小。然而,该类算法计算过程较为繁琐,时间成本较高,在某些需要迅速确定逆向变形场的应用场景中,难以满足需求。
现有技术中,还可以通过矩阵逆操作对正向变形场进行操作,得到逆向变刑场,这种方式虽然简单,但是无法得知配准后结果的准确性。然而,申请实施例中,不仅通过形变求逆模型确定了初步的逆向变形场,还结合后期的空间变换以及补偿函数对初步确定的逆向变形场进行了补偿,保证了最终得到的逆向变形场的准确性,满足了实际生活生产中多种应用场景中对配准结果的高准确性的需求。
本申请实施例还提供了一种变形场的处理装置,图7是本申请实施例提供的一种变形场的处理装置的结构示意图,如图7所示,该装置包括:
确定模块701,用于确定第一图像至第二图像的第一变形场;
求逆模块702,用于基于形变求逆模型对第一变形场进行求逆操作,得到第二变形场;
空间变换模块703,用于根据第二变形场的空间坐标系对第一变形场进行空间变换操作,得到空间变换后的第一变形场;
该确定模块701,用于根据空间变换后的第一变形场和第二变形场确定补偿函数;
处理模块704,用于基于补偿函数和第二变形场确定补偿后的第二变形场,使用补偿后的第二变形场对待形变图像进行形变处理。
在一种可选的实施方式中,该装置还包括:
处理模块,用于若补偿函数与预设函数的匹配程度值为第一程度值,使用补偿函数对第二变形场进行补偿操作,得到补偿后的第二变形场,使用补偿后的第二变形场对待形变图像进行形变处理。
在一种可选的实施方式中,该装置还包括:
处理模块用于若补偿函数与预设函数的匹配程度值为第二程度值,使用第二变形场对待形变图像进行形变处理;
其中,第一程度值小于第二程度值。
在一种可选的实施方式中,该装置还包括:
确定模型模块用于获取第一训练变形场和第二训练变形场;
基于模型参量为预设参量的预设模型对第一训练变形场进行求逆操作,得到第三训练变形场;
根据第三训练变形场和第二训练变形场确定损失函数;
基于损失函数对预设模型进行模型参量的更新,得到形变求逆模型。
在一种可选的实施方式中,该装置还包括:
确定模型模块用于获取第一训练变形场;
基于模型参量为预设参量的预设模型对第一训练变形场进行求逆操作,得到第三训练变形场;
基于第三训练变形场的空间坐标系对第一训练变形场进行空间变换操作,得到空间变换后的第一训练变形场;
基于空间变换后的第一训练变形场和第三训练变形场确定训练损失函数;
基于训练损失函数对预设模型进行模型参量的更新,得到形变求逆模型。
在一种可选的实施方式中,该装置还包括:
确定模型模块用于基于损失函数对预设模型进行模型参量的更新,得到模型参量为第一参量的过渡模型;
获取第四训练变形场;
基于模型参量为第一参量的过渡模型对第四训练变形场进行求逆操作,得到第五训练变形场;
基于第五训练变形场的空间坐标系对第四训练变形场进行空间变换操作,得到空间变换后的第四训练变形场;
基于空间变换后的第四训练变形场和第五训练变形场确定训练损失函数;
基于训练损失函数对过渡模型进行模型参量的更新,得到形变求逆模型。
本申请实施例中的装置与方法实施例基于同样地申请构思。
本申请实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例,图8是本申请实施例提供的一种变形场的处理方法的服务器的硬件结构框图。如图8所示,该服务器800可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(Central Processing Units,CPU)810(处理器810可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器830,一个或一个以上存储应用程序823或数据822的存储介质820(例如一个或一个以上海量存储设备)。其中,存储器830和存储介质820可以是短暂存储或持久存储。存储在存储介质820的程序可以包括一个或一个以上模块,每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器810可以设置为与存储介质820通信,在服务器800上执行存储介质820中的一系列指令操作。服务器800还可以包括一个或一个以上电源860,一个或一个以上有线或无线网络接口850,一个或一个以上输入输出接口840,和/或,一个或一个以上操作系统821,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
输入输出接口840可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器800的通信供应商提供的无线网络。在一个实例中,输入输出接口840包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,输入输出接口840可以为射频(RadioFrequency,RF)模块,其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解,图8所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,服务器800还可包括比图8中所示更多或者更少的组件,或者具有与图8所示不同的配置。
本申请的实施例还提供了一种存储介质,所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种变形场的处理方法相关的至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述变形场的处理方法。
可选地,在本实施例中,上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由上述本申请提供的变形场的处理方法、设备或存储介质的实施例可见,本申请中,服务器确定第一图像至第二图像的第一变形场,可以直接基于形变求逆模型对所述第一变形场进行求逆操作,得到第二变形场。随后根据所述第二变形场的空间坐标系对所述第一变形场进行空间变换操作,得到空间变换后的第一变形场,根据所述空间变换后的第一变形场和所述第二变形场确定补偿函数,基于所述补偿函数和第二变形场得到补偿后的第二变形场,即与正向变形场对应的逆向变形场,以满足实际生活生产中多种应用场景的需求。
需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种变形场的处理方法,其特征在于,所述方法包括:
确定第一图像至第二图像的第一变形场;
基于形变求逆模型对所述第一变形场进行求逆操作,得到第二变形场;
根据所述第二变形场的空间坐标系对所述第一变形场进行空间变换操作,得到空间变换后的第一变形场;
根据所述空间变换后的第一变形场和所述第二变形场确定补偿函数;
基于所述补偿函数和第二变形场得到补偿后的第二变形场,使用所述补偿后的第二变形场对待形变图像进行形变处理;
所述基于所述补偿函数和第二变形场得到补偿后的第二变形场,包括:
将所述补偿函数和预设函数进行匹配,得到匹配程度值;
基于所述匹配程度值,使用所述补偿函数对所述第二变形场进行补偿操作,得到补偿后的第二变形场。
2.根据权利要求1所述的方法,其特征在于,所述基于所述补偿函数和第二变形场得到补偿后的第二变形场,使用所述补偿后的第二变形场对待形变图像进行形变处理,包括:
若所述补偿函数与预设函数的匹配程度值为第一程度值,使用所述补偿函数对所述第二变形场进行补偿操作,得到补偿后的第二变形场,使用所述补偿后的第二变形场对待形变图像进行形变处理。
3.根据权利要求2所述的方法,其特征在于,所述基于所述补偿函数和第二变形场得到补偿后的第二变形场,使用所述补偿后的第二变形场对待形变图像进行形变处理,包括:
若所述补偿函数与预设函数的匹配程度值为第二程度值,使用所述第二变形场对待形变图像进行形变处理;
其中,所述第一程度值小于所述第二程度值。
4.根据权利要求1所述的方法,其特征在于,
所述第一变形场用于作用于所述第一图像,以得到所述第一图像的第一配准图像,其中,第一解剖点在所述第一配准图像的空间位置和所述第一解剖点在所述第二图像的空间位置一致;
所述第二变形场用于作用于所述第二图像,以得到所述第二图像的第二配准图像,其中,第二解剖点在所述第二配准图像的空间位置和所述第二解剖点在所述第一图像的空间位置一致。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括训练所述形变求逆模型的步骤,所述训练所述形变求逆模型包括:
获取第一训练变形场和第二训练变形场;
对预设模型的参数进行初始化;
基于所述预设模型对所述第一训练变形场进行求逆操作,得到第三训练变形场;
根据所述第三训练变形场和所述第二训练变形场确定损失函数;
基于所述损失函数对所述预设模型进行模型参量的更新,得到所述形变求逆模型。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括训练所述形变求逆模型的步骤,所述训练所述形变求逆模型包括:
获取第一训练变形场;
对预设模型的参数进行初始化;
基于所述预设模型对所述第一训练变形场进行求逆操作,得到第三训练变形场;
基于所述第三训练变形场的空间坐标系对所述第一训练变形场进行空间变换操作,得到空间变换后的第一训练变形场;
基于所述空间变换后的第一训练变形场和所述第三训练变形场确定训练损失函数;
基于所述训练损失函数对所述预设模型进行模型参量的更新,得到所述形变求逆模型。
7.根据权利要求5所述的方法,其特征在于,所述训练所述形变求逆模型包括:
基于所述损失函数对所述预设模型进行模型参量的更新,得到模型参量为第一参量的过渡模型;
获取第四训练变形场;
基于所述模型参量为第一参量的过渡模型对所述第四训练变形场进行求逆操作,得到第五训练变形场;
基于所述第五训练变形场的空间坐标系对所述第四训练变形场进行空间变换操作,得到空间变换后的第四训练变形场;
基于所述空间变换后的第四训练变形场和所述第五训练变形场确定训练损失函数;
基于所述训练损失函数对所述过渡模型进行模型参量的更新,得到所述形变求逆模型。
8.一种变形场的处理装置,其特征在于,所述装置包括:
确定模块,用于确定第一图像至第二图像的第一变形场;
求逆模块,用于基于形变求逆模型对所述第一变形场进行求逆操作,得到第二变形场;
空间变换模块,用于根据所述第二变形场的空间坐标系对所述第一变形场进行空间变换操作,得到空间变换后的第一变形场;
所述确定模块,用于根据所述空间变换后的第一变形场和所述第二变形场确定补偿函数;
处理模块,用于基于所述补偿函数和第二变形场确定补偿后的第二变形场,使用所述补偿后的第二变形场对待形变图像进行形变处理;
所述基于所述补偿函数和第二变形场得到补偿后的第二变形场,包括:
将所述补偿函数和预设函数进行匹配,得到匹配程度值;
基于所述匹配程度值,使用所述补偿函数对所述第二变形场进行补偿操作,得到补偿后的第二变形场。
9.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-7任一所述的变形场的处理方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-7任一所述的变形场的处理方法。
CN201911031633.8A 2019-10-28 2019-10-28 一种变形场的处理方法、装置、电子设备及存储介质 Active CN110853083B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911031633.8A CN110853083B (zh) 2019-10-28 2019-10-28 一种变形场的处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911031633.8A CN110853083B (zh) 2019-10-28 2019-10-28 一种变形场的处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110853083A CN110853083A (zh) 2020-02-28
CN110853083B true CN110853083B (zh) 2023-02-17

Family

ID=69598233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911031633.8A Active CN110853083B (zh) 2019-10-28 2019-10-28 一种变形场的处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110853083B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611615B1 (en) * 1999-06-25 2003-08-26 University Of Iowa Research Foundation Method and apparatus for generating consistent image registration
CN102930502A (zh) * 2012-11-16 2013-02-13 深圳大学 可保持控制点对应关系的一致性图像变换方法及系统
CN107133946A (zh) * 2017-04-28 2017-09-05 上海联影医疗科技有限公司 医学图像处理方法、装置及设备
CN107862706A (zh) * 2017-11-01 2018-03-30 天津大学 一种基于特征向量的改进光流场模型算法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611615B1 (en) * 1999-06-25 2003-08-26 University Of Iowa Research Foundation Method and apparatus for generating consistent image registration
CN102930502A (zh) * 2012-11-16 2013-02-13 深圳大学 可保持控制点对应关系的一致性图像变换方法及系统
CN107133946A (zh) * 2017-04-28 2017-09-05 上海联影医疗科技有限公司 医学图像处理方法、装置及设备
CN107862706A (zh) * 2017-11-01 2018-03-30 天津大学 一种基于特征向量的改进光流场模型算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Inverse-Consistent Deep Networks for Unsupervised Deformable Image Registration;Jun Zhang et al;《Arxiv.org》;20180910;第1-13 *
mlVIRNET: Multilevel Variational Image Registration Network;Alessa Hering et al;《Arxiv.org》;20190922;第1-9 *

Also Published As

Publication number Publication date
CN110853083A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
CN109255830B (zh) 三维人脸重建方法和装置
US10970938B2 (en) Method and apparatus for generating 3D information
CN106846497B (zh) 应用于终端的呈现三维地图的方法和装置
CN110264509A (zh) 确定图像捕捉设备的位姿的方法、装置及其存储介质
CN109858333B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN110648289B (zh) 图像的加噪处理方法及装置
CN114511662A (zh) 渲染图像的方法、装置、电子设备及存储介质
CN115409933B (zh) 多风格纹理贴图生成方法及其装置
CN109754464B (zh) 用于生成信息的方法和装置
CN111260774A (zh) 生成3d关节点回归模型的方法和装置
CN115147265A (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN110111364B (zh) 运动检测方法、装置、电子设备及存储介质
EP4290459A1 (en) Augmented reality method and related device thereof
CN115049769A (zh) 角色动画生成方法、装置、计算机设备和存储介质
CN110853083B (zh) 一种变形场的处理方法、装置、电子设备及存储介质
CN111161330B (zh) 非刚性图像配准方法、装置、系统、电子设备、存储介质
CN114565590B (zh) 血管数据集扩增方法及装置、电子设备和存储介质
CN113781653B (zh) 对象模型生成方法、装置、电子设备及存储介质
CN113469091B (zh) 人脸识别方法、训练方法、电子设备及存储介质
CN111582208B (zh) 用于生成生物体姿态关键点信息的方法和装置
CN113570659A (zh) 拍摄装置位姿估计方法、装置、计算机设备和存储介质
CN116030150B (zh) 虚拟形象生成方法、装置、电子设备和介质
CN113610992B (zh) 骨骼驱动系数确定方法、装置、电子设备及可读存储介质
JP2020113116A (ja) モーション生成装置、モーション生成方法、及びプログラム
CN116386087B (zh) 目标对象处理方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant