CN108968916B - 呼吸运动校正方法、装置、计算机设备和存储介质 - Google Patents

呼吸运动校正方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN108968916B
CN108968916B CN201810626980.4A CN201810626980A CN108968916B CN 108968916 B CN108968916 B CN 108968916B CN 201810626980 A CN201810626980 A CN 201810626980A CN 108968916 B CN108968916 B CN 108968916B
Authority
CN
China
Prior art keywords
image
inspiration
deformation
expiratory
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810626980.4A
Other languages
English (en)
Other versions
CN108968916A (zh
Inventor
杨峰
付天宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ariemedi Medical Technology Beijing Co ltd
Original Assignee
Ariemedi Medical Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ariemedi Medical Technology Beijing Co ltd filed Critical Ariemedi Medical Technology Beijing Co ltd
Priority to CN201810626980.4A priority Critical patent/CN108968916B/zh
Publication of CN108968916A publication Critical patent/CN108968916A/zh
Application granted granted Critical
Publication of CN108968916B publication Critical patent/CN108968916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts

Abstract

本发明提供一种呼吸运动校正方法，包括：获取多组包含呼吸器官的样本图像，根据多组样本图像获取复合呼气形变场集合和复合吸气形变场集合；根据复合呼气形变场集合获取呼气模拟图像集合，以及根据复合吸气形变场集合获取吸气模拟图像集合；通过多组样本图像、呼气模拟图像集合、以及吸气模拟图像集合对预设的卷积神经网络进行训练，得到训练后卷积神经网络；获取待校正图像，利用训练后卷积神经网络对待校正图像中呼吸器官的呼吸运动进行校正。本发明的呼吸运动校正方法、装置、计算机设备和存储介质，通过对预设的卷积神经网络进行训练，从而可利用训练后卷积神经网络校正待校正图像中呼吸器官的呼吸运动，提高了对呼吸运动进行校正的精准性。

Description

呼吸运动校正方法、装置、计算机设备和存储介质
技术领域
本发明涉及医疗技术领域，尤其涉及一种呼吸运动校正方法、装置、计算机设备和存储介质。
背景技术
术前肝脏图像与术后肝脏图像的比对，是肝癌手术术后评估中验证治疗精确程度的重要手段。由于对术前肝脏图像和术后肝脏图像进行采集时，无法保证病人处于相同的呼吸节点，肝脏受呼吸影响产生滑动形变，因此得到的术前肝脏图像和术后肝脏图像之间存在呼吸运动形变。为了校正肝脏呼吸形变，必须将术前肝脏图像和术后肝脏图像进行配准，即对术后肝脏图像中的肝脏呼吸运动进行校正。
现有技术中，在对术后肝脏图像中的肝脏呼吸运动进行校正的过程中，第一类方法是将肝脏组织内实际发生的非刚性形变视为刚性形变，通过限制像素点位移量大小来实现不可压缩配准。例如，将不可压缩区域内像素点位移量限制在一个常量之内，或者先将图像中的不可压缩组织分割出来，并对整幅图像进行刚性配准，然后单独地对肝脏组织进行多分辨率的弹性配准，其中各像素点位移量限制在一个与当前分辨率相关的常量内，将弹性配准得到的形变场与刚性配准得到的形变场相结合得到最终形变场。由于肝脏属于柔性组织，受呼吸影响产生非刚性运动，因此该方法对肝脏呼吸运动校正的准确性非常低。
第二类方法是通过获得散度为0的无源场，将此无源场作为形变场作用于肝脏图像后保持体积不变，实现不可压缩配准。例如，引入形变场散度为0的限制条件，利用无散的径向基函数插值求得肝脏组织区域内各像素点的位移量，最终得到的该形变场即是一个散度为0的场，可在配准的过程中保证不可压缩性。该方法在肝脏图像形变较大的时候，不可压缩限制条件效果减弱，使得配准求得的形变场散度大于0，导致不可压缩性下降；且无源场只具备旋转分量，当术前肝脏图像与术后肝脏图像中出现较大的滑动形变时，只利用无源场进行形变则导致配准精度下降，大大降低了对肝脏呼吸运动校正的准确性。
发明内容
本发明的主要目的在于解决现有技术中对呼吸运动进行校正的精准性较低的技术问题，旨在提高对呼吸运动进行校正的精准性。
为实现上述目的，本发明提供一种呼吸运动校正方法，所述呼吸运动校正方法包括：
获取多组包含呼吸器官的样本图像，根据所述多组样本图像获取复合呼气形变场集合和复合吸气形变场集合；
根据所述复合呼气形变场集合获取呼气模拟图像集合，以及根据所述复合吸气形变场集合获取吸气模拟图像集合；
通过所述多组样本图像、呼气模拟图像集合、以及吸气模拟图像集合对预设的卷积神经网络进行训练，得到训练后卷积神经网络；
获取待校正图像，利用所述训练后卷积神经网络对所述待校正图像中呼吸器官的呼吸运动进行校正。
优选地，所述根据所述多组样本图像获取复合呼气形变场集合和复合吸气形变场集合具体包括：
根据所述多组样本图像获取第一呼气形变场集合和第一吸气形变场集合；
获取第二呼气形变场集合和第二吸气形变场集合；
将所述第一呼气形变场集合和第二呼气形变场集合进行复合，得到复合呼气形变场集合；
将所述第一吸气形变场集合和第二吸气形变场集合进行复合，得到复合吸气形变场集合。
优选地，所述根据所述多组样本图像获取第一呼气形变场集合和第一吸气形变场集合具体包括：
从所述多组样本图像中提取出各组对应的呼气末图像，得到呼气末图像集合，以及从所述多组样本图像中提取出各组对应的吸气末图像，得到吸气末图像集合；
从所述呼气末图像集合和吸气末图像集合中选择一对匹配的目标呼气末图像和目标吸气末图像；
将所述呼气末图像集合中除所述目标呼气末图像之外的其他呼气末图像，向所述目标呼气末图像配准，得到第一呼气形变场集合；
将所述吸气末图像集合中除所述目标吸气末图像之外的其他吸气末图像，向所述目标吸气末图像配准，得到第一吸气形变场集合。
优选地，所述获取第二呼气形变场集合和第二吸气形变场集合具体包括：
从所述多组样本图像中提取出各组对应的呼气节点图像，以及提取出各组对应的吸气节点图像；
通过预设的不可压缩配准的能量函数计算所述呼气节点图像与对应的呼气末图像之间的呼气速度场，以及计算所述吸气节点图像与对应的吸气末图像之间的吸气速度场；
分别对所述呼气速度场和吸气速度场进行分解，得到无源场、无旋场和调和场，并去除所述无旋场，利用所述调和场和预设的平移场补偿去除的所述无旋场，得到补偿后速度场；
将补偿后速度场输入所述能量函数进行下一次迭代，直到所述能量函数收敛，得到第二呼气形变场集合和第二吸气形变场集合。
优选地，所述根据所述复合呼气形变场集合获取呼气模拟图像集合，以及根据所述复合吸气形变场集合获取吸气模拟图像集合具体包括：
根据所述多组样本图像获取呼气末状态图谱和吸气末状态图谱；
获取所述呼气末状态图谱与所述多组样本图像中对应的呼气图像之间的第一配准信息，以及获取所述吸气末状态图谱与所述多组样本图像中对应的吸气图像之间的第二配准信息；
根据所述第一配准信息将所述呼气末状态图谱向所述呼气图像配准，得到第一形变场，以及根据所述第二配准信息将所述吸气末状态图谱向所述吸气图像配准，得到第二形变场；
根据所述第一形变场和所述复合呼气形变场集合获取呼气模拟图像集合，以及根据所述第二形变场和所述复合吸气形变场集合获取吸气模拟图像集合。
优选地，所述根据所述多组样本图像获取呼气末状态图谱和吸气末状态图谱具体包括：
从所述多组样本图像中提取出各组对应的呼气末图像，得到呼气末图像集合，以及从所述多组样本图像中提取出各组对应的吸气末图像，得到吸气末图像集合；
从所述呼气末图像集合和吸气末图像集合中选择匹配的一对目标呼气末图像和目标吸气末图像；
将所述呼气末图像集合中除所述目标呼气末图像之外的其他呼气末图像，向所述目标呼气末图像配准，得到第一呼气形变场集合；
将所述吸气末图像集合中除所述目标吸气末图像之外的其他吸气末图像，向所述目标吸气末图像配准，得到第一吸气形变场集合；
根据所述第一呼气形变场集合获取配准后呼气图像，以及根据所述第一吸气形变场集合获取配准后吸气图像；
根据所述配准后呼气图像获取呼气末状态图谱，以及根据所述配准后吸气图像获取吸气末状态图谱。
优选地，所述通过所述多组样本图像、呼气模拟图像集合、以及吸气模拟图像集合对预设的卷积神经网络进行训练，得到训练后卷积神经网络具体包括：
从所述多组样本图像中选择其中一张呼气图像作为当前呼气图像，以及从所述呼气模拟图像集合中选择与所述当前呼气图像标识匹配的呼气模拟图像作为当前呼气模拟图像；
从所述当前呼气图像中呼吸器官所在区域内提取第一预设区域，并从所述当前呼气模拟图像中呼吸器官所在区域内对应于所述第一预设区域的位置提取第二预设区域；
根据所述第一预设区域和所述第二预设区域对预设的卷积神经网络的参数进行收敛，返回执行从所述多组样本图像中选择其中一张呼气图像作为当前呼气图像，以及从所述呼气模拟图像集合中选择与所述当前呼气图像标识匹配的呼气模拟图像作为当前呼气模拟图像的步骤，直至所述呼气模拟图像集合中各个呼气模拟图像选择完毕；
以及，从所述多组样本图像中选择其中一张吸气图像作为当前吸气图像，以及从所述吸气模拟图像集合中选择与所述当前吸气图像标识匹配的吸气模拟图像作为当前吸气模拟图像；
从所述当前吸气图像中呼吸器官所在区域内提取第三预设区域，并从所述当前吸气模拟图像中呼吸器官所在区域内对应于所述第三预设区域的位置提取第四预设区域；
根据所述第三预设区域和所述第四预设区域对预设的卷积神经网络的参数进行收敛，返回执行从所述多组样本图像中选择其中一张吸气图像作为当前吸气图像，以及从所述吸气模拟图像集合中选择与所述当前吸气图像标识匹配的吸气模拟图像作为当前吸气模拟图像的步骤，直至所述吸气模拟图像集合中各个吸气模拟图像选择完毕，得到训练后卷积神经网络。
优选地，所述获取待校正图像，利用所述训练后卷积神经网络对所述待校正图像中呼吸器官的呼吸运动进行校正具体包括：
获取待校正图像，从所述待校正图像中呼吸器官所在区域内提取出多个子块；
通过训练后卷积神经网络计算所述多个子块对应的形变场，得到多个形变场；
将所述多个形变场进行重建，得到所述待校正图像的预测形变场；
根据所述预测形变场对所述待校正图像中呼吸器官的呼吸运动进行校正。
为实现上述目的，本发明另提供一种呼吸运动校正装置，所述呼吸运动校正装置包括：
形变场获取模块，用于获取多组包含呼吸器官的样本图像，根据所述多组样本图像获取复合呼气形变场集合和复合吸气形变场集合；
图像获取模块，用于根据所述复合呼气形变场集合获取呼气模拟图像集合，以及根据所述复合吸气形变场集合获取吸气模拟图像集合；
训练模块，用于通过所述多组样本图像、呼气模拟图像集合、以及吸气模拟图像集合对预设的卷积神经网络进行训练，得到训练后卷积神经网络；
校正模块，用于获取待校正图像，利用所述训练后卷积神经网络对所述待校正图像中呼吸器官的呼吸运动进行校正。
优选地，所述形变场获取模块包括：
第一获取单元，用于根据所述多组样本图像获取第一呼气形变场集合和第一吸气形变场集合；
第二获取单元，用于获取第二呼气形变场集合和第二吸气形变场集合；
第一复合单元，用于将所述第一呼气形变场集合和第二呼气形变场集合进行复合，得到复合呼气形变场集合；
第二复合单元，用于将所述第一吸气形变场集合和第二吸气形变场集合进行复合，得到复合吸气形变场集合。
优选地，所述第一获取单元，具体用于从所述多组样本图像中提取出各组对应的呼气末图像，得到呼气末图像集合，以及从所述多组样本图像中提取出各组对应的吸气末图像，得到吸气末图像集合；
从所述呼气末图像集合和吸气末图像集合中选择一对匹配的目标呼气末图像和目标吸气末图像；
将所述呼气末图像集合中除所述目标呼气末图像之外的其他呼气末图像，向所述目标呼气末图像配准，得到第一呼气形变场集合；
将所述吸气末图像集合中除所述目标吸气末图像之外的其他吸气末图像，向所述目标吸气末图像配准，得到第一吸气形变场集合。
优选地，所述第二获取单元，具体用于从所述多组样本图像中提取出各组对应的呼气节点图像，以及提取出各组对应的吸气节点图像；
通过预设的不可压缩配准的能量函数计算所述呼气节点图像与对应的呼气末图像之间的呼气速度场，以及计算所述吸气节点图像与对应的吸气末图像之间的吸气速度场；
分别对所述呼气速度场和吸气速度场进行分解，得到无源场、无旋场和调和场，并去除所述无旋场，利用所述调和场和预设的平移场补偿去除的所述无旋场，得到补偿后速度场；
将补偿后速度场输入所述能量函数进行下一次迭代，直到所述能量函数收敛，得到第二呼气形变场集合和第二吸气形变场集合。
优选地，所述图像获取模块包括：
图谱获取单元，用于根据所述多组样本图像获取呼气末状态图谱和吸气末状态图谱；
信息获取单元，用于获取所述呼气末状态图谱与所述多组样本图像中对应的呼气图像之间的第一配准信息，以及获取所述吸气末状态图谱与所述多组样本图像中对应的吸气图像之间的第二配准信息；
配准单元，用于根据所述第一配准信息将所述呼气末状态图谱向所述呼气图像配准，得到第一形变场，以及根据所述第二配准信息将所述吸气末状态图谱向所述吸气图像配准，得到第二形变场；
图像获取单元，用于根据所述第一形变场和所述复合呼气形变场集合获取呼气模拟图像集合，以及根据所述第二形变场和所述复合吸气形变场集合获取吸气模拟图像集合。
优选地，所述图谱获取单元，具体用于从所述多组样本图像中提取出各组对应的呼气末图像，得到呼气末图像集合，以及从所述多组样本图像中提取出各组对应的吸气末图像，得到吸气末图像集合；
从所述呼气末图像集合和吸气末图像集合中选择匹配的一对目标呼气末图像和目标吸气末图像；
将所述呼气末图像集合中除所述目标呼气末图像之外的其他呼气末图像，向所述目标呼气末图像配准，得到第一呼气形变场集合；
将所述吸气末图像集合中除所述目标吸气末图像之外的其他吸气末图像，向所述目标吸气末图像配准，得到第一吸气形变场集合；
根据所述第一呼气形变场集合获取配准后呼气图像，以及根据所述第一吸气形变场集合获取配准后吸气图像；
根据所述配准后呼气图像获取呼气末状态图谱，以及根据所述配准后吸气图像获取吸气末状态图谱。
优选地，所述训练模块，具体用于从所述多组样本图像中选择其中一张呼气图像作为当前呼气图像，以及从所述呼气模拟图像集合中选择与所述当前呼气图像标识匹配的呼气模拟图像作为当前呼气模拟图像；
从所述当前呼气图像中呼吸器官所在区域内提取第一预设区域，并从所述当前呼气模拟图像中呼吸器官所在区域内对应于所述第一预设区域的位置提取第二预设区域；
根据所述第一预设区域和所述第二预设区域对预设的卷积神经网络的参数进行收敛，返回执行从所述多组样本图像中选择其中一张呼气图像作为当前呼气图像，以及从所述呼气模拟图像集合中选择与所述当前呼气图像标识匹配的呼气模拟图像作为当前呼气模拟图像的步骤，直至所述呼气模拟图像集合中各个呼气模拟图像选择完毕；
以及，从所述多组样本图像中选择其中一张吸气图像作为当前吸气图像，以及从所述吸气模拟图像集合中选择与所述当前吸气图像标识匹配的吸气模拟图像作为当前吸气模拟图像；
从所述当前吸气图像中呼吸器官所在区域内提取第三预设区域，并从所述当前吸气模拟图像中呼吸器官所在区域内对应于所述第三预设区域的位置提取第四预设区域；
根据所述第三预设区域和所述第四预设区域对预设的卷积神经网络的参数进行收敛，返回执行从所述多组样本图像中选择其中一张吸气图像作为当前吸气图像，以及从所述吸气模拟图像集合中选择与所述当前吸气图像标识匹配的吸气模拟图像作为当前吸气模拟图像的步骤，直至所述吸气模拟图像集合中各个吸气模拟图像选择完毕，得到训练后卷积神经网络。
优选地，所述校正模块，具体用于获取待校正图像，从所述待校正图像中呼吸器官所在区域内提取出多个子块；
通过训练后卷积神经网络计算所述多个子块对应的形变场，得到多个形变场；
将所述多个形变场进行重建，得到所述待校正图像的预测形变场；
根据所述预测形变场对所述待校正图像中呼吸器官的呼吸运动进行校正。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述呼吸运动校正方法中的步骤。
一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行上述呼吸运动校正方法中的步骤。
本发明提供的呼吸运动校正方法、装置、计算机设备和存储介质，通过获取多组包含呼吸器官的样本图像，根据多组样本图像获取复合呼气形变场集合和复合吸气形变场集合；然后，根据复合呼气形变场集合获取呼气模拟图像集合，以及根据复合吸气形变场集合获取吸气模拟图像集合；其次，通过多组样本图像、呼气模拟图像集合、以及吸气模拟图像集合对预设的卷积神经网络进行训练，得到训练后卷积神经网络；最后，可以获取待校正图像，利用训练后卷积神经网络对待校正图像中呼吸器官的呼吸运动进行校正。实现了根据复合呼气形变场集合获取呼气模拟图像集合，以及根据复合吸气形变场集合获取吸气模拟图像集合，来对预设的卷积神经网络进行训练，从而可以利用训练后卷积神经网络校对校正图像中呼吸器官的呼吸运动进行校正，提高了对呼吸运动进行校正的精准性及效率。
附图说明
图1为本发明的呼吸运动校正方法第一实施例的流程示意图；
图2为本发明中呼气图像和吸气图像的示意图；
图3为本发明中获取复合呼气形变场集合和复合吸气形变场集合的流程示意图；
图4为图3中步骤S201的具体细化流程示意图；
图5为图3中步骤S202的具体细化流程示意图；
图6为本发明中获取呼气模拟图像集合和吸气模拟图像集合的流程示意图；
图7为本发明中对预设的卷积神经网络进行训练的示意图；
图8为本发明中利用训练后卷积神经网络对所述待校正图像中呼吸器官的呼吸运动进行校正的流程示意图；
图9为本发明的呼吸运动校正装置第一实施例的功能模块示意图；
图10为图9中所述形变场获取模块的具体细化功能模块示意图；
图11为图9中所述图像获取模块的具体细化功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明提出一种呼吸运动校正方法第一实施例，参见图1，图1为本发明的呼吸运动校正方法第一实施例的流程示意图。如图1所示，在本第一实施例中所述呼吸运动校正方法包括以下步骤：
步骤S10：获取多组包含呼吸器官的样本图像，根据所述多组样本图像获取复合呼气形变场集合和复合吸气形变场集合。
其中，呼吸器官可以包括肝脏或肺部等器官，以下将以呼吸器官为肝脏为例进行详细说明，例如，呼吸运动校正方法可以应用于肝癌手术术后评估，可以将术前图像和术后肝脏图像进行比对以验证治疗精确程度等。
样本图像可以是包含肝脏的影像，每组样本图像中可以包括多张图像，其中，一组样本图像可以包括一个人在一个呼吸周期内的三维影像，该三维影像加上各个图像中呼吸节点对应的标识，可以得到四维数据组，多组(即N组)样本图像即为多个人(即N个人，N的取值可以根据实际需要进行灵活设置)在整个呼吸周期的三维影像，还可以加上呼吸节点对应的标识，该标识可以是时间或编号等。
参见图2，图2中为一组样本图像的示意图，即为一个人在在整个呼吸周期的呼吸过程，包括呼气图像和吸气图像，该呼气图像包括在T50时刻对应的呼气末图像和在T60、T70、T80和T90时刻对应的呼气节点图像、该吸气图像包括在T00时刻对应的吸气末图像和在T10、T20、T30和T40时刻对应的吸气节点图像。
参见图3，图3为本发明中获取复合呼气形变场集合和复合吸气形变场集合的流程示意图。所述根据所述多组样本图像获取复合呼气形变场集合和复合吸气形变场集合具体包括：
步骤S201：根据所述多组样本图像获取第一呼气形变场集合和第一吸气形变场集合。
参见图4，图4为图3中步骤S201的具体细化流程示意图。所述步骤S201具体包括：
步骤S301：从所述多组样本图像中提取出各组对应的呼气末图像，得到呼气末图像集合，以及从所述多组样本图像中提取出各组对应的吸气末图像，得到吸气末图像集合；
步骤S302：从所述呼气末图像集合和吸气末图像集合中选择一对匹配的目标呼气末图像和目标吸气末图像；
步骤S303：将所述呼气末图像集合中除所述目标呼气末图像之外的其他呼气末图像，向所述目标呼气末图像配准，得到第一呼气形变场集合；
步骤S304：将所述吸气末图像集合中除所述目标吸气末图像之外的其他吸气末图像，向所述目标吸气末图像配准，得到第一吸气形变场集合。
在多组样本图像(例如包括N组三维影像和对应的时间)中，提取出各组对应的呼气末图像，得到呼气末图像集合，以及从多组样本图像中提取出各组对应的吸气末图像，得到吸气末图像集合；然后从呼气末图像集合和吸气末图像集合中，任意选择一对匹配的吸气末图像
Figure BDA0001699143560000111
(即目标吸气末图像)和呼气末图像
Figure BDA0001699143560000112
(即目标呼气末图像)，即该目标吸气末图像和目标呼气末图像为同一个人在整个呼吸周期内的同一组图像。
此时，可以将吸气末图像集合中除目标呼气末图像之外的其它组吸气末图像向目标吸气末图像配准，得到第一吸气形变场集合，即得到各组样本图像中吸气末图像的形变场集合
Figure BDA0001699143560000113
以及将呼气末图像集合中除目标呼气末图像之外的其他呼气末图像，向目标呼气末图像配准，得到第一呼气形变场集合，即得到各组组样本图像中呼气末图像的形变场集合
Figure BDA0001699143560000114
其中，配准是指将其它组的吸气末图像向选定的那一组的吸气末图像配准，配准后获得它们之间的形变场，利用该形变场可以将其它组的吸气末图像形变到选定的那一组吸气末图像所在的空间。同理，对于呼气末图像也一样，可以将其它组的呼气末图像向选定的那一组的呼气末图像配准，配准后获得它们之间的形变场，利用该形变场可以将其它组的呼气末图像形变到选定的那一组呼气末图像所在的空间。
步骤S202：获取第二呼气形变场集合和第二吸气形变场集合。
参见图5，图5为图3中步骤S202的具体细化流程示意图。所述步骤S202具体包括：
步骤S401：从所述多组样本图像中提取出各组对应的呼气节点图像，以及提取出各组对应的吸气节点图像；
步骤S402：通过预设的不可压缩配准的能量函数计算所述呼气节点图像与对应的呼气末图像之间的呼气速度场，以及计算所述吸气节点图像与对应的吸气末图像之间的吸气速度场；
步骤S403：分别对所述呼气速度场和吸气速度场进行分解，得到无源场、无旋场和调和场，并去除所述无旋场，利用所述调和场和预设的平移场补偿去除的所述无旋场，得到补偿后速度场；
步骤S404：将补偿后速度场输入所述能量函数进行下一次迭代，直到所述能量函数收敛，得到第二呼气形变场集合和第二吸气形变场集合。
对于每组样本图像，需要将吸气节点图像向吸气末图像配准，以及将呼气节点图像向呼气末图像配准，且保持肝脏不可压缩，其中，吸气节点图像为处于吸气节点的图像，呼气节点图像为处于呼气节点的图像，吸气末图像为处于吸气末端的图像，呼气末图像为处于呼气末端的图像。
具体地，可以从多组样本图像中提取出各组对应的呼气节点图像，以及提取出各组对应的吸气节点图像；通过预设的不可压缩配准的能量函数计算呼气节点图像与对应的呼气末图像之间的呼气速度场，以及计算吸气节点图像与对应的吸气末图像之间的吸气速度场，该呼气速度场和吸气速度场均可以包括待估计的速度场、中间速度场及更新场等。其中，预设的不可压缩配准的能量函数如下：
Figure BDA0001699143560000131
其中，R为吸气末图像或呼气末图像，M为处于其他呼吸节点的呼气节点图像或吸气节点图像，σi，σx和σd为权重因子，v和
Figure BDA00016991435600001313
分别为待估计的速度场与中间速度场。且v和
Figure BDA0001699143560000132
满足以下公式：
Figure BDA0001699143560000133
其中δv为更新速度场，将公式(2)代入能量函数，通过优化能量函数，获得形变场的更新场，其公式如下：
Figure BDA0001699143560000134
将求得的δv代入公式(2)，求得
Figure BDA0001699143560000135
此时，可以分别对呼气速度场和吸气速度场进行分解，得到无源场、无旋场和调和场，并去除无旋场，利用调和场和预设的平移场补偿去除的无旋场，得到补偿后速度场。例如对于指定不可压缩区域的呼气速度场和吸气速度场，即肝脏区域ΩI，利用霍奇-亥姆霍兹分解定理，将该区域的速度场
Figure BDA0001699143560000136
进行分解，获得对应的无源场fD、无旋场fC和调和场fH，其公式如下：
Figure BDA0001699143560000137
无源场、无旋场和调和场的公式如下：
Figure BDA0001699143560000138
Figure BDA0001699143560000139
Figure BDA00016991435600001310
Figure BDA00016991435600001311
Figure BDA00016991435600001312
其中公式(6)和(8)为泊松方程，通过求解，可以获得无源场fD、无旋场fC和调和场fH。
然后为了保证速度场的散度为零，去除速度场中的有源分量，即删除无旋场。同时，利用调和场和平移场(该平移场是在x、y或z轴向移动的刚性形变场)分别补偿去除的有源分量中的非线性和线性部分，得到补偿后速度场。补偿后速度场
Figure BDA0001699143560000141
公式如下：
Figure BDA0001699143560000142
其中
Figure BDA0001699143560000143
为调和场的权重，
Figure BDA0001699143560000144
为平移场，可以利用线性最小二乘法求解
Figure BDA0001699143560000145
及
Figure BDA0001699143560000146
根据求解的
Figure BDA0001699143560000147
及
Figure BDA0001699143560000148
每次迭代的速度场为：
Figure BDA0001699143560000149
将补偿后速度场输入能量函数进行下一次迭代，直到能量函数收敛，即通过不可压缩配准的能量函数计算各组对应的呼气节点图像与对应的呼气末图像之间的呼气速度场，对呼气速度场进行分解，得到呼气速度场对应的无源场、无旋场和调和场，并去除无旋场，利用调和场和预设的平移场补偿去除的无旋场，得到呼气速度场对应的补偿后速度场；将该补偿后速度场输入能量函数进行下一次迭代，直到能量函数收敛，得到第二呼气形变场集合。以及通过不可压缩配准的能量函数计算各组对应的吸气节点图像与对应的吸气末图像之间的吸气速度场，对吸气速度场进行分解，得到吸气速度场对应的无源场、无旋场和调和场，并去除无旋场，利用调和场和预设的平移场补偿去除的无旋场，得到吸气速度场对应的补偿后速度场；将该补偿后速度场输入能量函数进行下一次迭代，直到能量函数收敛，得到第二吸气形变场集合。
例如，将更新后的
Figure BDA00016991435600001411
作为下一次迭代的v，从而求解新的能量函数，通过不断重复，最终直到能量函数收敛，求得最优的形变场，即第二呼气形变场集合ES和第二吸气形变场集合IS。
步骤S203：将所述第一呼气形变场集合和第二呼气形变场集合进行复合，得到复合呼气形变场集合。
步骤S204：将所述第一吸气形变场集合和第二吸气形变场集合进行复合，得到复合吸气形变场集合。
将第二呼气形变场集合ES和第一呼气形变场集合
Figure BDA00016991435600001410
中各个时刻对应的形变场分别进行复合，得到复合呼气形变场集合RMES；以及将第二吸气形变场集合IS和第一吸气形变场集合
Figure BDA0001699143560000151
中各个时刻对应的形变场分别进行复合，得到复合吸气形变场集合RMIS，其中，吸气末状态图谱AI、呼气末状态图谱AE、复合呼气形变场集合RMES和复合吸气形变场集合RMIS可以组成呼吸运动模型。
步骤S20：根据所述复合呼气形变场集合获取呼气模拟图像集合，以及根据所述复合吸气形变场集合获取吸气模拟图像集合。
参见图6，图6为本发明中获取呼气模拟图像集合和吸气模拟图像集合的流程示意图。所述根据所述复合呼气形变场集合获取呼气模拟图像集合，以及根据所述复合吸气形变场集合获取吸气模拟图像集合具体包括：
步骤S501：根据所述多组样本图像获取呼气末状态图谱和吸气末状态图谱。
优选地，所述根据所述多组样本图像获取呼气末状态图谱和吸气末状态图谱具体包括：
从所述多组样本图像中提取出各组对应的呼气末图像，得到呼气末图像集合，以及从所述多组样本图像中提取出各组对应的吸气末图像，得到吸气末图像集合；
从所述呼气末图像集合和吸气末图像集合中选择匹配的一对目标呼气末图像和目标吸气末图像；
将所述呼气末图像集合中除所述目标呼气末图像之外的其他呼气末图像，向所述目标呼气末图像配准，得到第一呼气形变场集合；
将所述吸气末图像集合中除所述目标吸气末图像之外的其他吸气末图像，向所述目标吸气末图像配准，得到第一吸气形变场集合；
根据所述第一呼气形变场集合获取配准后呼气图像，以及根据所述第一吸气形变场集合获取配准后吸气图像；
根据所述配准后呼气图像获取呼气末状态图谱，以及根据所述配准后吸气图像获取吸气末状态图谱。
具体地，在多组样本图像中，提取出各组对应的呼气末图像，得到呼气末图像集合，以及从多组样本图像中提取出各组对应的吸气末图像，得到吸气末图像集合；然后从呼气末图像集合和吸气末图像集合中，任意选择一对匹配的吸气末图像
Figure BDA0001699143560000161
(即目标吸气末图像)和呼气末图像
Figure BDA0001699143560000162
(即目标呼气末图像)，即该目标吸气末图像和目标呼气末图像为同一个人在整个呼吸周期内的同一组图像。
此时，可以将吸气末图像集合中除目标呼气末图像之外的其它组吸气末图像向目标吸气末图像配准，得到第一吸气形变场集合，即得到各组样本图像中吸气末图像的形变场集合
Figure BDA0001699143560000163
以及将呼气末图像集合中除目标呼气末图像之外的其他呼气末图像，向目标呼气末图像配准，得到第一呼气形变场集合，即得到各组组样本图像中呼气末图像的形变场集合
Figure BDA0001699143560000164
然后，将求得的第一呼气形变场集合中的各个呼气形变场分别作用于对应的呼气图像，获得配准后呼气图像，将配准后呼气图像的像素值进行平均，获得肝脏区域的呼气末状态图谱AI。以及将求得的第一吸气形变场集合中的各个吸气形变场分别作用于对应的吸气图像，获得配准后吸气图像，将配准后吸气图像的像素值进行平均，获得肝脏区域的吸气末状态图谱AE。
步骤S502：获取所述呼气末状态图谱与所述多组样本图像中对应的呼气图像之间的第一配准信息，以及获取所述吸气末状态图谱与所述多组样本图像中对应的吸气图像之间的第二配准信息。
其中，第一配准信息和第二配准信息均包括互信息、重叠率及像素距离等。
步骤S503：根据所述第一配准信息将所述呼气末状态图谱向所述呼气图像配准，得到第一形变场，以及根据所述第二配准信息将所述吸气末状态图谱向所述吸气图像配准，得到第二形变场。
步骤S504：根据所述第一形变场和所述复合呼气形变场集合获取呼气模拟图像集合，以及根据所述第二形变场和所述复合吸气形变场集合获取吸气模拟图像集合。
在得到呼气末状态图谱AI和吸气末状态图谱AE后，可以将呼气末状态图谱AI与呼气图像(即术前呼气图像)进行配准，以及将吸气末状态图谱AE与吸气图像术(即术前吸气图像)进行配准。以呼气末状态图谱AI向术前呼气图像进行配准为例，相似性测度SIM如下：
Figure BDA0001699143560000171
其中，SIMMI表示呼气末状态图谱AI与术前呼气图像之间的互信息，该互信息是一种衡量图像间相似性的指标；SIMKS表示呼气末状态图谱AI与术前呼气图像中肝脏分割结果之间的重叠率(即肝脏体积重叠率)；SIMCP表示呼气末状态图谱AI与术前呼气图像中膈肌对应点间的距离，即呼气末状态图谱AI中膈肌区域内的每个像素点(x1，y1)，与术前呼气图像中膈肌区域内的每个像素点(x2，y2)之间的距离
Figure BDA0001699143560000172
ω1，ω2和ω3分别为SIMMI、SIMKS、及SIMCP对应的权重。通过利用梯度下降法优化公式(12)，即根据SIMMI、SIMKS、及SIMCP等第一配准信息将呼气末状态图谱向术前呼气图像配准，可以获得形变场
Figure BDA0001699143560000173
(即得到第一形变场)。同样的，可以利用公式(12)将吸气末状态图谱AE向术前吸气图像配准，获得形变场
Figure BDA0001699143560000174
(即第二形变场)。
将RMES经过
Figure BDA0001699143560000175
投影得到形变场集合EFS，然后将EFS作用于术前吸气图像，即利用EFS形变术前吸气图像，得到形变后的图像即为吸气模拟图像，从而可以获得处于吸气阶段的吸气模拟图像集合IE＝FoEFS。以及，将RMIS经过
Figure BDA0001699143560000176
投影得到形变场集合IFS，然后将IFS作用于术前呼气图像，即利用IFS形变术前呼气图像，得到形变后的图像即为呼气模拟图像，从而可以获得处于呼气阶段的呼气模拟图像集合II＝FoIFS。吸气模拟图像集合和呼气模拟图像集合组成的模拟图像集合I＝{II,IE}将作为卷积神经网络学习的训练样本。
步骤S30：通过所述多组样本图像、呼气模拟图像集合、以及吸气模拟图像集合对预设的卷积神经网络进行训练，得到训练后卷积神经网络。
优选地，所述通过所述多组样本图像、呼气模拟图像集合、以及吸气模拟图像集合对预设的卷积神经网络进行训练，得到训练后卷积神经网络具体包括：
从所述多组样本图像中选择其中一张呼气图像作为当前呼气图像，以及从所述呼气模拟图像集合中选择与所述当前呼气图像标识匹配的呼气模拟图像作为当前呼气模拟图像；
从所述当前呼气图像中呼吸器官所在区域内提取第一预设区域，并从所述当前呼气模拟图像中呼吸器官所在区域内对应于所述第一预设区域的位置提取第二预设区域；
根据所述第一预设区域和所述第二预设区域对预设的卷积神经网络的参数进行收敛，返回执行从所述多组样本图像中选择其中一张呼气图像作为当前呼气图像，以及从所述呼气模拟图像集合中选择与所述当前呼气图像标识匹配的呼气模拟图像作为当前呼气模拟图像的步骤，直至所述呼气模拟图像集合中各个呼气模拟图像选择完毕；
以及，从所述多组样本图像中选择其中一张吸气图像作为当前吸气图像，以及从所述吸气模拟图像集合中选择与所述当前吸气图像标识匹配的吸气模拟图像作为当前吸气模拟图像；
从所述当前吸气图像中呼吸器官所在区域内提取第三预设区域，并从所述当前吸气模拟图像中呼吸器官所在区域内对应于所述第三预设区域的位置提取第四预设区域；
根据所述第三预设区域和所述第四预设区域对预设的卷积神经网络的参数进行收敛，返回执行从所述多组样本图像中选择其中一张吸气图像作为当前吸气图像，以及从所述吸气模拟图像集合中选择与所述当前吸气图像标识匹配的吸气模拟图像作为当前吸气模拟图像的步骤，直至所述吸气模拟图像集合中各个吸气模拟图像选择完毕，得到训练后卷积神经网络。
从多组样本图像中选择其中一张呼气图像作为当前呼气图像，以及从呼气模拟图像集合中选择与当前呼气图像标识匹配(即相同时刻或相同编号等)的呼气模拟图像作为当前呼气模拟图像，如图7所示，然后，从当前呼气图像中呼吸器官所在区域内(即肝脏区域)提取第一预设区域，该第一预设区域可以是一个矩形的子块，该子块的形状和大小等可以根据实际需要进行灵活设置，并从当前呼气模拟图像中呼吸器官所在区域内对应于第一预设区域的位置提取第二预设区域，该第二预设区域可以是一个矩形的子块，该子块的形状和大小等可以根据实际需要进行灵活设置，该第一预设区域与第二预设区域的形状、大小及所在肝脏区域的位置一致。
其中，第一预设区域与第二预设区域可以包括多组，例如，在当前呼气图像和当前呼气模拟图像中，分别以呼吸器官所在区域的原点为第一个子块的原点，得到一组第一预设区域与第二预设区域，然后逐渐平原点位置，获得其他子块，其他组的第一预设区域与第二预设区域。
将每一组第一预设区域与第二预设区域分别作为预设的卷积神经网络的双通道输入，例如可以将第一预设区域作为第一通道输入，将第二预设区域作为第二通道输入，如图7所示，该卷积神经网络可以包括卷积层、激活层、联合层及反卷积层等，此时可以利用卷积神经网络的不同卷积核对输入的第一预设区域与第二预设区域执行卷积操作，使用修正线性单元(Rectified Linear Unit，ReLU)作为激活函数，或者将parametric ReLU作为激活函数，使用范数L1作为损失函数，可以输出x、y、z三个方向上的形变场，对应金标准(金标准是指用不可压缩算法求得的形变场)为子块区域的形变场。然后对卷积神经网络进行训练，返回执行从多组样本图像中选择其中一张呼气图像作为当前呼气图像，以及从呼气模拟图像集合中选择与当前呼气图像标识匹配的呼气模拟图像作为当前呼气模拟图像的步骤，直至呼气模拟图像集合中各个呼气模拟图像选择完毕，通过小批量梯度下降优化算法，调整卷积神经网络的权重及偏差等网络参数，实现损失函数的最小化。
同样的，对于吸气模拟图像集合和多组样本图像中吸气图像按照上述方法对卷积神经网络进行训练，得到训练后卷积神经网络。
步骤S40：获取待校正图像，利用所述训练后卷积神经网络对所述待校正图像中呼吸器官的呼吸运动进行校正。
参见图8，图8为本发明中利用所述训练后卷积神经网络对所述待校正图像中呼吸器官的呼吸运动进行校正的流程示意图。所述获取待校正图像，利用所述训练后卷积神经网络对所述待校正图像中呼吸器官的呼吸运动进行校正具体包括：
步骤S601：获取待校正图像，从所述待校正图像中呼吸器官所在区域内提取出多个子块；
步骤S602：通过训练后卷积神经网络计算所述多个子块对应的形变场，得到多个形变场；
步骤S603：将所述多个形变场进行重建，得到所述待校正图像的预测形变场；
步骤S604：根据所述预测形变场对所述待校正图像中呼吸器官的呼吸运动进行校正。
其中，待校正图像可以是术后呼气图像或术后吸气图像，将术后呼气图像或术后吸气图像统称为术后图像。对于术后图像(即待校正图像)，从术后图像中呼吸器官(即肝脏)所在区域内提取出多个子块，以及从术前图像中呼吸器官所在区域内的对应位置提取出多个子块，将这些子块分别输入训练后卷积神经网络，通过训练后卷积神经网络进行预测，即计算多个子块对应的形变场，得到多个形变场，将多个形变场进行重建，例如把所有子块的形变场重叠的部分进行平均，没有重叠的部分进行插值，从而获得术后图像的预测形变场，使得子块区域的稀疏形变场，通过重建获得整幅图像的稠密形变场。然后将该预测形变场作用于术后图像，获得术前图像与术后图像之间的配准结果，实现了对术后图像中呼吸器官的呼吸运动进行校正。
本实施例为了校正肝脏呼吸形变，可以将术前肝脏图像和术后肝脏图像进行配准。而由于肝脏组织细胞含水量很高，在形变的过程中可以被视为不可压缩组织，即保持自身体积不变，因此在配准的过程中需考虑保证肝脏不可压缩。通过考虑肝脏组织的不可压缩特性，在求解肝脏呼吸运动过程中，保持肝脏不可压缩，使得配准后的肝脏体积未发生变化，从而可以不精确求解肝脏呼吸运动，大大较小了运动误差，提高了手术术后的评估精度，另外，通过卷积神经网络进行计算，可以快速校正术后肝脏图像中肝脏的呼吸运动，消耗时间较短，提高了校正的效率。
以下以举例的方式本对本发明所提供的呼吸运动校正方法中各个步骤进行详细说明，该方法通过将多组样本图像进行不可压缩配准构建呼吸模型，其中在不可压缩配准中利用调和场对无旋场进行补偿，利用呼吸模型作用于样本图像以丰富训练样本，在此基础上，利用深度学习的卷积神经网络，建立样本图像表观与形变场的对应关系，对于输入的样本图像，实现快速的不可压缩配准融合。具体可以包括以下步骤：
一：在训练阶段：
第一步：构建呼吸状态图谱。对于多组样本图像，将其中的呼气末图像与吸气末图像，分别利用组群配准算法求解呼气末状态图谱和吸气末状态图谱(呼气末状态图谱和吸气末状态图谱组成呼吸状态图谱)，以及各个呼吸状态图谱到各个呼吸状态图像的形变场集合。例如，将多组样本图像中其它组的吸气末图像和呼气末图像，分别向其中一组的吸气末图像和呼气末图像配准，将配准后的图像像素值进行平均，获得肝脏吸气末状态图谱和呼气末状态图谱。
第二步：执行不可压缩配准。对于每组样本图像，采用基于滑动补偿的不可压缩配准算法，将吸气节点图像与呼气节点图像分别向吸气末图像和呼气末图像配准，求得对应的吸气形变场集合和呼气形变场集合。在不可压缩配准的过程中，实时对滑动形变进行补偿，实现不可压缩形变场快速精确的求解。
第三步：构建呼吸运动模型。将第一步与第二步求得的对应形变场(包括吸气形变场和呼气形变场)分别进行复合，复合后的形变场集合(包括复合吸气形变场集合和复合呼气形变场集合)与呼吸状态图谱构成呼吸运动模型。
第四步：应用呼吸运动模型。通过不同主体间配准算法将呼吸状态图谱向术前图像配准，并获得形变场，将该形变场通过第三步复合后的形变场投影到术前图像空间。投影后的形变场直接作用于术前图像，从而获得模拟的处于不同呼吸节点的图像(包括呼气模拟图像集合及吸气模拟图像集合)。通过构建呼吸运动模型，获得了肝脏呼吸运动规律，将其作用于术前图像，可以获得更加真实的模拟图像。
第五步：基于深度学习的呼吸运动预测。将利用第四步求得的模拟图像与对应的形变场，对卷积神经网络进行训练。在术前图像与模拟图像的对应位置上提取子块，将它们作为卷积神经网络的双通道输入，而它们对应的形变场则作为金标准，从而可以得到训练后卷积神经网络。
二：在测试阶段：
对于输入的术后图像和术前图像，分别提取子块，并将提取到的子块输入训练后卷积神经网络，获得预测形变场，将该预测形变场进行重建，获得图像的形变场，将该形变场作用于术后图像，实现了呼吸的补偿，得到最终的配准结果。利用卷积神经网络对呼吸运动预测，减少了不可压缩配准算法所消耗的时间，快速的求解术后图像和术前图像中肝脏间的呼吸运动。
上述实施例所提供的呼吸运动校正方法，通过获取多组包含呼吸器官的样本图像，根据多组样本图像获取复合呼气形变场集合和复合吸气形变场集合；然后，根据复合呼气形变场集合获取呼气模拟图像集合，以及根据复合吸气形变场集合获取吸气模拟图像集合；其次，通过多组样本图像、呼气模拟图像集合、以及吸气模拟图像集合对预设的卷积神经网络进行训练，得到训练后卷积神经网络；最后，可以获取待校正图像，利用训练后卷积神经网络对待校正图像中呼吸器官的呼吸运动进行校正。实现了根据复合呼气形变场集合获取呼气模拟图像集合，以及根据复合吸气形变场集合获取吸气模拟图像集合，对预设的卷积神经网络进行训练，从而可以利用训练后卷积神经网络校对校正图像中呼吸器官的呼吸运动进行校正，提高了对呼吸运动进行校正的精准性及效率。
本发明提供一种呼吸运动校正装置第一实施例，参见图9，图9为本发明的呼吸运动校正装置第一实施例的功能模块示意图。在第一实施例中，所述呼吸运动校正装置100包括：形变场获取模块110、图像获取模块120、训练模块130和校正模块140等。其中，形变场获取模块110，用于获取多组包含呼吸器官的样本图像，根据所述多组样本图像获取复合呼气形变场集合和复合吸气形变场集合；图像获取模块120，用于根据所述复合呼气形变场集合获取呼气模拟图像集合，以及根据所述复合吸气形变场集合获取吸气模拟图像集合；训练模块130，用于通过所述多组样本图像、呼气模拟图像集合、以及吸气模拟图像集合对预设的卷积神经网络进行训练，得到训练后卷积神经网络；校正模块140，用于获取待校正图像，利用所述训练后卷积神经网络对所述待校正图像中呼吸器官的呼吸运动进行校正。
其中，呼吸器官可以包括肝脏或肺部等器官，以下将以呼吸器官为肝脏为例进行详细说明。样本图像可以是包含肝脏的影像，每组样本图像中可以包括多张图像，其中，一组样本图像可以包括一个人在一个呼吸周期内的三维影像，该三维影像加上各个图像中呼吸节点对应的标识，可以得到四维数据组，多组(即N组)样本图像即为多个人(即N个人，N的取值可以根据实际需要进行灵活设置)在整个呼吸周期的三维影像，还可以加上呼吸节点对应的标识，该标识可以是时间或编号等。
参见图2，图2中为一组样本图像的示意图，即为一个人在在整个呼吸周期的呼吸过程，包括呼气图像和吸气图像，该呼气图像包括在T50时刻对应的呼气末图像和在T60、T70、T80和T90时刻对应的呼气节点图像、该吸气图像包括在T00时刻对应的吸气末图像和在T10、T20、T30和T40时刻对应的吸气节点图像。
参见图10，图10为图9中所述形变场获取模块110的具体细化功能模块示意图。上述第一实施例中所述形变场获取模块110包括：第一获取单元111、第二获取单元112、第一复合单元113和第二复合单元114。其中，第一获取单元111，用于根据所述多组样本图像获取第一呼气形变场集合和第一吸气形变场集合；第二获取单元112，用于获取第二呼气形变场集合和第二吸气形变场集合；第一复合单元113，用于将所述第一呼气形变场集合和第二呼气形变场集合进行复合，得到复合呼气形变场集合；第二复合单元114，用于将所述第一吸气形变场集合和第二吸气形变场集合进行复合，得到复合吸气形变场集合。
优选地，所述第一获取单元111，具体用于从所述多组样本图像中提取出各组对应的呼气末图像，得到呼气末图像集合，以及从所述多组样本图像中提取出各组对应的吸气末图像，得到吸气末图像集合；从所述呼气末图像集合和吸气末图像集合中选择一对匹配的目标呼气末图像和目标吸气末图像；将所述呼气末图像集合中除所述目标呼气末图像之外的其他呼气末图像，向所述目标呼气末图像配准，得到第一呼气形变场集合；将所述吸气末图像集合中除所述目标吸气末图像之外的其他吸气末图像，向所述目标吸气末图像配准，得到第一吸气形变场集合。
第一获取单元111在多组样本图像(例如包括N组三维影像和对应的时间)中，提取出各组对应的呼气末图像，得到呼气末图像集合，以及从多组样本图像中提取出各组对应的吸气末图像，得到吸气末图像集合；然后从呼气末图像集合和吸气末图像集合中，任意选择一对匹配的吸气末图像
Figure BDA0001699143560000231
(即目标吸气末图像)和呼气末图像
Figure BDA0001699143560000241
(即目标呼气末图像)，即该目标吸气末图像和目标呼气末图像为同一个人在整个呼吸周期内的同一组图像。
此时，第一获取单元111可以将吸气末图像集合中除目标呼气末图像之外的其它组吸气末图像向目标吸气末图像配准，得到第一吸气形变场集合，即得到各组样本图像中吸气末图像的形变场集合
Figure BDA0001699143560000242
以及将呼气末图像集合中除目标呼气末图像之外的其他呼气末图像，向目标呼气末图像配准，得到第一呼气形变场集合，即得到各组组样本图像中呼气末图像的形变场集合
Figure BDA0001699143560000243
其中，配准是指将其它组的吸气末图像向选定的那一组的吸气末图像配准，配准后获得它们之间的形变场，利用该形变场可以将其它组的吸气末图像形变到选定的那一组吸气末图像所在的空间。同理，对于呼气末图像也一样，第一获取单元111可以将其它组的呼气末图像向选定的那一组的呼气末图像配准，配准后获得它们之间的形变场，利用该形变场可以将其它组的呼气末图像形变到选定的那一组呼气末图像所在的空间。
优选地，所述第二获取单元112，具体用于从所述多组样本图像中提取出各组对应的呼气节点图像，以及提取出各组对应的吸气节点图像；通过预设的不可压缩配准的能量函数计算所述呼气节点图像与对应的呼气末图像之间的呼气速度场，以及计算所述吸气节点图像与对应的吸气末图像之间的吸气速度场；分别对所述呼气速度场和吸气速度场进行分解，得到无源场、无旋场和调和场，并去除所述无旋场，利用所述调和场和预设的平移场补偿去除的所述无旋场，得到补偿后速度场；将补偿后速度场输入所述能量函数进行下一次迭代，直到所述能量函数收敛，得到第二呼气形变场集合和第二吸气形变场集合。
对于每组样本图像，第二获取单元112需要将吸气节点图像向吸气末图像配准，以及将呼气节点图像向呼气末图像配准，且保持肝脏不可压缩，其中，吸气节点图像为处于吸气节点的图像，呼气节点图像为处于呼气节点的图像，吸气末图像为处于吸气末端的图像，呼气末图像为处于呼气末端的图像。
具体地，第二获取单元112可以从多组样本图像中提取出各组对应的呼气节点图像，以及提取出各组对应的吸气节点图像；通过预设的不可压缩配准的能量函数计算呼气节点图像与对应的呼气末图像之间的呼气速度场，以及计算吸气节点图像与对应的吸气末图像之间的吸气速度场，该呼气速度场和吸气速度场均可以包括待估计的速度场、中间速度场及更新场等。其中，预设的不可压缩配准的能量函数如下：
Figure BDA0001699143560000251
其中，R为吸气末图像或呼气末图像，M为处于其他呼吸节点的呼气节点图像或吸气节点图像，σi，σx和σd为权重因子，v和
Figure BDA0001699143560000252
分别为待估计的速度场与中间速度场。且v和
Figure BDA0001699143560000253
满足以下公式：
Figure BDA0001699143560000254
其中δv为更新速度场，将公式(2)代入能量函数，通过优化能量函数，获得形变场的更新场，其公式如下：
Figure BDA0001699143560000255
将求得的δv代入公式(2)，求得
Figure BDA0001699143560000256
此时，第二获取单元112可以分别对呼气速度场和吸气速度场进行分解，得到无源场、无旋场和调和场，并去除无旋场，利用调和场和预设的平移场补偿去除的无旋场，得到补偿后速度场。例如对于指定不可压缩区域的呼气速度场和吸气速度场，即肝脏区域ΩI，利用霍奇-亥姆霍兹分解定理，将该区域的速度场
Figure BDA0001699143560000257
进行分解，获得对应的无源场fD、无旋场fC和调和场fH，其公式如下：
Figure BDA0001699143560000258
无源场、无旋场和调和场的公式如下：
Figure BDA0001699143560000259
Figure BDA00016991435600002510
Figure BDA00016991435600002511
Figure BDA0001699143560000261
Figure BDA0001699143560000262
其中公式(6)和(8)为泊松方程，通过求解，可以获得无源场fD、无旋场fC和调和场fH。
然后为了保证速度场的散度为零，去除速度场中的有源分量，即删除无旋场。同时，利用调和场和平移场(该平移场是在x、y或z轴向移动的刚性形变场)分别补偿去除的有源分量中的非线性和线性部分，得到补偿后速度场。补偿后速度场
Figure BDA0001699143560000263
公式如下：
Figure BDA0001699143560000264
其中
Figure BDA0001699143560000265
为调和场的权重，
Figure BDA0001699143560000266
为平移场，可以利用线性最小二乘法求解
Figure BDA0001699143560000267
及
Figure BDA0001699143560000268
根据求解的
Figure BDA0001699143560000269
及
Figure BDA00016991435600002610
每次迭代的速度场为：
Figure BDA00016991435600002611
第二获取单元112将补偿后速度场输入能量函数进行下一次迭代，直到能量函数收敛，即通过不可压缩配准的能量函数计算各组对应的呼气节点图像与对应的呼气末图像之间的呼气速度场，对呼气速度场进行分解，得到呼气速度场对应的无源场、无旋场和调和场，并去除无旋场，利用调和场和预设的平移场补偿去除的无旋场，得到呼气速度场对应的补偿后速度场；将该补偿后速度场输入能量函数进行下一次迭代，直到能量函数收敛，得到第二呼气形变场集合。以及通过不可压缩配准的能量函数计算各组对应的吸气节点图像与对应的吸气末图像之间的吸气速度场，对吸气速度场进行分解，得到吸气速度场对应的无源场、无旋场和调和场，并去除无旋场，利用调和场和预设的平移场补偿去除的无旋场，得到吸气速度场对应的补偿后速度场；将该补偿后速度场输入能量函数进行下一次迭代，直到能量函数收敛，得到第二吸气形变场集合。
例如，将更新后的
Figure BDA00016991435600002612
作为下一次迭代的v，从而求解新的能量函数，通过不断重复，最终直到能量函数收敛，求得最优的形变场，即第二呼气形变场集合ES和第二吸气形变场集合IS。
第一复合单元113将第二呼气形变场集合ES和第一呼气形变场集合
Figure BDA0001699143560000271
中各个时刻对应的形变场分别进行复合，得到复合呼气形变场集合RMES；以及第二复合单元114将第二吸气形变场集合IS和第一吸气形变场集合
Figure BDA0001699143560000272
中各个时刻对应的形变场分别进行复合，得到复合吸气形变场集合RMIS，其中，吸气末状态图谱AI、呼气末状态图谱AE、复合呼气形变场集合RMES和复合吸气形变场集合RMIS可以组成呼吸运动模型。
参见图11，图11为图9中所述图像获取模块120的具体细化功能模块示意图。上述第一实施例中所述图像获取模块120包括：图谱获取单元121、信息获取单元122、配准单元123和图像获取单元124。其中，图谱获取单元121，用于根据所述多组样本图像获取呼气末状态图谱和吸气末状态图谱；信息获取单元122，用于获取所述呼气末状态图谱与所述多组样本图像中对应的呼气图像之间的第一配准信息，以及获取所述吸气末状态图谱与所述多组样本图像中对应的吸气图像之间的第二配准信息；配准单元123，用于根据所述第一配准信息将所述呼气末状态图谱向所述呼气图像配准，得到第一形变场，以及根据所述第二配准信息将所述吸气末状态图谱向所述吸气图像配准，得到第二形变场；图像获取单元124，用于根据所述第一形变场和所述复合呼气形变场集合获取呼气模拟图像集合，以及根据所述第二形变场和所述复合吸气形变场集合获取吸气模拟图像集合。
优选地，所述图谱获取单元121，具体用于从所述多组样本图像中提取出各组对应的呼气末图像，得到呼气末图像集合，以及从所述多组样本图像中提取出各组对应的吸气末图像，得到吸气末图像集合；从所述呼气末图像集合和吸气末图像集合中选择匹配的一对目标呼气末图像和目标吸气末图像；将所述呼气末图像集合中除所述目标呼气末图像之外的其他呼气末图像，向所述目标呼气末图像配准，得到第一呼气形变场集合；将所述吸气末图像集合中除所述目标吸气末图像之外的其他吸气末图像，向所述目标吸气末图像配准，得到第一吸气形变场集合；根据所述第一呼气形变场集合获取配准后呼气图像，以及根据所述第一吸气形变场集合获取配准后吸气图像；根据所述配准后呼气图像获取呼气末状态图谱，以及根据所述配准后吸气图像获取吸气末状态图谱。
具体地，在多组样本图像中，图谱获取单元121提取出各组对应的呼气末图像，得到呼气末图像集合，以及从多组样本图像中提取出各组对应的吸气末图像，得到吸气末图像集合；然后从呼气末图像集合和吸气末图像集合中，任意选择一对匹配的吸气末图像
Figure BDA0001699143560000281
(即目标吸气末图像)和呼气末图像
Figure BDA0001699143560000282
(即目标呼气末图像)，即该目标吸气末图像和目标呼气末图像为同一个人在整个呼吸周期内的同一组图像。
此时，可以将吸气末图像集合中除目标呼气末图像之外的其它组吸气末图像向目标吸气末图像配准，得到第一吸气形变场集合，即得到各组样本图像中吸气末图像的形变场集合
Figure BDA0001699143560000283
以及将呼气末图像集合中除目标呼气末图像之外的其他呼气末图像，向目标呼气末图像配准，得到第一呼气形变场集合，即得到各组组样本图像中呼气末图像的形变场集合
Figure BDA0001699143560000284
然后，图谱获取单元121将求得的第一呼气形变场集合中各个呼气形变场分别作用于对应的呼气图像，获得配准后呼气图像，将配准后呼气图像的像素值进行平均，获得肝脏区域的呼气末状态图谱AI。以及将求得的第一吸气形变场集合中各个吸气形变场分别作用于对应的吸气图像，获得配准后吸气图像，将配准后吸气图像的像素值进行平均获得肝脏区域的吸气末状态图谱AE。
在得到呼气末状态图谱AI和吸气末状态图谱AE后，可以将呼气末状态图谱AI与呼气图像(即术前呼气图像)进行配准，以及将吸气末状态图谱AE与吸气图像术(即术前吸气图像)进行配准。以呼气末状态图谱AI向术前呼气图像进行配准为例，相似性测度SIM如下：
Figure BDA0001699143560000285
其中，SIMMI表示呼气末状态图谱AI与术前呼气图像之间的互信息，该互信息是一种衡量图像间相似性的指标；SIMKS表示呼气末状态图谱AI与术前呼气图像中肝脏分割结果之间的重叠率(即肝脏体积重叠率)；SIMCP表示呼气末状态图谱AI与术前呼气图像中膈肌对应点间的距离，即呼气末状态图谱AI中膈肌区域内的每个像素点(x1，y1)，与术前呼气图像中膈肌区域内的每个像素点(x2，y2)之间的距离
Figure BDA0001699143560000286
ω1，ω2和ω3分别为SIMMI、SIMKS、及SIMCP对应的权重。信息获取单元122可以获取SIMMI、SIMKS、及SIMCP等第一配准信息，通过利用梯度下降法优化公式(12)，即根据SIMMI、SIMKS、及SIMCP等第一配准信息将呼气末状态图谱向术前呼气图像配准，由配准单元123可以获得形变场
Figure BDA0001699143560000291
(即得到第一形变场)。同样的，可以利用公式(12)将吸气末状态图谱AE向术前吸气图像配准，获得形变场
Figure BDA0001699143560000292
(即第二形变场)。
图像获取单元124将RMES经过
Figure BDA0001699143560000293
投影得到形变场集合EFS，然后将EFS作用于术前吸气图像，即利用EFS形变术前吸气图像，得到形变后的图像即为吸气模拟图像，从而可以获得处于吸气阶段的吸气模拟图像集合IE＝FoEFS。以及，将RMIS经过
Figure BDA0001699143560000294
投影得到形变场集合IFS，然后将IFS作用于术前呼气图像，即利用IFS形变术前呼气图像，得到形变后的图像即为呼气模拟图像，从而可以获得处于呼气阶段的呼气模拟图像集合II＝FoIFS。吸气模拟图像集合和呼气模拟图像集合组成的模拟图像集合I＝{II,IE}将作为卷积神经网络学习的训练样本。
优选地，所述训练模块130，具体用于从所述多组样本图像中选择其中一张呼气图像作为当前呼气图像，以及从所述呼气模拟图像集合中选择与所述当前呼气图像标识匹配的呼气模拟图像作为当前呼气模拟图像；从所述当前呼气图像中呼吸器官所在区域内提取第一预设区域，并从所述当前呼气模拟图像中呼吸器官所在区域内对应于所述第一预设区域的位置提取第二预设区域；根据所述第一预设区域和所述第二预设区域对预设的卷积神经网络的参数进行收敛，返回执行从所述多组样本图像中选择其中一张呼气图像作为当前呼气图像，以及从所述呼气模拟图像集合中选择与所述当前呼气图像标识匹配的呼气模拟图像作为当前呼气模拟图像的步骤，直至所述呼气模拟图像集合中各个呼气模拟图像选择完毕；
以及，从所述多组样本图像中选择其中一张吸气图像作为当前吸气图像，以及从所述吸气模拟图像集合中选择与所述当前吸气图像标识匹配的吸气模拟图像作为当前吸气模拟图像；从所述当前吸气图像中呼吸器官所在区域内提取第三预设区域，并从所述当前吸气模拟图像中呼吸器官所在区域内对应于所述第三预设区域的位置提取第四预设区域；根据所述第三预设区域和所述第四预设区域对预设的卷积神经网络的参数进行收敛，返回执行从所述多组样本图像中选择其中一张吸气图像作为当前吸气图像，以及从所述吸气模拟图像集合中选择与所述当前吸气图像标识匹配的吸气模拟图像作为当前吸气模拟图像的步骤，直至所述吸气模拟图像集合中各个吸气模拟图像选择完毕，得到训练后卷积神经网络。
训练模块130从多组样本图像中选择其中一张呼气图像作为当前呼气图像，以及从呼气模拟图像集合中选择与当前呼气图像标识匹配(即相同时刻或相同编号等)的呼气模拟图像作为当前呼气模拟图像，如图7所示，然后，训练模块130从当前呼气图像中呼吸器官所在区域内(即肝脏区域)提取第一预设区域，该第一预设区域可以是一个矩形的子块，该子块的形状和大小等可以根据实际需要进行灵活设置，并从当前呼气模拟图像中呼吸器官所在区域内对应于第一预设区域的位置提取第二预设区域，该第二预设区域可以是一个矩形的子块，该子块的形状和大小等可以根据实际需要进行灵活设置，该第一预设区域与第二预设区域的形状、大小及所在肝脏区域的位置一致。
其中，第一预设区域与第二预设区域可以包括多组，例如，在当前呼气图像和当前呼气模拟图像中，分别以呼吸器官所在区域的原点为第一个子块的原点，得到一组第一预设区域与第二预设区域，然后逐渐平原点位置，获得其他子块，其他组的第一预设区域与第二预设区域。
训练模块130将每一组第一预设区域与第二预设区域分别作为预设的卷积神经网络的双通道输入，例如可以将第一预设区域作为第一通道输入，将第二预设区域作为第二通道输入，如图7所示，该卷积神经网络可以包括卷积层、激活层、联合层及反卷积层等，此时可以利用卷积神经网络的不同卷积核对输入的第一预设区域与第二预设区域执行卷积操作，使用修正线性单元(Rectified Linear Unit，ReLU)作为激活函数，或者将parametric ReLU作为激活函数，使用范数L1作为损失函数，可以输出x、y、z三个方向上的形变场，对应金标准(金标准是指用不可压缩算法求得的形变场)为子块区域的形变场。然后对卷积神经网络进行训练，返回执行从多组样本图像中选择其中一张呼气图像作为当前呼气图像，以及从呼气模拟图像集合中选择与当前呼气图像标识匹配的呼气模拟图像作为当前呼气模拟图像的步骤，直至呼气模拟图像集合中各个呼气模拟图像选择完毕，通过小批量梯度下降优化算法，调整卷积神经网络的权重及偏差等网络参数，实现损失函数的最小化。
同样的，对于吸气模拟图像集合和多组样本图像中吸气图像按照上述方法对卷积神经网络进行训练，得到训练后卷积神经网络。
优选地，所述校正模块140，具体用于获取待校正图像，从所述待校正图像中呼吸器官所在区域内提取出多个子块；通过训练后卷积神经网络计算所述多个子块对应的形变场，得到多个形变场；将所述多个形变场进行重建，得到所述待校正图像的预测形变场；根据所述预测形变场对所述待校正图像中呼吸器官的呼吸运动进行校正。
其中，待校正图像可以是术后呼气图像或术后吸气图像，将术后呼气图像或术后吸气图像统称为术后图像。对于术后图像(即待校正图像)，校正模块140从术后图像中呼吸器官(即肝脏)所在区域内提取出多个子块，以及从术前图像中呼吸器官所在区域内的对应位置提取出多个子块，将这些子块分别输入训练后卷积神经网络，通过训练后卷积神经网络进行预测，即计算多个子块对应的形变场，得到多个形变场，将多个形变场进行重建，例如把所有子块的形变场重叠的部分进行平均，没有重叠的部分进行插值，从而获得术后图像的预测形变场，使得子块区域的稀疏形变场，通过重建获得整幅图像的稠密形变场。然后校正模块140将该预测形变场作用于术后图像，获得术前图像与术后图像之间的配准结果，实现了对术后图像中呼吸器官的呼吸运动进行校正。
上述实施例所提供的呼吸运动校正装置，通过形变场获取模块110获取多组包含呼吸器官的样本图像，根据多组样本图像获取复合呼气形变场集合和复合吸气形变场集合；然后，由图像获取模块120根据复合呼气形变场集合获取呼气模拟图像集合，以及根据复合吸气形变场集合获取吸气模拟图像集合；其次，由训练模块130通过多组样本图像、呼气模拟图像集合、以及吸气模拟图像集合对预设的卷积神经网络进行训练，得到训练后卷积神经网络；最后，校正模块140可以获取待校正图像，利用训练后卷积神经网络对待校正图像中呼吸器官的呼吸运动进行校正。实现了根据复合呼气形变场集合获取呼气模拟图像集合，以及根据复合吸气形变场集合获取吸气模拟图像集合，来对预设的卷积神经网络进行训练，从而可以利用训练后卷积神经网络校对校正图像中呼吸器官的呼吸运动进行校正，提高了对呼吸运动进行校正的精准性及效率。
本发明实施例还提供一种计算机设备，该计算机设备可以包括一个或者一个以上处理核心的处理器、一个或一个以上包含计算机可读存储介质的存储器、电源和输入单元等部件。其中：
处理器是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。优选地，处理器可包括一个或多个处理核心，处理器可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。
存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及呼吸运动校正。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据网络设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
计算机设备还包括给各个部件供电的电源，优选地，电源可以通过电源管理系统与处理器逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。该计算机设备还可包括输入单元，该输入单元可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。
具体在本实施例中，计算机设备中的处理器会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器中，并由处理器来运行存储在存储器中的应用程序，从而实现本发明实施例提供的呼吸运动校正方法，如下：
获取多组包含呼吸器官的样本图像，根据所述多组样本图像获取复合呼气形变场集合和复合吸气形变场集合；根据所述复合呼气形变场集合获取呼气模拟图像集合，以及根据所述复合吸气形变场集合获取吸气模拟图像集合；通过所述多组样本图像、呼气模拟图像集合、以及吸气模拟图像集合对预设的卷积神经网络进行训练，得到训练后卷积神经网络；获取待校正图像，利用所述训练后卷积神经网络对所述待校正图像中呼吸器官的呼吸运动进行校正。
优选地，所述根据所述多组样本图像获取复合呼气形变场集合和复合吸气形变场集合具体包括：根据所述多组样本图像获取第一呼气形变场集合和第一吸气形变场集合；获取第二呼气形变场集合和第二吸气形变场集合；将所述第一呼气形变场集合和第二呼气形变场集合进行复合，得到复合呼气形变场集合；将所述第一吸气形变场集合和第二吸气形变场集合进行复合，得到复合吸气形变场集合。
优选地，所述根据所述多组样本图像获取第一呼气形变场集合和第一吸气形变场集合具体包括：从所述多组样本图像中提取出各组对应的呼气末图像，得到呼气末图像集合，以及从所述多组样本图像中提取出各组对应的吸气末图像，得到吸气末图像集合；从所述呼气末图像集合和吸气末图像集合中选择一对匹配的目标呼气末图像和目标吸气末图像；将所述呼气末图像集合中除所述目标呼气末图像之外的其他呼气末图像，向所述目标呼气末图像配准，得到第一呼气形变场集合；将所述吸气末图像集合中除所述目标吸气末图像之外的其他吸气末图像，向所述目标吸气末图像配准，得到第一吸气形变场集合。
优选地，所述获取第二呼气形变场集合和第二吸气形变场集合具体包括：从所述多组样本图像中提取出各组对应的呼气节点图像，以及提取出各组对应的吸气节点图像；通过预设的不可压缩配准的能量函数计算所述呼气节点图像与对应的呼气末图像之间的呼气速度场，以及计算所述吸气节点图像与对应的吸气末图像之间的吸气速度场；分别对所述呼气速度场和吸气速度场进行分解，得到无源场、无旋场和调和场，并去除所述无旋场，利用所述调和场和预设的平移场补偿去除的所述无旋场，得到补偿后速度场；将补偿后速度场输入所述能量函数进行下一次迭代，直到所述能量函数收敛，得到第二呼气形变场集合和第二吸气形变场集合。
优选地，所述根据所述复合呼气形变场集合获取呼气模拟图像集合，以及根据所述复合吸气形变场集合获取吸气模拟图像集合具体包括：根据所述多组样本图像获取呼气末状态图谱和吸气末状态图谱；获取所述呼气末状态图谱与所述多组样本图像中对应的呼气图像之间的第一配准信息，以及获取所述吸气末状态图谱与所述多组样本图像中对应的吸气图像之间的第二配准信息；根据所述第一配准信息将所述呼气末状态图谱向所述呼气图像配准，得到第一形变场，以及根据所述第二配准信息将所述吸气末状态图谱向所述吸气图像配准，得到第二形变场；根据所述第一形变场和所述复合呼气形变场集合获取呼气模拟图像集合，以及根据所述第二形变场和所述复合吸气形变场集合获取吸气模拟图像集合。
优选地，所述获取待校正图像，利用所述训练后卷积神经网络对所述待校正图像中呼吸器官的呼吸运动进行校正具体包括：获取待校正图像，从所述待校正图像中呼吸器官所在区域内提取出多个子块；通过训练后卷积神经网络计算所述多个子块对应的形变场，得到多个形变场；将所述多个形变场进行重建，得到所述待校正图像的预测形变场；根据所述预测形变场对所述待校正图像中呼吸器官的呼吸运动进行校正。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种呼吸运动校正方法中的步骤。例如，该指令可以执行如下步骤：
获取多组包含呼吸器官的样本图像，根据所述多组样本图像获取复合呼气形变场集合和复合吸气形变场集合；根据所述复合呼气形变场集合获取呼气模拟图像集合，以及根据所述复合吸气形变场集合获取吸气模拟图像集合；通过所述多组样本图像、呼气模拟图像集合、以及吸气模拟图像集合对预设的卷积神经网络进行训练，得到训练后卷积神经网络；获取待校正图像，利用所述训练后卷积神经网络对所述待校正图像中呼吸器官的呼吸运动进行校正。
优选地，所述根据所述多组样本图像获取复合呼气形变场集合和复合吸气形变场集合具体包括：根据所述多组样本图像获取第一呼气形变场集合和第一吸气形变场集合；获取第二呼气形变场集合和第二吸气形变场集合；将所述第一呼气形变场集合和第二呼气形变场集合进行复合，得到复合呼气形变场集合；将所述第一吸气形变场集合和第二吸气形变场集合进行复合，得到复合吸气形变场集合。
优选地，所述根据所述多组样本图像获取第一呼气形变场集合和第一吸气形变场集合具体包括：从所述多组样本图像中提取出各组对应的呼气末图像，得到呼气末图像集合，以及从所述多组样本图像中提取出各组对应的吸气末图像，得到吸气末图像集合；从所述呼气末图像集合和吸气末图像集合中选择一对匹配的目标呼气末图像和目标吸气末图像；将所述呼气末图像集合中除所述目标呼气末图像之外的其他呼气末图像，向所述目标呼气末图像配准，得到第一呼气形变场集合；将所述吸气末图像集合中除所述目标吸气末图像之外的其他吸气末图像，向所述目标吸气末图像配准，得到第一吸气形变场集合。
优选地，所述获取第二呼气形变场集合和第二吸气形变场集合具体包括：从所述多组样本图像中提取出各组对应的呼气节点图像，以及提取出各组对应的吸气节点图像；通过预设的不可压缩配准的能量函数计算所述呼气节点图像与对应的呼气末图像之间的呼气速度场，以及计算所述吸气节点图像与对应的吸气末图像之间的吸气速度场；分别对所述呼气速度场和吸气速度场进行分解，得到无源场、无旋场和调和场，并去除所述无旋场，利用所述调和场和预设的平移场补偿去除的所述无旋场，得到补偿后速度场；将补偿后速度场输入所述能量函数进行下一次迭代，直到所述能量函数收敛，得到第二呼气形变场集合和第二吸气形变场集合。
优选地，所述根据所述复合呼气形变场集合获取呼气模拟图像集合，以及根据所述复合吸气形变场集合获取吸气模拟图像集合具体包括：根据所述多组样本图像获取呼气末状态图谱和吸气末状态图谱；获取所述呼气末状态图谱与所述多组样本图像中对应的呼气图像之间的第一配准信息，以及获取所述吸气末状态图谱与所述多组样本图像中对应的吸气图像之间的第二配准信息；根据所述第一配准信息将所述呼气末状态图谱向所述呼气图像配准，得到第一形变场，以及根据所述第二配准信息将所述吸气末状态图谱向所述吸气图像配准，得到第二形变场；根据所述第一形变场和所述复合呼气形变场集合获取呼气模拟图像集合，以及根据所述第二形变场和所述复合吸气形变场集合获取吸气模拟图像集合。
优选地，所述获取待校正图像，利用所述训练后卷积神经网络对所述待校正图像中呼吸器官的呼吸运动进行校正具体包括：获取待校正图像，从所述待校正图像中呼吸器官所在区域内提取出多个子块；通过训练后卷积神经网络计算所述多个子块对应的形变场，得到多个形变场；将所述多个形变场进行重建，得到所述待校正图像的预测形变场；根据所述预测形变场对所述待校正图像中呼吸器官的呼吸运动进行校正。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种呼吸运动校正方法中的步骤，因此，可以实现本发明实施例所提供的任一种呼吸运动校正方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种呼吸运动校正方法，其特征在于，所述方法包括：
获取多组包含呼吸器官的样本图像，根据所述多组样本图像获取复合呼气形变场集合和复合吸气形变场集合；
根据所述复合呼气形变场集合获取呼气模拟图像集合，以及根据所述复合吸气形变场集合获取吸气模拟图像集合；
通过所述多组样本图像、呼气模拟图像集合、以及吸气模拟图像集合对预设的卷积神经网络进行训练，得到训练后卷积神经网络；
获取待校正图像，从所述待校正图像中呼吸器官所在区域内提取出多个子块；
通过训练后卷积神经网络计算所述多个子块对应的形变场，得到多个形变场；
将所述多个形变场进行重建，得到所述待校正图像的预测形变场；
根据所述预测形变场对所述待校正图像中呼吸器官的呼吸运动进行校正。
2.根据权利要求1所述的呼吸运动校正方法，其特征在于，所述根据所述多组样本图像获取复合呼气形变场集合和复合吸气形变场集合具体包括：
根据所述多组样本图像获取第一呼气形变场集合和第一吸气形变场集合；
获取第二呼气形变场集合和第二吸气形变场集合；
将所述第一呼气形变场集合和第二呼气形变场集合进行复合，得到复合呼气形变场集合；
将所述第一吸气形变场集合和第二吸气形变场集合进行复合，得到复合吸气形变场集合。
3.根据权利要求2所述的呼吸运动校正方法，其特征在于，所述根据所述多组样本图像获取第一呼气形变场集合和第一吸气形变场集合具体包括：
从所述多组样本图像中提取出各组对应的呼气末图像，得到呼气末图像集合，以及从所述多组样本图像中提取出各组对应的吸气末图像，得到吸气末图像集合；
从所述呼气末图像集合和吸气末图像集合中选择一对匹配的目标呼气末图像和目标吸气末图像；
将所述呼气末图像集合中除所述目标呼气末图像之外的其他呼气末图像，向所述目标呼气末图像配准，得到第一呼气形变场集合；
将所述吸气末图像集合中除所述目标吸气末图像之外的其他吸气末图像，向所述目标吸气末图像配准，得到第一吸气形变场集合。
4.根据权利要求2所述的呼吸运动校正方法，其特征在于，所述获取第二呼气形变场集合和第二吸气形变场集合具体包括：
从所述多组样本图像中提取出各组对应的呼气节点图像，以及提取出各组对应的吸气节点图像；
通过预设的不可压缩配准的能量函数计算所述呼气节点图像与对应的呼气末图像之间的呼气速度场，以及计算所述吸气节点图像与对应的吸气末图像之间的吸气速度场；
分别对所述呼气速度场和吸气速度场进行分解，得到无源场、无旋场和调和场，并去除所述无旋场，利用所述调和场和预设的平移场补偿去除的所述无旋场，得到补偿后速度场；
将补偿后速度场输入所述能量函数进行下一次迭代，直到所述能量函数收敛，得到第二呼气形变场集合和第二吸气形变场集合。
5.根据权利要求1所述的呼吸运动校正方法，其特征在于，所述根据所述复合呼气形变场集合获取呼气模拟图像集合，以及根据所述复合吸气形变场集合获取吸气模拟图像集合具体包括：
根据所述多组样本图像获取呼气末状态图谱和吸气末状态图谱；
获取所述呼气末状态图谱与所述多组样本图像中对应的呼气图像之间的第一配准信息，以及获取所述吸气末状态图谱与所述多组样本图像中对应的吸气图像之间的第二配准信息；
根据所述第一配准信息将所述呼气末状态图谱向所述呼气图像配准，得到第一形变场，以及根据所述第二配准信息将所述吸气末状态图谱向所述吸气图像配准，得到第二形变场；
根据所述第一形变场和所述复合呼气形变场集合获取呼气模拟图像集合，以及根据所述第二形变场和所述复合吸气形变场集合获取吸气模拟图像集合。
6.根据权利要求5所述的呼吸运动校正方法，其特征在于，所述根据所述多组样本图像获取呼气末状态图谱和吸气末状态图谱具体包括：
从所述多组样本图像中提取出各组对应的呼气末图像，得到呼气末图像集合，以及从所述多组样本图像中提取出各组对应的吸气末图像，得到吸气末图像集合；
从所述呼气末图像集合和吸气末图像集合中选择匹配的一对目标呼气末图像和目标吸气末图像；
将所述呼气末图像集合中除所述目标呼气末图像之外的其他呼气末图像，向所述目标呼气末图像配准，得到第一呼气形变场集合；
将所述吸气末图像集合中除所述目标吸气末图像之外的其他吸气末图像，向所述目标吸气末图像配准，得到第一吸气形变场集合；
根据所述第一呼气形变场集合获取配准后呼气图像，以及根据所述第一吸气形变场集合获取配准后吸气图像；
根据所述配准后呼气图像获取呼气末状态图谱，以及根据所述配准后吸气图像获取吸气末状态图谱。
7.根据权利要求1至6任一项所述的呼吸运动校正方法，其特征在于，所述通过所述多组样本图像、呼气模拟图像集合、以及吸气模拟图像集合对预设的卷积神经网络进行训练，得到训练后卷积神经网络具体包括：
从所述多组样本图像中选择其中一张呼气图像作为当前呼气图像，以及从所述呼气模拟图像集合中选择与所述呼气图像标识匹配的呼气模拟图像作为当前呼气模拟图像；
从所述当前呼气图像中呼吸器官所在区域内提取第一预设区域，并从所述当前呼气模拟图像中呼吸器官所在区域内对应于所述第一预设区域的位置提取第二预设区域；
根据所述第一预设区域和所述第二预设区域对预设的卷积神经网络的参数进行收敛，返回执行从所述多组样本图像中选择其中一张呼气图像作为当前呼气图像，以及从所述呼气模拟图像集合中选择与所述呼气图像标识匹配的呼气模拟图像作为当前呼气模拟图像的步骤，直至所述呼气模拟图像集合中各个呼气模拟图像选择完毕；
以及，从所述多组样本图像中选择其中一张吸气图像作为当前吸气图像，以及从所述吸气模拟图像集合中选择与所述吸气图像标识匹配的吸气模拟图像作为当前吸气模拟图像；
从所述当前吸气图像中呼吸器官所在区域内提取第三预设区域，并从所述当前吸气模拟图像中呼吸器官所在区域内对应于所述第三预设区域的位置提取第四预设区域；
根据所述第三预设区域和所述第四预设区域对预设的卷积神经网络的参数进行收敛，返回执行从所述多组样本图像中选择其中一张吸气图像作为当前吸气图像，以及从所述吸气模拟图像集合中选择与所述吸气图像标识匹配的吸气模拟图像作为当前吸气模拟图像的步骤，直至所述吸气模拟图像集合中各个吸气模拟图像选择完毕，得到训练后卷积神经网络。
8.一种呼吸运动校正装置，其特征在于，所述呼吸运动校正装置包括：
形变场获取模块，用于获取多组包含呼吸器官的样本图像，根据所述多组样本图像获取复合呼气形变场集合和复合吸气形变场集合；
图像获取模块，用于根据所述复合呼气形变场集合获取呼气模拟图像集合，以及根据所述复合吸气形变场集合获取吸气模拟图像集合；
训练模块，用于通过所述多组样本图像、呼气模拟图像集合、以及吸气模拟图像集合对预设的卷积神经网络进行训练，得到训练后卷积神经网络；
校正模块，用于获取待校正图像，从所述待校正图像中呼吸器官所在区域内提取出多个子块；通过训练后卷积神经网络计算所述多个子块对应的形变场，得到多个形变场；将所述多个形变场进行重建，得到所述待校正图像的预测形变场；根据所述预测形变场对所述待校正图像中呼吸器官的呼吸运动进行校正。
9.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7任一项所述的呼吸运动校正方法中的步骤。
10.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的呼吸运动校正方法中的步骤。
CN201810626980.4A 2018-06-19 2018-06-19 呼吸运动校正方法、装置、计算机设备和存储介质 Active CN108968916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810626980.4A CN108968916B (zh) 2018-06-19 2018-06-19 呼吸运动校正方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810626980.4A CN108968916B (zh) 2018-06-19 2018-06-19 呼吸运动校正方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN108968916A CN108968916A (zh) 2018-12-11
CN108968916B true CN108968916B (zh) 2021-04-16

Family

ID=64540552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810626980.4A Active CN108968916B (zh) 2018-06-19 2018-06-19 呼吸运动校正方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN108968916B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109998487A (zh) * 2019-04-12 2019-07-12 上海联影医疗科技有限公司 用于影像扫描的呼吸监测方法、装置、设备及介质
CN110175958B (zh) * 2019-04-24 2021-05-25 艾瑞迈迪科技石家庄有限公司 一种基于医学影像的消融结果分析方法和系统
CN111260586B (zh) * 2020-01-20 2023-07-04 北京百度网讯科技有限公司 扭曲文档图像的矫正方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017042350A1 (en) * 2015-09-11 2017-03-16 INSERM (Institut National de la Santé et de la Recherche Médicale) Method and system for monitoring ventilatory parameter
CN105976364B (zh) * 2016-04-28 2019-02-15 北京理工大学 基于简化带权无向图的统计平均模型构建方法
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
CN107871325B (zh) * 2017-11-14 2020-06-19 华南理工大学 基于Log-Euclidean协方差矩阵描述符的图像非刚性配准方法

Also Published As

Publication number Publication date
CN108968916A (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
CN108968916B (zh) 呼吸运动校正方法、装置、计算机设备和存储介质
Yang et al. 4D‐CT motion estimation using deformable image registration and 5D respiratory motion modeling
EP2192855B1 (en) Patent breathing modeling
US9477878B2 (en) Rigid stabilization of facial expressions
McClelland et al. Inter-fraction variations in respiratory motion models
Prakosa et al. Generation of synthetic but visually realistic time series of cardiac images combining a biophysical model and clinical images
Mahapatra et al. Pathological retinal region segmentation from oct images using geometric relation based augmentation
CN104574456B (zh) 一种基于图正则化稀疏编码的磁共振超欠采样k数据成像方法
JP2021524631A (ja) 医用画像変換
Shin et al. Development of a deformable lung phantom with 3D‐printed flexible airways
CN115005985A (zh) 呼吸运动补偿数据处理方法、医学图像生成方法及装置
CN113989110A (zh) 肺部图像配准方法、装置、计算机设备和存储介质
CN108428245B (zh) 基于自适应正则项的滑移图像配准方法
Liu et al. Inflating 2D convolution weights for efficient generation of 3D medical images
CN112365479A (zh) Pet参数图像处理方法、装置、计算机设备及存储介质
Yu et al. 2d-3d regularized deformable b-spline registration: Application to the proximal femur
Deligianni et al. Non-rigid 2d-3d registration with catheter tip em tracking for patient specific bronchoscope simulation
Tanner et al. Robust exemplar model of respiratory liver motion and individualization using an additional breath-hold image
Eom et al. Modeling respiratory motion for cancer radiation therapy based on patient-specific 4DCT data
Fan Transformer-based deep learning method for the prediction of ventilator pressure
Han et al. A hybrid biomechanical model-based image registration method for sliding objects
Ladjal et al. Physiological and biomechanical model of patient specific lung motion based on 4D CT images
King et al. Cardiac respiratory motion modelling by simultaneous registration and modelling from dynamic MRI images
Wells et al. A flexible approach to motion correction in nuclear medicine
Liu et al. Anatomical Landmark-Guided Deformation Methods for Cranial Modeling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant