CN117830610A - 图像匹配网络模型优化方法、患者体表roi识别方法及装置 - Google Patents
图像匹配网络模型优化方法、患者体表roi识别方法及装置 Download PDFInfo
- Publication number
- CN117830610A CN117830610A CN202311671128.6A CN202311671128A CN117830610A CN 117830610 A CN117830610 A CN 117830610A CN 202311671128 A CN202311671128 A CN 202311671128A CN 117830610 A CN117830610 A CN 117830610A
- Authority
- CN
- China
- Prior art keywords
- image
- roi
- body surface
- matching
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 123
- 238000005457 optimization Methods 0.000 title claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims abstract description 63
- 238000011282 treatment Methods 0.000 claims abstract description 63
- 230000009466 transformation Effects 0.000 claims abstract description 53
- 238000013507 mapping Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 14
- 230000001131 transforming effect Effects 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000002591 computed tomography Methods 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 230000008901 benefit Effects 0.000 abstract description 2
- 210000001015 abdomen Anatomy 0.000 description 24
- 230000000875 corresponding effect Effects 0.000 description 21
- 230000033001 locomotion Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 17
- 238000001959 radiotherapy Methods 0.000 description 17
- 206010028980 Neoplasm Diseases 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000000241 respiratory effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000002203 pretreatment Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000011269 treatment regimen Methods 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 229910052719 titanium Inorganic materials 0.000 description 1
- 239000010936 titanium Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了图像匹配网络模型优化方法、患者体表ROI识别方法及装置，图像匹配网络模型优化方法包括：获取若干患者的图像对；并将图像对输入图像匹配网络模型进行多轮迭代优化训练，获得最优的图像匹配网络模型。患者体表ROI识别方法包括：获取患者检查过程中的第一图像和第一三维体表轮廓和在治疗过程中的第二图像和第二三维体表轮廓；在第一三维体表轮廓上选定第一体表ROI，并映射到第一图像上生成第一图像ROI；将第一图像和第二图像输入图像匹配网络模型，生成匹配点对集合，并计算获得单应性变换矩阵；通过单应性变换矩阵，将第一图像ROI变换生成第二图像ROI，并映射到第二三维体表轮廓上生成第二体表ROI。本发明自动识别的ROI结果精度高，耗时短。
Description
技术领域
本发明涉及医学图像处理技术领域，尤其是涉及一种图像匹配网络模型优化方法、患者体表ROI识别方法及装置。
背景技术
放射治疗作为肿瘤治疗较为先进的方法之一，在肿瘤的综合治疗手段中占有重要的地位。肿瘤放射治疗主要是通过直线加速器产生射线，利用射线来照射肿瘤靶区杀死癌症细胞，达到治疗的目的。由于在放射治疗过程中呼吸运动会导致肿瘤靶区产生移动，造成治疗射线无法精准照射到靶区，反而增加了照射到正常组织和器官的风险，对患者身体造成不可逆的伤害。因此，如何实现精准放疗已经成为现代放射治疗领域的一个关键研究问题。
目前出现了两种方法来辅助实现精准放射治疗。第一种方法是通过对患者扫描锥形束CT(Cone beam CT，CBCT)图像与计划CT(Computed Tomography，电子计算机断层扫描)图像进行配准，获取靶区位姿偏差并进行修正。这种方法存在的缺陷是：对患者造成辐射危害，且无法动态监测并修正靶区运动偏差。第二种方法是借助结构光学体表追踪系统，通过光学体表系统来实时获取患者体表轮廓并监测与靶区关联关系最强的体表轮廓ROI(Region Of Interest，感兴趣区域)的运动情况，一旦体表轮廓ROI运动监测值超出阈值，则会自动触发加速器联锁，停止出束，达到减少对正常组织和器官的照射的目的。这种方法对患者具有无辐射的优点，而且该方法能通过实时监测体表轮廓ROI运动来间接监测靶区位姿的变化。在CT扫描室采集体表轮廓并选定ROI后，目前临床上，在放射治疗室过程中基本还只是依靠治疗师凭肉眼观察和经验来手动勾画与在CT室选定ROI尽可能一致的ROI，这样手动勾画会存在较大的偏差，给患者3D表面ROI的运动跟踪带来了不确定性。而随着机器学习技术的发展，也出现了基于机器学习技术来识别患者体表ROI的方案，来避免手动勾画ROI带来的不确定性问题。
如公开号：CN112132860A，公开日为2020-12-25的配置成自动生成感兴趣区域的患者运动跟踪系统，该发明利用配置成利用存储的ROI描述性数据和3D表面向显示器和运动跟踪模块输出ROI标记的3D表面的ROI生成处理器来识别患者的体表ROI，其中ROI标记的3D表面由运动跟踪模块用于定位和/或治疗处于治疗室中的患者期间跟踪患者的运动。其中，ROI生成处理器通过配置为经训练的卷积神经网络的ROI模型来生成ROI标记的3D表面。但该方法所使用的卷积神经网络模型识别ROI标记的精度较低，而且耗时较久，不利于放射治疗等场景下对ROI识别精度和速度的较高要求。
发明内容
为克服相关技术中存在的问题，本发明提供一种图像匹配网络模型优化方法、患者体表ROI识别方法及装置，用以解决现有技术中的使用的神经网络模型识别ROI标记的精度较低，耗时较久的问题。
根据本发明的第一方面，提供一种图像匹配网络模型优化方法，所述方法包括：
获取若干患者的图像对，组成图像数据集；其中，所述图像对包括所述患者在检查过程中的第一图像和治疗过程中的第二图像；
将所述图像数据集输入所述图像匹配网络模型进行多轮迭代优化训练，获得最优的图像匹配网络模型；所述图像匹配网络模型用于对所述图像对中的所述第一图像和所述第二图像进行特征匹配，生成所述图像对的匹配点对集合。
优选地，所述图像匹配网络模型包括特征提取模块和特征匹配模块；
所述特征提取模块用于分别提取所述第一图像的第一特征点集和所述第二图像的第二特征点集；
所述特征匹配模块用于计算所述第一特征点集和所述第二特征点集中每个特征点之间的相似度和匹配度，并生成匹配点对集合。
优选地，所述特征匹配模块包括若干操作层；每个所述操作层包括一个更新模块和一个预测模块；
所述更新模块用于更新所述第一特征点集和所述第二特征点集中每个特征点的表示状态；
所述预测模块用于根据所述第一特征点集和所述第二特征点集中每个特征点的表示状态计算每个特征点之间的相似度和匹配度，并生成匹配点对集合。
优选地，所述更新模块包括分别对应所述第一特征点集和所述第二特征点集的两个自注意力单元，和一个交叉注意力单元；
所述自注意力单元和所述交叉注意力单元用于通过一个多层感知器将图像聚合消息更新每个所述特征点的表示状态：
其中，表示图像I中的特征点i的表示状态，/>表示源于图像S的图像聚合消息，[.|.]表示对/>和/>进行叠加；
其中，所述图像聚合消息由通过注意力机制生产的图像S中每个特征点j的表示状态的加权平均值计算获得：
其中，W为投影矩阵，表示图像I和S中的特征点i和j之间的注意力分数；
在所述自注意力单元中，所述图像I中的每个特征点i都注意同一图像I中的所有特征点，此时图像S＝I，且通过线性变换将每个特征点i的表示状态xi分解为键向量ki和查询向量qi，并计算特征点i和j之间的注意力得分为：
其中，为特征点之间的相对位置的旋转编码，pi和pi分别为特征点i和j的位置；
在所述交叉注意力单元中，所述图像I中的每个特征点i都注意另一图像S中的所有特征点，且通过线性变换计算每个特征点i的表示状态xi的键向量ki，并计算图像I和S中的特征点i和j之间的注意力分数为：
其中，从图像S到图像I的消息和从图像I到图像S的消息之间只计算一次相似度。
优选地，所述预测模块用于：
计算两个图像中的各个特征点之间的相似度：
其中，和/>分别为图像A和图像B中的特征点i和j的表示状态，/>表示特征点i和j之间的成对相似性分数矩阵，M和N分别为所述图像A和所述图像B中的特征点个数；
计算每个图像中的各个特征点的匹配度：
σi＝Sigmoid(Linear(xi))∈[0,1]
其中，σi表示特征点i的匹配性分数；并在所述特征点无法在另一个图像中检测到时，将所述特征点标记为不可匹配点，此时σi→0；
根据所述相似度和所述匹配度，计算生成两个图像中的各个特征点之间的分配矩阵：
其中，Pij表示所述图像A和所述图像B中的特征点i和j之间的分配矩阵；
当特征点i和特征点j都非不可匹配点，且特征点i与特征点j之间的相似度高于特征点i或特征点j与图像B或图像A中的任何其他特征点之间的相似度时，将所述特征点i和所述特征点j组成匹配点对；
在所有匹配点对中，选择所有分配矩阵Pij大于预设的分配阈值τ，且大于其所在行和列中的任何其他元素的匹配点对，组成所述匹配点对集合。
优选地，每个所述操作层还包括一个分类器模块；所述分类器模块用于：
通过一个多层感知器计算所述第一特征点集和所述第二特征点集中每个特征点的置信度：
ci＝Sigmoid(MLP(xi))∈[0,1]
其中，xi为特征点i的表示状态，ci为特征点i的置信度；
判断每个所述操作层中所有特征点中置信度超过指定的层置信标准的比例是否大于预设的可信比例阈值，并在所述比例大于所述可信比例阈值时停止对所述匹配点集合的推理：
其中，为图像A或图像B中的特征点i的置信度，N和M分别为图像A和图像B的特征点数量，α为所述可信比例阈值，λl为对应操作层l的层置信标准，且所述层置信标准λl根据每个分类器模块的验证准确性而逐层降低；
若所述比例不大于所述可信比例阈值，则在所述操作层中丢弃所有所述置信度超过所述层置信标准且匹配度为不可匹配的特征点，并将剩下的特征点传递至下一个操作层。
根据本发明的第二方面，提供一种患者体表ROI识别方法，所述方法包括：
获取所述患者在CT扫描室的第一图像和第一三维体表轮廓，以及在加速器治疗室的第二图像和第二三维体表轮廓；
在所述第一三维体表轮廓上选定第一体表ROI，并将所述第一体表ROI映射到所述第一图像上，生成第一图像ROI；
将所述第一图像和所述第二图像输入根据本发明任一实施例所述的图像匹配网络模型优化方法训练获得的图像匹配网络模型，生成匹配点对集合，并通过所述匹配点对集合计算获得所述第一图像到所述第二图像的单应性变换矩阵；
通过所述单应性变换矩阵，将所述第一图像ROI变换到所述第二图像上，获得第二图像ROI，并将所述第二图像ROI映射到所述第二三维体表轮廓上，生成第二体表ROI。
优选地，所述获取所述患者在检查过程的第一图像和第一三维体表轮廓，以及所述患者在治疗过程的第二图像和第二三维体表轮廓，包括：
获取所述患者在CT扫描室的第一图像和第一三维体表轮廓，以及所述患者在加速器治疗室的第二图像和第二三维体表轮廓。
优选地，所述将所述第一体表ROI映射到所述第一图像上，生成第一图像ROI，包括：
读取相机参数文件以获取相机的内参矩阵M3×4和外参矩阵N4×4；
根据世界坐标转换为像素坐标的计算公式：
其中，Xw、Yw和Zw分别为三维点在世界坐标系下的x、y和z轴坐标；Xc、Yc和Zc则分别为三维点转换到相机坐标系下的x、y和z轴坐标；x、y为三维点转换到像素坐标系下的x和y轴坐标；
将所述第一三维体表轮廓在世界坐标系下的每个三维点通过上述公式转换到所述第一图像上生成对应的二维像素点，其中，所述第一体表ROI中所有三维点投影生成的像素点组成的封闭区域为所述第一图像ROI。
优选地，所述通过所述匹配点对集合计算获得所述第一图像到所述第二图像的单应性变换矩阵，包括：
将所述匹配点对集合中的每一个匹配点对(P,Q)，应用到单应性变换公式中，获得所述第一图像到所述第二图像的单应性变换矩阵：
其中，H为所述单应性变换矩阵。
优选地，所述通过所述匹配点对集合计算获得所述第一图像到所述第二图像的单应性变换矩阵，包括：
在所述匹配点对集合中获取所有对应所述第一图像的特征点在所述第一图像ROI的范围内的匹配点对，组成ROI匹配点对集合；
通过所述ROI匹配点对集合计算获得所述第一图像到所述第二图像的单应性变换矩阵。
根据本发明的第三方面，提供一种患者体表ROI识别装置，所述装置包括：
数据获取模块，用于获取所述患者在检查过程的第一图像和第一三维体表轮廓，以及所述患者在治疗过程的第二图像和第二三维体表轮廓；
ROI选定模块，用于在所述第一三维体表轮廓上选定第一体表ROI，并将所述第一体表ROI映射到所述第一图像上，生成第一图像ROI；
图像匹配模块，用于将所述第一图像和所述第二图像输入根据本发明任一实施例所述的图像匹配网络模型优化方法训练获得的图像匹配网络模型，生成匹配点对集合，并通过所述匹配点对集合计算获得所述第一图像到所述第二图像的单应性变换矩阵；
ROI识别模块，用于通过所述单应性变换矩阵，将所述第一图像ROI变换到所述第二图像上，获得第二图像ROI，并将所述第二图像ROI映射到所述第二三维体表轮廓上，生成第二体表ROI。
本发明公开了一种图像匹配网络模型优化方法、患者体表ROI识别方法及装置，通过获取患者图像对对图像匹配网络模型进行优化训练，来获得最优的图像匹配网络模型，并依次通过将在检查过程中获取的第一三维体表轮廓上选定的第一体表ROI，映射到检查过程中获取的第一图像上，生成第一图像ROI；再通过由第一图像和在治疗过程中获取的第二图像输入训练获得的最优的图像匹配网络模型中生成的匹配点对集合计算获得的单应性变换矩阵，将第一图像ROI转换到第二图像中，生成第二图像ROI；再将第二图像ROI，映射到在治疗过程中获取的第二三维体表轮廓中，生成第二体表ROI，从而实现了当患者处于治疗过程中时，能够在患者的三维体表上自动识别出与检查过程中选定的ROI对应的ROI，避免了手动勾画可能存在的偏差，减小了给患者的3D表面ROI的运动跟踪带来的风险。而且，本发明使用优化训练获得的最优的图像匹配网络模型来对患者体表ROI识别过程中的第一图像和第二图像进行匹配，使得最后的体表ROI识别结果精度更高，耗时更短。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
图1是本发明根据一实施例示出的一种图像匹配网络模型优化方法地流程图。
图2是本发明根据一实施例示出的一种图像匹配网络模型的结构示意图。
图3是本发明根据一实施例示出的一种患者体表ROI识别方法的流程图。
图4a是本发明根据一实施例示出的一种患者左腹的图像ROI自动识别结果的对比示意图。
图4b是本发明根据一实施例示出的一种患者右腹的图像ROI自动识别结果的对比示意图。
图4c是本发明根据一实施例示出的一种患者下腹的图像ROI自动识别结果的对比示意图。
图5a是本发明根据一实施例示出的一种患者左腹的体表ROI自动识别结果的对比示意图。
图5b是本发明根据一实施例示出的一种患者右腹的体表ROI自动识别结果的对比示意图。
图5c是本发明根据一实施例示出的一种患者下腹的体表ROI自动识别结果的对比示意图。
图6是本发明根据一实施例示出的一种图像匹配网络模型优化装置的结构示意图。
图7是本发明根据一实施例示出的一种患者体表ROI识别装置的结构示意图。
图8是本发明根据一实施例示出的一种计算机设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
下面结合附图和具体实施方式对本发明做详细描述。
如图1所示，图1是本发明根据一实施例示出的一种图像匹配网络模型优化方法的流程图，包括以下步骤：
步骤S101，获取若干患者的图像对，组成图像数据集；其中，图像对包括患者在检查过程中的第一图像和治疗过程中的第二图像；
步骤S102，将图像数据集输入图像匹配网络模型进行多轮迭代优化训练，获得最优的图像匹配网络模型；图像匹配网络模型用于对图像对中的第一图像和第二图像进行特征匹配，生成图像对的匹配点对集合。
在本发明中，检查过程可以包括治疗前对患者进行身体检查的阶段，对患者的治疗方案进行计划的阶段，以及其他任何治疗前的准备阶段，本发明对此不作限制；而治疗过程则包括任何对患者进行治疗的实施阶段，例如肿瘤放射治疗的患者在加速器治疗室中进行放射治疗的过程，本发明对此不作限制。
在步骤S101中，患者在检查过程的第一图像可以是患者在CT扫描室中获取的第一图像，而患者在治疗过程的第二图像则可以是患者在加速器治疗室中获取的第二图像。在其他的实施例中，患者也可以以其他的方式于其他场景中获取第一图像和第二图像，本发明对此不作限制。
在步骤S102中，可以通过获取多个不同患者的图像对组成的图像数据集对图像匹配网络模型进行迭代训练，以获得准确率最佳的图像匹配网络模型。
具体地，如图2所示，图2是本发明根据一实施例示出的一种图像匹配网络模型的结构示意图，在步骤S302中所使用的图像匹配网络模型可以包括特征提取模块和特征匹配模块；其中，特征提取模块可以用于分别提取第一图像的第一特征点集和第二图像的第二特征点集；特征匹配模块可以用于计算第一特征点集和第二特征点集中每个特征点之间的相似度和匹配度，并生成匹配点对集合。
具体地，上述特征提取模块可以使用现有的任何一种图像特征提取方法，例如SIFT(Scale Invariant Feature Transform，尺度不变特征变换匹配算法)、SuperPoint或者其他图像特征提取算法，来提取第一图像的第一特征点集和第二图像的第二特征点集，本发明对此不作限制。
具体地，第一特征集和第二特征集中包括有第一图像和第二图像的若干个特征点，每个特征点由一组特征点位置p和相关的图像特征描述子d联合组成局部特征(p,d)。其中，特征点位置p由x坐标、y坐标和检测置信度c组成，即pi＝(x,y,c)；而图像特征描述子d则由特征提取算法提取获得。
具体地，上述特征匹配模块可以用于预测从第一图像和第二图像提取的局部特征集，第一特征集和第二特征集之间的部分匹配关系。
具体地，上述特征匹配模块可以包括若干操作层；每个操作层可以包括一个更新模块和一个预测模块；其中，更新模块可以用于更新第一特征点集和第二特征点集中每个特征点的表示状态；预测模块可以用于根据第一特征点集和第二特征点集中每个特征点的表示状态计算每个特征点之间的相似度和匹配度，并生成匹配点对集合。
具体地，该特征匹配模块中的操作层层数可以为9层，也可以根据实际需求设置为其他层数，以使得特征匹配更加充分的情况下计算量可以相对较小，即达到衡量精度和匹配耗时之间的平衡。
具体地，第一特征点集和第二特征点集中每个特征点的表示状态可以由特征提取模块中获得的图像特征描述子d获得：
xi＝di
具体地，上述更新模块可以包括分别对应第一特征点集和第二特征点集的两个自注意力单元(Self-attention)，和一个交叉注意力单元(Cross-attention)；其中，自注意力单元和交叉注意力单元可以用于通过一个多层感知器(Multi-Layer Perception，MLP)将图像聚合消息更新每个特征点的表示状态：
其中，表示图像I中的特征点i的表示状态，/>表示源于图像S的图像聚合消息，[.|.]表示对/>和/>进行叠加；
其中，图像聚合消息可以由通过注意力机制生产的图像S中每个特征点j的表示状态的加权平均值计算获得：
其中，W为投影矩阵，表示图像I和S中的特征点i和j之间的注意力分数；
在自注意力单元中，图像I中的每个特征点i都注意同一图像I中的所有特征点，此时图像S＝I，且通过线性变换将每个特征点i的表示状态xi分解为键向量ki和查询向量qi，并计算特征点i和j之间的注意力得分为：
其中，为特征点之间的相对位置的旋转编码，pi和pi分别为特征点i和j的位置；
在交叉注意力单元中，图像I中的每个特征点i都注意另一图像S中的所有特征点，且通过线性变换计算每个特征点i的表示状态xi的键向量ki，但不计算查询向量，并计算图像I和S中的特征点i和j之间的注意力分数为：
其中，从图像S到图像I的消息和从图像I到图像S的消息之间只计算一次相似度。
在自注意力单元中，使用了旋转编码R来定义特征点i和j之间的注意力得分aij，以捕捉它们之间的相对位置关系。通过将空间分割为个2D子空间，并进行旋转投影到可学习的基向量bk上，实现了位置编码。而旋转编码R使模型能够检索到具有学习到的相对位置的点j。这种编码在所有操作层中都是相同的，并且只计算一次并缓存。而在交叉注意力单元中，由于相对位置在图像间没有意义，因此不需要添加位置信息。
具体地，上述预测模块可以用于：
首先计算两个图像中的各个特征点之间的相似度(Similarity)：
其中，和/>分别为图像A和图像B中的特征点i和j的表示状态，/>表示特征点i和j之间的成对相似性分数矩阵，M和N分别为图像A和图像B中的特征点个数；成对相似性分数矩阵Sij表示了每对特征点成为对应关系的亲和性。
再计算每个图像中的各个特征点的匹配度(Matchability)：
σi＝Sigmoid(Linear(xi))∈[0,1]
其中，σi表示特征点i的匹配性分数；并在特征点无法在另一个图像中检测到时，将该特征点标记为不可匹配点，此时σi→0；
再根据相似度和匹配度，计算生成两个图像中的各个特征点之间的分配矩阵(Assignment)：
其中，Pij表示图像A和图像B中的特征点i和j之间的分配矩阵；
当特征点i和特征点j都非不可匹配点，且特征点i与特征点j之间的相似度高于特征点i或特征点j与图像B或图像A中的任何其他特征点之间的相似度时，将特征点i和特征点j组成匹配点对；即当且仅当两个点都被预测为可匹配，并且它们的相似性高于两个图像中的任何其他点时，点对(i,j)才会产生对应关系；
再在所有匹配点对中，选择所有分配矩阵Pij大于预设的分配阈值τ，且大于其所在行和列中的任何其他元素的匹配点对，组成匹配点对集合。
具体地，分配阈值τ可以根据实际需求进行设置，以调整模型的匹配精度，本发明对此不作限制。
具体地，每个操作层还可以包括一个分类器模块；该分类器模块可以用于预测给定的任何层的更新状态的分配置信度，并帮助决定是否停止推理过程；当图像对易于匹配时，早期层的预测结果与后期层的预测结果相同且置信度高，则可以提前输出这些预测结果并停止推理，从而避免不必要的计算；但如果只有少数点具有较高的置信度，则可以讲推理过程继续到下一个操作层，但可以通过舍弃(pruning)置信度较低且不可匹配的特征点，以减少后续操作层的计算量。
具体地，该分类器模块可以用于：
通过一个多层感知器计算第一特征点集和第二特征点集中每个特征点的置信度(confidence)：
ci＝Sigmoid(MLP(xi))∈[0,1]
其中，xi为特征点i的表示状态，ci为特征点i的置信度；
判断每个操作层中所有特征点中置信度超过指定的层置信标准的比例是否大于预设的可信比例阈值，并在比例大于可信比例阈值时停止对匹配点集合的推理：
其中，为图像A或图像B中的特征点i的置信度，N和M分别为图像A和图像B的特征点数量，α为可信比例阈值，λl为对应操作层l的层置信标准，且层置信标准λl根据每个分类器模块的验证准确性而逐层降低；
若比例不大于可信比例阈值，考虑被预测为既可信又不可匹配的点很可能不会在后续层次中对其他点的匹配有帮助，这些点通常位于图像中明显不可见的区域，因此，可以在每个操作层中丢弃所有置信度超过层置信标准且匹配度为不可匹配的特征点，并将剩下的特征点传递至下一个操作层，以此可以显著地减少计算量，并且由于更新模块中注意力单元的二次复杂度，这些舍弃的特征点并不会影响图像匹配的准确性。
具体地，上述可信比例阈值α和各个操作层对应的层置信标准λl可以根据实际需求继续设置，本发明对此不作限制。
如图3所示，图3是本发明根据一实施例示出的一种患者体表ROI识别方法的流程图，包括以下步骤：
步骤S301，获取患者在检查过程的第一图像和第一三维体表轮廓，以及患者在治疗过程的第二图像和第二三维体表轮廓；
步骤S302，在第一三维体表轮廓上选定第一体表ROI，并将第一体表ROI映射到第一图像上，生成第一图像ROI；
步骤S303，将第一图像和第二图像输入根据本发明任一实施例所述的图像匹配网络模型优化方法训练获得的图像匹配网络模型，生成匹配点对集合，并通过匹配点对集合计算获得第一图像到第二图像的单应性变换矩阵；
步骤S304，通过单应性变换矩阵，将第一图像ROI变换到第二图像上，获得第二图像ROI，并将第二图像ROI映射到第二三维体表轮廓上，生成第二体表ROI。
在步骤S301中，所获取的患者在检查过程的第一图像和第一三维体表轮廓为单一的定格图像和三维体表轮廓，该第一图像和第一三维体表轮廓用于作为图像匹配和选定ROI的参照标准，应包含患者在标准状态下的完整信息。而所获取的患者在治疗过程的第二图像和第二三维体表轮廓，既可以是单一的图像和三维体表轮廓，也可以是连续的一系列图像和三维体表轮廓中对应的一对，本发明对此不作限制。
同样地，在步骤S301中，检查过程可以包括治疗前对患者进行身体检查的阶段，对患者的治疗方案进行计划的阶段，以及其他任何治疗前的准备阶段，本发明对此不作限制；而治疗过程则包括任何对患者进行治疗的实施阶段，例如肿瘤放射治疗的患者在加速器治疗室中进行放射治疗的过程，本发明对此不作限制。
具体地，在步骤S301中，患者在检查过程的第一图像和第一三维体表轮廓可以是患者在CT扫描室中获取的第一图像和第一三维体表轮廓，而患者在治疗过程的第二图像和第二三维体表轮廓则可以是患者在加速器治疗室中获取的第二图像和第二三维体表轮廓。在其他的实施例中，患者也可以以其他的方式于其他场景中获取第一图像、第一三维体表轮廓、第二图像和第二三维体表轮廓，本发明对此不作限制。
具体地，在步骤S301中，在一些实施例中，可以使用双目结构化光采集系统获取患者的图像和三维体表轮廓，其中，双目结构化光采集系统可以包括安装在患者在CT扫描室或加速器治疗室所躺的治疗床上方的一个位于治疗床正上方或多个在治疗床上方形成一定夹角的双目结构光相机，而双目结构化光采集系统所获取的患者的图像为双目相机采集并矫正后的图像，三维体表轮廓为双目相机扫描患者采集获得的患者体表三维点云，具体地，双目相机的摆放位置也可以根据实际场景进行设置，只要其能够完整的扫描和获取患者的图像和三维体表轮廓即可，本发明对此不作限制；在一些实施例中，也可以使用其他可以用于获取患者的图像和三维体表轮廓的图像和三维轮廓采集系统或装置来同时或分别获取患者的图像和三维体表轮廓，例如使用常规的相机获取患者的图像，而使用三维体感摄影设备如Kinect来采集患者的三维体表轮廓，本发明对此不作限制。
在步骤S302中，可以先在第一三维体表轮廓上选定最合适的体表轮廓ROI，即第一体表ROI，该第一体表ROI为第一三维体表轮廓中的一部分点云区域。具体地，该第一三维体表轮廓可以在指定设备的显示屏界面进行显示，再由治疗师根据患者的实际情况通过ROI勾画工具手动控制鼠标拖动勾画ROI，来获得第一体表ROI。具体地，该第一体表ROI也可以通过其他方式，例如人工智能选择等，来获取，本发明对此不作限制。具体地，该第一体表ROI可以是圆形、方形或任意形状，该第一体表ROI可以是任意大小，本发明对此均不作限制。
而在选定第一体表ROI后，可以根据第一三维体表轮廓和第一图像的映射关系，将该第一体表ROI投影到第一图像上，从而获取第一图像ROI。
具体地，在步骤S302中将第一体表ROI映射到第一图像上，生成第一图像ROI时，可以包括：
读取相机参数文件以获取相机的内参矩阵M3×4和外参矩阵N4×4；
根据世界坐标转换为像素坐标的计算公式：
其中，Xw、Yw和Zw分别为三维点在世界坐标系下的x、y和z轴坐标；Xc、Yc和Zc则分别为三维点转换到相机坐标系下的x、y和z轴坐标；x、y为三维点转换到像素坐标系下的x和y轴坐标；
将第一三维体表轮廓在世界坐标系下的每个三维点通过上述公式转换到第一图像上生成对应的二维像素点，其中，第一体表ROI中所有三维点投影生成的像素点组成的封闭区域为第一图像ROI。
在步骤S303中，将步骤S301获得的第一图像和第二图像组成的图像对输入预先训练好的图像匹配网络模型中进行推理识别，该图像匹配网络模型可以推理识别出第一图像和第二图像中的匹配点对，并生成匹配点对集合。
具体地，可以使用本发明任一实施例所述的图像匹配网络模型优化方法寻来你获得最优的图像撇配网络模型，再使用该最优图像匹配网络模型对步骤S301获取的患者的第一图像和第二图像进行图像匹配，来获取第一图像和第二图像的匹配点对集合。
具体地，在步骤S303中，通过匹配点对集合计算获得第一图像到第二图像的单应性变换矩阵的过程，可以包括：
将匹配点对集合中的每一个匹配点对(P,Q)，应用到单应性变换公式中，获得第一图像到第二图像的单应性变换矩阵：
其中，H为单应性变换矩阵。
具体地，为了进一步提高ROI识别的精度，在步骤S303中通过匹配点对集合计算获得第一图像到第二图像的单应性变换矩阵，还可以包括：先在匹配点对集合中获取所有对应第一图像的特征点在第一图像ROI的范围内的匹配点对，组成ROI匹配点对集合；再通过ROI匹配点对集合计算获得第一图像到第二图像的单应性变换矩阵。即，在计算获得第一图像到第二图像的单应性变换矩阵时，仅使用匹配点对集合中对应位置在ROI区域内的匹配点对来计算，从而避免人体上非ROI选定的其他区域对单应性变换矩阵的影响，使得根据该单应性变换矩阵变换获得第二图像ROI准确性更高，从而使得最终识别的第二体表ROI的准确性更高。具体地，通过ROI匹配点对集合计算获得第一图像到第二图像的单应性变换矩阵的过程可以参照前述通过匹配点对集合计算获得第一图像到第二图像的单应性变换矩阵的过程。
在步骤S304中，可以使用步骤S303获得的单应性变换矩阵识别H出第二图像上的第二图像ROI，最后再根据第二图像和第二三维体表轮廓的映射关系，最终识别出第二三维体表轮廓中的第二体表ROI，该第二体表ROI为第二三维体表轮廓中的一部分点云区域。其中，第二图像ROI转换为第二体表ROI的实现过程可以参照上述第一体表ROI转换成第一图像ROI的过程，再次不再赘述。
具体地，在第一三维体表轮廓上选定的第一体表ROI可以是患者呼吸状态下放射治疗所对准的目标区域，则从第一三维体表轮廓上的第一体表ROI最终所推断出的第二体表ROI也是加速器治疗室中患者在呼吸状态下放射治疗所对准的目标区域的实时位置，从而可以根据该第二体表ROI来指导加速器治疗室中的发射治疗过程。具体地，该第一体表ROI和第二体表ROI也可以是比治疗的目标区域范围更小一圈的区域范围，以提高该第二体表ROI进行治疗的容错性。
具体地，为了判定体表ROI的识别效果，可以通过体表ROI的位置误差和耗时两个方面指标来进行量化。
具体地，首先可以分别获取在CT扫描室和加速器治疗室的患者的第一三维体表轮廓A和第一图像a，第二三维体表轮廓B和第二图像b。并在第一三维体表轮廓A上选择一个三维标记点P(保持标记点不掉)，作为用于确定第一三维体表轮廓A的第一体表ROI的中心点，然后获取该标记点在第二三维体表轮廓B上的坐标Q(x,y,z)，该坐标点为第二三维体表轮廓B上第二体表ROI的物理坐标，利用上述患者体表ROI识别方法识别第二三维体表轮廓B上的第二体表ROI，并获取该第二体表ROI的中心点坐标Q2(x2,y2,z2)，则体表ROI识别的位置误差R可按照以下公式计算：
R＝sqrt((x2-x)2+(y2-y)2+(z2-z)2)
具体地，在对n个不同患者的体表ROI进行识别时，第i个识别误差为Ri，则其平均误差可以按照以下公式计算：
其识别误差的标准差sr可以按照以下公式来计算：
/>
具体地，在对n个不同患者进行体表ROI识别中记录第i次体表ROI识别的耗时Ti，平均耗时为和耗时标准差st按照以下公式计算：
具体地，本发明还通过一次实验对本发明所述患者体表ROI识别方法进行验证。该次实验采用硬件为Intel(R)Xeon(R)Silver 4210 CPU@2.20GHz 2.19GHz(2个处理器)，RAM128GB，NVIDIA RTX 4000，Windows 10(64位)。其中，本发明所使用的图像匹配网络模型是在Pytorch 1.12.1(GPU)框架上训练的，并在VS2019上集成实现三种体表ROI识别方法，其中，包括基于ICP(Iterative Closest Point，迭代最近点)的体表ROI识别方法和基于SIFT的体表ROI识别方法，以及本发明提出的患者体表ROI识别方法。实验过程中所使用的数据为，在放疗实验室模拟放疗临床场景所采集的测试数据，其中分别获取了黄色人种男性50例和女性50例，其中男性：年龄(40±10)岁，身高(175±15)cm，体重(65±15)kg；女性：年龄(40±10)岁，身高(165±10)cm，体重(60±15)kg。再对所获取的体表轮廓数据(包含CT扫描室和加速器治疗室的体表轮廓)使用上述三种识别方法进行测试验证，分别按照上述公式分别计算出每例体表ROI的识别误差和耗时，并对100例体表识别结果进行统计学分析，其统计结果如表1所示：
表1三种不同识别方法分别对100例测试数据对比
其结果表明，本发明提出的患者体表ROI识别方法具有以下特征：1)位置误差的平均值最小，为ICP配准识别方法的5％，显著小于ICP和SIFT两种方法，验证了其识别准确性高；2)位置误差的标准差最小，验证了其识别的稳定性最好；3)平均耗时最少，仅为SIFT方法的11％，显著小于ICP和SIFT两种方法，验证了其识别效率最佳。综上所述，本发明提出的患者体表ROI识别方法在准确性、稳定性和效率上均有更好的表现。
另外，本发明还通过一实施例对本发明所识别的体表ROI结果进行展示，如图4a-4c和图5a-5c所示，本发明分别示出了三组图像ROI自动识别结果和三组体表ROI自动识别结果的对比示意图。
其中，图4a是本发明根据一实施例示出的一种患者左腹的图像ROI自动识别结果的对比示意图。其中，图4a左边为在CT扫描室获取的第一图像上的识别的患者左腹上的第一图像ROI；右边则为在加速器治疗室获取的第二图像上的识别的患者左腹上的第二图像ROI。
图4b是本发明根据一实施例示出的一种患者右腹的图像ROI自动识别结果的对比示意图。其中，图4b左边为在CT扫描室获取的第一图像上的识别的患者右腹上的第一图像ROI；右边则为在加速器治疗室获取的第二图像上的识别的患者右腹上的第二图像ROI。
图4c是本发明根据一实施例示出的一种患者下腹的图像ROI自动识别结果的对比示意图。其中，图4c左边为在CT扫描室获取的第一图像上的识别的患者下腹上的第一图像ROI；右边则为在加速器治疗室获取的第二图像上的识别的患者下腹上的第二图像ROI。
从图4a-4c可见，加速器治疗室均能准确识别到与CT扫描室选取的一致的图像ROI。
图5a是本发明根据一实施例示出的一种患者左腹的体表ROI自动识别结果的对比示意图。其中，图5a左边为在CT扫描室获取的第一三维体表轮廓上的识别的患者左腹上的第一体表ROI；右边则为在加速器治疗室获取的第二三维体表轮廓上的识别的患者左腹上的第二体表ROI。
图5b是本发明根据一实施例示出的一种患者右腹的体表ROI自动识别结果的对比示意图。其中，图5b左边为在CT扫描室获取的第一三维体表轮廓上的识别的患者右腹上的第一体表ROI；右边则为在加速器治疗室获取的第二三维体表轮廓上的识别的患者右腹上的第二体表ROI。
图5c是本发明根据一实施例示出的一种患者下腹的体表ROI自动识别结果的对比示意图。其中，图5c左边为在CT扫描室获取的第一三维体表轮廓上的识别的患者下腹上的第一体表ROI；右边则为在加速器治疗室获取的第二三维体表轮廓上的识别的患者下腹上的第二体表ROI。
从图5a-5c可见，加速器治疗室也均能准确识别到与CT扫描室选取的一致的体表ROI。
具体地，上述方法还可以在步骤S304获得第二体表ROI后，通过运动跟踪系统对第二体表ROI进行运动跟踪。如可以跟踪呼吸引起的患者表面的起伏运动，并通过跟踪这个运动来监测治疗情况，例如如果运动太大就会停止放出射线治疗，以避免对患者造成预期外的损伤。本发明所述的患者体表ROI识别方法是辅助运动跟踪的手段，可以利用识别ROI来监测ROI区域的运动，使其在治疗上更有意义。实验结果表明，本发明所述方法具有较好的识别性能，在精准识别体表ROI方面提供了有力的技术支持。该方法的提出可辅助肿瘤放射治疗中的体表追踪，提高从计划(CT扫描室)到实施(加速器治疗室)的一致性，达到更精准的放疗效果。
而近年来光学体表监测系统逐渐在临床放疗中作为图像引导系统使用，胸腹腔肿瘤运动与体表ROI具有很强的相关性，通过体表呼吸运动及相关ROI，可监测呼吸幅度和跟踪实时呼吸状态，判断肿瘤的大致运动情况。通过光学体表监测患者ROI，可以提升摆位精度，进而减少X光或CBCT等其余影像验证的次数，降低患者额外医疗辐射，提高了患者的舒适性。例如在左侧乳腺癌保乳术后的全乳放疗中，通过监测患者ROI，配合深吸气屏气技术实现对患者心脏的保护，心脏受量的增加会显著增加并发症概率以及死亡率。
与前文所述的图像匹配网络模型优化方法实施例相对应，本发明还提供一种图像匹配网络模型优化装置。
如图6所示，图6是本发明根据一实施例示出的一种图像匹配网络模型优化装置的结构示意图，包括以下模块：
图像数据集获取模块610，用于获取若干患者的图像对，组成图像数据集；其中，图像对包括患者在检查过程中的第一图像和治疗过程中的第二图像；
图像匹配网络模型训练模块620，用于将图像数据集输入图像匹配网络模型进行多轮迭代优化训练，获得最优的图像匹配网络模型；图像匹配网络模型用于对图像对中的第一图像和第二图像进行特征匹配，生成图像对的匹配点对集合。
具体地，上述图像匹配网络模型可以包括特征提取模块和特征匹配模块；其中，特征提取模块可以用于分别提取第一图像的第一特征点集和第二图像的第二特征点集；特征匹配模块可以用于计算第一特征点集和第二特征点集中每个特征点之间的相似度和匹配度，并生成匹配点对集合。
具体地，上述特征匹配模块可以包括若干操作层；每个操作层可以包括一个更新模块和一个预测模块；其中，更新模块可以用于更新第一特征点集和第二特征点集中每个特征点的表示状态；预测模块可以用于根据第一特征点集和第二特征点集中每个特征点的表示状态计算每个特征点之间的相似度和匹配度，并生成匹配点对集合。
具体地，上述更新模块可以包括分别对应第一特征点集和第二特征点集的两个自注意力单元，和一个交叉注意力单元；其中，自注意力单元和交叉注意力单元可以用于通过一个多层感知器将图像聚合消息更新每个特征点的表示状态：
其中，表示图像I中的特征点i的表示状态，/>表示源于图像S的图像聚合消息，[.|.]表示对/>和/>进行叠加；
其中，图像聚合消息可以由通过注意力机制生产的图像S中每个特征点j的表示状态的加权平均值计算获得：
其中，W为投影矩阵，表示图像I和S中的特征点i和j之间的注意力分数；
在自注意力单元中，图像I中的每个特征点i都注意同一图像I中的所有特征点，此时图像S＝I，且通过线性变换将每个特征点i的表示状态xi分解为键向量ki和查询向量qi，并计算特征点i和j之间的注意力得分为：
其中，为特征点之间的相对位置的旋转编码，pi和pi分别为特征点i和j的位置；
在交叉注意力单元中，图像I中的每个特征点i都注意另一图像S中的所有特征点，且通过线性变换计算每个特征点i的表示状态xi的键向量ki，并计算图像I和S中的特征点i和j之间的注意力分数为：
其中，从图像S到图像I的消息和从图像I到图像S的消息之间只计算一次相似度。
具体地，上述预测模块可以用于：
首先计算两个图像中的各个特征点之间的相似度：
其中，和/>分别为图像A和图像B中的特征点i和j的表示状态，/>表示特征点i和j之间的成对相似性分数矩阵，M和N分别为图像A和图像B中的特征点个数；
再计算每个图像中的各个特征点的匹配度：
σi＝Sigmoid(Linear(xi))∈[0,1]
其中，σi表示特征点i的匹配性分数；并在特征点无法在另一个图像中检测到时，将该特征点标记为不可匹配点，此时σi→0；
再根据相似度和匹配度，计算生成两个图像中的各个特征点之间的分配矩阵：
其中，Pij表示图像A和图像B中的特征点i和j之间的分配矩阵；
当特征点i和特征点j都非不可匹配点，且特征点i与特征点j之间的相似度高于特征点i或特征点j与图像B或图像A中的任何其他特征点之间的相似度时，将特征点i和特征点j组成匹配点对；
再在所有匹配点对中，选择所有分配矩阵Pij大于预设的分配阈值τ，且大于其所在行和列中的任何其他元素的匹配点对，组成匹配点对集合。
具体地，每个操作层还可以包括一个分类器模块；该分类器模块可以用于：
通过一个多层感知器计算第一特征点集和第二特征点集中每个特征点的置信度：
ci＝Sigmoid(MLP(xi))∈[0,1]
其中，xi为特征点i的表示状态，ci为特征点i的置信度；
判断每个操作层中所有特征点中置信度超过指定的层置信标准的比例是否大于预设的可信比例阈值，并在比例大于可信比例阈值时停止对匹配点集合的推理：
其中，为图像A或图像B中的特征点i的置信度，N和M分别为图像A和图像B的特征点数量，α为可信比例阈值，λl为对应操作层l的层置信标准，且层置信标准λl根据每个分类器模块的验证准确性而逐层降低；
若比例不大于可信比例阈值，则在操作层中丢弃所有置信度超过层置信标准且匹配度为不可匹配的特征点，并将剩下的特征点传递至下一个操作层。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
与前文所述的患者体表ROI识别方法实施例相对应，本发明还提供一种患者体表ROI识别装置。
如图7所示，图7是本发明根据一实施例示出的一种患者体表ROI识别装置的结构示意图，包括以下模块：
数据获取模块710，用于获取患者在检查过程的第一图像和第一三维体表轮廓，以及患者在治疗过程的第二图像和第二三维体表轮廓；
ROI选定模块720，用于在第一三维体表轮廓上选定第一体表ROI，并将第一体表ROI映射到第一图像上，生成第一图像ROI；
图像匹配模块730，用于将第一图像和第二图像输入根据本发明任一实施例所述的图像匹配网络模型优化方法训练获得的图像匹配网络模型，生成匹配点对集合，并通过匹配点对集合计算获得第一图像到第二图像的单应性变换矩阵；
ROI识别模块740，用于通过单应性变换矩阵，将第一图像ROI变换到第二图像上，获得第二图像ROI，并将第二图像ROI映射到第二三维体表轮廓上，生成第二体表ROI。
具体地，在数据获取模块710中获取患者在检查过程的第一图像和第一三维体表轮廓，以及患者在治疗过程的第二图像和第二三维体表轮廓时，可以包括：
获取患者在CT扫描室的第一图像和第一三维体表轮廓，以及患者在加速器治疗室的第二图像和第二三维体表轮廓。
具体地，在ROI选定模块720中将第一体表ROI映射到第一图像上，生成第一图像ROI时，可以包括：
读取相机参数文件以获取相机的内参矩阵M3×4和外参矩阵N4×4；
根据世界坐标转换为像素坐标的计算公式：
其中，Xw、Yw和Zw分别为三维点在世界坐标系下的x、y和z轴坐标；Xc、Yc和Zc则分别为三维点转换到相机坐标系下的x、y和z轴坐标；x、y为三维点转换到像素坐标系下的x和y轴坐标；
将第一三维体表轮廓在世界坐标系下的每个三维点通过上述公式转换到第一图像上生成对应的二维像素点，其中，第一体表ROI中所有三维点投影生成的像素点组成的封闭区域为第一图像ROI。
具体地，在图像匹配模块730中通过匹配点对集合计算获得第一图像到第二图像的单应性变换矩阵时，可以包括：
将匹配点对集合中的每一个匹配点对(P,Q)，应用到单应性变换公式中，获得第一图像到第二图像的单应性变换矩阵：
其中，H为单应性变换矩阵。
具体地，在图像匹配模块730中通过匹配点对集合计算获得第一图像到第二图像的单应性变换矩阵，还可以包括：
在匹配点对集合中获取所有对应第一图像的特征点在第一图像ROI的范围内的匹配点对，组成ROI匹配点对集合；
通过ROI匹配点对集合计算获得第一图像到第二图像的单应性变换矩阵。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明还提供一种计算机设备，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现前述任一实施例所述的图像匹配网络模型优化方法和患者体表ROI识别方法中的任意一种，或者可以同时实现前述任一实施例所述的图像匹配网络模型优化方法和患者体表ROI识别方法。
图8示出了本发明所提供的一种更为具体的计算设备硬件结构示意图，该设备可以包括：处理器801、存储器802、输入/输出接口803、通信接口804和总线805。其中处理器801、存储器802、输入/输出接口803和通信接口804通过总线805实现彼此之间在设备内部的通信连接。
处理器801可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本发明所提供的技术方案。处理器801还可以包括显卡，所述显卡可以是Nvidia titan X显卡或者1080Ti显卡等。
存储器802可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器802可以存储操作系统和其他应用程序，在通过软件或者固件来实现本发明所提供的技术方案时，相关的程序代码保存在存储器802中，并由处理器801来调用执行。
输入/输出接口803用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口804用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线805包括一通路，在设备的各个组件(例如处理器801、存储器802、输入/输出接口803和通信接口804)之间传输信息。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一实施例所述的图像匹配网络模型优化方法或患者体表ROI识别方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本发明方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (12)
1.一种图像匹配网络模型优化方法，其特征在于，所述方法包括：
获取若干患者的图像对，组成图像数据集；其中，所述图像对包括所述患者在检查过程中的第一图像和治疗过程中的第二图像；
将所述图像数据集输入所述图像匹配网络模型进行多轮迭代优化训练，获得最优的图像匹配网络模型；所述图像匹配网络模型用于对所述图像对中的所述第一图像和所述第二图像进行特征匹配，生成所述图像对的匹配点对集合。
2.根据权利要求1所述的方法，其特征在于，所述图像匹配网络模型包括特征提取模块和特征匹配模块；
所述特征提取模块用于分别提取所述第一图像的第一特征点集和所述第二图像的第二特征点集；
所述特征匹配模块用于计算所述第一特征点集和所述第二特征点集中每个特征点之间的相似度和匹配度，并生成匹配点对集合。
3.根据权利要求2所述的方法，其特征在于，所述特征匹配模块包括若干操作层；每个所述操作层包括一个更新模块和一个预测模块；
所述更新模块用于更新所述第一特征点集和所述第二特征点集中每个特征点的表示状态；
所述预测模块用于根据所述第一特征点集和所述第二特征点集中每个特征点的表示状态计算每个特征点之间的相似度和匹配度，并生成匹配点对集合。
4.根据权利要求3所述的方法，其特征在于，所述更新模块包括分别对应所述第一特征点集和所述第二特征点集的两个自注意力单元，和一个交叉注意力单元；
所述自注意力单元和所述交叉注意力单元用于通过一个多层感知器将图像聚合消息更新每个所述特征点的表示状态：
其中，表示图像I中的特征点i的表示状态，/>表示源于图像S的图像聚合消息，[.|.]表示对/>和/>进行叠加；
其中，所述图像聚合消息由通过注意力机制生产的图像S中每个特征点j的表示状态的加权平均值计算获得：
其中，W为投影矩阵，表示图像I和S中的特征点i和j之间的注意力分数；
在所述自注意力单元中，所述图像I中的每个特征点i都注意同一图像I中的所有特征点，此时图像S＝I，且通过线性变换将每个特征点i的表示状态xi分解为键向量ki和查询向量qi，并计算特征点i和j之间的注意力得分为：
其中，为特征点之间的相对位置的旋转编码，pi和pi分别为特征点i和j的位置；
在所述交叉注意力单元中，所述图像I中的每个特征点i都注意另一图像S中的所有特征点，且通过线性变换计算每个特征点i的表示状态xi的键向量ki，并计算图像I和S中的特征点i和j之间的注意力分数为：
其中，从图像S到图像I的消息和从图像I到图像S的消息之间只计算一次相似度。
5.根据权利要求3所述的方法，其特征在于，所述预测模块用于：
计算两个图像中的各个特征点之间的相似度：
其中，和/>分别为图像A和图像B中的特征点i和j的表示状态，/>表示特征点i和j之间的成对相似性分数矩阵，M和N分别为所述图像A和所述图像B中的特征点个数；
计算每个图像中的各个特征点的匹配度：
σi＝Sigmoid(Linear(xi))∈[0,1]
其中，σi表示特征点i的匹配性分数；并在所述特征点无法在另一个图像中检测到时，将所述特征点标记为不可匹配点，此时σi→0；
根据所述相似度和所述匹配度，计算生成两个图像中的各个特征点之间的分配矩阵：
其中，Pij表示所述图像A和所述图像B中的特征点i和j之间的分配矩阵；
当特征点i和特征点j都非不可匹配点，且特征点i与特征点j之间的相似度高于特征点i或特征点j与图像B或图像A中的任何其他特征点之间的相似度时，将所述特征点i和所述特征点j组成匹配点对；
在所有匹配点对中，选择所有分配矩阵Pij大于预设的分配阈值τ，且大于其所在行和列中的任何其他元素的匹配点对，组成所述匹配点对集合。
6.根据权利要求3所述的方法，其特征在于，每个所述操作层还包括一个分类器模块；所述分类器模块用于：
通过一个多层感知器计算所述第一特征点集和所述第二特征点集中每个特征点的置信度：
ci＝Sigmoid(MLP(xi))∈[0,1]
其中，xi为特征点i的表示状态，ci为特征点i的置信度；
判断每个所述操作层中所有特征点中置信度超过指定的层置信标准的比例是否大于预设的可信比例阈值，并在所述比例大于所述可信比例阈值时停止对所述匹配点集合的推理：
其中，为图像A或图像B中的特征点i的置信度，N和M分别为图像A和图像B的特征点数量，α为所述可信比例阈值，λl为对应操作层l的层置信标准，且所述层置信标准λl根据每个分类器模块的验证准确性而逐层降低；
若所述比例不大于所述可信比例阈值，则在所述操作层中丢弃所有所述置信度超过所述层置信标准且匹配度为不可匹配的特征点，并将剩下的特征点传递至下一个操作层。
7.一种患者体表ROI识别方法，其特征在于，所述方法包括：
获取所述患者在检查过程的第一图像和第一三维体表轮廓，以及所述患者在治疗过程的第二图像和第二三维体表轮廓；
在所述第一三维体表轮廓上选定第一体表ROI，并将所述第一体表ROI映射到所述第一图像上，生成第一图像ROI；
将所述第一图像和所述第二图像输入根据权利要求1-6任一所述的图像匹配网络模型优化方法训练获得的图像匹配网络模型，生成匹配点对集合，并通过所述匹配点对集合计算获得所述第一图像到所述第二图像的单应性变换矩阵；
通过所述单应性变换矩阵，将所述第一图像ROI变换到所述第二图像上，获得第二图像ROI，并将所述第二图像ROI映射到所述第二三维体表轮廓上，生成第二体表ROI。
8.根据权利要求7所述的方法，其特征在于，所述获取所述患者在检查过程的第一图像和第一三维体表轮廓，以及所述患者在治疗过程的第二图像和第二三维体表轮廓，包括：
获取所述患者在CT扫描室的第一图像和第一三维体表轮廓，以及所述患者在加速器治疗室的第二图像和第二三维体表轮廓。
9.根据权利要求7所述的方法，其特征在于，所述将所述第一体表ROI映射到所述第一图像上，生成第一图像ROI，包括：
读取相机参数文件以获取相机的内参矩阵M3×4和外参矩阵N4×4；
根据世界坐标转换为像素坐标的计算公式：
其中，Xw、Yw和Zw分别为三维点在世界坐标系下的x、y和z轴坐标；
Xc、Yc和Zc则分别为三维点转换到相机坐标系下的x、y和z轴坐标；x、y为三维点转换到像素坐标系下的x和y轴坐标；
将所述第一三维体表轮廓在世界坐标系下的每个三维点通过上述公式转换到所述第一图像上生成对应的二维像素点，其中，所述第一体表ROI中所有三维点投影生成的像素点组成的封闭区域为所述第一图像ROI。
10.根据权利要求7所述的方法，其特征在于，所述通过所述匹配点对集合计算获得所述第一图像到所述第二图像的单应性变换矩阵，包括：
将所述匹配点对集合中的每一个匹配点对(P,Q)，应用到单应性变换公式中，获得所述第一图像到所述第二图像的单应性变换矩阵：
其中，H为所述单应性变换矩阵。
11.根据权利要求7所述的方法，其特征在于，所述通过所述匹配点对集合计算获得所述第一图像到所述第二图像的单应性变换矩阵，包括：
在所述匹配点对集合中获取所有对应所述第一图像的特征点在所述第一图像ROI的范围内的匹配点对，组成ROI匹配点对集合；
通过所述ROI匹配点对集合计算获得所述第一图像到所述第二图像的单应性变换矩阵。
12.一种患者体表ROI识别装置，其特征在于，所述装置包括：
数据获取模块，用于获取所述患者在检查过程的第一图像和第一三维体表轮廓，以及所述患者在治疗过程的第二图像和第二三维体表轮廓；
ROI选定模块，用于在所述第一三维体表轮廓上选定第一体表ROI，并将所述第一体表ROI映射到所述第一图像上，生成第一图像ROI；
图像匹配模块，用于将所述第一图像和所述第二图像输入根据权利要求1-6任一所述的图像匹配网络模型优化方法训练获得的图像匹配网络模型，生成匹配点对集合，并通过所述匹配点对集合计算获得所述第一图像到所述第二图像的单应性变换矩阵；
ROI识别模块，用于通过所述单应性变换矩阵，将所述第一图像ROI变换到所述第二图像上，获得第二图像ROI，并将所述第二图像ROI映射到所述第二三维体表轮廓上，生成第二体表ROI。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311671128.6A CN117830610A (zh) | 2023-12-06 | 2023-12-06 | 图像匹配网络模型优化方法、患者体表roi识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311671128.6A CN117830610A (zh) | 2023-12-06 | 2023-12-06 | 图像匹配网络模型优化方法、患者体表roi识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117830610A true CN117830610A (zh) | 2024-04-05 |
Family
ID=90514366
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311671128.6A Pending CN117830610A (zh) | 2023-12-06 | 2023-12-06 | 图像匹配网络模型优化方法、患者体表roi识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117830610A (zh) |
-
2023
- 2023-12-06 CN CN202311671128.6A patent/CN117830610A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11559221B2 (en) | Multi-task progressive networks for patient modeling for medical scans | |
| US11589831B2 (en) | X-ray apparatus and method of acquiring medical image thereof | |
| US20200226752A1 (en) | Apparatus and method for processing medical image | |
| JP7125700B2 (ja) | Ｘ線透視装置およびｘ線透視方法 | |
| JP5797352B1 (ja) | ３次元物体を追跡するための方法 | |
| CN108815721B (zh) | 一种照射剂量确定方法及系统 | |
| US20110019886A1 (en) | Medical image processing apparatus, method, and program | |
| CN105027163A (zh) | 扫描区域确定装置 | |
| CN112561908B (zh) | 乳腺图像病灶匹配方法、装置及存储介质 | |
| US9092867B2 (en) | Methods for segmenting images and detecting specific structures | |
| US11779288B2 (en) | Methods, systems, and apparatus for determining radiation doses | |
| CN114707742A (zh) | 自适应放疗策略的人工智能预测方法和系统 | |
| CN114332120A (zh) | 图像分割方法、装置、设备及存储介质 | |
| CN111292299A (zh) | 一种乳腺肿瘤识别方法、装置及存储介质 | |
| CN117830610A (zh) | 图像匹配网络模型优化方法、患者体表roi识别方法及装置 | |
| EP3608872B1 (en) | Image segmentation method and system | |
| US20210358595A1 (en) | Body representations | |
| CN116848549A (zh) | 经由降维投影的图像结构的检测 | |
| Diao et al. | Lung Cancer Detection with 3D Ensemble Convolution Neural Network | |
| WO2023125720A1 (en) | Systems and methods for medical imaging | |
| CN115880783B (zh) | 用于儿科保健的儿童运动姿态识别方法 | |
| US20230281842A1 (en) | Generation of 3d models of anatomical structures from 2d radiographs | |
| US11311261B2 (en) | Nuclear image processing method | |
| Miandoab et al. | Extraction of respiratory signal based on image clustering and intensity parameters at radiotherapy with external beam: A comparative study | |
| CN116824173A (zh) | 医学图像的处理方法、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |