CN117474906B - 基于脊柱x光图像匹配的术中x光机复位方法 - Google Patents
基于脊柱x光图像匹配的术中x光机复位方法 Download PDFInfo
- Publication number
- CN117474906B CN117474906B CN202311806061.2A CN202311806061A CN117474906B CN 117474906 B CN117474906 B CN 117474906B CN 202311806061 A CN202311806061 A CN 202311806061A CN 117474906 B CN117474906 B CN 117474906B
- Authority
- CN
- China
- Prior art keywords
- image
- matching
- key point
- ray
- spine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 94
- 239000013598 vector Substances 0.000 claims abstract description 51
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 28
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 101100366710 Arabidopsis thaliana SSL12 gene Proteins 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 101100366707 Arabidopsis thaliana SSL11 gene Proteins 0.000 claims description 5
- 101100366562 Panax ginseng SS12 gene Proteins 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 101100366711 Arabidopsis thaliana SSL13 gene Proteins 0.000 claims description 3
- 101100366561 Panax ginseng SS11 gene Proteins 0.000 claims description 3
- 101100366563 Panax ginseng SS13 gene Proteins 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 description 11
- 230000007246 mechanism Effects 0.000 description 5
- 238000002372 labelling Methods 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- 210000000115 thoracic cavity Anatomy 0.000 description 2
- 240000006240 Linum usitatissimum Species 0.000 description 1
- 241000251539 Vertebrata <Metazoa> Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 239000007779 soft material Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明提供一种基于脊柱X光图像匹配的术中X光机复位方法，其包括关键点检测步骤，通过将当前图像以及目标图像分别经过关键点检测器检测得到当前图像与目标图像所对应的关键点集合以及每个关键点对应的特征向量；匹配关系建立步骤，将待匹配的当前图像与目标图像的关键点信息输入已训练的图像匹配器得到最终的匹配关系信息。这一基于脊柱X光图像匹配的术中X光机复位方法通过基于关键点的深度学习方法完成脊柱X光图像匹配。其算法抗干扰性强，泛用性更好，可以保证术中X光机的精确复位。
Description
技术领域
本发明涉及脊柱X光图像的检测与匹配技术领域，具体涉及一种基于脊柱X光图像匹配的术中X光机复位方法。
背景技术
相比通常使用的固定式X光机而言，用于术中作业的X光机需要考虑其灵活性，保证X光机能够在手术室中移动部署，快速进入与撤出工作状态，从而在及时完成摄影辅助治疗的同时，减少或者避免对手术进程的干扰。类似的移动式术中X光机已经由2022年6月24日公告授权的名为《一种电动可伸缩悬挂式G型臂》的发明专利公开，其公告号为CN109602431B。
虽然已经存在移动式术中X光机，基本解决了术中X光摄影的问题，但是其效能仍需进一步优化。术中X光机用于术中对局部病灶的确认，再考虑到其灵活性，X光机的视场相比固定式X光机的视场更加受限，典型的移动式X光机的视场大约只能覆盖连续三个脊椎的范围。而在术中作业的过程中，常见的使用情形是对同一局部病灶的重复摄影，以向主刀医生提供阶段性的病灶区域的情况反馈，辅助主刀医生修正与优化手术方案。
现有技术下，对术中X光机的位姿控制是由经培训的负责操作术中X光机的医护人员负责的。简单而言，在每一次需要获取病灶的X光图像时，由该医护人员手动控制调整X光机对正病灶位置，然后进行拍照工作。考虑防滑、洁净等要求，手术室地面一般选用橡胶地板等软质材料，会给行走机构的运动产生较大的阻力，导致移动困难。基础的术中X光机不具备动力行走功能，完全依靠人力推行调整，这不仅仅是加大了负责的医护人员的工作负荷，更重要的是会严重地影响到X光摄影作业所需的时间。主要的时间消耗不在于将术中X光机从停机位移动至摄影位，也不在于启动术中X光机进行X光摄影的照射过程，而是在将术中X光机移入手术台，通过人为的精细调整来对正病灶的对准过程。经过对大量客户的回访基本可以确认，在术中X光机的每次摄影流程中，精细调整来对准病灶的过程大约占到了整个摄影作业流程时间的1/3-1/2。软质地面使得术中X光机移动困难，病灶的准确位置也不可能在手术台上做好标记，只能靠医护人员目视评估，这些原因是导致人为对准耗时较长的主要原因。即使通过对术中X光机的行走机构做了改进，增加了动力部分，使得在移动术中X光机以及精细调整的过程可以通过控制器向术中X光机发出指令实现，这也仅仅是实现了由设备自动根据指令行走，不需要人力输出，降低了医护人员的工作负荷，但是具体的调整方案仍然依靠医护人员的控制，并没有显著地压缩术中X光机的对准过程所需的时间。
发明内容
为了解决现有技术中术中X光机位姿调整耗时，影响手术进程的问题，本发明提供一种基于脊柱X光图像匹配的术中X光机复位方法。
本发明的脊柱X光图像匹配方法包括如下步骤：
SS1. 关键点检测步骤，首先训练关键点检测器，然后将脊柱X光图像输入关键点检测器，将会输出相应的脊柱X光图像对应的关键点集合以及每个关键点的特征向量；通过将当前图像以及目标图像分别经过关键点检测器检测得到当前图像与目标图像所对应的关键点集合以及每个关键点对应的特征向量；
SS2. 匹配关系建立步骤，首先训练基于图神经网络的图像匹配器，然后将待匹配的当前图像与目标图像的关键点信息输入已训练的图像匹配器得到最终的匹配关系信息。
优选地，所述SS1关键点检测步骤包括：
SS11. 训练基本角点检测器，通过已标注角点信息的几何图形图片训练卷积神经网络得到基本角点检测器，训练好的基本角点检测器能够检测出几何图形图片中的角点信息；
SS12. 训练关键点检测器，将大量的脊柱X光图像输入卷积神经网络，由卷积神经网络进行自监督学习习得脊柱X光图片中的关键点特征，得到关键点检测器，关键点检测器可以检测出脊柱X光图像中的关键点集合以及相应关键点的特征向量；
SS13. 使用关键点检测器处理当前图像与目标图像，经关键点检测器处理后可以得到：与当前图像所对应的关键点集合以及相应每一关键点的特征向量， 与目标图像所对应的关键点集合以及相应每一关键点的特征向量。
优选地，所述SS12训练关键点检测器步骤中，相应关键点的特征向量descriptor由下式确定：
其中KeypointEncoder为关键点检测器中的全连接神经网络，输入postion是与关键点相关的三维向量，输出为指定维度的向量，visual_descriptor是在检测过程中得到的具有指定维度的基于图像的关键点描述向量。
优选地，所述几何图形图片由人工合成，在人工合成的几何图形图片中，角点标注整合在合成算法中得到。
优选地，所述SS2匹配关系建立步骤包括：
SS21. 训练关键点匹配器步骤，将脊柱X光图像进行仿射变换得到变换后的图像，然后将大量成对的变换后的脊柱X光图像与原始的脊柱X光图像输入图神经网络进行模型训练，最终得到训练后的关键点匹配器；
SS22. 基于关键点匹配器的关键点匹配步骤，将待匹配的当前图像以及目标图像输入关键点匹配器，关键点匹配器将会输出两幅图像的关键点之间的匹配图；
SS23. 基于匹配图的匹配关系的确定步骤，通过应用匹配约束从所述匹配图中选择目标的匹配关系。
优选地，所述SS22基于关键点匹配器的关键点匹配步骤中，匹配图如下确定：
输入的当前图像与目标图像分别记为图像A与图像B，其各自的特征向量集为DA、DB；DA中的元素DA[i]为图像A的第i个关键点对应的特征向量，DB中的元素DB[j]为图像B的第j个关键点对应的特征向量；
经关键点匹配器处理后，上述特征向量集更新为F A 、F B；关键点匹配器基于F A、F B生成两幅图各关键点之间的匹配图P。
匹配图P为一个M×N的矩阵，其中的M与N分别为图像A与图像B中的关键点数量。
优选地，所述SS22基于关键点匹配器的关键点匹配步骤中，匹配图P如下确定：
对于输入的当前图像与目标图像分别记为图像A与图像B，其各自的特征向量集为D A、D B；D A中的元素D A[i]为图像A的第i个关键点对应的特征向量，D B中的元素D B[j]为图像B的第j个关键点对应的特征向量；
关键点匹配器基于D A、D B生成两幅图各关键点之间的匹配图P。
匹配图P为一个M×N的矩阵，其中的M与N分别为图像A与图像B中的关键点数量。
优选地，所述SS23基于匹配图的匹配关系的确定步骤中，输入的当前图像与目标图像分别记为图像A与图像B，匹配约束包括：
a. 对于图像A中的任一关键点，仅有至多一个图像B中的关键点与之匹配；同样的对于图像B中的任一关键点，仅有至多一个图像A中的关键点与之匹配，
b. 最优化约束，满足约束a条件下，对于任一能够一一对应的关键点匹配关系在匹配图中对应的取值Pk，k为匹配关系的序数，自1至H，H为匹配关系的数量，要求目标函数g(P k)取值最优。
优选地，所述g(P k)可以取，此时要求g(P k)取得最大值。
本发明另提供一种基于脊柱X光图像匹配的术中X光机复位方法，包括：
S1. 确定复位基准步骤，确定术中X光机的某一次拍摄时的位姿状态为位姿基准，并同时保存在位姿基准时拍摄的脊柱X光图像为目标图像；
S2. 初定位步骤，将术中X光机初步对齐至位姿基准，此时术中X光机概略对准病灶；
S3. 误差补偿步骤，术中X光机获取一张脊柱X光图像作为当前图像，运用上述任一项所述的脊柱X光图像匹配方法确定当前图像与目标图像之间的匹配关系，根据匹配关系得到拍摄当前图像与拍摄目标图像时相机的位姿差值，通过该位姿差值控制术中X光机运动对齐位姿基准。
优选地，所述S3误差补偿步骤中通过位姿差值控制术中X光机运动对齐位姿基准的过程中至少包括从位姿差值中获取术中X光机在地面平行平面内的坐标差值以及取向差值，以所述坐标差值以及所述取向差值控制所述术中X光机的行走系统在地面内调整至所述术中X光机与所述位姿基准对齐。
优选地，所述S2初定位步骤包括：
S21. 行走系统复位步骤，对于术中X光机的行走系统，控制行走系统在地面运动，使得术中X光机概略对准位姿基准时的拍摄的病灶；
S22. 内部姿态复位步骤，将术中X光机的内部姿态恢复至位于位姿基准时记录的位姿参数。
优选地，所述S3误差补偿步骤中，根据匹配关系得到拍摄当前图像与拍摄目标图像时相机在地面平行平面内的位姿差值的步骤为：
根据当前图像与目标图像的匹配的关键点之间的匹配关系计算坐标差值err：
其中，
x、y、x*、y*分别为当前图像和目标图像的关键点平面坐标；
基于坐标差值计算术中X光机位姿差值，其中Vx，Vy，Vz表示空间坐标差值；Wx，Wy，Wz表示空间绕相应轴的取向差值：
。
Le为转换矩阵，z为当前术中X光机的高度。
本发明的一种脊柱X光图像匹配方法，通过基于关键点的深度学习方法完成脊柱X光图像匹配。该匹配方法抗干扰性强，即使当前拍摄的图片相对目标图片存在着异常物体的干扰，由于本系统只会专注于特征明显的关键点，因此不会受到干扰物的影响，另外即使部分脊椎存在遮挡或者脱离视野也可以伺服成功，只需要当前拍摄的图片和目标图片存在一部分重叠区域即可。该匹配方法的泛用性更好，本系统进行两幅图匹配的时候不需要追踪固定的特征比如某块固定类别的脊椎，网络学习的是局部细微的图像梯度和纹理关系的匹配，因此不管拍摄的腰椎还是胸椎，或者拍摄手术环境中的其它场景都不需要对模型重新训练以获得对特定物体的检测。
附图说明
图1为本发明的术中X光机复位方法的复位流程图；
图2为本发明的术中X光机的复位方法的反馈控制的流程图；
图3为本发明的脊柱X光图像匹配方法的工作流程示意图；
图4为本发明的脊柱X光图像匹配方法训练基本角点检测器的示意图；
图5为本发明的脊柱X光图像匹配方法进行关键点检测的原理示意图；
图6为本发明的脊柱X光图像匹配方法基于关键点匹配器的关键点匹配过程的示意图；
图7为本发明的脊柱X光图像匹配方法通过关键点匹配得到的图像之间匹配关系的示意图；
图8为现有技术下完成脊柱X光图像匹配所得到的结构示意图。
具体实施方式
以下结合附图和具体实施例，对本发明进行详细、清楚说明。在本说明书中，附图仅仅示出了技术方案的部分实施例，而不是全部实施例。基于本发明的技术构思，本领域技术人员在没有做出创造性劳动前提下所获得的其他实施例，都属于本发明的保护范围。
本发明首先旨在提供一种用于术中X光机的复位方法。该复位方法主要基于术中X光机拍摄的图像实现，因此还涉及脊柱X光图像匹配方法。本发明所依赖的术中X光机应当具有动力行走功能，这意味着术中X光机可以根据接收的指令调整位姿(在本申请中，提到位姿的部分一般指位置和姿态)。现有技术中，公告号为CN109602431B的名为《一种电动可伸缩悬挂式G型臂》可以作为类似的具有动力行走功能的术中X光机的一个实施例。其行走系统由独立驱动的麦克纳姆轮以及相应的控制系统组成。通过对多个麦克纳姆轮的驱动之间的联合控制可以实现术中X光机在地面平面上的各向移动以及改变取向。类似的行走系统不一而足，但至少应当具有在地面平面内的两移动维度x、y以及地面平面内的角度维度θ，θ表示术中X光机在地面平面内的取向。相应的，在后文中，符号x、y、θ也用于表示对应维度上的坐标。
术中X光机的复位指将X光机的位姿恢复至指定的某次拍摄时的位姿，一般情况下，这可以就是上一次拍摄时的位姿，也可以是同一台手术进程中，由医护人员原始指定的一次拍摄的位姿。换言之，复位意指以某一次拍摄时的位姿为基准，将当前的术中X光机与该基准对齐。如背景技术所言，人为操作时，精细调整对准过程耗时，这同样适用于复位作业时的对齐过程。为此希望通过自动控制实现术中X光机的快速自动复位来提高术中X光拍摄作业的作业效率与对准精度。
对于术中X光机的复位而言，可以考虑通过记录-复现的示教模式实现。即可以记录基准位姿时的参数或者退出基准位置时的运动指令序列，然后在复位过程中恢复位姿参数或者按原运动指令序列倒序反向执行实现。术中X光机除了前述x、y、θ三个维度外，还具有自身相关的运动维度，比如：由立柱升降控制的G形臂的高度，由相应的动力装置控制的G形臂在其弧形所在平面中的转动角度，由相应的动力装置控制的小臂在G形臂中的伸出量等等。对于以上术中X光机的自身的运动维度，其控制精度高，且可以通过回零等方式，保证位置定位的重复定位精度与绝对定位精度，因此在术中X光机的自动复位过程中，其在自身运动相关的运动维度上的复位精度可以得到可靠保证，因而无需额外调整。对于与地面相关的x、y、θ三个维度，则会在复位时存在一定的位置误差需要补偿。术中X光机需要在非拍摄状态停靠到相距手术台一定距离的停机位，对于地面-术中X光机运动系统而言，由于滑移以及其他干扰的存在，位置误差随机，软质地面与上述实施例中的麦克纳姆轮设计(各向移动时子轮有滑移)会进一步加剧滑移造成的误差。因此，可以理解基于记录-复现的示教模式实现术中X光机的复位方法中，对术中X光机的行走系统的误差补偿是必须的。此外，行走系统的复位步骤，并不仅限于通过记录-示教模式实现。只要能够通过某种方式得到术中X光机在其所在位置(比如停机处)至基准处的运动控制指令，通过应用该控制指令就可以达成相同的目的。这意味着，可以通过对记录的控制指令的优化，减少行走机构的运动，从而相对的提升运动精度。此外，另一方面仍可以考虑人工半自动操作的复位过程。对于不存在基于记录－复现的示教模式的术中X光机，其初步的定位仍然可以由医护人员发出的指令完成，在将术中X光机概略对准病灶后，就可以再进行位姿误差的补偿操作来实现精确对齐基准。
总之可以认为，术中X光机的复位方法应当包括图1所示的如下步骤：
S1. 确定复位基准步骤，确定术中X光机的某一次拍摄时的位姿状态为位姿基准，并同时保存在位姿基准时拍摄的脊柱X光图像为目标图像。
S2. 初定位步骤，将术中X光机初步对齐至位姿基准，此时术中X光机概略对准病灶。这里可以分为两个主要的操作过程：
S21. 行走系统复位步骤，对于术中X光机的行走系统，控制行走系统在地面运动，使得术中X光机概略对准位姿基准时的拍摄的病灶。这里的概略对准可以理解为，其在概略位姿下，内部姿态复位后获取的脊柱X光图像与目标图像存在重叠。但实际操作中一般不需要以此为操作时的判据。
具体而言，对于行走系统的复位，首先可以基于记录-复现的示教模式实现。即记录退出位姿基准时的运动指令序列，通过倒序反向执行该运动指令序列概略对准病灶。也可以通过人为目视控制，将行走系统移动至概略对准病灶的位置。
S22. 内部姿态复位步骤，将术中X光机的内部姿态恢复至位姿基准时的记录的位姿参数。一般而言，S22步骤需要在S21步骤之后执行，这是为了避免在S21步骤下，提前定位的术中X光机上的机械结构(比如G型臂)与手术台干涉。
S3. 误差补偿步骤，在S2步骤完成后，术中X光机获取一张脊柱X光图像作为当前图像，在当前图像与目标图像之间做图像匹配，得到拍摄当前图像与拍摄目标图像时相机在地面平行平面内的位置差值与取向差值，控制术中X光机按该位置差值与取向差值运动，实现术中X光机的精确复位。
具体而言，根据S2中所得到的当前图像与目标图像之间的关键点匹配关系，可以确定每一个关键点对之间的坐标差err，这表示了当前图像与目标图像之间相机，也就是术中X光机，的位姿差异。问题可以简单地转化为基于当前图像与目标图像之间的相机位姿的求解。
根据当前图像与目标图像的匹配的关键点之间的匹配关系计算坐标差值err：
其中，x、y、x*、y*分别为当前图像和目标图像的关键点平面坐标；实际的计算中是将多个关键点对的坐标差在列上拓展，实现位姿求解。为了避免多关键点带来的过约束的问题，一般会控制求解时的残差实现最优解的求解。
基于坐标差值计算术中X光机位姿差值，其中Vx，Vy，Vz表示空间坐标差值，Wx，Wy，Wz表示空间绕相应轴的取向差值：
Le是损失和相机速度之间的转换矩阵，理论上，z取相机距离物体的距离，在该方法中，可以通过术中X光机的高度确定。简而言之，术中X光机的立柱伸缩量是可以准确读取的，因此术中X光机的任一位置的绝对或者相对高度均可以从其姿态控制系统的记录值中得到。u是相机的位姿差异，也可以理解为控制过程所使用的相机运动速度。该方法获取术中X光机在空间内三个移动自由度与三个旋转自由度上的位姿差值，而如前所述，本方法仅需要术中X光机在地面平行平面内的两移动维度x、y以及地面平面内的取向维度θ，因此可以从位姿差值中仅截取对应的两个移动维度Vx，Vy以及相应的取向差值Wz。
基于上述误差补偿方法，基本可以实现在仅拍摄一张当前图像的情况下完成术中X光机的位姿调整与复位，这可以在保证自动复位的同时，降低术中X光机的开机拍摄次数，从而降低患者以及医务工作者接收的辐射剂量，保证潜在安全性。当然基于上述位姿补偿方法也可以实现系统位姿的反馈控制，其工作流程如图2所示。图2的工作流程仍然属于本发明公开的范围内，只是由于可能存在多次重复拍摄，其并不在优选的应用范围内。从另一方面而言，在使用反馈控制的基础上，z值不必须是相机高度，而可以是一预设的合理值，在此情况下，通过反馈控制可以弥补z值不准带来的问题，比如取z值为1。
对于S3步骤过程中的图像匹配方法，本发明根据所应用的场景做了针对性的设计。对于脊柱X光图像而言，从不同视角或者不同位置获得的图像的相匹配的部分实际上是无法同通常的两幅图像一样直接通过图像处理算法基于像素进行匹配的，原因在于脊柱X光图像中除了存在脊柱图像，还存在周边组织的图像，周边组织与脊柱之间的位置关系是三维的，因此相机在不同的位置以及不同的视角下，周边组织对脊柱的遮挡不一样，成像效果也有差异，很难得到准确的匹配关系，也就难以得到准确的相机在地面平行平面内的位置差值与取向差值，因此通过图像匹配算法基于像素进行匹配所得的结果很难得到堪用的相机差值信息来指导行走机构的调整补偿。
现有技术下，已经存在部分方法克服经典视觉伺服对手工特征的依赖。在Photometric visual servoing 论文中，作者将整个图像视为一个单一的特征，以避免构建和提取特殊特征的需求。在Convolutional Neural Network-Based Visual Servoingfor Eye-to-Hand Manipulator论文中，卷积神经网络(CNNs)用于整个图像，要么直接估计目标图像与当前图像之间的位姿差，要么以端到端方式找到瞬时机器人控制。事实上，通过直接比较整个目标图像和当前图像，以上方法均要求这两个图像本质上相似，这排除了对未知、杂乱、场景的泛化。如果两幅图存在一些干扰物或者是3D物体不同视角变化太大，基于这些“全图像”处理的方法从根本上无法引导术中X光机向位姿基准对齐。
本发明为了能够在脊柱图像上实现图像匹配，考虑摒弃“全图像匹配”，选择图像上的关键点进行图像匹配来排除干扰提高匹配精度。由于每节脊椎相似度高、识别困难，脊椎识别中仅依赖神经网络直接预测出结果的准确率难以保证。传统的关键点检测和匹配算法都是基于人工设计的特征，鲁棒性不强，尤其是在三维环境中非平面物体不同角度拍摄，图片上的物体之间会发生一定程度的错位。此时基于传统手工提取特征的算法准确率就会大大降低，另外重叠区域小的时候也得不到较高准确率。因此为了加强关键点识别与匹配的鲁棒性和准确性，可以考虑通过深度学习实现。
如图3所示，本发明的脊柱X光图像匹配方法大致上可以包括以下几个步骤：
SS1. 关键点检测步骤。主要是为了从脊柱X光图像中提取关键点信息，首先训练关键点检测器，然后将脊柱X光图像输入关键点检测器，将会输出相应的脊柱X光图像对应的关键点集合以及每个关键点的特征向量。通过将当前图像以及目标图像分别经过关键点检测器检测就可以得到当前图像与目标图像所对应的关键点集合以及每个关键点对应的特征向量。
SS2. 匹配关系建立步骤。基于关键点检测器获取的关键点以及关键点的特征向量匹配关键点实现当前图像与目标图像之间的图像匹配。首先训练基于图神经网络(GNN)的图像匹配器，然后将待匹配的当前图像与目标图像的关键点信息输入已训练的图像匹配器得到最终的两幅图像关键点之间的匹配关系信息。
对于SS1步骤采用自监督的卷积神经网络(CNN)基于基本几何角点检测器实现，从而达到免人工标记的目的。下面是其一般过程。
SS11. 训练基本角点检测器。通过已标注角点信息的几何图形图片训练卷积神经网络得到基本角点检测器。训练好的基本角点检测器应当能够检测出几何图形图片中的角点信息。
如图4所示，该训练过程中，以几何物体的转折点作为基本角点。用于训练基本角点检测器的几何图形图片可以由人工合成，在人工合成的几何图形图片中，角点可以人为标注。实际上，角点的人工标注可以在人工合成过程中，整合在合成算法中得到，从而免除人工标注中的人为标记过程。卷积神经网络经训练后即可以得到初步的基本角点检测器。
可以预期基本角点检测器对于任意输入的几何图形图片数据，可以检测到图中的基本角点信息，然而对于复杂图片，其泛化性较差，难以实用。尤其是对于本发明中所待检测的脊柱X光图像，除了图像中边缘轮廓复杂外，还存在较为复杂的光影关系，使用基本角点检测器检测图像中的关键点的检出率以及准确性较差。而对于后续的图像匹配而言，如果不能找到两幅图像中能够真实匹配的关键点点对，则意味着匹配误差的增大。
SS12. 训练关键点检测器。
为了提高基本角点检测器在脊柱X光图像上的泛用性，通过自监督学习方法继续训练基本角点检测器得到关键点检测器。训练过程中，将大量的脊柱X光图像输入卷积神经网络，由卷积神经网络进行自监督学习得到脊柱X光图片中的关键点特征，从而连较于基本角点检测器，显著提升关键点检测器对于脊柱X光图像的关键点检测的检出率与准确率。最终，该关键点检测器可以检测出医学CT图像中的关键点集合以及相应关键点的特征向量。其中的特征向量descriptor由下式确定：
其中KeypointEncoder是一个全连接神经网络，输入是一个3维向量，其中x、y为关键点的坐标，而score为关键点的得分。输出是一个256维向量，体现了关键点检测过程中相应的关键点对应的向量。visual_descriptor是在检测过程中得到的基于图像的关键点描述向量，为预定义的矩阵算子，即对应元素相加。
SS13. 使用关键点检测器处理当前图像与目标图像。这一过程如图5所示，经关键点检测器处理后可以得到：与当前图像所对应的关键点集合以及相应每一关键点的特征向量， 与目标图像所对应的关键点集合以及相应每一关键点的特征向量。
在可以就当前图像与目标图像均能检测到相应的关键点集合与关键点所对应的特征向量之后，只需要解决关键点之间的匹配关系即可以关键点匹配代替图像直接匹配从而避免脊柱X光图像中的无关信息的干扰。同样考虑通过神经网络模型关键点匹配对于SS2匹配关系建立步骤。基于关键点检测器获取的关键点以及关键点的特征向量匹配关键点实现当前图像与目标图像之间的图像匹配。该过程同样可以分为模型训练与应用两个步骤。
SS21. 训练关键点匹配器步骤。
将脊柱X光图像进行仿射变换得到变换后的图像，然后将大量成对的变换后的图像与原始的脊柱X光图像输入图神经网络进行模型训练。最终得到训练后的关键点匹配器。
SS22. 基于关键点匹配器的关键点匹配步骤。
将待匹配的两幅脊柱X光图像输入关键点匹配器，在本发明的流程中，即将经过关键点检测器处理的当前图像以及目标图像输入关键点匹配器。关键点匹配器将会输出两幅图像的关键点之间的匹配图。图6为该过程的示意图。
关键点匹配器除了学习关键点之间的匹配关系之外，还可以进一步根据图像的仿射特征优化输入图像的关键点特征，以提高结果的匹配精度。
具体而言，对于输入的两幅图像的，其各自的特征向量集为D A、D B。D A中的元素D A[i]为图像A的第i个关键点对应的特征向量，记为d i；D B中的元素D B[j]为图像B的第j个关键点对应的特征向量，记为d j；则经关键点匹配器处理后，两幅图像的特征向量集将会更新，记为F A、F B。由于关键点匹配器的进一步加成，基于F A、F B的关键点匹配将会实现比基于关键点的原始向量更好的匹配效果。关键点匹配器基于F A、F B生成两幅图各关键点之间的匹配图P。
匹配图P为一个M×N的矩阵，其中的M与N分别为图像A与图像B中的关键点数量，关键点匹配器通常会对结果进行处理，使得P中的元素满足P[i,j]∈[0,1]。对于P中的i行j列而言，其代表了图像A中的第i个关键点与图像B中的第j个关键点的匹配关系，其取值越大，则匹配概率就越大。相应的该步骤中也不排除不对D A、D B继续更新优化的方法，此时
SS23. 基于匹配图的匹配关系的确定步骤
SS22所得到的匹配图实际上反映了图像A与图像B之间任意关键点之间的匹配概率，最终需要确定的匹配关系，可以通过以下约束得到：
1. 基于实际的匹配关系所产生的约束。对于图像A中的任一关键点，仅有至多一个图像B中的关键点与之匹配，即图像B中要么找不到与图像A中该关键点对应的关键点，要么仅一个相对应的关键点；同样的对于图像B中的任一关键点，仅有至多一个图像A中的关键点与之匹配。这意味着除了不能匹配上的关键点，图像A与图像B中的关键点之间是一一对应的。
2. 最优化约束。满足1的约束条件下，要求匹配的准确更高，这通过如下方式实现。对于满足1的约束条件的匹配关系，可以得到所有能够一一对应的关键点匹配关系在匹配图中对应的取值P k，k为匹配关系的序数，自1至H，H为匹配关系的数量。只需要目标函数g(P k)取值最优即可。简单而言，g(P k)可以取，此时要求g(P k)取得最大值。
图7给出了经SS23基于匹配图的匹配关系的确定步骤得到当前图像与目标图像的关键点匹配关系的示意图。通过关键点之间的坐标关系就可以反向求解出相机在空间内的位姿关系，也就是术中X光机的位姿关系。
传统的检测匹配算法是由人工手工设计的，对于始终保持在同一平面的物体的观察视角的变化匹配较好，但是一旦物体时处于3D空间中，不同视角观察物体的时候，画面中的差别和原来就会出现较大的变化，此时传统方法就会出现匹配不准确的结果。图8是使用传统的检测匹配算法对相应的待匹配图像之间进行图像匹配所得到的结果示意图，可以发现其匹配关系杂乱无章，不能准确地反映出图像之间的匹配关系。
总的来说，本发明的匹配方法的优点在于
1、抗干扰性强：即使当前拍摄的图片相对目标图片存在着异常物体的干扰，由于本系统只会专注于特征明显的关键点，因此不会受到干扰物的影响，另外即使部分脊椎存在遮挡或者脱离视野也可以伺服成功，只需要当前拍摄的图片和目标图片存在一部分重叠区域即可。
2、泛用性强：本系统进行两幅图匹配的时候不需要追踪固定的特征比如某块固定类别的脊椎，网络学习的是局部细微的图像梯度和纹理关系的匹配，因此不管拍摄的腰椎还是胸椎，或者拍摄手术环境中的其它场景都不需要对模型重新训练以获得对特定物体的检测。
3、减少冗余计算提高复位速度：相对使用全图矩阵进行伺服需要对每一个像素点计算转换矩阵，关键点匹配算法，只需要挑选若干关键点就算转换矩阵即可。
4、全自动计算，无需人力的投入，节省医生手术的时间和精力。
上述内容仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。
Claims (11)
1.一种基于脊柱X光图像匹配的术中X光机复位方法，其特征在于，包括：
S1. 确定复位基准步骤，确定术中X光机的某一次拍摄时的位姿状态为位姿基准，并同时将在位姿基准时拍摄的脊柱X光图像保存为目标图像；
S2. 初定位步骤，将术中X光机初步对齐至位姿基准，此时术中X光机概略对准病灶；
S3. 误差补偿步骤，术中X光机获取一张脊柱X光图像作为当前图像，运用脊柱X光图像匹配方法确定当前图像与目标图像之间的匹配关系，根据匹配关系得到拍摄当前图像与拍摄目标图像时相机的位姿差值，通过该位姿差值控制术中X光机运动对齐位姿基准；
所述S3误差补偿步骤中，根据匹配关系得到拍摄当前图像与拍摄目标图像时相机在地面平行平面内的位姿差值的步骤为：
根据当前图像与目标图像的匹配的关键点之间的匹配关系计算坐标差值err：
其中，x、y、x*、y*分别为当前图像和目标图像的关键点平面坐标；
基于坐标差值计算术中X光机位姿差值，其中Vx， Vy，Vz表示空间坐标差；Wx，Wy，Wz表示空间绕相应轴的取向差值，
Le是计算过程中使用的转换矩阵，z为当前术中X光机的高度
所述脊柱X光图像匹配方法包括如下步骤：
SS1、关键点检测步骤，首先训练关键点检测器，然后将脊柱X光图像输入关键点检测器，将会输出相应的脊柱X光图像对应的关键点集合以及每个关键点的特征向量；通过将当前图像以及目标图像分别经过关键点检测器检测得到当前图像与目标图像所对应的关键点集合以及每个关键点对应的特征向量；
SS2、匹配关系建立步骤，首先训练基于图神经网络的图像匹配器，然后将待匹配的当前图像与目标图像的关键点信息输入已训练的图像匹配器得到匹配图，根据匹配图确定当前图像与目标图像之间的匹配关系。
2.如权利要求1所述的基于脊柱X光图像匹配的术中X光机复位方法，其特征在于，所述SS1关键点检测步骤包括：
SS11、训练基本角点检测器，通过已标注角点信息的几何图形图片训练卷积神经网络得到基本角点检测器，训练好的基本角点检测器能够检测出几何图形图片中的角点信息；
SS12、训练关键点检测器，将大量的脊柱X光图像输入卷积神经网络，由卷积神经网络进行自监督学习习得脊柱X光图片中的关键点特征，得到关键点检测器，关键点检测器可以检测出脊柱X光图像中的关键点集合以及相应关键点的特征向量；
SS13、使用关键点检测器处理当前图像与目标图像，经关键点检测器处理后可以得到：与当前图像所对应的关键点集合以及相应每一关键点的特征向量， 与目标图像所对应的关键点集合以及相应每一关键点的特征向量。
3.如权利要求2所述的基于脊柱X光图像匹配的术中X光机复位方法，其特征在于，所述SS12训练关键点检测器步骤中，相应关键点的特征向量descriptor由下式确定：
其中KeypointEncoder为关键点检测器中的全连接神经网络，输入position是与关键点相关的三维向量，输出为指定维度的向量，visual_descriptor是在检测过程中得到的具有指定维度的基于图像的关键点描述向量。
4.如权利要求2所述的基于脊柱X光图像匹配的术中X光机复位方法，其特征在于，所述几何图形图片由人工合成，在人工合成的几何图形图片中，角点标注整合在合成算法中得到。
5.如权利要求1所述的基于脊柱X光图像匹配的术中X光机复位方法，其特征在于，所述SS2匹配关系建立步骤包括：
SS21、训练关键点匹配器步骤，将脊柱X光图像进行仿射变换得到变换后的图像，然后将大量成对的变换后的脊柱X光图像与原始的脊柱X光图像输入图神经网络进行模型训练，最终得到训练后的关键点匹配器；
SS22、基于关键点匹配器的关键点匹配步骤，将待匹配的当前图像以及目标图像输入关键点匹配器，关键点匹配器将会输出两幅图像的关键点之间的匹配图；
SS23、基于匹配图的匹配关系的确定步骤，通过应用匹配约束从所述匹配图中选择目标的匹配关系。
6.如权利要求5所述的基于脊柱X光图像匹配的术中X光机复位方法，其特征在于，所述SS22基于关键点匹配器的关键点匹配步骤中，匹配图如下确定：
输入的当前图像与目标图像分别记为图像A与图像B，其各自的特征向量集为D A、D B；D A中的元素D A[i]为图像A的第i个关键点对应的特征向量，D B中的元素D B[j]为图像B的第j个关键点对应的特征向量；
经关键点匹配器处理后，上述特征向量集更新为F A、F B；关键点匹配器基于F A、F B生成两幅图各关键点之间的匹配图P：
匹配图P为一个M×N的矩阵，其中的M与N分别为图像A与图像B中的关键点数量。
7.如权利要求5所述的基于脊柱X光图像匹配的术中X光机复位方法，其特征在于，所述SS22基于关键点匹配器的关键点匹配步骤中，匹配图P如下确定：
对于输入的当前图像与目标图像分别记为图像A与图像B，其各自的特征向量集为D A、D B；D A中的元素D A[i]为图像A的第i个关键点对应的特征向量，D B中的元素D B[j]为图像B的第j个关键点对应的特征向量；
关键点匹配器基于D A、D B生成两幅图各关键点之间的匹配图P：
匹配图P为一个M×N的矩阵，其中的M与N分别为图像A与图像B中的关键点数量。
8.如权利要求5所述的基于脊柱X光图像匹配的术中X光机复位方法，其特征在于，所述SS23基于匹配图的匹配关系的确定步骤中，输入的当前图像与目标图像分别记为图像A与图像B，匹配约束包括：
a. 对于图像A中的任一关键点，仅有至多一个图像B中的关键点与之匹配；同样的对于图像B中的任一关键点，仅有至多一个图像A中的关键点与之匹配，
b. 最优化约束，满足约束a条件下，对于任一能够一一对应的关键点匹配关系在匹配图中对应的取值P k，k为匹配关系的序数，自1至H，H为匹配关系的数量，要求目标函数g(P k)取值最优。
9.如权利要求8所述的基于脊柱X光图像匹配的术中X光机复位方法，其特征在于，所述g(P k)可以取，此时要求g(P k)取得最大值。
10.如权利要求1所述的基于脊柱X光图像匹配的术中X光机复位方法，其特征在于，所述S3误差补偿步骤中通过位姿差值控制术中X光机运动对齐位姿基准的过程中至少包括从位姿差值中获取术中X光机在地面平行平面内的坐标差值以及取向差值，以所述坐标差值以及所述取向差值控制所述术中X光机的行走系统在地面内调整至所述术中X光机与所述位姿基准对齐。
11.如权利要求1所述的基于脊柱X光图像匹配的术中X光机复位方法，其特征在于，所述S2初定位步骤包括：
S21. 行走系统复位步骤，对于术中X光机的行走系统，控制行走系统在地面运动，使得术中X光机概略对准位姿基准时所拍摄的病灶；
S22. 内部姿态复位步骤，将术中X光机的内部姿态恢复至位于位姿基准时记录的位姿参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311806061.2A CN117474906B (zh) | 2023-12-26 | 2023-12-26 | 基于脊柱x光图像匹配的术中x光机复位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311806061.2A CN117474906B (zh) | 2023-12-26 | 2023-12-26 | 基于脊柱x光图像匹配的术中x光机复位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117474906A CN117474906A (zh) | 2024-01-30 |
| CN117474906B true CN117474906B (zh) | 2024-03-26 |
Family
ID=89625947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311806061.2A Active CN117474906B (zh) | 2023-12-26 | 2023-12-26 | 基于脊柱x光图像匹配的术中x光机复位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117474906B (zh) |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003256848A (ja) * | 2002-03-01 | 2003-09-12 | Nippon Telegr & Teleph Corp <Ntt> | 物体形状復元・移動物体検出方法、物体形状復元・移動物体検出装置、物体形状復元・移動物体検出プログラム、およびこのプログラムを記録した記録媒体 |
| CN103582453A (zh) * | 2011-04-01 | 2014-02-12 | 皇家飞利浦有限公司 | X射线姿态恢复 |
| CN103759716A (zh) * | 2014-01-14 | 2014-04-30 | 清华大学 | 基于机械臂末端单目视觉的动态目标位置和姿态测量方法 |
| CN107592720A (zh) * | 2016-07-08 | 2018-01-16 | 西门子保健有限责任公司 | 用于可移动x射线装置的移动控制装置 |
| CN109567839A (zh) * | 2018-11-20 | 2019-04-05 | 北京中科研究院 | 髋关节x光图像自动分析方法 |
| KR20210015695A (ko) * | 2019-07-31 | 2021-02-10 | 삼성전자주식회사 | 포즈 추정 방법, 포즈 추정 장치, 및 포즈 추정을 위한 트레이닝 방법 |
| CN114041875A (zh) * | 2021-11-24 | 2022-02-15 | 电子科技大学 | 一种一体式手术定位导航系统 |
| WO2022037548A1 (zh) * | 2020-08-17 | 2022-02-24 | 浙江大学 | 一种基于深度学习的脊椎mri影像关键点检测方法 |
| CN114663686A (zh) * | 2022-03-07 | 2022-06-24 | 腾讯科技（深圳）有限公司 | 物体特征点匹配方法及装置、训练方法及装置 |
| CN114821031A (zh) * | 2022-02-25 | 2022-07-29 | 上海极睿医疗科技有限公司 | 基于c臂机的术中图像匹配方法、装置和系统 |
| CN114926892A (zh) * | 2022-06-14 | 2022-08-19 | 中国人民大学 | 一种基于深度学习的眼底图像匹配方法、系统和可读介质 |
| CN114972451A (zh) * | 2021-12-06 | 2022-08-30 | 东华理工大学 | 一种基于旋转不变的SuperGlue匹配的遥感影像配准方法 |
| CN115205417A (zh) * | 2022-09-14 | 2022-10-18 | 首都医科大学附属北京安贞医院 | 一种投影变换的计算方法、装置、设备及存储介质 |
| CN115753019A (zh) * | 2022-11-15 | 2023-03-07 | 西安诺瓦星云科技股份有限公司 | 采集设备的位姿调整方法、装置、设备和可读存储介质 |
| WO2023040404A1 (zh) * | 2021-09-17 | 2023-03-23 | 北京极智嘉科技股份有限公司 | 一种线段匹配方法、装置、计算机设备和存储介质 |
| CN115880281A (zh) * | 2023-01-20 | 2023-03-31 | 山西省财政税务专科学校 | 一种脊柱椎体关键点检测及脊柱侧弯识别装置及方法 |
| CN116468609A (zh) * | 2023-04-23 | 2023-07-21 | 中国科学院宁波材料技术与工程研究所 | 基于SuperGlue的两段式变焦相机多图像拼接方法和系统 |
| CN116543187A (zh) * | 2023-07-04 | 2023-08-04 | 合肥吉麦智能装备有限公司 | 一种面向双模g型臂x光机的图像匹配方法 |
| CN116664396A (zh) * | 2023-04-14 | 2023-08-29 | 安徽医科大学第一附属医院 | 一种快速及高精度的脊柱图像拼接方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019205034A1 (zh) * | 2018-04-25 | 2019-10-31 | 深圳市大疆创新科技有限公司 | 云台位姿修正方法和装置 |
| DE102019214302B4 (de) * | 2019-09-19 | 2021-05-20 | Siemens Healthcare Gmbh | Verfahren zum Registrieren eines Röntgenbilddatensatzes mit einem Navigationssystem, Computerprogrammprodukt und System |
-
2023
- 2023-12-26 CN CN202311806061.2A patent/CN117474906B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003256848A (ja) * | 2002-03-01 | 2003-09-12 | Nippon Telegr & Teleph Corp <Ntt> | 物体形状復元・移動物体検出方法、物体形状復元・移動物体検出装置、物体形状復元・移動物体検出プログラム、およびこのプログラムを記録した記録媒体 |
| CN103582453A (zh) * | 2011-04-01 | 2014-02-12 | 皇家飞利浦有限公司 | X射线姿态恢复 |
| CN103759716A (zh) * | 2014-01-14 | 2014-04-30 | 清华大学 | 基于机械臂末端单目视觉的动态目标位置和姿态测量方法 |
| CN107592720A (zh) * | 2016-07-08 | 2018-01-16 | 西门子保健有限责任公司 | 用于可移动x射线装置的移动控制装置 |
| CN109567839A (zh) * | 2018-11-20 | 2019-04-05 | 北京中科研究院 | 髋关节x光图像自动分析方法 |
| KR20210015695A (ko) * | 2019-07-31 | 2021-02-10 | 삼성전자주식회사 | 포즈 추정 방법, 포즈 추정 장치, 및 포즈 추정을 위한 트레이닝 방법 |
| WO2022037548A1 (zh) * | 2020-08-17 | 2022-02-24 | 浙江大学 | 一种基于深度学习的脊椎mri影像关键点检测方法 |
| WO2023040404A1 (zh) * | 2021-09-17 | 2023-03-23 | 北京极智嘉科技股份有限公司 | 一种线段匹配方法、装置、计算机设备和存储介质 |
| CN114041875A (zh) * | 2021-11-24 | 2022-02-15 | 电子科技大学 | 一种一体式手术定位导航系统 |
| CN114972451A (zh) * | 2021-12-06 | 2022-08-30 | 东华理工大学 | 一种基于旋转不变的SuperGlue匹配的遥感影像配准方法 |
| CN114821031A (zh) * | 2022-02-25 | 2022-07-29 | 上海极睿医疗科技有限公司 | 基于c臂机的术中图像匹配方法、装置和系统 |
| CN114663686A (zh) * | 2022-03-07 | 2022-06-24 | 腾讯科技（深圳）有限公司 | 物体特征点匹配方法及装置、训练方法及装置 |
| CN114926892A (zh) * | 2022-06-14 | 2022-08-19 | 中国人民大学 | 一种基于深度学习的眼底图像匹配方法、系统和可读介质 |
| CN115205417A (zh) * | 2022-09-14 | 2022-10-18 | 首都医科大学附属北京安贞医院 | 一种投影变换的计算方法、装置、设备及存储介质 |
| CN115753019A (zh) * | 2022-11-15 | 2023-03-07 | 西安诺瓦星云科技股份有限公司 | 采集设备的位姿调整方法、装置、设备和可读存储介质 |
| CN115880281A (zh) * | 2023-01-20 | 2023-03-31 | 山西省财政税务专科学校 | 一种脊柱椎体关键点检测及脊柱侧弯识别装置及方法 |
| CN116664396A (zh) * | 2023-04-14 | 2023-08-29 | 安徽医科大学第一附属医院 | 一种快速及高精度的脊柱图像拼接方法 |
| CN116468609A (zh) * | 2023-04-23 | 2023-07-21 | 中国科学院宁波材料技术与工程研究所 | 基于SuperGlue的两段式变焦相机多图像拼接方法和系统 |
| CN116543187A (zh) * | 2023-07-04 | 2023-08-04 | 合肥吉麦智能装备有限公司 | 一种面向双模g型臂x光机的图像匹配方法 |
Non-Patent Citations (3)
| Title |
|---|
| SuperGlue: Learning Feature Matching with Graph Neural Networks;Paul-Edouard Sarlin et al.;《https://arxiv.org/abs/1911.11763》;20191126;1-18 * |
| SuperPoint: Self-Supervised Interest Point Detection and Description;Daniel DeTone et al.;《https://arxiv.org/abs/1712.07629》;20171220;1-13 * |
| 基于深度学习SuperGlue的枪弹痕迹自动识别方法;耿乐 等;《计算技术与自动化》;20230331;第42卷(第1期);174-178 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117474906A (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Stavnitzky et al. | Multiple camera model-based 3-D visual servo | |
| US8073528B2 (en) | Tool tracking systems, methods and computer products for image guided surgery | |
| WO2024027647A1 (zh) | 机器人控制方法、系统和计算机程序产品 | |
| Doignon et al. | Segmentation and guidance of multiple rigid objects for intra-operative endoscopic vision | |
| WO2017115227A1 (en) | Image based robot guidance | |
| Stückler et al. | Model learning and real-time tracking using multi-resolution surfel maps | |
| Bista et al. | Appearance-based indoor navigation by IBVS using line segments | |
| CN113910219A (zh) | 运动臂系统以及控制方法 | |
| López-Nicolás et al. | Switching visual control based on epipoles for mobile robots | |
| Taylor et al. | Robust visual servoing based on relative orientation | |
| GB2580690A (en) | Mapping an environment using a state of a robotic device | |
| Lopez-Nicolas et al. | Nonholonomic epipolar visual servoing | |
| CN117218210A (zh) | 一种基于仿生眼的双目主动视觉半稠密深度估计方法 | |
| CN117474906B (zh) | 基于脊柱x光图像匹配的术中x光机复位方法 | |
| Piccinelli et al. | Rigid 3D registration of pre-operative information for semi-autonomous surgery | |
| Yang et al. | Autonomous laparoscope control for minimally invasive surgery with intuition and RCM constraints | |
| CN114730454A (zh) | 场景感知系统和方法 | |
| KR102577964B1 (ko) | 간 수술을 위한 정렬 시스템 | |
| LIU et al. | Robot intelligence for real world applications | |
| Hemayed et al. | The CardEye: A trinocular active vision system | |
| Neuberger et al. | Self-initialized Visual Servoing for Accurate End-effector Positioning | |
| CN115294281A (zh) | 一种面向机器人辅助外科手术的位姿估计方法和导航系统 | |
| Xu et al. | New pose-detection method for self-calibrated cameras based on parallel lines and its application in visual control system | |
| Pedersen et al. | Performance evaluation of handoff for instrument placement | |
| Jin et al. | SLAM Fusion Optimization Based on Monocular Vision and Inertial Sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |