CN115619790A - 一种基于双目定位的混合透视方法、系统及设备 - Google Patents
一种基于双目定位的混合透视方法、系统及设备 Download PDFInfo
- Publication number
- CN115619790A CN115619790A CN202211636244.XA CN202211636244A CN115619790A CN 115619790 A CN115619790 A CN 115619790A CN 202211636244 A CN202211636244 A CN 202211636244A CN 115619790 A CN115619790 A CN 115619790A
- Authority
- CN
- China
- Prior art keywords
- reference frame
- image
- human body
- patient
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 210000000056 organ Anatomy 0.000 claims abstract description 63
- 238000013507 mapping Methods 0.000 claims abstract description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000004807 localization Effects 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 5
- 238000002594 fluoroscopy Methods 0.000 claims description 4
- 238000001356 surgical procedure Methods 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 14
- 238000012800 visualization Methods 0.000 description 8
- 210000001519 tissue Anatomy 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 238000003709 image segmentation Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 210000005036 nerve Anatomy 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
- A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
- A61B2034/2057—Details of tracking cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Robotics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于双目定位的混合透视方法、系统及设备。包括：获取患者三维器官模型；基于双摄像头分别获取参考架图像、患者人体图像，根据实时获取的参考架图像构建参考架掩膜图，通过配准映射得到患者人体模型；基于三维器官模型、患者人体模型、参考架掩膜图和双摄像头坐标系的位置关系，在双摄像头视频中实时显示的人体模型上同时投影三维器官模型、参考架掩膜图，得到混合透视视频图像。本发明方法旨在基于双摄像头进行空间定位，通过混合透视在视频中人体上实时投影参考架的三维模型与三维重建的器官模型，发掘其在协助外科医生实现最佳手术结果中的潜在应用价值。
Description
技术领域
本发明涉及临床医学中的图像可视化分析领域，更具体地，涉及一种基于双目定位的混合透视方法、系统、设备、计算机可读存储介质及其应用。
背景技术
手术导航是以超声、X射线、CT、MRI等医学影像为基础数据，借助计算机、精密仪器和图像处理而发展起来的一种可视化图像引导手术技术，可通过三维数字化患者病灶组织，实时追踪手术器械位置，实现外科手术可视化和自动化，从而辅助医生或机器人更快速、准确和安全地完成手术任务。
目前，医生主要通过观察超声、X光、CT和MRI等二维图像进行诊断。但是，二维图像无法直观展现病灶区域的立体解剖结构，需医生依靠经验进行推断；同时，图像存在走样、噪音、伪影等问题，影响医生准确判断病情。由此，手术的成功率极大依赖于医生以往的经验来进行手术，而以往经验的形成需要长时间的医疗培训和临床经验。鉴于三维模型重建是对客观物体在计算机中建立相同的三维虚拟模型，可将患者的CT、MRI等二维医学影像原始数据导入三维模型重建系统，形成患者检查部位的三维可视化数字模型。
发明内容
本申请的目的在于，本申请实施例提供一种基于双目定位的混合透视方法、系统、设备、计算机可读存储介质及其应用，旨在基于双目摄像头进行定位，通过混合透视解决导航可视化的问题，导航时把手术工具的三维模型、患者的三维器官模型与摄像头拍摄的人体叠加在一起，以发掘其在协助外科医生实现最佳手术结果中的潜在应用价值，对治疗决策的选择提供更充分的支持。
根据本申请的第一方面，本申请一实施例提供了一种基于双目定位的混合透视方法，其包括：
获取患者的三维器官模型；
基于双摄像头获取参考架图像，根据所述参考架图像得到实时的参考架在双摄像头坐标系的空间位姿信息；
基于所述空间位姿信息构建参考架掩膜图像，得到实时的参考架掩膜图像；
基于双摄像头获取患者人体图像，通过配准确定人体坐标系和双摄像头坐标系的映射关系，映射得到患者人体模型；
基于三维器官模型、患者人体模型、实时的参考架掩膜图像和双摄像头坐标系的位置关系，在双摄像头的视频中实时显示的人体模型上同时投影所述三维器官模型、所述实时的参考架掩膜图像，得到混合透视视频图像。
在一实施例中，所述患者的三维器官模型基于患者术前的各种器官的医学影像按照1：1比例进行三维器官重建得到。
进一步，所述各种器官的医学影像包括CT影像和/或MRI影像，所述三维器官重建，是将患者术前的各种器官的医学影像输入到训练好的人体三维器官模型得到患者的三维器官模型。
可选的，所述训练好的人体三维器官模型通过下列网络模型中的任意一种或几种实现：多视图三维重建网络pixelNeRF、MVSNet、PatchMatchNet。
在一实施例中，所述基于双摄像头获取参考架图像还包括：通过双目定位对所述参考架进行定位，具体的，所述双目定位利用张正友标定法对左右两个相机进行标定和双目矫正特征点识别，基于所述参考架具有的黑白交替的特征点，进行自适应搜索框半径，沿着搜索框边缘检测满足有且仅有黑白交替点的候选区域，对所述候选区域进行对称性检测，过滤不满足条件的区域，对满足条件的候选区域做卷积作为积分生成积分图，对积分图做非极大值抑制和亚像素点位置计算来确定最终的特征点位置，定位得到所述参考架的关键特征点。
在一实施例中，所述实时的参考架掩膜图像，基于所述空间位姿信息中的关键特征点生成，具体的，通过遍历双摄像头获取的左右两幅图中的特征点查找是否存在所述参考架指定的特殊形状，过滤掉未配对的特征点，再通过配对成功的特征点检测对应关系，利用最小二乘法计算得到参考架掩膜图像。其中，所述参考架是指手术工具。
进一步，所述空间位姿信息包括所述参考架具有特定结构的关键特征点，所述特定结构包括由黑白交替的特征点构成的多个黑白交替的目标区域。
在一些实施例中，所述基于双摄像头获取患者人体图像，还包括所述通过机器学习的方法对所述患者人体图像的目标区域进行自动分割和定位，得到所述目标区域的关键位置信息和姿态信息，基于所述目标区域的关键位置信息和姿态信息进而确定人体坐标系；可选的，所述自动分割和定位通过下列算法中的任意一种或几种实现：分水岭分割、U-Net、MIScnn、ResUNet。
在一实施例中，所述配准通过点云配准的方法确定人体坐标系和双摄像头坐标系的映射关系，其中，所述点云配准基于全局特征配准和局部特征配准的混合方式进行。
进一步，所述点云配准采用下列方法中的任意一种或几种：3Dsc、4pcs、super4pcs、K-4PCS。
根据本申请的第二方面，本申请一实施例提供了一种基于双目定位的混合透视系统，其包括：
三维模型获取模块，用于获取患者的三维器官模型；
坐标系确定模块，基于双摄像头获取参考架图像，根据所述参考架图像得到实时的参考架在双摄像头坐标系的空间位姿信息；
掩膜图像生成模块，基于所述空间位姿信息构建参考架掩膜图像，得到实时的参考架掩膜图像；
人体模型配准模块，基于双摄像头获取患者人体图像，通过配准确定人体坐标系和双摄像头坐标系的关系，基于所述人体坐标系和双摄像头坐标系的关系，将人体坐标系映射到双摄像头坐标系下，在双摄像头的视频内实时显示患者人体模型；
混合透视显示模块，用于在双摄像头的视频中实时显示的人体模型上同时投影所述三维器官模型、所述实时的参考架掩膜图像，基于三维器官模型、患者人体模型、实时的参考架掩膜图像和双摄像头坐标系的位置关系，得到混合透视视频图像。
根据本申请的第三方面，本申请一实施例提供了一种基于双目定位的混合透视设备，主要包括：
存储器和处理器；
所述存储器用于存储程序指令，所述程序指令存储有基于双目定位的混合透视的计算机程序，当所述计算机程序被处理器执行时，实现上述的一种基于双目定位的混合透视方法；
所述处理器用于调用程序指令，当程序指令被执行时，用于执行实现上述的一种基于双目定位的混合透视方法。
根据本申请的第四方面，本申请一实施例提供了一种计算机可读存储介质，其上存储有基于双目定位的混合透视的计算机程序，所述计算机程序被处理器执行时，实现上述基于双目定位的混合透视方法。
上述的设备或系统在对手术的智能导航可视化的应用；可选的，可视化应用包括通过双目标定和配准算法使虚拟坐标系与摄像头统一，通过混合透视在视频中人体上实时投影手术工具的三维模型与三维重建的人体器官模型；
上述的设备或系统在提取深度信息的应用；可选的，所述应用包括在多个摄像机查看同一场景时，通过空间定位，可以从图像中提取深度信息；
上述的设备或系统在辅助外科医生进行准确诊断分析的应用；可选的，所述辅助包括：通过重建的三维模型可直观显示病灶区域的血管、神经、骨质等组织结构，并可任意旋转、缩放和测量，用于精准定位病灶位置，明确病灶与周围组织的空间毗邻关系，有效辅助医生进行准确诊断。
本发明基于成像原理和双目标定技术，通过混合透视更好地反映手术工具、患者人体模型、三维器官模型三位一体的具体情况和效果，是一种床旁、无创、无辐射、更具实用性的发明，提高了术中导航的可视化，具有很强的创新性，对协助外科医生实现最佳手术结果产生有益的推动作用。
本申请的优点：
1.本申请创新性的公开一种基于双目定位的混合透视的新技术，以提高导航的可视化为目的，三维数据与视频叠加的误差精度在1mm内，手术工具的三维模型与三维重建的人体器官模型都可以叠加，使导航视觉效果更直观，降低手术难度，提高手术精度和成功率，客观地提高了数据分析的精度和深度；
2.本申请创新性的通过高性能计算机将手术工具的三维模型、患者人体模型、三维器官模型集于一体，把病人术前的影像资料与术中病灶的具体位置连接起来，提出的三维器官模型可直观显示病灶区域的血管、神经、骨质等组织结构，并可任意旋转、缩放和测量，用于精准定位病灶位置，有效辅助医生进行制定最佳手术方案，无创、无辐射、时效明显；
3.本申请创造性的公开了通过双目标定和配准算法使虚拟坐标系与摄像头统一，同时通过混合透视在视频中人体上实时投影手术工具的三维模型与三维重建的人体器官模型，鉴于得到的混合透视视频图像对手术导航及术中防控具有重要的研究意义，使得本申请更准确的应用于外科医生实现最佳手术结果的辅助分析中。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。
图1是本发明实施例提供的一种基于双目定位的混合透视方法的流程示意图；
图2是本发明实施例提供的一种基于双目定位的混合透视显示的算法设计流程图；
图3是本发明实施例提供的一种基于双目定位的混合透视系统的模块组成示意图；
图4是本发明实施例提供的一种基于双目定位的混合透视设备示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如S101、S102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
本申请实施例提供了一种基于双目定位的混合透视方法、一种基于双目定位的混合透视系统、一种基于双目定位的混合透视设备及计算机可读存储介质。其中，一种基于双目定位的混合透视设备包括终端或者服务器等设备。该终端可以为智能手机、平板电脑、笔记本电脑、个人计算机等终端设备。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容发布网络(Content DeliveryNetwork，简称CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
图1是本发明实施例提供的一种基于双目定位的混合透视方法流程示意图，具体地，包括如下步骤：
S101：获取患者的三维器官模型。
在一个实施例中，患者的三维器官模型基于患者术前的各种器官的医学影像按照1：1比例进行三维器官重建得到。其中，患者术前的各种器官的医学影像包括CT影像、MRI影像。
进一步，三维器官重建是将患者术前的各种器官的医学影像输入到训练好的人体三维器官模型得到患者的三维器官模型。
可选的，训练好的人体三维器官模型通过下列网络模型中的任意一种或几种实现：pixelNeRF、MVSNet、PatchMatchNet。
pixelNeRF是一种基于NeRF的多视图三维重建网络，将与每个像素对齐的空间图像特征作为输入，可以在多视图图像的数据集上面进行训练，预测输入图像的摄像机坐标系中的NeRF表示，即以观察者为中心的三维重建。
MVSNet，基于多视图图像的深度估计网络，先在2D图像上进行特征提取得到特征图，然后通过可微分的单应变换，基于参考视图的相机视锥体构建3D代价体，使用3D卷积进行正则化，回归得到初始的深度图和最后的深度图。
PatchMatchNet，一种高效multi-view stereo框架，当给定一些图像以及对应的相机参数（包括内参和外参）时，将场景以点云或mesh的方式进行重建。
在一个具体的实施例中，获取训练好的人体三维器官模型的方法如下：基于所述患者的术前的各种器官的医学影像数据特征对原始网络模型做适应性调整优化得到；可选的，适应性调整包括采用批量标准化加速网络收敛速度、激活函数和Dice Loss损失函数优化模型。
在一个实施例中，根据成像原理，三维器官模型的重建可分为三类：基于CT影像、MRI影像的三维重建。
在一个具体实施例中，基于患者术前的CT影像和/或MRI影像重建得到的三维器官模型可直观显示病灶区域的血管、神经、骨质等组织结构，并可任意旋转、缩放和测量，用于精准定位病灶位置，明确病灶与周围组织的空间毗邻关系，有效辅助医生进行准确诊断。
S102：基于双摄像头获取参考架图像，根据参考架图像得到实时的参考架在双摄像头坐标系的空间位姿信息。
在一个实施例中，基于双摄像头获取参考架图像包括对获取的参考架图像进行自适应二值化处理、高斯滤波等预处理。
在一个具体实施例中，基于双摄像头获取参考架图像还包括：通过双目定位对参考架进行定位。具体的，双目定位利用张正友标定法对左右两个相机进行标定和双目矫正特征点识别，基于参考架具有的黑白交替的特征点，进行自适应搜索框半径，沿着搜索框边缘检测满足有且仅有黑白交替点的候选区域，对候选区域进行对称性检测，过滤不满足条件的区域，对满足条件的候选区域做卷积作为积分生成积分图，对积分图做非极大值抑制和亚像素点位置计算来确定最终的特征点位置，定位得到参考架的关键特征点。
具体的，通过左右两个相机的标定方法旨在估计构成相机标定矩阵的参数，校准过程采用张正友的九宫格标定技术，构造多个子式并进行参数求解。当多个摄像机查看同一场景时，可以从图像中提取深度信息。
在一个实施例中，实时的参考架掩膜图像，基于空间位姿信息中的关键特征点生成，具体的，通过遍历双摄像头获取的左右两幅图中的特征点查找是否存在参考架指定的特殊形状，过滤掉未配对的特征点，再通过配对成功的特征点检测对应关系，利用最小二乘法计算得到参考架掩膜图像。其中，参考架是指手术工具。
进一步，空间位姿信息包括参考架具有特定结构的关键特征点，特定结构的关键特征包括由黑白交替的特征点构成的多个黑白交替的目标区域。
S103：基于空间位姿信息构建参考架掩膜图像，得到实时的参考架掩膜图。
在一个实施例中，构建的参考架掩膜图像是基于步骤S102得到的实时的参考架在双摄像头坐标系的空间位姿信息进行三维重建，即得到的实时的参考架掩膜图是基于真实存在的参考架按照1：1比例进行重建的三维图像。
具体的，进行三维重建的方法采用步骤S101所述网络模型中的任意一种或几种实现：pixelNeRF、MVSNet、PatchMatchNet，在此不再赘述。
S104：基于双摄像头获取患者人体图像，通过配准确定人体坐标系和双摄像头坐标系的映射关系，映射得到患者人体模型。
在一实施例中，基于双摄像头获取的患者人体图像，通过点云配准方法中的全局特征配准和局部特征配准的混合方式来确定人体坐标系和双摄像头坐标系的映射关系，得到双摄像头坐标系下的按照1：1比例重现的患者人体模型。
进一步，点云配准采用下列方法中的任意一种或几种：3Dsc、4pcs、super4pcs、K-4PCS。
3Dsc是一种基于3D的由局部参考帧（Local Reference Frame，LRF）组成的点云描述子的点云配准方法，通过计算兴趣点并与LRF对齐实现旋转不变性。
4PCS，即四点法配准算法，根据原始点云中不共面四点的仿射不变性，从目标点云中构建与匹配点间空间拓扑关系，在共面四点集合中匹配符合条件的对应点对，使用LCP（Largest Common Pointset）策略寻找配准后最大重叠度四点对，得到最优匹配结果，完成点云粗匹配。
super4pcs，基于4pcs配准算法进行改进，利用栅格化点云加速了共面四点集的搜索过程，并且基于智能索引使4PCS算法的计算复杂度显著降低。
K-4PCS利用VoxelGrid滤波器对点云Q进行下采样，然后使用标准方法(3D harris或者3D DoG)进行3D关键点检测，通过4PCS算法使用关键点集合而非原始点云进行数据的匹配，降低了搜索点集的规模，提高了运算效率。
在一个具体实施例中，基于双摄像头获取的患者人体图像，通过结合3Dsc和super4pcs的配准方法，以确定人体坐标系和双摄像头坐标系的映射关系，映射得到基于双摄像头坐标系下的患者人体模型。
在一些实施例中，基于双摄像头获取患者人体图像，还包括通过机器学习的方法对获取的患者人体图像的目标区域进行自动分割和定位，得到目标区域的关键位置信息和姿态信息，基于目标区域的关键位置信息和姿态信息进而确定人体坐标系。
进一步，可选的，自动分割和定位通过下列算法中的任意一种或几种实现：分水岭分割、U-Net、MIScnn、Swin-Unet、UTNet。
分水岭算法是一种典型的基于边缘的图像分割算法，通过寻找区域之间的分界线，对图像进行分割，能够较好的适用于复杂背景下的目标分割，特别是具有蜂窝状结构的画面的内容分割。
U-Net算法是一种适合医学影像分割的网络模型，首先进行Conv+Pooling下采样；然后Deconv反卷积进行上采样，crop之前的低层特征图，进行融合；然后再次上采样，重复直到获得输出目标特征图，最后经过softmax获得分割图像。
MIScnn具有卷积神经网络和深度学习的医学图像分割框架，提供直观，快速的API建立医学图像分割流程，包括数据I / O，预处理，数据增强，逐块分析，评价指标，具有最新深度学习模型的库以及模型使用。
Swin-Unet基于Swin Transformer block，构建了一个具有跳跃连接的对称编码器-解码器体系结构，开发了patch扩展层，无需卷积或插值操作即可实现上采样和特征维数的增加，最终构建了一个纯基于transformer的U型编解码结构。
UTNet，一种U型混合变换网络(UTNet)来融合卷积层和自注意机制的优点，用于医学图像分割。
S105：基于三维器官模型、患者人体模型、参考架掩膜图和双摄像头坐标系的位置关系，在双摄像头的视频中实时显示的人体模型上同时投影三维器官模型、参考架掩膜图，得到混合透视视频图像。
在一个实施例中，基于双摄像头坐标系，通过相应的位置关系建立由以上步骤构建的三维器官模型、患者人体模型、参考架掩膜图，使得在双摄像头的视频中实时显示的人体模型上同时投影三维器官模型、参考架掩膜图，进而得到混合透视视频图像。
在一个具体实施例中，在双摄像头的视频中实时显示的可以把三维器官模型与摄像头拍摄的人体叠加在一起，也可以将通过参考架实时获取的参考架掩膜图（即手术工具的三维模型）与三维重建的人体器官模型叠加，显著提高了手术导航的可视化，使导航视觉效果更直观，明显降低手术难度。
图1所示的方法在一个更为完整的具体的实施例应用中，通过如图2所示的算法设计实现基于双目定位的混合透视过程。图2所示的基于双目定位的混合透视过程，首先进行摄像头标定，然后依次进行双摄像头图像采集、图像预处理、特征点识别(黑白交替的X-Point)、定位工具匹配、人体模型配，再通过混合透视显示，得到混合透视视频图像。
具体的，摄像头标定的过程：基于张正友标定法对左右两个相机中的单个摄像头标定，通过测量相机内外参、畸变系数，进行标定误差分析，当误差低于阈值时，再基于OpenCV通用算法进行双目标定与矫正以确定双目相对位姿，分析其标定与矫正误差，当其标定与矫正误差达到设定阈值时，再进行下一步骤，即双摄像头图像采集。
进一步，双摄像头图像采集，基于后台线程+缓存的形式进行，通过图像矫正(lmage rectification)实现采集，得到参考架图像。这里的图像矫正以图像中心点为旋转中心，以图像旋转角度为基准对图像进行逆时针旋转，使图像实现倾斜矫正；具体的，获取待矫正区域位置及旋转信息的步骤：
（1）获取待矫正区域位置信息，主要是获取待矫正区域外接矩形的中心点坐标及其四个顶点坐标，方便坐标迁移；
（2）获取待矫正区域旋转角度：以图像待矫正区域外接矩形中心坐标位置为坐标原点做平面直角坐标系，图像待矫正区域外接矩形长边与平面直角坐标系的夹角就为图像待矫正区域旋转角度。
图像预处理的过程主要通过对获取的参考架图像进行自适应二值化处理、高斯滤波、阈值分割、轮廓查找等多个操作，得到预处理后的参考架图像。
进一步，特征点识别(黑白交替的X- Point)，主要是对预处理后的参考架图像进行关键性特征识别，以得到实时的参考架在双摄像头坐标系的空间位姿信息。具体的识别过程如下：
首先，基于预处理后的参考架图像进行自适应搜索框半径；
接着，沿着搜索框边缘检测满足参考架特定结构的关键特征点，例如，搜索是否满足有且仅有4个黑白交替点的候选区域，即由黑白交替的特征点构成的多个黑白交替的目标区域；
然后，对候选区域做对称性检测，过滤不满足条件的区域。对称性检测主要是判断是否为黑白交替区域及其黑白面积占比，具体的是基于特征点空间位置计算对左右两幅图像配对的特征点进行双目计算，通过遍历特征点，查找是否存在指定的特殊形状（如黑白交替的对称区域），来匹配对称性检测；
再然后，对满足条件的候选区域做卷积作为积分(BoxFilter) 生成积分图；
然后，再对生成的积分图做非极大值抑制和亚像素点位置计算来确定最终的特征点位置；
最后，对左右两幅图做特征点匹配，过滤掉未配对的特征点，进而得到实时的参考架在双摄像头坐标系的空间位姿信息，定位得到参考架的关键特征点。
进一步，定位工具匹配过程主要是通过遍历特征点，查找是否存在指定的特殊形状，来匹配特定的参考架（即定位工具）。例如，对于一种由4个特征点组成的参考架，可生产4个特殊三角形，此时，查找是否存在指定的特殊三角形，来匹配参考架。具体的，通过遍历得到的实时的参考架在双摄像头坐标系的空间位姿信息（特征点）查找是否存在指定的特殊三角形，过滤掉未配对的特征点，再通过配对成功的特征点检测对应关系，利用最小二乘法计算得到参考架掩膜图像。
进一步，人体模型配准这一步骤可以通过四点配准来确定人体坐标系和摄像机坐标系之间的关系，从而得到双摄像头坐标系下的患者人体模型。
进一步，混合透视显示，通过人体模型坐标系和摄像头坐标系的关系，将患者人体模型映射到双摄像头坐标系下，在双摄像头的视频内实时显示。具体的，基于三维器官模型、患者人体模型、参考架掩膜图像和双摄像头坐标系的位置关系，在双摄像头的视频中实时显示的人体模型上同时投影所述三维器官模型、所述实时的参考架掩膜图像，从而得到混合透视视频图像。
在一个具体实施例中，由于需要实时计算，且空间定位至少需要3个点，当参考架设计为具有共面的不规则的四个点的工具时，为了能精确定位，以该点为圆心画圆，并将圆4等分为黑白交替的扇形区域，那么一种基于双目定位的混合透视过程可以描述为：先利用张正友标定法对左右两个相机进行标定和双目矫正；进一步，根据标定和双目矫正的结果，将上述图像采集与预处理过程拓展为：通过将左右双摄像头生成的图片上传到GPU进行加速计算，同时将彩图转成灰度图，高斯降噪；再通过区域二值化：将图片分成若干个合适的正方形区域，每个区域取均值作为阈值进行二值化得到二值化图片，以此降低光照环境的影响，突出局部特征。
进一步，基于二值化图片计算实现候选特征点快速识别目标区域，具体的：
（1）选取合适的特征点识别区域半径。
（2）对每个像素点p0以指定的半径画圆。
（3）沿顺时针方向计算圆周上每个像素点的梯度值。
（4）统计圆周上梯度值大小为255的像素点(pts)的个数和坐标，筛选pts满足个数为4且这4个梯度值相加接近0的点p0。
（5）通过p0和pts共5个点，分别构成4个三角区域。
（6）对4个三角区域，分别做随机取点算法获取适量的像素值，从而得到4区域的颜色值。
（7）筛选满足4块区域为两黑两白，且交替分布的点。
（8）对上述4个三角区域颜色相同的区域两两做三角形全等判断。
（9） 最后利用双目立体矫正后，相同的特征点在左右两幅图具有相同的纵坐标的特性，去除不满足条件的点，得到的合适的特征点记作候选点p1。
再进一步，用灰度图计算特征点的亚像素位置计算：
（1）在候选点P1处为中心画4条线段，分别与水平方向的夹角为0度、45度、90度、135度，累加线段经过的像素点的值，得到4个累加值。然后，用其中的最大值减最小值作为候选点的积分，生成积分图。
（2）对积分图做最大级值抑制算法，得出区域内积分最高的特征点坐标，选做最后正确的特征点。
（3）根据特征点周围的积分分布情况，计算出横纵偏移值，得到特征点亚像素坐标特征点空间位置计算。更具体的，利用视差法，计算出特征点的空间三维空间坐标。
再进一步，进行特征点与多工具匹配与定位：
（1）在所用特征点中，查找特定的三角形，从而匹配不同的工具和点的一一对应关系。
（2）根据4点的对应关系，利用最小二乘法，计算出工具的空间位姿。
然后，基于工具在双摄像头下的空间定位，通过配准算法确立坐标系，使得虚拟坐标系与摄像头统一，在视频中人体上同时显示所投影的三维工具掩膜图；同时将基于患者术前的影像资料重建的三维器官模型与术中病灶的具体位置通过高性能计算机连接起来，准确地显示病灶的三维空间位置及相邻重要的组织器官，使得医生可以通过实时导航信息选择最佳手术入径，以制定或实施最佳手术方案。
将上述方法用于手术导航可视化是可行性的，同理表明通过三维数据与视频叠加的误差精度在1mm内，在满足临床使用的精度需求和稳定度需求的前提下，实现了手术导航成本大幅降低的目标。本申请通过混合透视更好地反映手术工具、患者人体模型、三维器官模型三位一体的具体结合情况和效果，充分利用更准确的实时导航信息使患者获得安全、精确、微创的手术治疗，是一种床旁、无创、无辐射、更具实用性的方法，使得本申请在协助外科医生实现最佳手术结果方面的辅助诊断和有关疾病发生发展的防控分析方面更有利。
本发明实施例提供的一种基于双目定位的混合透视系统，如图3所示，其包括：
S301：三维模型获取模块。该模块用于获取患者的三维器官模型。
S302：坐标系确定模块。该模块基于双摄像头获取的参考架图像，得到实时的参考架在双摄像头坐标系的空间位姿信息。
S303：掩膜图像生成模块。该模块基于S302得到的空间位姿信息构建参考架掩膜图像，得到实时的参考架掩膜图。
S304：人体模型配准模块。该模块基于双摄像头获取的患者人体图像，通过配准确定人体坐标系和双摄像头坐标系的映射关系，基于确定的人体坐标系和双摄像头坐标系的关系，将人体坐标系映射到双摄像头坐标系下，在双摄像头的视频内实时显示患者人体模型。
S305：混合透视显示模块。该模块用于在双摄像头的视频中实时显示的人体模型上同时投影由S301得到的三维器官模型、S303得到的参考架掩膜图，具体的，基于三维器官模型、患者人体模型、参考架掩膜图和双摄像头坐标系的位置关系，得到混合透视视频图像。
图4是本发明实施例提供的一种基于双目定位的混合透视设备，其包括：
存储器和处理器；
该设备还可以包括：输入装置和输出装置。
存储器、处理器、输入装置和输出装置可以通过总线或者其他方式连接，图4所示的以总线连接方式为例；其中，存储器用于存储程序指令，存储的程序指令是基于双目定位的混合透视的计算机程序，当计算机程序被处理器执行时，实现上述的一种基于双目定位的混合透视方法；处理器用于调用程序指令，当程序指令被执行时，用于执行实现上述的一种基于双目定位的混合透视方法。
本发明提供的一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述一种基于双目定位的混合透视方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置或模块的具体工作过程，可以参考上述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；再例如，多个模块或组件可以结合或者集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或模块的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。具体的，可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、磁盘或光盘等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上对本发明所提供的一种计算机设备进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于双目定位的混合透视方法，包括：
获取患者的三维器官模型；
基于双摄像头获取参考架图像，根据所述参考架图像得到实时的参考架在双摄像头坐标系的空间位姿信息；
基于所述空间位姿信息构建参考架掩膜图像，得到实时的参考架掩膜图像；
基于双摄像头获取患者人体图像，通过配准确定人体坐标系和双摄像头坐标系的映射关系，映射得到患者人体模型；
基于三维器官模型、患者人体模型、实时的参考架掩膜图像和双摄像头坐标系的位置关系，在双摄像头的视频中实时显示的人体模型上同时投影所述三维器官模型、所述实时的参考架掩膜图像，得到混合透视视频图像。
2.根据权利要求1所述的一种基于双目定位的混合透视方法，其特征在于，所述患者的三维器官模型基于患者术前的各种器官的医学影像按照1：1比例进行三维器官重建得到。
3.根据权利要求1所述的一种基于双目定位的混合透视方法，其特征在于，所述空间位姿信息包括所述参考架具有特定结构的关键特征点，所述特定结构包括由黑白交替的特征点构成的多个黑白交替的目标区域。
4.根据权利要求1所述的一种基于双目定位的混合透视方法，其特征在于，所述基于双摄像头获取参考架图像还包括：通过双目定位对所述参考架进行定位，具体的，所述双目定位利用张正友标定法对左右两个相机进行标定和双目矫正特征点识别，基于所述参考架具有的黑白交替的特征点，进行自适应搜索框半径，沿着搜索框边缘检测满足有且仅有黑白交替点的候选区域，对所述候选区域进行对称性检测，过滤不满足条件的区域，对满足条件的候选区域做卷积作为积分生成积分图，对积分图做非极大值抑制和亚像素点位置计算来确定最终的特征点位置，定位得到所述参考架的关键特征点。
5.根据权利要求1所述的一种基于双目定位的混合透视方法，其特征在于，所述实时的参考架掩膜图像，基于所述空间位姿信息中的关键特征点生成，具体的，通过遍历双摄像头获取的左右两幅图中的特征点查找是否存在所述参考架指定的特殊形状，过滤掉未配对的特征点，再通过配对成功的特征点检测对应关系，利用最小二乘法计算得到参考架掩膜图像。
6.根据权利要求1所述的一种基于双目定位的混合透视方法，其特征在于，所述基于双摄像头获取患者人体图像，还包括所述通过机器学习的方法对所述患者人体图像的目标区域进行自动分割和定位，得到所述目标区域的关键位置信息和姿态信息，基于所述目标区域的关键位置信息和姿态信息进而确定人体坐标系；可选的，所述自动分割和定位通过下列算法中的任意一种或几种实现：分水岭分割、U-Net、MIScnn、ResUNet。
7.根据权利要求1所述的一种基于双目定位的混合透视方法，其特征在于，所述配准通过点云配准的方法确定人体坐标系和双摄像头坐标系的映射关系，所述点云配准基于全局特征配准和局部特征配准的混合方式进行。
8.根据权利要求7所述的一种基于双目定位的混合透视方法，其特征在于，所述点云配准采用下列方法中的一种或几种：3Dsc、4pcs、super4pcs、K-4PCS。
9.一种基于双目定位的混合透视系统，包括：
三维模型获取模块，用于获取患者的三维器官模型；
坐标系确定模块，基于双摄像头获取参考架图像，根据所述参考架图像得到实时的参考架在双摄像头坐标系的空间位姿信息；
掩膜图像生成模块，基于所述空间位姿信息构建参考架掩膜图像，得到实时的参考架掩膜图像；
人体模型配准模块，基于双摄像头获取患者人体图像，通过配准确定人体坐标系和双摄像头坐标系的关系，基于所述人体坐标系和双摄像头坐标系的关系，将人体坐标系映射到双摄像头坐标系下，在双摄像头的视频内实时显示患者人体模型；
混合透视显示模块，用于在双摄像头的视频中实时显示的人体模型上同时投影所述三维器官模型、所述实时的参考架掩膜图像，基于三维器官模型、患者人体模型、实时的参考架掩膜图像和双摄像头坐标系的位置关系，得到混合透视视频图像。
10.一种基于双目定位的混合透视设备，其特征在于，所述设备包括：
存储器和处理器；
所述存储器用于存储程序指令，所述程序指令存储有基于双目定位的混合透视的计算机程序，当所述计算机程序被处理器执行时，实现权利要求1-8任意一项所述的一种基于双目定位的混合透视方法；
所述处理器用于调用程序指令，当程序指令被执行时，用于执行实现权利要求1-8任意一项所述的一种基于双目定位的混合透视方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211636244.XA CN115619790B (zh) | 2022-12-20 | 2022-12-20 | 一种基于双目定位的混合透视方法、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211636244.XA CN115619790B (zh) | 2022-12-20 | 2022-12-20 | 一种基于双目定位的混合透视方法、系统及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115619790A true CN115619790A (zh) | 2023-01-17 |
| CN115619790B CN115619790B (zh) | 2023-05-02 |
Family
ID=84880980
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211636244.XA Active CN115619790B (zh) | 2022-12-20 | 2022-12-20 | 一种基于双目定位的混合透视方法、系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115619790B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116958265A (zh) * | 2023-09-19 | 2023-10-27 | 交通运输部天津水运工程科学研究所 | 一种基于双目视觉的船舶位姿测量方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020082498A1 (en) * | 2000-10-05 | 2002-06-27 | Siemens Corporate Research, Inc. | Intra-operative image-guided neurosurgery with augmented reality visualization |
| CN101073528A (zh) * | 2007-06-22 | 2007-11-21 | 北京航空航天大学 | 双平面定位与双目视觉跟踪的数字化手术床系统 |
| CN102784003A (zh) * | 2012-07-20 | 2012-11-21 | 北京先临华宁医疗科技有限公司 | 一种基于结构光扫描的椎弓根内固定手术导航系统 |
| CN103519895A (zh) * | 2013-10-18 | 2014-01-22 | 江苏艾迪尔医疗科技股份有限公司 | 一种骨科手术辅助导引方法 |
| CN104586505A (zh) * | 2014-09-19 | 2015-05-06 | 张巍 | 一种骨科手术导航系统及导航方法 |
| CN109223121A (zh) * | 2018-07-31 | 2019-01-18 | 广州狄卡视觉科技有限公司 | 基于医学影像模型重建、定位的脑出血穿刺手术导航系统 |
| CN109758230A (zh) * | 2019-02-26 | 2019-05-17 | 中国电子科技集团公司信息科学研究院 | 一种基于增强现实技术的神经外科手术导航方法和系统 |
| CN112168346A (zh) * | 2020-11-02 | 2021-01-05 | 沈阳蓝软智能医疗科技有限公司 | 三维医学影像与患者实时重合的方法及手术辅助系统 |
| CN113499166A (zh) * | 2021-06-21 | 2021-10-15 | 西安交通大学 | 一种角膜移植手术机器人用自主立体视觉导航方法及系统 |
| CN114041878A (zh) * | 2021-10-19 | 2022-02-15 | 山东建筑大学 | 骨关节置换手术机器人的ct图像的三维重建方法及系统 |
-
2022
- 2022-12-20 CN CN202211636244.XA patent/CN115619790B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020082498A1 (en) * | 2000-10-05 | 2002-06-27 | Siemens Corporate Research, Inc. | Intra-operative image-guided neurosurgery with augmented reality visualization |
| CN101073528A (zh) * | 2007-06-22 | 2007-11-21 | 北京航空航天大学 | 双平面定位与双目视觉跟踪的数字化手术床系统 |
| CN102784003A (zh) * | 2012-07-20 | 2012-11-21 | 北京先临华宁医疗科技有限公司 | 一种基于结构光扫描的椎弓根内固定手术导航系统 |
| CN103519895A (zh) * | 2013-10-18 | 2014-01-22 | 江苏艾迪尔医疗科技股份有限公司 | 一种骨科手术辅助导引方法 |
| CN104586505A (zh) * | 2014-09-19 | 2015-05-06 | 张巍 | 一种骨科手术导航系统及导航方法 |
| CN109223121A (zh) * | 2018-07-31 | 2019-01-18 | 广州狄卡视觉科技有限公司 | 基于医学影像模型重建、定位的脑出血穿刺手术导航系统 |
| CN109758230A (zh) * | 2019-02-26 | 2019-05-17 | 中国电子科技集团公司信息科学研究院 | 一种基于增强现实技术的神经外科手术导航方法和系统 |
| CN112168346A (zh) * | 2020-11-02 | 2021-01-05 | 沈阳蓝软智能医疗科技有限公司 | 三维医学影像与患者实时重合的方法及手术辅助系统 |
| CN113499166A (zh) * | 2021-06-21 | 2021-10-15 | 西安交通大学 | 一种角膜移植手术机器人用自主立体视觉导航方法及系统 |
| CN114041878A (zh) * | 2021-10-19 | 2022-02-15 | 山东建筑大学 | 骨关节置换手术机器人的ct图像的三维重建方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 郭贝: "基于双目视觉的手术器械定位技术研究" * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116958265A (zh) * | 2023-09-19 | 2023-10-27 | 交通运输部天津水运工程科学研究所 | 一种基于双目视觉的船舶位姿测量方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115619790B (zh) | 2023-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110010249B (zh) | 基于视频叠加的增强现实手术导航方法、系统及电子设备 | |
| US10674936B2 (en) | Hybrid registration method | |
| Lin et al. | Video‐based 3D reconstruction, laparoscope localization and deformation recovery for abdominal minimally invasive surgery: a survey | |
| Widya et al. | Whole stomach 3D reconstruction and frame localization from monocular endoscope video | |
| Stoyanov | Stereoscopic scene flow for robotic assisted minimally invasive surgery | |
| Varnavas et al. | Fully automated 2D–3D registration and verification | |
| CN111640100A (zh) | 肿瘤图像的处理方法和装置、电子设备、存储介质 | |
| CN110288653B (zh) | 一种多角度超声图像融合方法、系统及电子设备 | |
| CN112907642B (zh) | 一种配准重合的方法、系统、存储介质及设备 | |
| Bernhardt et al. | Robust dense endoscopic stereo reconstruction for minimally invasive surgery | |
| WO2010081094A2 (en) | A system for registration and information overlay on deformable surfaces from video data | |
| US20230316639A1 (en) | Systems and methods for enhancing medical images | |
| CN111508068B (zh) | 一种应用于双目内窥镜图像的三维重建方法及系统 | |
| Patias | Medical imaging challenges photogrammetry | |
| CN115619790B (zh) | 一种基于双目定位的混合透视方法、系统及设备 | |
| Kumar et al. | Stereoscopic visualization of laparoscope image using depth information from 3D model | |
| CN110916707A (zh) | 二维骨骼图像获取方法、系统及装置 | |
| CN108876783B (zh) | 图像融合方法及系统、医疗设备和图像融合终端 | |
| CN113256754B (zh) | 一种分割后小面积肿瘤块的堆叠投影重建方法 | |
| CN114399527A (zh) | 单目内窥镜无监督深度和运动估计的方法及装置 | |
| CN114617527A (zh) | 一种腹腔镜立体成像方法及系统 | |
| CN113658106A (zh) | 一种基于腹部增强ct的肝脏病灶自动诊断系统 | |
| CN111743628A (zh) | 一种基于计算机视觉的自动穿刺机械臂路径规划的方法 | |
| Amir-Khalili et al. | 3D surface reconstruction of organs using patient-specific shape priors in robot-assisted laparoscopic surgery | |
| EP4254350A1 (en) | Determination of illumination parameters in medical image rendering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 100082, 9th Floor, Building 1, No. 32 Xizhimen North Street, Haidian District, Beijing 1004A23 Patentee after: Beijing Weizhuo Zhiyuan Medical Technology Co.,Ltd. Country or region after: China Address before: 901, Building 4, Area 4, Hanwei International Plaza, Fengtai District, Beijing, 100071 Patentee before: VISUAL3D MEDICAL TECHNOLOGY DEVELOPMENT Co.,Ltd. Country or region before: China |