CN106648077A - 基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统 - Google Patents
基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统 Download PDFInfo
- Publication number
- CN106648077A CN106648077A CN201611093641.1A CN201611093641A CN106648077A CN 106648077 A CN106648077 A CN 106648077A CN 201611093641 A CN201611093641 A CN 201611093641A CN 106648077 A CN106648077 A CN 106648077A
- Authority
- CN
- China
- Prior art keywords
- real
- time
- tracking
- augmented reality
- operating apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 24
- 230000004927 fusion Effects 0.000 title claims abstract description 20
- 230000003044 adaptive effect Effects 0.000 title abstract 3
- 238000003384 imaging method Methods 0.000 claims abstract description 51
- 210000003128 head Anatomy 0.000 claims description 40
- 210000001508 eye Anatomy 0.000 claims description 24
- 230000006978 adaptation Effects 0.000 claims description 19
- 230000004807 localization Effects 0.000 claims description 15
- 239000007787 solid Substances 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 5
- 210000004556 brain Anatomy 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000005484 gravity Effects 0.000 claims 1
- 230000011218 segmentation Effects 0.000 claims 1
- 230000003930 cognitive ability Effects 0.000 abstract description 3
- 238000013480 data collection Methods 0.000 abstract 1
- 239000011521 glass Substances 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 14
- 230000007547 defect Effects 0.000 description 12
- 238000000034 method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000037361 pathway Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，该系统由头部姿态跟踪单元、实时成像单元、作业器械、作业器械跟踪定位单元、图形工作站和显示器构成。头部姿态跟踪单元由多对摄像机、立体眼镜及头部姿态信号采集与处理模块组成；作业器械跟踪定位单元，由位姿传感器、数据采集与处理模块组成；实时成像系统由成像传感器、图像采集与处理模块组成；图形工作站将作业对象三维模型或作业前作业对象图像、实时影像及作业器械的实时姿态进行配准与融合，生成立体增强现实场景，并对其进行自适应动态调整。该发明使作业者可从不同视角便捷观察作业立体场景，使作业器械灵活易控，提高了认知能力及作业质量和效率。
Description
技术领域
本发明涉及图像处理领域，确切地说是涉及基于实时跟踪和自适应动态立体增强现实作业导航系统，为精确作业提供高质、高效的手段。
背景技术
传统的作业导航利用工作站在二维显示屏上显示三维作业场景，缺乏景深信息、实时影像信息及便利的人机交互能力，作业用户需要通过想象建立三维作业场景，难以对作业器械进行灵活有效的控制，不利于精确高效作业。
发明内容
本发明提供一种基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，通过作业用户头部姿态实时跟踪、实时成像、实时作业器械位姿跟踪及立体显示生成立体增强现实场景并进行自适应动态调整，使作业用户可从不同视角便捷地观察实时作业立体场景，提高了肉眼对不可见作业场景的认知能力，使得作业器械灵活易控，可使得作业高质量、高效率完成。
本发明采取了以下的技术方案：一种基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，由头部姿态跟踪单元、实时成像单元、作业器械、作业器械跟踪定位单元、图形工作站和显示器构成。所述头部姿态跟踪单元由多目摄像机、立体眼镜及头部姿态信号采集与处理模块组成，用于跟踪作业用户的头部姿态；所述多目摄像机由一对或多对摄像机组成，用来获取头部姿态变化数据；所述立体眼镜携带3个或3个以上的标志点，用于立体场景观察及头部姿态跟踪；所述实时成像单元由成像传感器、图像采集与处理模块组成，用于获取作业对象的实时影像；所述作业器械携带成像传感器和位姿传感器；所述作业器械跟踪定位单元，由位姿传感器、数据采集与处理模块组成，用于实时跟踪作业器械并获取其空间坐标。
所述头部姿态跟踪单元由多目摄像机、携带标志点的立体眼镜及头部姿态信号采集与处理模块组成，用于跟踪作业用户的头部姿态。立体眼镜携带3个或3个以上的标志点；多目摄像机由一对或多对摄像机组成，多目摄像机安装于显示器上，用来跟踪立体眼镜上的标志点；头部姿态信号采集和处理模块对多目摄像机跟踪立体眼镜上标志点获得的信息进行分析和处理，获得作业用户的头部姿态。
所述立体眼镜携带3个或3个以上的标志点，作业用户利用它观察显示屏上的左右眼视差图像，从而在人脑中形成具有景深的作业立体场景；同时，立体眼镜携带的标志点也被用于头部姿态的实时跟踪。
所述实时成像单元由成像传感器、图像采集与处理模块组成，它通过成像传感器采集作业器械当前位姿处的实时影像信号，经处理后生成实时影像并保存于图形工作站。
所述作业器械携带有成像传感器和位姿传感器，用于作业、实时影像信息及位姿信息获取。
所述作业器械跟踪定位单元由位姿传感器、定位单元信号采集与处理模块组成，它通过位姿传感器采集作业器械及成像传感器的位姿信号，经处理后得到作业器械及成像传感器的位姿信息，并保存于图形工作站；作业前，通过标定操作获得作业前作业对象成像坐标系与作业器械跟踪定位坐标系之间的空间变换矩阵T1。
所述图形工作站通过对多源信息(作业前影像及其三维模型、作业规划路径、作业姿态、实时影像、实际作业路径等)进行融合，利用虚拟摄像机产生左右眼视差图像并显示在显示屏上，作业用户利用立体眼睛观察显示屏，从而在人脑中形成具有景深的作业立体场景，并根据作业规划及观察到的实时作业场景对作业器械进行实时调整和控制。作业前，根据作业对象的几何结构或者断层成像数据，利用图形工作站进行三维建模及作业路径规划，并建立虚拟摄像机，对作业对象三维模型、作业规划路径进行融合生成左右眼视差图像；作业中，作业器械跟踪定位单元获取作业器械及成像传感器在定位坐标系中的实时位姿；实时成像系统获取作业路径上的实时影像，实时影像被传送到图形工作站进行处理和分析，获取当前作业路径周边的关键信息，为后继作业提供数据；图形工作站根据上述位姿信息及变换矩阵T1进行计算形成实际作业路径，将实时影像、作业规划路径、实际作业路径、作业前作业对象影像及其三维模型进行融合，利用虚拟摄像机生成左右眼视差图像。
与现有技术相比，本发明具有如下有益效果：
本发明通过作业用户头部姿态实时跟踪、实时成像、实时作业器械位姿跟踪及立体显示形成立体增强现实场景并进行自适应动态调整，使作业用户可从不同视角便捷地观察实时作业立体场景，提高了肉眼对不可见作业场景的认知能力，使得作业器械灵活易控，可有效提高作业质量与效率。
附图说明
图1为实时跟踪自适应动态立体增强现实导航系统原理图
具体实施方式
下面结合图1说明采用本发明的系统实施作业导航的实例。
实施例1：微创脊柱外科手术
(1)在患者病变周边布置多个标志点，标志点数目n不少于3个；然后对患者进行断层成像，利用图形工作站对断层图像进行处理获取所有标记点在成像系统中的坐标P＝[P1，P2，...，Pn]T以及脊柱、血管、神经等组织的三维模型，并进行手术路径规划，手术路径应尽可能避开重要组织或器官；
(2)将患者置于手术床上，利用作业器械跟踪定位单元获取忠者体部布置的所有标记点在定位坐标系统中的坐标P’＝[P1’，P2’，...，Pn’]T；
(3)根据患者体部布置的标记点在成像系统和作业器械跟踪定位坐标系统中的坐标P和P’，利用如下公式(1)进行坐标变换计算，获取作业器械跟踪定位坐标系与成像坐标系之间的坐标变换矩阵T1；
P＝T1 P’ (1)
(4)利用图形工作站建立虚拟摄像机，对术前患者影像及其三维模型及手术计划路径进行融合生成左右眼视差图像；启动头部姿态跟踪单元，手术医生戴上立体眼睛观察具有景深的虚拟现实立体场景，对手术计划进行评估和调整；头部姿态跟踪单元跟踪立体眼睛上的标志点获得头部姿态参数，传送给图形工作站，图形工作站根据该头部姿态参数对虚拟场景进行坐标变换，使手术医生可从不同姿态便捷地观察具有景深的虚拟立体手术场景。
(5)启动作业器械跟踪定位单元、实时成像单元、头部姿态跟踪单元，手术医生戴上立体眼睛开始手术，将作业器械按照手术计划路径逐步置入患者体内，抵达病变位置后进行病变手术作业。在作业过程中，作业器械跟踪定位单元获取作业器械及成像传感器在定位坐标系中的实时位姿；实时成像单元获取手术路径上的实时影像，实时影像被传送到图形工作站进行处理和分析，获取当前手术路径周边的关键信息，为后继作业提供支持；图形工作站根据上述位姿信息及变换矩阵T1进行计算形成实际作业路径，并对实时影像、作业前作业对象影像及其三维模型、手术计划路径、实际作业路径进行融合，利用虚拟摄像机生成左右眼视差图像；手术医生利用立体眼睛实时观察具有景深的立体增强现实手术场景及实时影像的处理分析结果，对手术过程进行控制和调整，避开重要器官，提高手术精度；头部姿态跟踪单元实时跟踪手术医生的头部姿态，图形工作站根据头部姿态参数对虚拟场景进行调整，使得手术医生可从不同姿态随时观察具有景深的虚拟立体场景，避免对重要组织的损伤，提高手术质量和效率。
实施例2：发动机缺陷检测
(1)根据发动机的机械结构，建立检测坐标系统及其三维模型，确定其表面n个角点在该坐标系下的坐标P＝[P1，P2，...，Pn]T，n不小于3，并对缺陷检测路径进行规划；
(2)利用作业器械跟踪定位单元获取上述发动机表面n个角点在定位坐标系统中的坐标P’＝[P1’，P2’，...，Pn’]T；
(3)根据检测坐标系和作业器械跟踪定位坐标系统中的坐标P和P’，利用上述公式(1)进行坐标变换计算，获取作业器械跟踪定位坐标系与成像坐标系之间的坐标变换矩阵T1；
(4)利用图形工作站建立虚拟摄像机，对发动机三维模型及缺陷检测规划路径进行融合生成左右眼视差图像；启动头部姿态跟踪系统，手术医生戴上立体眼睛观察具有景深的虚拟现实立体场景，对缺陷检测路径进行评估和调整；头部姿态跟踪系统跟踪立体眼睛上的标志点获得头部姿态参数并传送给图形工作站，图形工作站根据该头部姿态参数对虚拟场景进行坐标变换，作业者可从不同姿态便捷地观察具有景深的虚拟立体检测场景。
(5)启动作业器械跟踪定位单元、实时成像单元、头部姿态跟踪单元，作业者戴上立体眼睛开始进行缺陷检测，将作业器械按照缺陷检测规划路径逐步置入发动机内。在作业过程中，作业器械跟踪定位单元获取作业器械及成像传感器在定位坐标系中的实时位姿；实时成像系统获取检测路径上的实时影像，实时影像被传送到图形工作站进行处理和分析，提取图像特征，判断当前检测路径周边发动机是否存在可疑缺陷；图形工作站根据上述位姿信息及变换矩阵T1进行计算形成实际作业路径，并对实时影像、作业前作业对象影像及其三维模型、手术计划路径、实际作业路径进行融合，利用虚拟摄像机生成左右眼视差图像；作业者利用立体眼睛观察具有景深的立体增强现实缺陷检测场景及实时影像的处理分析结果，对缺陷检测作业过程进行控制和调整，对可疑缺陷区域，进行仔细检查和分析，及时获取缺陷的位置、种类及定量定性参数；头部姿态跟踪系统实时跟踪作业者的头部姿态，图形工作站根据头部姿态参数对虚拟场景进行调整，使得作业者可从不同姿态随时观察具有景深的虚拟立体场景，可有效提高缺陷检测水平和效率。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下还可以作出若干改进，这些改进也应视为本发明的保护范围。
Claims (10)
1.一种基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，该系统由头部姿态跟踪单元、实时成像单元、作业器械、作业器械跟踪定位单元、图形工作站和显示器构成。头部姿态跟踪单元由多目摄像机、立体眼镜及头部姿态信号采集与处理模块组成，用于跟踪作业用户的头部姿态；多目摄像机由一对或多对摄像机组成，用来获取头部姿态变化数据；立体眼镜携带标志点，用于立体场景观察及头部姿态跟踪；实时成像单元由成像传感器、图像采集与处理模块组成，用于获取作业对象的实时影像；作业器械携带成像传感器和位姿传感器；作业器械跟踪定位单元，由位姿传感器、数据采集与处理模块组成，用于实时跟踪作业器械并获取其空间坐标；图形工作站将作业对象三维模型、作业前作业对象图像(如有)、实时影像及作业器械的实时姿态进行配准与融合，生成立体增强现实场景，并根据多目摄像机实时跟踪获得的作业用户头部姿态对立体增强现实场景进行自适应动态调整。作业对象三维模型可根据作业对象的几何参数直接建模获得，或者通过对作业前获取的作业对象图像进行分割和三维重建获得。该发明通过作业用户头部姿态实时跟踪、实时成像、实时作业器械位姿跟踪及立体显示生成立体增强现实场景并进行自适应动态调整，使作业用户可从不同视角观察实时作业场景，提高了肉眼对不可见作业场景的认知能力，使得作业器械灵活易控，可确保作业高质量、高效率完成。
2.如权利要求1所述的基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，其特征是：利用图形工作站建立作业对象的三维模型，可根据作业对象的几何参数建立作业对象的三维模型，或者根据作业前获取的作业对象图像对其进行分割和三维重建形成作业对象的三维模型，并根据作业要求进行作业规划。
3.如权利要求1所述的基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，其特征是：作业器械携带有成像传感器和位姿传感器。
4.如权利要求1所述的基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，其特征是：作业器械定位单元由位姿传感器、定位单元数据采集与处理模块组成，它通过位姿传感器采集作业器械及成像传感器的位姿信号，经处理后得到作业器械及成像传感器的位姿信息，并保存于图形工作站。
5.如权利要求1所述的基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，其特征是：利用作业器械定位单元和图形工作站，通过对成像对象上标志点的标定，建立作业器械定位坐标系及作业前成像坐标系之间的空间变换矩阵T1。
6.如权利要求1所述的基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系 统，其特征是：实时成像系统由成像传感器、图像采集与处理模块组成，它通过成像传感器采集作业器械当前位姿处的实时影像信号，经处理后生成实时影像并保存于图形工作站。
7.如权利要求1所述的基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，其特征是：立体眼镜携带3个或3个以上的标志点。
8.如权利要求1所述的基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，其特征是：多目摄像机由一对或多对摄像机组成，多目摄像机安装于立体显示器上；头部姿态跟踪单元利用多目摄像机和立体眼镜携带的标志点，实现对头部姿态的跟踪。
9.如权利要求1所述的基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，其特征是：作业前，利用工作站建立虚拟摄像机，对作业前作业对象影像及其三维模型、作业器械三维模型及作业规划路径进行融合生成左右眼视差图像。
10.如权利要求1所述的基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，其特征是：作业中，作业器械跟踪定位单元获取作业器械及成像传感器在定位坐标系中的实时位姿；实时成像系统获取作业路径上的实时影像，实时影像被传送到图形工作站进行处理和分析，获取当前作业路径周边的关键信息，为后继作业提供数据；图形工作站根据上述位姿信息及变换矩阵T1进行计算形成实际作业路径，将实时影像、作业规划路径、实际作业路径、作业前作业对象影像及其三维模型进行融合，利用虚拟摄像机生成左右眼视差图像，左右眼视差图像显示于显示屏上，作业用户利用立体眼睛观察显示屏，从而在人脑中形成有景深的作业立体场景，并根据作业规划及观察到的实时作业情况对作业进行实时调整和控制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611093641.1A CN106648077A (zh) | 2016-11-30 | 2016-11-30 | 基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611093641.1A CN106648077A (zh) | 2016-11-30 | 2016-11-30 | 基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106648077A true CN106648077A (zh) | 2017-05-10 |
Family
ID=58814922
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611093641.1A Pending CN106648077A (zh) | 2016-11-30 | 2016-11-30 | 基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106648077A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107970060A (zh) * | 2018-01-11 | 2018-05-01 | 上海联影医疗科技有限公司 | 手术机器人系统及其控制方法 |
| CN109758230A (zh) * | 2019-02-26 | 2019-05-17 | 中国电子科技集团公司信息科学研究院 | 一种基于增强现实技术的神经外科手术导航方法和系统 |
| CN109833092A (zh) * | 2017-11-29 | 2019-06-04 | 上海复拓知达医疗科技有限公司 | 体内导航系统和方法 |
| CN109948192A (zh) * | 2019-02-22 | 2019-06-28 | 江苏徐工工程机械研究院有限公司 | 一种吊装作业空间建模方法及系统 |
| CN109961477A (zh) * | 2017-12-25 | 2019-07-02 | 深圳超多维科技有限公司 | 一种空间定位方法、装置及设备 |
| CN110047591A (zh) * | 2019-04-23 | 2019-07-23 | 吉林大学 | 一种针对外科手术过程中医生姿态评估方法 |
| CN111047713A (zh) * | 2019-12-30 | 2020-04-21 | 复旦大学 | 一种基于多目视觉定位的增强现实交互系统 |
| CN113229941A (zh) * | 2021-03-08 | 2021-08-10 | 上海交通大学 | 基于增强现实的介入机器人无接触遥操系统及标定方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101797182A (zh) * | 2010-05-20 | 2010-08-11 | 北京理工大学 | 一种基于增强现实技术的鼻内镜微创手术导航系统 |
| CN103735312A (zh) * | 2013-12-11 | 2014-04-23 | 中国科学院深圳先进技术研究院 | 多模影像超声引导手术导航系统 |
| CN104887314A (zh) * | 2015-04-21 | 2015-09-09 | 长春理工大学 | 用于立体内窥镜手术导航的虚拟立体内窥镜显示方法及设备 |
| CN105395252A (zh) * | 2015-12-10 | 2016-03-16 | 哈尔滨工业大学 | 具有人机交互的可穿戴式血管介入手术三维立体图像导航装置 |
| CN105704468A (zh) * | 2015-08-31 | 2016-06-22 | 深圳超多维光电子有限公司 | 用于虚拟和现实场景的立体显示方法、装置及电子设备 |
-
2016
- 2016-11-30 CN CN201611093641.1A patent/CN106648077A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101797182A (zh) * | 2010-05-20 | 2010-08-11 | 北京理工大学 | 一种基于增强现实技术的鼻内镜微创手术导航系统 |
| CN103735312A (zh) * | 2013-12-11 | 2014-04-23 | 中国科学院深圳先进技术研究院 | 多模影像超声引导手术导航系统 |
| CN104887314A (zh) * | 2015-04-21 | 2015-09-09 | 长春理工大学 | 用于立体内窥镜手术导航的虚拟立体内窥镜显示方法及设备 |
| CN105704468A (zh) * | 2015-08-31 | 2016-06-22 | 深圳超多维光电子有限公司 | 用于虚拟和现实场景的立体显示方法、装置及电子设备 |
| CN105395252A (zh) * | 2015-12-10 | 2016-03-16 | 哈尔滨工业大学 | 具有人机交互的可穿戴式血管介入手术三维立体图像导航装置 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109833092A (zh) * | 2017-11-29 | 2019-06-04 | 上海复拓知达医疗科技有限公司 | 体内导航系统和方法 |
| CN109961477A (zh) * | 2017-12-25 | 2019-07-02 | 深圳超多维科技有限公司 | 一种空间定位方法、装置及设备 |
| CN107970060A (zh) * | 2018-01-11 | 2018-05-01 | 上海联影医疗科技有限公司 | 手术机器人系统及其控制方法 |
| CN109948192A (zh) * | 2019-02-22 | 2019-06-28 | 江苏徐工工程机械研究院有限公司 | 一种吊装作业空间建模方法及系统 |
| CN109948192B (zh) * | 2019-02-22 | 2023-08-04 | 江苏徐工工程机械研究院有限公司 | 一种吊装作业空间建模方法及系统 |
| CN109758230A (zh) * | 2019-02-26 | 2019-05-17 | 中国电子科技集团公司信息科学研究院 | 一种基于增强现实技术的神经外科手术导航方法和系统 |
| CN110047591A (zh) * | 2019-04-23 | 2019-07-23 | 吉林大学 | 一种针对外科手术过程中医生姿态评估方法 |
| CN111047713A (zh) * | 2019-12-30 | 2020-04-21 | 复旦大学 | 一种基于多目视觉定位的增强现实交互系统 |
| CN111047713B (zh) * | 2019-12-30 | 2023-05-30 | 复旦大学 | 一种基于多目视觉定位的增强现实交互系统及其操作方法 |
| CN113229941A (zh) * | 2021-03-08 | 2021-08-10 | 上海交通大学 | 基于增强现实的介入机器人无接触遥操系统及标定方法 |
| CN113229941B (zh) * | 2021-03-08 | 2023-05-26 | 上海交通大学 | 基于增强现实的介入机器人无接触遥操系统及标定方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106648077A (zh) | 基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统 | |
| CN110033465B (zh) | 一种应用于双目内窥镜医学图像的实时三维重建方法 | |
| CN109758230B (zh) | 一种基于增强现实技术的神经外科手术导航方法和系统 | |
| CN107456278B (zh) | 一种内窥镜手术导航方法和系统 | |
| US9066086B2 (en) | Methods for generating stereoscopic views from monoscopic endoscope images and systems using the same | |
| US7774044B2 (en) | System and method for augmented reality navigation in a medical intervention procedure | |
| JP6242569B2 (ja) | 医用画像表示装置及びｘ線診断装置 | |
| US11961193B2 (en) | Method for controlling a display, computer program and mixed reality display device | |
| CN109925057A (zh) | 一种基于增强现实的脊柱微创手术导航方法及系统 | |
| US20160295194A1 (en) | Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images | |
| WO2017179350A1 (ja) | 画像表示制御装置および方法並びにプログラム | |
| US20150215614A1 (en) | Imaging system and method | |
| CN107854142B (zh) | 医用超声增强现实成像系统 | |
| CN103948432A (zh) | 术中立体内窥视频与超声图像增强现实算法 | |
| Hu et al. | Head-mounted augmented reality platform for markerless orthopaedic navigation | |
| Wang et al. | Autostereoscopic augmented reality visualization for depth perception in endoscopic surgery | |
| US8902305B2 (en) | System and method for managing face data | |
| WO2017055352A1 (en) | Apparatus and method for augmented visualization employing x-ray and optical data | |
| CN206649468U (zh) | 基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统 | |
| EP3075342B1 (en) | Microscope image processing device and medical microscope system | |
| CN104887314A (zh) | 用于立体内窥镜手术导航的虚拟立体内窥镜显示方法及设备 | |
| CN111658142A (zh) | 一种基于mr的病灶全息导航方法及系统 | |
| CN104887316A (zh) | 基于主动立体显示技术的虚拟立体内窥镜显示方法 | |
| CN115954096B (zh) | 一种基于图像数据处理的腔镜vr成像系统 | |
| EP3130273B1 (en) | Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170510 |
|
| WD01 | Invention patent application deemed withdrawn after publication |