CN114937139A - 一种基于视频流融合的内窥镜增强现实系统及方法 - Google Patents
一种基于视频流融合的内窥镜增强现实系统及方法 Download PDFInfo
- Publication number
- CN114937139A CN114937139A CN202210623421.4A CN202210623421A CN114937139A CN 114937139 A CN114937139 A CN 114937139A CN 202210623421 A CN202210623421 A CN 202210623421A CN 114937139 A CN114937139 A CN 114937139A
- Authority
- CN
- China
- Prior art keywords
- endoscope
- target structure
- augmented reality
- registration
- computer image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 68
- 230000004927 fusion Effects 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000000694 effects Effects 0.000 claims abstract description 27
- 230000009466 transformation Effects 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims abstract description 6
- 230000003287 optical effect Effects 0.000 claims description 39
- 239000003550 marker Substances 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 22
- 230000000007 visual effect Effects 0.000 claims description 11
- 238000009877 rendering Methods 0.000 claims description 10
- 230000003993 interaction Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000004873 anchoring Methods 0.000 claims description 2
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 230000004807 localization Effects 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 244000028952 catclaw acacia Species 0.000 description 1
- 235000004608 catclaw acacia Nutrition 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于视频流融合的内窥镜增强现实系统及方法。该系统包括目标结构空间注册模块、虚实图像融合模块和内窥镜空间定位模块；目标结构空间注册模块具有物理实体注册功能、计算机图像注册功能以及配准功能；虚实图像融合模块具有虚实相机参数绑定功能和视频流融合功能；内窥镜空间定位模块是先将内窥镜注册到世界坐标系中，再在使用内窥镜进行工作的过程中实时获取内窥镜在世界坐标系中的位置。本发明仅依托视频流即可实现增强现实效果，无需冗余的改造，不依赖于外部投影以及穿戴式特殊显示设备，基于传统的显示器即可完成虚实融合。
Description
技术领域
本发明涉及增强现实领域，属于显像技术、计算机图形学与机器视觉领域交叉的前沿学科，具体是一种基于视频流融合的内窥镜增强现实系统及方法。
背景技术
增强现实技术是一种将虚拟信息与真实世界融合的技术，能够使得原本在现实世界的空间范围中不存在的信息通过计算机等相关技术进行渲染并显示，更进一步将虚拟信息与真实世界中的物体进行叠加渲染，达到一种虚实融合的效果。
目前，市面上较为知名的增强现实设备有谷歌的增强现实眼镜，是一款经典的具有相对前瞻性的设计。还有微软的HoloLens以及HoloLens2代，是目前市面上计算性能和现实性能相对较好的设备。另外还有，新兴的增强现实设备Magic Leap，也是有着自己的特色。这些产品基本都是基于复杂的头戴式计算机，通过电子屏，来达到增强现实效果。
增强现实的实现形式是多种多样的，不同的实现形式所依托的算法基础也有着差异。目前，较为常见的增强现实形式有如下几种。简单渲染型，单纯的将虚拟的图像显示在现实世界中，不进行任何配准和叠加，如部分广告创意中手机扫码显示卡通形象。半透半反膜型，通过半透半反膜的半透特性，部分现实世界的光线进入视野，通过半反特性，部分反射的计算机图像进入视野，达到虚实融合的效果，如大多数的增强现实眼镜盒子。投影型，这种方法将计算机图像直接投射在现实物体表面，可以实现裸眼增强现实，但是沉浸感较差。电子计算屏型，这种屏幕既可以透过现实世界光线，本身还可以发出激光绘制计算机图像，实现增强现实效果，大多用于较为高端的设备。
内窥镜的工作场景往往用于探入具有深度且无法直接观察的区域，这种工作情况下往往视角较为狭窄且视角与目标区域内经常会有遮挡，将增强现实在内窥镜视角下实现，可以对内窥镜的功能进行极大的补充。但是内窥镜作为一款单纯的获取视频流的设备，要实现增强现实效果，基于以上的方式是无法做到的。因此，设计一种能够依靠内窥镜的视频流信息，实现基于内窥镜的增强现实且独立自主的算法，具有极大的意义与价值。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于视频流融合的内窥镜增强现实系统及方法。
本发明解决所述系统技术问题的技术方案是，提供一种基于视频流融合的内窥镜增强现实系统，其特征在于，该系统包括目标结构空间注册模块、虚实图像融合模块和内窥镜空间定位模块；
所述目标结构空间注册模块具有物理实体注册功能、计算机图像注册功能以及配准功能；
其中，物理实体注册功能是：将第一光学标记物粘贴于物理实体的表面的任意位置上，经过光学定位仪识别，获得物理实体在世界坐标系Oworld的位置，实现物理实体注册；
其中，计算机图像注册功能是：获得目标结构计算机图像模型在计算机图像空间坐标系Omedical中的位置姿态；
其中，配准功能：获取目标结构计算机图像模型所在的计算机图像空间坐标系Omedical到目标结构物理实体所在的世界坐标系Oworld的变换矩阵
目标结构计算机图像模型统一到世界坐标系；
所述虚实图像融合模块具有虚实相机参数绑定功能和视频流融合功能；
其中，虚实相机参数绑定功能用于将实现空间定位的内窥镜的内参矩阵和外参矩阵与增强现实视角的虚拟相机进行绑定，并且实时将内窥镜的外参矩阵传输到虚拟相机，实现虚实相机同步；
其中，视频流融合功能用于将内窥镜所拍摄到的真实场景的视频流与目标结构计算机图像模型进行同步渲染，实现在内窥镜视频流窗口中叠加目标结构计算机图像模型的效果，获得虚拟相机的相机参数；
所述内窥镜空间定位模块是先将内窥镜注册到世界坐标系中，再在使用内窥镜进行工作的过程中实时获取内窥镜在世界坐标系中的位置。
本发明解决所述方法技术问题的技术方案是，提供一种所述基于视频流融合的内窥镜增强现实系统的增强现实方法，其特征在于，该方法包括以下步骤：
步骤1、获得目标结构计算机图像模型及其空间位姿信息、目标结构物理实体的内窥镜视频流及其空间位姿信息、目标结构物理实体的空间位姿信息；
步骤2、基于目标结构计算机图像模型的空间位姿信息与目标结构物理实体的空间位姿信息，通过几何刚体自动配准算法和动态锚点算法获取目标结构计算机图像模型所在的计算机图像空间坐标系Omedical到目标结构物理实体所在的世界坐标系Oworld的变换矩阵
进而实现目标结构计算机图像模型与目标结构的物理实体的配准；世界坐标系Oworld由光学定位仪定义得到；
步骤3、基于变换矩阵
将所获得的目标结构物理实体的内窥镜视频流与目标结构计算机图像模型通过虚实图像融合模块的虚实相机参数绑定功能进行叠加渲染，实现虚实相机同步，获得虚实图像同屏融合的增强现实；
步骤4、基于所获得的虚实图像同屏融合的增强现实效果，通过内窥镜空间定位模块获得实时的动态增强现实。
与现有技术相比，本发明有益效果在于：
(1)本发明将目标结构计算机图像模型与真实物理结构完美叠加，达到精准的图像辅助效果。同时，突破已有的增强现实形式，仅依托视频流即可实现增强现实效果，无需冗余的改造，不依赖于外部投影以及穿戴式特殊显示设备，基于传统的显示器即可完成虚实融合。
(2)本发明能够被运用于只能获取视频流的内窥镜中，提供内窥镜视角下的增强现实，将内窥镜对准现实世界中的目标结构或者目标结构所在方向，可以观察到目标结构虚实融合的效果，或者是通过目标结构外部的遮挡物看到目标结构所在位置以及外形，达到一种穿透表面观察内里的效果。实现了不依赖于额外的增强现实设备，避免了对内窥镜本身进行冗余的改造，仅仅依靠内窥镜本身就能在原有视窗内实现增强现实效果，对内窥镜的功能进行了扩展，大大提高了工作效率以及效果。
(3)本发明与传统内窥镜高度兼容，具有较强的可行性与拓展性，能够拓宽内窥镜的功能和应用范围，提高内窥镜在不同工作场景下的辅助效果，可以用于制造业、建筑业、临床医学等领域，也可以用于虚拟装配、汽车检修、管道化工等具体应用场景。
(4)本发明能够对内窥镜的功能效果进行更深更广的扩展，除了显示原始的内窥镜视频信息外，还能实现虚实融合以及透视效果，大大扩展了传统内窥镜的功能。
(5)本发明实现了快速注册，内窥镜的注册以及物理实体的注册便捷高效，极大提高了操作性。
(6)本发明提供的增强现实具有实时性，根据内窥镜的位姿不同，增强现实图像同步实时刷新，可以即时多角度观察，提升定位效果。
(7)由于物理实体表面粘贴标记物，因此物理实体结构在术中也可移动，实时增强现实效果依然可以显示。
(8)本发明具有逻辑清晰，设计新颖，执行便捷的特点。
附图说明
图1为本发明的系统模块图。
具体实施方式
下面给出本发明的具体实施例。具体实施例仅用于进一步详细说明本发明，不限制本发明权利要求的保护范围。
本发明同时提供了一种基于视频流融合的内窥镜增强现实系统(简称系统)，其特征在于，该系统包括目标结构空间注册模块、虚实图像融合模块和内窥镜空间定位模块；
所述目标结构空间注册模块具有物理实体注册功能、计算机图像注册功能以及配准功能；
其中，物理实体注册功能是：将第一光学标记物(本实施例中，第一光学标记物为圆形光学标记物)粘贴于物理实体的表面的任意位置上，经过光学定位仪识别，获得物理实体在世界坐标系Oworld的位置，实现物理实体注册；
其中，计算机图像注册功能是：获得目标结构计算机图像模型在计算机图像空间坐标系Omedical中的位置姿态；
其中，配准功能：获取目标结构计算机图像模型所在的计算机图像空间坐标系Omedical到目标结构物理实体所在的世界坐标系Oworld的变换矩阵
目标结构计算机图像模型统一到世界坐标系；
所述虚实图像融合模块是实现增强显示的底层模块，具有虚实相机参数绑定功能和视频流融合功能；
其中，虚实相机参数绑定功能用于将实现空间定位的内窥镜的内参矩阵和外参矩阵与增强现实视角的虚拟相机进行绑定，并且实时将内窥镜的外参矩阵(外参矩阵即位置姿态)传输到虚拟相机，实现虚实相机同步；外参矩阵为位置姿态；虚拟相机为拍摄计算机图像空间并且定义目标结构计算机图像模型渲染显示状态的概念性相机。
其中，视频流融合功能用于将内窥镜所拍摄到的真实场景的视频流与目标结构计算机图像模型进行同步渲染，实现在内窥镜视频流窗口中叠加目标结构计算机图像模型的效果，获得虚拟相机的相机参数；
所述内窥镜空间定位模块是先将内窥镜注册到世界坐标系中，再在使用内窥镜进行工作的过程中实时获取内窥镜在世界坐标系中的位置。
优选地，该系统还包括增强现实显示辅助模块；增强现实显示辅助模块实现使用者与增强现实的交互，具体是：使用者观察到目标结构的具体高清细节，目标结构通过增强现实的效果以透视的状态呈现；观察到变换内窥镜的视角与位置，与物理实体融合的进行实时渲染的计算机图像模型；根据具体需要进行个性化辅助功能定制，如虚拟装配等；对视频流中的关键信息进行显示调整，如改变目标结构中部分关键结构的颜色、通过高亮来进行强化显示、调出隐藏部分图像信息和额外的辅助信息。
优选地，所述目标结构计算机图像模型为通过三维建模软件或者三维重建软件获得的目标结构虚拟模型。
本发明同时提供了一种基于视频流融合的内窥镜增强现实方法(简称方法)，其特征在于，该方法包括以下步骤：
步骤1、获得目标结构计算机图像模型及其空间位姿信息、目标结构物理实体的内窥镜视频流及其空间位姿信息、目标结构物理实体的空间位姿信息；
优选地，步骤1中，所述目标结构计算机图像模型的空间位姿信息是通过目标结构空间注册模块的计算机图像注册功能获得的目标结构计算机图像模型在计算机图像空间坐标系Qmedical中的位置姿态；
优选地，步骤1中，目标结构物理实体的内窥镜视频流为内窥镜直接拍摄所获得的真实场景的视频流；
优选地，步骤1中，目标结构物理实体的内窥镜视频流的空间位姿信息为通过虚实图像融合模块的视频流融合功能获得的虚拟相机的相机参数；
优选地，步骤1中，目标结构物理实体的空间位姿信息是通过目标结构空间注册模块的物理实体注册功能获得的目标结构物理实体在世界坐标系Oworld中的位置姿态。
步骤2、基于目标结构计算机图像模型的空间位姿信息与目标结构物理实体的空间位姿信息，通过几何刚体自动配准算法和动态锚点算法获取目标结构计算机图像模型所在的计算机图像空间坐标系Omedical到目标结构物理实体所在的世界坐标系Oworld的变换矩阵
进而实现目标结构计算机图像模型与目标结构的物理实体的配准；世界坐标系Oworld由光学定位仪(本实施例采用双目相机)定义得到；
优选地，步骤2中，所述几何刚体自动配准算法是：
(1)目标结构表面第一光学标记物之间的相对关系构成一个刚体几何形状，在目标结构计算机图像模型中拾取对应的第一光学标记物的坐标，根据几何刚体关系拟合，使得目标结构计算机图像模型中的拾取的点集和第一光学标记物在目标结构表面的点集按照顺序一一对应，确定对应关系；
(2)基于最小二乘法和奇异值分解(SVD)求得变换矩阵
通过变换矩阵
将目标结构计算机图像模型统一到世界坐标系，完成配准。
优选地，步骤2中，所述动态锚点算法是：动态锚点为目标结构被观察区域外粘贴的第二光学标记物(本实施例中，第二光学标记物为小型光学标记物)，动态锚点所定义的局部坐标系设为OmarkerIII，计算机图像空间坐标系Omedical在OmarkerIII中的位置姿态设为
OmarkerIII在世界坐标系Oworld中的位置姿态设为
根据
可以得到矩阵
该矩阵
为恒定，配准完成后作为固有参数保存，如果出现配准丢失的情况，根据
可以获得初始的配准结果，免去重复配准，实现动态锚定。
步骤3、基于变换矩阵
将所获得的目标结构物理实体的内窥镜视频流与目标结构计算机图像模型通过虚实图像融合模块的虚实相机参数绑定功能进行叠加渲染，实现虚实相机同步，获得虚实图像同屏融合的增强现实；
步骤4、基于所获得的虚实图像同屏融合的增强现实效果，通过内窥镜空间定位模块获得实时的动态增强现实；
优选地，步骤4中，内窥镜空间定位模块的功能是：在内窥镜的尾部安装第三光学标记物(本实施例中，第三光学标记物为猫爪型光学标记物)，光学定位仪追踪识别该第三光学标记物，通过三角注册算法计算得到位于内窥镜头部的内窥镜相机与尾部的第三光学标记物的相对位姿关系，间接将内窥镜注册到世界坐标系中；完成注册后，在使用内窥镜进行工作的过程中，内窥镜相机在世界坐标系中的位姿根据公式
来实时获取；其中，由内窥镜相机定义的局部坐标系设为Oneurocam，由内窥镜尾部的第三光学标记物定义的局部坐标系设为OMarkerI；OMarkerI在Oworld中的位置姿态设为
(光学定位仪识别第三光学标记物获得OMarkerI在Oworld中的位置姿态
)，Oneurocam在OMarkerI中的位置姿态设为
Oneurocam在Oworld中的位置姿态设为
优选地，步骤4中，所述三角注册算法是：使用黑白棋盘格作为三角注册算法的中间媒介，黑白棋盘格的坐标系设为Ochess；起始状态下，使用内窥镜拍摄黑白棋盘格，基于PnP算法(Perspective-n-Point)获得Ochess在Oneurocam下的位置姿态
光学定位仪识别黑白棋盘格获得Ochess在Oworld下的位置姿态
然后根公式
和
计算得到Oneurocam在OMarkerI中的位置姿态
该位置姿态
为内窥镜固有矩阵，恒定不变，一次标定后无需重复标定。
优选地，该方法还包括步骤5：基于所获得的动态增强现实效果，通过增强现实显示辅助模块实现使用者与增强现实的交互。
本发明未述及之处适用于现有技术。
Claims (10)
1.一种基于视频流融合的内窥镜增强现实系统，其特征在于，该系统包括目标结构空间注册模块、虚实图像融合模块和内窥镜空间定位模块；
所述目标结构空间注册模块具有物理实体注册功能、计算机图像注册功能以及配准功能；
其中，物理实体注册功能是：将第一光学标记物粘贴于物理实体的表面的任意位置上，经过光学定位仪识别，获得物理实体在世界坐标系Oworld的位置，实现物理实体注册；
其中，计算机图像注册功能是：获得目标结构计算机图像模型在计算机图像空间坐标系Omedical中的位置姿态；
其中，配准功能：获取目标结构计算机图像模型所在的计算机图像空间坐标系Omedical到目标结构物理实体所在的世界坐标系Oworld的变换矩阵
目标结构计算机图像模型统一到世界坐标系；
所述虚实图像融合模块具有虚实相机参数绑定功能和视频流融合功能；
其中，虚实相机参数绑定功能用于将实现空间定位的内窥镜的内参矩阵和外参矩阵与增强现实视角的虚拟相机进行绑定，并且实时将内窥镜的外参矩阵传输到虚拟相机，实现虚实相机同步；
其中，视频流融合功能用于将内窥镜所拍摄到的真实场景的视频流与目标结构计算机图像模型进行同步渲染，实现在内窥镜视频流窗口中叠加目标结构计算机图像模型的效果，获得虚拟相机的相机参数；
所述内窥镜空间定位模块是先将内窥镜注册到世界坐标系中，再在使用内窥镜进行工作的过程中实时获取内窥镜在世界坐标系中的位置。
2.根据权利要求1所述的基于视频流融合的内窥镜增强现实系统，其特征在于，该系统还包括增强现实显示辅助模块；增强现实显示辅助模块实现使用者与增强现实的交互，具体是：使用者观察到目标结构的具体高清细节，目标结构通过增强现实的效果以透视的状态呈现；观察到变换内窥镜的视角与位置，与物理实体融合的进行实时渲染的计算机图像模型；根据具体需要进行个性化辅助功能定制，如虚拟装配等；对视频流中的关键信息进行显示调整，如改变目标结构中部分关键结构的颜色、通过高亮来进行强化显示、调出隐藏部分图像信息和额外的辅助信息。
3.根据权利要求1所述的基于视频流融合的内窥镜增强现实系统，其特征在于，所述目标结构计算机图像模型为通过三维建模软件或者三维重建软件获得的目标结构虚拟模型。
4.一种权利要求1-3任一所述的基于视频流融合的内窥镜增强现实系统的增强现实方法，其特征在于，该方法包括以下步骤：
步骤1、获得目标结构计算机图像模型及其空间位姿信息、目标结构物理实体的内窥镜视频流及其空间位姿信息、目标结构物理实体的空间位姿信息；
步骤2、基于目标结构计算机图像模型的空间位姿信息与目标结构物理实体的空间位姿信息，通过几何刚体自动配准算法和动态锚点算法获取目标结构计算机图像模型所在的计算机图像空间坐标系Omedical到目标结构物理实体所在的世界坐标系Oworld的变换矩阵
进而实现目标结构计算机图像模型与目标结构的物理实体的配准；世界坐标系Oworld由光学定位仪定义得到；
步骤3、基于变换矩阵
将所获得的目标结构物理实体的内窥镜视频流与目标结构计算机图像模型通过虚实图像融合模块的虚实相机参数绑定功能进行叠加渲染，实现虚实相机同步，获得虚实图像同屏融合的增强现实；
步骤4、基于所获得的虚实图像同屏融合的增强现实效果，通过内窥镜空间定位模块获得实时的动态增强现实。
5.根据权利要求4所述的增强现实方法，其特征在于，该方法还包括步骤5：基于所获得的动态增强现实效果，通过增强现实显示辅助模块实现使用者与增强现实的交互。
6.根据权利要求4所述的增强现实方法，其特征在于，步骤1中，所述目标结构计算机图像模型的空间位姿信息是通过目标结构空间注册模块的计算机图像注册功能获得的目标结构计算机图像模型在计算机图像空间坐标系Omedical中的位置姿态；
目标结构物理实体的内窥镜视频流为内窥镜直接拍摄所获得的真实场景的视频流；
目标结构物理实体的内窥镜视频流的空间位姿信息为通过虚实图像融合模块的视频流融合功能获得的虚拟相机的相机参数；
目标结构物理实体的空间位姿信息是通过目标结构空间注册模块的物理实体注册功能获得的目标结构物理实体在世界坐标系Oworld中的位置姿态。
7.根据权利要求4所述的增强现实方法，其特征在于，步骤2中，所述几何刚体自动配准算法是：
(1)目标结构表面第一光学标记物之间的相对关系构成一个刚体几何形状，在目标结构计算机图像模型中拾取对应的第一光学标记物的坐标，根据几何刚体关系拟合，使得目标结构计算机图像模型中的拾取的点集和第一光学标记物在目标结构表面的点集按照顺序一一对应，确定对应关系；
(2)基于最小二乘法和奇异值分解求得变换矩阵
通过变换矩阵
将目标结构计算机图像模型统一到世界坐标系，完成配准。
8.根据权利要求4所述的增强现实方法，其特征在于，步骤2中，所述动态锚点算法是：动态锚点为目标结构被观察区域外粘贴的第二光学标记物，动态锚点所定义的局部坐标系设为OmarkerIII，计算机图像空间坐标系Omedical在OmarkerIII中的位置姿态设为
OmarkerIII在世界坐标系Oworld中的位置姿态设为
根据
得到矩阵
该矩阵
为恒定，配准完成后作为固有参数保存，如果出现配准丢失的情况，根据
获得初始的配准结果，实现动态锚定。
9.根据权利要求4所述的增强现实方法，其特征在于，步骤4中，内窥镜空间定位模块的功能是：在内窥镜的尾部安装第三光学标记物，光学定位仪追踪识别该第三光学标记物，通过三角注册算法计算得到位于内窥镜头部的内窥镜相机与尾部的第三光学标记物的相对位姿关系，间接将内窥镜注册到世界坐标系中；完成注册后，在使用内窥镜进行工作的过程中，内窥镜相机在世界坐标系中的位姿根据公式
来实时获取；其中，由内窥镜相机定义的局部坐标系设为Oneurocam，由内窥镜尾部的第三光学标记物定义的局部坐标系设为OMarkerI；OMarkerI在Oworld中的位置姿态设为
光学定位仪识别第三光学标记物获得OMarkerI在Oworld中的位置姿态
Oneurocam在OMarkerI中的位置姿态设为
Oneurocam在Oworld中的位置姿态设为
10.根据权利要求9所述的增强现实方法，其特征在于，步骤4中，所述三角注册算法是：使用黑白棋盘格作为三角注册算法的中间媒介，黑白棋盘格的坐标系设为Ochess；起始状态下，使用内窥镜拍摄黑白棋盘格，基于PnP算法获得Ochess在Oneurocam下的位置姿态
光学定位仪识别黑白棋盘格获得Ochess在Oworld下的位置姿态
然后根公式
和
计算得到Oneurocam在OMarkerI中的位置姿态
该位置姿态
为内窥镜固有矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210623421.4A CN114937139A (zh) | 2022-06-01 | 2022-06-01 | 一种基于视频流融合的内窥镜增强现实系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210623421.4A CN114937139A (zh) | 2022-06-01 | 2022-06-01 | 一种基于视频流融合的内窥镜增强现实系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114937139A true CN114937139A (zh) | 2022-08-23 |
Family
ID=82865729
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210623421.4A Pending CN114937139A (zh) | 2022-06-01 | 2022-06-01 | 一种基于视频流融合的内窥镜增强现实系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114937139A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115908121A (zh) * | 2023-02-23 | 2023-04-04 | 深圳市精锋医疗科技股份有限公司 | 内窥镜配准方法及装置和标定系统 |
| CN116883471A (zh) * | 2023-08-04 | 2023-10-13 | 天津大学 | 面向胸腹部经皮穿刺的线结构光无接触点云配准方法 |
-
2022
- 2022-06-01 CN CN202210623421.4A patent/CN114937139A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115908121A (zh) * | 2023-02-23 | 2023-04-04 | 深圳市精锋医疗科技股份有限公司 | 内窥镜配准方法及装置和标定系统 |
| CN116883471A (zh) * | 2023-08-04 | 2023-10-13 | 天津大学 | 面向胸腹部经皮穿刺的线结构光无接触点云配准方法 |
| CN116883471B (zh) * | 2023-08-04 | 2024-03-15 | 天津大学 | 面向胸腹部经皮穿刺的线结构光无接触点云配准方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kim et al. | Augmented-reality survey: From concept to application | |
| US11577159B2 (en) | Realistic virtual/augmented/mixed reality viewing and interactions | |
| CN106101689B (zh) | 利用手机单目摄像头对虚拟现实眼镜进行增强现实的方法 | |
| WO2019152617A1 (en) | Calibration system and method to align a 3d virtual scene and 3d real world for a stereoscopic head-mounted display | |
| US20160267720A1 (en) | Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience | |
| US8933965B2 (en) | Method for calculating light source information and generating images combining real and virtual images | |
| CN114937139A (zh) | 一种基于视频流融合的内窥镜增强现实系统及方法 | |
| Silva et al. | Introduction to augmented reality | |
| Raskar et al. | Spatially augmented reality | |
| US7369101B2 (en) | Calibrating real and virtual views | |
| CN109801379B (zh) | 通用的增强现实眼镜及其标定方法 | |
| Fuhrmann et al. | Occlusion in collaborative augmented environments | |
| KR100953931B1 (ko) | 혼합현실 구현 시스템 및 그 방법 | |
| CN101904770B (zh) | 一种基于光学增强现实技术的手术导航系统及方法 | |
| CN105212418A (zh) | 基于红外夜视功能的增强现实智能头盔研制 | |
| JP2005107970A (ja) | 画像表示装置及び方法 | |
| KR101763636B1 (ko) | 헤드 마운트 디스플레이를 이용한 협업 방법 | |
| JP2010532035A (ja) | 拡張現実感の非写実的レンダリング | |
| CN109920000B (zh) | 一种基于多相机协同的无死角的增强现实方法 | |
| CN109620408A (zh) | 一种基于电磁定位的增强现实手术导航系统标定方法 | |
| CN108830944B (zh) | 光学透视式三维近眼显示系统及显示方法 | |
| WO2020215960A1 (zh) | 注视区域的确定方法、装置及可穿戴设备 | |
| JP2017108370A (ja) | 頭部装着型表示装置およびコンピュータープログラム | |
| Fischer et al. | A hybrid tracking method for surgical augmented reality | |
| JP2005339377A (ja) | 画像処理方法、画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |