CN114926542A - 基于光学定位系统的混合现实固定参考系校准方法 - Google Patents
基于光学定位系统的混合现实固定参考系校准方法 Download PDFInfo
- Publication number
- CN114926542A CN114926542A CN202210535633.7A CN202210535633A CN114926542A CN 114926542 A CN114926542 A CN 114926542A CN 202210535633 A CN202210535633 A CN 202210535633A CN 114926542 A CN114926542 A CN 114926542A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- optical positioning
- positioning system
- coordinate
- tool
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims abstract description 57
- 239000003550 marker Substances 0.000 claims abstract description 28
- 230000009466 transformation Effects 0.000 claims abstract description 14
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 9
- 238000004519 manufacturing process Methods 0.000 claims abstract description 5
- 238000013519 translation Methods 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Robotics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明实施例公开了一种基于光学定位系统的混合现实固定参考系校准方法,包括:步骤1:制作标定工具三维模型与工具文件;步骤2:使用光学定位系统对所述标定工具进行识别;步骤3:获得Toolx在光学定位系统下的坐标值,同时获取虚拟空间中Toolx的反光标记球坐标,得到各坐标点集合;步骤4:使用奇异值分解求取虚拟空间坐标系与真实空间坐标系的变换矩阵;步骤5:求取标定工具与HoloLens上RGB相机的变换矩阵;步骤6:模型漂移校正。本发明解决了混合现实设备使用过程中因陀螺仪精度不足而带来的固定参考系位置漂移问题。
Description
技术领域
本发明涉及混合现实技术领域,尤其涉及一种基于光学定位系统的混合现实固定参考系校准方法。
背景技术
混合现实技术在现实环境中引入虚拟场景信息,产生新的可视化环境,以增强用户的使用体验。HoloLens是Microsoft公司推出的一款无线混合现实头戴式显示器,是目前市场上较为先进的混合现实设备。HoloLens上有多个空间摄像头和传感器元件,持续对周围环境进行扫描,通过即时定位与地图构建技术实现空间实时定位。HoloLens还具备语音、手势等多种交互功能。AimPosition是由广州艾目易科技有限公司开发的光学定位系统,是一款通过近红外双目摄像头识别反光标记球以达到定位、导航等目的的设备。采用光学定位系统和标记工具,开发者可以对混合现实设备进行空间标定。
在医疗和工业等领域的应用场景中,开发者可利用Unity等平台开发混合现实应用并部署在HoloLens设备上。当HoloLens应用程序启动时,会创建一个固定参考系,这是虚拟场景下的世界坐标系,一经创建,就保持在整个运行生命周期中不变,并与真实世界空间一致,全息影像模型的位姿描述和渲染均在虚拟世界坐标系中实现。
在光学定位系统与HoloLens结合的手术导航系统中,虚实融合依赖两个系统坐标系之间的转换关系来实现。而HoloLens陀螺仪产生的误差会使得虚拟空间内的旋转平移等参数因HoloLens发生的抖动或快速移动而带来误差,并且随着时间推移误差会严重累积,导致固定参考系的位置会发生漂移,从而直接影响到医生的操作体验,降低手术的成功率。
发明内容
本发明实施例所要解决的技术问题在于,提供一种基于光学定位系统的混合现实固定参考系校准方法,以解决混合现实设备使用过程中因陀螺仪精度不足而带来的固定参考系位置漂移问题。
为了解决上述技术问题,本发明实施例提出了一种基于光学定位系统的混合现实固定参考系校准方法,包括:
步骤1:制作obj格式的标定工具Toolx和Tool三维模型文件,并利用Unity3D导入到虚拟空间中;制作光学定位系统下用于识别所述标定工具的工具文件;
步骤2:使用光学定位系统对所述标定工具进行识别;
步骤3:将标定工具Toolx静置于光学定位系统视场范围内,将虚拟空间的Toolx三维模型与真实空间的Toolx对齐;利用光学定位系统识别出真实空间的Toolx,获得Toolx在光学定位系统下的坐标值,同时获取虚拟空间中Toolx的反光标记球坐标,得到各坐标点集合;
步骤4:进行奇异值分解,得到酉矩阵,进而利用酉矩阵与去中心化点集计算旋转平移矩阵,统一坐标系方向,得到虚拟空间坐标系与光学定位系统坐标系的变换矩阵;
步骤5:在HoloLens上装载标定工具,利用光学定位系统对标定工具进行识别匹配,求取标定工具与光学定位系统的旋转平移矩阵,获取RGB相机与虚拟空间的旋转平移矩阵,联合步骤4得到的变换矩阵,计算标定工具与HoloLens上RGB相机的旋转平移矩阵;
步骤6:获取最新位置下RGB相机与虚拟空间的旋转平移矩阵,计算得虚拟模型漂移前后的校正矩阵,将虚拟模型校正前的坐标乘以校正矩阵,得到虚拟模型漂移后的坐标。
进一步地,步骤2包括以下子步骤:
(1)读取工具文件,得到反光标记球在标定工具坐标系下的坐标值;
(2)获取光学定位系统视野内反光标记球的坐标,与工具文件进行匹配;
(3)匹配成功后,光学定位系统可计算出标定工具坐标系与光学定位系统坐标系之间的转换关系。
进一步地,步骤2中,采集Toolx反光标记球在光学定位系统坐标系下的坐标计算四个坐标值每两点之间的距离 计算工具文件中坐标点的坐标两两之间的距离逐个比较So与St中的元素,只要每个点有两段或以上距离之差小于设定阈值,即有三个点或以上与工具文件中的坐标点匹配成功,即认为标定工具识别成功。
进一步地,步骤4中,采用以下方式获取酉矩阵:
记HoloLens虚拟场景中的世界坐标系为Cu;由光学定位系统表征真实空间中的坐标系记为Co,假设Toolx有n个反光标记球,分别构造3×n矩阵与其中,分别表示与3D模型匹配的n个反光标记球在光学定位系统坐标系的坐标,分别表示虚拟空间中n个反光标记球的坐标,则确定这两个空间的位姿关系需要求解旋转和平移矩阵R、t,满足:
对两个点集P和Q进行去中心化,得到新的点集合{xi}和{yi},
进一步地,步骤4中,采用下式对按照左手坐标系来定义的虚拟空间坐标系与按照右手坐标系定义的光学定位系统坐标系进行左右手坐标系转换,统一将光学定位系统坐标系的右手坐标系转化为左手坐标系:
设X、Y、Z轴分别为右手坐标系的三个坐标轴,将任一坐标轴反向,即可改变手性,转换为左手坐标系,假设将X轴进行改向,则原右手坐标系空间中的点p(a,b,c)在左手坐标系下的坐标为p'(-a,b,c),而右手坐标系相对于左手坐标系的位姿
本发明的有益效果为:
(1)本发明为混合现实手术导航系统的虚拟空间坐标系漂移问题提供了解决方案,避免了由于设备的陀螺仪精度不足而导致的空间坐标系漂移。
(2)本发明基于奇异值分解算法进行点集配准,利用光学定位系统和标定工具求解虚拟空间与真实空间之间的位姿关系,实现虚实融合。
(3)本发明设计了装载在HoloLens上的标定工具,标定工具坐标系和HoloLens的RGB相机坐标系相对固定,通过标定得到二者之间的转换关系后可在其他应用场景下重复使用。
附图说明
图1是本发明实施例的各符号的具体含义示意图。
图2是本发明实施例的基于光学定位系统的混合现实固定参考系校准方法的流程示意图。
图3是本发明的相互关系转换示意图。
图4是本发明实施例的标定工具Toolx的工具文件示意图。
图5是本发明实施例的标定工具Toolx的obj格式文件示意图。
图6是本发明实施例的标定工具Tool的3D设计示意图。
图7是本发明实施例的装有标定工具Tool的Hololens示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互结合,下面结合附图和具体实施例对本发明作进一步详细说明。
本发明约定,Cb代表b坐标系,Pb代表b坐标系下的坐标点的集合,R代表旋转矩阵,t代表平移矩阵,T代表转换矩阵,代表b坐标系到d坐标系的转换矩阵。各坐标点集合、距离集合和坐标系之间的转换关系如附图1所示。
请参照图2~图3,本发明实施例的基于光学定位系统的混合现实固定参考系校准方法包括步骤1~步骤6。
步骤1:利用Pro Engineer软件制作obj格式的标定工具Toolx和Tool三维模型文件,并利用Unity3D导入到虚拟空间中;制作光学定位系统下用于识别标定工具的工具文件。
Toolx和Tool分别由4个共面但不共线的反光标记球组成,反光标记球两两之间的距离不同。Toolx是“X”形的独立工具,便于手持或夹持在机械臂上;而Tool可装载在HoloLens上,用螺母固定以保证其与HoloLens自身的相对位置不变。反光标记球的球体特性,能保证光学定位系统在视野范围内获取其球心坐标时不受位置和角度的影响。
具体地,使用Pro Engineer软件设计出标定工具Toolx,制作实物。装载4个共平面而不共极线的反光标记球,输出obj格式文件,如图5所示,通过Unity3D导入HoloLens虚拟空间;
制作可被光学定位系统识别的工具文件。标定工具Toolx结构特点在于,反光标记球两两之间的相对位置与距离始终固定且不相等。利用这一特点,构建Toolx的坐标系,以两线段交点为原点,长边为X轴,垂直四点拟合平面为Y轴,根据右手定则确定Z轴。计算并保存各个角点在此坐标系下的坐标值,作为被识别的特征,如图4所示。
本发明设计了装载在HoloLens上的Tool工具,Tool工具上有4个反光标记球,可以用作定位仪识别的特征,且由于Tool装载固定在HoloLens上,HoloLens的RGB相机坐标系和Tool工具坐标系之间的变换关系也会固定不变,记为Tct。
步骤2:使用光学定位系统对所述标定工具进行识别。采集Toolx反光标记球在光学定位系统坐标系下的坐标计算四个坐标值每两点之间的距离计算工具文件中坐标点的坐标两两之间的距离 逐个比较So与St中的元素,只要每个点有两段或以上距离之差小于设定阈值,即有三个点或以上与工具文件中的坐标点匹配成功,即认为标定工具识别成功。
步骤3:计算机与HoloLens通信,整个数据采集处理系统由光学定位系统,计算机以及HoloLens组成。首先固定光学定位系统,并与计算机相连,将标定工具Toolx静置于光学定位系统视场范围内,启动HoloLens,采用UDP协议与计算机通信,主动将虚拟空间的Toolx三维模型与真实空间的Toolx对齐。利用光学定位系统识别出真实空间的Toolx,获得Toolx在光学定位系统下的坐标值,HoloLens同时将虚拟空间中Toolx的反光标记球坐标发送至计算机进行处理。
步骤4:进行奇异值分解,得到酉矩阵,进而利用酉矩阵与去中心化点集计算旋转平移矩阵,统一坐标系方向,得到虚拟空间坐标系与光学定位系统坐标系的变换矩阵;。
具体地,记HoloLens虚拟场景中的世界坐标系为Cu;由光学定位系统表征真实空间中的坐标系记为Co,假设Toolx有n个反光标记球,分别构造3×n矩阵与其中,分别表示与3D模型匹配的n个反光标记球在光学定位系统坐标系的坐标,分别表示虚拟空间中n个反光标记球的坐标,则确定这两个空间的位姿关系需要求解旋转和平移矩阵R、t,满足:
对两个点集P和Q进行去中心化,得到新的点集合{xi}和{yi},
虚拟场景中的世界坐标系和局部坐标系都是按照左手坐标系来定义的,而光学定位系统坐标系和Toolx坐标系则是按照右手坐标系定义的,因此需要对左右手坐标系进行转换。
为此,统一将光学定位系统的右手坐标系坐标系转化为左手坐标系。设X、Y、Z轴分别为右手坐标系的三个坐标轴,将任一坐标轴反向,即可改变手性,转换为左手坐标系,假设将X轴进行改向,则原右手坐标系空间中的点p(a,b,c)在左手坐标系下的坐标为p'(-a,b,c),而右手坐标系相对于左手坐标系的位姿
步骤5:在HoloLens上装载标定工具,利用光学定位系统对标定工具进行识别匹配,求取标定工具与光学定位系统的旋转平移矩阵,获取RGB相机与虚拟空间的旋转平移矩阵,联合步骤4得到的变换矩阵,计算标定工具与HoloLens上RGB相机的旋转平移矩阵。
将标定工具Tool装载于HoloLens上,并用螺丝和螺母固定在HoloLens前方,Tool由包括4个不共线的反光标记球组成,如图6、图7所示;构建Tool的坐标系记为Ct,标定工具相对于HoloLens中RGB相机的位姿是固定的。Tool相对光学定位系统的位姿记为HoloLens的RGB相机相对于虚拟空间坐标系的位姿记为虚拟空间相对于光学定位系统的位姿记为则有 即为需要求取的标定工具与HoloLens上RGB相机的变换矩阵。
步骤6:获取最新位置下RGB相机与虚拟空间的旋转平移矩阵,计算得模型漂移前后的校正矩阵,将模型校正前的坐标乘以校正矩阵,得到模型漂移后的坐标。本发明利用奇异值分解算法,提出了一种虚拟空间坐标系与真实空间坐标系之间的配准方法,并通过Tct求解出虚拟与真实空间坐标系之间的变换关系,补偿HoloLens运动后陀螺仪带来的精度误差。
在使用HoloLens的过程中,由于内置陀螺仪的精度限制,人体抖动或快速移动会带来固定参考系的位置发生漂移,漂移后HoloLens虚拟场景中的世界坐标系记为Cu'。则有此时,联立步骤五的公式,可计算得出漂移前后的虚拟场景世界坐标系的位姿关系
当虚拟模型发生漂移时,由于虚拟空间坐标系在HoloLens使用过程中无法改变,为使虚拟模型与真实模型准确对齐,那么需要改变虚拟空间中模型的坐标。记虚拟模型w当前的位置为pw,则校正后的虚拟模型w的位置
HoloLens中存在虚拟空间坐标系,但因为HoloLens的陀螺仪精度不高,运动后的虚拟空间坐标系会发生漂移,也就是他们的原点不再重合了,这会给后续的空间转换计算带来误差。本发明解决了混合现实设备使用过程中因陀螺仪精度不足而带来的固定参考系位置漂移问题。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同范围限定。
Claims (5)
1.一种基于光学定位系统的混合现实固定参考系校准方法,其特征在于,
包括:
步骤1:制作obj格式的标定工具Toolx和Tool三维模型文件,并利用Unity3D导入到虚拟空间中;制作光学定位系统下用于识别所述标定工具的工具文件;
步骤2:使用光学定位系统对所述标定工具进行识别;
步骤3:将标定工具Toolx静置于光学定位系统视场范围内,将虚拟空间的Toolx三维模型与真实空间的Toolx对齐;利用光学定位系统识别出真实空间的Toolx,获得Toolx在光学定位系统下的坐标值,同时获取虚拟空间中Toolx的反光标记球坐标,得到各坐标点集合;
步骤4:进行奇异值分解,得到酉矩阵,进而利用酉矩阵与去中心化点集计算旋转平移矩阵,统一坐标系方向,得到虚拟空间坐标系与光学定位系统坐标系的变换矩阵;
步骤5:在HoloLens上装载标定工具,利用光学定位系统对标定工具进行识别匹配,求取标定工具与光学定位系统的旋转平移矩阵,获取RGB相机与虚拟空间的旋转平移矩阵,联合步骤4得到的变换矩阵,计算标定工具与HoloLens上RGB相机的旋转平移矩阵;
步骤6:获取最新位置下RGB相机与虚拟空间的旋转平移矩阵,计算得虚拟模型漂移前后的校正矩阵,将虚拟模型校正前的坐标乘以校正矩阵,得到模型漂移后的坐标。
2.如权利要求1所述的基于光学定位系统的混合现实固定参考系校准方法,其特征在于,步骤2包括以下子步骤:
(1)读取工具文件,得到反光标记球在标定工具坐标系下的坐标值;
(2)获取光学定位系统视野内反光标记球的坐标,与工具文件进行匹配;
(3)匹配成功后,光学定位系统可计算出标定工具坐标系与光学定位系统坐标系之间的转换关系。
4.如权利要求1所述的基于光学定位系统的混合现实固定参考系校准方法,其特征在于,步骤4中,采用以下方式获取酉矩阵:
记HoloLens虚拟场景中的世界坐标系为Cu;由光学定位系统表征真实空间中的坐标系记为Co,假设Toolx有n个反光标记球,分别构造3×n矩阵与其中,分别表示与3D模型匹配的n个反光标记球在光学定位系统坐标系的坐标,分别表示虚拟空间中n个反光标记球的坐标,则确定这两个空间的位姿关系需要求解旋转和平移矩阵R、t,满足:
对两个点集P和Q进行去中心化,得到新的点集合{xi}和{yi},
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210535633.7A CN114926542A (zh) | 2022-05-17 | 2022-05-17 | 基于光学定位系统的混合现实固定参考系校准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210535633.7A CN114926542A (zh) | 2022-05-17 | 2022-05-17 | 基于光学定位系统的混合现实固定参考系校准方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114926542A true CN114926542A (zh) | 2022-08-19 |
Family
ID=82809626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210535633.7A Pending CN114926542A (zh) | 2022-05-17 | 2022-05-17 | 基于光学定位系统的混合现实固定参考系校准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114926542A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117434571A (zh) * | 2023-12-21 | 2024-01-23 | 绘见科技(深圳)有限公司 | 基于单天线确定设备绝对位姿的方法、mr设备及介质 |
-
2022
- 2022-05-17 CN CN202210535633.7A patent/CN114926542A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117434571A (zh) * | 2023-12-21 | 2024-01-23 | 绘见科技(深圳)有限公司 | 基于单天线确定设备绝对位姿的方法、mr设备及介质 |
CN117434571B (zh) * | 2023-12-21 | 2024-03-15 | 绘见科技(深圳)有限公司 | 基于单天线确定设备绝对位姿的方法、mr设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110296691B (zh) | 融合imu标定的双目立体视觉测量方法与系统 | |
EP3067861B1 (en) | Determination of a coordinate conversion parameter | |
CN109521403B (zh) | 多线激光雷达的参数标定方法及装置、设备及可读介质 | |
CN110782492B (zh) | 位姿跟踪方法及装置 | |
CN111210478A (zh) | 一种无共同视野多相机系统外参标定方法、介质及系统 | |
CN113129451B (zh) | 基于双目视觉定位的全息三维影像空间定量投影方法 | |
CN113361365A (zh) | 定位方法和装置、设备及存储介质 | |
CN113763478A (zh) | 无人车相机标定方法、装置、设备、存储介质及系统 | |
CN115830135A (zh) | 一种图像处理方法、装置及电子设备 | |
JP2008309595A (ja) | オブジェクト認識装置及びそれに用いられるプログラム | |
CN113487726B (zh) | 动作捕捉系统和方法 | |
CN115049744A (zh) | 机器人手眼坐标转换方法、装置、计算机设备和存储介质 | |
Burkard et al. | User-aided global registration method using geospatial 3D data for large-scale mobile outdoor augmented reality | |
CN114926542A (zh) | 基于光学定位系统的混合现实固定参考系校准方法 | |
CN109215128B (zh) | 物体运动姿态图像的合成方法及系统 | |
CN113496503A (zh) | 点云数据的生成及实时显示方法、装置、设备及介质 | |
McIlroy et al. | Kinectrack: 3d pose estimation using a projected dense dot pattern | |
CN114882106A (zh) | 位姿确定方法和装置、设备、介质 | |
KR20010055957A (ko) | 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법 | |
CN112070844B (zh) | 结构光系统的校准方法及装置、设备及介质 | |
Najafi et al. | Automated initialization for marker-less tracking: A sensor fusion approach | |
Araujo et al. | Life cycle of a slam system: Implementation, evaluation and port to the project tango device | |
CN114429487A (zh) | 基于平面运动的机器人视觉特征匹配和定位方法及装置 | |
CN114638894B (zh) | 机器人行走的定位方法、系统、电子装置及存储介质 | |
CN116100564B (zh) | 一种标定机械手的高精度标定方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |