CN110766752A - 一种带反光标志点的虚拟现实交互眼镜及空间定位方法 - Google Patents

一种带反光标志点的虚拟现实交互眼镜及空间定位方法 Download PDF

Info

Publication number
CN110766752A
CN110766752A CN201910953783.8A CN201910953783A CN110766752A CN 110766752 A CN110766752 A CN 110766752A CN 201910953783 A CN201910953783 A CN 201910953783A CN 110766752 A CN110766752 A CN 110766752A
Authority
CN
China
Prior art keywords
points
glasses
mark points
mark
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910953783.8A
Other languages
English (en)
Other versions
CN110766752B (zh
Inventor
宋宣晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Luoyang Institute of Electro Optical Equipment AVIC
Original Assignee
Luoyang Institute of Electro Optical Equipment AVIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Luoyang Institute of Electro Optical Equipment AVIC filed Critical Luoyang Institute of Electro Optical Equipment AVIC
Priority to CN201910953783.8A priority Critical patent/CN110766752B/zh
Publication of CN110766752A publication Critical patent/CN110766752A/zh
Application granted granted Critical
Publication of CN110766752B publication Critical patent/CN110766752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种带反光标志点的虚拟现实交互眼镜，利用反光标志点实现用户视角的跟踪定位，反光标志点形状为半球形，表面覆盖有反光材料，眼镜上设置有5个标志点，分别位于眼镜边框的4个角点和眼镜横梁中心处。本发明结合标志点分布特点，提出一种交互眼镜的空间定位方法，首先根据标志点的成像拓扑特征，完成标志点的物像匹配，第二步基于视觉测量原理进行标志点空间坐标求解，并对结果进行正确性校验，第三步对标志点进行求重心和平面拟合操作，获取眼镜的位姿参数。本发明最小化了交互眼镜的体积和重量，提升了佩戴舒适感，提出的定位方法简单高效，并且拥有正确性校验功能，保证了定位结果的正确性。

Description

一种带反光标志点的虚拟现实交互眼镜及空间定位方法
技术领域
本发明涉及虚拟现实领域，尤其涉及用于虚拟现实系统中，一种带反光标志点的交互眼镜及其空间定位方法。
背景技术
虚拟现实系统中，为使用户体验到良好的虚拟交互效果，系统需要对用户视角进行实时追踪定位，根据视角呈现相对应的场景，使用户达到身临其境的感觉，并且可以和虚拟空间的物体实现互动操作。
虚拟现实系统通常采用视觉定位的方式对用户视角进行追踪，系统中分布有若干相机，用户佩戴的交互眼镜(3D眼镜)上布置有若干标志点，标志点一般采用主动发光式LED，由于LED发光角度比较小，所以需要布置多组LED朝向不同的方向，此类方案存在以下两个弊端：第一，LED及其驱动电路会增加眼镜的体积和重量，影响用户佩戴体验；第二，LED标志点越多，控制逻辑越复杂，定位难度越大，一定程度上会降低定位效率。
发明内容
要解决的技术问题
为了避免现有技术的不足之处，结合虚拟显示系统中交互眼镜的特点，设计了一种带反光式标志点的虚拟现实交互眼镜，并针对该类眼镜提出了一种位姿定位方法，该设计可最小化交互眼镜的体积和重量，并且定位方法实现简单，定位效率较高。
技术方案
一种带反光标志点的虚拟现实交互眼镜，其特征在于由交互眼镜和5个反光标志点组成，所述的眼镜为偏振式3D眼镜或快门式3D眼镜，用于实现3D观感；所述的5个标志点分布于交互眼镜的镜框上，以刚性连接方式连接，5个标志点处于同一平面，其中4个位于镜框的四个角点处，第5个位于眼镜横梁中心处；标志点形状为半球形，表面覆盖一层反光材料，可实现眼镜广角度定位。
一种利用交互眼镜实现的空间定位方法，其特征在于步骤如下：
步骤1：标志点物像匹配，根据标志点在图像上的分布情况，确定图像标志点与同名反光标志点的一一对应关系：
1.1：将5个图像标志点坐标由笛卡尔坐标转化为极坐标表示方法；
1.2：将5个点的根据极角由小到大进行排序，即对图像点进行逆时针排序；
1.3：极径最小图像点对应标志点为③号点，即眼镜横梁中心处点；
1.4：根据③号点对应的图像点，和步骤1.2确定的逆时针排序结果，即可依次确认④号、⑤号、①号、②号标志点的物像对应关系；
步骤2：标志点坐标求解及校验，基于多目视觉原理求取靶标点空间坐标，并对结果进行正确性校验：
2.1：根据标志点图像坐标和相机内外参数，求取标志点在各相机中的投影射线；
2.2：根据投影射线计算标志点空间坐标的最优估计；
2.3：计算标志点最优估计位置到各个投影射线的距离；
2.4：若距离均小于标志点尺寸，认为该标志点有效；否则，认为该点为无效标志点并结束该次定位；
步骤3：眼镜位姿解算，根据靶标点空间坐标求解眼镜的位姿参数：
3.1：计算5个标志点的重心坐标，作为眼镜的位置；
3.2：对5个标志点进行平面拟合，平面法向参数即为眼镜视角。
有益效果
本发明提出的一种带反光标志点的虚拟交互眼镜，利用反光标志点实现用户视角的跟踪定位，反光标志点形状为半球形，表面覆盖有反光材料，眼镜上设置有5个标志点，分别位于眼镜边框的4个角点和眼镜横梁中心处。本发明结合标志点分布特点，提出一种交互眼镜的空间定位方法，首先根据标志点的成像拓扑特征，完成标志点的物像匹配，第二步基于视觉测量原理进行标志点空间坐标求解，并对结果进行正确性校验，第三步对标志点进行求重心和平面拟合操作，获取眼镜的位姿参数。本发明结合眼镜构造对标志点进行了合理布置，最小化了眼镜的体积和重量，提升了佩戴舒适感，并结合标志点分布特点提出了一种定位方法，可快速实现眼镜位姿解算，同时定位方法中加入了正确性校验功能，保证了定位结果的正确性。
附图说明
图1是带反光点的交互眼镜示意图。
图2是交互眼镜标志点序号定义示意图。
其中，1.虚拟现实交互眼镜，2.反光标志点，3.标志点外形。
具体实施方式
现结合实施例、附图对本发明作进一步描述：
本发明提出的一种带反光标志点的虚拟现实交互眼镜，主要由交互眼镜和5个反光标志点组成，眼镜为偏振式3D眼镜或快门式3D眼镜，用于实现3D观感；标志点形状为半球形，表面覆盖一层反光材料，可实现眼镜广角度定位，5个标志点分布于交互眼镜的镜框上，以刚性连接方式连接，5个标志点处于同一平面，其中4个位于镜框的四个角点处，第5个位于眼镜横梁中心处。虚拟现实系统中，用于视觉定位的相机内参数和外参数，包括焦距、像元间距、主点、畸变参数、相机间旋转平移矩阵等参数，需要提前完成标定，对带反光标志点的交互眼镜定位时，需要对标志点进行补光拍摄，优选的，采用红外光进行补光操作；当至少2个相机同时捕捉到5个标志点图像时，可对眼镜进行空间定位解算。本发明提出的眼镜空间定位方法包含以下3个步骤：1.标志点物像匹配，根据标志点在图像上的分布情况，确定图像标志点与同名反光标志点的一一对应关系；2.标志点坐标求解及校验，基于多目视觉原理求取靶标点空间坐标，并对结果进行正确性校验；3.眼镜位姿解算，根据靶标点空间坐标求解眼镜的位姿参数。
设眼镜右下角反光标识点为①号点，右上角标志点为②号点，横梁中心标识点为③号点，左上角标志点为④号点，左下角标志点为⑤号点，步骤1所述的标志点物像匹配方法，可分为以下4步：
步骤1.1：将5个图像标志点坐标由笛卡尔坐标转化为极坐标表示方法；
步骤1.2：将5个点的根据极角由小到大进行排序，即对图像点进行逆时针排序；
步骤1.3：极径最小图像点对应标志点为③号点；
步骤1.4：根据③号点对应的图像点，和步骤1.2确定的逆时针排序结果，即可依次确认④号、⑤号、①号、②号标志点的物像对应关系。
步骤2所述的标志点坐标求解及校验方法，可分为以下3步：
步骤2.1：根据标志点图像坐标和相机内外参数，求取标志点在各相机中的投影射线；
步骤2.2：根据投影射线计算标志点空间坐标的最优估计；
步骤2.3：计算标志点最优估计位置到各个投影射线的距离；
步骤2.4：若距离均小于标志点尺寸，认为该标志点有效；否则，认为该点为无效标志点并结束该次定位；
当5个标志点均为有效点时，进行步骤3所述的眼镜位姿解算，方法可分为以下2步：
步骤3.1：计算5个标志点的重心坐标，作为眼镜的位置；
步骤3.2：对5个标志点进行平面拟合，平面法向参数即为眼镜视角。
实施例：
本发明提出的带反光点的虚拟现实交互眼镜，在虚拟现实系统中实现空间定位的过程如下。系统对交互眼镜进行红外补光，同时控制相机进行拍摄，当至少2台相机同时捕捉到5个标志点图像时，进行以下步骤对眼镜进行空间定位。
第1步，标志点物像匹配，对每个相机捕捉到的图像点进行处理分析，确定图像点和标志点的对应关系，设
步骤1.1：设5点图像坐标为(ui,vi)，i＝1,2,3,4,5，取其重心为原点
Figure BDA0002226594570000051
Figure BDA0002226594570000052
计算各点极坐标表示形式(θi,li)：
Figure BDA0002226594570000053
步骤1.2：将各点按其极角由小到大排序，即此时标志点坐标顺序为逆时针排列；
步骤1.3：找到序列中对应极径最小的点，该点为③号标志点对应的图像点；
步骤1.4：根据1.2的逆时针排序结果，依次确定出④号、⑤号、①号、②号标志点对应的图像点，即完成物像匹配。
第2步，标志点坐标求解及校验，根据物像匹配结果及相机内外参数，对标志点空间坐标进行求解，并对坐标结果进行校验，保证定位正确性。
步骤2.1：根据标志点的图像投影坐标，以及相机内外参数，求解标志点在每个相机中的投影射线
Figure BDA0002226594570000054
(xVi，yVi，zVi)是标志点的成像点在系统坐标系下的坐标，(pi，qi，ri)是投影射线
在系统坐标系下的方向向量；
步骤2.2：根据投影射线求取标志点空间坐标(x,y,z)，由于存在测量误差，以投影射线交点到所有投影射线的距离和建立目标函数：
Figure BDA0002226594570000061
其中
利用最优化算法对(x,y,z)进行最优化求解；
步骤2.3：根据fi计算标志点的最优估计(x,y,z)到各个投影射线的距离；
步骤2.4：若所有fi<D，D为标志点直径，则认为标志点有效，否则认为该点为无效标志点，结束本次定位解算。
第3步，眼镜位姿参数解算。
步骤3.1：根据5个标志点空间坐标求取其重心位置，作为眼镜的位置坐标；
步骤3.2：对5个标志点进行平面拟合，平面法向参数即为眼镜视角。

Claims (2)

1.一种带反光标志点的虚拟现实交互眼镜，其特征在于由交互眼镜和5个反光标志点组成，所述的眼镜为偏振式3D眼镜或快门式3D眼镜，用于实现3D观感；所述的5个标志点分布于交互眼镜的镜框上，以刚性连接方式连接，5个标志点处于同一平面，其中4个位于镜框的四个角点处，第5个位于眼镜横梁中心处；标志点形状为半球形，表面覆盖一层反光材料，可实现眼镜广角度定位。
2.一种利用权利要求1所述的交互眼镜实现的空间定位方法，其特征在于步骤如下：
步骤1：标志点物像匹配，根据标志点在图像上的分布情况，确定图像标志点与同名反光标志点的一一对应关系：
1.1：将5个图像标志点坐标由笛卡尔坐标转化为极坐标表示方法；
1.2：将5个点的根据极角由小到大进行排序，即对图像点进行逆时针排序；
1.3：极径最小图像点对应标志点为③号点，即眼镜横梁中心处点；
1.4：根据③号点对应的图像点，和步骤1.2确定的逆时针排序结果，即可依次确认④号、⑤号、①号、②号标志点的物像对应关系；
步骤2：标志点坐标求解及校验，基于多目视觉原理求取靶标点空间坐标，并对结果进行正确性校验：
2.1：根据标志点图像坐标和相机内外参数，求取标志点在各相机中的投影射线；
2.2：根据投影射线计算标志点空间坐标的最优估计；
2.3：计算标志点最优估计位置到各个投影射线的距离；
2.4：若距离均小于标志点尺寸，认为该标志点有效；否则，认为该点为无效标志点并结束该次定位；
步骤3：眼镜位姿解算，根据靶标点空间坐标求解眼镜的位姿参数：
3.1：计算5个标志点的重心坐标，作为眼镜的位置；
3.2：对5个标志点进行平面拟合，平面法向参数即为眼镜视角。
CN201910953783.8A 2019-10-09 2019-10-09 一种带反光标志点的虚拟现实交互眼镜及空间定位方法 Active CN110766752B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910953783.8A CN110766752B (zh) 2019-10-09 2019-10-09 一种带反光标志点的虚拟现实交互眼镜及空间定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910953783.8A CN110766752B (zh) 2019-10-09 2019-10-09 一种带反光标志点的虚拟现实交互眼镜及空间定位方法

Publications (2)

Publication Number Publication Date
CN110766752A true CN110766752A (zh) 2020-02-07
CN110766752B CN110766752B (zh) 2023-03-10

Family

ID=69331069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910953783.8A Active CN110766752B (zh) 2019-10-09 2019-10-09 一种带反光标志点的虚拟现实交互眼镜及空间定位方法

Country Status (1)

Country Link
CN (1) CN110766752B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111752386A (zh) * 2020-06-05 2020-10-09 深圳市欢创科技有限公司 一种空间定位方法、系统及头戴式设备
CN113283329A (zh) * 2021-05-19 2021-08-20 北京京东方光电科技有限公司 视线追踪系统、眼动仪、视线追踪方法、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102062578A (zh) * 2010-12-13 2011-05-18 西安交通大学 一种用于视觉坐标测量的手持式光学靶标及其测量方法
WO2017054421A1 (zh) * 2015-09-30 2017-04-06 深圳多新哆技术有限责任公司 调整虚拟现实图像的方法及装置
CN109785392A (zh) * 2018-12-17 2019-05-21 中国航空工业集团公司洛阳电光设备研究所 一种用于桌面级虚拟现实系统的标定装置及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102062578A (zh) * 2010-12-13 2011-05-18 西安交通大学 一种用于视觉坐标测量的手持式光学靶标及其测量方法
WO2017054421A1 (zh) * 2015-09-30 2017-04-06 深圳多新哆技术有限责任公司 调整虚拟现实图像的方法及装置
CN109785392A (zh) * 2018-12-17 2019-05-21 中国航空工业集团公司洛阳电光设备研究所 一种用于桌面级虚拟现实系统的标定装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
易新华等: "基于视觉的内窥镜端部位姿模型分析", 《高技术通讯》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111752386A (zh) * 2020-06-05 2020-10-09 深圳市欢创科技有限公司 一种空间定位方法、系统及头戴式设备
CN113283329A (zh) * 2021-05-19 2021-08-20 北京京东方光电科技有限公司 视线追踪系统、眼动仪、视线追踪方法、设备及介质
CN113283329B (zh) * 2021-05-19 2024-06-07 北京京东方光电科技有限公司 视线追踪系统、眼动仪、视线追踪方法、设备及介质

Also Published As

Publication number Publication date
CN110766752B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN110044300B (zh) 基于激光器的两栖三维视觉探测装置及探测方法
WO2018076154A1 (zh) 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法
US20170127045A1 (en) Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof
CN108629829B (zh) 一种球幕相机与深度相机结合的三维建模方法和系统
CN106570938A (zh) 基于opengl 的全景监控方法及系统
CN109712232B (zh) 一种基于光场的物体表面轮廓三维成像方法
CN109191509A (zh) 一种基于结构光的虚拟双目三维重建方法
CN109615661A (zh) 光场相机内参数标定装置及方法
CN110838164B (zh) 基于物体点深度的单目图像三维重建方法、系统及装置
CN111009030A (zh) 一种多视高分辨率纹理图像与双目三维点云映射方法
CN109285189B (zh) 一种无需双目同步的直线轨迹快速计算方法
CN110648274B (zh) 鱼眼图像的生成方法及装置
CN109920000B (zh) 一种基于多相机协同的无死角的增强现实方法
CN111028155A (zh) 一种基于多对双目相机的视差图像拼接方法
CN105389543A (zh) 基于全方位双目视觉深度信息融合的移动机器人避障装置
CN110191326A (zh) 一种投影系统分辨率扩展方法、装置和投影系统
CN111854636B (zh) 一种多相机阵列三维检测系统和方法
CN110766752B (zh) 一种带反光标志点的虚拟现实交互眼镜及空间定位方法
CN109345587A (zh) 一种基于全景与单目视觉的混合视觉定位方法
CN105513074B (zh) 一种羽毛球机器人相机以及车身到世界坐标系的标定方法
CN105139336B (zh) 一种多通道全景影像转换球幕鱼眼影片的方法
CN113298886A (zh) 一种投影仪的标定方法
WO2018000892A1 (zh) 一种全景立体影像的成像方法、装置及系统
CN115359127A (zh) 一种适用于多层介质环境下的偏振相机阵列标定方法
CN108564654B (zh) 三维大场景的画面进入方式

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant