CN109801379B - 通用的增强现实眼镜及其标定方法 - Google Patents
通用的增强现实眼镜及其标定方法 Download PDFInfo
- Publication number
- CN109801379B CN109801379B CN201910052299.8A CN201910052299A CN109801379B CN 109801379 B CN109801379 B CN 109801379B CN 201910052299 A CN201910052299 A CN 201910052299A CN 109801379 B CN109801379 B CN 109801379B
- Authority
- CN
- China
- Prior art keywords
- augmented reality
- reality glasses
- points
- template
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
本发明提供一种通用的增强现实眼镜及其标定方法,包括:利用基于特征点的平面跟踪技术,获取增强现实眼镜摄像头坐标系下平面模板图上识别点的三维空间位置坐标Pc。将依据平面模板图上对应识别点制定出的图案点投影渲染在增强现实眼镜的虚拟屏幕上,对应图案点在虚拟屏幕上的二维平面位置坐标为Us。将虚拟屏幕上的图案点和平面模板图上对应的识别点进行视线对齐,获得Pc和Us之间坐标的一一匹配关系;根据多次视线对齐得到的多组匹配关系,求解获得标定结果投影矩阵F。采用投影矩阵F在虚拟屏幕上渲染虚拟物体,使其与现实世界的设定位置重叠。
Description
技术领域
本发明实施方式涉及增强现实领域,尤其涉及一种通用的增强现实眼镜及其标定方法。
背景技术
增强现实(augmented reality,AR)技术,是一种将真实世界信息和虚拟信息″无缝″集成的技术,是把原本在真实世界一定时间空间范围内的信息(如视觉、声音、味道、触觉等)通过电脑技术模拟仿真后再与虚拟信息叠加,令真实世界的信息和虚拟信息实时地叠加到了同一个画面或空间,再被人类感官所感知,从而达到超越现实的感官体验。
增强现实眼镜是增强现实技术在可穿戴式计算机领域的一种应用产品,作为增强现实的重要媒介,近年来取得了很大的发展,并不断走向用户,例如微软的Hololens眼镜等。和虚拟现实VR眼镜相比,头戴式增强现实眼镜实现了将虚拟物体渲染在用户眼睛和视场中物理世界之间的光路上,通常这些眼镜也提供了六自由度跟踪系统可以定位其本体在世界坐标系中的位置,当用户佩戴时,为了将虚拟物体正确渲染在对齐的世界坐标系中,还需要精确地测量用户的眼镜和本体追踪坐标系之间的位置变换关系。
现有技术1的美国专利申请US2002/0105484A1公开了一种用于校准增强现实的单目光学透视头戴式显示系统的系统和方法,其中,在头戴式投射型眼镜上固定一个可以获取眼镜6自由度位姿的跟踪器,利用外部设备跟踪头戴式透射型眼镜的6自由度位姿,并使用双眼矫正的一个标志来对齐固定的平面模板图。在用户对齐平面模板图的时刻,需要准确对应外部设备计算眼镜位姿的时刻。用户需要从多个角度对齐平面模板图,并获取对应位置的眼镜位姿,通过软件计算完成标定流程。
现有技术2的中国专利申请CN104808795B公开了一种增强现实眼镜的手势识别方法及增强现实眼镜系统,其中,通过获取深度相机拍摄的深度图像,计算指尖的二维坐标,并通过将增强现实眼镜定位的指尖位置与人眼视角下的指尖位置对准,重复多次该过程,可以获得眼镜的标定参数,完成眼镜的标定。
但是,在实施本发明的过程中,发明人发现现有技术至少存在如下问题:
针对现有技术1,需要特定的外部跟踪系统,在眼镜上需要固定一个6自由度跟踪器,并定制化开发基于该跟踪器的跟踪系统,标定成本较高,且过程较为繁琐。而且,该6自由度跟踪器在眼镜上的位置若发生偏差,会造成标定结果不稳定。
针对现有技术2,标定结果的精度依赖于使用手势识别技术的可用程度与精度。而且,需要一个深度摄像头来获取手指在空间中的深度位置,成本较高,且需要实现深度相机与普通RGB相机的对齐等操作。
现有技术为了获得用户眼睛和头戴式透视型增强现实眼镜上摄像头的位置关系,通常需要配合外部跟踪设备,或者眼球追踪定位系统,技术复杂度高,成本高昂,而且步骤繁琐。
应该注意,上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明,并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
针对上述问题,本发明实施方式的目的在于提供一种通用的增强现实眼镜及其标定方法,能够通过设计的标定流程以及有效利用模板图的平面跟踪技术,简化标定流程,以及降低标定成本。
为实现上述目的,本发明实施方式提供一种通用的增强现实眼镜的标定方法,包括:利用基于特征点的平面跟踪技术,获取在增强现实眼镜摄像头坐标系下平面模板图上识别点的三维坐标Pc;依据该识别点(例如,一个长方形的四个顶点)制定出相似比例的图案点(缩放了的四个顶点),也就得到了图案点投影在增强现实眼镜的虚拟屏幕上的二维坐标Us。通过增强现实眼镜,将图案点和平面模板图上的识别点进行视线对齐,获得增强现实眼镜摄像头坐标系下平面模板图识别点的三维坐标Pc和图案点投影渲染在增强现实眼镜的虚拟屏幕上的二维坐标Us之间的匹配关系;根据Pc和Us之间的多组匹配关系,计算得到投影矩阵,并根据该投影矩阵,在增强现实眼镜的虚拟屏幕上渲染虚拟物体,使其与现实世界的位置重叠。
本发明实施方式还提供一种通用增强现实眼镜,包括:第一处理模块,利用基于特征点的平面跟踪技术,获取在增强现实眼镜摄像头坐标系下平面模板图的位置与姿态,推算出平面模板图上识别点的三维空间位置坐标Pc;第二处理模块,用于将依据平面模板图上对应识别点制定出的图案点投影渲染在增强现实眼镜的虚拟屏幕上,对应图案点在虚拟屏幕上的二维平面位置坐标为Us;第三处理模块,通过增强现实眼镜,将图案点和平面模板图上对应的识别点进行视线对齐,获得增强现实眼镜摄像头坐标系下平面模板图上识别点的三维空间位置坐标Pc和图案点投影渲染在增强现实眼镜的虚拟屏幕上的二维平面位置坐标Us之间的匹配关系;第四处理模块,经过多次视线对齐,并根据多组Pc和Us之间的一一匹配关系,获得渲染的投影矩阵F,并采用投影矩阵F,在虚拟屏幕上渲染虚拟物体,使其与现实世界的设定位置重叠。
本发明实施方式还提供一种通用增强现实眼镜,包括:存储器,用于存储代码和文档;处理器,用于执行所述存储器中所存储的代码和文档用以实现前述通用增强现实眼镜的标定方法。
由上可见,本发明实施方式提供的通用的增强现实眼镜及其标定方法,利用平面跟踪技术,通过头戴式增强现实眼镜的摄像头跟踪任意平面模板图,可以得到平面模板图上识别点在摄像头坐标系中的坐标。用户在增强现实眼镜的投影屏幕上将虚拟图案点和现实平面模板图的识别点进行视线对齐。值得关注的是,通过自研标定算法计算出投影矩阵,利用该重新在摄像头坐标系中渲染物体,获得虚拟物体和现实世界的无缝链接效果,使得虚拟物体″真实地″出现在现实世界中。
附图说明
为了更清楚地说明本发明实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图逐一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施方式提供的通用的增强现实眼镜的标定方法的示意图;
图2为本发明平面模板图的示意图;
图3为本发明根据平面模板图的识别点制定出的图案点投影在增强现实眼镜的虚拟屏幕上的示意图;
图4为本发明实施方式提供的将虚拟屏幕上的图案点和平面模板图的硬拷贝上的已知位置识别点进行视线对齐的示意图;
图5为本发明实施方式提供的通用的增强现实眼镜的结构示意图
图6为本发明实施方式提供的通用的增强现实眼镜的另一结构示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚,下面将结合本发明实施方式中的附图,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
本发明实施方式提供一种通用的增强现实眼镜的标定方法,其中该增强现实眼镜为头戴式透射型增强现实眼镜。如图1所示,该方法具体包括以下步骤。
步骤1,将平面模板图加入平面跟踪SDK的图片库中。
软件开发工具包(Software Development Kit,SDK),是软件工程师为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合。需要说明的是,本发明主要的操作过程依赖于一套自主研发的标定软件,该标定软件由平面跟踪SDK、标定流程应用程序两个部分整合构成。
在本步骤中,首先将平面跟踪SDK的图片库存储在服务器上,并将平面模板图加入平面跟踪SDK的图片库中。该平面模板图可以由使用标定软件的人员(可能是眼镜生产商的技术人员,也可能是使用眼镜的用户)自行选择。示例平面模板图如图2所示。该平面模板图需要满足两个条件:1.图像纹理明显,这样特征点容易被平面跟踪算法检测到,并稳定地输出该平面模板图中心点(星点)在眼镜摄像头中的位置与姿态。2.有明显的视觉识别点(8个圆点,此时N=8,要求N不小于4),可以用于视线对齐。注意:这里的特征点,也称为角点,是图像中各方向上灰度值均发生剧烈变化的点,通过计算机可以识别到这些灰度值变化剧烈的点,通常这些点在人眼的视觉中也有比较明显的特征,例如桌角,屋顶等等。而识别点,可以是人为定义的位置点。
步骤2,获取平面模板图中心点在增强现实眼镜摄像头坐标系下的三维坐标P。
将该平面模板图的硬拷贝贴合在墙壁上,佩戴上增强现实眼镜,并让增强现实眼镜上的摄像头能够捕捉到完整的平面模板图,最后打开增强现实眼镜中的标定软件。此时,平面跟踪SDK开始跟踪平面模板图,无论眼镜在墙壁前如何运动,只要摄像头中能够捕捉到完整的平面模板图,就可以输出平面模板图中心点在眼镜摄像头坐标系下的三维坐标P,以及平面模板图相对于摄像头的变换Tci。
平面跟踪SDK的工作原理是:因为平面模板图存储在服务器上的图片库中,增强现实眼镜摄像头拍摄到平面模板图的硬拷贝时,会在服务器上的图片库中查找到对应的平面模板图,服务器中的平面模板图尺寸已知,且和该硬拷贝的平面模板图尺寸一致。
通过实时拍摄贴合固定在平整表面上的平面模板图的硬拷贝,在视频流的每一帧中提取出视觉特征点;由于视频流前后帧之间特征点在现实中固定的平面模板图上的位置不变,而在运动的摄像头的视频流中图像上显示的位置却发生了改变,通过这种变化对应关系,可以获得拍摄的增强现实眼镜摄像头相对于该固定的平面模板图的空间位置。并且由于平面模板图的尺寸已知,可以进一步计算出平面模板图中心点在增强现实眼镜坐标系中的三维坐标(平面模板图虽然固定不变,但是在眼镜坐标系中的三维坐标会随着眼镜摄像头位置的移动而改变)。
步骤3,根据中心点坐标P,计算出平面模板图上N个识别点的坐标Pc。
在本步骤中,通过步骤2中计算得到了平面模板图的中心点坐标P,参考坐标系为眼镜摄像头{C},由于平面模板图的尺寸已知,以平面模板图的中心点为坐标原点,可以用直尺分别测量计算出平面模板图坐标系中N个识别点的坐标Pi,通过P+Tci*Pi可以计算出N个识别点的在眼镜摄像头坐标系{C}下的坐标Pc。
步骤4,将根据平面模板图的识别点制定出的图案点投影在增强现实眼镜的虚拟屏幕上,获取N个图案点的二维坐标Us。
在本步骤中,可以将步骤3中得到的N个识别点在平面模板图坐标系中的坐标Pi输入标定软件,通过标定软件根据增强现实眼镜虚拟屏幕的参数,在虚拟屏幕上渲染出于N个与识别点等比例的图案点,记识别点在虚拟屏幕上的二维坐标为Us(同样坐标原点可以设置在虚拟屏幕中心点)。根据步骤1中的平面模板图(图2),渲染在眼镜虚拟屏幕上的8个图案点如图3所示。
步骤5,将图案点和平面模板图中的识别点进行视线对齐,获得增强现实眼镜摄像头坐标系下平面模板图中的识别点的三维坐标Pc和投影在增强现实眼镜的虚拟屏幕上的二维坐标Us之间的匹配关系。
在本步骤中,用户根据标定软件提示,只睁开一只眼睛,假设是左眼;此时用户的左眼可以在透射型增强现实眼镜的虚拟屏幕上看到图3中的图案点,同时可以在透过虚拟屏幕的实际平面模板图上看到图2中的识别点。依然根据标定软件提示,会引导用户按照参考图4所示的视线对齐方式,将N个图案点和贴于墙上的平面模板图进行视线对齐。在图4中,C表示增强现实眼镜上的摄像头(Camera)坐标系;S表示增强现实眼镜的虚拟成像屏幕(Screen)坐标系。增强现实眼镜的虚拟屏幕上会渲染出N个图案点,这些图案点和平面模板图上的识别点是一一匹配对应的。根据标定软件提示,用户会佩戴着眼睛相对平面模板图进行多个角度和多个距离的移动尝试,并进行视线对齐,直到虚拟屏幕上的这N个图案点和墙壁上的平面模板图上的那N个识别点全部重合,从而获得一组增强现实眼镜摄像头坐标系下平面模板图中识别点的三维坐标Pc和投影在增强现实眼镜的虚拟屏幕上图案点的二维坐标Us的匹配对应关系。
Pc和Us之间满足的投影关系如下式(1)所示:
Us=F*Pc (1)
其中,F为投影矩阵。
步骤6,联立多组Pc和Us求解线性方程组,获得渲染的投影矩阵。在本步骤中,联立多组Pc和Us求解线性方程组,获得渲染的投影矩阵。进一步地,投影矩阵F可以分解为用户眼睛在投影屏幕上的内参KE(与自身特性相关的参数),以及用户眼睛和摄像头之间的位姿关系(外参),旋转为RCE,平移为tCE,则投影矩阵F如下式(2)所示:
F=KE[RCE tCE] (2)
在本发明具体实施例中,该F矩阵是一个4×4矩阵,有16个参数,使用16组(1)式可以求得F矩阵,为了获得较好的效果。通常这16个参数需要进行多次视线对齐获取的方程组求解,这一流程由标定软件提示完成。只需要在虚拟屏幕的不同位置重新渲染图案点(可以适当变换比例,由标定软件完成),并重新进行视线对齐。物体在摄像头中渲染位置矩阵是一个4×4矩阵P,假设原始渲染的位置矩阵为P_origin,F×P_origin可以得到新的渲染位置矩阵,使用该渲染位置矩阵即可完成眼镜的真实渲染过程。
步骤7,根据投影矩阵,渲染虚拟物体,与现实世界的位置重叠。
在本步骤中,根据上述的投影矩阵F,可以修改虚拟物体在增强现实眼镜摄像头中的位置,从而将摄像头画面中的虚拟物体渲染在增强现实眼镜虚拟成像屏幕上。注意需要标定用户的左右两只眼睛,其投影矩阵F不一样,该过程也会通过标定软件提示完成。
通常眼镜摄像头会捕捉其观察到的现实世界的图片,但是该现实世界的图片若直接投射在虚拟屏幕上,会造成眼镜摄像头捕捉图片和透过虚拟屏幕看到的现实世界不一致,通过F矩阵变换后,可以将摄像头捕捉的图片和透过屏幕看到的现实世界统一起来。但是通常只需要通过虚拟屏幕渲染虚拟物体,使用F投影矩阵渲染虚拟物体可以实现将虚拟物体呈现在现实世界的固定位置。同时将该虚拟物体的图片背景(也就是眼镜摄像头捕捉到的图片)去除。如此,可以使虚拟物体和现实世界的位置重叠,达到在用户视线中虚拟物体和现实世界空间位置的无缝链接效果。
本发明的另一个实施例还提供了一种通用增强现实眼镜,如图5所示,包括:
第一处理模块501,利用基于特征点的平面跟踪技术,获取在增强现实眼镜摄像头坐标系下平面模板图的位置与姿态,从而推算出平面模板图上识别点的三维空间位置坐标Pc;
第二处理模块502,用于将依据平面模板图上对应识别点制定出的图案点投影渲染在增强现实眼镜的虚拟屏幕上,对应图案点在虚拟屏幕上的二维平面位置坐标为Us;
第三处理模块503,佩戴增强现实眼镜,将图案点和平面模板图上对应的识别点进行视线对齐,获得增强现实眼镜摄像头坐标系下平面模板图上识别点的三维空间位置坐标Pc和图案点投影渲染在增强现实眼镜的虚拟屏幕上的二维平面位置坐标Us之间的匹配关系;
第四处理模块504,经过多次视线对齐,根据多组Pc和Us之间的一一匹配关系,获得渲染的投影矩阵F,并采用投影矩阵F,在虚拟屏幕上渲染虚拟物体,使其与现实世界的设定位置重叠,达到在用户视线中虚拟物体和现实世界空间位置的无缝链接效果。
第一处理模块,具体用于:建构平面跟踪软件开发工具包SDK的图片库,并将设定尺寸的平面模板图加入平面跟踪SDK的图片库中;利用增强现实眼镜上整合了平面跟踪SDK的标定软件,根据增强现实眼镜摄像头中捕捉到的平面模板图识别选用图片库中尺寸相同的平面模板图;利用平面跟踪SDK,获取平面模板图中心点在增强现实眼镜摄像头坐标系中的三维坐标,以及该平面模板图相对于摄像头的旋转,其中的三维坐标加上旋转构成了位姿;并进一步推算出平面模板图上识别点在增强现实眼镜摄像头坐标系中的的三维坐标Pc。
第二处理模块,具体用于:获取电子版平面模板图的硬拷贝,增强现实眼镜上的标定软件根据平面模板图的硬拷贝,依据平面模板图上N个对应识别点,在其软件界面上显示制定出的N个图案点;将图案点投影渲染在增强现实眼镜的虚拟屏幕上,获取N个图案点的二维坐标Us。
第三处理模块,具体用于:在用户根据标定软件指示,佩戴增强现实眼镜相对贴合在平整表面上的平面模板图的硬拷贝,并在三维空间中进行多个角度和多个距离移动后,将投影在增强现实眼镜虚拟屏幕上的N个图案点和平面模板图的硬拷贝上的N个对应识别点进行视线对齐,获得N组增强现实眼镜摄像头坐标系下平面模板图识别点的三维坐标Pc和投影渲染在增强现实眼镜的虚拟屏幕上的二维坐标Us的匹配对应关系;Pc和Us之间满足的投影关系式为:Us=F*Pc,其中,F为投影矩阵。
第四处理模块,具体用于:联立多组Pc和Us之间的投影关系式,求解线性方程组,获得渲染的投影矩阵F;将投影矩阵F分解为用户眼睛在投影屏幕上的内参KE,以及用户眼睛和摄像头之间的位姿关系,包括旋转RCE和平移tCE,具体表示为满足:F=KE[RCE tCE];根据投影矩阵F,修改虚拟物体在增强现实眼镜虚拟屏幕上的渲染位置;增强现实眼镜摄像头对获取到的现实世界图片进行透明背景渲染,去除现实世界图片的背景;将虚拟物体和现实世界设定的位置重叠。
将虚拟物体和现实世界设定的位置重叠后,可以达到在用户视线中虚拟物体和现实世界空间位置的无缝链接效果。
不难发现,本实施方式的通用增强现实眼镜为前述的通用的增强现实眼镜的标定方法相对应的装置实施例,本实施方式可与前述方法互相配合实施。前述方法提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。
本发明另外一个实施例还提供了一种通用增强现实眼镜,如图6所示,包括存储器和处理器,其中:
存储器601,用于存储代码和文档;
处理器602,用于执行存储器中所存储的代码和文档用以实现前述通用增强现实眼镜的标定方法实施例中的方法步骤。
由上可见,本发明提供的通用增强现实眼镜及其标定方法,利用平面跟踪技术,头戴式增强现实眼镜的摄像头跟踪任意平面模板图,并得到平面模板图上识别点在摄像头坐标系中的坐标,通过与虚拟屏幕上的图案点进行视线对齐,获得投影矩阵F。用户在增强现实眼镜的投影屏幕上通过F矩阵渲染,将虚拟物体轮廓和现实物体的轮廓进行对齐从而获得虚拟物体和现实世界的无缝链接效果。
本说明书中的各个实施方式均采用递进的方式描述,各个实施方式之间相同相似的部分互相参见即可,每个实施方式重点说明的都是与其他实施方式的不同之处。
在本说明书所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所属技术领域的技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,并被通讯设备内部的处理器执行,前述的程序在被执行时处理器可以执行包括上述方法实施例的全部或者部分步骤。其中,所述处理器可以作为一个或多个处理器芯片实施,或者可以为一个或多个专用集成电路(Application Specific Integrated Circuit,ASIC)的一部分;而前述的存储介质可以包括但不限于以下类型的存储介质:闪存(Flash Memory)、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种通用的增强现实眼镜的标定方法,其特征在于,包括:
利用基于特征点的平面跟踪技术,获取在增强现实眼镜摄像头坐标系下平面模板图的位置与姿态,推算出平面模板图上识别点的三维空间位置坐标Pc;
将依据平面模板图上对应识别点制定出的图案点投影渲染在增强现实眼镜的虚拟屏幕上,对应图案点在虚拟屏幕上的二维平面位置坐标为Us;
通过增强现实眼镜,将图案点和平面模板图上对应的识别点进行视线对齐,获得增强现实眼镜摄像头坐标系下平面模板图上识别点的三维空间位置坐标Pc和图案点投影渲染在增强现实眼镜的虚拟屏幕上的二维平面位置坐标Us之间的匹配关系;
经过多次视线对齐,以及根据多组Pc和Us之间的一一匹配关系,获得渲染的投影矩阵F,并采用投影矩阵F,在虚拟屏幕上渲染虚拟物体,使其与现实世界的设定位置重叠;
其中,所述通过增强现实眼镜,将图案点和平面模板图上对应识别点进行视线对齐,获得增强现实眼镜摄像头坐标系下平面模板图上识别点的三维坐标Pc和图案点投影渲染在增强现实眼镜的虚拟屏幕上的二维平面模板图上坐标Us之间的匹配关系,具体包括:
根据标定软件指示,佩戴增强现实眼镜,相对于贴合在平整表面上的平面模板图的硬拷贝,在三维空间中进行多个角度和多个距离移动,将投影在增强现实眼镜虚拟屏幕上的N个图案点和平面模板图的硬拷贝上的N个对应识别点进行视线对齐,获得N组增强现实眼镜摄像头坐标系下识别点的三维坐标Pc和投影渲染在增强现实眼镜的虚拟屏幕上的二维坐标Us的匹配对应关系;
2.根据权利要求1所述的通用的增强现实眼镜的标定方法,其特征在于,利用基于特征点的平面跟踪技术,获取在增强现实眼镜摄像头坐标系下平面模板图上识别点的三维坐标Pc,具体包括:
将设定尺寸的平面模板图加入到预先建立的平面跟踪SDK的图片库中;
利用增强现实眼镜上整合了平面跟踪SDK的标定软件,获取电子版平面模板图的硬拷贝,根据增强现实眼镜摄像头中的平面模板图的硬拷贝识别选用图片库中尺寸相同的平面模板图;
利用平面跟踪SDK,获取平面模板图中心点在增强现实眼镜摄像头坐标系中的三维坐标,以及该平面模板图相对于摄像头的旋转,其中的三维坐标加上旋转构成了位姿;并进一步推算出平面模板图上识别点在增强现实眼镜摄像头坐标系中的三维坐标Pc。
3.根据权利要求2所述的通用的增强现实眼镜的标定方法,其特征在于,所述将依据平面模板图上对应识别点制定出的图案点投影渲染在增强现实眼镜的虚拟屏幕上,对应图案点在虚拟屏幕上的二维平面位置坐标为Us,具体包括:
获取电子版平面模板图的硬拷贝,增强现实眼镜上的标定软件根据平面模板图的硬拷贝,依据平面模板图上N个对应识别点,在其软件界面上显示制定出的N个图案点;
将图案点投影渲染在增强现实眼镜的虚拟屏幕上,获取N个图案点的二维坐标Us。
6.一种通用的增强现实眼镜,其特征在于,包括:
第一处理模块,利用基于特征点的平面跟踪技术,获取在增强现实眼镜摄像头坐标系下平面模板图的位置与姿态,推算出平面模板图上识别点的三维空间位置坐标Pc;
第二处理模块,用于将依据平面模板图上对应识别点制定出的图案点投影渲染在增强现实眼镜的虚拟屏幕上,对应图案点在虚拟屏幕上的二维平面位置坐标为Us;
第三处理模块,通过增强现实眼镜,将图案点和平面模板图上对应的识别点进行视线对齐,获得增强现实眼镜摄像头坐标系下平面模板图上识别点的三维空间位置坐标Pc和图案点投影渲染在增强现实眼镜的虚拟屏幕上的二维平面位置坐标Us之间的匹配关系;
第四处理模块,经过多次视线对齐,并根据多组Pc和Us之间的一一匹配关系,获得渲染的投影矩阵F,并采用投影矩阵F,在虚拟屏幕上渲染虚拟物体,使其与现实世界的设定位置重叠;
其中,所述第三处理模块,具体用于:
在用户根据标定软件指示,佩戴增强现实眼镜,相对于贴合在平整表面上的平面模板图的硬拷贝,在三维空间中进行多个角度和多个距离移动尝试后,将投影在增强现实眼镜虚拟屏幕上的N个图案点和平面模板图的硬拷贝上的N个对应识别点进行视线对齐,获得N组增强现实眼镜摄像头坐标系下平面模板图识别点的三维坐标Pc和投影渲染在增强现实眼镜的虚拟屏幕上的二维坐标Us的匹配对应关系;
7.根据权利要求6所述的通用的增强现实眼镜,其特征在于,所述第一处理模块,具体用于:
将设定尺寸的平面模板图加入到预先建立的平面跟踪SDK的图片库中;利用增强现实眼镜上整合了平面跟踪SDK的标定软件,根据增强现实眼镜摄像头中捕捉到的平面模板图的硬拷贝识别选用图片库中尺寸相同的平面模板图;利用平面跟踪SDK,获取平面模板图中心点在增强现实眼镜摄像头坐标系中的三维坐标,以及该平面模板图相对于摄像头的旋转,其中的三维坐标加上旋转构成了位姿;并进一步推算出平面模板图上识别点在增强现实眼镜摄像头坐标系中的三维坐标Pc。
8.根据权利要求7所述的通用的增强现实眼镜,其特征在于,所述第二处理模块,具体用于:
获取电子版平面模板图的硬拷贝,增强现实眼镜上的标定软件根据平面模板图的硬拷贝,依据平面模板图上N个对应识别点,在其软件界面上显示制定出的N个图案点;将图案点投影渲染在增强现实眼镜的虚拟屏幕上,获取N个图案点的二维坐标Us。
10.一种通用的增强现实眼镜,其特征在于,所述通用的增强现实眼镜包括存储器和处理器,其中:
所述存储器,用于存储代码和文档;
所述处理器,用于执行所述存储器中所存储的代码和文档用以实现权利要求1至5任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910052299.8A CN109801379B (zh) | 2019-01-21 | 2019-01-21 | 通用的增强现实眼镜及其标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910052299.8A CN109801379B (zh) | 2019-01-21 | 2019-01-21 | 通用的增强现实眼镜及其标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109801379A CN109801379A (zh) | 2019-05-24 |
CN109801379B true CN109801379B (zh) | 2023-02-17 |
Family
ID=66559825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910052299.8A Active CN109801379B (zh) | 2019-01-21 | 2019-01-21 | 通用的增强现实眼镜及其标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109801379B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110570525B (zh) * | 2019-08-15 | 2022-05-13 | 同济大学 | 增强现实系统中三维扫描坐标与投影坐标快速匹配的方法 |
CN110782499B (zh) * | 2019-10-23 | 2023-01-06 | Oppo广东移动通信有限公司 | 一种增强现实设备的标定方法、标定装置及终端设备 |
CN110850977B (zh) * | 2019-11-06 | 2023-10-31 | 成都威爱新经济技术研究院有限公司 | 一种基于6dof头戴式显示器的立体图像交互方法 |
CN111583310B (zh) * | 2020-04-29 | 2023-06-30 | 南京睿悦信息技术有限公司 | 一种用于虚拟现实和增强现实设备的虚实配准方法及装置 |
CN112837379A (zh) * | 2021-02-04 | 2021-05-25 | 的卢技术有限公司 | 一种ar-hud的标定方法 |
CN114119772A (zh) * | 2021-11-29 | 2022-03-01 | 歌尔光学科技有限公司 | 头戴显示设备的标定方法、装置、设备、系统及存储介质 |
CN114237537B (zh) * | 2021-12-10 | 2023-08-04 | 杭州海康威视数字技术股份有限公司 | 头戴式设备、远程协助方法及系统 |
CN114587658A (zh) * | 2022-02-06 | 2022-06-07 | 上海诠视传感技术有限公司 | Ar眼镜识别口腔种植手机在空间坐标系中位置的方法及系统 |
CN115100276B (zh) * | 2022-05-10 | 2024-01-19 | 北京字跳网络技术有限公司 | 处理虚拟现实设备的画面图像的方法、装置及电子设备 |
CN115396653A (zh) * | 2022-08-24 | 2022-11-25 | 歌尔科技有限公司 | 一种ar眼镜的校准方法、系统、装置及介质 |
CN116433769A (zh) * | 2023-04-21 | 2023-07-14 | 北京优酷科技有限公司 | 空间校准方法、装置、电子设备和存储介质 |
CN117765098A (zh) * | 2024-02-22 | 2024-03-26 | 青岛科技大学 | 一种相机辅助标定方法、系统、设备及存储介质 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101539804A (zh) * | 2009-03-11 | 2009-09-23 | 上海大学 | 基于增强虚拟现实与异型屏的实时人机互动方法及系统 |
CN104436634A (zh) * | 2014-11-19 | 2015-03-25 | 重庆邮电大学 | 一种采用沉浸式虚拟现实技术的真人射击游戏系统及实现方法 |
CN104808795A (zh) * | 2015-04-29 | 2015-07-29 | 王子川 | 一种增强现实眼镜的手势识别方法及增强现实眼镜系统 |
CN106127859A (zh) * | 2016-06-28 | 2016-11-16 | 华中师范大学 | 一种移动增强现实型涂鸦绘本的真实感生成方法 |
CN106937531A (zh) * | 2014-06-14 | 2017-07-07 | 奇跃公司 | 用于产生虚拟和增强现实的方法和系统 |
CN107016704A (zh) * | 2017-03-09 | 2017-08-04 | 杭州电子科技大学 | 一种基于增强现实的虚拟现实实现方法 |
CN107111370A (zh) * | 2014-12-30 | 2017-08-29 | 微软技术许可有限责任公司 | 现实世界对象的虚拟表示 |
CN108304075A (zh) * | 2018-02-11 | 2018-07-20 | 亮风台(上海)信息科技有限公司 | 一种在增强现实设备进行人机交互的方法与设备 |
CN108492316A (zh) * | 2018-02-13 | 2018-09-04 | 视辰信息科技(上海)有限公司 | 一种终端的定位方法和装置 |
CN108682038A (zh) * | 2018-04-27 | 2018-10-19 | 腾讯科技(深圳)有限公司 | 位姿确定方法、装置及存储介质 |
CN108682036A (zh) * | 2018-04-27 | 2018-10-19 | 腾讯科技(深圳)有限公司 | 位姿确定方法、装置及存储介质 |
CN108717712A (zh) * | 2018-05-29 | 2018-10-30 | 东北大学 | 一种基于地平面假设的视觉惯导slam方法 |
CN108830944A (zh) * | 2018-07-12 | 2018-11-16 | 北京理工大学 | 光学透视式三维近眼显示系统及显示方法 |
CN108888341A (zh) * | 2018-04-26 | 2018-11-27 | 上海交通大学 | 一种增强现实头盔显示器位置实时跟踪的标定方法 |
CN109086726A (zh) * | 2018-08-10 | 2018-12-25 | 陈涛 | 一种基于ar智能眼镜的局部图像识别方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9264702B2 (en) * | 2013-08-19 | 2016-02-16 | Qualcomm Incorporated | Automatic calibration of scene camera for optical see-through head mounted display |
-
2019
- 2019-01-21 CN CN201910052299.8A patent/CN109801379B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101539804A (zh) * | 2009-03-11 | 2009-09-23 | 上海大学 | 基于增强虚拟现实与异型屏的实时人机互动方法及系统 |
CN106937531A (zh) * | 2014-06-14 | 2017-07-07 | 奇跃公司 | 用于产生虚拟和增强现实的方法和系统 |
CN104436634A (zh) * | 2014-11-19 | 2015-03-25 | 重庆邮电大学 | 一种采用沉浸式虚拟现实技术的真人射击游戏系统及实现方法 |
CN107111370A (zh) * | 2014-12-30 | 2017-08-29 | 微软技术许可有限责任公司 | 现实世界对象的虚拟表示 |
CN104808795A (zh) * | 2015-04-29 | 2015-07-29 | 王子川 | 一种增强现实眼镜的手势识别方法及增强现实眼镜系统 |
CN106127859A (zh) * | 2016-06-28 | 2016-11-16 | 华中师范大学 | 一种移动增强现实型涂鸦绘本的真实感生成方法 |
CN107016704A (zh) * | 2017-03-09 | 2017-08-04 | 杭州电子科技大学 | 一种基于增强现实的虚拟现实实现方法 |
CN108304075A (zh) * | 2018-02-11 | 2018-07-20 | 亮风台(上海)信息科技有限公司 | 一种在增强现实设备进行人机交互的方法与设备 |
CN108492316A (zh) * | 2018-02-13 | 2018-09-04 | 视辰信息科技(上海)有限公司 | 一种终端的定位方法和装置 |
CN108888341A (zh) * | 2018-04-26 | 2018-11-27 | 上海交通大学 | 一种增强现实头盔显示器位置实时跟踪的标定方法 |
CN108682038A (zh) * | 2018-04-27 | 2018-10-19 | 腾讯科技(深圳)有限公司 | 位姿确定方法、装置及存储介质 |
CN108682036A (zh) * | 2018-04-27 | 2018-10-19 | 腾讯科技(深圳)有限公司 | 位姿确定方法、装置及存储介质 |
CN108717712A (zh) * | 2018-05-29 | 2018-10-30 | 东北大学 | 一种基于地平面假设的视觉惯导slam方法 |
CN108830944A (zh) * | 2018-07-12 | 2018-11-16 | 北京理工大学 | 光学透视式三维近眼显示系统及显示方法 |
CN109086726A (zh) * | 2018-08-10 | 2018-12-25 | 陈涛 | 一种基于ar智能眼镜的局部图像识别方法及系统 |
Non-Patent Citations (4)
Title |
---|
一种基于增强现实的虚拟眼镜试戴的方法;刘成 等;《工业控制计算机》;20141231;第27卷(第12期);第66-68页 * |
一种采用纹理分布特征的标定方法;李娜 等;《计算机科学》;20151231;第42卷(第12期);第288-291页 * |
基于平面模板的摄像机标定方法;王军 等;《计算机工程与设计》;20090131;第30卷(第1期);第259-261页 * |
基于深度相机的空间增强现实动态投影标定;徐维鹏 等;《系统仿真学报》;20130930;第25卷(第9期);第2097-2003页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109801379A (zh) | 2019-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109801379B (zh) | 通用的增强现实眼镜及其标定方法 | |
Memo et al. | Head-mounted gesture controlled interface for human-computer interaction | |
Itoh et al. | Interaction-free calibration for optical see-through head-mounted displays based on 3d eye localization | |
EP3115873B1 (en) | Head-mounted display device and computer program | |
US9898082B1 (en) | Methods and apparatus for eye tracking | |
EP2966863B1 (en) | Hmd calibration with direct geometric modeling | |
CN107004275B (zh) | 确定实物至少一部分的3d重构件空间坐标的方法和系统 | |
Klein | Visual tracking for augmented reality | |
US10739936B2 (en) | Zero parallax drawing within a three dimensional display | |
US20140218281A1 (en) | Systems and methods for eye gaze determination | |
CN110782499B (zh) | 一种增强现实设备的标定方法、标定装置及终端设备 | |
US20160267720A1 (en) | Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience | |
EP3226208A1 (en) | Information processing device and computer program | |
WO2019152617A1 (en) | Calibration system and method to align a 3d virtual scene and 3d real world for a stereoscopic head-mounted display | |
Canessa et al. | Calibrated depth and color cameras for accurate 3D interaction in a stereoscopic augmented reality environment | |
US9706191B2 (en) | Head tracking eyewear system | |
Tomioka et al. | Approximated user-perspective rendering in tablet-based augmented reality | |
US20120162384A1 (en) | Three-Dimensional Collaboration | |
Shah et al. | Occlusion in augmented reality | |
CN112346572A (zh) | 一种虚实融合实现方法、系统和电子设备 | |
CN113366491B (zh) | 眼球追踪方法、装置及存储介质 | |
JP2014170374A (ja) | 光学式シースルー型hmdを用いたarシステム | |
EP2266016A2 (en) | Gesture based control using three-dimensional information extracted over an extended depth of field | |
CN105630152A (zh) | 处理视觉数据的设备和方法以及相关的计算机程序产品 | |
Mohr et al. | Adaptive user perspective rendering for handheld augmented reality |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |