CN113961068B - 一种基于增强现实头盔的近距离实物眼动交互方法 - Google Patents

一种基于增强现实头盔的近距离实物眼动交互方法 Download PDF

Info

Publication number
CN113961068B
CN113961068B CN202111154372.6A CN202111154372A CN113961068B CN 113961068 B CN113961068 B CN 113961068B CN 202111154372 A CN202111154372 A CN 202111154372A CN 113961068 B CN113961068 B CN 113961068B
Authority
CN
China
Prior art keywords
coordinate system
eye movement
color camera
augmented reality
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111154372.6A
Other languages
English (en)
Other versions
CN113961068A (zh
Inventor
陈靖
王剑
倪科
雷霆
杨露梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202111154372.6A priority Critical patent/CN113961068B/zh
Publication of CN113961068A publication Critical patent/CN113961068A/zh
Application granted granted Critical
Publication of CN113961068B publication Critical patent/CN113961068B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出一种基于增强现实头盔的近距离实物眼动交互方法，在线阶段通过SLAM算法实时获取用户在世界坐标系下的六自由度姿态信息，利用眼动追踪技术实时输出用户在彩色相机像素坐标系下的注视点坐标，再将两种信息与离线阶段标定的结果进行整合，计算出用户在待交互物体的实物坐标系下注视点坐标，并根据注视动作完成眼动交互。对比已有技术，能够解决目前已有的实物眼动交互技术中破坏实际物体表面完整性、眼动交互延迟高等问题，具有使近距离实际物体眼动交互更自然、实时性更高的效果。

Description

一种基于增强现实头盔的近距离实物眼动交互方法
技术领域
本发明属于增强现实技术领域，涉及一种基于增强现实头盔的近距离实物眼动交互方法。
背景技术
增强现实技术是在虚拟现实技术发展的基础上发展起来的新兴技术。与虚拟现实不同，增强现实技术只利用虚拟信息对真实景象进行增强，将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而增强用户对真实世界的感知能力。近年来，随着眼动技术的发展，人眼跟踪的精度也得到了显著提升，眼动交互逐步成为增强现实技术的重要交互手段之一。
目前，增强现实技术中的眼动交互对象主要局限于虚拟信息，通常做法是计算用户的注视射线，并根据注视射线与虚拟信息的碰撞检测以及碰撞时间完成交互，却无法与真实场景中存在的实际物体进行交互。为了实现与实际物体的眼动交互，目前已有的方法是对实际物体进行标记，即在物体表面贴上特殊图案，如二维码、棋盘格等，并用实时拍摄的图像提取特殊图案的特征点，根据图案的实际尺寸计算拍摄图像到实际物体表面的转换矩阵，通过转换矩阵将拍摄图像上的眼睛注视点坐标转换为实际物体表面的注视点坐标，最后根据实际物体表面上的注视点坐标完成后续交互。该方法的局限性在于需要对拍摄图像进行特征提取，因此计算量大、延迟较高、眼动输出频率较低，难以做到实时自然的眼动交互，且对实际物体进行标记会破坏物体表面的完整性，是一种侵入性的交互方式。
为解决与实际物体眼动交互的实时性问题，可采用SLAM(实时定位与地图构建)设备输出用户的六自由度姿态信息，通过眼动跟踪设备获取用户的注视点信息，并根据离线标定结果将注视点转换到待交互的实际物体上，即可进行后续眼动交互。由于SLAM技术无需对实际物体进行标记即可输出用户相对于待交互物体的六自由度姿态信息，保证了待交互物体的完整性，同时，目前主流的SLAM算法已达到毫秒级的速度及毫米级的误差，保证了计算结果的实时性与精确度。
发明内容
为了解决在增强现实技术中与近距离实际物体眼动交互困难的问题，本发明提出一种基于增强现实头盔的近距离实物眼动交互方法，能够更自然地实现用户与真实场景中实物间的眼动交互。
本发明通过以下技术方案实现。
一种基于增强现实头盔的近距离实物眼动交互方法，其特征在于，包括离线阶段和在线阶段，所述离线阶段具体包括：
步骤一、利用相机标定软件标定增强现实头盔集成的彩色相机参数，并根据所述彩色相机参数计算彩色相机的内参矩阵；
步骤二、利用联合标定工具对实时定位与地图构建SLAM模块的全局坐标系与彩色相机坐标系进行标定，获取所述全局坐标系到彩色相机坐标系的旋转矩阵和平移向量；
步骤三、利用SLAM模块对用户待交互的真实环境进行地图构建，并将世界坐标系设置为SLAM模块开始构建地图时所在位置的全局坐标系；
步骤四、以待交互物体表面为平面构建待交互物的实物坐标系，利用视觉方法标定待交互物体在世界坐标系下的六自由度位姿，以所述待交互物体的实物坐标系到所述世界坐标系的旋转矩阵和平移向量表示；
步骤五、利用增强现实头盔上的眼动追踪设备对当前的注视点进行校准，构建眼动追踪设备输出的用户归一化注视点坐标与彩色相机像素坐标系注视点坐标的映射关系；
所述在线阶段具体包括：
步骤1、用户佩戴增强现实头盔后，通过SLAM模块加载真实场景地图，并实时从该模块获取用户在世界坐标系下的六自由度位姿，表示为SLAM模块的全局坐标系到世界坐标系的旋转矩阵和平移向量；
步骤2、根据离线阶段建立的所述用户归一化注视点坐标与彩色相机像素坐标系注视点坐标的映射关系，实时获取眼动追踪设备输出的用户在彩色相机像素坐标系下的注视点坐标；
步骤3、计算实物坐标系下注视点坐标到彩色相机像素坐标系下注视点坐标的转换矩阵；
步骤4、根据所述转换矩阵计算待交互物体表面的注视点坐标，根据所述的待交互物体表面的注视点坐标完成用户定义的眼动交互动作。
本发明有益效果：
本发明在线阶段通过SLAM算法实时获取用户在世界坐标系下的六自由度姿态信息，利用眼动追踪技术实时输出用户在彩色相机像素坐标系下的注视点坐标，再将两种信息与离线阶段标定的结果进行整合，计算出用户在待交互物体的实物坐标系下注视点坐标，并根据注视动作完成眼动交互。对比已有技术，能够解决目前已有的实物眼动交互技术中破坏实际物体表面完整性、眼动交互延迟高等问题，具有使近距离实际物体眼动交互更自然、实时性更高的效果。
附图说明
图1为本发明实施方式的基于增强现实头盔的近距离实物眼动交互方法流程图；
图2为本发明实施例坐标系之间的转换关系图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，本具体实施方式的一种基于增强现实头盔的近距离实物眼动交互方法，具体包括离线阶段和在线阶段，所述离线阶段具体包括：
步骤一、利用相机标定软件标定增强现实头盔集成的彩色相机参数，并根据所述彩色相机参数计算彩色相机的内参矩阵；
本实施例中，所述彩色相机参数包括焦距fx、fy和主点u0、v0，根据公式(1)计算彩色相机的内参矩阵K；
Figure BDA0003288205290000041
步骤二、利用联合标定工具对SLAM模块的全局坐标系与彩色相机坐标系进行标定，获取所述全局坐标系(xs-ys-zs)到彩色相机坐标系(xc-yc-zc)的旋转矩阵和平移向量，记为
Figure BDA0003288205290000042
和
Figure BDA0003288205290000043
本实施例中，所述SLAM模块使用的是诠视科技的SLAM套件，包括IMU(惯性传感器)、双目鱼眼相机、彩色相机、TOF(飞行时间)深度相机以及数据处理模块，该设备采用视觉和IMU融合的SLAM算法，在进行跟踪定位时可以达到毫米级的误差，同时数据输出速率可达500Hz，能够满足实时性及准确性的要求。
步骤三、利用增强现实头盔上的SLAM模块对用户待交互的真实环境进行地图构建，并将世界坐标系xw-yw-zw设置为SLAM模块开始构建地图时所在位置的全局坐标系；
步骤四、以待交互物体表面为x-y平面构建待交互物的实物坐标系xm-ym-zm，利用视觉方法标定待交互物体在世界坐标系下的六自由度位姿，以所述待交互物体的实物坐标系xm-ym-zm到所述世界坐标系xw-yw-zw的旋转矩阵和平移向量表示，分别记为
Figure BDA0003288205290000051
和
Figure BDA0003288205290000052
步骤五、利用增强现实头盔上的眼动追踪设备对当前的注视点进行校准，构建眼动追踪设备输出的用户归一化注视点坐标与彩色相机像素坐标系注视点坐标的映射关系H。
本实施例中，所述眼动追踪设备使用的是七鑫易维的aSee眼动仪，可以保证数据输出速率达到120Hz，同时中心视场的误差在0.5°～1°之间，同样满足了实时性及准确性的要求。
所述在线阶段具体包括：
步骤1、用户佩戴增强现实头盔后，通过头盔上的SLAM模块加载离线阶段保存的真实场景地图，并实时从该模块获取用户在世界坐标系下的六自由度位姿，表示为SLAM模块的全局坐标系xs-ys-zs到世界坐标系xw-yw-zw的旋转矩阵
Figure BDA0003288205290000061
和平移向量
Figure BDA0003288205290000062
步骤2、根据离线阶段建立的所述用户归一化注视点坐标与彩色相机像素坐标系注视点坐标的映射关系H，实时获取眼动追踪设备输出的用户在彩色相机像素坐标系下的注视点坐标，记为(ue,ve)，单位为像素；
步骤3、计算实物坐标系下注视点坐标(xe,ye,ze)到彩色相机像素坐标系下注视点坐标(ue,ve)的转换矩阵T，并且T中的元素记为Tij，其中i为行号、j为列号，具体为：
Figure BDA0003288205290000063
步骤4、根据所述转换矩阵T计算待交互物体表面的注视点坐标(xe,ye)；根据所述的待交互物体表面的注视点坐标完成用户定义的眼动交互动作。
具体为：将实物坐标系下注视点坐标(xe,ye,ze)到彩色相机像素坐标系下注视点坐标(ue,ve)的转换公式，取ze＝0，化简下述公式(3)得到公式(4)，根据公式(4)计算待交互物体表面的注视点坐标(xe,ye)。
Figure BDA0003288205290000064
Figure BDA0003288205290000065
眼动追踪设备使用的是七鑫易维的aSee眼动仪，可以保证数据输出速率达到120Hz，同时中心视场的误差在0.5°～1°之间，同样满足了实时性及准确性的要求。待交互物体选择飞利浦显示屏，交互目标即为显示屏上显示的图标。
实施例1：
离线阶段：
步骤一、利用MATLAB的相机标定工具标定耐德佳增强现实头盔集成的彩色相机参数，包括焦距fx、fy和主点u0、v0，并根据公式(1)计算彩色相机的内参矩阵K。
Figure BDA0003288205290000071
步骤二、利用imu_utils对诠视科技的SLAM模块全局坐标系与彩色相机坐标系进行标定，获取SLAM模块的全局坐标系xs-ys-zs到彩色相机坐标系xc-yc-zc的旋转矩阵和平移向量，记为
Figure BDA0003288205290000072
和
Figure BDA0003288205290000073
步骤三、利用耐德佳增强现实头盔上集成的诠视科技的SLAM模块对用户待交互的真实环境进行地图构建，并将世界坐标系xw-yw-zw设置为SLAM模块开始构建地图时所在位置的全局坐标系，即以开始建图时IMU中心为原点，平行SLAM模块所在平面向右为x轴，重力方向为y轴，垂直SLAM模块所在平面向里为z轴的坐标系。
需要说明的是，基于视觉的SLAM算法是对双目相机拍摄到的图像提取特征点，并将图像中的特征点进行匹配进而计算得到六自由度姿态信息，因此增强现实头盔的使用环境应包含一定的纹理，即不能长时间将头盔对准空白墙壁，或遮挡双目相机。本实施例中，在对真实环境进行地图构建时，应保证双目相机在不同位置扫描整个真实环境，并保证至少扫描环境中同一点两次。
步骤四、以飞利浦显示屏表面为x-y平面构建待交互物的实物坐标系xm-ym-zm。进一步地，本实施例中的显示屏放置在空间中的某一固定位置，并显示10×7的棋盘格，每一格的边长均为20mm，以棋盘格左上角为原点，横轴方向为x轴，纵轴方向为y轴建立右手方向的实物坐标系m。
步骤五、利用张正友棋盘格标定法标定显示屏在世界坐标系下的六自由度位姿，以实物坐标系xm-ym-zm到世界坐标系xw-yw-zw的旋转矩阵和平移向量表示，分别记为
Figure BDA0003288205290000081
和
Figure BDA0003288205290000082
其具体步骤包括：
(1)将诠视科技SLAM模块集成的彩色相机对准棋盘格，拍摄包含完整棋盘格的图像，并记录此时SLAM模块输出的头盔到世界坐标系原点的六自由度姿态信息，记为此时SLAM模块的全局坐标系xw0-yw0-zw0到世界坐标系xw-yw-zw的旋转矩阵
Figure BDA0003288205290000083
和平移向量
Figure BDA0003288205290000084
进一步地，彩色相机图像与六自由度姿态信息应同时记录并保存，可以通过对比系统时间戳的方式同步保存图像与六自由度姿态信息。
(2)根据公式(2)计算得到彩色相机拍摄图像时的图像坐标系xc0-yc0-zc0到此时SLAM模块的全局坐标系xw0-yw0-zw0的旋转矩阵
Figure BDA0003288205290000085
和平移向量
Figure BDA0003288205290000086
Figure BDA0003288205290000087
(3)利用OpenCV中的角点提取算法计算步骤(1)中彩色相机拍摄图像的棋盘格角点的像素坐标，单位为pixel。进一步地，对于本实施例中棋盘格来说一共有54个角点。
(4)以棋盘格的左上角为原点，根据每一格的实际尺寸计算出棋盘格的角点在世界坐标系中的坐标，单位为毫米，并与步骤(2)中相同行列号角点的像素坐标一一对应，同时将对应的像素坐标与实际坐标保存为两个向量，分别记为pc0和pm。
(5)根据步骤(3)中棋盘格角点的坐标pc0和pm，利用OpenCV中的EPnP(EfficientPerspective-n-Point)算法求解出实物坐标系xm-ym-zm到彩色相机拍摄图像时的图像坐标系xc0-yc0-zc0的旋转矩阵和平移向量，记为
Figure BDA0003288205290000091
和
Figure BDA0003288205290000092
(6)根据公式(3)计算显示屏表面的实物坐标系xm-ym-zm到世界坐标系xw-yw-zw的旋转矩阵
Figure BDA0003288205290000093
和平移向量
Figure BDA0003288205290000094
Figure BDA0003288205290000095
步骤六、用户佩戴耐德佳增强现实头盔，利用头盔上集成的七鑫易维aSee眼动仪对用户的注视点进行校准，构建aSee眼动仪输出的用户归一化注视点坐标与彩色相机像素坐标系注视点坐标的映射关系H。
需要说明的是，本实施例中aSee眼动仪的校准环节使用五点校准法，校准面为增强现实头盔显示器中位于5m处的虚拟面，用户依次注视虚拟面上显示的五个点后，校准程序计算并保存归一化注视点坐标与虚拟面上注视点坐标的映射关系，并通过七鑫易维的转换程序将虚拟面上的注视点坐标转换到彩色相机的像素坐标系下，因此校准后输出的注视点即为彩色相机实时拍摄图像上的像素坐标，记为(ue,ve)。
在线阶段：
步骤一、用户佩戴耐德佳增强现实头盔，通过诠视科技的SLAM模块加载离线阶段保存的地图，并实时从该模块获取用户在世界坐标系下的六自由度姿态信息，表示为SLAM模块的全局坐标系xs-ys-zs到世界坐标系xw-yw-zw的旋转矩阵
Figure BDA0003288205290000096
和平移向量
Figure BDA0003288205290000097
步骤二、根据离线阶段建立的当前用户归一化注视点坐标与彩色相机像素坐标系注视点坐标的映射关系H，实时获取aSee眼动仪输出的用户在彩色相机像素坐标系下的注视点坐标，记为(ue,ve)，单位为pixel。
步骤三、根据公式(4)计算实物坐标系下注视点坐标(xe,ye,ze)到彩色相机像素坐标系下注视点坐标(ue,ve)的转换矩阵T，并且T中的元素记为Tij，其中i为行号、j为列号。
Figure BDA0003288205290000101
步骤四、计算飞利浦显示屏上的注视点坐标(xe,ye)，单位为mm。其具体步骤包括：
(1)实物坐标系与彩色相机的像素坐标系之间的转换可以用针孔相机模型表示，如公式(5)所示，其中s为尺度因子，K为相机内参矩阵，[R|t]为相机外参矩阵。
Figure BDA0003288205290000102
对于本实施例来说，
Figure BDA0003288205290000103
即为转换矩阵T的前三行，(ue,ve)为彩色相机像素坐标系的注视点坐标，(xe,ye,ze)为实物坐标系的注视点坐标，尺度因子s＝1，代入公式(5)可以得到公式(6)。
Figure BDA0003288205290000104
(2)由于本实施例眼动交互目标为飞利浦显示屏，因此取ze为0，即将交互目标设为显示屏的显示平面。将公式(6)中的ze取0，整理得到公式(7)，根据公式(7)计算得到显示屏上的注视点坐标(xe,ye)，单位为pixel。
Figure BDA0003288205290000105
步骤五、根据飞利浦显示屏上的注视点坐标，完成凝视、扫视等眼动交互动作。需要说明的是，步骤四中计算的注视点坐标单位为mm，需要根据显示屏的实际分辨率和像素尺寸将单位转换为pixel。交互目标即为显示屏上显示的图标，通过注视点与图标的碰撞检测判断是否注视图标，同时根据注视的时间完成凝视动作，根据注视点的轨迹完成扫视动作。
自此，就实现了基于增强现实头盔的近距离实物眼动交互。
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当然可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (5)

1.一种基于增强现实头盔的近距离实物眼动交互方法，其特征在于，包括离线阶段和在线阶段，所述离线阶段具体包括：
步骤一、利用相机标定软件标定增强现实头盔集成的彩色相机参数，并根据所述彩色相机参数计算彩色相机的内参矩阵K；
步骤二、利用联合标定工具对实时定位与地图构建SLAM模块的全局坐标系与彩色相机坐标系进行标定，获取所述全局坐标系到彩色相机坐标系的旋转矩阵和平移向量，记为
Figure FDA0003817146220000011
和
Figure FDA0003817146220000012
步骤三、利用SLAM模块对用户待交互的真实环境进行地图构建，并将世界坐标系设置为SLAM模块开始构建地图时所在位置的全局坐标系；
步骤四、以待交互物体表面为平面构建待交互物的实物坐标系，利用视觉方法标定待交互物体在世界坐标系下的六自由度位姿，以所述待交互物体的实物坐标系到所述世界坐标系的旋转矩阵和平移向量表示，分别记为
Figure FDA0003817146220000013
和
Figure FDA0003817146220000014
步骤五、利用增强现实头盔上的眼动追踪设备对当前的注视点进行校准，构建眼动追踪设备输出的用户归一化注视点坐标与彩色相机像素坐标系注视点坐标的映射关系；
所述在线阶段具体包括：
步骤1、用户佩戴增强现实头盔后，通过SLAM模块加载真实场景地图，并实时从该模块获取用户在世界坐标系下的六自由度位姿，表示为SLAM模块的全局坐标系到世界坐标系的旋转矩阵
Figure FDA0003817146220000015
和平移向量
Figure FDA0003817146220000016
步骤2、根据离线阶段建立的所述用户归一化注视点坐标与彩色相机像素坐标系注视点坐标的映射关系，实时获取眼动追踪设备输出的用户在彩色相机像素坐标系下的注视点坐标，记为(ue,ve)；
步骤3、计算实物坐标系下注视点坐标(xe,ye,ze)到彩色相机像素坐标系下注视点坐标(ue,ve)的转换矩阵T，并且T中的元素记为Tij，其中i为行号、j为列号，具体为：
Figure FDA0003817146220000021
步骤4、根据所述转换矩阵T计算待交互物体表面的注视点坐标：
Figure FDA0003817146220000022
其中，取ze＝0；
根据所述的待交互物体表面的注视点坐标完成用户定义的眼动交互动作。
2.如权利要求1所述的一种基于增强现实头盔的近距离实物眼动交互方法，其特征在于，所述彩色相机参数包括焦距fx、fy和主点u0、v0，根据公式(1)计算彩色相机的内参矩阵K；
Figure FDA0003817146220000023
3.如权利要求1或2所述的一种基于增强现实头盔的近距离实物眼动交互方法，其特征在于，所述眼动追踪设备使用的是aSee眼动仪。
4.如权利要求1或2所述的一种基于增强现实头盔的近距离实物眼动交互方法，其特征在于，所述SLAM模块包括IMU、双目鱼眼相机、彩色相机、TOF深度相机以及数据处理模块。
5.如权利要求1或2所述的一种基于增强现实头盔的近距离实物眼动交互方法，其特征在于，所述真实环境进行地图构建时双目相机在不同位置扫描整个真实环境，并保证至少扫描环境中同一点两次。
CN202111154372.6A 2021-09-29 2021-09-29 一种基于增强现实头盔的近距离实物眼动交互方法 Active CN113961068B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111154372.6A CN113961068B (zh) 2021-09-29 2021-09-29 一种基于增强现实头盔的近距离实物眼动交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111154372.6A CN113961068B (zh) 2021-09-29 2021-09-29 一种基于增强现实头盔的近距离实物眼动交互方法

Publications (2)

Publication Number Publication Date
CN113961068A CN113961068A (zh) 2022-01-21
CN113961068B true CN113961068B (zh) 2023-01-06

Family

ID=79463246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111154372.6A Active CN113961068B (zh) 2021-09-29 2021-09-29 一种基于增强现实头盔的近距离实物眼动交互方法

Country Status (1)

Country Link
CN (1) CN113961068B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351074A (zh) * 2023-08-31 2024-01-05 中国科学院软件研究所 基于头戴式眼动仪和深度相机的视点位置检测方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108170297A (zh) * 2017-09-11 2018-06-15 南京睿悦信息技术有限公司 实时六自由度vr/ar/mr设备定位方法
CN108446018A (zh) * 2018-02-12 2018-08-24 上海青研科技有限公司 一种基于双目视觉技术的增强现实眼动交互系统
CN109377560A (zh) * 2018-10-26 2019-02-22 北京理工大学 一种户外增强现实军事仿真训练的方法
CN109636916A (zh) * 2018-07-17 2019-04-16 北京理工大学 一种动态标定的大范围虚拟现实漫游系统及方法
CN110572632A (zh) * 2019-08-15 2019-12-13 中国人民解放军军事科学院国防科技创新研究院 一种基于视线跟踪的增强现实显示系统、头盔和方法
CN110853075A (zh) * 2019-11-05 2020-02-28 北京理工大学 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN112229323A (zh) * 2020-09-29 2021-01-15 华南农业大学 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9264702B2 (en) * 2013-08-19 2016-02-16 Qualcomm Incorporated Automatic calibration of scene camera for optical see-through head mounted display
US11819273B2 (en) * 2015-03-17 2023-11-21 Raytrx, Llc Augmented and extended reality glasses for use in surgery visualization and telesurgery

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108170297A (zh) * 2017-09-11 2018-06-15 南京睿悦信息技术有限公司 实时六自由度vr/ar/mr设备定位方法
CN108446018A (zh) * 2018-02-12 2018-08-24 上海青研科技有限公司 一种基于双目视觉技术的增强现实眼动交互系统
CN109636916A (zh) * 2018-07-17 2019-04-16 北京理工大学 一种动态标定的大范围虚拟现实漫游系统及方法
CN109377560A (zh) * 2018-10-26 2019-02-22 北京理工大学 一种户外增强现实军事仿真训练的方法
CN110572632A (zh) * 2019-08-15 2019-12-13 中国人民解放军军事科学院国防科技创新研究院 一种基于视线跟踪的增强现实显示系统、头盔和方法
CN110853075A (zh) * 2019-11-05 2020-02-28 北京理工大学 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN112229323A (zh) * 2020-09-29 2021-01-15 华南农业大学 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《基于SLAM的增强现实展示系统的设计与实现》;李笑寒;《中国优秀硕士学位论文全文数据库 信息科技辑》;20210514;全文 *

Also Published As

Publication number Publication date
CN113961068A (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
CN110335292B (zh) 一种基于图片跟踪实现模拟场景跟踪的方法、系统及终端
CN107564089B (zh) 三维图像处理方法、装置、存储介质和计算机设备
EP3422955B1 (en) System and method for assisted 3d scanning
CN106503671B (zh) 确定人脸姿态的方法和装置
CN102959616B (zh) 自然交互的交互真实性增强
CN109801379B (zh) 通用的增强现实眼镜及其标定方法
KR20160121798A (ko) 직접적인 기하학적 모델링이 행해지는 hmd 보정
CN108830894A (zh) 基于增强现实的远程指导方法、装置、终端和存储介质
US11417069B1 (en) Object and camera localization system and localization method for mapping of the real world
US20130285903A1 (en) Virtual desktop coordinate transformation
CN113366491B (zh) 眼球追踪方法、装置及存储介质
CN110648274B (zh) 鱼眼图像的生成方法及装置
EP4105766A1 (en) Image display method and apparatus, and computer device and storage medium
CN113034652A (zh) 虚拟形象驱动方法、装置、设备及存储介质
CN109920000B (zh) 一种基于多相机协同的无死角的增强现实方法
JP2024054137A (ja) 画像表示システム
Oskiper et al. Augmented reality binoculars
CN107145822B (zh) 偏离深度相机的用户体感交互标定的方法和系统
CN114004883B (zh) 一种冰壶球的视觉感知方法、装置、计算机设备和存储介质
CN114332429A (zh) 增强现实ar场景的展示方法及装置
KR20190011492A (ko) 콘텐츠를 제공하기 위한 디바이스 및 그의 작동 방법
CN107016730A (zh) 一种虚拟现实与真实场景融合的装置
CN113961068B (zh) 一种基于增强现实头盔的近距离实物眼动交互方法
CN114882106A (zh) 位姿确定方法和装置、设备、介质
CN111768476A (zh) 一种基于网格变形的表情动画重定向方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant