CN109471533B - 一种vr/ar教室内的学生端系统及其使用方法 - Google Patents

一种vr/ar教室内的学生端系统及其使用方法 Download PDF

Info

Publication number
CN109471533B
CN109471533B CN201811331040.9A CN201811331040A CN109471533B CN 109471533 B CN109471533 B CN 109471533B CN 201811331040 A CN201811331040 A CN 201811331040A CN 109471533 B CN109471533 B CN 109471533B
Authority
CN
China
Prior art keywords
mouse
classroom
virtual
keyboard
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811331040.9A
Other languages
English (en)
Other versions
CN109471533A (zh
Inventor
蔡铁峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Polytechnic
Original Assignee
Shenzhen Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Polytechnic filed Critical Shenzhen Polytechnic
Priority to CN201811331040.9A priority Critical patent/CN109471533B/zh
Publication of CN109471533A publication Critical patent/CN109471533A/zh
Application granted granted Critical
Publication of CN109471533B publication Critical patent/CN109471533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种VR/AR教室内的学生端系统及其使用方法，还涉及一种鼠标的计算机视觉定位方法、一种头盔对键盘的虚拟透明方法，本发明是配套具备定位系统的VR/AR教室使用，其具备如下的有益效果：（1）通过建立学生端系统与VR/AR教室的映射关系，使学生可以通过与虚拟的VR/AR教学内容进行全方位的接触、互动，并且建立个性化的VR/AR效果，从而提高教学效果。（2）通过使用真实教室小画面、二维显示界面和浮虚拟控制器，便利学生与VR/AR教室的互动体验。（3）鼠标通过摄像头视觉测量定位，实现了对没有附带定位装置的位姿不固定物体精准定位。（4）头盔对键盘的虚拟透明，提高了操作的灵活性、准确性。

Description

一种VR/AR教室内的学生端系统及其使用方法
技术领域
本发明属于虚拟现实技术领域，尤其是一种VR/AR教室内的学生端系统，本发明是配套具备定位系统的VR/AR教室使用。
背景技术
运用VR和AR技术可构建用于教学的VR/AR教室，课程知识用VR/AR的形式呈现出来，可以有效提升教学效果。其中采用“VR/AR”这种提法是指教室将兼容VR与AR两种模式。
学生作为VR/AR教室的主要参与者，本发明拟给出一种VR/AR教室内的学生端系统，配套具备定位系统的VR/AR教室使用。
发明内容
本发明提供一种VR/AR教室内的学生端系统及其使用方法，配套具备定位系统的VR/AR教室使用，从而提高提升教学效果。
本发明的技术方案如下：
一种VR/AR教室内的学生端系统，配套具备定位系统的VR/AR教室使用，定位系统主要用来定位VR/AR头盔或眼镜，也可以定位手柄等其它物体。所述VR/AR教室基于真实教室的基础构建，所述学生端系统的硬件设在真实教室内，所述学生端系统的硬件包括桌椅、数据处理与图像渲染器、显示设备、输入设备和学生，所述显示设备附带有摄像头与手势识别传感器，所述硬件可以通过预先测量、定位系统、摄像头、手势识别传感器中的至少一种方法进行定位；所述VR/AR教室内设有虚拟内容：包括与所述学生端系统的硬件一一对应的虚拟物体，还包括虚拟教学内容、一个二维显示界面、一个真实教室小画面和一个悬浮虚拟控制器；二维显示界面用来显示二维内容，以及作为二维的操作界面；真实教室小画面用来实时显示真实教室内真实世界情况；学生通过手势识别传感器可以直接用手对悬浮虚拟控制器操作，对VR/AR教室内的虚拟内容完成一些命令。
作为本发明的进一步改进，所述数据处理与图像渲染器包括电脑主机，所述显示设备包括VR或者AR的头盔/眼镜，头盔/眼镜上附带有摄像头与手势识别传感器，所述输入设备包括键盘、手柄、鼠标中的至少一种；当头盔/眼镜是一体机时，数据处理与图像渲染器已经集成在头盔/眼镜内，不需要再额外配。
作为本发明的进一步改进，头盔/眼镜和手柄通过定位系统定位，鼠标由摄像头视觉测量定位，人手由手势传感器定位。
作为本发明的进一步改进，所述鼠标的摄像头视觉测量定位的方法为：S0，限定鼠标只有在课桌的桌面特定区域时才需要定位，当鼠标不在特定区域时可根据真实教室小画面把鼠标拿到这个特定的区域；S1，摄像头采集鼠标与桌面的成像，计算出鼠标活动区域的对应图像区域；S2，根据成像特征，从桌面图像中分割出鼠标图像；S3，由鼠标图像的中心点估计鼠标在桌面的位置；S4，依据鼠标位置估计值，寻优得到鼠标的方向估计值；S5，依据鼠标方向估计值，寻优得到鼠标更精确的位置估计值；S6，当寻优结果不够满足精度要求时，需要多次循环S4与S5。
作为本发明的进一步改进，在键盘输入时，VR头盔对键盘进行虚拟透明，从而使学生能精确按压到键盘区。
作为本发明的进一步改进，所述VR头盔对键盘虚拟透明的方法为：A1，测量出键盘按键在世界坐标系中的位置，由世界坐标系到摄像头坐标系的变换关系可以求解出键盘在摄像头坐标系中的位置，进一步由摄像头成像公式可以计算出键盘上各点对应的图像像素；A2，把人眼视为一个虚拟摄像头，建虚拟摄像头的坐标系Γe。令在世界坐标系Γw中的任意坐标(xw,yw,zw)，其在虚拟摄像头坐标系Γe的坐标值为(xe,ye,ze)，则：
Figure BDA0001859998250000021
其中Re,w与Te,w是常量矩阵，值可以预先测量得到，由此可以计算得到键盘上点在虚拟摄像头坐标系的位置；A3，由人眼与头盔显示屏的虚拟成像公式可以计算出此点在屏幕上的显示位置，由此确定屏幕上像素颜色值与摄像头采集图像颜色值对应起来，从而做到虚拟透明。
一种VR/AR教室内的学生端系统的使用方法，包括以下步骤：学生戴VR/AR头盔进入VR/AR教室，根据个人或课程需要，学生可以选择虚拟内容中的部分内容不显示，反过来也可以通过显示内容的设置把已经隐藏的内容重新显示出来。
作为本发明的进一步改进，需要显示二维内容或进行二维操作时，就需要把二维显示界面设置为显示，二维显示界面可以是半透明的，二维显示内容可以与VR/AR教室内教学内容之间有某种较为直接的映射关系，其中鼠标与键盘是主要的二维操作设备。
作为本发明的进一步改进，使用键盘时，可以选择开启头盔对键盘的虚拟透明功能。
作为本发明的进一步改进，当虚拟教学内容离学生近的时候可以用手直接互动，远的时候可以采用手柄、鼠标与键盘等进行互动；学生可以使用手把虚拟二维显示界面、悬浮虚拟控制器以及真实教室小画面等直接用手放置在学生想要放的位置，也可以把它们固定在人的视野里某个位置。
与现有技术相比，本发明的有益效果是：
(1)通过建立学生端系统与VR/AR教室的映射关系，使学生可以通过与虚拟的VR/AR教学内容进行全方位的接触、互动，并且建立个性化的VR/AR效果，从而提高教学效果。
(2)通过使用真实教室小画面、二维显示界面和浮虚拟控制器，便利学生与VR/AR教室的互动体验。
(3)鼠标通过摄像头视觉测量定位，实现了对没有附带定位装置(比如标识器/marker标识点)的位姿不固定物体精准定位。。
(4)头盔对键盘的虚拟透明，可以避免在键盘输入时手指按压不到想要的按键，提高了学生在学生端系统对VR/AR教室内虚拟内容进行操作的灵活性、准确性。
附图说明
图1是一种VR/AR教室内的学生端系统的硬件组成示意图。
图2是一种学生端在VR/AR教室内所看到的VR/AR效果图。
图3是鼠标通过摄像头视觉测量定位的方法流程图。
标记说明：1-桌椅，2-学生，3-台式电脑主机，4-头盔/眼镜，5-键盘，6-手柄，7-鼠标，8-定位系统，9-虚拟教学内容，10-二维显示界面，11-真实教室小画面，12-悬浮虚拟控制器。
具体实施方式
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面结合附图及具体实施例对本发明进一步说明。
实施例1
本实施例提供一种VR/AR教室学生端系统，包括硬件组成和VR/AR效果。
如图1所示，本发明给出的VR/AR教室学生端系统硬件主要由桌椅1、数据处理与图像渲染器、显示设备、输入设备，以及学生2组成。其中：数据处理与图像渲染器可以是台式电脑主机3，显示设备可以是VR或者AR头盔/眼镜4，头盔/眼镜4上附带有摄像头与手势识别传感器，输入设备可以选用键盘5、手柄6、鼠标7等。当头盔/眼镜4是一体机时，数据处理与图像渲染器已经集成在头盔/眼镜4内，不需要再额外配。
为了在真实教室基础上构件VR/AR教室，需要对真实教室内设备和人进行定位。教室内固定的设备直接预先测量定位，头盔和手柄通过定位系统8定位，鼠标由摄像头视觉测量定位，人手由手势传感器定位。为了减少计算量，教室内刚性物体尽可能多的固定下来。除此之外，教室内的刚性物体都可以预先精确建模。当构件VR/AR教室时，学生端系统的硬件都应有相应的虚拟物体对应，而且要求在人眼看来，真实的硬件与虚拟物体大小、形状、相对于人的位姿都一样。
在此基础上，VR/AR教室内学生端系统的VR/AR效果如图2所示，有虚拟的人物对应学生使用者，学生能看到的虚拟内容主要有：手、除头盔之外学生端系统配备的硬件(桌椅1、键盘5、手柄6等)以及代表教学内容的虚拟教学内容9，除此之外还有一个二维显示界面10、一个真实教室小画面11、一个悬浮虚拟控制器12。二维显示界面10具备电脑显示屏的功能，用来显示二维文字、图片、视频等，以及作为二维的操作界面；真实教室小画面11用来实时显示教室内真实世界情况；学生通过手势识别可以直接用手对悬浮虚拟控制器12操作，完成一些简单但关键的命令。为了使用键盘方便，还需要VR头盔对键盘具备一定的AR虚拟透明功能，使学生在使用键盘时，能直接看到真实的学生使用真实过程。
实施例2
本实施例提供一种VR/AR教室的学生端系统的使用方法。
方法如下：学生戴VR/AR头盔进入VR/AR教室，根据个人或课程需要，学生可以选择VR/AR效果中的部分内容不显示，比如不显示真实教室小画面，学生用手操作悬浮虚拟控制器进行显示内容的设置，也可以使用其它互动手段进行设置，反过来也可以通过显示内容的设置把已经隐藏的内容重新显示出来。
需要显示二维内容(图像、文字、视频)或进行二维操作时，就需要把二维显示界面设置为显示，二维显示界面可以是半透明的，甚至二维显示内容可以与VR/AR教室内教学内容之间有某种较为直接的映射关系，其中鼠标与键盘是主要的二维操作设备。
在使用键盘时，即使定位系统高精度，由于头盔/眼镜参数与人眼瞳距没有充分匹配等原因，在VR/AR教室内人眼看到的虚拟键盘与人手和真实之间会存在位姿上的差异，所以使用键盘时，可以选择开启头盔对键盘的虚拟透明功能。在VR/AR教室内，尽量开启真实教室小画面，学生要充分留意真实教室情况。
当虚拟教学内容离学生近的时候可以用手直接互动，远的时候可以采用手柄、鼠标与键盘等进行互动。学生可以使用手或其它输入设备把二维显示界面、悬浮虚拟控制器以及真实教室小画面等放置在学生想要放的位置，也可以把它们固定在人的视野里某个位置。
实施例3
教室内刚性物体大多数都可以固定位姿或用定位系统直接定位，但部分物体位姿无法固定且不太合适用定位系统直接定位(例如鼠标)，本实施例将给出一种鼠标的计算机视觉定位方法(图3)。除此之外实施例4也将也给出头盔对键盘的一种虚拟透明方法。
为了降低定位的复杂程度与计算量，限定鼠标只有在课桌的桌面特定区域时才需要定位，当鼠标不在特定区域时可根据真实教室小画面把鼠标拿到这个特定的区域。头盔上摄像头采集图像，由于课桌是固定的，定位系统能高精度对头盔进行定位，所以可以直接计算出鼠标活动区域在图像上的区间，鼠标与桌面成像特征区隔明显，可以很简便的把鼠标图像分割出来，根据鼠标三维模型和鼠标图像寻优得到鼠标的位姿，完成定位。其中，由于鼠标是在限定在桌面特定区域，所以鼠标的位姿参数只有三个是未知的，在桌面上的位置(x,y)以及旋转量θ。
如图3所示，定位方法主要由以下几个步骤组成：
S0，限定鼠标只有在课桌的桌面特定区域时才需要定位，当鼠标不在特定区域时可根据真实教室小画面把鼠标拿到这个特定的区域；
S1，计算出鼠标活动区域的对应图像区域。
S2，根据成像特征，从桌面图像中分割出鼠标图像。
S3，由鼠标图像的中心点估计鼠标在桌面的位置。
S4，依据鼠标位置估计值，寻优得到鼠标的方向估计值。
S5，依据鼠标方向估计值，寻优得到鼠标更精确的位置估计值。
S6，当寻优结果不够满足精度要求时，需要多次循环S4与S5。下面将详细介绍各步骤的计算过程。
1)计算出鼠标活动区域的对应图像区域
以现实教室内某个位置(比如教室中心)建立世界坐标系Γw，构建定位系统坐标系Γp，Γp与Γw变换关系固定不变，变换关系可以预先精确测量得到，令在世界坐标系Γw有任意坐标值(xw,yw,zw)，此坐标在定位系统坐标Γp中的对应坐标为(xp,yp,zp)，则
Figure BDA0001859998250000061
其中Rw,p是3×3的旋转矩阵，Tw,p是3×1的平移矩阵，两矩阵都是常量矩阵。构建头盔坐标系Γh，Γh与Γp坐标变换关系可以由定位系统定位头盔/眼镜计算得到，令在定位系统坐标系Γp中任意坐标值(xp,yp,zp)在Γh中对应坐标值为(xh,yh,zh)，则：
Figure BDA0001859998250000062
其中Rp,h与Tp,h的值需要根据定位系统对头盔的定位数据实时的计算出来。构建摄像头坐标系Γc，摄像头是固定在头盔上的，所以Γc与Γh的变换关系是可以预先精确测量得到。令在Γh中的任意坐标(xh,yh,zh)，其在摄像头坐标系Γc的坐标值为(xc,yc,zc)，则：
Figure BDA0001859998250000071
其中Rh,c与Th,c是常量矩阵，值可以预先精确测量得到。由于课桌固定，所以鼠标在桌面活动区域任意点都可以由上面的坐标变换关系计算出其在相机中的坐标位置，进一步由相机成像公式计算出在图像中对应的像素。
2)根据成像特征，从桌面图像中分割出鼠标图像。
在前面得到的鼠标活动区域图像中，只有桌面与鼠标(当人在使用鼠标时，鼠标位姿可以由手的位姿推测出来)，所以鼠标与桌面的分割可以根据亮度、纹理等特征很容易的分割出来，比如常见的鼠标时黑色的，亮度值很低的像素就属于鼠标。挑出其中面积最大的连续区域且像素数超过一定阈值的区域作为鼠标图像区域。如果没有这类区域就可以认为鼠标活动区域没有鼠标。
3)由鼠标图像的中心点估计鼠标在桌面的位置。
统计分割出的鼠标图像各像素坐标值的平均值
Figure BDA0001859998250000072
由此图像坐标，根据摄像头成像公式以及坐标系之间的转换关系，可以求出此像素对应的桌面点在世界坐标系的坐标值
Figure BDA0001859998250000073
把此值作为鼠标位置的估计值。
4)依据鼠标位置估计值，寻优得到鼠标的方向估计值。
对鼠标方位角θ，摄像头光轴与桌面法线夹角ρ离散采样，计算出这些角度值下鼠标的成像，舍弃纹理信息，只保留轮廓信息就可以，由此形成查找表，为了减少计算量，可以对图像下采样，至于下采样的程度由是否会丢失图像主要的识别特征来决定。根据鼠标位置的估计值，计算出摄像头光轴与桌面法线夹角ρ，遍历鼠标方位角θ各离散值，由此比较鼠标图像与查找表中的鼠标图像，匹配度最高θ值就是鼠标方向的估计值。
5)依据鼠标方向估计值，寻优得到鼠标更精确的位置估计值。
同上，根据鼠标方位角估计值，从查找表里找出最匹配的ρ的值，进一步计算出鼠标的位置。
实施例4
本实施例给出一种头盔对键盘的虚拟透明方法。
在键盘输入时，为了避免手指按压不到想要的按键，键盘区就需要真实画面虚拟透明。
键盘是固定的，键盘按键所在平面在世界坐标系中位置可精确测量得到，摄像头是固定在头盔上，头盔由定位系统可获得位姿，所以摄像头的位姿同样可实时精确计算得到，从而可以实时得到世界坐标系到摄像头坐标系的变换关系，由此变换关系可以求解出键盘在摄像头坐标系中的位置，进一步由摄像头成像公式可以计算出键盘上任意点对应的图像像素，把人眼视为一个虚拟摄像头，建虚拟摄像头的坐标系Γe。在佩戴头盔时，人眼与头盔的位姿关系是确定的，所以人眼坐标系Γe与世界坐标系Γw变换关系也可以实时获得。令在Γw中的任意坐标(xw,yw,zw)，其在虚拟摄像头坐标系Γe的坐标值为(xe,ye,ze)，则：
Figure BDA0001859998250000081
其中Re,w与Te,w是常量矩阵，值可以预先测量得到。由此可以计算得到键盘上点在虚拟摄像头坐标系的位置，由人眼与头盔显示屏的成像关系可以计算出此点在屏幕上的显示位置，由此确定屏幕上像素颜色值与摄像头采集图像颜色值对应起来，从而做到虚拟透明。
至此，具体实施例共给出一种VR/AR教室内的学生端系统，包含系统的硬件构成、VR/AR效果，以及一种VR/AR教室内的学生端系统使用方法，还涉及一种鼠标的计算机视觉定位方法、一种头盔对键盘的虚拟透明方法，本发明是配套具备定位系统的VR/AR教室使用，其具备如下的有益效果：
(1)通过建立学生端系统与VR/AR教室的映射关系，使学生可以通过与虚拟的VR/AR教学内容进行全方位的接触、互动，并且建立个性化的VR/AR效果，从而提高教学效果。
(2)通过使用真实教室小画面、二维显示界面和浮虚拟控制器，增强学生与VR/AR教室的互动体验真实感。
(3)鼠标通过摄像头视觉测量定位，提高了对位姿无法固定物体的定位精度。
(4)头盔对键盘的虚拟透明，可以避免在键盘输入时手指按压不到想要的按键，提高了学生在学生端系统对VR/AR教室内虚拟内容进行操作的灵活性、准确性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种VR/AR教室内的学生端系统，配套具备定位系统的VR/AR教室使用，其特征在于，所述VR/AR教室基于真实教室的基础构建，所述学生端系统的硬件设在真实教室内，所述学生端系统的硬件包括桌椅、数据处理与图像渲染器、显示设备、输入设备和学生，所述显示设备附带有摄像头与手势识别传感器，所述硬件可以通过预先测量、定位系统、摄像头、手势识别传感器中的至少一种方法进行定位；所述VR/AR教室内设有虚拟内容：包括与所述学生端系统的硬件一一对应的虚拟物体，还包括虚拟教学内容、一个二维显示界面、一个真实教室小画面和一个悬浮虚拟控制器；二维显示界面用来显示二维内容，以及作为二维的操作界面；真实教室小画面用来实时显示真实教室内真实世界情况；学生通过手势识别传感器可以直接用手对悬浮虚拟控制器操作，对VR/AR教室内的虚拟内容完成一些命令；
所述数据处理与图像渲染器包括电脑主机，所述显示设备包括VR或者AR的头盔/眼镜，头盔/眼镜上附带有摄像头与手势识别传感器，所述输入设备包括键盘、手柄、鼠标中的至少一种；当头盔/眼镜是一体机时，数据处理与图像渲染器已经集成在头盔/眼镜内，不需要再额外配；
所述鼠标的摄像头视觉测量定位的方法为：
S0，限定鼠标只有在课桌的桌面特定区域时才需要定位，当鼠标不在特定区域时可根据真实教室小画面把鼠标拿到这个特定的区域；
S1，摄像头采集鼠标与桌面的成像，计算出鼠标活动区域的对应图像区域；S2，根据成像特征，从桌面图像中分割出鼠标图像；
S3，由鼠标图像的中心点估计鼠标在桌面的位置；
S4，依据鼠标位置估计值，寻优得到鼠标的方向估计值；
S5，依据鼠标方向估计值，寻优得到鼠标更精确的位置估计值；
S6，当寻优结果不够满足精度要求时，需要多次循环S4与S5。
2.根据权利要求1所述的VR/AR教室内的学生端系统，其特征在于，头盔和手柄通过定位系统定位，鼠标由摄像头视觉测量定位，人手由手势传感器定位。
3.根据权利要求2所述的VR/AR教室内的学生端系统，其特征在于，在键盘输入时，VR头盔对键盘进行虚拟透明，从而使学生能精确按压到键盘区。
4.根据权利要求3所述的VR/AR教室内的学生端系统，其特征在于，所述VR头盔对键盘虚拟透明的方法为：
A1，测量出键盘按键在世界坐标系中的位置，由世界坐标系到摄像头坐标系的变换关系可以求解出键盘在摄像头坐标系中的位置，进一步由摄像头成像公式可以计算出键盘上各点对应的图像像素；
A2，把人眼视为一个虚拟摄像头，建虚拟摄像头的坐标系Γe令在世界坐标系Γw中的任意坐标(xw,yw,zw)，其在虚拟摄像头坐标系Γe的坐标值为(xe,ye,ze)，则：
Figure FDA0003170530700000021
其中Re,w与Te,w是常量矩阵，值可以预先测量得到，由此可以计算得到键盘上点在虚拟摄像头坐标系的位置；
A3，由人眼与头盔显示屏的成像关系可以计算出此点在屏幕上的显示位置，由此确定屏幕上像素颜色值与摄像头采集图像颜色值对应起来，从而做到虚拟透明。
5.一种如权利要求4所述的VR/AR教室内的学生端系统的使用方法，其特征在于，包括以下步骤：学生戴VR/AR头盔进入VR/AR教室，根据个人或课程需要，学生可以选择虚拟内容中的部分内容不显示，反过来也可以通过显示内容的设置把已经隐藏的内容重新显示出来。
6.一种如权利要求5所述的VR/AR教室内的学生端系统的使用方法，其特征在于，需要显示二维内容或进行二维操作时，就需要把二维显示界面设置为显示，二维显示界面可以是半透明的，二维显示内容可以与VR/AR教室内教学内容之间有某种较为直接的映射关系，其中鼠标与键盘是主要的二维操作设备。
7.一种如权利要求5所述的VR/AR教室内的学生端系统的使用方法，其特征在于，使用键盘时，可以选择开启头盔对键盘的虚拟透明功能。
8.一种如权利要求5所述的VR/AR教室内的学生端系统的使用方法，其特征在于，当虚拟教学内容离学生近的时候可以用手直接互动，远的时候可以采用手柄、鼠标与键盘等进行互动；学生可以使用手把虚拟二维显示界面、悬浮虚拟控制器以及真实教室小画面等直接用手放置在学生想要放的位置，也可以把它们固定在人的视野里某个位置。
CN201811331040.9A 2018-11-09 2018-11-09 一种vr/ar教室内的学生端系统及其使用方法 Active CN109471533B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811331040.9A CN109471533B (zh) 2018-11-09 2018-11-09 一种vr/ar教室内的学生端系统及其使用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811331040.9A CN109471533B (zh) 2018-11-09 2018-11-09 一种vr/ar教室内的学生端系统及其使用方法

Publications (2)

Publication Number Publication Date
CN109471533A CN109471533A (zh) 2019-03-15
CN109471533B true CN109471533B (zh) 2021-09-07

Family

ID=65672098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811331040.9A Active CN109471533B (zh) 2018-11-09 2018-11-09 一种vr/ar教室内的学生端系统及其使用方法

Country Status (1)

Country Link
CN (1) CN109471533B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178127B (zh) * 2019-11-20 2024-02-20 青岛小鸟看看科技有限公司 显示目标物体的图像的方法、装置、设备及存储介质
CN110853415B (zh) * 2019-11-22 2021-09-17 焦作大学 一种基于虚拟现实技术的数字式教学系统
CN111913576A (zh) * 2020-07-23 2020-11-10 河源职业技术学院 一种vr教育培训系统及其运行方法
CN112904565A (zh) * 2021-02-26 2021-06-04 江西格灵如科科技有限公司 一种教室内vr定位方法、装置和系统
CN114170407B (zh) * 2022-02-15 2022-05-10 北京所思信息科技有限责任公司 输入设备的模型映射方法、装置、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101644989A (zh) * 2009-09-08 2010-02-10 南京师范大学 基于数字头盔的通用三维虚拟场景实时交互方法
CN104537705A (zh) * 2015-01-23 2015-04-22 济宁医学院 基于增强现实的移动平台三维生物分子展示系统和方法
US9345957B2 (en) * 2011-09-30 2016-05-24 Microsoft Technology Licensing, Llc Enhancing a sport using an augmented reality display
CN106200960A (zh) * 2016-07-07 2016-12-07 深圳市大熊动漫文化有限公司 电子互动产品的内容显示方法及装置
CN106873767A (zh) * 2016-12-30 2017-06-20 深圳超多维科技有限公司 一种虚拟现实应用的运行控制方法和装置
CN108389249A (zh) * 2018-03-06 2018-08-10 深圳职业技术学院 一种多兼容性的vr/ar空间教室及其构建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101644989A (zh) * 2009-09-08 2010-02-10 南京师范大学 基于数字头盔的通用三维虚拟场景实时交互方法
US9345957B2 (en) * 2011-09-30 2016-05-24 Microsoft Technology Licensing, Llc Enhancing a sport using an augmented reality display
CN104537705A (zh) * 2015-01-23 2015-04-22 济宁医学院 基于增强现实的移动平台三维生物分子展示系统和方法
CN106200960A (zh) * 2016-07-07 2016-12-07 深圳市大熊动漫文化有限公司 电子互动产品的内容显示方法及装置
CN106873767A (zh) * 2016-12-30 2017-06-20 深圳超多维科技有限公司 一种虚拟现实应用的运行控制方法和装置
CN108389249A (zh) * 2018-03-06 2018-08-10 深圳职业技术学院 一种多兼容性的vr/ar空间教室及其构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AR增强现实技术的全面解读;邓佳佳;《电子发烧友网》;20180320;正文 *

Also Published As

Publication number Publication date
CN109471533A (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
CN109471533B (zh) 一种vr/ar教室内的学生端系统及其使用方法
Tomioka et al. Approximated user-perspective rendering in tablet-based augmented reality
CN110363867B (zh) 虚拟装扮系统、方法、设备及介质
CN116724285A (zh) 用于控制虚拟和图形元素的微手势
JP5728009B2 (ja) 指示入力装置、指示入力方法、プログラム、記録媒体および集積回路
US10319104B2 (en) Method and system for determining datum plane
CN107688391A (zh) 一种基于单目视觉的手势识别方法和装置
CN102868811B (zh) 一种基于实时视频处理的手机屏幕操控方法
TW202009786A (zh) 可由頭部操控的電子裝置與其操作方法
CN104364733A (zh) 注视位置检测装置、注视位置检测方法和注视位置检测程序
Cristina et al. Model-based head pose-free gaze estimation for assistive communication
JP2011217764A (ja) 補正値算出装置、補正値算出方法および補正値算出プログラム
CN108428375A (zh) 一种基于增强现实的教学辅助方法及设备
CN110865704A (zh) 一种用于360°悬浮光场三维显示系统的手势交互装置和方法
CN109615601A (zh) 一种融合彩色与灰阶深度图像的方法
CN105354812B (zh) 基于多Kinect协同的深度阈值分割算法识别轮廓交互方法
CN109613982A (zh) 头戴式ar显示设备的显示交互方法
CN112657176A (zh) 一种结合人像行为信息的双目投影人机交互方法
Moeslund et al. A natural interface to a virtual environment through computer vision-estimated pointing gestures
US20190369807A1 (en) Information processing device, information processing method, and program
Battisti et al. Seamless bare-hand interaction in mixed reality
CN110750157A (zh) 基于3d眼球模型的眼控辅助输入装置及方法
TWI745955B (zh) 擴增實境系統與其錨定顯示方法
CN110288714A (zh) 一种虚拟仿真实验系统
KR102152296B1 (ko) 블러시 가이드 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant