CN110233841A - 一种基于ar全息眼镜的远程教育数据交互系统及方法 - Google Patents

一种基于ar全息眼镜的远程教育数据交互系统及方法 Download PDF

Info

Publication number
CN110233841A
CN110233841A CN201910501495.9A CN201910501495A CN110233841A CN 110233841 A CN110233841 A CN 110233841A CN 201910501495 A CN201910501495 A CN 201910501495A CN 110233841 A CN110233841 A CN 110233841A
Authority
CN
China
Prior art keywords
long
student
distance
holographic glasses
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910501495.9A
Other languages
English (en)
Other versions
CN110233841B (zh
Inventor
方迪恺
卞敏捷
沈敏
高洪皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Wenjing Information Technology Co Ltd
Original Assignee
Shanghai Wenjing Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Wenjing Information Technology Co Ltd filed Critical Shanghai Wenjing Information Technology Co Ltd
Priority to CN201910501495.9A priority Critical patent/CN110233841B/zh
Publication of CN110233841A publication Critical patent/CN110233841A/zh
Application granted granted Critical
Publication of CN110233841B publication Critical patent/CN110233841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于AR全息眼镜的远程教育数据交互系统及方法，通过借助网页实时通信技术在现场学生的AR全息眼镜和远程教师的PC机或平板间建立音、视频传输通道，使远程教师都能实时看到现场学生的第一视角画面并与现场学生和其它远程教师进行音、视频交流；同时利用Canvas画布技术在学生和教师间建立同步的虚拟协作画板，远程教师可在现场视频画面上自由添加绘图、文字等虚拟协助信息；然后借助搭建的通道将虚拟协作信息同步推送至学生AR全息眼镜端和其他远程教师端，学生AR全息眼镜端通过将虚拟协助信息在虚拟屏幕上的叠加显示来对现场学生所在场景实现“增强”。与现有技术相比，本发明具有解放学生双手、多人实时沟通等优点。

Description

一种基于AR全息眼镜的远程教育数据交互系统及方法
技术领域
本发明涉及网络教育技术领域，尤其是涉及一种基于AR全息眼镜的远程教育数据交互系统及方法。
背景技术
远程教育是一种新型的教育方式，这种教育活动的最大特点是：在整个教学活动中，教师和学生见面的机会不多，即“教师和学生在教与学的全过程中处于相对分离状态”。目前主流的远程教育协作方法都是借助视频、语音、文字等传统媒介，比如远程视频会议、远程电话沟通等等。在最流行的远程视频会议中，传统的视频会议技术包括MCU、H.323、帧中继等，随着技术的不断进步，一些新的技术涌现出来，包括当前解决视频传输丢包问题最有效的LPR技术、解决网络延迟和阻塞问题的QoS安全机制、用于端到端通信的P2P技术。在文件传输方面，一般使用 HTTP协议、FTP协议、UDP协议等进行文件的传输和分发。以视频会议为代表的远程教育协作方法目前已经得到了广泛的应用，但却存在着许多缺点和问题，比如视频会议是基于二维平面媒介的，无法为学习者和教学者提供三维逼真的现实感和立体感，不能为双方营造一种在同一个场景中的“沉浸感”，而且交流双方无法在空间环境中进行交互。
作为虚拟现实的拓展技术，增强现实技术在最近十几年里已经得到了飞速发展，并在各个领域显现出强大的应用价值，广泛应用于工业、产品展示、医疗研究、军事、教育等领域，成为虚拟现实技术领域的一个研究热点。增强现实系统利用附加的图形或文字信息来对周围真实世界的场景进行动态地增强。当人们转动和移动头部时，眼睛所看到的视野将随之变动，那么计算机生成的增强信息也应该随之进行相应的变化，从而起到一个虚实结合的增强作用。随着增强现实技术的发展，一些基于增强现实技术的新的远程教育方法被相继提出，如远程专家可以指导本地医生进行外科手术的虚拟交互方法，然而该方法存在设备过于复杂和系统通用性差的问题；现有技术还包括可供学生和教师借助光学透视头显设备保存和共享手写笔的方法，但是该方法存在无法进行多人实时沟通的缺陷。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于AR全息眼镜的远程教育数据交互系统及方法。
本发明的目的可以通过以下技术方案来实现：
一种基于AR全息眼镜的远程教育数据交互系统，包括学生AR全息眼镜端、 Web服务器、信令服务器、多个远程教师端以及网关，所述的学生AR全息眼镜端包括用以为现场学生佩戴的AR全息眼镜和设置在AR全息眼镜上的前置高清摄像头和内置麦克风，所述的AR全息眼镜包含基于WebView开发的Web APP，所述的远程教师端采用浏览器网页登录与学生AR全息眼镜端的Web APP实现无线连接，学生AR全息眼镜端、各远程教师端之间通过Web服务器、信令服务器、网关连接，学生AR全息眼镜端、各远程教师端之间建立音、视频传输通道，所述的学生AR全息眼镜端通过Canvas画布与不同远程教师端之间建立同步的虚拟协作画板，该画板叠加融合学生视角画面，所述的远程教师端在虚拟协作画板的视频画面上自由添加虚拟协助信息，包括添加文字、绘图、发送文件、笔迹擦除，实现教育远程数据交互，远程教师端完成虚拟协作信息后，向Web服务器发送握手请求，借助信令服务器将画板数据广播发送至所有相连的客户端，学生AR全息眼镜端及其它远程教师端收到指令和数据后将虚拟协作信息在本地画板上进行同步显示。
由于存在从Web网页端二维图像信息到学生AR全息眼镜端三维空间信息间的转换，所以本发明对远程教师端的原始图像进行了中心放大，放大的比例与AR 全息眼镜的摄像头焦距参数有关。
AR全息眼镜上的前置高清摄像头位于两个光导透明全息透镜之间，且与两个透镜之间的相对距离是固定的。AR全息眼镜优选Halo Mini全息眼镜，其在成像技术上采用了全息光波导技术，可在2—3米距离处投射80寸左右虚拟屏幕，且虚拟屏幕中心点与人视野中心点重合，屏幕大小由投射系统内部参数决定，宽度和高度皆为常数。在视频数据采集过程中，前置高清摄像头的焦距是固定的，从而可确定虚拟屏幕在虚拟成像平面上的投影位置和大小也是确定的，前置高清摄像机光心、虚拟屏幕中心点、虚拟成像图中心点在三维空间中成一条直线。
所述的远程教师端采用PC机或平板。具体地，所述的远程教师端包括使用内网IP的远程教师端-PC机、使用公网IP的远程教师端-PC机以及远程教师端-平板，使用内网IP的远程教师端-PC机、使用公网IP的远程教师端-PC机通过Web服务器传送所需网页文件至学生AR全息眼镜端，并通过信令服务器发送会话控制指令，网络配置信令用户、房间信息至学生AR全息眼镜端。
优选地，该系统还包括STUN服务器，使用内网IP的远程教师端-PC机传送 NAT穿透用STUN数据包至STUN服务器，STUN服务器通过WIFI连接学生AR 全息眼镜端，所述的STUN服务器通过运营商网络连接远程教师端-平板。
所述的学生AR全息眼镜端与不同远程教师端之间建立基于HTML5的Canvas 画布实现共享式虚拟画板。
优选地，所述的Web服务器采用Apache平台，所述的信令服务器采用Node.js 平台，所述的STUN服务器采用Google公司的公用STUN服务器完成对NAT的穿透。
优选地，所述的AR全息眼镜基于自然特征和惯性传感器相结合的混合跟踪注册方法对现场学生的位姿进行实时估算，追踪其视线角度变化，动态调整二维虚拟协作信息在虚拟屏幕上的显示位置。
优选地，学生AR全息眼镜端、远程教师端之间基于WebSocket协议建立音、视频通信通道和画板信息同步通道。
一种基于AR全息眼镜的远程教育数据交互方法，包括如下步骤：
S1：学生在现场佩戴AR全息眼镜作为学生AR全息眼镜端，远程教师采用 PC机或平板作为远程教师端，远程教师端采用浏览器网页登录与学生AR全息眼镜端的Web APP实现无线连接；
S2：学生AR全息眼镜端向远程教师端发出教学求助请求，远程教师端接收请求，双方基于WebSocket协议建立音、视频通信通道和画板信息同步通道；
S3：学生AR全息眼镜端的AR眼镜通过前置高清摄像头和内置麦克风实时将视频画面和音频数据传送至远程教师端，双方进行教学沟通；
S4：远程教师端借助PC机或平板展示现场学生所在求助现场的第一视角画面，并采用鼠标或手指在视频画面的相应位置进行画圈、添加注释、绘图等协作操作；
S5：远程教师端借助基于WebSocket协议搭建的音、视频通道将在虚拟画板上添加的虚拟协作教学信息推送至学生AR全息眼镜端和其他远程教师端同步显示；
S6：现场学生的视角通过AR全息眼镜展示远程教师端添加的虚拟协作信息；
S7：当现场学生的头部位置和角度发生改变时，AR全息眼镜通过将虚拟协助信息在虚拟屏幕上的叠加显示对现场学生所在场景实现增强。
与现有技术相比，本发明具有以下优点：
1)本发明的学生AR全息眼镜端、各远程教师端之间建立音、视频传输通道和画板信息同步通道，学生AR全息眼镜端通过Canvas画布与不同远程教师端之间建立同步的虚拟协作画板，该画板叠加融合学生视角画面，远程教师端在虚拟协作画板的视频画面上自由添加虚拟协助信息，本发明可以有效提升现场学生在远程教学过程中的真实感和沉浸感，实现了远程教学信息和真实场景的完美融合，可以释放现场学生的双手；
2)本发明的学生AR全息眼镜端通过Canvas画布与不同远程教师端之间建立同步的虚拟协作画板，提供了可以让远程教师直接借助第一视角画面进行绘制教学的功能，可以有效提升远程教师和学生沟通和交流的效率，且能够实现多人教师与学生、教师与教师之间的沟通，为教师的远程教学提供了便利；
3)远程教师端采用浏览器/服务器(B/S)模式，可以实现跨平台教学信息交互，具有良好的扩展性；
4)本发明系统采用较为成熟的设备如AR全息眼镜、PC机、平板，具有较高的可靠性高和较好的维护性。
附图说明
图1为本发明一种基于AR全息眼镜的远程教育数据交互系统的结构示意图；
图2为本发明的视频与虚拟画板融合原理图；
图3为本发明系统的现场实施流程示意图；
图4为AR全息眼镜的前置高清摄像头与全息透镜位置示意图；
图5为AR全息眼镜的前置高清摄像头、虚拟投射平面和虚拟成像平面坐标系。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
通过将增强现实技术与网络传输技术相结合，设计出了一种全新的远程教育实时协作系统。本发明涉及的一种基于AR全息眼镜的远程教育数据交互系统，该系统主要由学生AR全息眼镜端、远程教师端、Web服务器、信令服务器、STUN服务器、网关组成。学生AR全息眼镜端包括AR全息眼镜和设置在AR全息眼镜上的前置高清摄像头和内置麦克风。AR全息眼镜包含基于WebView开发的Web APP，并利用Canvas画布技术在学生和教师间建立同步的虚拟协作画板。远程教师端采用PC机或平板，远程教师端采用浏览器网页登录与学生AR全息眼镜端的Web APP实现无线连接。学生AR全息眼镜端通过Web服务器、信令服务器、网关与一个或多个远程教师端无线连接。学生AR全息眼镜端和远程教师端之间的数据传输采用互联网传输。具体内容包括：
学生AR全息眼镜端通过信令服务器与使用内网IP的远程教师端连接，使用内网IP的远程教师端-PC机、使用公网IP的远程教师端-PC机通过Web服务器传送所需网页文件至学生AR全息眼镜端，并通过信令服务器发送会话控制指令，网络配置信令用户、房间信息至学生AR全息眼镜端。使用内网IP的远程教师端-PC 机传送NAT穿透用STUN数据包至STUN服务器，STUN服务器通过WIFI连接学生AR全息眼镜端STUN服务器通过运营商网络连接远程教师的平板移动端。
该系统主要包含以下两大功能模块：一是网络通信模块，该模块以网络传输技术为基础，实现各终端设备(包括现场学生所在的学生AR全息眼镜端和远程教师端)数据的实时传输，主要包含AR全息眼镜捕获的视频数据、远程教师端提取的虚拟协作数据、双方的语音通话数据等。学生AR全息眼镜端和远程教师端之间通过建立P2P(端对端)的音、视频传输通道，保证每位远程教师都能实时看到现场学生的第一视角画面并与现场学生和其它远程教师进行音、视频交流。二是学生 AR全息眼镜端的虚拟协作数据处理模块，该模块结合增强现实中的目标跟踪注册算法，以实现基于远程虚拟协作数据的增强现实动态模型。
图2为学生AR全息眼镜端的虚拟协作数据处理模块的视频与虚拟画板融合原理图。AR全息眼镜端利用Canvas画布技术在学生和教师间建立同步的虚拟协作画板，该画板与学生视角画面进行叠加融合，远程教师可在现场视频画面上自由添加绘图、文字等虚拟协助信息。虚拟画板基于Canvas画布实现，画板信息借助 WebSocket传输协议和Node.js框架实现远程传输和转发，保证现场学生能够在虚拟屏幕上实时地看到远程教师所绘制的虚拟协助信息。由于存在从Web网页端二维图像信息到学生AR全息眼镜端三维空间信息间的转换，所以本发明对远程教师端的原始图像进行了中心放大，放大的比例与AR全息眼镜的摄像头焦距参数有关。
优选地，本发明的AR全息眼镜采用Halo Mini全息眼镜。如图4所示，前置高清摄像头位于两个光导透明全息透镜之间，且与两个透镜之间的相对距离是固定的。Halo Mini全息眼镜在成像技术上采用了全息光波导技术，可在2—3米距离处投射80寸左右虚拟屏幕，且虚拟屏幕中心点与人视野中心点重合，屏幕大小由投射系统内部参数决定，宽度和高度皆为常数。在视频数据采集过程中，摄像头的焦距是固定的，从而可以确定虚拟屏幕在虚拟成像平面上的投影位置和大小也是确定的，摄像机光心、虚拟屏幕中心点、虚拟成像图中心点在三维空间中成一条直线。
如图5所示，坐标系Oc-XcYcZc表示AR全息眼镜上前置高清摄像头的空间坐标系，原点Oc与摄像头光心重合。Yc轴指向摄像头上方，Zc轴沿摄像头光轴方向向前。摄像头成像平面处于摄像机空间坐标系内，与Zc轴垂直相交于Oj点，建立直角坐标系Oj-XjYj。虚拟投射平面与虚拟成像平面平行，与Zc轴垂直相交于Oi点，建立直角坐标系Oi-XiYi。由前面分析可知，虚拟投射平面到原点Oc的距离是固定的，可用常数k表示,同时虚拟投射屏幕的宽度和高度也是确定的，分别用常数w1和h1表示。同时AR全息眼镜所采用的摄像头为定焦摄像头，不妨设摄像头的焦距为常数f，图像的宽度为常数w2，高度为常数h2。从而可以得到图像宽度与虚拟屏幕宽度之间的比值T1，其中：
T1＝w2/w1 (1)
同理，图像高度与虚拟屏幕高度间也具有固定比例T2：
T2＝h2/h1 (2)
设空间中一点P(x,y,z)与摄像头光心的连线分别与虚拟投射平面和虚拟成像平面相交于点Pi(xi,yi)和点Pj(xj,yj)，由投影变换可得：
所以虚拟投射平面上的点与该点在虚拟成像平面上的投影具有式(3)所示的关系。设PC网页端透明画板的宽度为w3，高度为h3，视频图像的宽度为w4，高度为h4。那么为了保证透明画板所覆盖的视频区域与现场操作员透过AR全息眼镜虚拟屏幕所看到的现实场景位置完全一致，则应该有：
且视频图像的中心点与透明画板的中心点完全重合。由于式(4)和(5)中所出现的符号皆为常量，故通过前期标定即可确定远程教师端的PC机的网页视频图像的宽度和高度，从而保证远程专家在视频背景上所绘制的虚拟协助信息能够完美地映射到现场操作员所在的真实世界中。
本发明借助基于WebSocket协议搭建的通道将虚拟协作信息同步推送至学生 AR全息眼镜端和其他远程教师端，学生AR全息眼镜端通过将虚拟协助信息在虚拟屏幕上的叠加显示来对现场学生所在场景实现“增强”。
图3为本发明系统的现场实施设计图。基于WebRTC框架的多人视频通话模块具有跨平台的特性，远程教师端使用Chrome浏览器登录网页端，现场学生所佩戴的AR全息眼镜包含基于WebView开发的Web APP。Web服务器使用Apache 平台，信令服务器使用Node.js平台，同时使用Google公司的公用STUN服务器完成对NAT(Network Address Translation，网络地址转换)的穿透。Web服务器和信令服务器放置在公网IP地址为202.121.199.225的物理机器上，分别使用80端口和3000端口进行通信。为了构造现场学生与远程教师间一对多的服务模型，实时通信架构中引入了房间的概念，进入同一个房间的现场学生和远程教师才能进行音、视频通话操作，最终形成一个基于全连接的多人音、视频实时通信网络。基于HTML5的Canvas画布实现共享式虚拟画板，远程教师可以在画板上进行任意的绘画操作，包括可以选择画笔的类型、大小以及线条颜色，同时还扩充了添加文字、发送文件和笔迹擦除等功能。当远程教师绘制完虚拟信息后，网页客户端脚本向 Web服务器发送WebSocket握手请求，借助Node.js框架搭建的应用服务器将JSON 格式的画板数据广播发送至所有相连的客户端，现场学生所在的学生AR全息眼镜端及其它远程教师端收到指令和数据后将协作信息在本地画板上进行同步显示。
另一方面，本发明还涉及一种基于AR全息眼镜的远程教育数据交互方法，该方法具体包括下列步骤：
步骤一、学生在现场佩戴AR全息眼镜作为学生AR全息眼镜端，远程教师使用电脑或平板设备登录软件作为远程教师端。
步骤二、学生AR全息眼镜端向远程教师端发出教学求助请求，远程教师端接收请求，双方建立音、视频通信通道和画板信息同步通道。
步骤三、学生AR全息眼镜端的AR眼镜通过前置高清摄像头和内置麦克风实时将视频画面和音频数据传送至远程教师端，双方进行教学沟通。
步骤四、远程教师可借助PC机或智能平板清晰地看到现场学生所在求助现场的第一视角画面，并能够直接用鼠标或手指在视频画面的相应位置进行画圈、添加注释、绘图等一系列操作。
步骤五、借助基于WebSocket协议搭建的通道将在虚拟画板上添加的虚拟协作教学信息推送至学生AR全息眼镜端和其他远程教师端同步显示。
步骤六、在现场学生的视角中，远程教师添加的虚拟协作信息将与现场空间进行无缝融合，可以为自己提供现场实际操作指导。
步骤七、当现场学生的头部位置和角度发生改变时，AR全息眼镜通过将虚拟协助信息在虚拟屏幕上的叠加显示来对现场学生所在场景实现“增强”。
AR全息眼镜基于自然特征和惯性传感器相结合的混合跟踪注册技术将对现场学生位姿进行实时估算，追踪其视线角度变化，动态调整二维虚拟协作信息在虚拟屏幕上的显示位置，从而保证虚拟协作信息与被“增强”的现实场景或物体始终保持吻合。
本发明的学生AR全息眼镜端、各远程教师端之间建立音、视频传输通道和画板信息同步通道，学生AR全息眼镜端通过Canvas画布与不同远程教师端之间建立同步的虚拟协作画板，该画板叠加融合学生视角画面，远程教师端在虚拟协作画板的视频画面上自由添加虚拟协助信息，本发明可以有效提升现场学生在远程教学过程中的真实感和沉浸感，实现了远程教学信息和真实场景的完美融合，可以释放现场学生的双手，能有效提升远程教师和学生沟通和交流的效率，且能够实现多人教师与学生、教师与教师之间的沟通，为教师的远程教学提供了便利。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于AR全息眼镜的远程教育数据交互系统，其特征在于，包括学生AR全息眼镜端、Web服务器、信令服务器、多个远程教师端以及网关，所述的学生AR全息眼镜端包括用以为现场学生佩戴的AR全息眼镜和设置在AR全息眼镜上的前置高清摄像头和内置麦克风，所述的AR全息眼镜包含基于WebView开发的Web APP，所述的远程教师端采用浏览器网页登录与学生AR全息眼镜端的Web APP实现无线连接，学生AR全息眼镜端、各远程教师端之间通过Web服务器、信令服务器、网关连接，学生AR全息眼镜端、各远程教师端之间建立音、视频传输通道，所述的学生AR全息眼镜端通过Canvas画布与不同远程教师端之间建立同步的虚拟协作画板，该画板叠加融合学生视角画面，所述的远程教师端在虚拟协作画板的视频画面上自由添加虚拟协助信息，包括添加文字、绘图、发送文件、笔迹擦除，实现教育远程数据交互，远程教师端完成虚拟协作信息后，向Web服务器发送握手请求，借助信令服务器将画板数据广播发送至所有相连的客户端，学生AR全息眼镜端及其它远程教师端收到指令和数据后将虚拟协作信息在本地画板上进行同步显示，所述的远程教师端采用PC机或平板。
2.根据权利要求1所述的一种基于AR全息眼镜的远程教育数据交互系统，其特征在于，所述的AR全息眼镜采用Halo Mini全息眼镜，所述的前置高清摄像头位于两个光导透明全息透镜之间，且与两个透镜之间的相对距离保持固定，所述的Halo Mini全息眼镜采用全息光波导成像，在2—3米距离处投射80寸左右虚拟屏幕。
3.根据权利要求2所述的一种基于AR全息眼镜的远程教育数据交互系统，其特征在于，所述的虚拟屏幕的中心点与现场学生的视野中心点重合，虚拟屏幕的大小由投射系统内部参数决定，宽度和高度皆为常数；在视频数据采集过程中，前置高清摄像头的焦距固定，用以确定虚拟屏幕在虚拟成像平面上的投影位置和大小，前置高清摄像机光心、虚拟屏幕中心点、虚拟成像图中心点在三维空间中成一条直线。
4.根据权利要求1所述的一种基于AR全息眼镜的远程教育数据交互系统，其特征在于，所述的远程教师端包括使用内网IP的远程教师端-PC机、使用公网IP的远程教师端-PC机以及远程教师端-平板，使用内网IP的远程教师端-PC机、使用公网IP的远程教师端-PC机通过Web服务器传送所需网页文件至学生AR全息眼镜端，并通过信令服务器发送会话控制指令，网络配置信令用户、房间信息至学生AR全息眼镜端。
5.根据权利要求4所述的一种基于AR全息眼镜的远程教育数据交互系统，其特征在于，该系统还包括STUN服务器，使用内网IP的远程教师端-PC机传送NAT穿透用STUN数据包至STUN服务器，STUN服务器通过WIFI连接学生AR全息眼镜端，所述的STUN服务器通过运营商网络连接远程教师端-平板。
6.根据权利要求1所述的一种基于AR全息眼镜的远程教育数据交互系统，其特征在于，所述的学生AR全息眼镜端与不同远程教师端之间建立基于HTML5的Canvas画布实现共享式虚拟画板。
7.根据权利要求5所述的一种基于AR全息眼镜的远程教育数据交互系统，其特征在于，所述的Web服务器采用Apache平台，所述的信令服务器采用Node.js平台，所述的STUN服务器采用Google公司的公用STUN服务器完成对NAT的穿透。
8.根据权利要求1所述的一种基于AR全息眼镜的远程教育数据交互系统，其特征在于，所述的AR全息眼镜基于自然特征和惯性传感器相结合的混合跟踪注册方法对现场学生的位姿进行实时估算，追踪其视线角度变化，动态调整二维虚拟协作信息在虚拟屏幕上的显示位置。
9.根据权利要求1所述的一种基于AR全息眼镜的远程教育数据交互系统，其特征在于，学生AR全息眼镜端、远程教师端之间基于WebSocket协议建立音、视频通信通道和画板信息同步通道。
10.一种应用如权利要求1-9任一项所述的一种基于AR全息眼镜的远程教育数据交互系统的交互方法，其特征在于，该方法包括下列步骤：
1)学生在现场佩戴AR全息眼镜作为学生AR全息眼镜端，远程教师采用PC机或平板作为远程教师端，远程教师端采用浏览器网页登录与学生AR全息眼镜端的Web APP实现无线连接；
2)学生AR全息眼镜端向远程教师端发出教学求助请求，远程教师端接收请求，双方基于WebSocket协议建立音、视频通信通道和画板信息同步通道；
3)学生AR全息眼镜端的AR眼镜通过前置高清摄像头和内置麦克风实时将视频画面和音频数据传送至远程教师端，双方进行教学沟通；
4)远程教师端借助PC机或平板展示现场学生所在求助现场的第一视角画面，并采用鼠标或手指在视频画面的相应位置进行画圈、添加注释、绘图等协作操作；
5)远程教师端借助基于WebSocket协议搭建的音、视频通道将在虚拟画板上添加的虚拟协作教学信息推送至学生AR全息眼镜端和其他远程教师端同步显示；
6)现场学生的视角通过AR全息眼镜展示远程教师端添加的虚拟协作信息；
7)当现场学生的头部位置和角度发生改变时，AR全息眼镜通过将虚拟协助信息在虚拟屏幕上的叠加显示对现场学生所在场景实现增强。
CN201910501495.9A 2019-06-11 2019-06-11 一种基于ar全息眼镜的远程教育数据交互系统及方法 Active CN110233841B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910501495.9A CN110233841B (zh) 2019-06-11 2019-06-11 一种基于ar全息眼镜的远程教育数据交互系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910501495.9A CN110233841B (zh) 2019-06-11 2019-06-11 一种基于ar全息眼镜的远程教育数据交互系统及方法

Publications (2)

Publication Number Publication Date
CN110233841A true CN110233841A (zh) 2019-09-13
CN110233841B CN110233841B (zh) 2021-08-10

Family

ID=67858834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910501495.9A Active CN110233841B (zh) 2019-06-11 2019-06-11 一种基于ar全息眼镜的远程教育数据交互系统及方法

Country Status (1)

Country Link
CN (1) CN110233841B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110602480A (zh) * 2019-09-27 2019-12-20 三星电子（中国）研发中心 一种采用增强现实分享场景的方法、装置及系统
CN110675675A (zh) * 2019-10-16 2020-01-10 北京爱论答科技有限公司 一种基于在线互动培训课堂培训的方法及装置
CN110751734A (zh) * 2019-09-23 2020-02-04 华中科技大学 一种适用于工作现场的混合现实助手系统
CN111311995A (zh) * 2020-03-23 2020-06-19 宁波视科物电科技有限公司 一种基于增强现实技术的远程教学系统及教学方法
CN111325853A (zh) * 2020-03-23 2020-06-23 宁波视科物电科技有限公司 一种基于增强现实眼镜的远程辅导系统及方法
CN111679740A (zh) * 2020-06-06 2020-09-18 西安热工研究院有限公司 利用增强现实ar技术对电站设备进行远程智能诊断的方法
CN112039899A (zh) * 2020-09-01 2020-12-04 深圳创维数字技术有限公司 虚拟现实系统控制方法、系统和存储介质
CN112312066A (zh) * 2020-11-06 2021-02-02 上海钦文信息科技有限公司 一种基于多端实时绿幕合成的同步授课技术及应用
CN112509401A (zh) * 2020-12-21 2021-03-16 浙江机电职业技术学院 一种基于增强现实投影交互的远程实操教学方法与系统
CN112565844A (zh) * 2020-12-04 2021-03-26 维沃移动通信有限公司 视频通信方法、装置和电子设备
CN112907756A (zh) * 2021-03-10 2021-06-04 中国石油天然气集团有限公司 一种抢险ar后端辅助操作系统及辅助操作方法
US11043038B1 (en) 2020-03-16 2021-06-22 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method of three-dimensional interaction for augmented reality remote assistance
CN113538998A (zh) * 2021-07-21 2021-10-22 国网电力科学研究院武汉南瑞有限责任公司 特高压gis设备模拟检测操作远程协作培训系统及方法
CN113630592A (zh) * 2020-05-07 2021-11-09 科码新媒体股份有限公司 扩增实境异地共演系统
CN113672087A (zh) * 2021-08-10 2021-11-19 Oppo广东移动通信有限公司 远程交互方法、装置、系统、电子设备以及存储介质
CN113763778A (zh) * 2020-06-02 2021-12-07 重庆艾艺荷马教育科技股份有限公司 一种基于ar设备的可视化美术交互教学方法
CN114125278A (zh) * 2021-11-15 2022-03-01 小艾帮帮（杭州）科技有限公司 一种多功能助视系统
CN115334274A (zh) * 2022-08-17 2022-11-11 上海疆通科技有限公司 一种基于增强现实的远程协助的方法及装置
CN115633152A (zh) * 2022-12-19 2023-01-20 哈尔滨学院 一种远程视讯全息投影系统
CN116193182A (zh) * 2022-12-21 2023-05-30 杭州易现先进科技有限公司 Ar内容的投屏方法、系统、电子设备和存储介质
CN116433769A (zh) * 2023-04-21 2023-07-14 北京优酷科技有限公司 空间校准方法、装置、电子设备和存储介质
CN116862730A (zh) * 2023-09-05 2023-10-10 山东劳动职业技术学院（山东劳动技师学院） 一种vr全息教学管理系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120194418A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with user action control and event input based control of eyepiece application
CN103064188A (zh) * 2011-11-30 2013-04-24 微软公司 基于头戴式显示器的教育和指导
CN106600669A (zh) * 2016-12-22 2017-04-26 郑州正电电子技术有限公司 基于可变色荧光画板和增强现实的装置及运行方法
CN107240317A (zh) * 2017-07-14 2017-10-10 福建铁工机智能机器人有限公司 一种利用ar实现远程教育的方法及设备
US10142496B1 (en) * 2013-01-26 2018-11-27 Ip Holdings, Inc. Mobile device image capture and image modification including filters, superimposing and geofenced comments in augmented reality
KR101960815B1 (ko) * 2017-11-28 2019-03-21 유엔젤주식회사 증강 현실과 가상 현실을 이용한 학습 지원 시스템 및 방법
CN109859542A (zh) * 2017-11-30 2019-06-07 江西科骏实业有限公司 一种基于混合现实的3d智能课堂教学应用方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120194418A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with user action control and event input based control of eyepiece application
CN103064188A (zh) * 2011-11-30 2013-04-24 微软公司 基于头戴式显示器的教育和指导
US10142496B1 (en) * 2013-01-26 2018-11-27 Ip Holdings, Inc. Mobile device image capture and image modification including filters, superimposing and geofenced comments in augmented reality
CN106600669A (zh) * 2016-12-22 2017-04-26 郑州正电电子技术有限公司 基于可变色荧光画板和增强现实的装置及运行方法
CN107240317A (zh) * 2017-07-14 2017-10-10 福建铁工机智能机器人有限公司 一种利用ar实现远程教育的方法及设备
KR101960815B1 (ko) * 2017-11-28 2019-03-21 유엔젤주식회사 증강 현실과 가상 현실을 이용한 학습 지원 시스템 및 방법
CN109859542A (zh) * 2017-11-30 2019-06-07 江西科骏实业有限公司 一种基于混合现实的3d智能课堂教学应用方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RULA AL-AZAWI: ""Embedding augmented and virtual reality in educational learning method: Present and future"", 《2018 9TH INTERNATIONAL CONFERENCE ON INFORMATION AND COMMUNICATION SYSTEMS (ICICS)》 *
余日季: ""基于移动终端和AR技术的博物馆文化教育体验系统的设计与应用研究"", 《中国电化教育》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751734A (zh) * 2019-09-23 2020-02-04 华中科技大学 一种适用于工作现场的混合现实助手系统
CN110602480A (zh) * 2019-09-27 2019-12-20 三星电子（中国）研发中心 一种采用增强现实分享场景的方法、装置及系统
CN110675675A (zh) * 2019-10-16 2020-01-10 北京爱论答科技有限公司 一种基于在线互动培训课堂培训的方法及装置
US11043038B1 (en) 2020-03-16 2021-06-22 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method of three-dimensional interaction for augmented reality remote assistance
CN111325853A (zh) * 2020-03-23 2020-06-23 宁波视科物电科技有限公司 一种基于增强现实眼镜的远程辅导系统及方法
CN111325853B (zh) * 2020-03-23 2023-04-28 宁波视科物电科技有限公司 一种基于增强现实眼镜的远程辅导系统及方法
CN111311995A (zh) * 2020-03-23 2020-06-19 宁波视科物电科技有限公司 一种基于增强现实技术的远程教学系统及教学方法
CN113630592A (zh) * 2020-05-07 2021-11-09 科码新媒体股份有限公司 扩增实境异地共演系统
CN113763778A (zh) * 2020-06-02 2021-12-07 重庆艾艺荷马教育科技股份有限公司 一种基于ar设备的可视化美术交互教学方法
CN111679740A (zh) * 2020-06-06 2020-09-18 西安热工研究院有限公司 利用增强现实ar技术对电站设备进行远程智能诊断的方法
CN112039899A (zh) * 2020-09-01 2020-12-04 深圳创维数字技术有限公司 虚拟现实系统控制方法、系统和存储介质
CN112312066A (zh) * 2020-11-06 2021-02-02 上海钦文信息科技有限公司 一种基于多端实时绿幕合成的同步授课技术及应用
CN112565844A (zh) * 2020-12-04 2021-03-26 维沃移动通信有限公司 视频通信方法、装置和电子设备
CN112509401A (zh) * 2020-12-21 2021-03-16 浙江机电职业技术学院 一种基于增强现实投影交互的远程实操教学方法与系统
CN112907756A (zh) * 2021-03-10 2021-06-04 中国石油天然气集团有限公司 一种抢险ar后端辅助操作系统及辅助操作方法
CN112907756B (zh) * 2021-03-10 2023-11-03 中国石油天然气集团有限公司 一种抢险ar后端辅助操作系统及辅助操作方法
CN113538998A (zh) * 2021-07-21 2021-10-22 国网电力科学研究院武汉南瑞有限责任公司 特高压gis设备模拟检测操作远程协作培训系统及方法
CN113672087A (zh) * 2021-08-10 2021-11-19 Oppo广东移动通信有限公司 远程交互方法、装置、系统、电子设备以及存储介质
CN114125278A (zh) * 2021-11-15 2022-03-01 小艾帮帮（杭州）科技有限公司 一种多功能助视系统
CN115334274A (zh) * 2022-08-17 2022-11-11 上海疆通科技有限公司 一种基于增强现实的远程协助的方法及装置
CN115633152A (zh) * 2022-12-19 2023-01-20 哈尔滨学院 一种远程视讯全息投影系统
CN116193182A (zh) * 2022-12-21 2023-05-30 杭州易现先进科技有限公司 Ar内容的投屏方法、系统、电子设备和存储介质
CN116433769A (zh) * 2023-04-21 2023-07-14 北京优酷科技有限公司 空间校准方法、装置、电子设备和存储介质
CN116862730A (zh) * 2023-09-05 2023-10-10 山东劳动职业技术学院（山东劳动技师学院） 一种vr全息教学管理系统
CN116862730B (zh) * 2023-09-05 2023-11-21 山东劳动职业技术学院（山东劳动技师学院） 一种vr全息教学管理系统

Also Published As

Publication number Publication date
CN110233841B (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN110233841A (zh) 一种基于ar全息眼镜的远程教育数据交互系统及方法
CN108831218B (zh) 基于虚拟现实的远程教学系统
US12033241B2 (en) Scene interaction method and apparatus, electronic device, and computer storage medium
CN110266992A (zh) 一种基于增强现实的远程视频交互系统以及方法
CN102460487B (zh) 混合课程教学的系统和方法
CN102005142B (zh) 一种用于教学的信息交互方法
CN101939989B (zh) 虚拟桌子
CN106210703A (zh) Vr环境中特写镜头的运用及显示方法和系统
US9386271B2 (en) System and method for synthesizing and preserving consistent relative neighborhood position in multi-perspective multi-point tele-immersive environments
CN208985412U (zh) 智慧教育物理环境系统
CN105320282A (zh) 一种基于增强现实的图像识别解决方法
CN115639976B (zh) 一种虚拟现实内容多模式多角度同步展示方法及系统
CN110351514A (zh) 一种虚拟模型通过远程协助方式和视频流同时传输的方法
CN105933637A (zh) 一种视频通信的方法及系统
CN110312121A (zh) 一种3d智能教育监控方法、系统和存储介质
US9826196B2 (en) System and method for synthesizing and preserving consistent relative neighborhood position in multi-perspective multi-point tele-immersive environments
KR20220126660A (ko) Ar 안면인식을 활용한 메타버스 화상 교육 플랫폼 제공 방법 및 네트워크 시스템
Pishva et al. Smart Classrooms for Distance Education and their Adoption to Multiple Classroom Architecture.
Ekong et al. Teacher-student vr telepresence with networked depth camera mesh and heterogeneous displays
Pope et al. The latest in immersive telepresence to support shared engineering education
CN202551219U (zh) 远程三维虚拟仿真合成系统
CN110139030A (zh) 混合现实处理系统、方法、服务器及其存储介质
CN113315885B (zh) 一种用于远程互动的全息演播室及系统
Takeuchi et al. GIBSON: AR/VR synchronized city walking system
CN114924650A (zh) 一种元宇宙和现实时空重组元素混编系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant