CN111292587A - 算盘、算盘教学系统及基于ar显示设备的算盘教学方法 - Google Patents

算盘、算盘教学系统及基于ar显示设备的算盘教学方法 Download PDF

Info

Publication number
CN111292587A
CN111292587A CN201811503223.4A CN201811503223A CN111292587A CN 111292587 A CN111292587 A CN 111292587A CN 201811503223 A CN201811503223 A CN 201811503223A CN 111292587 A CN111292587 A CN 111292587A
Authority
CN
China
Prior art keywords
abacus
information
virtual
module
teaching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811503223.4A
Other languages
English (en)
Inventor
房晓俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tapuyihai Shanghai Intelligent Technology Co ltd
Original Assignee
Tapuyihai Shanghai Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tapuyihai Shanghai Intelligent Technology Co ltd filed Critical Tapuyihai Shanghai Intelligent Technology Co ltd
Priority to CN201811503223.4A priority Critical patent/CN111292587A/zh
Publication of CN111292587A publication Critical patent/CN111292587A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/02Counting; Calculating
    • G09B19/025Counting; Calculating with electrically operated apparatus or devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06CDIGITAL COMPUTERS IN WHICH ALL THE COMPUTATION IS EFFECTED MECHANICALLY
    • G06C1/00Computing aids in which the computing members form at least part of the displayed result and are manipulated directly by hand, e.g. abacuses or pocket adding devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种算盘、算盘教学系统及基于AR显示设备的算盘教学方法,所述算盘内置传感器将盘面信息传递出去;所述算盘教学系统基于AR技术,通过AR眼镜的算盘教学过程中与用户的实时互动,增加趣味性和实用性。

Description

算盘、算盘教学系统及基于AR显示设备的算盘教学方法
技术领域
本发明涉及算盘领域,更具体地是一种使用虚拟影像技术而具体地呈现算盘知识、智慧教学和指导的系统。
背景技术
算盘,又作祘盘,珠算盘是中国祖先创造发明的一种简便的计算工具,珠算盘起源于北宋时代,北宋串竖档算珠。算盘是中国古代劳动人民发明创造的一种简便的计算工具。中国是算盘的故乡,在计算机已被普遍使用的今天,古老的算盘不仅没有被废弃,反而因它的灵便、准确等优点,在许多国家方兴未艾。
算盘,其形长方,周为木框,内贯直柱,俗称“档”。一般从九竖档至十五竖档,竖档中横以横梁,横梁上两珠,每珠作数五,横梁下五珠,每珠作数一,运算时定位后拨珠计算,可以做加减乘除等算法。
现存的算盘形状不一、材质各异。一般的算盘多为木制(或塑料制品),算盘由矩形木框内排列一串串等数目的算珠,中有一道横横梁把珠统分为上下两部分,算珠内贯直柱,俗称“档”,一般为9竖档、11竖档或13竖档。竖档中横以横梁,10进制的横梁上1珠,该珠为5;横梁下4珠,每珠为1,满10进1;16 进制的横梁上2珠,每珠为5;横梁下5珠,每珠为1,满16进1。
儿童珠算,是指3-6岁学龄前儿童,或者6-10低年级学生课堂珠算,儿童学习珠算的全过程是:闪电看数——瞬间记数——算珠映像——模拟拨珠——珠像内化,这一连续的动作将抽象思维转化为形象思维,它们交替运用,促进儿童左右脑的均衡发展。因此说:“珠算在开发智力方面更甚一筹,它是儿童开发智力的的金钥匙。
儿童珠算教育遵循儿童生理、心理发展特点,依托多元智能教学理论,采用多种教学方法,通过认知、感知、游戏互动、思维训练等形式让小朋友们建立抽象、枯燥的数学概念;着重培养小朋友数学逻辑思维能力,专注力、思考力、反应能力;通过珠算、心算训练,提高小朋友的计算能力,促进左右脑协调发展,激发潜能。
珠算是训练孩子心灵手巧、开发儿童智力潜能的良好方法,儿童学习珠算有几大好处:
一、符合听觉视觉的发展和运动规律。
学习珠算时,算盘这种具体、直观、形象的计数,珠算教育中耳听、眼看、口读、手动、闪电般的计数报数和数珠互译等动作,都符合听觉视觉的发展和运动规律,因而容易被接受。左右手并用,促进儿童左右脑平衡发展,眼耳手口脑同时参与有效地培养儿童的注意力、记忆力、观察力、想象力和思维能力。
二、启发了学习的积极性和主动性。
学习珠算时,时而读数、报数,时而打算盘,时而进行听算、看算,时而回答结果,还穿插分组竞赛,看谁报数快、算得准、始终处于积极的思维状态和学习的主动地位。珠算这种教育方法,启发了学习的积极性和主动性,在动中学,培育了大脑机能,变得更加聪慧。培养孩子动则活跃、静则专注的良好习惯
三、一科优秀,多科受益。
我国各地珠算教育的实践证明,学习珠算的与未参加学习的,使儿童的计算能力迅速提高,大脑的灵敏程度有显著差别。学习珠算计算的快速性、观察的瞬时性、记忆的牢固性、想象的丰富性,均优于其他人。
近年来,珠心算变得流行,其中珠心算的教育者或培训师,需懂算盘、拨珠手势、算盘口诀、教育难易和循序渐进,还要出考题,并判断对错,纠正儿童手法和算法。这些教育者开办的培训班,一般一周才一次见面,大多数的父母在家中指导不了儿童。大多数家长都知道珠算教育对儿童的数字认证和数学能力的提高大有好处,但苦于名师少,时间、精力牵扯过度和舟车劳顿,费用也不菲。课余时间,儿童被家长带来带去,出入各种培训场所,也不胜其烦,美丽的童年留不下什么美丽的记忆。
申请号为201810050821.4的发明,提供一种近眼可透视头显光学系统,包括第一透镜、第二透镜和一个微型图像显示器,第一透镜与第二透镜皆与微型图像显示器贴合,且第一透镜与第二透镜皆为均厚的自由曲面透镜。藉由本发明所提供的近眼可透视头显光学系统架构,除了可以减少光在此光学系统架构中折射的次数外,还可以消除微型图像显示器所发出的光在各个方向的像差,使其在各个方向与角度看影像不会造成像差。
申请号为201821172477.8的实用新型,在上述光学系统的基础上提供一AR 显示设备,其中所述AR显示设备包括至少一个显示/投影器和至少一个光学装置,实像通过所述光学装置构建,虚像通过所述显示/投影器在所述光学装置中构建,所述实像和虚像结合出现在同一视场中,其中所述光学装置包括至少一个主透镜以及至少一个自由曲面透镜,所述自由曲面透镜,用于反射所述显示/投影器投射出的影像;所述主透镜,用于再次反射所述显示/投影器投射出的影像。该AR设备能够做到大视角、小体积、轻重量,佩戴使用者能够有沉浸式AR的体验感。
申请号为201810994555.0的发明,进一步在前述AR显示设备的基础上提供了一头戴式虚实交互装置和虚实交互方法,其中所述头戴式虚实交互装置包括头戴AR显示设备,用于通过在所述头戴AR显示设备的视场中至少显示3D虚拟影像;和虚实交互器,用于获取穿戴所述头戴AR显示设备者的行为动作或者控制指令,并根据所述行为动作或者控制指令而改变或者控制所述3D虚拟影像的内容。
发明内容
针对现有技术中存在的上述问题,本发明的目的在于提供一种综合上述专利技术的算盘、算盘教学系统及基于AR显示设备的算盘教学方法,其将AR技术应用于算盘教学,以改善珠心算教学,增加趣味性和实用性。
依本发明的一个方面,本发明提供一种算盘,所述算盘的边框和横梁都预埋有金属导线,算珠预填有电阻,同一档位上的算珠电阻值是相同的,或者上档所述算珠电阻值五倍于下档任一所述算珠电阻值;不同档位上的算珠的电阻值是不同的。
在一个优选实施例中,本发明了一种算盘,所述算盘的边框和横梁都预埋有金属导线和电压测量设备,算珠预填有电源,同一档位上的算珠电源电压值是相同的,或者上档所述算珠电源电压值五倍于下档任一所述算珠电源电压值;不同竖档位上的算珠的电源电压值是不同的。
在一个优选实施例中,所述电压测量设备包括电阻、电流表或者电压表。
在一个优选实施例中,算珠预填有位移传感器,每个竖档位上都设有接触传感器,不同竖档位上的所述接触传感器输出的位置信息是不同的。
在一个优选实施例中,所述算盘还包括:高度计、陀螺仪和通信芯片,所述通信芯片将所述算盘的盘面信息和所述算珠在算盘上的移动信息传导至AR显示设备。
一种算盘教学系统包括所述算盘和AR显示设备,
所述AR显示设备,用于跟踪所述算盘的盘面变化,并给出提问、引导、提示、判断、评价或者演示。
在一个优选实施例中,所述AR显示设备包括:
AR表显端,用于通过在所述AR表显端的视场中显示虚像信息;
获取端,用于获取所述算盘信息和/或手势信息;
控制器,用于根据所述算盘信息和/或手势信息构建所述虚像信息的反馈。
在一个优选实施例中,所述获取端至少包括:动作采集单元和所述硬件反馈单元,
所述动作采集单元,用于采集所述手势信息;
所述硬件反馈单元,用于采集所述算盘实物信息。
在一个优选实施例中,所述控制器包括:一输入单元、一存储单元、一构建单元和一输出单元,
所述输入单元,用于获取对所述控制器运行的指令;
所述存储单元,用于预先地存储教学知识以及对应所述虚像信息的模型数据;
所述构建单元,用于将所述虚像信息的数据模型处理成所述虚像信息;
所述输出单元,用于将所述虚像信息输出至所述AR表显端。
在一个优选实施例中,所述输入单元包括:指令给入模块和动作采集模块,
所述指令给入模块,用于收集对所述存储单元和所述构建单元的外部指示;
所述动作采集模块,用于获取所述动作采集单元采集的穿戴所述AR表显端者的所述真手信息和所述硬件反馈单元收集到的所述实物信息。
在一个优选实施例中,所述存储单元包括:知识模块、测试模块、记录模块和模型数据模块,
所述知识模块,用于预先地记录所述教学知识;
所述测试模块,用于预先地记录不符合所述教学知识的操作;
所述记录模块,用于收集和记录所述动作采集单元采集的所述穿戴AR表显端者的所述真手信息和所述硬件反馈单元收集到的所述实物信息;
所述模型数据模块,用于预先地记录与所述教学知识相关的虚拟模型。
在一个优选实施例中,所述构建单元包括:环境构建模块、动作认知模块和结果判断模块,
所述环境构建模块,用于从所述输入单元和所述存储单元获取数据并构建对应于所述实物信息的所述虚物信息;
所述动作认知模块,用于根据所述动作采集模块的动态进行编辑所述虚像信息的动作;
所述结果判断模块,用于根据所述教学知识对所述虚像信息的动作进行分析以对所述虚像信息进行评价。
在一个优选实施例中,所述环境构建模块包括:手势构建子块和物体构建子块,
所述手势构建子块,用于结合所述模型数据模块和所述输入单元的所述真是手势而构建所述虚手信息;
所述物体构建子块,用于结合所述模型数据模块和所述输入单元的所述实物信息而构建所述虚物信息。
在一个优选实施例中,所述动作认知模块包括:轨迹识别子块和改变识别子块,
所述轨迹识别子块,用于得到所述虚手信息的动作结果;
所述改变识别子块,用于得到所述虚物信息的动作结果。
在一个优选实施例中,所述结果判断模块包括硬件结果纠正子块和动作纠正子块,所述硬件结果纠正子块,用于从所述改变识别子块得到所述虚像信息的动作结果;所述动作纠正子块,用于从所述轨迹识别子块得到所述虚手信息的动作结果。
一种基于AR显示设备的算盘教学方法,其方法步骤包括:
a、获取所述算盘的实实物信息;
b、根据所述算盘的实物信息,构建相对应的一虚物信息;
c、在所述AR显示设备中显示所述虚物信息;
d、根据工作模式,依据所述虚物信息进行评价、提问、引导、提示、判断或者演示。
在一个优选实施例中,步骤c中,将虚像信息的图像叠加显示于所述算盘。
在一个优选实施例中,所述步骤b进一步包括以下步骤:
b1、从硬件反馈单元获到所述实物信息;
b2、提供所述实物信息的参数;
b3、建立空间坐标体系;
b4、根据真实所述实物信息拟合出所述虚物信息。
在一个优选实施例中,所述步骤b进一步包括以下步骤:
b51、利用Unity3D引擎,搭建一个3D的虚拟场景空间,在该虚拟场景空间创建虚拟算盘信息;
b52、接入高通制作的六自由度的SDK,通过所述AR显示设备上的陀螺仪定位数据,计算设备在虚拟场景中的位置,同时映射到Unity3D创建的虚拟场景空间中,从而实现能够在3D空间中旋转和/或行走的效果;
b53、根据提供的识别手势信息的SDK,在虚拟场景空间中加入虚拟手模型。
在一个优选实施例中,所述步骤a进一步包括以下步骤:
a1、识别所述算盘的边框、竖档、横梁和算珠;
a2、从所述算盘的盘面信息直接图像判断出数值和/或者从所述算盘的通信芯片中获取出所述盘面的数值。
在一个优选实施例中,所述步骤a1中,使用2D/3D激光轮廓扫描仪进行寻算盘边定位,即直接获取所述算盘的高度、角度和成像的参数。
在一个优选实施例中,所述步骤a1中,算盘设有高度计或陀螺仪,计算机根据高度计或陀螺仪的参数反馈,获取算盘高度参数和角度参数。
附图说明
图1是根据本发明的一个优选实施例的所述基于AR显示设备的算盘教学系统的整体示意图。
图2是根据本发明的上述优选实施例的应用所述基于AR显示设备的算盘教学系统的显示设备的侧面示意图。
图3是根据本发明的上述优选实施例的应用所述基于AR显示设备的算盘教学系统的显示设备的原理示意图。
图4是根据本发明的上述优选实施例的所述基于AR显示设备的算盘教学系统的应用场景示意图。
图5A至5D是根据本发明的上述优选实施例的所述基于AR显示设备的算盘教学系统的工作模式示意图。
图6是根据本发明的上述优选实施例的所述基于AR显示设备的算盘教学系统的原理示意图。
图7是根据本发明的上述优选实施例的所述基于AR显示设备的算盘教学系统的原理示意图。
图8是根据本发明的上述优选实施例的所述基于AR显示设备的算盘教学系统的原理示意图。
图9是根据本发明的上述优选实施例的所述基于AR显示设备的算盘教学系统的第一个流程示意图。
图10是根据本发明的上述优选实施例的所述基于AR显示设备的算盘教学系统的第二个流程示意图。
图11是根据本发明的上述优选实施例的所述基于AR显示设备的算盘教学系统的第三个流程示意图。
图12是根据本发明的上述优选实施例的所述基于AR显示设备的算盘教学系统的第四个流程示意图。
图13是根据本发明的上述优选实施例的所述基于AR显示设备的算盘教学系统的第五个流程示意图。
图14是根据本发明的上述优选实施例的7珠算盘教学系统的视野示意图。
图15是根据本发明的上述优选实施例的5珠算盘教学系统的视野示意图。
10-控制器;11-输入单元;111-指令给入模块;112-动作采集模块;12-存储单元;121-知识模块;122-测试模块;123-记录模块;124-数据模型模块;13-构建单元;131-环境构件模块;1311-手势构件子块;1312-物体构件子块;132-动作认知模块;1321-轨迹识别子块;1322-改变识别子块;133-结果判断模块;1331- 硬件纠正子块;1332-过程纠正子块;14-输出单元;20-获取端;21-动作采集单元;22-硬件反馈单元;30-AR表显端;31-屏显单元;32-硬件显示单元;800- 虚像信息;801-虚手信息;802-虚物信息;900-真实信息;901-真手信息;902- 真物信息。
具体实施方式
本发明提供一基于AR显示设备的算盘教学系统,对一用户提供适应性的教学和指导,进而从实践层面进行对一教具操作动作的学习。如图1和图2所示,所述基于AR显示设备的算盘教学系统包括一控制器10、一获取端20以及一AR 表显端30,其中所述控制器10构建一虚像信息800来对应于所述教具,其中所述AR表显端30通过展现所述虚像信息800的动作来给予所述用户教导操作所述教具的方式。所述获取端20采集一真实信息900并提供至所述控制器10,从而提供具体的数据来辅助构建所述虚像信息800。所述真实信息900为真实的物理反馈信息。本优选实施例中指的是来自于所述用户或者所述教具的反馈数据。所述虚像信息800为对应于所述真实信息900而构建的三维虚拟数据。也就是说,所述获取端20通过收集现实中的物理数据,辅助所述控制器10构建虚拟模型和教导影像,通过所述AR表显端30将教导的影像呈现给所述用户,使得所述用户根据现实中的情况得到具体的教学和指导。因为不同所述用户的操作存在差异,那么所述获取端20通过获得不同所述用户的操作过程和结果提供至所述控制器 10进行相应的分析,使得不同的操作都找到相应的指导,进而完成个性化的指导。
更多地,所述控制器10根据所述获取端20的数据得到所述用户面对的所述教具的信息,通过对所述用户操作过程或者结果的分析,对所述用户进行提醒。所述控制器10搭载一定的教学知识,所述教学知识对应于所述教具的操作指南。也就是说,所述控制器10不仅对所述用户的操作情况进行虚拟模型的构建,而且通过对虚拟模型的分析,得到真实的操作情况,根据所述教学知识进行结果的分析,使得所述用户得到相应的反馈。另外,所述控制器10通过搭载不同种类的所述教学知识,实现多种类的教学和指导。优选地,所述控制器10预先地存储所述教学知识。根据构建的所述虚像信息800对应地调用相关的所述教学知识,或者所述用户相应地选择所述教学知识。所述控制器10在另外的实施例中可以从其他储存设备中下载并得到目标的所述教学知识,使得所述控制器10得到数据上的扩展,进而实现不同种类的教学和指导工作。
值得一提的是,本发明中所称的教具为对本次教学和指导的对象。也就是说,在尚未了解或者需要学习使用操作方法的实体物品。本发明中所指的实体物品为所述用户并不知晓如何正确操作,而且需要得到指导进行操作的物品。
所述基于AR显示设备的算盘教学系统进一步地提供至少一种工作模式,根据所述教具和对应的所述教学知识,所述获取端20相应地采集所述用户或者所述教具的所述真实信息900。优选地,对于具有主动反馈的所述教具,所述获取端20直接根据所述教具的反馈提取所述真实信息900。对于没有主动反馈的所述教具,所述获取端20采集所述用户的手势信息作为所述真实信息900。所述控制器10根据得到的所述真实信息900采取不同的构建方式而得到所述虚像信息800。
根据所述真实信息900和所述虚像信息800的具体表现形式各有两种,本优选实施例中所述真实信息900具有一真手信息901和一真物信息902,所述虚像信息800具有一虚手信息801和一虚物信息802。所述真手信息901为所述用户的真实手势,所述真物信息902为所述教具的真实状态或者动作。所述虚手信息 801为根据所述真手信息901所构建的手势虚拟模型,所述虚物信息802为根据所述虚物信息802所构建的所述教具的虚拟模型。需要注意的是,所述虚手信息 801是根据所述真手信息901而识别处理得到的,而所述虚物信息802在不同的工作模式下依据不同的信息而推理处理得到。
值得一提的是,本优选实施例中,对于动态和静态的信息并不作区分,因为对待动态信息和静态信息的处理是类似的,并不因为数据形式或者数据量的大小而区别对待。但是,因为静态信息代表一定的结果,而动态信息代表一定的过程,所以所表征的物理意义是不同的,得到的结果也具有相应的意义。
具体地,如图5A至图5D所示,本优选实施例中提供四种工作模式,其包括一演示模式100(如图5A)、一模拟模式200(如图5B)、一测验模式300(如图5C)以及一混合模式400(如图5D)。需要说明的是,对于完成任一的一种工作的所述基于AR显示设备的算盘教学系统的技术方案都是类似的,对本发明的技术特征并没有限制。换句话说,所述基于AR显示设备的算盘教学系统可以实现任一一种或者几种工作模式,下面对于工作模式的举例是为了更好的说明和阐述所述基于AR显示设备的算盘教学系统的技术特征。
对于所述演示模式100,需要进行教学的所述教学知识被所述控制器10所调用。所述获取端20优选地获取所述真物信息902并提供至所述控制器10。所述控制器10利用模型库和所述获取端20采集到的所述真物信息902,进一步地构建所述虚物信息802。按照所述教学知识,所述控制器10编辑所述虚物信息802 的影像。最后,所述AR表显端30接收所述控制器10输出的影像并展现,使得所述用户通过所述AR表显端30得到基于所述真物信息902的教学知识。也就是说,所述AR表显端30将所述真物信息902对应构建而成所述虚物信息802 进行播放。那么所述用户得到的影响中是使用所述真物信息902而构成的,对应于现实中的所述教具十分贴合,也得到更加具体的、有针对性的、差异较小的教学影像。
对于所述模拟模式200,需要进行教学的所述教学知识被所述控制器10所调用。所述获取端20优选地获取所述真手信息901并提供至所述控制器10。所述控制器10利用模型库和所述获取端20采集到的所述真手信息901,进一步地构建所述虚手信息801。所述控制器10根据所述教学知识构建所述虚物信息802。需要说明的是,所述真手信息901和所述虚手信息801为相互关联的,而所述虚物信息802可以被所述虚手信息801进一步地操控而动作。值得注意的是,所述真手信息901为过程性的操作,那么所述虚手信息801也为过程性的虚拟操作,所述虚物信息802被所述虚手信息801的动作而进行相应的改变。特别地,所述虚物信息802可以由所述获取端20从所述真物信息902中得到建模信息,但是所述虚物信息802并不与所述真物信息902相互关联。那么,所述控制器10针对所述虚手信息801的动作而按照一定的逻辑改变所述虚物信息802的状态。而且,所述虚物信息802的状态地受到所述教学知识的限制的,所述控制器10主导编辑所述虚物信息802的影像。最后,所述AR表显端30接收所述控制器10 输出的影像并展现。这样,所述用户可以利用没有主动反馈的所述教具或者无教具的情况下,通过观看所述虚物信息802得到自己操作的效果。在该模式下,可以没有实物算盘902,真手901可以直接拨动虚拟算盘802,其实是通过真手901 的手指空间位置,与虚拟算盘802上算珠的空间位置做位置关系判断,允许在阈值范围内,设定某虚拟算珠被触发而被拨动。
对于所述测验模式300,需要进行教学的所述教学知识被所述控制器10所调用。所述获取端20优选地获取所述真物信息902并提供至所述控制器10。所述控制器10利用模型库和所述获取端20采集到的所述真物信息902,进一步地构建所述虚物信息802。值得注意的是,所述真物信息902为过程性的操作,那么所述虚物信息802也为过程性的虚拟操作,所述虚物信息802的构建基于所述真物信息902的变化而动作。并且,所述控制器10所构建的所述虚物信息802的动作部分地代表了所述真手信息901的动作。所述AR表显端30接收所述控制器10输出的影像并展现。另外,所述控制器10依据所述教学知识对所述虚物信息802进行评价,也就是对所述真物信息902的动作进行评价,所述用户可以从中得到操作的评价。例如,所述控制器10根据反馈的所述真物信息902构建出所述虚物信息802,并纠正所述虚物信息802在动作过程中的问题。
对于所述混合模式400,需要进行教学的所述教学知识被所述控制器10所调用。所述获取端20获取所述真手信息901并提供至所述控制器10。所述控制器 10利用模型库和所述获取端20采集到的所述真手信息901,进一步地构建所述虚手信息801。所述真手信息901和所述虚手信息801为相互关联的。所述获取端20获取所述真物信息902并提供至所述控制器10。所述控制器10利用模型库和所述获取端20采集到的所述真物信息902,进一步地构建所述虚物信息802。与所述测验模式300不同的是,所述虚物信息802可以被所述虚手信息801进一步地操控而动作。也就是说,所述控制器10针对所述虚手信息801的动作而按照一定的逻辑改变所述虚物信息802的状态。而且,所述虚物信息802的状态地受到所述教学知识的限制的,所述控制器10主导编辑所述虚物信息802的影像。最后,所述AR表显端30接收所述控制器10输出的影像并展现。需要注意的是,所述用户利用没有主动反馈的所述教具的情况下,通过观看所述虚物信息802得到自己操作的效果。而所述教具提供所述真物信息902的情况下,所述虚物信息 802对应于所述真物信息902进行构建和操作动作。优选地,所述混合模式400 的所述AR表显端30适于通过AR技术将所述虚手信息801和所述虚物信息802 的影像进行展现。那么所述用户视听的均为所述虚像信息800,但是所述虚像信息800是对应于所述真实信息900而构建的,更具体进行操作类的教学。
所述获取端20和所述表现端30的具体示意如图1至图4所示。所述获取端 20包括一动作采集单元21和一硬件反馈单元22,其中所述动作采集单元21朝向所述用户的视线前方,进而采集所述用户的所述真手信息901,其中所述硬件反馈单元22被设置于所述教具或者能收集完整所述教具的摄像设备,进而向所述控制器10反馈所述硬件反馈单元22所收集到的所述真物信息902。所述AR 表显端30被搭载于一头戴视听设备311,其中所述AR表显端30执行所述控制器10输出的影像。尤其是所述控制器10输出的所述虚物信息802,所述虚物信息802通过所述头戴视听设备311直接地呈现给所述用户。特别地,所述虚物信息802与所述真物信息902为对应的。所述虚物信息902可以通过所述硬件反馈单元22所收集的所述真物信息902而被所述控制器10相对应的构建。所述虚物信息902可以通过所述动作采集单元21所收集的所述真手信息901而被所述控制器10相对应构建的所述虚手信息801而动作。也就是说,所述虚物信息902 的构建是藉由所述硬件反馈单元22的收集而完成的,而所述虚物信息902被操作的动作构建可以通过所述硬件反馈单元22也可以通过所述虚手信息802的带动而推理得到。
所述AR表显端30包括一屏显单元31,其中所述屏显单元31接收所述控制器10传来的输出结果,并形成影像向所述用户提供。优选地,所述屏显单元31 朝向所述用户。值得一提的是,所述屏显单元31所播放的影像中,所述虚物信息802为对应于所述真物信息902而被显示的。优选地,所述虚物信息802和所述真物信息902在形状上也是相互对应的。也就是说,优选地,所述真物信息902和所述虚物信息802在外形上是一致的,动作上也是一致的,使得所述用户观看到所述真物信息902的同时,也看到所述虚物信息802。那么所述虚物信息 802的指导动作对于所述用户来说是非常直观的。本优选实施例中,所述屏显单元31通过增强现实技术(Augmented Reality),使得所述用户在观看所述教具的同时,也可以看到对应的所述虚物信息800,并从所述虚物信息800的指导中获得最直接的学习。
为了方便说明,本优选实施例中选用珠算教学作为举例说明,而所述用户需要得到算盘正确使用方法的学习和练习。一般的教导中,珠算或者珠心算需要指导教师,而且需懂算盘、拨珠手势、算盘口诀、教育难易和循序渐进,还要出考题,并判断对错,纠正儿童手法和算法。这些指导教师或者开办的培训班给予的正面指导很少,而大多数的父母在家中不能很好的指导学生。目前也没有专业的沉浸式算盘教育工具来代替人工教育。本优选实施例中,使用一算盘具体地作为所述教具。而且,所述教具可以为对应于所述基于AR显示设备的算盘教学系统和方法而定制的,也可以作为一般的硬件教具而存在。所述用户佩戴所述头戴视听设备311使用算盘。
更具体地,如图6至图8所示,所述基于AR显示设备的算盘教学系统的架构被阐述。所述控制器10包括一输入单元11、一存储单元12、一构建单元13 以及一输出单元14。所述输入单元11获得对所述控制器10运行的指令并传至所述存储单元12和所述构建单元13。所述存储单元12预先地存储所述教学知识以及对应的所述虚像信息800的模型数据。所述构建单元13从所述输入单元 11得到指令,并根据所述存储单元12具有的所述教学知识相应的构建所述虚像信息800。优选地,所述输入单元12将所述真物信息902的动作输入,结合所述存储单元12的模型数据,所述构建单元13处理为所述虚物信息802并输出至所述输出单元14。所述AR表显端30获得输出数据而将所述虚像信息800展示。所述屏显单元31显示出所述虚像信息800,使得所述用户得到对应于所述真物信息902的所述虚物信息802,并且所述虚手信息801根据需要被显示。
更多地,所述AR表显端30进一步包括一硬件显示单元32,其中所述硬件显示单元32接收所述控制器10的所述输出单元14的数据结果。所述硬件显示单元32被置于所述教具,通过在所述教具上显示信息而得到提醒。
更多地,所述输入单元11包括一指令给入模块111和一动作采集模块112,其中所述指令给入模块111将收集对所述存储单元12和所述构建单元13的外部指示,其中所述动作采集模块112得到所述动作采集单元211所采集的所述真手信息901和所述硬件反馈单元22采集的所述真物信息902。所述动作采集模块 112将所述真手信息901和所述真物信息902进行收集,按照所述指令给入模块 111的指令,将所述真手信息901或者所述真物信息902交至所述存储单元12 记录,或者将所述真手信息901和所述真物信息902交至所述构建单元13辅助对所述虚像信息800的构建。
所述存储单元12包括一知识模块121、一测试模块122、一记录模块123、以及一模型数据模块124,其中所述知识单元121预先地记录所述教学知识,其中所述测试模块122预先地记录不符合所述教学知识的操作,其中所述记录模块 123收集所述动作采集模块112中的所述真手信息901和所述真物信息902并记录,其中所述模型数据模块124预先地记录与所述教学知识相关的虚拟模型。也就是说,所述储存单元12提供所述教学知识和与所述教学知识相关的判断标准,使得所述用户的操作得到指导。而且,所述存储单元12的储存结构优选为分类式的储存,方便所述构建单元13同时调用不同的数据。例如,从所述模型数据模块124调用现有的算盘模型的同时,从所述知识模块121调用算盘的指法知识,提供处理和传输速度。
算盘分2种,10进制一竖档中含上1、下4珠的算盘和16进制(秦朝制定斤两的十六进位制,即1斤为16两)一竖档中含上2、下5珠的算盘。10进制和16进制模式可以切换,本优选实施例以10进制为例进行介绍,即便使用上2、下5珠的算盘,通过所述输入单元11的所述指令给入模块111设定使用10进制的所述教学知识,那么所述动作采集模块12也只将上珠中只识别靠横梁的上珠,下珠中只识别靠横梁的4颗下珠。也就是说,所述动作采集模块12针对需要使用的所述真物信息902进行传达。那么,对于其余算珠的异动都会被认为是拨动错误,或者视为无效。
更多地,所述知识模块121和所述测试模块122中的相应调用部分也可以通过所述指令给入模块111进行选择和设定。例如,针对珠算教学,需要教授的所述教学知识包括三位数加减法等等方面。那么按照一定的进度,所述教学知识按照一定的顺序被储存在所述知识模块121中。一种可行的顺序为:
1、认识算盘(提示框、边、横梁和珠,以及“个、十、百、千、万”位);
2、认识算珠对应的数字;
3、学习5以内加法和加法口诀、10以内加法和加法口诀;
4、学习5以内减法和减法口诀、10以内减法和减法口诀;
5、认识位阶;
6、加法进位(进十加、破五进十加),20以内加法,加法进位口诀;
7、减法退位(退位减、退十补五减),20以内减法,减法退位口诀;
8、一百以内加法,个十两位加法;
9、一百以内减法,个十两位减法;
10、三位数加法,个十百三位加法;
11、三位数减法,个十百三位减法;
12、千万位(5位数)加减法;
13、角分位(小数位数)加减法。
默认地,按照既定的顺序进行指导。当然,根据上述的顺序中可以还穿插有
算盘减法口诀
直减 破5减 退位减 退10补5的减
1 一下一 一上四去五 一退一还九
2 二下二 二上三去五 二退一还八
3 三下三 三上二去五 三退一还七
4 四下四 四上一去五 四退一还六
5 五下五 五退一还五
6 六下六 六退一还四 六退一还五去一
7 七下七 七退一还三 七退一还五去二
8 八下八 八退一还二 八退一还五去三
9 九下九 九退一还一 九退一还五去四
心算练习,即算盘(图形)右脑记忆和右脑运算,通过潜移默化通过眼看、脑记、手拨、耳听等多感官刺激。或者通过选择,改变顺序或者挑选一个或几个进行指导。一种教育的加/减法口诀表如下:
优选地,所述知识模块121和所述测试模块122可以具体的进行分级和分层。例如,所述测试模块122还包括难度不同的珠算题库、10/16进制手势指法库、 10/16进制加减乘除口诀库等等。
更多地,所述构建单元13包括一环境构建模块131、一动作认知模块132以及一结果判断模块133,其中所述环境构建模块131从所述输入单元11和所述存储单元12获取数据并构建对应于所述真物信息902的所述虚物信息802,其中所述动作认知模块132连接所述环境构建模块131并根据所述动作采集模块 112的动态进行编辑进而向所述结果判断模块133传递所述虚像信息800的动作,其中所述虚像信息800的动作被所述结果判断模块133根据所述教学知识进行分析,得到对于所述虚像信息800的评价。需要注意的是,虽然最后为对所述虚像信息800,尤其是所述虚物信息802的动作进行评价,但是因为所述虚像信息800为对应于所述真实信息900而构建的,所述用户可以得到自己真实操作的评价。
具体地,所述环境构建模块131包括一手势构建子块1311和一物体构建子块1312,其中所述物体构建子块1312结合所述模型数据模块124和所述输入单元11的真物信息902而构建所述虚物信息802,其中所述手势构建子块1311结合所述模型数据模块124和所述输入单元11的所述真手信息901而构建所述虚手信息801。所述动作认知模块132包括一轨迹识别子块1321和一改变识别子块1322,其中所述轨迹识别子块1321获得所述环境构建模块131的所构建出的所述虚像信息801和所述存储单元12中的数据,进而得到所述虚物信息802动作的动态信息,其中所述改变识别子块1322根据所述虚物信息802的动作信息的结果。也就是说,为了得到所述虚物信息802对应于所述真物信息902的动作和结果,所述轨迹识别子块1321按照时间顺序对构建的所述虚物信息802进行排列,排列后得到的动作结果被所述改变识别子块1322按照先后的两者比较效果而得到。所述结果判断模块133包括一硬件结果纠正子块1331和一动作纠正子块1332,其中所述硬件结果纠正子块1331从所述改变识别子块1322得到所述虚像信息802的动作结果,其中所述动作纠正子块1332从所述轨迹识别子块 1321得到所述虚手信息801的动作结果。
所述输出单元14与所述AR表显端30连接,并将所述构建单元13的结果交至所述AR表显端30而播放。所述AR表显端30将所述虚物信息802播放的同时,对于所述虚物信息802动作的结果和评论也被显示。也就是说,所述虚物信息802外形不仅被构建,所述虚物信息802的动作轨迹也被呈现,所述虚物信息802改变的结果也经过评价进而被展现。
本优选实施例中,所述具现式教导方法的流程如图9至图13所示。所述具现式教导方法,包括:
a.获取一教具的真物信息902;
b.根据所述教具的所述真物信息902,构建相对应的一虚物信息802;
c.显示所述虚物信息802;以及
d.根据工作模式,依据所述虚物信息802进行评价。
更多地,步骤c中的所述虚像信息802的图像显示为叠加于所述教具而显示的。
在本优选实施例中,对于珠算的教学具体的实施为:首先,所述头戴视听设备311可以识别实物算盘的“四边框、竖档、横梁、算珠”;通过虚实影像的叠加,可以对用户进行认识算盘的基础教学;第二,所述头戴视听设备311可以从算盘中的算珠直接读出数值,包括个、十、百、千、万等数位和具体的数值等;第三,所述头戴视听设备311可以通过(喇叭)声音播报或者虚拟投射视频进行出题;第四,所述头戴视听设备311可以识别用户拨珠的正确与否,以及拨珠动作的指法正确与否;第五,所述头戴视听设备311可以声音提示,比如提示拨珠口诀,对用户进行提示;第六,所述头戴视听设备311还可以生成虚拟手在真实算盘上(叠加显示)进行拨珠演示,拨珠演示时,珠子的显示形态区别于非演示时,比如高亮、闪烁处理等。
更具体地,对于所述演示模式100,需要进行教学的所述教学知识从所述储存单元12的所述知识模块121调用。所述获取端20的所述硬件反馈单元22获取所述真物信息902并提供至所述控制器10的所述构建单元13的所述环境构建 131。所述环境构建131的所述物体构建子块1312利用模型库和所述获取端20 采集到的所述真物信息902,进一步地构建所述虚物信息802。按照所述教学知识,所述轨迹识别模块1321编辑所述虚物信息802的影像。最后,所述AR表显端30接收所述结果判断133输出的影像并展现,使得所述用户通过所述AR表显端30得到基于所述真物信息902的教学知识。也就是说,所述AR表显端 30将所述真物信息902对应构建而成所述虚物信息802进行播放。那么所述用户得到的影响中是使用所述真物信息902而构成的,对应于现实中的所述教具十分贴合,也得到更加具体的、有针对性的、差异较小的教学影像。
如图10至图13所示,根据不同的工作模式,对所述虚物信息802的构建进行说明。
所述硬件反馈单元22通过获取所述教具的外形参数,所述物体构建子块1312 根据所述模型数据模块124中的模型数据进行调整。也就是说,所述物体构建子块1312优选地通过寻边拟合的方式,从形状数据上进行构建所述虚物信息802。优选地,所述教具,即算盘,被设置有传感器,通过陀螺仪等等传感器主动地提供数据而定位,方便于所述获取端20进行寻边拟合操作。
如图14和图15所示,优选地,为了实现所述虚物信息802和所述真物信息 902在外形上重合,所述环境构建131的所述物体构建子块1312对所述真物信息902的处理方式如下列举。
所述获取端20的所述硬件反馈单元22使用2D/3D激光轮廓扫描仪进行寻 (算盘)边定位,即直接获取了高度、角度和成像的参数。
采用定制化的教具,算盘设有高度计或陀螺仪,计算机根据高度计或陀螺仪的参数反馈,获取算盘高度参数和角度参数,并根据上述参数推算出成像参数。
采用定制化的教具,在算盘四角中至少三个角上设定二维码,方便所述获取端20的摄像头定位捕捉,即直接获取了高度、角度和成像的参数。
采用定制化的教具,算盘的边框部分是透明(有机)材质构成,其下设有LED 灯,所述获取端20的通过LED灯构成的线条,获取了高度、角度和成像的参数;
采用定制化的教具,使得算盘大小尺寸参数和横梁、竖档、珠的参数,与所述模型数据模块124中的算盘为1:1参数数字化复制,使得所述屏显单元31直接投射出一个算盘,算盘的高度,倾斜度、平行透视还是成角透视。为了调整方便,所述指令给入模块111通过调节控制开关进行调节。一种实施方式中,设有前/后/上/下/确认等按钮设置在所述头戴视听设备311上,直到所述虚物信息802 的虚拟算盘与视野中的所述真物信息902的真实算盘的盘面重合。
所述具现式教导方法的步骤b进一步包括以下步骤:
b1.从所述硬件反馈单元22中,请求得到所述真物信息902;
b2.提供所述真物信息902中的外形参数;以及
b3.选择所述真物信息902中的任一角点作为坐标系远点,建立坐标体系;以及
b4.根据真实所述真物信息902拟合出所述虚物信息802。
针对本优选实施例中算盘,具体的方法包括步骤:第一、获取计算机中运行影像量测系统显示的算盘影像;第二、不通过用户选择,直接获取算台的设置高度信息、算盘的摆放角度信息和盘面横梁、竖档位置参数;第三、判断算台是成角透视还是平行透视,确定成像参数;第四、确定坐标原点为算盘四角中的任一角点,建立统一的算盘坐标体系;第五、在该高度和该平面和坐标原点的基础上,根据真实算盘的横梁、竖档拟合出虚拟算盘的横梁、竖档,进而完成所述虚物信息802的构建。
另外,所述物体构建子块1312优选地使用OpenCV数据库,基于BSD许可发行的跨平台计算机视觉库,可以运行在Linux、Windows、Android和Mac OS 操作系统上。它轻量级而且高效--由一系列C函数和少量C++类构成,同时提供了Python、Ruby、MATLAB等语言的接口,实现了图像处理和计算机视觉方面的很多通用算法。通过调用OpenCV中的寻边函数,输出“框架式图形”,对算盘、横梁、竖档和算子进行边界寻找定位。
另外,所述物体构建子块1312优选地使用OpenGL(Open Graphics Library),一个跨编程语言、跨平台的编程接口规格的专业的图形程序接口。它用于三维图像(二维的亦可),是一个功能强大,调用方便的底层图形库。
另外,所述物体构建子块1312优选地使用OpenGLTM。本领域的人员可以理解的是OpenGLTM是行业领域中最为广泛接纳的2D/3D图形API,是独立于视窗操作系统或其它操作系统的,亦是网络透明的。OpenGLTM帮助程序员实现在 PC、工作站、超级计算机等硬件设备上的高性能、极具冲击力的高视觉表现力图形处理软件的开发。在之前的“框架式图形”上渲染出“虚拟的”算盘和算珠的图像。在3DOF场景(X、Y和旋转Z)中,设定一个和现实算盘大小一致的算盘, 使得虚拟的算盘在视野中是和真实的算盘重合的。为了保证虚拟的算盘和真实的算盘重合,在调整好位置后可以进行调整虚拟算盘的位置,用来保证虚拟的算盘和真实的算盘的位置重合。
另外,所述物体构建子块1312优选地使用Direct3D或者OpenGL的图像渲染技术,在所述屏显单元31中生成并叠加显示所述虚物信息802,进而叠加显示算珠的虚像。另外,OpenCV技术和SIFT(Scale Invariant Feature Transform)—尺度不变特征变换区域检测算法,也优选地实施于所述环境构建模块131。
更多地,所述屏显单元31将所述虚物信息802与所述真物信息802相互叠加显示。优选地,所述头戴视听设备311中的传感器和所述教具中的主动反馈可以提供所述头戴视听设备311和所述教具之间的位置信息。例如,在头戴视听设备311是由所带设备的陀螺仪和3DOF来确定的,而算盘的位置确定的方式有多重。例如,当用户座位调整好后可以通过所述指令给入模块111进行调整指令的输入。具体为手柄或者所述头戴视听设备311上的按钮来调整各自的算盘的位置和角度,通过对各种调整来达到视觉上的虚拟算盘和真实算盘重合。
优选地,通过所述物体构建子块1312中应用采用OpenCV技术,使得所述虚物信息802的特征点被提取。也就是将算盘的特征点通过SIFT进行提取。然后将特征点输入到特征匹配库中,通过设备的摄像头拍摄出视野的所见的照片,然后将原始图像转为单通道灰度图像,进行二值化处理,通过黑白像素值差得到边缘点,在边缘点找到合适的区域,通过处理的2D图片和3DOF相结合,计算出所述头戴视听设备311和所述教具的相对距离和坐标,将所述头戴视听设备 311中的所述屏显单元31所播放的所述虚物信息802的坐标移动到和现实算盘重合。
对于所述模拟模式200,需要进行教学的所述教学知识被所述控制器10所调用。所述获取端20的所述动作采集单元21地获取所述真手信息901并提供至所述控制器10的所述手势构建子块1311。所述控制器10利用模型库和所述获取端20采集到的所述真手信息901,进一步地构建所述虚手信息801。所述控制器 10根据所述教学知识构建所述虚物信息802。需要说明的是,所述真手信息901 和所述虚手信息801为相互关联的,而所述虚物信息802可以被所述虚手信息801进一步地操控而动作。值得注意的是,所述真手信息901为过程性的操作,那么所述虚手信息801也为过程性的虚拟操作,所述虚物信息802被所述虚手信息801的动作而进行相应的改变。
优选地,所述手势构建子块1311利用LEAP MOTION,一款微米级3D手动交互设备,可以追踪到小至0.01毫米的动作,拥有150度的视角,可以跟踪1 个人的10个手指的动作,最大频率是每秒290帧。所述手势构建子块1311营造的空间中捕捉手势,显示手和手臂骨架,人的一只手,有29块骨头、29个关节、123根韧带、48条神经和30条动脉。这是一种精密、复杂和令人惊叹的技术。但人却能不费吹灰之力,轻松掌握。所述手势构建子块1311掌握这一技术,也就是说它不可能检测出非人手能及的手势出来。所述手势构建子块1311 叠加入AR三维展示空间,手势与AR三维展示空间中的物体进行互动/反馈,精确追踪。从技术上说,优选为一个8立方英尺的可交互式3D空间。所述手势构建子块1311追踪全部人的10只手指,精度高达1/100毫米。优选地使用150°超宽幅的空间视场,可以像在真实世界一样随意在3D的空间移动双手。在Leap Motion应用中,可以伸手抓住物体,移动它们,甚至可以更改视角。所述手势构建子块1311和所述轨迹识别子块1321以超过每秒200帧的速度追踪手部移动,进而实现完美同步的原因。
被识别对象包括拇指(Thumb finger)、食指(Index finger)、中指(Middlefinger)、无名指(Ring finger)、小拇指(Pinky finger),每个手指可以获取其初始位置start(X,Y,Z),终止位置end(X,Y,Z)和方向direction(pitch,roll,yaw)。基于AR/VR显示的方式,结合Leap Motion(2个红外线摄像头)感应器,来实现手势抓取虚拟物体的功能。具体的一种所述手势构建子块1311和所述轨迹识别子块1321的工作方法如下:
I.利用Unity3D引擎,搭建一个3D的虚拟场景空间,在该虚拟场景空间创建所述虚手信息801;
II.接入高通制作的六自由度的SDK(Software Development Kit),通过设备上的陀螺仪定位数据,计算设备在虚拟场景中的位置,同时映射到Unity3D创建的虚拟场景空间中,从而实现能够在3D空间中旋转以及行走的6DOF效果;以及
III.接入所述手势构建子块1311提供的识别手势(空间参数)的SDK,在虚拟场景空间中加入手模型(包括手部和手臂)。例如,加入Leap Motion的驱动以及硬件设备支持。所述轨迹识别子块1321把驱动检测到的手势信息参数传递到Unity3D,映射这些信息到手模型上,即可实现将所述真手信息901模拟成所述虚手信息801,并呈现到虚拟的3D场景空间中。特别地,所述虚物信息802 可以由所述获取端20从所述真物信息902中得到建模信息,但是所述虚物信息 802并不与所述真物信息902相互关联。也就是说,特别地,所述模拟模式200 适于没有主动反馈功能的所述教具或者没有教具。那么,所述控制器10针对所述虚手信息801的动作而按照一定的逻辑改变所述虚物信息802的状态。
更具体地,在所述轨迹识别子块1321中利用Unity3D引擎将所以虚手信息 801进行分析计算,得到一些特定的手势形状或者动态过程,比如拇指/食指的“拨”,进而得到“拨”动作的开始和结束。开始和结束时依照食指和拇指指尖的距离进行设定。当指尖的距离小于所述教具(例如,一颗虚拟算珠)周边的某个阈值即为进入“拨”的状态,大于某个阈值,即为离开“拨”的状态。
所述轨迹识别子块1321识别“拨”动作之后,再在其中加入交互。例如“拨”动一个实体算珠。那么对应的,在虚拟空间中,所述虚手信息801的拇指或者食指指尖的位置创建一个可以用于触发的介质体(例如,一球体),介质体的角度会随虚拟手指的旋转而转动。当所述虚手信息801拨动虚拟算珠时,即该虚拟算珠的触发器与介质体接触或相交,一般所述虚物信息802的触发器被设定在物体的表面上,然后将算珠与介质体的位置和角度进行锁定,相当于将算珠挂靠在介质体上,这样所述虚手信息801移动和旋转也会带着虚拟物体移动和旋转。从而实现拨动的功能。但在实际拨动虚拟算盘的互动中,对应挂靠住触发介质体后的算珠,只开放该算珠在“竖档”一个自由度移动。当然,值得一提的是,当指尖介质体挂靠住的是某算珠下侧,即往上推时,该算珠的上侧若干算珠(如果有) 同时被锁定触发;当指尖介质体挂靠住的是某算珠上侧,即往下推时,该算珠的下侧若干算珠(如果有)同时被锁定触发。在一种可行的方式中,将设定拇指和食指的指尖为有效的触发器。所以,当用户用其他手指的指尖去移动算珠时,所述轨迹识别子块1321会视为无效,有限地进行提示,如提示“手势指法出错,请归位,重新拨动”。若设定为“左撇子模式”时,即便用右手的拇指和食指去拨动算珠,都被认为是“手势指法出错,请归位,重新拨动”。
需要说明的是,本发明中所述环境构建模块131和所述动作认知模块132使用一些软件平台作为可以实施的说明,但是并不局限于这些已有的软件平台。除了Leap Motion能识别(徒手)手势控制以外,还可以uSens Fingo、Kinect、 Xtion Pro、Real Sense等体感传感器,或者通过手柄控制、智慧手套、手表式IMU 传感器等控制器获取手部动作参数的空间值和反馈值。
所述动作判断模块133根据所述动作认知模块132的结果,参考所述教学知识进行评价。也就是说,所述虚物信息802的状态地受到所述教学知识的限制的,所述虚物信息802的影像也是对应于所述教学知识的。特别地,利用所述虚手信息801和所述虚物信息802之间的介质体,所述用户可以利用没有主动反馈的所述教具或者无教具的情况下,通过观看所述虚物信息802得到自己操作的效果。
对于所述测验模式300,需要进行教学的所述教学知识被所述控制器10所调用。所述获取端20优选地获取所述真物信息902并提供至所述控制器10。所述控制器10利用模型库和所述获取端20采集到的所述真物信息902,进一步地构建所述虚物信息802。值得注意的是,所述真物信息902为过程性的操作,那么所述虚物信息802也为过程性的虚拟操作,所述虚物信息802的构建基于所述真物信息902的变化而动作。对于构建所述虚物信息801的方式可以参考上述的工作模式。
对于具有主动反馈的教具,可以更直接的反馈所述虚物信息801的动作状态。这里还是使用算盘进行举例说明,除了摄像头可以通过图像识别技术获取算盘上的算珠读数外,算盘可经过特殊构建,借以获取拨动算珠的行为结果。
一种定制化的所述教具的横梁上下两侧各有多条电路,单侧的电路数量与竖档的数量一致,每条电路(只有一处断路)在对应的竖档处为断路。每个算珠都内嵌一个电阻,但每竖档上的电阻值是不同的,比如在个位竖档上的每下珠电阻 1Ω,上下珠一致或者每上珠电阻5Ω;但在十位上的每下珠电阻10Ω,上下珠一致或者每上珠电阻50Ω;百位上的每下珠电阻200Ω,上下珠一致或者每上珠电阻500Ω,依次类推。
当个位竖档上是1时,横梁下“个位”电路中串联入1Ω,当个位竖档上是 2时,电路中串联入2Ω(第2珠与第1珠一碰触,即并联接入横梁下“个位”电路中);当个位竖档上是5时,横梁上“个位”电路中串联入5Ω。
当十位竖档上是1时,横梁下“十位”电路中串联入10Ω,当十位竖档上是 2时,电路中串联入20Ω(第2珠与第1珠一碰触,即并联接入横梁下“十位”电路中);当十位竖档上是5时,横梁上“十位”电路中串联入50Ω。
当百位竖档上是1时,横梁下“百位”电路中串联入100Ω,当百位竖档上是2时,电路中串联入200Ω(第2珠与第1珠一碰触,即并联接入横梁下“百位”电路中);当百位竖档上是5时,横梁上“百位”电路中串联入500Ω。
以此类推,算盘能够主动地反馈算盘上的珠数。也就是说,通过通路电路和电阻大小计算,可以为所述动作认知模块132提供比较直接的出拨珠结果。
在另外一些可行的实施例中,算珠内除了可以设置不同电阻,也可以设置不同电源,通过获取不同电路中接入的电源电压/电流值,计算出拨珠结果。
在另外一些可行的实施例中,每颗算珠内可以设有位移传感器,当算珠被移动后,位移传感器即获取,某档上的上珠移动还是下珠移动,从而获取拨动结果,
在另外一些可行的实施例中,算盘中还设有处理芯片和通信芯片,通过有线 /无线方式把计算结果通知给所述动作认知模块132。
那么,所述控制器10所构建的所述虚物信息802的动作部分地代表了所述真手信息901的动作。所述AR表显端30的所述屏显单元31接收所述控制器 10输出的影像并展现。另外,所述控制器10的所述结果判断133依据所述教学知识对所述虚物信息802进行评价,也就是对所述真物信息902的动作进行评价,所述用户可以从中得到操作的评价。例如,所述控制器10根据反馈的所述真物信息902构建出所述虚物信息802,并纠正所述虚物信息802在动作过程中的问题。更多地,可以通过语音的直接提示,例如拨上珠或者拨下珠几颗来指导使用所述教具。另外,可以通过所述教具的反馈来指示工作,比如通过open gl进行高亮、闪烁等图像渲染处理。
一种实施方式中,如图5C进行所述演示模式100。调用所述知识模块121 的教学知识,在所述虚物信息802的虚拟算盘(重叠于所述真物信息902的实物算盘)的上方显示某个算数考题“5+4=?”。接着,再调用所述环境构建131按照所述教学知识构成所述虚手信息801。进而,在虚拟算盘上,显示出用所述虚手信息801的虚拟食指在个位竖档上,拨下1颗上珠,然后,用拇指在个位竖档上,拨上3颗下珠,在刚才的算数考题显示“5+4=9”。也就是说,显示出完整的教学影像。
进行所述模拟模式200,调用所述知识模块121的教学知识,在所述虚物信息802的虚拟算盘(重叠于所述真物信息902的实物算盘)的上方显示某个算数考题“5+4=?”。接着,再调用所述环境构建131按照所述教学知识构成所述虚手信息801。所述虚手信息801对应所述真手信息901,所述真手信息901在虚拟算盘上进行操作时,所述虚手信息801在相应地动作。例如,所述虚手信息 801的虚拟食指在个位竖档上,拨下1颗上珠,然后,用拇指在个位竖档上,拨上3颗下珠,也就是正确的操作,则在刚才的算数考题显示“5+4=9”,表明正确。如果,所述虚手信息801动作或者结果错误,则在刚才的算数考题显示“5+4=?指法有误,结果错误”,表明错误。
进行所述测验模式300,调用所述知识模块121的教学知识,在所述虚物信息802的虚拟算盘(重叠于所述真物信息902的实物算盘)的上方显示某个算数考题“5+4=?”。接着,根据所述用户在所述教具上操作,得到所述教具的主动反馈,例如电阻或者电压的变化。进而,在虚拟算盘上,构建出所述算珠移动的影像,使得所述虚物信息802对应于所述真物信息902的变动。如果,反馈结果正确,则在刚才的算数考题显示“5+4=9”,表明正确。如果,反馈结果错误,则在刚才的算数考题显示“5+4=?结果错误”,表明错误。
因此,所述基于AR显示设备的算盘教学系统可以代替老师教学,教学质量可以保证,而且教学地点不受教育场所的限制。通过声音和VR/AR手段进行演示教育,效果更直观。出题并进行考题核对,解决了只教学,不对教学进行验证反馈的问题。对用户的手势进行识别,纠正用户的错误指法。对用户的拨珠手势进行识别,除了指出用户的错误拨珠指法外,还可以进行拨珠演示。另外可以进行左右手切换识别,方便左撇子用户的使用。
对于所述混合模式400,需要进行教学的所述教学知识被所述控制器10所调用。所述获取端20的所述动作采集单元21获取所述真手信息901并提供至所述控制器10。所述控制器10利用模型库和所述获取端20的所述动作采集单元2 采集到的所述真手信息901,进一步地构建所述虚手信息801。所述真手信息901 和所述虚手信息801为相互关联的。所述获取端20获取所述真物信息902并提供至所述控制器10。所述控制器10利用模型库和所述获取端20的所述硬件反馈单元22采集到的所述真物信息902,进一步地构建所述虚物信息802。与所述测验模式300不同的是,所述轨迹识别子块1321编译所述虚物信息802可以被所述虚手信息801进一步地操控而动作。也就是说,所述控制器10针对所述虚手信息801的动作而按照一定的逻辑改变所述虚物信息802的状态。而且,所述虚物信息802的状态地受到所述教学知识的限制的,所述控制器10主导编辑所述虚物信息802的影像。最后,所述AR表显端30接收所述控制器10输出的影像并展现。需要注意的是,所述用户是在利用没有主动反馈的所述教具的情况下,通过观看所述虚物信息802得到自己操作的效果。而所述教具提供所述真物信息 902的情况下,所述虚物信息802对应于所述真物信息902进行构建和操作动作。那么所述用户视听的均为所述虚像信息800,操作的是所述真物信息902,而且所述虚像信息800是对应于所述真实信息900而构建的,是贴近现实的操作体验和教学方式。
本发明提供的实施例具有以下有益效果:
1、机器教学代替老师教学,教学质量可以保证;教学地点不受教育场所的限制。
2、基于AR显示设备的算盘教学系统,通过声音和AR手段进行演示教育,效果更直观。
3、基于AR显示设备的算盘教学系统,可以进行出题,并进行考题核对,解决了只教学,不对教学进行验证反馈的问题。
4、基于AR显示设备的算盘教学系统,可以对用户的拨珠手势进行识别,纠正用户的错误拨珠指法。
5、基于AR显示设备的算盘教学系统,拥有手势指法库,可以进行左右手切换识别,方便左撇子用户的使用。
6、基于AR显示设备的算盘教学系统,可以对用户的拨珠手势进行识别,除了指出用户的错误拨珠指法外,还可以进行拨珠演示。
7、这些课程中,还穿插有心算练习,即算盘(图形)右脑记忆和右脑运算,通过潜移默化通过眼看、脑记、手拨、耳听等多感官刺激,培养儿童的心算能力。
8、基于AR显示设备的算盘教学系统,呈现出具体现实化的知识,通过增强现实影像和纠正反馈对个人进行教育和指导,从而提供完整的、直观的、个性化的学习过程。
9、基于AR显示设备的算盘教学系统,通过直接的影像为一用户提供模拟真实的应用场景,使得所述用户获得沉浸式体验。
10、基于AR显示设备的算盘教学系统,根据所述用户所使用的至少一教具进行虚拟模型的构建,通过虚拟物体的演示进行仿真教育,使得对知识的呈现更为具体,更为详细。
11、基于AR显示设备的算盘教学系统,根据所述用户的手势操作或者动作结果,依据教学知识进行评价和纠正,对学习的效果进行及时的反馈,所述用户可以得到更为具体的和准确的学习指导。
12、基于AR显示设备的算盘教学系统,通过构建与所述用户所使用的所述教具一样的虚拟模型,并使得虚拟和现实重合,不仅更直观地给予所述用户教学知识,更将具体的动作和结果展现给所述用户,使得教学知识得到丰富的展现。
13、基于AR显示设备的算盘教学系统,将所述用户的手势采集和识别,构建虚拟的手摸,使得真实的手势和虚拟的手摸在需要时相互联动,并对虚拟的手摸动作和操作进行分析,根据教学知识对所述用户的手势进行指导,从而实现无老师化的自我学习过程。
14、本基于AR显示设备的算盘教学系统,将所述用户的手势动作对应于虚拟的手摸,通过虚拟的手摸动作得到虚拟的教具的变化,从而实现真实的所述教具的情况下,展示虚拟操作的结果,并根据教学知识进行判断和指导。
15、基于AR显示设备的算盘教学系统,所述用户对所述教具的操作可以通过硬件进行反馈,进而掌握操作动作和结果,再经过教学知识的评价可以了解操作的正误,使得所述用户得到教学的反馈并认清自己的操作水平。
16、基于AR显示设备的算盘教学系统,利用成像设备仿真地展示教学知识,针对所述用户使用的所述教具进行具体的演示,方便所述用户理解知识在应用阶段的情况。
17、基于AR显示设备的算盘教学系统,利用识别采集设备掌握所述用户的实际操作,并及时的给予回复和评价,实现无人式的自我学习,也提供更具针对性的指导,提高学习效率。
18、基于AR显示设备的算盘教学系统,对于具有主动反馈功能的所述教具可以相互配合,进而完成对应用知识的指导。
19、基于AR显示设备的算盘教学系统,对于没有主动反馈功能的所述教具,通过模型构建、位置识别或者从虚拟手摸的动作推断,被动地传输操作的反馈,进而实现对应用知识的指导。
20、基于AR显示设备的算盘教学系统,针对不同的所述教具进行模型构建,根据教学知识库中的内容相对应的反应,节省了多种类教师资源,为私塾式的教育节省了成本。
21、基于AR显示设备的算盘教学系统,呈现动态的、立体的教学演示,较传统的纸张式呈现更为丰富。
22、基于AR显示设备的算盘教学系统,通过丰富建模的数据库和教学知识的数据库,可以定制化的实现不同的教学范围和方式,为不同形式的创新教学提供了平台。
本领域的技术人员应理解,上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明,在没有背离所述原理下,本发明的实施方式可以有任何变形或修改。

Claims (22)

1.一种算盘,其特征在于,所述算盘的边框和横梁都预埋有金属导线,算珠预填有电阻,同一档位上的算珠电阻值是相同的,或者上档所述算珠电阻值五倍于下档任一所述算珠电阻值;不同档位上的算珠的电阻值是不同的。
2.一种算盘,其特征在于,所述算盘的边框和横梁都预埋有金属导线和电压测量设备,算珠预填有电源,同一档位上的算珠电源电压值是相同的,或者上档所述算珠电源电压值五倍于下档任一所述算珠电源电压值;不同竖档位上的算珠的电源电压值是不同的。
3.根据权利要求2所述的算盘,其特征在于,所述电压测量设备包括电阻、电流表或者电压表。
4.一种算盘,其特征在于,算珠预填有位移传感器,每个竖档位上都设有接触传感器,不同竖档位上的所述接触传感器输出的位置信息是不同的。
5.根据权利要求1至4中任一所述的算盘,其特征在于,所述算盘还包括:高度计、陀螺仪和通信芯片,所述通信芯片将所述算盘的盘面信息和所述算珠在算盘上的移动信息传导至AR显示设备。
6.一种算盘教学系统,其特征在于,包括所述算盘和AR显示设备,
所述AR显示设备,用于跟踪所述算盘的盘面变化,并给出提问、引导、提示、判断、评价或者演示。
7.根据权利要求6所述的算盘教学系统,其特征在于,所述AR显示设备包括:
AR表显端,用于通过在所述AR表显端的视场中显示虚像信息;
获取端,用于获取所述算盘信息和/或手势信息;
控制器,用于根据所述算盘信息和/或手势信息构建所述虚像信息的反馈。
8.根据权利要求7所述的算盘教学系统,其特征在于,所述获取端至少包括:动作采集单元和硬件反馈单元,
所述动作采集单元,用于采集手势信息;
所述硬件反馈单元,用于采集算盘实物信息。
9.根据权利要求7所述的算盘教学系统,其特征在于,所述控制器包括:一输入单元、一存储单元、一构建单元和一输出单元,
所述输入单元,用于获取对所述控制器运行的指令;
所述存储单元,用于预先地存储教学知识以及对应所述虚像信息的模型数据;
所述构建单元,用于将所述虚像信息的数据模型处理成所述虚像信息;
所述输出单元,用于将所述虚像信息输出至所述AR表显端。
10.根据权利要求9所述的算盘教学系统,其特征在于,所述输入单元包括:指令给入模块和动作采集模块,
所述指令给入模块,用于收集对所述存储单元和所述构建单元的外部指示;
所述动作采集模块,用于获取所述动作采集单元采集的穿戴所述AR表显端者的真手信息和硬件反馈单元收集到的实物信息。
11.根据权利要求9或10所述的算盘教学系统,其特征在于,所述存储单元包括:知识模块、测试模块、记录模块和模型数据模块,
所述知识模块,用于预先地记录所述教学知识;
所述测试模块,用于预先地记录不符合所述教学知识的操作;
所述记录模块,用于收集和记录所述动作采集单元采集的所述穿戴AR表显端者的所述真手信息和所述硬件反馈单元收集到的所述实物信息;
所述模型数据模块,用于预先地记录与所述教学知识相关的虚拟模型。
12.根据权利要求9所述的算盘教学系统,其特征在于,所述构建单元包括:环境构建模块、动作认知模块和结果判断模块,
所述环境构建模块,用于从所述输入单元和所述存储单元获取数据并构建对应于实物信息的虚物信息;
所述动作认知模块,用于根据所述动作采集模块的动态进行编辑所述虚像信息的动作;
所述结果判断模块,用于根据所述教学知识对所述虚像信息的动作进行分析以对所述虚像信息进行评价。
13.根据权利要求12所述的算盘教学系统,其特征在于,所述环境构建模块包括:手势构建子块和物体构建子块,
所述手势构建子块,用于结合所述模型数据模块和所述输入单元的所述真是手势而构建虚手信息;
所述物体构建子块,用于结合所述模型数据模块和所述输入单元的所述实物信息而构建所述虚物信息。
14.根据权利要求12所述的算盘教学系统,其特征在于,所述动作认知模块包括:轨迹识别子块和改变识别子块,
所述轨迹识别子块,用于得到虚手信息的动作结果;
所述改变识别子块,用于得到所述虚物信息的动作结果。
15.根据权利要求12或14所述的算盘教学系统,其特征在于,所述结果判断模块包括硬件结果纠正子块和动作纠正子块,所述硬件结果纠正子块,用于从所述改变识别子块得到所述虚像信息的动作结果;所述动作纠正子块,用于从所述轨迹识别子块得到所述虚手信息的动作结果。
16.一种基于AR显示设备的算盘教学方法,其特征在于,其方法步骤包括:
a、获取所述算盘的实物信息;
b、根据所实物信息,构建相对应的一虚物信息;
c、在所述AR显示设备中显示所述虚物信息;
d、根据工作模式,依据所述虚物信息进行评价、提问、引导、提示、判断或者演示。
17.根据权利要求16所述的AR显示设备的算盘教学方法,其特征在于,
步骤c中,将虚像信息的图像叠加显示于所述算盘。
18.根据权利要求16所述的AR显示设备的算盘教学方法,其特征在于,
所述步骤b进一步包括以下步骤:
b1、从硬件反馈单元获到所述实物信息;
b2、提供所述实物信息的参数;
b3、建立空间坐标体系;
b4、根据真实所述实物信息拟合出所述虚物信息。
19.根据权利要求18所述的AR显示设备的算盘教学方法,其特征在于,所述步骤b进一步包括以下步骤:
b51、利用Unity3D引擎,搭建一个3D的虚拟场景空间,在该虚拟场景空间创建虚拟算盘信息;
b52、接入高通制作的六自由度的SDK,通过所述AR显示设备上的陀螺仪定位数据,计算设备在虚拟场景中的位置,同时映射到Unity3D创建的虚拟场景空间中,从而实现能够在3D空间中旋转和/或行走的效果;
b53、根据提供的识别手势信息的SDK,在虚拟场景空间中加入虚拟手模型。
20.根据权利要求16所述的AR显示设备的算盘教学方法,其特征在于,所述步骤a进一步包括以下步骤:
a1、识别所述算盘的边框、竖档、横梁和算珠;
a2、从所述算盘的盘面信息直接图像判断出数值和/或从所述算盘的通信芯片中获取出所述盘面的数值。
21.根据权利要求20所述的AR显示设备的算盘教学方法,其特征在于,所述步骤a1中,使用2D/3D激光轮廓扫描仪进行寻边定位,即直接获取所述算盘的高度、角度或成像参数。
22.根据权利要求20所述的AR显示设备的算盘教学方法,其特征在于,所述步骤a1中,算盘设有高度计或陀螺仪,计算机根据高度计或陀螺仪的参数反馈,获取算盘高度参数和角度参数。
CN201811503223.4A 2018-12-10 2018-12-10 算盘、算盘教学系统及基于ar显示设备的算盘教学方法 Pending CN111292587A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811503223.4A CN111292587A (zh) 2018-12-10 2018-12-10 算盘、算盘教学系统及基于ar显示设备的算盘教学方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811503223.4A CN111292587A (zh) 2018-12-10 2018-12-10 算盘、算盘教学系统及基于ar显示设备的算盘教学方法

Publications (1)

Publication Number Publication Date
CN111292587A true CN111292587A (zh) 2020-06-16

Family

ID=71025296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811503223.4A Pending CN111292587A (zh) 2018-12-10 2018-12-10 算盘、算盘教学系统及基于ar显示设备的算盘教学方法

Country Status (1)

Country Link
CN (1) CN111292587A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101377718A (zh) * 2007-08-31 2009-03-04 联想(北京)有限公司 拨珠输入装置和方法以及便携式设备
CN201707802U (zh) * 2009-10-23 2011-01-12 广州智择电子科技有限公司 一种智力电子算盘系统
CN201876752U (zh) * 2010-12-01 2011-06-22 孟雪婷 发光算盘
CN206178527U (zh) * 2016-08-22 2017-05-17 全观友 一种儿童电子算盘
CN107742266A (zh) * 2017-11-02 2018-02-27 北京善学云科技有限公司 一种基于增强现实的教学系统
CN108777083A (zh) * 2018-06-25 2018-11-09 南阳理工学院 一种基于增强现实技术的头戴式英语学习设备
CN108877311A (zh) * 2018-06-25 2018-11-23 南阳理工学院 一种基于增强现实技术的英语学习系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101377718A (zh) * 2007-08-31 2009-03-04 联想(北京)有限公司 拨珠输入装置和方法以及便携式设备
CN201707802U (zh) * 2009-10-23 2011-01-12 广州智择电子科技有限公司 一种智力电子算盘系统
CN201876752U (zh) * 2010-12-01 2011-06-22 孟雪婷 发光算盘
CN206178527U (zh) * 2016-08-22 2017-05-17 全观友 一种儿童电子算盘
CN107742266A (zh) * 2017-11-02 2018-02-27 北京善学云科技有限公司 一种基于增强现实的教学系统
CN108777083A (zh) * 2018-06-25 2018-11-09 南阳理工学院 一种基于增强现实技术的头戴式英语学习设备
CN108877311A (zh) * 2018-06-25 2018-11-23 南阳理工学院 一种基于增强现实技术的英语学习系统

Similar Documents

Publication Publication Date Title
LaViola Jr et al. 3D user interfaces: theory and practice
Cao et al. An exploratory study of augmented reality presence for tutoring machine tasks
CN113706960B (zh) 一种基于vr技术的护理操作练习平台及使用方法
CN110859630A (zh) 一种基于ar技术的姿态矫正器及其矫正方法
CN111047947A (zh) 一种基于ar技术的书写指导器及书写指导方法
Martín-Gutiérrez et al. Evaluating the usability of an augmented reality based educational application
Lozada et al. MS-Kinect in the development of educational games for preschoolers
Tang et al. Learning to create 3D models via an augmented reality smartphone interface
CN111477055A (zh) 基于虚拟现实技术的教师培训系统及方法
US11094218B2 (en) System and method for improving reading skills of users with reading disability symptoms
Jan et al. Augmented tai-chi chuan practice tool with pose evaluation
KR102327521B1 (ko) 가상 현실 기반의 치아 감별 학습을 위한 시뮬레이션 시스템 및 그 방법
Patil et al. E-learning system using Augmented Reality
CN107665693A (zh) 一种基于物联网的课用设备控制系统
CN106708266A (zh) 一种基于双目手势识别的ar动作矫正投影方法及系统
CN111292587A (zh) 算盘、算盘教学系统及基于ar显示设备的算盘教学方法
KR102444058B1 (ko) 인체모형 및 침술 콘트롤러를 이용한 혼합현실 침술 훈련 시스템
KR20160005841A (ko) 모션인식과 증강현실을 기반으로 하는 실시간 반응형 인체학습시스템
Cao et al. Hand controlar: An augmented reality application for learning 3d geometry
US10692401B2 (en) Devices and methods for interactive augmented reality
CN112714328A (zh) 一种直播课学生姿态提示方法、装置及电子设备
Gurieva et al. Augmented reality for personalized learning technique: Climbing gym case study
Liu et al. PianoSyncAR: Enhancing Piano Learning through Visualizing Synchronized Hand Pose Discrepancies in Augmented Reality
Mustapha et al. Incorporating Spatial-Visual Topology In Mobile Augmented Reality Application To Enhance Visual Realism
Argelaguet Sanz et al. Complexity and scientific challenges

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 202177 room 493-61, building 3, No. 2111, Beiyan highway, Chongming District, Shanghai

Applicant after: TAPUYIHAI (SHANGHAI) INTELLIGENT TECHNOLOGY Co.,Ltd.

Address before: 201802 room 412, building 5, No. 1082, Huyi Road, Jiading District, Shanghai

Applicant before: TAPUYIHAI (SHANGHAI) INTELLIGENT TECHNOLOGY Co.,Ltd.