CN109828666A - 基于有形用户界面的混合现实交互系统及方法 - Google Patents
基于有形用户界面的混合现实交互系统及方法 Download PDFInfo
- Publication number
- CN109828666A CN109828666A CN201910063818.0A CN201910063818A CN109828666A CN 109828666 A CN109828666 A CN 109828666A CN 201910063818 A CN201910063818 A CN 201910063818A CN 109828666 A CN109828666 A CN 109828666A
- Authority
- CN
- China
- Prior art keywords
- story
- hand
- submodule
- mixed reality
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本公开提供了一种基于有形用户界面的混合现实交互系统及方法,包括客户端和服务器，所述客户端部署有混合现实设备，服务器包括手部位置跟踪子模块和数据传输子模块,手部位置跟踪子模块，被配置为使用Kinect骨骼数据进行手部跟踪，在初始化阶段进行Kinect和HoloLens坐标系转换；数据传输子模块，被配置为提供客户端和服务器的信息通讯；客户端包括交互模块，所述交互模块被配置为利用混合现实设备提供教学信息，根据接收的角色选择、路线设计和对话设计信息，在混合现实设备上提供交互场景。
Description
技术领域
本公开涉及一种基于有形用户界面的混合现实交互系统及方法。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
混合现实技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。然而混合现实中的手势交互对于儿童来说较为复杂，而单纯使用手部交互是比较理想的方式。使用Kinect进行手部跟踪范围比较广，且不需要特定手势就能进行跟踪。这为混合现实中的手势交互提供了解决方案。
有形用户界面是一种新型的人机交互界面范式。通过实物对象与数字信息的耦合，有形用户界面允许用户通过抓握、移动、组装等自然的操作方式对数字信息进行操作。在诸多领域中，包括信息可视化、日常办公、教育与娱乐，以及支持创意创作等方面，有形用户界面都具有巨大的应用潜力。在儿童教育方面，研究证明，将物理对象添加到交互式游戏中可以提高学习和享受。然而，目前的有形交互工具大多需要特别制作，对于非专业人士来说较难获得。使用手工制品作为有形交互工具具有容易获取、制作简单等优点，同时赋予手工制品以生命。
手工制品是一种重要的传统文化形式。手工艺品制作可以提高手灵活性，锻炼儿童手，眼，脑的综合协调能力，培养儿童观察力、自信心和创造力，促进儿童思维发展。在做手工艺品的过程中，儿童可以获得交流机会，制作出可以与他人分享的作品，也有机会学习不同的文化。目前市场上的手工制品教学产品，大部分使用文字，图片和视频体现制作过程，没有交互过程，用户不能真正参与到制作中。使用混合现实技术体现手工制作教程，能够提供一种直观的、完整的和交互式的表示。
讲故事是一种分享故事的社会和文化活动，具有很强的教学潜力。讲故事可以有效地锻炼儿童的语言表达能力，提高儿童思维的条理性，让表述更加符合逻辑，还可以锻炼孩子的理解力和记忆力。传统的故事体现形式还停留在文字、绘画和口头叙述，与这种方式相比，使用计算机对故事进行体现具有诸多优点，它能够将故事直观表现出来，增加故事趣味性，进一步增强儿童的创作兴趣。特别地，混合现实技术在虚拟环境中引入了真实环境信息，提供了一种新的观看方法，可以使故事更清晰，并增加故事的吸引力。
发明内容
本公开为了解决上述问题，提出了一种基于有形用户界面的混合现实交互系统及方法，本公开使用混合现实设备呈现手工制作教程，使用动作捕捉设备进行手部位置跟踪实现手部交互，并利用手工制品作为有形交互工具，允许儿童进行故事创作、观看和讲述，观看和讲述过程中允许多用户共享，极大地激发了用户的动手能力、创造力、想象力和合作能力。
根据一些实施例，本公开采用如下技术方案：
一种基于有形用户界面的混合现实交互系统，包括客户端和服务器，所述客户端部署有混合现实设备，其中：
所述服务器包括手部位置跟踪子模块和数据传输子模块，其中：
所述手部位置跟踪子模块，被配置为使用Kinect骨骼数据进行手部跟踪，在初始化阶段进行Kinect和HoloLens坐标系转换；
所述数据传输子模块，被配置为提供客户端和服务器的信息通讯；
所述客户端包括交互模块，所述交互模块被配置为利用混合现实设备提供教学信息，根据接收的角色选择、路线设计和对话设计信息，在混合现实设备上提供交互场景。
作为进一步的限定，所述交互模块包括：
手工制品教学子模块，被配置为提供每一步的制作过程动画，允许用户进行动画切换；
故事创作子模块，被配置为提供相关故事场景，以进行角色选择、路线设计和对话设计信息的生成；
故事观看子模块，被配置为提供设计好的故事以及共享与修改途径；
故事讲述子模块，被配置为提供设计的故事场景。
作为进一步的限定，所述手工制品教学子模块包括：
教程选择单元，被配置为提供不同手工制品的制作过程；
教程控制单元，被配置为接收播放上一步或下一步的动画的控制指令。
作为进一步的限定，所述故事创作子模块包括：
模型放置单元，场景中放置系统给定模型，接收改变模型位置的信息，通过为角色设置碰撞体，进行碰撞检测，实现手靠近时进行拾取；
路径设计单元，被配置为根据用户手持折出的模型，提供相应的虚拟模型，所述虚拟模型跟随真实折纸模型移动，移动轨迹形成路径，并将手部位置映射到场景中的虚拟模型，地面和虚拟模型均设置碰撞体，检测到两者碰撞就进行画线；
对话设计单元，被配置为接收对话中问题和回答的输入的控制指令；
故事保存单元，被配置为接收保存指令，并将故事数据同步到其他子模块中。
作为进一步的限定，所述故事观看子模块包括：
数据同步单元，被配置为将场景信息直接或间接发送到其他客户端；
播放控制单元，被配置为根据故事设计者对整个故事的播放的控制指令播放相应的视频。
进一步的，所述故事讲述子模块包括：
数据同步单元，被配置为提供路径和台词给讲述者，不提供路径和台词给观看者；
故事流程控制单元，被配置为根据故事设计者手持手工制品复述故事的信息，将手部位置映射到场景中的虚拟模型，提供给观看者的混合现实设备。
基于上述系统的工作方法，包括以下步骤：
(1)选择待制作的手工制品；
(2)提供每一步制作教程动画，根据教程制作手工艺品；
(3)制作完成后，根据选择的模型，提供虚拟角色模型；
(4)提供故事场景和其他故事角色，对其他角色进行放置；
(5)配置模型跟随手部进行运动，在场景中画出故事路径；
(6)其他角色提供对话录入功能，通过语音识别输入角色之间的对话；
(7)通过(4)(5)(6)形成一个完整的故事，支持多用户观看，允许根据他人意见返回(4)(5)(6)修改故事；
(8)故事设计者手持手工制品讲述故事，其他人聆听，故事使用混合现实设备呈现。
所述步骤(5)中，画路径的步骤为：
(5-1)用户手持手工制品，故事场景中存在相应的虚拟模型；
(5-2)用户移动手的位置使模型碰撞场景中的地面，选择路径的起点，此后，模型仅在地面上移动；
(5-3)用户移动手的位置引导模型在地面移动，移动轨迹上的坐标点保存在路径数组中并画在地面上。
所述步骤(6)中，对话录入的步骤为：
(6-1)接收控制指令；
(6-2)记录台词，通过调用语音转文字方法将录入的台词转换为文字显示在角色上方；
(6-3)接收保存录入信息的指令，进行保存。
所述步骤(7)中，故事观看过程中，故事数据被发送到非故事设计者的其他客户端进行播放，配置模型从路径起点出发，开始沿路径行进，碰到其他角色显示角色上方的对话时，调用文字转语音方法播放对话气泡中的对话，当模型移动到路径终点表示故事播放结束。
跟随手部动作过程中，利用Kinect骨骼数据进行手部跟踪，根据霍尔特双指数平滑算法，在初始化阶段进行Kinect和HoloLens坐标系转换，转换方式为：HoloLens坐标系为左手系，Kinect坐标系为右手系，将Z值取反，完成两坐标系的旋转变换。
具体的平移向量的计算如下：利用HoloLens API获取HoloLens客户端左手位置(xh,yh,zh)，将左手坐标传输到服务器，服务器端利用Kinect获取到此时左手关节位置，设为(xk,yk,zk)，则平移向量为[Δx,Δy,Δz]T＝[xh-xk,yh-yk,-zh-zk]T,设Kinect坐标系下手部位置为(x,y,z),则该点在HoloLens坐标系中的坐标为(x′,y′,z′)＝(x+Δx,y+Δy,-z-Δz)。
与现有技术相比，本公开的有益效果为：
(1)使用混合现实体现手工制作过程，利用混合现实所见即所得的优势，实现即教即折的效果，使手工制作学习更直观，更简单。
(2)手工制品教学与讲故事结合，能够共同发挥两者的优势。使用手工制品作为有形交互工具进行故事创作，使其作为故事中的角色，不仅发扬了传统文化，提高了儿童的动手能力，还赋予手工制品以生命，使用手工制品创造出一个生动有趣的故事世界，极大地激发了儿童的创造力和想象力。
(3)故事创作过程中要求儿童口头录入自己设计的台词，故事完成后可以将故事复述给其他人，这提高了他们口语表达能力和与人交流的能力。
(4)故事创作完成可以邀请他人共同观看故事并给出对故事的看法，该协作过程提高了儿童的合作能力。
(5)使用Kinect作为HoloLens的辅助工具来跟踪手部，这种交互方式克服了HoloLens自带手势交互的缺点，为儿童提供了一种更简单，更自然的交互体验。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本发明用户体验示意图；
图2为本发明系统架构示意图；
图3为本发明功能模块示意图；
图4为本发明整体流程图；
图5为本发明服务器端手部位置跟踪流程图；
图6为本发明客户端手部交互实现流程图；
图7为本发明设备坐标系初始位置和朝向示意图；
图8为本发明所用消息类型；
图9(a)、图9(b)为手工制品教学子模块使用范例图；
图10(a)-图10(d)为故事创作子模块使用范例图；
图11(a)、图11(b)为故事观看子模块使用范例图；
图12(a)-图12(c)为故事讲述子模块使用范例图。
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在本公开中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本公开各部件或元件结构关系而确定的关系词，并非特指本公开中任一部件或元件，不能理解为对本公开的限制。
本公开中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本公开中的具体含义，不能理解为对本公开的限制。
图1-4对系统整体进行了说明：
如图1所示，应用场景配置为桌面上放置一台Kinect，Kinect面向用户以捕捉到手部位置。用户佩戴HoloLens进行体验，虚拟场景加载在桌面上。手工制品教学阶段，用户跟随教程制作手工制品，作品用于故事创作和讲述，故事观看过程和故事讲述过程可与他人共享。
如图2所示，本发明的整体架构图。系统采用C/S架构，其中服务器运行于PC，用于采集用户左右手位置、进行数据平滑和转换并将位置数据发送给客户端。在故事观看和讲述阶段，服务器还负责将场景信息转发到各客户端。客户端接收来自服务器的数据进行解析，并控制系统逻辑。
如图3所示，本发明的客户端功能模块图。主要包括四个子模块，分别是折纸教学子模块、故事创作子模块、故事观看子模块和故事讲述子模块，每个子模块具有相应的功能单元，使系统逻辑更加清晰。其中，折纸教学子模块包括教程选择和教程控制，故事创作子模块包括角色放置、路径设计、台词设计和故事保存，故事观看子模块包括数据同步和播放控制，故事讲述子模块包括数据同步和故事流程控制。
如图4所示，本发明的具体流程图：
(1)用户需先进行手工制品的学习，首先选择要制作的手工制品的教程；
(2)选择教程后进入相应手工制品教学界面，开始跟随教程进行制作；
(3)用户通过点击“上一步”或“下一步”按钮控制观看不同步骤的制作过程；
(4)最后一步动画播放完成后，系统会提示制作完成；
(5)制作完成后进入故事创作子模块；
(6)模型放置、路径设计和台词设计不分先后，用户可根据自己意愿进行选择；
(7)模型放置阶段，场景中提供虚拟模型作为故事角色，用户通过控制手部标识靠近模型进行拾取，拾取后模型跟随手移动，将模型放在场景中的地面上即可确定位置；
(8)路径设计阶段，手工制品作为有形交互工具，场景中有相应虚拟模型跟随真实模型移动，作为主要角色出现在故事中，通过将手部位置映射到虚拟模型，实现虚拟模型跟随的效果，用户手持手工制品靠近地面定下路径起点，之后虚拟模型跟随手在地面移动，移动轨迹即为故事路径，虚拟模型离开地面表明路径设计完成；
(9)台词设计阶段，模型周围设置语音录入按钮和对话气泡，用户点击录制按钮进行语音录入和识别，再次点击按钮结束录制和识别，通过语音转文字方法将录入内容显示在对话气泡中，若不进行录制则显示默认对话；
(10)经过(7)(8)(9)三个步骤后，故事创作基本完成，需对故事进行保存从而将故事数据同步到故事观看和讲述子模块。
(11)故事观看子模块允许其他用户作为观众共享故事，该步骤中，故事自动播放，播放结束后，故事设计者可以根据观众的建议返回到故事设计子模块对故事进行修改；
(12)故事讲述子模块可以在观看结束后进入，也可以在故事创作完成后进入，用户手持真实模型引导虚拟模型在场景沿路径移动，并进行口头表达，其他用户作为观众聆听故事。
图5-图7说明了系统手部交互功能的实现流程：
如图5所示，服务器端手部位置获取及发送流程：
(1)开启两个线程，分别负责数据获取和网络通信；
(2)数据获取线程中：
(2-1)系统使用Kinect骨骼数据，手的位置为Kinect坐标系下手心骨骼节点的位置，需要打开Kinect骨骼数据流；
(2-2)设置只跟踪一副骨骼，避免其他用户带来的影响，同时保证故事设计和讲述过程中仅有一个用户可以进行操作，以免出现混乱；
(2-3)使用霍尔特双指数平滑算法对手部位置数据进行平滑，减少抖动。
(3)网络通信线程中：
(3-1)获取本机IP地址供客户端进行连接；
(3-2)创建socket并开始监听是否有客户端连入；
(3-3)接收来自客户端的数据；
(3-4)若接收到的数据为手部校准数据，则说明需要进行坐标转换；
(3-5)解析消息中的左手位置，获取Kinect下当前左手位置，计算平移向量；
(4)Kinect下手部位置通过将Z值取反，并于平移向量进行计算得到手在HoloLens坐标系下的位置；
(5)定义手部位置数据的消息类型，并将消息发送到客户端。
步骤(3-5)中，平移向量的计算公式为[Δx,Δy,Δz]T＝[xh-xk,yh-yk,-zh-zk]T，其中(xh,yh,zh)为客户端收到“Match”语音指令时发送到服务器的左手位置，(xk,yk,zk)为服务器接收到首部校准数据时获取的Kinect下左手的位置。
步骤(4)中，手部位置转换公式为(x′,y′,z′)＝(x+Δx,y+Δy,-z-Δz)，其中[Δz,Δy,Δz]T为平移向量，(x,y,z)为手在Kinect坐标系下的坐标，(x′,y′,z′)为手部位置变换到HoloLens坐标系下的坐标。
步骤(5)中，手部位置数据消息格式为：[length＝n]K#hr.x#hr.y#hr.z#hl.x#hl.y#hl.z#@，其中(hr.x，hr.y，hr.z)为右手坐标，(hl.x，hl.y，hl.z)为左手坐标，n为消息长度，K表示该消息为手部位置数据。
如图6所示，客户端手部位置接收与处理流程：
(1)连接服务器并发送连接消息；
(2)若收到语音指令“Match”,则发送手部位置配准信息；
(3)开始接收数据；
(4)若收到的数据合法，则对数据进行解析并得到左右手位置数据；
(5)将位置数据赋值给场景中的手部标识；
(6)若手部标识进入触发器，则触发相关事件。
步骤(2)中，手部位置配准信息为H#hx#hy#hz#@，其中(hx,hy,hz)为接收到语音指令时左手在HoloLens下的坐标。
步骤(5)中，根据所在子模块，手部标识会发生变化，手工制品教学子模块、故事创作子模块的模型放置和对话设计单元以及故事观看子模块中，手部标识为虚拟的左右手，而故事创作子模块的路径设计模块和故事讲述子模块中，手部标识为手工制品模型。
步骤(6)中，根据触发器不同，触发的事件也不同，按钮的触发包括动画播放控制和功能切换等，其他事件还包括选择路径起点设置、画路径和角色对话播放等。
图7展示了程序加载时两设备坐标系初始位置和朝向。HoloLens坐标系为左手系，而Kinect坐标系为右手系。HoloLens会在程序加载时确定其坐标系的位置。如图所示，程序加载时将HoloLens面向Kinect能够保证两坐标系X，Y轴朝向基本一致，只需将Kinect的Z轴取反就能完成旋转变换。由于两坐标系单位都是米，因此仅需一个公共点计算出平移向量就能实现两坐标系的转换。
图8展示系统运行过程中，客户端与服务器之间传递的消息类型：
客户端连接信息为“HoloLensConnected”，标识HoloLens客户端已连接；手部配准信息为H#hx#hy#hz#@，其中H表示该消息为手部配准信息，使用#分割每个数据，@标识消息结束；交互过程中使用的左右手位置消息为[length＝n]K#hr.x#hr.y#hr.z#hl.x#hl.y#hl.z#@，K表示该消息为左右手位置。
故事观看和故事讲述过程需要对多客户端的场景位置、非主要角色位置和活动模块等信息进行同步，使用[length＝n]M#ModuleName#@和[length＝n]L#mx#my#mz#@同步当前活动模块和位置，使用同步两个角色的位置。
在故事观看模块需要同步多客户端的台词、路径和主要角色的位置，使用[length＝n]DiaD#textQ1#textA1#@和[length＝n]DiaW#textQ2#textA2#@同步台词，其中DiaD表示该消息中包含第一段对话，DiaW表示该消息中包含第二段对话；使用[length＝n]P#p1x#p1y#p1z#p2x#p2y#p2z#...#@同步故事路径，其中P表示该消息包含路径上的点(p1x,p1y,p1z),(p2x,p2y,p2z)……；使用[length＝n]Q#qx#qy#qz#@同步主要角色的位置，Q表示该消息包含主要角色的位置(qx,qy,qz)，将其映射到主要角色即可实现多客户端同时观看故事。
故事讲述过程中需要同步主要角色的位置，使用服务器端广播的手部位置消息[length＝n]K#hr.x#hr.y#hr.z#hl.x#hl.y#hl.z#@获得右手位置(hr.x,hr.y,hy.z)，将其映射到场景中的主要角色即可实现多客户端主要角色位置的同步。
图8为系统使用范例图：
如图8所示，用户跟随HoloLens中呈现的手工制品教程制作手工制品，桌面上放置虚拟按钮，允许用户控制教程动画的切换。
如图9(a)-图9(b)，表示模型放置过程，用户拾取模型，模型跟随手移动。
如图10(a)-10(c)表示路径设计的过程，用户手持手工制品在场景中画出路径。
表示台词设计过程，对话气泡显示在模型上方，包括问题和回答，按钮“R控制台词的录入。
如图11(a)-(b)所示，表示故事观看的过程，开始播放后，主要角色沿路径行进，遇到其他角色会显示对话气泡并播放对话，该过程除“播放”按钮的点击操作外，没有其他交互。
如图12(a)～(c)，表示故事讲述过程，用户手持手工制品沿路径行进，遇到其他角色时，根据出现的对话气泡讲述对话。图12(a)为故事讲述者的视角，路径和对话可见。图12(b)为故事聆听者视角，路径和对话不可见。图12(c)为两用户共同使用该系统。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
Claims (10)
1.一种基于有形用户界面的混合现实交互系统，其特征是：包括客户端和服务器，所述客户端部署有混合现实设备，其中：
所述服务器包括手部位置跟踪子模块和数据传输子模块，其中：
所述手部位置跟踪子模块，被配置为使用Kinect骨骼数据进行手部跟踪，在初始化阶段进行Kinect和HoloLens坐标系转换；
所述数据传输子模块，被配置为提供客户端和服务器的信息通讯；
所述客户端包括交互模块，所述交互模块被配置为利用混合现实设备提供教学信息，根据接收的角色选择、路线设计和对话设计信息，在混合现实设备上提供交互场景。
2.如权利要求1所述的一种基于有形用户界面的混合现实交互系统，其特征是：所述交互模块包括：
手工制品教学子模块，被配置为提供每一步的制作过程动画，允许用户进行动画切换；
故事创作子模块，被配置为提供相关故事场景，以进行角色选择、路线设计和对话设计信息的生成；
故事观看子模块，被配置为提供设计好的故事以及共享与修改途径；
故事讲述子模块，被配置为提供设计的故事场景。
3.如权利要求2所述的一种基于有形用户界面的混合现实交互系统，其特征是：所述手工制品教学子模块包括：
教程选择单元，被配置为提供不同手工制品的制作过程；
教程控制单元，被配置为接收播放上一步或下一步的动画的控制指令。
4.如权利要求2所述的一种基于有形用户界面的混合现实交互系统，其特征是：所述故事创作子模块包括：
模型放置单元，场景中放置系统给定模型，接收改变模型位置的信息，通过为角色设置碰撞体，进行碰撞检测，实现手靠近时进行拾取；
路径设计单元，被配置为根据用户手持折出的模型，提供相应的虚拟模型，所述虚拟模型跟随真实折纸模型移动，移动轨迹形成路径，并将手部位置映射到场景中的虚拟模型，地面和虚拟模型均设置碰撞体，检测到两者碰撞就进行画线；
对话设计单元，被配置为接收对话中问题和回答的输入的控制指令；
故事保存单元，被配置为接收保存指令，并将故事数据同步到其他子模块中。
5.如权利要求2所述的一种基于有形用户界面的混合现实交互系统，其特征是：所述故事观看子模块包括：
数据同步单元，被配置为将场景信息直接或间接发送到其他客户端；
播放控制单元，被配置为根据故事设计者对整个故事的播放的控制指令播放相应的视频。
6.如权利要求2所述的一种基于有形用户界面的混合现实交互系统，其特征是：所述故事讲述子模块包括：
数据同步单元，被配置为提供路径和台词给讲述者，不提供路径和台词给观看者；
故事流程控制单元，被配置为根据故事设计者手持手工制品复述故事的信息，将手部位置映射到场景中的虚拟模型，提供给观看者的混合现实设备。
7.基于权利要求1-6中任一项所述的系统的工作方法，其特征是：包括以下步骤：
(1)选择待制作的手工制品；
(2)提供每一步制作教程动画，根据教程制作手工艺品；
(3)制作完成后，根据选择的模型，提供虚拟角色模型；
(4)提供故事场景和其他故事角色，对其他角色进行放置；
(5)配置模型跟随手部进行运动，在场景中画出故事路径；
(6)其他角色提供对话录入功能，通过语音识别输入角色之间的对话；
(7)通过(4)(5)(6)形成一个完整的故事，支持多用户观看，允许根据他人意见返回(4)(5)(6)修改故事；
(8)故事设计者手持手工制品讲述故事，其他人聆听，故事使用混合现实设备呈现。
8.如权利要求7所述的工作方法，其特征是：所述步骤(5)中，画路径的步骤为：
(5-1)用户手持手工制品，故事场景中存在相应的虚拟模型；
(5-2)用户移动手的位置使模型碰撞场景中的地面，选择路径的起点，此后，模型仅在地面上移动；
(5-3)用户移动手的位置引导模型在地面移动，移动轨迹上的坐标点保存在路径数组中并画在地面上。
9.如权利要求7所述的工作方法，其特征是：
跟随手部动作过程中，利用Kinect骨骼数据进行手部跟踪，根据霍尔特双指数平滑算法，在初始化阶段进行Kinect和HoloLens坐标系转换，转换方式为：HoloLens坐标系为左手系，Kinect坐标系为右手系，将Z值取反，完成两坐标系的旋转变换。
10.如权利要求9所述的工作方法，其特征是：平移向量的计算如下：利用HoloLens API获取HoloLens客户端左手位置(xh,yh,zh)，将左手坐标传输到服务器，服务器端利用Kinect获取到此时左手关节位置，设为(xk,yk,zk)，则平移向量为[Δx,Δy,Δz]T＝[xh-xk,yh-yk,-zh-zk]T,设Kinect坐标系下手部位置为(x,y,z),则该点在HoloLens坐标系中的坐标为(x′,y′,z′)＝(x+Δx,y+Δy,-z-Δz)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910063818.0A CN109828666B (zh) | 2019-01-23 | 2019-01-23 | 基于有形用户界面的混合现实交互系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910063818.0A CN109828666B (zh) | 2019-01-23 | 2019-01-23 | 基于有形用户界面的混合现实交互系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109828666A true CN109828666A (zh) | 2019-05-31 |
| CN109828666B CN109828666B (zh) | 2022-01-25 |
Family
ID=66861979
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910063818.0A Active CN109828666B (zh) | 2019-01-23 | 2019-01-23 | 基于有形用户界面的混合现实交互系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109828666B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111831123A (zh) * | 2020-07-23 | 2020-10-27 | 山东大学 | 一种适用于桌面混合现实环境的手势交互方法及系统 |
| CN115035759A (zh) * | 2022-06-14 | 2022-09-09 | 浙江大学 | 一种基于有形用户界面的汉字学习系统及其工作方法 |
| US11494996B2 (en) | 2020-11-30 | 2022-11-08 | International Business Machines Corporation | Dynamic interaction deployment within tangible mixed reality |
| US11568612B2 (en) | 2021-06-08 | 2023-01-31 | International Business Machines Corporation | Personalized reactive augmented reality association |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102999153A (zh) * | 2011-09-08 | 2013-03-27 | 北京林业大学 | 基于自然人机交互的二维数据对象控制系统及其方法 |
| CN103093658A (zh) * | 2013-01-14 | 2013-05-08 | 中国科学院软件研究所 | 一种面向儿童实物交互的故事创建方法和系统 |
| CN105373224A (zh) * | 2015-10-22 | 2016-03-02 | 山东大学 | 一种基于普适计算的混合现实游戏系统及方法 |
| US20170039986A1 (en) * | 2015-08-07 | 2017-02-09 | Microsoft Technology Licensing, Llc | Mixed Reality Social Interactions |
| CN108062796A (zh) * | 2017-11-24 | 2018-05-22 | 山东大学 | 基于移动终端的手工制品与虚拟现实体验系统及方法 |
| CN108579080A (zh) * | 2018-05-11 | 2018-09-28 | 杨晓春 | 混合现实环境下实体球拍与虚拟球的交互实现方法及系统 |
| CN108876927A (zh) * | 2017-05-11 | 2018-11-23 | 迪斯尼企业公司 | 通过基于故事的增强和/或混合现实体验引导的物理航行 |
-
2019
- 2019-01-23 CN CN201910063818.0A patent/CN109828666B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102999153A (zh) * | 2011-09-08 | 2013-03-27 | 北京林业大学 | 基于自然人机交互的二维数据对象控制系统及其方法 |
| CN103093658A (zh) * | 2013-01-14 | 2013-05-08 | 中国科学院软件研究所 | 一种面向儿童实物交互的故事创建方法和系统 |
| US20170039986A1 (en) * | 2015-08-07 | 2017-02-09 | Microsoft Technology Licensing, Llc | Mixed Reality Social Interactions |
| CN105373224A (zh) * | 2015-10-22 | 2016-03-02 | 山东大学 | 一种基于普适计算的混合现实游戏系统及方法 |
| CN108876927A (zh) * | 2017-05-11 | 2018-11-23 | 迪斯尼企业公司 | 通过基于故事的增强和/或混合现实体验引导的物理航行 |
| CN108062796A (zh) * | 2017-11-24 | 2018-05-22 | 山东大学 | 基于移动终端的手工制品与虚拟现实体验系统及方法 |
| CN108579080A (zh) * | 2018-05-11 | 2018-09-28 | 杨晓春 | 混合现实环境下实体球拍与虚拟球的交互实现方法及系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111831123A (zh) * | 2020-07-23 | 2020-10-27 | 山东大学 | 一种适用于桌面混合现实环境的手势交互方法及系统 |
| CN111831123B (zh) * | 2020-07-23 | 2022-01-07 | 山东大学 | 一种适用于桌面混合现实环境的手势交互方法及系统 |
| US11494996B2 (en) | 2020-11-30 | 2022-11-08 | International Business Machines Corporation | Dynamic interaction deployment within tangible mixed reality |
| US11568612B2 (en) | 2021-06-08 | 2023-01-31 | International Business Machines Corporation | Personalized reactive augmented reality association |
| CN115035759A (zh) * | 2022-06-14 | 2022-09-09 | 浙江大学 | 一种基于有形用户界面的汉字学习系统及其工作方法 |
| CN115035759B (zh) * | 2022-06-14 | 2023-10-20 | 浙江大学 | 一种基于有形用户界面的汉字学习系统及其工作方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109828666B (zh) | 2022-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109828666A (zh) | 基于有形用户界面的混合现实交互系统及方法 | |
| CN107340869B (zh) | 基于虚幻4引擎技术的虚拟现实交互系统 | |
| Javornik et al. | MagicFace: Stepping into character through an augmented reality mirror | |
| Vilhjálmsson | Autonomous communicative behaviors in avatars | |
| Liyuan | The application of virtual reality and augmented reality technology in the field of Education | |
| CN111028597A (zh) | 混合现实的外语情景、环境、教具教学系统及其方法 | |
| CN110969237B (zh) | 两性关系视角下的人机虚拟互动构建方法、设备及介质 | |
| Keating | The role of the body and space in digital multimodality | |
| CN107038914A (zh) | 一种英语教学语言学习系统 | |
| Shen et al. | A low-cost mobile vr walkthrough system for displaying multimedia works based on unity3d | |
| CN114648382A (zh) | 基于vr技术的沉浸式虚拟服装走秀系统设计与实现 | |
| CN109671317A (zh) | 基于ar的脸谱互动教学方法 | |
| Letellier et al. | Visualization and interaction techniques in virtual reality for guided tours | |
| Yantong et al. | Design experiment of spatial dimension of infographics in the background of AR—Take the Beijing 2022 winter olympics as an example | |
| Fisher et al. | Taking a user centred design approach for designing a system to teach sign language | |
| JP2002083319A (ja) | 外国語修得のための分散仮想環境コンピュータシステム | |
| Slaney et al. | Ghosts in the Machine: a motion-capture experiment in distributed reception | |
| Slaney et al. | Ghosts in the Machine: an experiment in distributed reception | |
| Ma et al. | Embodied Cognition Guides Virtual-Real Interaction Design to Help Yicheng Flower Drum Intangible Cultural Heritage Dissemination | |
| Eloy et al. | The robotic dance: a fictional narrative of a construction built by drones | |
| Oh et al. | A Study of Interactive Art in the Narrative Form of" Magic Monkey" | |
| Kurtzberg et al. | The 10-Second Commute: New Realities of Virtual Work | |
| Ahn et al. | Lessons learned from reconstruction of a virtual Grotto-from point cloud to immersive virtual environment | |
| Beever | Exploring Mixed Reality Level Design Workflows | |
| He | Enhancing Collaboration and Productivity for Virtual and Augmented Reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211231 Address after: 250100, No. 27, Da Nan Road, Licheng District, Shandong, Ji'nan Applicant after: SHANDONG University Address before: 272000 room 1113, floor 11, block C, Zhongde Plaza, No. 77, Rencheng Avenue, Rencheng District, Jining City, Shandong Province Applicant before: JINING BRANCH OF JINAN MANJIA CULTURE COMMUNICATION Co.,Ltd. Applicant before: Shandong University |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |