CN108062796A - 基于移动终端的手工制品与虚拟现实体验系统及方法 - Google Patents

基于移动终端的手工制品与虚拟现实体验系统及方法 Download PDF

Info

Publication number
CN108062796A
CN108062796A CN201711193225.3A CN201711193225A CN108062796A CN 108062796 A CN108062796 A CN 108062796A CN 201711193225 A CN201711193225 A CN 201711193225A CN 108062796 A CN108062796 A CN 108062796A
Authority
CN
China
Prior art keywords
model
scene
subsystem
hand work
story line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711193225.3A
Other languages
English (en)
Other versions
CN108062796B (zh
Inventor
周念梅
盖伟
王禹秋
杨承磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201711193225.3A priority Critical patent/CN108062796B/zh
Publication of CN108062796A publication Critical patent/CN108062796A/zh
Application granted granted Critical
Publication of CN108062796B publication Critical patent/CN108062796B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于移动终端的手工制品与虚拟现实体验系统及方法，包括手工制作子系统，被配置为根据模型生成手工制品的展开图，并提供教学视频；位置与物体识别子系统，被配置为识别并输出物理世界中包括手工制品的多个物体的名称与坐标；故事线生成子系统，被配置为编辑模型的出场顺序与台词；场景生成与漫游子系统，被配置为根据物体的名称与坐标，生成相应场景，根据故事线台词，生成相应故事线，使用虚拟现实设备体验生成的虚拟场景与剧情，实现交互。

Description

基于移动终端的手工制品与虚拟现实体验系统及方法
技术领域
本发明涉及一种基于移动终端的手工制品与虚拟现实体验系统及方法。
背景技术
青少年时期为一个可塑性极强的时期，如何利用有趣又有效的手段，对青少年进行教育，激发他们的灵感，进而提高他们的潜能，这是目前教育者与开发者都在思考并尝试解决的问题。传统的教育方式，大部分都是停留在文字、图像和视频的阶段，与这种方式相比，使用计算机的新型教育方式有着许多优点，它能够综合文字、图像、动画、数据等媒体形式以及快速的更新教材信息。虚拟现实、混合现实、增强现实技术被认为是一项技术突破，具有促进学习的能力。这些技术在教育领域中的研究和应用，极大地丰富了教学形式，提高了学习效率。
虚拟学习环境(virtual learning environment，VLE)不仅能够提供丰富的教学模式和教学内容，还可以提高学习者分析问题和探索新问题的能力。例如，在学习生物的时候，老师可以在虚拟场景中解剖动物，讲解动物身体的内部构造；学生不仅可以通过虚拟现实方式完成解剖过程，还可以进行多次反复练习，节约了教育成本。E-Teatrix是浙江大学与葡萄牙的INSEC在ELVIS项目中合作设计的系统，在儿童选择自己喜欢的环境后，可以选择相应的人物来形成一个故事主题，让儿童在3D交互式虚拟关键中创建场景、人物并扮演自己所喜欢人物的系统，可以提高儿童的创新设计能力和扮演能力。
在进行手工制品的制作过程中，不仅会使手部肌肉群得到充分锻炼，同时能够使得参与者用眼睛观察，用大脑思考，同时双手的一系列动作有助于其右脑的发育，同时增强其眼、脑、手的协调并用能力，从而调动孩子丰富的想象力和创造力，促使其发挥潜能和个性，使他们在玩中变得越来越聪明。目前市面上的相关教育产品，大部分都是停留在文字、图像和视频的阶段，没有交互性，说教成分大，不能让孩子们真正地参与设计和制作的环节，提高他们的动手能力与创造力。如何将虚拟学习环境与传统的手工艺品的制作结合起来，充分调用儿童的想象力和创造力、寓教于乐，是亟待解决的问题。
发明内容
本发明为了解决上述问题，提出了一种基于移动终端的手工制品与虚拟现实体验系统及方法，本发明根据手工制品模型生成虚拟场景的功能，极大地激发了用户的创造力和想象力，用户不仅可以随时随地、随心所欲地制作手工制品模型，还能用它设计场景，构思故事线，可充分发挥自己的创造力与想象力，用这些模型创造出一个栩栩如生的虚拟世界。
为了实现上述目的，本发明采用如下技术方案：
一种基于移动终端的手工制品与虚拟现实体验系统，手工制作子系统、位置与物体识别子系统、故事线生成子系统和场景生成与漫游子系统，其中：
所述手工制作子系统，被配置为根据模型生成手工制品的展开图，并提供教学视频；
所述位置与物体识别子系统，被配置为识别并输出物理世界中包括手工制品的多个物体的名称与坐标；
所述故事线生成子系统，被配置为编辑模型的出场顺序与台词；
所述场景生成与漫游子系统，被配置为根据物体的名称与坐标，生成相应场景，根据故事线台词，生成相应故事线，使用虚拟现实设备体验生成的虚拟场景与剧情，实现交互。
进一步的，所述手工制作子系统包括：
选择模型单元，被配置为选择手工制品的三维模型；
输出展开图单元，被配置为输出与所选三维模型对应的折纸展开图，并以厘米为单位标记各部件尺寸；
折纸教学视频单元，被配置为提供所选模型的制作教程，展示整体组装视频和细节组装视频。
进一步的，所述位置与物体识别子系统，包括：
位置检测单元，被配置为识别与保存物理世界中摆放的手工制品的模型的位置，包括图像获取单元与位置检测函数单元；
物体识别单元，被配置为识别与保存物理世界中摆放的折纸模型的名称；
所述图像获取单元，被配置为调用摄像头拍摄前景图与背景图，并将其压缩为原来二分之一的大小保存在存储设备上；
所述位置检测函数单元，被配置为启动位置检测函数，计算并保存前景图中摆放的物体的坐标。
所述故事线生成子系统，包括：
出场顺序编辑单元，被配置为编辑与保存模型的出场顺序；
台词编辑单元，被配置为编辑与保存模型的台词，若无输入，则保存默认台词。
所述场景生成与漫游子系统，包括：
场景生成单元，被配置为根据位置与物体识别系统保存的物体的位置与名称信息，结合故事线生成系统保存的故事线台词，在虚拟场景的相应位置初始化模型及其故事线；
场景漫游单元，被配置为结合Kinect、手机陀螺仪与/或暴风魔镜，使得用户能在生成的场景里漫游与探索自己设计的故事线。
基于上述系统的工作方法，包括以下步骤：
(1)选择待制作的手工制品的模型；
(2)输出所选模型的折纸展开图；
(3)提供整体组装视频与细节组装视频，根据视频制作手工制品模型；
(4)在背景中摆放制作好的手工制品模型，拍照识别并保存各个模型的位置；
(5)对模型逐个扫描识别，并保存各个手工制品模型的名称；
(6)根据步骤(5)得到的名称，编辑手工制品模型的出场顺序；
(7)根据步骤(6)得到的出场顺序，编辑并保存故事线与台词；
(8)使用虚拟现实设备体验生成的虚拟场景与剧情。
所述步骤(4)中，摆放多个模型，拍照识别并保存各个模型的位置的具体步骤为：
(4-1)拍摄无物体的背景图与含物体与坐标轴标志物的物体的前景图；
(4-2)利用得到的图片，使用基于背景相减法的位置检测函数，输出前景中的各个物体的位置；
(4-3)若函数没有返回错误信息，则允许进入步骤(5)；否则在输出相应错误提示。
所述步骤(4-1)中，拍摄背景图与前景图的具体步骤为：
(4-1-1)拍摄无物体的背景图；
(4-1-2)摆放三个坐标轴标志物，分别表示原点、y轴正方向和x轴正方向；
(4-1-3)在坐标轴范围内摆放准备识别的手工制品模型，拍摄前景图；
(4-1-4)将背景与前景图压缩并保存。
所述步骤(4-2)中使用基于背景相减法的位置检测函数，输出前景中各个物体的位置的具体方法为：
(4-2-1)求和背景的差值与去噪；
(4-2-2)提取彩色图像转换为灰度图，然后转换为二值图；
(4-2-3)对上一步得到的图像膨胀腐蚀，求解并输出轮廓；
(4-2-4)求轮廓质心存储并排序，并将坐标映射到虚拟空间的交互范围内。
所述步骤(4-3)中返回的错误信息包括以下几种：
(4-3-1)程序内错误，包括图像大小不一致、非彩色图片、检测到的物体个数小于3或大于10；
(4-3-2)映射出界，物体映射的坐标在虚拟空间的交互范围之外。
所述步骤(5)中，对模型逐个扫描识别，并保存下各个模型的名称的具体方法为：
(5-1)为了准确而快速地识别每个手工制品模型，为每个模型上传多张用以识别的标记图片；
(5-2)扫描手工制品模型，程序根据标记图片识别模型；
(5-3)若保存的扫描结果个数等于识别出的位置个数，允许进入步骤(6)，否则提示错误信息，重复步骤(5-2)。
所述步骤(5-2)中，识别物体的具体方法为：
(5-2-1)每个手工制品模型对应多个标志图片，进行识别，将手机摄像头对准模型进行识别，进行摄像头的聚焦；若识别成功，则显示相应提示，表示该物体识别成功；
(5-2-2)识别成功后，查找记录，判断此物体是否有已被识别的记录，若为否，则保存物体名称；
(5-2-3)若存在多个手工制品模型，为了位置映射的准确性，按照从上到下，从左到右的顺序扫描模型。
所述步骤(6)中，编辑模型的出场顺序的方法为：
(6-1)根据步骤(5)得到的模型名称，生成与各模型相应的图像与名称标签；
(6-2)将图标按从上到下的顺序拖拽到出场顺序编辑区，若无空输入与重复输入，则保存出场顺序，进入下一步。
所述步骤(7)中，编辑并保存故事线与台词的方法为：
(7-1)根据步骤(6)中得到的出场顺序，在用户界面上生成与各模型出场顺序相应的图标与输入栏；
(7-2)输入栏中编辑台词，保存故事线与台词，无台词输入的角色将保存其默认台词。
所述步骤(8)中，使用虚拟现实设备体验生成的虚拟场景的方法为：
(8-1)结合Kinect、手机陀螺仪或/和暴风魔镜，实现虚拟现实漫游功能；
(8-2)场景生成单元在场景中初始化模型并生成故事线；
(8-3)在场景中走动，探索设计的场景与故事线。
所述步骤(8-2)中，初始化模型与生成故事线的方法为：
(8-2-1)根据步骤(4)保存的位置数据与步骤(5)保存的模型名称数据，在相应的坐标初始化相应模型。
(8-2-2)根据步骤(7)保存的故事线与台词数据，生成故事线。
其中所述步骤(8-2-2)中，生成故事线的方法为：
(8-2-2-1)首先激活第一个模型；
(8-2-2-2)当走进已激活的模型的剧情触发区域时，触发相应剧情，显示台词，然后检查下一个模型是否被激活，若没有被激活，则激活下一个模型。
与现有技术相比，本发明的有益效果为：
(1)用户可以摆脱硬件、材料和空间的限制，随时随地享受手工制作(包括但不限于折纸、陶瓷、刺绣、编制、剪纸、皮具制备和/或注塑)的乐趣只需一个移动终端(如手机)，就可以方便地预览折纸的三维模型和展开图；不再需要特定的专业材料(如折纸书)与器材，根据给出的展开图，不仅可以选择将图纸打印出来，还可以根据标记好的零部件尺寸，用手绘的方式画出图纸，摆脱硬件的限制，尽享手工创造的乐趣。
(2)手工制作的教程视频的加入提升了用户体验，不仅有模型整体制作过程的视频教学，还有模型细节制作的视频教学，丰富的教学视频使用户体验更佳，将手工制作过程中可能出现的困难一扫而空。
(3)本发明根据手工制品模型生成虚拟场景的功能，极大地激发了用户的创造力和想象力，用户不仅可以随时随地、随心所欲地制作手工制品模型，还能用它设计场景，构思故事线，可充分发挥自己的创造力与想象力，用这些模型创造出一个栩栩如生的虚拟世界。
(4)本系统根据角色模型设计故事线的功能，提升了系统的自由度与沉浸感，与那些事先设计好故事线的体验系统不同，本发明中用户既是体验者，也是设计者，提高了系统的自由度；用户设计的具有完整故事线的虚拟世界，是一个更具有故事性和生命力的世界，极大地提高了系统的沉浸感。
(5)结合虚拟现实技术进行体验，使用户的漫游体验更真实，沉浸感更强。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本发明体验方式效果示意图；
图2为本发明单元框架的示意图；
图3为本发明流程框架的示意图；
图4-1～4-4为折纸系统使用范例图；
图5-1～5-4为位置检测单元使用范例图；
图6为物体识别单元使用范例图；
图7-1、7-2为角色出场顺序单元使用范例图；
图8-1、8-2为角色出场台词单元使用范例图；
图9-1、9-2、9-3为生成场景后的故事线漫游范例图；
其中，101.用户，102.手机，103.坐标标记，104.折纸模型，105.暴风魔镜。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在本发明中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本发明各部件或元件结构关系而确定的关系词，并非特指本发明中任一部件或元件，不能理解为对本发明的限制。
本发明中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本发明中的具体含义，不能理解为对本发明的限制。
正如背景技术所介绍的，现有技术中存在手工制作过程中的交互不够的不足，为了解决如上的技术问题，本申请提出了一种基于移动终端的手工制品与虚拟现实体验系统及方法。
本申请的一种典型的实施方式中，如图1所示，以折纸进行具体举例。
图1为本发明的实施实例的效果图，其中，101代表用户，102代表手机， 103代表坐标标记，104代表折纸模型，105代表暴风魔镜。
图2为本发明单元框架的示意图，如图所示，基于移动终端的折纸创意开发与虚拟现实教育体验系统包括折纸子系统，位置与物体识别子系统，故事线生成子系统，场景生成与漫游子系统，其中：
所述折纸子系统的功能为，根据模型生成折纸展开图，并提供教学视频，包括以下单元：
选择折纸模型单元：用于选择三维模型；
输出折纸展开图单元：用于输出与所选三维模型对应的折纸展开图，并以厘米为单位标记各部件尺寸。
折纸教学视频单元：提供所选折纸模型的制作教程，包括整体组装视频教学单元，用以展示整体组装视频；细节组装视频教学单元，用以展示细节组装视频。
所述位置与物体识别子系统的功能为，识别并输出物理世界中多个物体的名称与坐标，包括以下单元：
位置检测单元：用于识别与保存物理世界中摆放的折纸模型的位置，包括图像获取单元与位置检测函数单元。
物体识别单元：用于识别与保存物理世界中摆放的折纸模型的名称。
其中，位置检测单元中的这些子单元的功能为：
图像获取单元：调用安卓摄像头拍摄前景图与背景图，并将其压缩为原来二分之一的大小保存在手机SD卡上；
位置检测函数单元：启动位置检测函数，计算并保存前景图中摆放的物体的坐标。
所述故事线生成子系统的功能为，编辑模型的出场顺序与台词，包括以下单元：
出场顺序编辑单元：用于编辑与保存模型的出场顺序；
台词编辑单元：用于编辑与保存模型的台词，若无输入，则保存默认台词。
所述场景生成与漫游子系统的功能为，根据物体的名称与坐标，生成相应场景；根据故事线台词，生成相应故事线；提供漫游功能。包括以下单元：
场景生成单元：根据位置与物体识别子系统保存的物体的位置与名称信息，结合故事线生成系统保存的故事线台词，在虚拟场景的相应位置初始化模型及其故事线；
场景漫游单元：结合Kinect、手机陀螺仪与暴风魔镜，使得用户能在生成的场景里漫游与探索自己设计的故事线。
图3为本发明流程框架的示意图，如图所示，301～306分别对应着步骤一～步骤六。
在步骤301中，用户(图1中101)在运行在手机(图1中102)上的折纸子系统的选择折纸模型单元中选择三维模型，如图4-1所示，根据喜好选择好想要展开的模型，如按下“狗”，按下确认键，则会生成一张狗的折纸模型展开图。
在步骤302中，用户可以在折纸子系统的输出折纸展开图单元查看所选三维模型的折纸展开图。展开图可以放大图片，并标记出了各部分尺寸大小，用户可以根据展开图绘制或打印出图纸，如图4-2所示，点击确认进入下一步，点击返回则回到步骤201重新选择折纸模型。
在步骤303中，用户可以在折纸子系统的折纸教学视频单元中查看折纸教学视频。点击“组装视频”可以查看整体组装教学视频，如图4-3所示；点击“细节视频”则可查看细节组装教学视频，如图4-4所示。
在步骤304中，用户可以在位置与物体识别子系统中的位置检测单元进行位置检测。首先按下“背景”按钮拍摄无物体的背景图，如图5-1所示；然后摆放用来标定坐标的三个物体(图1中的坐标标记103)：放在左上的物体代表坐标原点，左下代表y轴正方向，右上代表x轴正方向。接着在坐标标定区域内放入待识别的物体(图1中的折纸物体104)，按下“前景”按钮拍下前景图，如图5-2所示。点击“确认”按钮，启动位置检测函数。首先求和背景的差值与去噪，然后提取彩色图像转换为灰度图，再转换为二值图，如图5-3所示；对上一步得到的图像膨胀腐蚀，求解并输出轮廓，如图4-3所示；最后求轮廓质心，将其存储并排序，并将坐标映射到虚拟空间的交互范围内，将得到的位置信息保存并输出给用户，如图5-4所示，点击“是”进入下一步，点击“否”，则返回此步骤的操作界面。
在步骤305中，用户可以在位置与物体识别子系统中的物体识别单元进行物体识别。首先将摄像头对准待识别物体，如图6所示，当操作界面中的摄像头画面中，物体表面显示如图6所示的模型时，表示识别成功，检查文件，若之前没有将此模型名称保存下来，则将其保存下来。为了使模型坐标准确地对应上位置检测中计算出的坐标，识别多个物体时，需按照以上同样的方法，从上到下，从左到右依次扫描物体。
在步骤306中，用户在角色出场顺序单元中编辑角色出场顺序，界面如图所示。方法如下：
(1)根据物体识别单元生成的物体名称数据，动态生成相应数目的编辑框，并初始化右侧预览区的角色图标与名称，使其与物体的名称数据相对应，初始化后的界面如图7-1所示；
(2)用户将左侧预览区的角色图标拖拽到右侧编辑区的虚线框内，编辑完成后点击右下方的下一步按钮，若无空项或重复项，则系统按“从上到下”的顺序保存角色出场顺序，进入台词编辑单元，编辑完后的用户界面如图7-2所示。
在步骤307中，用户在台词编辑单元中编辑角色台词，方法如下：
(1)按照上一步保存的角色出场顺序，在用户界面生成相应的角色图标与台词编辑框，如图8-1所示，左侧为相应的角色图标，右侧为相应角色的台词编辑框；
(2)用户在台词编辑框中编辑台词，点击下一步按钮保存台词，若有空项，则填充为默认台词，如图8-2所示。
在步骤308中，场景生成单元利用物体识别单元保存的模型名称与位置检测单元保存的位置数据，在场景的相应位置生成相应模型；再根据台词编辑单元保存的台词数据生成故事线；最后将手机放入暴风魔镜中，结合Kinect与手机陀螺仪，便可以在场景中漫游、探索自己设计的故事线了，如图9-1、图9-2、图9-3所示。
其中，生成故事线的机制为：
(1)首先在场景中激活第一个模型，当用户进入剧情触发区域时，显示相应台词，并检查下一个模型是否激活，若否，则按故事线中的出场顺序激活下一个模型，只有被激活的模型才能被显示与触发剧情。
(2)第二个及之后的模型的剧情触发机制同理，每次进入剧情触发区域时，根据台词数据显示与该模型相对应的台词，检查下一个模型是否被激活，若否，则激活故事线顺序里的下一个模型，直到故事线中的模型全部被激活。
当然，在本发明的其他实施方式中，可以将折纸模型替换为剪纸模型、编织制品模型、陶瓷制品或者绣品模型等等。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于移动终端的手工制品与虚拟现实体验系统，其特征是：手工制作子系统、位置与物体识别子系统、故事线生成子系统和场景生成与漫游子系统，其中：
所述手工制作子系统，被配置为根据模型生成手工制品的展开图，并提供教学视频；
所述位置与物体识别子系统，被配置为识别并输出物理世界中包括手工制品的多个物体的名称与坐标；
所述故事线生成子系统，被配置为编辑模型的出场顺序与台词；
所述场景生成与漫游子系统，被配置为根据物体的名称与坐标，生成相应场景，根据故事线台词，生成相应故事线，使用虚拟现实设备体验生成的虚拟场景与剧情，实现交互。
2.如权利要求1所述的一种基于移动终端的手工制品与虚拟现实体验系统，其特征是：所述手工制作子系统包括：
选择模型单元，被配置为选择手工制品的三维模型；
输出展开图单元，被配置为输出与所选三维模型对应的折纸展开图，并以厘米为单位标记各部件尺寸；
折纸教学视频单元被配置为提供所选模型的制作教程，展示整体组装视频和细节组装视频。
3.如权利要求1所述的一种基于移动终端的手工制品与虚拟现实体验系统，其特征是：所述位置与物体识别子系统，包括：
位置检测单元，被配置为识别与保存物理世界中摆放的手工制品的模型的位置，包括图像获取单元与位置检测函数单元；
物体识别单元，被配置为识别与保存物理世界中摆放的折纸模型的名称；
所述图像获取单元，被配置为调用摄像头拍摄前景图与背景图，并将其压缩为原来二分之一的大小保存在存储设备上；
所述位置检测函数单元，被配置为启动位置检测函数，计算并保存前景图中摆放的物体的坐标。
4.如权利要求1所述的一种基于移动终端的手工制品与虚拟现实体验系统，其特征是：所述场景生成与漫游子系统，包括：
场景生成单元，被配置为根据位置与物体识别系统保存的物体的位置与名称信息，结合故事线生成系统保存的故事线台词，在虚拟场景的相应位置初始化模型及其故事线；
场景漫游单元，被配置为结合Kinect、手机陀螺仪与/或暴风魔镜，使得用户能在生成的场景里漫游与探索自己设计的故事线。
5.基于如权利要求1-4中任一项所述的系统的工作方法，其特征是：包括以下步骤：
(1)选择待制作的手工制品的模型；
(2)输出所选模型的折纸展开图；
(3)提供整体组装视频与细节组装视频，根据视频制作手工制品模型；
(4)在背景中摆放制作好的手工制品模型，拍照识别并保存各个模型的位置；
(5)对模型逐个扫描识别，并保存各个手工制品模型的名称；
(6)根据步骤(5)得到的名称，编辑手工制品模型的出场顺序；
(7)根据步骤(6)得到的出场顺序，编辑并保存故事线与台词；
(8)使用虚拟现实设备体验生成的虚拟场景与剧情。
6.如权利要求5所述的工作方法，其特征是：所述步骤(4)中，摆放多个模型，拍照识别并保存各个模型的位置的具体步骤为：
(4-1)拍摄无物体的背景图与含物体与坐标轴标志物的物体的前景图；
(4-2)利用得到的图片，使用基于背景相减法的位置检测函数，输出前景中的各个物体的位置；
(4-3)若函数没有返回错误信息，则允许进入步骤(5)；否则在输出相应错误提示。
7.如权利要求6所述的工作方法，其特征是：所述步骤(4-1)中，拍摄背景图与前景图的具体步骤为：
(4-1-1)拍摄无物体的背景图；
(4-1-2)摆放三个坐标轴标志物，分别表示原点、y轴正方向和x轴正方向；
(4-1-3)在坐标轴范围内摆放准备识别的手工制品模型，拍摄前景图；
(4-1-4)将背景与前景图压缩并保存。
8.如权利要求6所述的工作方法，其特征是：所述步骤(4-2)中使用基于背景相减法的位置检测函数，输出前景中各个物体的位置的具体方法为：
(4-2-1)求和背景的差值与去噪；
(4-2-2)提取彩色图像转换为灰度图，然后转换为二值图；
(4-2-3)对上一步得到的图像膨胀腐蚀，求解并输出轮廓；
(4-2-4)求轮廓质心存储并排序，并将坐标映射到虚拟空间的交互范围内。
9.如权利要求6所述的工作方法，其特征是：所述步骤(5)中，对模型逐个扫描识别，并保存下各个模型的名称的具体方法为：
(5-1)为了准确而快速地识别每个手工制品模型，为每个模型上传了多张用以识别的标记图片；
(5-2)扫描手工制品模型，程序根据标记图片识别模型；
(5-3)若保存的扫描结果个数等于识别出的位置个数，允许进入步骤(6)，否则提示错误信息，重复步骤(5-2)；
所述步骤(5-2)中，识别物体的具体方法为：
(5-2-1)每个手工制品模型对应多个标志图片，进行识别，将手机摄像头对准模型进行识别，进行摄像头的聚焦；若识别成功，则显示相应提示，表示该物体识别成功；
(5-2-2)识别成功后，查找记录，判断此物体是否有已被识别的记录，若为否，则保存物体名称；
(5-2-3)若存在多个手工制品模型，为了位置映射的准确性，按照从上到下以及从左到右的扫描顺序扫描模型。
10.如权利要求6所述的工作方法，其特征是：所述步骤(8)中，使用虚拟现实设备体验生成的虚拟场景的方法为：
(8-1)结合Kinect、手机陀螺仪或/和暴风魔镜，实现虚拟现实漫游功能；
(8-2)场景生成单元在场景中初始化模型并生成故事线；
(8-3)在场景中走动，探索设计的场景与故事线；
所述步骤(8-2)中，初始化模型与生成故事线的方法为：
(8-2-1)根据步骤(4)保存的位置数据与步骤(5)保存的位置数据，在相应的坐标初始化相应模型。
(8-2-2)根据步骤(7)保存的故事线与台词数据，生成故事线，首先激活第一个模型，当走进已激活的模型的剧情触发区域时，触发相应剧情，显示台词，然后检查下一个模型是否被激活，若没有被激活，则激活下一个模型。
CN201711193225.3A 2017-11-24 2017-11-24 基于移动终端的手工制品与虚拟现实体验系统及方法 Active CN108062796B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711193225.3A CN108062796B (zh) 2017-11-24 2017-11-24 基于移动终端的手工制品与虚拟现实体验系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711193225.3A CN108062796B (zh) 2017-11-24 2017-11-24 基于移动终端的手工制品与虚拟现实体验系统及方法

Publications (2)

Publication Number Publication Date
CN108062796A true CN108062796A (zh) 2018-05-22
CN108062796B CN108062796B (zh) 2021-02-12

Family

ID=62135615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711193225.3A Active CN108062796B (zh) 2017-11-24 2017-11-24 基于移动终端的手工制品与虚拟现实体验系统及方法

Country Status (1)

Country Link
CN (1) CN108062796B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109353078A (zh) * 2018-10-09 2019-02-19 乐米智拓(北京)科技有限公司 折纸模型生成方法、装置、介质及电子设备
CN109616179A (zh) * 2018-12-07 2019-04-12 山东大学 自闭症谱系障碍混合现实康复训练系统及方法
CN109753219A (zh) * 2018-12-29 2019-05-14 广州欧科信息技术股份有限公司 基于虚拟现实的手工艺品制作系统、方法及装置
CN109828666A (zh) * 2019-01-23 2019-05-31 济南漫嘉文化传播有限公司济宁分公司 基于有形用户界面的混合现实交互系统及方法
WO2019232005A1 (en) * 2018-05-30 2019-12-05 Dakiana Research Llc Method and device for presenting an audio and synthesized reality experience
CN111599292A (zh) * 2020-06-08 2020-08-28 浙江商汤科技开发有限公司 一种历史场景的呈现方法、装置、电子设备及存储介质
CN111968198A (zh) * 2020-08-11 2020-11-20 深圳市前海手绘科技文化有限公司 一种基于故事线的手绘视频创作方法和装置
CN112732140A (zh) * 2021-01-12 2021-04-30 北京市商汤科技开发有限公司 资源处理方法、装置、电子设备及存储介质
CN113094592A (zh) * 2021-03-01 2021-07-09 浙江工业大学 一种基于剪纸文化传承与体验的app终端交互系统
CN113903197A (zh) * 2021-10-22 2022-01-07 成都信息工程大学 一种自闭症儿童生活教育之叠被子教学装置及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103282935A (zh) * 2010-11-15 2013-09-04 学习时代公司 多导航模式的计算机实施系统
CN105373224A (zh) * 2015-10-22 2016-03-02 山东大学 一种基于普适计算的混合现实游戏系统及方法
CN105787121A (zh) * 2016-03-25 2016-07-20 大连理工大学 一种基于多故事线的微博事件摘要提取方法
WO2016126852A1 (en) * 2015-02-04 2016-08-11 President And Fellows Of Harvard College Biomineralization on paper scaffolds
WO2017043686A1 (ko) * 2015-09-11 2017-03-16 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
CN107274438A (zh) * 2017-06-28 2017-10-20 山东大学 支持移动虚拟现实应用的单Kinect多人跟踪系统及方法
US20170330376A1 (en) * 2016-05-10 2017-11-16 Disney Enterprises, Inc. Occluded virtual image display

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103282935A (zh) * 2010-11-15 2013-09-04 学习时代公司 多导航模式的计算机实施系统
WO2016126852A1 (en) * 2015-02-04 2016-08-11 President And Fellows Of Harvard College Biomineralization on paper scaffolds
WO2017043686A1 (ko) * 2015-09-11 2017-03-16 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
CN105373224A (zh) * 2015-10-22 2016-03-02 山东大学 一种基于普适计算的混合现实游戏系统及方法
CN105787121A (zh) * 2016-03-25 2016-07-20 大连理工大学 一种基于多故事线的微博事件摘要提取方法
US20170330376A1 (en) * 2016-05-10 2017-11-16 Disney Enterprises, Inc. Occluded virtual image display
CN107274438A (zh) * 2017-06-28 2017-10-20 山东大学 支持移动虚拟现实应用的单Kinect多人跟踪系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ALBORZI H ET AL: ""Designing StorytellingRooms: interactive storytelling spaces for children"", 《CONFERENCE ON DESIGNING INTERACTIVE SYSTEMS: ROCESSES,PRACTIES,METHODS，AND TECHNIQUES.ACM》 *
张澜 等: ""面向儿童的实物交互工具及其在讲故事中的应用"", 《计算机辅助设计与图形学学报》 *
龚江涛 等: ""面向儿童的交互创作系统 PaperJeemo 设计研究"", 《装饰》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019232005A1 (en) * 2018-05-30 2019-12-05 Dakiana Research Llc Method and device for presenting an audio and synthesized reality experience
CN112189183A (zh) * 2018-05-30 2021-01-05 苹果公司 用于呈现音频和合成现实体验的方法和设备
US11783548B2 (en) 2018-05-30 2023-10-10 Apple Inc. Method and device for presenting an audio and synthesized reality experience
CN109353078A (zh) * 2018-10-09 2019-02-19 乐米智拓(北京)科技有限公司 折纸模型生成方法、装置、介质及电子设备
CN109616179A (zh) * 2018-12-07 2019-04-12 山东大学 自闭症谱系障碍混合现实康复训练系统及方法
CN109753219B (zh) * 2018-12-29 2021-07-20 广州欧科信息技术股份有限公司 基于虚拟现实的手工艺品制作系统、方法及装置
CN109753219A (zh) * 2018-12-29 2019-05-14 广州欧科信息技术股份有限公司 基于虚拟现实的手工艺品制作系统、方法及装置
CN109828666A (zh) * 2019-01-23 2019-05-31 济南漫嘉文化传播有限公司济宁分公司 基于有形用户界面的混合现实交互系统及方法
CN109828666B (zh) * 2019-01-23 2022-01-25 山东大学 基于有形用户界面的混合现实交互系统及方法
CN111599292A (zh) * 2020-06-08 2020-08-28 浙江商汤科技开发有限公司 一种历史场景的呈现方法、装置、电子设备及存储介质
CN111968198A (zh) * 2020-08-11 2020-11-20 深圳市前海手绘科技文化有限公司 一种基于故事线的手绘视频创作方法和装置
CN112732140A (zh) * 2021-01-12 2021-04-30 北京市商汤科技开发有限公司 资源处理方法、装置、电子设备及存储介质
CN113094592A (zh) * 2021-03-01 2021-07-09 浙江工业大学 一种基于剪纸文化传承与体验的app终端交互系统
CN113903197A (zh) * 2021-10-22 2022-01-07 成都信息工程大学 一种自闭症儿童生活教育之叠被子教学装置及方法

Also Published As

Publication number Publication date
CN108062796B (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN108062796A (zh) 基于移动终端的手工制品与虚拟现实体验系统及方法
Amory Building an educational adventure game: Theory, design, and lessons
CN109087379B (zh) 人脸表情的迁移方法和人脸表情的迁移装置
CN109637207A (zh) 一种学前教育互动教学装置及教学方法
Levin et al. Code as creative medium: a handbook for computational art and design
Lomas Cellular forms: an artistic exploration of morphogenesis.
Scarlatos Tangible math
Corrêa et al. Development of an interactive book with Augmented Reality for mobile learning
Marzouk et al. Biology learning using augmented reality and gaming techniques
Gopalan et al. Development of the MARPEX App embedding the mobile augmented reality factors for learning motivation in science experiments
Yoo et al. Evaluation of an Augmented Reality for Historical Context Experiences of 3D Restored Court Paintings
Cárdenas et al. Darwin has come back to the Galápagos Islands: An educational journey to discover biological evolution
Eisenberg et al. Orihedra: Mathematical sculptures in paper
Igarashi Computer graphics for all
CN109584376A (zh) 基于vr技术的构图教学方法、装置、设备以及存储介质
Strohecker Embedded microworlds for a multiuser environment
Wang et al. AR-C&P: A Tangible Programming for Children Based Augmented Reality
Chen Research and Application of English Learning Games Based on VR technology
Fröhlich Natural and playful interaction for 3d digital content creation
Santorineos et al. An Open Workshop Enabling Arts Students and Educators to Collaboratively Construct Multi-User Worlds
Zhao Designing interactive technology for cross-cultural appreciation of intangible cultural heritage: Chinese traditional painting and puppetry
Amoruso et al. Game engine: valutazione comparativa per una teoria d’utilizzo nel campo del Digital Heritage. Game Engine Applications Overview And Comparative Analysis For The Enhancement Of Cultural Heritage
Singaravelu Augmented reality: a boon for the teaching and learning process
Shamonsky Tactile, spatial interfaces for computer-aided design: superimposing physical media and computation
Hutchison META: discourses from dancers inside action machines

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant