CN107596683B - 基于增强现实的童车虚拟游乐方法、装置及系统 - Google Patents

基于增强现实的童车虚拟游乐方法、装置及系统 Download PDF

Info

Publication number
CN107596683B
CN107596683B CN201710874283.6A CN201710874283A CN107596683B CN 107596683 B CN107596683 B CN 107596683B CN 201710874283 A CN201710874283 A CN 201710874283A CN 107596683 B CN107596683 B CN 107596683B
Authority
CN
China
Prior art keywords
virtual
baby carriage
scene
amusement
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710874283.6A
Other languages
English (en)
Other versions
CN107596683A (zh
Inventor
严群
姚剑敏
陈纾
林坚普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinjiang Bogan Electronic Technology Co ltd
Original Assignee
Jinjiang Bogan Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinjiang Bogan Electronic Technology Co ltd filed Critical Jinjiang Bogan Electronic Technology Co ltd
Priority to CN201710874283.6A priority Critical patent/CN107596683B/zh
Publication of CN107596683A publication Critical patent/CN107596683A/zh
Application granted granted Critical
Publication of CN107596683B publication Critical patent/CN107596683B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种基于增强现实的童车虚拟游乐方法、系统及装置,涉及游乐设备领域,所述基于增强现实的童车虚拟游乐方法包括:由手绘指定区域、检测预设人工标志物或由空地检测算法限定童车的活动区域,在活动区域中根据对游乐项目的选择和童车物理参数生成虚拟场景和虚拟路径,童车在实际行进中根据自身的实时状态参数与虚拟场景中的虚拟物产生碰撞、遮挡等交互,虚拟场景和实际场景叠加后显示于增强现实显示器上。本发明是对童车游乐功能的拓展,童车既具有在实际场景中行驶的真实感,又可与虚拟物互动。儿童可根据虚拟路径和虚拟场景进行虚拟驾驶、虚拟交通规则学习、虚拟追逐比赛、互联网竞技等游乐,提升娱乐性、学习性和真实感。

Description

基于增强现实的童车虚拟游乐方法、装置及系统
技术领域
本发明涉及童车的虚拟游乐应用,特别是一种基于增强现实的童车虚拟游乐方法、装置及系统,涉及增强现实和虚拟现实领域,也涉及视频图像处理与控制领域。
背景技术
童车是儿童玩具之中的一大门类,其中包括儿童自行车、儿童推车、婴儿学步车、儿童三轮车、儿童电动车、儿童电动遥控车等各种类型。
这里仅以儿童电动车为例进行说明,儿童电动车一般具有卡通动物造型,活泼可爱。儿童可以自己驾驶,亦可亲子互动,电动车可前进、后退,对儿童有极强的吸引力。其中儿童电动汽车常带有遥控器,有包围式的座位,一般不易从车上摔下来,安全性较高。
儿童在自己驾驶电动车时,一般在家长指引下,或根据周边实地场景选择行驶路线,通常情况下呈现较自由的行驶状态,行驶中所产生的交互为儿童和家长、行人、树木、花草、动物等之间的互动,规划性和娱乐性差。若周围缺乏吸引儿童的互动因素,儿童对驾驶的乐趣将可能降低。
目前有两类与童车驾驶有关的游乐项目,其一是虚拟驾驶类,如摇摆车和虚拟赛车,儿童乘坐于具有固定底盘或可执行少量摇摆震动动作底盘的童车内,通过观看车载显示屏内的虚拟道路、虚拟比赛等场景,操作按钮或摇杆实现童车的少量动作。其特点是童车自身不产生实际行驶行为,因此仅能观看虚拟场景,而且童车能执行的动作有限。
其二是儿童可实际驾驶的游乐项目,如碰碰车、环形赛道追逐等,该类型游乐项目对儿童的实际操控能力要求较高,具有一定的危险性。特别是障碍类比赛,在现实中设置障碍,增大游戏的危险性。
发明内容
有鉴于现有技术的上述缺陷,本发明所要解决的技术问题是提供一种增强现实的童车虚拟游乐方法,旨在对童车游乐功能的拓展,一方面保持童车在实际场景中行驶的真实感,另一方面增强童车与虚拟物互动,提升童车娱乐性和真实感,寓教于乐。
为实现上述目的,在本发明提供一种增强现实的童车虚拟游乐方法,所述方法包括:
步骤S1、获取童车所执行的虚拟游乐项目类型;虚拟游乐项目类型可由用户进行选择,可选的,在触控屏上选取游戏项目,根据游戏项目自动匹配项目类型;可选的,在触控屏上选取游乐项目类型;
步骤S2、检测所述童车当前所处环境的现实场地信息;
步骤S3、根据所述虚拟游乐项目类型和/或所述现实场地信息,生成第一虚拟场景和/或第一虚拟路径;其中,所述第一虚拟场景和/或所述第一虚拟路径中设置有虚拟物;
步骤S4、实时采集所述童车的第一方向上的第一图像信息,实时获取所述童车的运动状态信息;
步骤S5、根据所述第一图像信息生成实际场景视频层;
步骤S6、根据所述童车的状态信息,计算童车和所述第一虚拟场景和/或所述第一虚拟路径间的交互信息,生成虚拟场景视频层;
步骤S7、根据所述实际场景视频层与所述虚拟场景视频层,显示增强显示视频;其中,所述增强显示视频由所述实际场景视频层与所述虚拟场景视频层层叠而成;
步骤S8、判断所述童车是否驶出所述第一虚拟场景和/或所述第一虚拟路径,若未驶出所述虚拟场景和/或第一虚拟路径,则转向步骤S4,否则继续下一步骤;
步骤S9、判断所述虚拟游乐项目类型是否属于开环类型;若所述虚拟游乐项目类型属于开环类型,则返回步骤S2,否则返回步骤S4。
在一具体实施例中,所述实时获取所述童车的运动状态信息,还包括:
获取运动传感采集模块所采集的所述童车的所述运动状态信息;
或根据所述第一图像信息,求解所述童车的所述运动状态信息。
可选的,通过图像处理的方式,获得小车的运动数据;例如通过图像信息变化数据,获得童车速度、加速、转弯等信息;其中,通过视频采集帧之间的时间以及图像变化情况,可以获得童车的速度、加速度、转弯等信息。
可选的,在童车上或虚拟游乐辅助设备上设置运动传感器,例如陀螺仪、加速度传感器等,对童车的运动状态进行检测。典型的虚拟游乐辅助设备为增强现实头盔。
上述运动状态信息的采集其目的在于,为步骤S6中的所述计算童车和虚拟场景间的交互信息,提供参数值。
在一具体实施例中,所述步骤S2还包括:
采集用户手指所绘制或设定的第一区域、检测预设人工标识物和/或基于空地检测算法检测场地情况;
根据所述第一区域、所述人工标识物和/或所述空地情况,确定所述童车当前所处环境的所述现实场地信息。
在一具体实施例中,所述基于空地检测算法检测空地情况,还包括:
获取所述童车所在区域的空地的平整性、灰度分布、色彩分布和/或空间深度分布;
根据所述平整性、所述灰度分布、所述色彩分布和/或所述空间深度分布,获得所述空地情况。
在一具体实施例中,所述虚拟游乐项目类型包括:闭环项目和/或开环项目。
其中,所述闭环项目为需返回起点的闭环形式的项目,所述闭环项目包括:绕圈和往还;所述开环项目为无需返回起点的开环形式的项目,所述开环项目包括:追逐、计时比赛、网络联机比赛。
在一具体实施例中,所述步骤S3还包括:
根据所述虚拟游乐项目类型、所述童车的拐弯半径、速度和/或车身物理参数,在预先制作好的平面或三维模型中选取出所述第一虚拟场景和/或所述第一虚拟路径;
根据所述现实场地信息,调整所述第一虚拟场景和/或所述第一虚拟路径。
在一具体实施例中,所述步骤S4还包括:
根据实时采集的所述第一图像信息的前后对比,求解所述童车的所述状态信息;
和/或根据设置于所述童车上或增强显示辅助设备上的运动传感模块所采集的所述童车的进行位置、方向、速度、加速度状态,获取所述童车的所述状态信息。
值得一提的是,在本实施例中,所述状态信息主要包括运动状态信息,可选的,通过实时采集的前后图像对比,获得童车的运动状态信息。可选的,通过陀螺仪等定位硬件实现童车行进位置、方向、速度、加速度状态实时检测。
在一具体实施例中,在所述步骤S5中,所述实际场景视频层,是由所述童车的车载摄像机直接拍摄得到。
在一具体实施例中,在所述步骤S6中,所述交互信息包括所述童车与所述虚拟物之间的障碍遮挡关系、碰撞关系或跨越关系。
在一具体实施例中,所述步骤S6还包括:求解所述虚拟物和实际场景物之间的上下图层关系;所述步骤S7还包括:根据所述虚拟物和实际场景物之间的所述上下图层关系,进行所述虚拟物和实际场景物之间的层叠,生成增强显示视频。
所述虚拟物为增强现实显示中,人为增加的虚拟显示物体影像,实际场景物为实际场景中存在的物体影像。
可选的,在步骤S7虚实视频层的叠加显示中,实际场景和虚拟场景中的场景可交互遮挡叠加显示,不指定为固定的上层和下层。
在一具体实施例中,所述判断所述童车是否驶出所述第一虚拟场景和/或所述第一虚拟路径,还包括:
获取所述童车在所述所述第一虚拟场景和/或所述第一虚拟路径中的位置,
响应于所述童车在所述所述第一虚拟场景和/或所述第一虚拟路径中触及虚拟场景边界,判断所述童车驶出所述第一虚拟场景和/或所述第一虚拟路径。
可选的,若童车未驶出所述第一虚拟场景和/或所述第一虚拟路径,则转向步骤S4继续对所述童车的状态信息进行检测。若驶出了所述第一虚拟场景和/或所述第一虚拟路径,则继续下一步骤。
值得一提的是,在步骤S9中,判断当前童车所执行的虚拟游乐项目类型,如属于开环类型如自由行进,则需重新检测场地,生成新的场景和路径,即返回步骤S2;若虚拟游乐项目类型属于闭环类型如绕圈,则无需生成新的场景和路径,返回步骤S4。
可选的,检测所述童车当前所处环境的现实场地信息的现实场地检测模块的硬件包括但不限于:普通摄像头、深度摄像头、超声波探头。
可选的,童车的状态信息的检测硬件包括摄像头、陀螺仪、速度仪、加速度仪等。
可选的,增强现实显示硬件包括手机、平板电脑、平面显示屏、头盔显示器、视频眼镜等。
可选的,所述的场地检测硬件、童车状态检测硬件、增强现实显示硬件、CPU可一体化搭载在移动式平板电脑或手机系统中,便捷安装于童车上。
可选的,所述的童车可为儿童自行车、儿童推车、婴儿学步车、儿童三轮车、儿童电动车、儿童电动遥控车。
在本发明的另一方面,提供一种增强现实的童车虚拟游乐装置,其特征在于,所述装置包括:
现实场地检测模块,用于检测童车当前所处环境的现实场地信息;
童车实时状态采集模块,用于实时采集所述童车的第一方向上的第一图像信息,实时获取所述童车的运动状态信息;
处理器模块,用于根据虚拟游乐项目类型和/或所述现实场地信息,生成第一虚拟场景和/或第一虚拟路径;用于根据所述第一图像信息生成实际场景视频层;用于根据所述童车的状态信息,计算童车和所述第一虚拟场景和/或所述第一虚拟路径间的交互信息,生成虚拟场景视频层;
增强现实显示模块,用于根据所述实际场景视频层与所述虚拟场景视频层,显示增强显示视频;其中,所述增强显示视频由所述实际场景视频层与所述虚拟场景视频层层叠而成。
可选的,所述童车虚拟游乐装置为增强显示头盔,所述现实场地检测模块、童车状态采集模块、处理器模块、增强现实显示模块设置于增强现实头盔上。
在本发明的又一方面,提供一种增强现实的童车虚拟游乐系统,其特征在于,所述系统包括:
虚拟游乐项目类型采集模块,用于获取童车所执行的虚拟游乐项目类型;
现实场地检测模块,用于检测童车当前所处环境的现实场地信息;
童车实时状态采集模块,用于实时采集所述童车的第一方向上的第一图像信息,实时获取所述童车的运动状态信息;
场景生成模块,用于根据虚拟游乐项目类型和/或所述现实场地信息,生成第一虚拟场景和/或第一虚拟路径;
实际场景视频层生成模块,用于根据所述第一图像信息生成实际场景视频层;
交互信息求解模块,用于根据所述童车的状态信息,计算童车和所述第一虚拟场景和/或所述第一虚拟路径间的交互信息;
虚拟场景视频层生成模块,用于根据所述交互信息,生成虚拟场景视频层;
增强现实显示模块,用于根据所述实际场景视频层与所述虚拟场景视频层,显示增强显示视频;其中,所述增强显示视频由所述实际场景视频层与所述虚拟场景视频层层叠而成。
本发明的有益效果是:与现有技术相比,本发明可根据童车的活动区域,生成虚拟场景和虚拟路径,童车在实际行进中和虚拟物产生碰撞、遮挡等交互,虚拟场景和实际场景叠加后显示于增强现实显示器上。本发明是对童车游乐功能的拓展,童车既具有在实际场景中行驶的真实感,又可与虚拟物互动。儿童可根据虚拟场景和虚拟路径进行虚拟驾驶、虚拟交通规则学习、虚拟追逐比赛、互联网竞技等游乐,提升娱乐性、学习性和真实感。
附图说明
图1为本发明一实施例中提供的基于增强现实的童车虚拟游乐方法流程图;
图2为本发明一实施例中提供的基于增强现实的童车虚拟游乐装置的模块框图;
图3为本发明一实施例中提供的基于增强现实的童车虚拟游乐系统的系统框图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明:
增强现实和虚拟现实是近年来重新兴起的人机交互和显示技术集合体,其实质在于虚拟场景的构建,以及和实际场景之间的交互,具有广泛的应用,目前暂无同类产品或技术在针对童车实际驾驶过程中游乐方面的应用案例。
如图1所示,在本发明第一实施例中,提供一种增强现实的童车虚拟游乐方法,所述方法包括:
步骤S1、获取童车所执行的虚拟游乐项目类型;虚拟游乐项目类型可由用户进行选择,可选的,在触控屏上选取游戏项目,根据游戏项目自动匹配项目类型;可选的,在触控屏上选取游乐项目类型;
步骤S2、检测所述童车当前所处环境的现实场地信息;手绘指定区域,可在触摸屏上对实际场景进行划线指定;预设的人工标志物,可为标志线、交通障碍物等;自动空地检测算法,其特征还在于该算法是对空地的平整性、灰度分布、色彩分布、空间深度分布等进行检测。
步骤S3、根据所述虚拟游乐项目类型和/或所述现实场地信息,生成第一虚拟场景和/或第一虚拟路径;其中,所述第一虚拟场景和/或所述第一虚拟路径中设置有虚拟物;
步骤S4、实时采集所述童车的第一方向上的第一图像信息;实时获取所述童车的运动状态信息;
步骤S5、根据所述第一图像信息生成实际场景视频层;
步骤S6、根据所述童车的状态信息,计算童车和所述第一虚拟场景和/或所述第一虚拟路径间的交互信息,生成虚拟场景视频层;
步骤S7、根据所述实际场景视频层与所述虚拟场景视频层,显示增强显示视频;其中,所述增强显示视频由所述实际场景视频层与所述虚拟场景视频层层叠而成;
步骤S8、判断所述童车是否驶出所述第一虚拟场景和/或所述第一虚拟路径,若未驶出所述虚拟场景和/或第一虚拟路径,则转向步骤S4,否则继续下一步骤;
步骤S9、判断所述虚拟游乐项目类型是否属于开环类型;若所述虚拟游乐项目类型属于开环类型,则返回步骤S2,否则返回步骤S4。
在本实施例中,所述实时获取所述童车的运动状态信息,还包括:
获取运动传感采集模块所采集的所述童车的所述运动状态信息;
在另一实施例中,所述实时获取所述童车的运动状态信息,还包括:
或根据所述第一图像信息,求解所述童车的所述运动状态信息。
可选的,通过图像处理的方式,获得小车的运动数据;例如通过图像信息变化数据,获得童车速度、加速、转弯等信息;其中,通过视频采集帧之间的时间以及图像变化情况,可以获得童车的速度、加速度、转弯等信息。
可选的,在童车上或虚拟游乐辅助设备上设置运动传感器,例如陀螺仪、加速度传感器等,对童车的运动状态进行检测。典型的虚拟游乐辅助设备为增强现实头盔。
上述运动状态信息的采集其目的在于,为步骤S6中的所述计算童车和虚拟场景间的交互信息,提供参数值。
在本实施例中,所述步骤S2还包括:
采集用户手指所绘制或设定的第一区域、检测预设人工标识物和/或基于空地检测算法检测场地情况;
根据所述第一区域、所述人工标识物和/或所述空地情况,确定所述童车当前所处环境的所述现实场地信息。
进一步而言,所述基于空地检测算法检测空地情况,还包括:
获取所述童车所在区域的空地的平整性、灰度分布、色彩分布和/或空间深度分布;
根据所述平整性、所述灰度分布、所述色彩分布和/或所述空间深度分布,获得所述空地情况。
值得一提的是,在本实施例中,所述虚拟游乐项目类型包括:闭环项目和/或开环项目。
其中,所述闭环项目为需返回起点的闭环形式的项目,所述闭环项目包括:绕圈和往还;所述开环项目为无需返回起点的开环形式的项目,所述开环项目包括:追逐、计时比赛、网络联机比赛。
在本实施例中,所述步骤S3还包括:
根据所述虚拟游乐项目类型、所述童车的拐弯半径、速度和/或车身物理参数,在预先制作好的平面或三维模型中选取出所述第一虚拟场景和/或所述第一虚拟路径;
根据所述现实场地信息,调整所述第一虚拟场景和/或所述第一虚拟路径。
可选的,生成的虚拟场景和虚拟路径,是根据游乐项目类型,以及童车拐弯半径、速度、车身物理参数预先制作好平面或三维模型,并根据实际场地区域进行调整,可调整预制模型的大小,或增减预制模型的数量、种类等。
在本实施例中,所述步骤S4还包括:
根据实时采集的所述第一图像信息的前后对比,求解所述童车的所述状态信息;
和/或根据设置于所述童车上或增强显示辅助设备上的运动传感模块所采集的所述童车的进行位置、方向、速度、加速度状态,获取所述童车的所述状态信息。
值得一提的是,在本实施例中,所述状态信息主要包括运动状态信息,可选的,通过实时采集的前后图像对比,获得童车的运动状态信息。可选的,通过陀螺仪等定位硬件实现童车行进位置、方向、速度、加速度状态实时检测。
可选的,实时童车状态检测,是根据初始车载采集图像和行进中实时采集图像的对比,或由陀螺仪等定位硬件实现童车行进位置、方向、速度、加速度状态实时检测。初始车载采集图像即场地检测初始得到的场地地形图,可提取得到标志物或地形特征。童车行进中不断采集图像,实时提取标志物或地形特征,与初始车载采集图像进行匹配计算即可计算童车当前位置、方向、速度、加速度等状态。
可选的,在本实施例中,在所述步骤S5中,所述实际场景视频层,是由所述童车的车载摄像机直接拍摄得到。
值得一提的是,在所述步骤S6中,所述交互信息包括所述童车与所述虚拟物之间的障碍遮挡关系、碰撞关系或跨越关系。
在本实施例中,所述步骤S6还包括:求解所述虚拟物和实际场景物之间的上下图层关系;所述步骤S7还包括:根据所述虚拟物和实际场景物之间的所述上下图层关系,进行所述虚拟物和实际场景物之间的层叠,生成增强显示视频。
值得一提的是,所述虚拟物为增强现实显示中,人为增加的虚拟显示物体影像,实际场景物为实际场景中存在的物体影像。
生成的平面或三维游乐场景可如虚拟道路、虚拟障碍物、虚拟红绿灯、虚拟斑马线、虚拟警察、虚拟车辆等。童车和虚拟场景之间的交互,可体现为童车和虚拟物在三维空间内的碰撞和遮挡等各种行为。其实现可为在三维空间内对童车建模,设置碰撞体,根据童车状态调整童车模型,即可在U3D等软件中方便的实现和虚拟物的碰撞和遮挡等行为。
可选的,在步骤S7虚实视频层的叠加显示中,实际场景和虚拟场景中的场景可交互遮挡叠加显示,不指定为固定的上层和下层。即两个场景中的内容可部分位于上层显示,部分位于下层隐藏。
在本实施例中,所述判断所述童车是否驶出所述第一虚拟场景和/或所述第一虚拟路径,还包括:
获取所述童车在所述所述第一虚拟场景和/或所述第一虚拟路径中的位置,
响应于所述童车在所述所述第一虚拟场景和/或所述第一虚拟路径中触及虚拟场景边界,判断所述童车驶出所述第一虚拟场景和/或所述第一虚拟路径。
可选的,若童车未驶出所述第一虚拟场景和/或所述第一虚拟路径,则转向步骤S4继续对所述童车的状态信息进行检测。若驶出了所述第一虚拟场景和/或所述第一虚拟路径,则继续下一步骤。
此外,对驶出虚拟场景的行为也可报警警示。
值得一提的是,在步骤S9中,判断当前童车所执行的虚拟游乐项目类型,如属于开环类型如自由行进,则需重新检测场地,生成新的场景和路径,即返回步骤S2;若虚拟游乐项目类型属于闭环类型如绕圈,则无需生成新的场景和路径,返回步骤S4。
可选的,检测所述童车当前所处环境的现实场地信息的现实场地检测模块的硬件包括但不限于:普通摄像头、深度摄像头、超声波探头。
可选的,童车的状态信息的检测硬件包括摄像头、陀螺仪、速度仪、加速度仪等。
可选的,增强现实显示硬件包括手机、平板电脑、平面显示屏、头盔显示器、视频眼镜等。
可选的,所述的场地检测硬件、童车状态检测硬件、增强现实显示硬件、CPU可一体化搭载在移动式平板电脑或手机系统中,便捷安装于童车上。
可选的,所述的童车可为儿童自行车、儿童推车、婴儿学步车、儿童三轮车、儿童电动车、儿童电动遥控车。
如图2所示,在本发明的第二实施例中,提供一种增强现实的童车虚拟游乐装置,所述装置包括:
现实场地检测模块11,用于检测童车当前所处环境的现实场地信息;
童车实时状态采集模块13,用于实时采集所述童车的第一方向上的第一图像信息,实时获取所述童车的运动状态信息;
处理器模块12,用于根据虚拟游乐项目类型和/或所述现实场地信息,生成第一虚拟场景和/或第一虚拟路径;用于根据所述第一图像信息生成实际场景视频层;用于根据所述童车的状态信息,计算童车和所述第一虚拟场景和/或所述第一虚拟路径间的交互信息,生成虚拟场景视频层;
增强现实显示模块14,用于根据所述实际场景视频层与所述虚拟场景视频层,显示增强显示视频;其中,所述增强显示视频由所述实际场景视频层与所述虚拟场景视频层层叠而成。
可选的,所述童车虚拟游乐装置为增强显示头盔,所述现实场地检测模块11、童车状态采集模块、处理器模块12、增强现实显示模块14设置于增强现实头盔上。
可选的,所述童车实时状态采集模块13,还包括运动状态信息获取单元,所述运动状态信息获取单元包括:
第一信息获取单元,用于获取运动传感采集模块所采集的所述童车的所述运动状态信息;
或第二信息获取单元,用于根据所述第一图像信息,求解所述童车的所述运动状态信息。
可选的,通过图像处理的方式,获得小车的运动数据;例如通过图像信息变化数据,获得童车速度、加速、转弯等信息;其中,通过视频采集帧之间的时间以及图像变化情况,可以获得童车的速度、加速度、转弯等信息。
可选的,在童车上或虚拟游乐辅助设备上设置运动传感器,例如陀螺仪、加速度传感器等,对童车的运动状态进行检测。典型的虚拟游乐辅助设备为增强现实头盔。
上述运动状态信息的采集其目的在于,为步骤S6中的所述计算童车和虚拟场景间的交互信息,提供参数值。
在本实施例中,所述现实场地检测模块11,还用于采集用户手指所绘制或设定的第一区域、检测预设人工标识物和/或基于空地检测算法检测场地情况;根据所述第一区域、所述人工标识物和/或所述空地情况,确定所述童车当前所处环境的所述现实场地信息。
进一步而言,所述基于空地检测算法检测空地情况,包括执行如下操作:
获取所述童车所在区域的空地的平整性、灰度分布、色彩分布和/或空间深度分布;
根据所述平整性、所述灰度分布、所述色彩分布和/或所述空间深度分布,获得所述空地情况。
在本实施例中,所述虚拟游乐项目类型包括:闭环项目和/或开环项目。
其中,所述闭环项目为需返回起点的闭环形式的项目,所述闭环项目包括:绕圈和往还;所述开环项目为无需返回起点的开环形式的项目,所述开环项目包括:追逐、计时比赛、网络联机比赛。
在本实施例中,所述处理器模块12还用于:
根据所述虚拟游乐项目类型、所述童车的拐弯半径、速度和/或车身物理参数,在预先制作好的平面或三维模型中选取出所述第一虚拟场景和/或所述第一虚拟路径;
根据所述现实场地信息,调整所述第一虚拟场景和/或所述第一虚拟路径。
在本实施例中,所述童车实时状态采集模块13,被配置为:
根据实时采集的所述第一图像信息的前后对比,求解所述童车的所述状态信息;
和/或根据设置于所述童车上或增强显示辅助设备上的运动传感模块所采集的所述童车的进行位置、方向、速度、加速度状态,获取所述童车的所述状态信息。
值得一提的是,在本实施例中,所述状态信息主要包括运动状态信息,可选的,通过实时采集的前后图像对比,获得童车的运动状态信息。可选的,通过陀螺仪等定位硬件实现童车行进位置、方向、速度、加速度状态实时检测。
可选的,在本实施例中,所述实际场景视频层,是由所述童车的车载摄像机直接拍摄得到。
在本实施例中,所述交互信息包括所述童车与所述虚拟物之间的障碍遮挡关系、碰撞关系或跨越关系。
在本实施例中,所述处理器模块12,还用于求解所述虚拟物和实际场景物之间的上下图层关系,根据所述虚拟物和实际场景物之间的所述上下图层关系,进行所述虚拟物和实际场景物之间的层叠,生成增强显示视频。
所述虚拟物为增强现实显示中,人为增加的虚拟显示物体影像,实际场景物为实际场景中存在的物体影像。
可选的,虚实视频层的叠加显示中,实际场景和虚拟场景中的场景可交互遮挡叠加显示,不指定为固定的上层和下层。
在本实施例中,所述装置还包括:童车出界控制模块,用于判断所述童车是否驶出所述第一虚拟场景和/或所述第一虚拟路径,若所述虚拟游乐项目类型属于开环类型,则重新检测所述童车当前所处环境的现实场地信息。
所述童车出界控制模块,还包括:
童车位置获取单元,用于获取所述童车在所述所述第一虚拟场景和/或所述第一虚拟路径中的位置,
出界判断单元,用于响应于所述童车在所述所述第一虚拟场景和/或所述第一虚拟路径中触及虚拟场景边界,判断所述童车驶出所述第一虚拟场景和/或所述第一虚拟路径。
可选的,检测所述童车当前所处环境的现实场地信息的现实场地检测模块11的硬件包括但不限于:普通摄像头、深度摄像头、超声波探头。
可选的,童车的状态信息的检测硬件包括摄像头、陀螺仪、速度仪、加速度仪等。结合图像处理算法的摄像头也可作为童车状态检测硬件。
可选的,增强现实显示硬件包括手机、平板电脑、平面显示屏、头盔显示器、视频眼镜等。
可选的,所述的场地检测硬件、童车状态检测硬件、增强现实显示硬件、CPU可一体化搭载在移动式平板电脑或手机系统中,便捷安装于童车上。特别的,场地检测硬件中的普通摄像头、童车状态检测硬件中的陀螺仪、CPU、增强现实显示硬件中的平面显示屏均为移动式平板电脑(如IPAD)或手机系统的常规一体化配件。
可选的,所述的童车可为儿童自行车、儿童推车、婴儿学步车、儿童三轮车、儿童电动车、儿童电动遥控车。
如图3所示,在本发明第三实施例中,提供一种增强现实的童车虚拟游乐系统,其特征在于,所述系统包括:
虚拟游乐项目类型采集模块22,用于获取童车所执行的虚拟游乐项目类型;
现实场地检测模块21,用于检测童车当前所处环境的现实场地信息;
童车实时状态采集模块24,用于实时采集所述童车的第一方向上的第一图像信息,实时获取所述童车的运动状态信息;
场景生成模块23,用于根据虚拟游乐项目类型和/或所述现实场地信息,生成第一虚拟场景和/或第一虚拟路径;
实际场景视频层生成模块25,用于根据所述第一图像信息生成实际场景视频层;
交互信息求解模块26,用于根据所述童车的状态信息,计算童车和所述第一虚拟场景和/或所述第一虚拟路径间的交互信息;
虚拟场景视频层生成模块27,用于根据所述交互信息,生成虚拟场景视频层;
增强现实显示模块28,用于根据所述实际场景视频层与所述虚拟场景视频层,显示增强显示视频;其中,所述增强显示视频由所述实际场景视频层与所述虚拟场景视频层层叠而成。
本发明第三实施例是基于第一实施例和第二实施例,第三实施例的各个模块及其功能可参考第一实施例和第二实施例,这里不再赘述。
值得一提的是,在本发明及本发明的实施例中,以童车进行论述,实际上,本发明并不限定增强现实车辆的种类,该车辆可以儿童进行乘坐、游戏或竞技,也可有成人乘坐、游戏或竞技,采用本发明等同技术方案,虽其名称或应用场景不是童车,也应该被认为是本发明的保护范围。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。

Claims (7)

1.一种增强现实的童车虚拟游乐方法,其特征在于,所述方法包括:
步骤S1、获取童车所执行的虚拟游乐项目类型;
步骤S2、检测所述童车当前所处环境的现实场地信息;
步骤S3、根据所述虚拟游乐项目类型和/或所述现实场地信息,生成第一虚拟场景和/或第一虚拟路径;其中,所述第一虚拟场景和/或所述第一虚拟路径中设置有虚拟物;
步骤S4、实时采集所述童车的第一方向上的第一图像信息,实时获取所述童车的运动状态信息;
步骤S5、根据所述第一图像信息生成实际场景视频层;
步骤S6、根据所述童车的状态信息,计算童车和所述第一虚拟场景和/或所述第一虚拟路径间的交互信息,生成虚拟场景视频层;
步骤S7、根据所述实际场景视频层与所述虚拟场景视频层,显示增强显示视频;其中,所述增强显示视频由所述实际场景视频层与所述虚拟场景视频层层叠而成;
步骤S8、判断所述童车是否驶出所述第一虚拟场景和/或所述第一虚拟路径,若未驶出所述虚拟场景和/或第一虚拟路径,则转向步骤S4,否则继续下一步骤;
步骤S9、判断所述虚拟游乐项目类型是否属于开环类型;若所述虚拟游乐项目类型属于开环类型,则返回步骤S2,否则返回步骤S4;
所述步骤S3还包括:
根据所述虚拟游乐项目类型、所述童车的拐弯半径、速度和/或车身物理参数,在预先制作好的平面或三维模型中选取出所述第一虚拟场景和/或所述第一虚拟路径;
根据所述现实场地信息,调整所述第一虚拟场景和/或所述第一虚拟路径。
2.如权利要求1所述的一种增强现实的童车虚拟游乐方法,其特征在于,所述实时获取所述童车的运动状态信息,还包括:
获取运动传感采集模块所采集的所述童车的所述运动状态信息;
或根据所述第一图像信息,求解所述童车的所述运动状态信息。
3.如权利要求2所述的一种增强现实的童车虚拟游乐方法,其特征在于,所述步骤S4还包括:
根据实时采集的所述第一图像信息的前后对比,求解所述童车的所述状态信息;
和/或根据设置于所述童车上或增强显示辅助设备上的运动传感模块所采集的所述童车的进行位置、方向、速度、加速度状态,获取所述童车的所述状态信息。
4.如权利要求1所述的一种增强现实的童车虚拟游乐方法,其特征在于,所述步骤S2还包括:
采集用户手指所绘制或设定的第一区域、检测预设人工标识物和/或基于空地检测算法检测场地情况;
根据所述第一区域、所述人工标识物和/或所述空地情况,确定所述童车当前所处环境的所述现实场地信息。
5.如权利要求4所述的一种增强现实的童车虚拟游乐方法,其特征在于,所述基于空地检测算法检测空地情况,还包括:
获取所述童车所在区域的空地的平整性、灰度分布、色彩分布和/或空间深度分布;
根据所述平整性、所述灰度分布、所述色彩分布和/或所述空间深度分布,获得所述空地情况。
6.如权利要求1-5任意一项所述的一种增强现实的童车虚拟游乐方法,其特征在于,所述步骤S6还包括:求解所述虚拟物和实际场景物之间的上下图层关系;所述步骤S7还包括:根据所述虚拟物和实际场景物之间的所述上下图层关系, 进行所述虚拟物和实际场景物之间的层叠,生成增强显示视频。
7.如权利要求1-5任意一项所述的一种增强现实的童车虚拟游乐方法,其特征在于,所述判断所述童车是否驶出所述第一虚拟场景和/或所述第一虚拟路径,还包括:
获取所述童车在所述所述第一虚拟场景和/或所述第一虚拟路径中的位置,
响应于所述童车在所述所述第一虚拟场景和/或所述第一虚拟路径中触及虚拟场景边界,判断所述童车驶出所述第一虚拟场景和/或所述第一虚拟路径。
CN201710874283.6A 2017-09-25 2017-09-25 基于增强现实的童车虚拟游乐方法、装置及系统 Active CN107596683B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710874283.6A CN107596683B (zh) 2017-09-25 2017-09-25 基于增强现实的童车虚拟游乐方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710874283.6A CN107596683B (zh) 2017-09-25 2017-09-25 基于增强现实的童车虚拟游乐方法、装置及系统

Publications (2)

Publication Number Publication Date
CN107596683A CN107596683A (zh) 2018-01-19
CN107596683B true CN107596683B (zh) 2021-03-12

Family

ID=61058043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710874283.6A Active CN107596683B (zh) 2017-09-25 2017-09-25 基于增强现实的童车虚拟游乐方法、装置及系统

Country Status (1)

Country Link
CN (1) CN107596683B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7313361B2 (ja) * 2018-02-15 2023-07-24 マジック リープ, インコーポレイテッド 複合現実楽器
US11014001B2 (en) * 2018-03-05 2021-05-25 Sony Interactive Entertainment LLC Building virtual reality (VR) gaming environments using real-world virtual reality maps
CN108525289B (zh) * 2018-03-26 2020-08-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108595650B (zh) * 2018-04-27 2022-02-18 深圳市科迈爱康科技有限公司 虚拟羽毛球场的构建方法、系统、设备及存储介质
CN108648555A (zh) * 2018-07-03 2018-10-12 京东方科技集团股份有限公司 一种智能行车训练装置、系统及方法
CN109166182B (zh) * 2018-08-28 2020-11-03 百度在线网络技术(北京)有限公司 Ar模拟处理方法、装置、电子设备及可读存储介质
CN109126119A (zh) * 2018-11-01 2019-01-04 广州翼凌峰动漫科技有限公司 一种基于增强现实技术的游玩装置
CN110189578A (zh) * 2019-05-20 2019-08-30 北京悉见科技有限公司 一种基于增强现实进行飞行员训练的方法和装置
CN111182286A (zh) * 2019-12-31 2020-05-19 广州幻境科技有限公司 一种基于增强现实的水下游览方法及系统
CN113082728A (zh) * 2021-04-14 2021-07-09 杭州易现先进科技有限公司 游乐车和增强现实交互系统
CN114063613A (zh) * 2021-10-25 2022-02-18 浙江小族智能科技有限公司 游乐车及其控制方法、装置、存储介质、终端
CN114185330B (zh) * 2021-12-12 2024-06-11 深圳市集智创新信息技术有限公司 基于多场景交互的控制方法及控制装置
CN116943191A (zh) * 2022-04-18 2023-10-27 腾讯科技(深圳)有限公司 基于故事场景的人机互动方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110056075A (ko) * 2009-11-20 2011-05-26 에스케이씨앤씨 주식회사 차량 네비게이션의 혼잡 도로 안내 방법 및 그 장치
CN205730323U (zh) * 2016-05-27 2016-11-30 上海合昊机电科技有限公司 一种基于游乐乘骑项目的增强现实交互系统
CN106355153A (zh) * 2016-08-31 2017-01-25 上海新镜科技有限公司 一种基于增强现实的虚拟对象显示方法、装置以及系统
CN107168532A (zh) * 2017-05-05 2017-09-15 武汉秀宝软件有限公司 一种基于增强现实的虚拟同步显示方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110056075A (ko) * 2009-11-20 2011-05-26 에스케이씨앤씨 주식회사 차량 네비게이션의 혼잡 도로 안내 방법 및 그 장치
CN205730323U (zh) * 2016-05-27 2016-11-30 上海合昊机电科技有限公司 一种基于游乐乘骑项目的增强现实交互系统
CN106355153A (zh) * 2016-08-31 2017-01-25 上海新镜科技有限公司 一种基于增强现实的虚拟对象显示方法、装置以及系统
CN107168532A (zh) * 2017-05-05 2017-09-15 武汉秀宝软件有限公司 一种基于增强现实的虚拟同步显示方法及系统

Also Published As

Publication number Publication date
CN107596683A (zh) 2018-01-19

Similar Documents

Publication Publication Date Title
CN107596683B (zh) 基于增强现实的童车虚拟游乐方法、装置及系统
US10850744B2 (en) System and method for dynamic in-vehicle virtual reality
Müller et al. Sim4cv: A photo-realistic simulator for computer vision applications
US20200223451A1 (en) Navigation based on sensed looking direction of a pedestrian
US10585471B2 (en) Systems and methods to provide an interactive space based on predicted events
EP3592443B1 (en) Augmented ride system and method
EP3851176B1 (en) Virtual reality mobile pod
RU2668532C2 (ru) Системы и способы формирования изображений с дополненной и виртуальной реальностью
US11556844B2 (en) Artificial intelligence robot for determining cleaning route using sensor data and method for the same
CN109703607A (zh) 一种智能行李车
CN107111742A (zh) 在导航中对车道限制和施工区域的识别和预测
Mueller et al. Ue4sim: A photo-realistic simulator for computer vision applications
CN105749548A (zh) 信息处理装置、信息处理方法以及程序
Roth et al. Driver and pedestrian mutual awareness for path prediction and collision risk estimation
CN106571082A (zh) 基于在线可视化编程的vr驾驶考核项目制作与体验系统
KR101783157B1 (ko) 소형 전동차를 이용한 증강 현실 서비스 방법
US20230415044A1 (en) Augmented reality riding course generation
Weaver The new driver's ED: Game developers teach Cruise's autonomous vehicles to understand gestures made by people on the street
US20220383645A1 (en) Rendering system, display system, moving vehicle, rendering method, and non-transitory storage medium
CN115798260A (zh) 一种行人和车辆动态预判方法、装置和存储介质
LUO et al. Experimental Validation of Intelligent Recognition of Eye Movements in the Application of Autonomous Vehicle Driving
JP7247901B2 (ja) 移動体制御装置、移動体制御方法、およびプログラム
JP7384051B2 (ja) 車両の走行制御装置及び走行制御方法
Siegel et al. A gamified simulator and physical platform for self-driving algorithm training and validation
Bjørnstad Deep Reinforcement Learning for Autonomous Vehicles in Simulated Environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant