CN110180167B - 增强现实中智能玩具追踪移动终端的方法 - Google Patents
增强现实中智能玩具追踪移动终端的方法 Download PDFInfo
- Publication number
- CN110180167B CN110180167B CN201910511370.4A CN201910511370A CN110180167B CN 110180167 B CN110180167 B CN 110180167B CN 201910511370 A CN201910511370 A CN 201910511370A CN 110180167 B CN110180167 B CN 110180167B
- Authority
- CN
- China
- Prior art keywords
- intelligent toy
- mobile terminal
- tracking
- camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 27
- 230000000694 effects Effects 0.000 claims abstract description 35
- 238000004891 communication Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 7
- 230000001681 protective effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 241000190070 Sarracenia purpurea Species 0.000 description 2
- 240000005561 Musa balbisiana Species 0.000 description 1
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 231100000518 lethal Toxicity 0.000 description 1
- 230000001665 lethal effect Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
- A63F13/327—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections using wireless networks, e.g. Wi-Fi® or piconet
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种增强现实中智能玩具追踪移动终端的方法。该方法的一具体实施方式包括:通过移动终端上的摄像头实时拍摄真实场景的图像,识别并追踪摄像头拍摄的智能玩具;以智能玩具为世界坐标系的原点,以智能玩具的正前方的朝向作为Z轴的正方向,根据左手法则构建世界坐标系;将移动终端在XZ平面上做投影;如果投影不在目标区域,则向智能玩具发送追踪指令,在智能玩具根据接收的追踪指令,进行转向或前移时,移动终端持续的识别、追踪拍摄的智能玩具,叠加特效后,在移动终端上展示;如果投影在目标区域,则向智能玩具发送停止移动指令,同时持续的识别、追踪智能玩具,叠加特效后,在移动终端上展示。该实施方式加强了虚拟与现实的交互。
Description
技术领域
本申请涉及增强现实技术领域,具体涉及增强现实中智能玩具追踪移动终端的方法。
背景技术
目前,传统的操控智能玩具的方式主要有通过手柄、智能手机等终端遥控和编程操控这两种方式,但这两种方式,在与玩家交互上,智能玩具都处于被动交互的状态。
当前,智能玩具在增强现实中的玩法主要是:移动终端先识别智能玩具,再将智能玩具放入虚拟游戏场景中,之后,根据虚拟游戏场景及游戏规则,操控智能玩具。这种玩法增加了虚拟与现实的交互,但这种虚拟与现实的交互仍然较弱。
发明内容
本申请的目的在于提出一种增强现实中智能玩具追踪移动终端的方法,来解决以上背景技术部分提到的技术问题。
本申请提供了一种增强现实中智能玩具追踪移动终端的方法,所述方法包括:通过移动终端上的摄像头实时拍摄真实场景的图像,对所述图像进行处理,识别并追踪所述摄像头拍摄的图像中的智能玩具;循环执行如下各个步骤:以识别、追踪的所述摄像头拍摄的图像中的所述智能玩具为世界坐标系的原点,以所述智能玩具的正前方的朝向作为所述世界坐标系的Z轴的正方向,根据左手法则构建所述世界坐标系;计算所述移动终端在所述世界坐标系中的坐标,并将所述坐标在所述世界坐标系的XZ平面上做投影,确定所述投影所在的区域;响应于所述投影所在的区域不是所述目标区域,则向现实世界中的所述智能玩具发送该区域对应的追踪指令,在所述智能玩具根据接收的所述追踪指令,进行转向或前移时,所述移动终端持续的识别、追踪通过所述摄像头拍摄的图像中的所述智能玩具,叠加特效后,在所述移动终端上展示;响应于所述投影所在的区域是目标区域,则向现实世界中的所述智能玩具发送停止移动指令,同时持续的识别、追踪通过所述摄像头拍摄的图像中的所述智能玩具,叠加目标区域对应的特效后,在所述移动终端上展示。
在一些实施例中,通过移动终端上的摄像头实时拍摄真实场景的图像,对所述图像进行处理,识别并追踪所述摄像头拍摄的图像中的智能玩具之后,根据识别追踪的所述智能玩具,在所述摄像头拍摄的真实场景上叠加虚拟场景后,在所述移动终端上展示。
在一些实施例中,所述以识别、追踪的所述摄像头拍摄的图像中的所述智能玩具为世界坐标系的原点,以所述智能玩具的正前方的朝向作为所述世界坐标系的Z轴的正方向,根据左手法则构建所述世界坐标系之后,根据识别追踪的所述智能玩具及所述世界坐标系,针对识别、追踪的所述摄像头拍摄的图像中的所述智能玩具,叠加基础特效或调整基础特效位置后,在所述移动终端上展示。
在一些实施例中,所述通过移动终端上的摄像头实时拍摄真实场景的图像,对所述图像进行处理,识别并追踪所述摄像头拍摄的真实场景的图像中的智能玩具,包括:通过移动终端上的摄像头实时拍摄真实场景的图像;对所述图像进行处理,提取特征点,将所述特征点与数据库中存储的所述智能玩具的特征点进行比对和匹配,识别并追踪所述智能玩具的位置、姿态、朝向。
在一些实施例中,所述方法还包括:预先制作所述智能玩具的三维模型,然后,根据所述三维模型,生成用于表示所述智能玩具特征点的数据,之后将所述数据存储在数据库中。
在一些实施例中,所述计算所述移动终端在所述世界坐标系中的坐标,并将所述坐标在所述世界坐标系的XZ平面上做投影,确定所述投影所在的区域,包括:根据所述识别、追踪的所述智能玩具及所述构建的世界坐标系,计算所述摄像头在所述世界坐标系中的坐标,并将所述摄像头的坐标等效为所述移动终端的坐标;根据预设规则,将所述世界坐标系的XZ平面划分成左转区域、右转区域、前移区域、目标区域;将所述移动终端的坐标在所述世界坐标系的XZ平面上做投影;将所述投影对应的坐标与各个区域的边界做比较,确定所述投影所在的区域。
在一些实施例中,所述响应于所述投影所在的区域不是目标区域,则向现实世界中的所述智能玩具发送该区域对应的追踪指令,在所述智能玩具根据接收的所述追踪指令,进行转向或前移时,所述移动终端持续的识别、追踪通过所述摄像头拍摄的图像中的所述智能玩具,叠加特效后,在所述移动终端上展示,包括:如果所述区域是左转区域,则向现实世界中的所述智能玩具发送左转指令,在所述智能玩具接收、执行所述左转指令,进行左转时,所述移动终端的摄像头持续拍摄真实场景中的所述智能玩具,且识别、追踪正在左转的所述智能玩具,在拍摄的真实场景的图像上叠加左转对应的特效后,显示在所述移动终端的屏幕上;如果所述区域是右转区域,则向现实世界中的所述智能玩具发送右转指令,在所述智能玩具接收、执行所述右转指令,进行右转时,所述移动终端的摄像头持续拍摄真实场景中的所述智能玩具,且识别、追踪正在右转的所述智能玩具,在拍摄的真实场景的图像上叠加右转对应的特效后,显示在所述移动终端的屏幕上;如果所述区域是前移区域,则向现实世界中的所述智能玩具发送前移指令,在所述智能玩具接收、执行所述前移指令,进行前移时,所述移动终端的摄像头持续拍摄真实场景中的所述智能玩具,且识别、追踪正在前移的所述智能玩具,在拍摄的真实场景的图像上叠加前移对应的特效后,显示在所述移动终端的屏幕上。
在一些实施例中,所述移动终端包括但不限于:智能手机、平板电脑、便携式计算机。
在一些实施例中,所述智能玩具包括但不限于:机器人、智能玩具车、无人机。
在一些实施例中,所述移动终端预先与所述智能玩具建立蓝牙连接,用于通信。
本申请提供的增强现实中智能玩具追踪移动终端的方法,通过以智能玩具为原点构建世界坐标系,然后,计算移动终端的坐标及其在XZ平面上的投影,通过判定投影所在的区域,向智能玩具发送相应的追踪指令,在上述过程中,真实场景中的智能玩具叠加虚拟特效后,一起在移动终端上展示,增强了虚拟与现实的交互。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是根据本申请的增强现实中智能玩具追踪移动终端的方法的一个实施例的流程图;
图2是根据本申请的增强现实中智能玩具追踪移动终端的方法的一个实施例中根据第一预设规则将XZ平面划分成各区域的示意图;
图3是根据本申请的增强现实中智能玩具追踪移动终端的方法的一个实施例中根据第二预设规则将XZ平面划分成各区域的示意图;
图4是根据本申请的增强现实中智能玩具追踪移动终端的方法的一个应用场景的示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了本申请的增强现实中智能玩具追踪移动终端的方法的一个实施例的流程图。所述的增强现实中智能玩具追踪移动终端的方法,包括以下步骤:
步骤101,通过移动终端上的摄像头实时拍摄真实场景的图像,对图像进行处理,识别并追踪所述摄像头拍摄的图像中的智能玩具。
在本实施例中,移动终端包括但不限于:智能手机、平板电脑、便携式计算机、配置屏幕与摄像头的遥控手柄,智能玩具包括但不限于:机器人、无人机、智能玩具车。其中,移动终端预先与智能玩具建立无线连接,该无线连接包括但不限于:蓝牙连接、NFC(NearField Communication,近距离无线传输)连接、Zigbee连接、UWB(Ultra Wide Band,超宽带)连接、以及其它现在已知或将来开发的无线连接方式。
在本实施例中,移动终端上的摄像头一直处于开启的状态,用户手持移动终端,并将移动终端的摄像头对着真实场景进行拍摄,拍摄的真实场景的图像实时的在上述移动终端的屏幕上显示。当用户调整摄像头的朝向、倾斜角度、焦距时或用户手持移动终端移动时,拍摄的真实场景的图像随之发生变化,同时,真实场景中的智能玩具的位置和/或姿态也随之发生变化。
在本实施例中,移动终端对摄像头拍摄的真实场景的图像进行图像处理,提取特征点,然后,将提取的特征点与数据库中存储的上述智能玩具的特征点进行比对和匹配,识别并追踪所述智能玩具的位置、姿态、朝向。
在本实施例中,预先制作上述智能玩具的三维模型,然后,将三维模型倒入现有的目标模型生成器,生成用于表示所述智能玩具特征点的数据,之后将该数据存储在数据库中。
在本实施例的一些可选的实现方式中,在识别出智能玩具的位置、姿态、朝向后,在真实场景上叠加虚拟场景后,在移动终端上展现。其中,虚拟场景包括但不限于:森林虚拟场景、田园虚拟场景、城市虚拟场景、战争虚拟场景、星球大战虚拟场景、海底虚拟场景、岛屿虚拟场景。虚拟场景中虚拟物体具有主动性或活的特性,该特性可以允许进化,例如通过成长、恶化、流动、模拟加热、模拟冷却、改变颜色和/或表面纹理、运动、资源产出等。
步骤102,以识别、追踪的摄像头拍摄的图像中的智能玩具为世界坐标系的原点,以智能玩具的正前方的朝向作为世界坐标系的Z轴的正方向,根据左手法则构建世界坐标系。
在本实施中,移动终端以识别、追踪的摄像头拍摄的真实场景的图像中的智能玩具为世界坐标系的原点,以智能玩具的正前方的朝向作为世界坐标系的Z轴的正方向,根据左手法则构建世界坐标系。
在本实施例的一些可选的实现方式中,可将智能玩具的正前方的朝向作为世界坐标系的X轴或Y轴或Z轴的正方向,然后,根据左手法则或右手法则,构建世界坐标系,相应的,需要改变移动终端在世界坐标系投影时的平面。
步骤103,计算移动终端在世界坐标系中的坐标,并将坐标在世界坐标系的XZ平面上做投影,确定投影所在的区域。
在本实施例中,基于识别、跟踪的智能玩具的位置、姿态、朝向及摄像头与智能玩具的距离,确定摄像头在以智能玩具为原点的世界坐标系中的坐标,将摄像头的坐标等效为移动终端的坐标。
在本实施例的一些可选的实现方式中,借助增强现实软件工具Vuforia确定移动终端在世界坐标系中的坐标,在虚拟世界中,将Vuforia的核心组件ARCamera对应的位置设置为现实世界的移动终端对应的位置。
在本实施例中,根据预设规则,将所述世界坐标系的XZ平面划分成左转区域、右转区域、前移区域、目标区域。其中,预设规则不唯一,参考图2,该图示出了根据第一预设规则将XZ平面划分成各区域的示意图。如图所示,O表示世界坐标系的中心,OA表示Z轴的正方向,即智能玩具的正前方,OC表示X轴的正方向,相应的OB表示Z轴的反方向,OD表示X轴的反方向。线段MN分别与射线OE、OF相交于点M、N,三角形OMM是目标区域,射线OE与OB之间的区域是右转区域,射线OF与OB之间的区域是左转区域,射线ME、NF、线段MN之间的区域是前移区域。图中,带箭头的虚线1、2、3分别表示:如果移动终端的投影落入相应的区域,需要控制智能玩具右转、左转、前移。射线OE、OF与Z轴正方向OA间的夹角支持用户设置,MN与X轴之间的距离支持用户设置。作为示例,OE、OF与OA的夹角分别设置为30度,MN与X轴之间的距离设置为1米。
继续参考图3,该图示出了根据第二预设规则将XZ平面划分成各区域的示意图。如图所示,O表示世界坐标系的中心,OA表示Z轴的正方向,即智能玩具的正前方,OC表示X轴的正方向,相应的OB表示Z轴的反方向,OD表示X轴的反方向。线段OM、ON与Z轴正方向OA间的夹角支持用户设置,MN是一段弧线,射线ME、NF都与射线OA平行。其中,OM、ME、OB之间的区域表示右转区域;ON、NF、OB之间的区域表示左转区域,扇形OMN表示目标区域,弧线MN、射线ME、NF之间的区域表示前移区域。图中,带箭头的虚线1、2、3分别表示:如果移动终端的投影落入相应的区域,需要控制智能玩具右转、左转、前移。
在本实施例中,预设规则包括但不限于上述第一预设规则、第二预设规则。
在本实施例中,先将移动终端的坐标在世界坐标系的XZ平面上做投影;再将投影对应的坐标与各个区域的边界做比较,确定所述投影所在的区域。在一些可选的实现方式中,根据将XZ平面划分成各区域的规则,计算各区域内坐标需要满足的不等式,将移动终端在XZ平面的投影坐标,依次带入各个区域的不等式,如果投影坐标满足某个不等式,则说明不等式对应的区域即是投影所在的区域。
步骤104,确定投影所在的区域是否为目标区域。
在本实施例中,根据步骤103示出的方法,判断投影所在的区域是否为目标区域,如果不是目标区域,则执行步骤105,如果是目标区域,则执行步骤106。
步骤105,响应于投影所在的区域不是目标区域,则向现实世界中的智能玩具发送该区域对应的追踪指令,在智能玩具根据接收的追踪指令,进行转向或前移时,移动终端持续的识别、追踪通过摄像头拍摄的图像中的智能玩具,叠加特效后,在移动终端上展示。
在本实施例中,追踪指令包括但不限于:右转指令、左转指令、前移指令。例如,对于智能玩具无人机,追踪指令还包括调整飞行时的俯仰角。特效包括但不限于:图像、声音、震动。作为示例,特效为武器装备:剑、刀、枪、炮、防护罩、头盔。
在本实施例中,如果移动终端投影所在的区域是右转区域,则向现实世界中的智能玩具发送右转指令,在智能玩具接收、执行右转指令,进行右转时,移动终端的摄像头持续拍摄真实场景中的智能玩具,且识别、追踪正在右转的智能玩具,在拍摄的真实场景的图像上叠加右转对应的特效后,显示在移动终端的屏幕上。作为示例,在识别出智能玩具时,为智能玩具配置虚拟的防护罩、激光炮,智能玩具右转时,防护罩、激光炮与智能玩具一体右转,在右转时,激光炮发射出的激光炮弹向右转弯飞行。
如果移动终端投影所在的区域是左转区域,则向现实世界中的智能玩具发送左转指令,在智能玩具接收、执行左转指令,进行左转时,移动终端的摄像头持续拍摄真实场景中的智能玩具,且识别、追踪正在左转的智能玩具,在拍摄的真实场景的图像上叠加左转对应的特效后,显示在所述移动终端的屏幕上。作为示例,在左转时,激光炮发射出的激光炮弹向左转弯飞行,同时释放烟雾弹。
如果移动终端投影所在的区域是前移区域,则向现实世界中的智能玩具发送前移指令,在智能玩具接收、执行前移指令,进行前移时,移动终端的摄像头持续拍摄真实场景中的智能玩具,且识别、追踪正在前移的智能玩具,在拍摄的真实场景的图像上叠加前移对应的特效后,显示在移动终端的屏幕上。作为示例,在左转时,激光炮发射出的激光炮弹向前飞行,同时,加强其它武器装备的进攻。
步骤106,响应于投影所在的区域是目标区域,则向现实世界中的智能玩具发送停止移动指令,同时识别、追踪通过摄像头拍摄的图像中的智能玩具,叠加目标区域对应的特效后,在移动终端上展示。
在本实施例中,响应于移动终端投影所在的区域是目标区域,则向智能玩具发送停止移动指令;智能玩具接收上述停止移动指令后,先判断自身是否在移动,如果确定自身在移动,则通过控制智能玩具中的电机停止转动的方式,实现静止。在上述过程中,移动终端一直在持续的识别、追踪通过摄像头拍摄的图像中的智能玩具,叠加目标区域对应的特效后,在移动终端上展示。作为示例,目标区域的特效是将武器换成短距离杀伤性更强的武器。
在本实施例中,在一次循环中,根据移动终端投影所在的区域,只向智能玩具发送一次追踪指令,再下一次循环中,根据识别追踪的智能玩具,重新构建世界坐标系,重新确定移动终端投影所在的区域,再次向智能玩具发送一次追踪指令。如果智能玩具已经移动到目标区域,移动终端还会不断的执行上述循环步骤,一旦发现移动终端投影所在的区域不是目标区域,再次向智能玩具发送追踪指令。所以,即使智能玩具通过执行移动终端发送的转向/前移指令,已经完成一轮追踪,如果手持移动的用户的位置发生变化,还是会触发下一轮的追踪。
继续参考图4,该图是根据本实施例的增强现实中智能玩具追踪移动终端的方法的一个应用场景的示意图。在图4的应用场景中,桌面101上放置智能玩具-反履机甲102、水杯103、书本104、香蕉105。用户(未示出)手持智能手机106,通过智能手机106的摄像头拍摄桌面上物体,如智能手机106屏幕所示,智能手机106显示拍摄到的反履机甲107、水杯108、书本的一部分109。智能手机106识别追踪到反履机甲107之后,叠加战争的虚拟场景,该虚拟场景由房子110、机械鹰111、机械狗112、机器人113构成。然后,为反履机甲107叠加虚拟特效,例如防护罩、激光炮(未示出)。智能手机106检测到智能手机106在反履机甲107的右转区域,则向反履机甲102发送右转指令,反履机甲102接收并执行右转指令,智能手机106的屏幕上显示,防护罩、激光炮与反履机甲107作为一体向右转,同时发射右转弯激光炮,此外,机械鹰111、机械狗112一同向右转向。在该场景中,智能手机106先控制反履机甲102右转,再控制其前进。用户从智能手机106的屏幕上看到的效果是:在用户没有发送任何指令的情况下,反履机甲107先右转、然后前移,在不断的追踪用户,同时向用户发起进攻。感官上是现实中的反履机甲102叠加虚拟中的武器特效在主动的向用户发起进攻。如果在上述过程中,用户手持智能手机106移动,智能手机106会重新调整世界坐标系的坐标,重新确定自己在反履机甲107的区域,然后,向反履机甲102发送追踪指令。
在本申请的上述实施例中,移动终端不断的以智能玩具为中心建立世界坐标系,然后,通过确定移动终端在世界坐标中的位置,控制智能玩具追踪移动终端,同时在上述的过程中,叠加特效。加强了增强现实中虚拟与现实的交互。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种增强现实中智能玩具追踪移动终端的方法,其特征在于,所述方法包括:
通过移动终端上的摄像头实时拍摄真实场景的图像,对所述图像进行处理,识别并追踪所述摄像头拍摄的图像中的智能玩具;
循环执行如下各个步骤:
以识别、追踪的所述摄像头拍摄的图像中的所述智能玩具为世界坐标系的原点,以所述智能玩具的正前方的朝向作为所述世界坐标系的Z轴的正方向,根据左手法则构建所述世界坐标系;
计算所述移动终端在所述世界坐标系中的坐标,并将所述坐标在所述世界坐标系的XZ平面上做投影,确定所述投影所在的区域;
响应于所述投影所在的区域不是目标区域,则向现实世界中的所述智能玩具发送该区域对应的追踪指令,在所述智能玩具根据接收的所述追踪指令,进行转向或前移时,所述移动终端持续的识别、追踪通过所述摄像头拍摄的图像中的所述智能玩具,叠加特效后,在所述移动终端上展示;
响应于所述投影所在的区域是目标区域,则向现实世界中的所述智能玩具发送停止移动指令,同时持续的识别、追踪通过所述摄像头拍摄的图像中的所述智能玩具,叠加目标区域对应的特效后,在所述移动终端上展示。
2.根据权利要求1所述的增强现实中智能玩具追踪移动终端的方法,其特征在于,通过移动终端上的摄像头实时拍摄真实场景的图像,对所述图像进行处理,识别并追踪所述摄像头拍摄的图像中的智能玩具之后,根据识别追踪的所述智能玩具,在所述摄像头拍摄的真实场景上叠加虚拟场景后,在所述移动终端上展示。
3.根据权利要求2所述的增强现实中智能玩具追踪移动终端的方法,其特征在于,所述以识别、追踪的所述摄像头拍摄的图像中的所述智能玩具为世界坐标系的原点,以所述智能玩具的正前方的朝向作为所述世界坐标系的Z轴的正方向,根据左手法则构建所述世界坐标系之后,根据识别追踪的所述智能玩具及所述世界坐标系,针对识别、追踪的所述摄像头拍摄的图像中的所述智能玩具,叠加基础特效或调整基础特效位置后,在所述移动终端上展示。
4.根据权利要求1-3之一所述的增强现实中智能玩具追踪移动终端的方法,其特征在于,所述通过移动终端上的摄像头实时拍摄真实场景的图像,对所述图像进行处理,识别并追踪所述摄像头拍摄的真实场景的图像中的智能玩具,包括:
通过移动终端上的摄像头实时拍摄真实场景的图像;
对所述图像进行处理,提取特征点,将所述特征点与数据库中存储的所述智能玩具的特征点进行比对和匹配,识别并追踪所述智能玩具的位置、姿态、朝向。
5.根据权利要求4所述的增强现实中智能玩具追踪移动终端的方法,其特征在于,所述方法还包括:
预先制作所述智能玩具的三维模型,然后,根据所述三维模型,生成用于表示所述智能玩具特征点的数据,之后将所述数据存储在数据库中。
6.根据权利要求4所述的增强现实中智能玩具追踪移动终端的方法,其特征在于,所述计算所述移动终端在所述世界坐标系中的坐标,并将所述坐标在所述世界坐标系的XZ平面上做投影,确定所述投影所在的区域,包括:
根据所述识别、追踪的所述智能玩具及所述构建的世界坐标系,计算所述摄像头在所述世界坐标系中的坐标,并将所述摄像头的坐标等效为所述移动终端的坐标;
根据预设规则,将所述世界坐标系的XZ平面划分成左转区域、右转区域、前移区域、目标区域;
将所述移动终端的坐标在所述世界坐标系的XZ平面上做投影;
将所述投影对应的坐标与各个区域的边界做比较,确定所述投影所在的区域。
7.根据权利要求6所述的增强现实中智能玩具追踪移动终端的方法,其特征在于,所述响应于所述投影所在的区域不是目标区域,则向现实世界中的所述智能玩具发送该区域对应的追踪指令,在所述智能玩具根据接收的所述追踪指令,进行转向或前移时,所述移动终端持续的识别、追踪通过所述摄像头拍摄的图像中的所述智能玩具,叠加特效后,在所述移动终端上展示,包括:
如果所述区域是左转区域,则向现实世界中的所述智能玩具发送左转指令,在所述智能玩具接收、执行所述左转指令,进行左转时,所述移动终端的摄像头持续拍摄真实场景中的所述智能玩具,且识别、追踪正在左转的所述智能玩具,在拍摄的真实场景的图像上叠加左转对应的特效后,显示在所述移动终端的屏幕上;
如果所述区域是右转区域,则向现实世界中的所述智能玩具发送右转指令,在所述智能玩具接收、执行所述右转指令,进行右转时,所述移动终端的摄像头持续拍摄真实场景中的所述智能玩具,且识别、追踪正在右转的所述智能玩具,在拍摄的真实场景的图像上叠加右转对应的特效后,显示在所述移动终端的屏幕上;
如果所述区域是前移区域,则向现实世界中的所述智能玩具发送前移指令,在所述智能玩具接收、执行所述前移指令,进行前移时,所述移动终端的摄像头持续拍摄真实场景中的所述智能玩具,且识别、追踪正在前移的所述智能玩具,在拍摄的真实场景的图像上叠加前移对应的特效后,显示在所述移动终端的屏幕上。
8.根据权利要求7所述的增强现实中智能玩具追踪移动终端的方法,其特征在于,所述移动终端包括但不限于:智能手机、平板电脑、便携式计算机。
9.根据权利要求8所述的增强现实中智能玩具追踪移动终端的方法,其特征在于,所述智能玩具包括但不限于:机器人、智能玩具车、无人机。
10.根据权利要求1所述的增强现实中智能玩具追踪移动终端的方法,其特征在于,所述方法还包括:
所述移动终端预先与所述智能玩具建立蓝牙连接,用于通信。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910511370.4A CN110180167B (zh) | 2019-06-13 | 2019-06-13 | 增强现实中智能玩具追踪移动终端的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910511370.4A CN110180167B (zh) | 2019-06-13 | 2019-06-13 | 增强现实中智能玩具追踪移动终端的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110180167A CN110180167A (zh) | 2019-08-30 |
CN110180167B true CN110180167B (zh) | 2022-08-09 |
Family
ID=67721735
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910511370.4A Active CN110180167B (zh) | 2019-06-13 | 2019-06-13 | 增强现实中智能玩具追踪移动终端的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110180167B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112348969B (zh) * | 2020-11-06 | 2023-04-25 | 北京市商汤科技开发有限公司 | 增强现实场景下的展示方法、装置、电子设备及存储介质 |
CN112348968B (zh) * | 2020-11-06 | 2023-04-25 | 北京市商汤科技开发有限公司 | 增强现实场景下的展示方法、装置、电子设备及存储介质 |
CN113274718A (zh) * | 2021-06-03 | 2021-08-20 | 北京爱其科技有限公司 | 基于增强现实的枪及射击类增强现实的实现方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120113092A1 (en) * | 2010-11-08 | 2012-05-10 | Avi Bar-Zeev | Automatic variable virtual focus for augmented reality displays |
CN103500452A (zh) * | 2013-10-12 | 2014-01-08 | 杭州师范大学 | 基于空间关系和图像分析的景区景物移动增强现实方法 |
CN103998107A (zh) * | 2011-05-23 | 2014-08-20 | 乐高公司 | 用于增强现实的玩具搭建系统 |
CN105169717A (zh) * | 2015-07-22 | 2015-12-23 | 深圳市富微科创电子有限公司 | 一种采用目标追踪技术的玩具飞机遥控系统及方法 |
-
2019
- 2019-06-13 CN CN201910511370.4A patent/CN110180167B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120113092A1 (en) * | 2010-11-08 | 2012-05-10 | Avi Bar-Zeev | Automatic variable virtual focus for augmented reality displays |
CN103998107A (zh) * | 2011-05-23 | 2014-08-20 | 乐高公司 | 用于增强现实的玩具搭建系统 |
CN103500452A (zh) * | 2013-10-12 | 2014-01-08 | 杭州师范大学 | 基于空间关系和图像分析的景区景物移动增强现实方法 |
CN105169717A (zh) * | 2015-07-22 | 2015-12-23 | 深圳市富微科创电子有限公司 | 一种采用目标追踪技术的玩具飞机遥控系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110180167A (zh) | 2019-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11675443B2 (en) | Method and apparatus for generating mark information in virtual environment, electronic device, and storage medium | |
US11573562B2 (en) | Magic wand interface and other user interaction paradigms for a flying digital assistant | |
US10795353B2 (en) | User interaction paradigms for a flying digital assistant | |
US20210234747A1 (en) | Augmented reality gaming system | |
US9779633B2 (en) | Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same | |
CN110448891B (zh) | 控制虚拟对象操作远程虚拟道具的方法、装置及存储介质 | |
US8556716B2 (en) | Image generation system, image generation method, and information storage medium | |
CN110180167B (zh) | 增强现实中智能玩具追踪移动终端的方法 | |
US9816783B1 (en) | Drone-target hunting/shooting system | |
WO2020024806A1 (zh) | 控制虚拟对象与投掷物交互的方法、装置及存储介质 | |
KR101955368B1 (ko) | 증강현실을 이용한 가상 드론 경기장 제공 시스템 및 그 방법 | |
CN110507994B (zh) | 控制虚拟飞行器飞行的方法、装置、设备及存储介质 | |
CN111265869A (zh) | 虚拟对象的检测方法、装置、终端及存储介质 | |
JP6448196B2 (ja) | 画像生成システム及びプログラム | |
WO2021203856A1 (zh) | 数据同步方法、装置、终端、服务器及存储介质 | |
WO2018088037A1 (ja) | 可動型撮像装置の制御装置、可動型撮像装置の制御方法及びプログラム | |
CN110507990B (zh) | 基于虚拟飞行器的互动方法、装置、终端及存储介质 | |
US20210287382A1 (en) | Systems and methods for multi-user virtual and augmented reality | |
CN113713382A (zh) | 虚拟道具控制方法、装置、计算机设备及存储介质 | |
CN112717410A (zh) | 虚拟对象控制方法、装置、计算机设备及存储介质 | |
CN108496141A (zh) | 控制可移动设备跟随的方法、控制设备和跟随系统 | |
US12007763B2 (en) | Magic wand interface and other user interaction paradigms for a flying digital assistant | |
CN114130006A (zh) | 虚拟道具的控制方法、装置、设备、存储介质及程序产品 | |
JP7064265B2 (ja) | 仮想体験を提供するためのプログラム、情報処理装置、及び情報処理方法 | |
CN108319295A (zh) | 避障控制方法、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230705 Address after: 100162 708, Floor 7, Building 1, Yard 15, Xinya Street, Daxing District, Beijing Patentee after: BEIJING AIQI TECHNOLOGY Co.,Ltd. Address before: 050000 No. 3, unit 1, 18 Chao Xia street, Xinhua District, Shijiazhuang, Hebei 501 Patentee before: Zhang Yang Patentee before: Zhang Hu |
|
TR01 | Transfer of patent right |