CN106713840A - 虚拟信息显示方法及装置 - Google Patents

虚拟信息显示方法及装置 Download PDF

Info

Publication number
CN106713840A
CN106713840A CN201610490630.0A CN201610490630A CN106713840A CN 106713840 A CN106713840 A CN 106713840A CN 201610490630 A CN201610490630 A CN 201610490630A CN 106713840 A CN106713840 A CN 106713840A
Authority
CN
China
Prior art keywords
information
target
virtual
image
matching target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610490630.0A
Other languages
English (en)
Other versions
CN106713840B (zh
Inventor
陈阳
王宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610490630.0A priority Critical patent/CN106713840B/zh
Publication of CN106713840A publication Critical patent/CN106713840A/zh
Application granted granted Critical
Publication of CN106713840B publication Critical patent/CN106713840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction

Abstract

本发明公开了一种虚拟信息显示方法及装置,属于互联网技术领域。所述方法包括:从终端摄像头实时采集的图像中,提取所述图像的特征信息;如果特征数据库中未包括与所述图像的特征信息相匹配的特征信息,获取所述终端当前的地理位置信息和所述摄像头的朝向信息,所述特征数据库至少用于存储多个目标的特征信息和地理位置信息;根据所述终端当前的地理位置信息和所述摄像头的朝向信息,从所述特征数据库中确定匹配目标;获取并显示所述匹配目标的虚拟信息。本发明能够提高识别成功率,尤其对于该图像中包含多个目标,或者目标为建筑物或景区之类的大型目标的情况,能够避免识别失败的情况发生。

Description

虚拟信息显示方法及装置
技术领域
本发明涉及互联网技术领域,特别涉及一种虚拟信息显示方法及装置。
背景技术
随着互联网技术的不断发展,终端对信息的显示越来越直观,例如,当用户需要了解某一目标时,可以使用终端摄像头对该目标进行扫描,并对该目标进行识别,识别成功后获取并显示该目标对应的虚拟信息,该虚拟信息可以是对该目标进行介绍的文字信息,也可以是图片或视频信息等。
在现有技术中,以目标为电影海报为例,对于该虚拟信息的显示方法进行说明:终端摄像头扫描该电影海报,根据该电影海报的特征信息,从存储有多个目标的特征信息的特征数据库中匹配该电影海报的特征信息,如果匹配成功,则获取并显示该电影海报的虚拟信息,当该电影海报的虚拟信息为该电影的剧情介绍时,显示该剧情介绍;当该电影海报的虚拟信息为该电影的预告片时,播放该预告片。
在实现本发明的过程中,发明人发现现有技术至少存在以下问题:
上述虚拟信息显示方法只能扫描并识别体积或面积较小的目标,对于商场、建筑物之类的大型目标,由于很难近距离扫描全景,导致无法对目标进行有效识别,进而导致无法显示该目标的虚拟信息。
发明内容
为了解决现有技术的问题,本发明实施例提供了一种虚拟信息显示方法及装置。所述技术方案如下:
一方面,提供了一种虚拟信息显示方法,所述方法包括:
从终端摄像头实时采集的图像中,提取所述图像的特征信息;
如果特征数据库中未包括与所述图像的特征信息相匹配的特征信息,获取所述终端当前的地理位置信息和所述摄像头的朝向信息,所述特征数据库至少用于存储多个目标的特征信息和地理位置信息;
根据所述终端当前的地理位置信息和所述摄像头的朝向信息,从所述特征数据库中确定匹配目标,所述匹配目标的地理位置信息与所述终端当前的地理位置信息和所述摄像头的朝向信息一致;
获取并显示所述匹配目标的虚拟信息。
另一方面,提供了一种虚拟信息显示装置,所述装置包括:
特征信息提取模块,用于从终端摄像头实时采集的图像中,提取所述图像的特征信息;
第一获取模块,用于如果特征数据库中未包括与所述图像的特征信息相匹配的特征信息,获取所述终端当前的地理位置信息和所述摄像头的朝向信息,所述特征数据库至少用于存储多个目标的特征信息和地理位置信息;
确定模块,用于根据所述终端当前的地理位置信息和所述摄像头的朝向信息,从所述特征数据库中确定匹配目标,所述匹配目标的地理位置信息与所述终端当前的地理位置信息和所述摄像头的朝向信息一致;
第二获取模块,用于获取所述匹配目标的虚拟信息;
显示模块,用于显示所述匹配目标的虚拟信息。
本发明实施例提供的技术方案带来的有益效果是:
通过从终端摄像头实时采集的图像中,提取所述图像的特征信息,如果根据该图像的特征信息未能成功识别到该图像中可能包含的目标,通过获取该终端当前的地理位置信息和该摄像头的朝向信息,根据该特征数据库中存储的多个目标的地理位置信息,确定当前扫描的可能目标,以达到目标识别的目的,能够提高识别成功率,尤其对于该图像中包含多个目标,或者目标为建筑物或景区之类的大型目标的情况,能够避免识别失败的情况发生。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种虚拟信息显示方法流程图;
图2A是本发明实施例提供的一种虚拟信息显示方法流程图;
图2B是本发明实施例提供的一种摄像头朝向示意图;
图2C是本发明实施例提供的一种虚拟信息显示方法流程图;
图3是本发明实施例提供的一种虚拟信息显示装置框图;
图4是本发明实施例提供的一种终端400的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是本发明实施例提供的一种虚拟信息显示方法流程图,如图1所示,包括以下步骤:
101、从终端摄像头实时采集的图像中,提取所述图像的特征信息。
102、如果特征数据库中未包括与所述图像的特征信息相匹配的特征信息,获取所述终端当前的地理位置信息和所述摄像头的朝向信息,所述特征数据库至少用于存储多个目标的特征信息和地理位置信息。
103、根据所述终端当前的地理位置信息和所述摄像头的朝向信息,从所述特征数据库中确定匹配目标,所述匹配目标的地理位置信息与所述终端当前的地理位置信息和所述摄像头的朝向信息一致。
104、获取并显示所述匹配目标的虚拟信息。
本发明实施例提供的方法,通过从终端摄像头实时采集的图像中,提取所述图像的特征信息,如果根据该图像的特征信息未能成功识别到该图像中可能包含的目标,通过获取该终端当前的地理位置信息和该摄像头的朝向信息,根据该特征数据库中存储的多个目标的地理位置信息,确定当前扫描的可能目标,以达到目标识别的目的,能够提高识别成功率,尤其对于该图像中包含多个目标,或者目标为建筑物或景区之类的大型目标的情况,能够避免识别失败的情况发生。
在本发明的第一种可能实现方式中,所述显示所述匹配目标的虚拟信息包括:
以所述图像为背景,根据所述匹配目标的地理位置信息,在所述图像的相应位置显示所述匹配目标的虚拟信息。
在本发明的第二种可能实现方式中,所述显示所述匹配目标的虚拟信息包括:
当所述匹配目标的虚拟信息为视频时,根据所述匹配目标在所述图像中的显示区域大小,缩放所述视频的播放界面;
在所述匹配目标在所述图像中的显示区域的预设范围内,叠加显示所述视频的播放界面。
在本发明的第三种可能实现方式中,在所述匹配目标在所述图像中的显示区域叠加显示所述视频的播放界面,并播放所述视频之后,所述方法还包括:
当检测到所述匹配目标在所述图像中的显示位置发生位移时,所述视频的播放界面的显示位置随着所述匹配目标在所述图像中的显示位置相应移动。
在本发明的第四种可能实现方式中,在所述匹配目标在所述图像中的显示区域叠加显示所述视频的播放界面,并播放所述视频之后,所述方法还包括:
当检测到所述匹配目标从所述图像中移出时,隐藏所述视频的播放界面;
当在所述图像中再次确定到所述匹配目标时,重新显示所述视频的播放界面。
在本发明的第五种可能实现方式中,根据所述终端当前的地理位置信息和所述摄像头的朝向信息,从所述特征数据库中确定匹配目标之后,所述方法还包括:
将所述图像的特征信息存储至所述特征数据库中所述匹配目标的特征信息中。
在本发明的第六种可能实现方式中,所述方法包括:
当所述摄像头的转动角度大于预设角度时,重新执行从终端摄像头实时采集的图像中,提取所述图像的特征信息的步骤;或,
当所述摄像头的移动距离大于预设距离时,重新执行从终端摄像头实时采集的图像中,提取所述图像的特征信息的步骤。
在本发明的第七种可能实现方式中,所述方法还包括:
当检测到对虚拟信息编辑选项的触发操作时,显示虚拟信息编辑界面;
接收在所述虚拟信息编辑界面输入的虚拟信息;
将在所述虚拟信息编辑界面输入的虚拟信息与所述待编辑目标的特征信息对应存储至本地特征数据库中,所述本地特征数据库至少用于存储涉及用户隐私的多个目标特征信息和与所述多个目标特征信息中每个目标特征信息对应的地理位置信息。
在本发明的第八种可能实现方式中,接收所述用户在所述虚拟信息制作界面输入的虚拟信息之后,所述方法还包括:
当检测到对上传选项的触发操作时,将在所述虚拟信息编辑界面输入的虚拟信息与所述待编辑目标的特征信息上传至云特征数据库,所述云特征数据库至少用于存储不涉及用户隐私的多个目标特征信息和与所述多个目标特征信息中每个目标特征信息对应的地理位置信息。
在本发明的第九种可能实现方式中,所述特征数据库采用分类存储的方法存储所述多个目标的特征信息和地理位置信息。
在本发明的第十种可能实现方式中,所述方法还包括:
向服务器发送数据库下载请求,所述数据库下载请求携带待下载特征数据库的类别标识;
接收与所述类别标识对应的特征数据库。
上述所有可选技术方案,可以采用任意结合形成本公开的可选实施例,在此不再一一赘述。
图2A是本发明实施例提供的一种虚拟信息显示方法流程图,该实施例的执行主体可以为手机、平板电脑等配置有摄像头的终端,参见图2A,该方法包括:
201、从终端摄像头实时采集的图像中,提取该图像的特征信息。
该实时采集的图像可以为通过终端摄像头对现实世界中任一场景或目标进行实时扫描获得的缓存于终端的图像,也可以是终端摄像头实时拍摄并存储于终端相册中的图像,或者是通过其他方式获得的图像,本发明实施例对此不作具体限定。在本发明实施例中,仅以该实时采集的图像为终端摄像头实时扫描的图像为例,对本发明所提供的虚拟信息显示方法进行具体说明。
对于终端摄像头实时采集的图像,所提取的特征信息可以为颜色特征、纹理特征、形状特征或空间关系特征等,也可以是任意两种或两种以上特征的组合,本发明实施例对此不作限定;相应地,本发明实施例对提取该图像的特征信息所采用的图像特征提取算法也不作具体限定。
202、检测特征数据库中是否包括与该图像的特征信息相匹配的特征信息,如果包括,则确定匹配目标,并执行步骤205;如果不包括,执行步骤203。
该特征数据库至少用于存储多个目标的特征信息和地理位置信息,建立该特征数据库的方法可以为:针对该多个目标的任一目标,获取该目标的原始图像,对该原始图像进行预处理后,提取该原始图像的特征信息,再通过定位工具获取该目标所在的地理位置信息,将该目标的特征信息和地理位置信息对应存储于该特征数据库中,还可以对应存储该目标的原始图像等其他信息。需要说明的是,提取该原始图像的特征信息所采用的图像特征提取算法与步骤201中提取特征信息所采用的图像特征提取算法相同。
需要说明的是,该多个目标可以为书籍封面、商户牌匾、商品或景区景点等现实存在的物体,该多个目标的原始图像可以是管理员收集来的多个目标的图像,例如可以是从对应目标的出版商、设计商、生厂商或景区管理处等获得。通过从目标的原始图像中提取目标的特征信息,能够最大程度保证所提取到的特征信息中掺入的杂质或噪声最少。当任一目标的特征信息发生变化时,可以对该特征数据库中存储的该目标的特征信息进行更新。
同样地,当任一目标的地理位置信息发生变化时,获取该目标新的地理位置信息,并用新的地理位置信息替换原特征数据库中存储的该目标的地理位置信息。如果任一目标增加特征信息或地理位置信息时,将该新增加的特征信息和地理位置信息存储至该特征数据库中与该目标对应的存储区域中。
例如,当该目标为商户时,如果该商户开设分店,分店所使用的牌匾不变,也即是该商户的特征信息不变,只增加了新的地理位置信息,则将该新的地理位置信息添加至该特征数据库中与该目标对应的存储区域中。
该特征数据库除了用于存储多个目标的特征信息和地理位置信息,还可以对应存储多个目标中的原始图像等信息,例如,当该目标为一景区内的雕塑时,该特征数据库中可以存储有从该雕塑的不同角度采集到的多张图像,从每张图像提取到的图像特征,以及该雕塑所在的地理位置信息等。当然,该特征数据库还可以存储其他信息,如目标的名称等信息,本发明实施例对此不作具体限定。
在本发明又一实施例中,该特征数据库采用分类存储的方法存储多个目标的特征信息和地理位置信息。该分类存储是指在该特征数据库中包含多个特征数据库,每个特征数据库用于存储一个类别的目标的特征信息和地理位置信息。
例如,该特征数据库可以分为食品类、商标类、汽车类、书籍类和城市类等;其中,食品类对应的特征数据库中可以存储多种食品的图像、从每张图像提取的特征信息以及该食品销售点的地理位置信息等,商标类对应的特征数据库中可以存储多种商标的图像、从每张图像提取的特征信息以及该商标对应的产品销售点的地理位置信息等,城市类对应的特征数据库中可以存储多家商户的牌匾图像、从每张图像提取的特征信息以及每家商户的地理位置信息等。需要说明的是,该示例所示出的类别并不限定该特征数据库的具体分类情况。
通过将该特征数据库采用分类存储的方法存储多个目标的特征信息和地理位置信息,能够更系统地对不同目标的特征信息进行管理,而且当需要统计某一类别目标的相关数据时,能够提高统计效率和准确率;此外,当用户已知该图像中的目标的类别时,在扫描后显示多个类别的特征数据库的选项,当检测到用户对与该目标的类别相匹配的选项的触发操作时,终端能够直接从该类别的特征数据库中,更快速地确定与该图像的特征信息相匹配的目标,而无需将该图像的特征信息与其他类别的特征数据库中的特征信息进行匹配,从而能够减少终端检测特征数据库中是否包括与该图像的特征信息相匹配的特征信息的时间。
在本发明再一实施例中,向服务器发送数据库下载请求,该数据库下载请求携带待下载特征数据库的类别标识;接收与该类别标识对应的特征数据库。也即是,如果用户只对某一类目标感兴趣,或者经常需要获取某一类目标的虚拟信息以了解该类目标时,可以将该类目标对应的特征数据库下载至终端中。其中,该类别标识可以是系统为该类目标对应的特征数据库分配的字符串或数字编码信息,也可以是对应类别的名称等信息,本发明实施例对此不作具体限定。通过从服务器获取指定类别的特征数据库,能够在保证准确识别扫描到的该类别的目标的前提下,提高识别速度,还能够减小对终端内存的占用。
检测特征数据库中是否包括与该图像的特征信息相匹配的特征信息的方法可以包括以下两种:
第一种、将该图像的特征信息与该特征数据库中的特征信息进行逐一匹配,如果该特征数据库中存在任一特征信息能够与该图像的特征信息相匹配,则确定该特征数据库中包括与该图像的特征信息相匹配的特征信息;反之,则确定该特征数据库中不包括与该图像的特征信息相匹配的特征信息。
第二种、将该特征数据库中所存储的每个特征信息与该图像的特征信息进行匹配,如果检测到该特征数据库中的某个目标的特征信息能够与该图像的特征信息中的部分特征信息相匹配,则确定该特征数据库中包括与该图像的特征信息相匹配的特征信息。
在本发明实施例中,采用上述两种方法中的任一种或至少一种方法进行检测,也可以通过其他方法进行检测,本发明实施例对此不作具体限定。
203、如果特征数据库中未包括与该图像的特征信息相匹配的特征信息,获取该终端当前的地理位置信息和该摄像头的朝向信息。
获取该终端当前的地理位置信息和该摄像头的朝向信息的方法可以为:通过终端的GPS(Global Positioning System,全球定位系统)获取该终端当前的地理位置信息,通过终端内配置的方向传感器获取该摄像头的朝向信息。其中,该摄像头的朝向信息是指摄像头所拍摄方向的方向信息。如图2B所示,圆表示任一拍摄环境,圆的中心表示摄像头所在位置,图中阴影部分表示摄像头所采集的图像所在的区域,而图中箭头所指向的方向即为该摄像头的朝向。当然,也可以通过其他方法获取该终端当前的地理位置信息和该摄像头的朝向信息,本发明实施例对此不作具体限定。
通过在特征库中未包括与该图像的特征信息相匹配的特征信息的情况下,获取该终端当前的地理位置信息和该摄像头的朝向信息,能够在通过特征信息无法识别目标的情况下,根据该终端当前的地理位置信息和该摄像头的朝向信息,对该终端摄像头实时采集到的图像中可能包含的目标进行进一步识别,进而能够提高目标识别的成功率。
在本发明另一实施例中,如果特征数据库中包括与该图像的特征信息相匹配的特征信息,则将该特征信息对应的目标确定为匹配目标,并执行步骤205。
204、根据该终端当前的地理位置信息和该摄像头的朝向信息,从该特征数据库中确定匹配目标,该匹配目标的地理位置信息与该终端当前的地理位置信息和该摄像头的朝向信息一致。
所确定的匹配目标可以为一个也可以为多个,本发明实施例对此不作限定。例如,当终端当前的地理位置信息指示该终端用户位于某一商场内部时,根据该摄像头的朝向信息,从该特征数据库中确定的匹配目标为位于该终端摄像头所拍摄方向的至少一个商户。
具体地,根据该终端当前的地理位置信息和该摄像头的朝向信息,从该特征数据库中确定匹配目标的方法可以为:该终端当前的地理位置信息为经纬度信息,根据该摄像头的朝向信息,确定目标所属区域的经纬度范围,将该特征数据库中经纬度信息在该经纬度范围内的目标确定为匹配目标。当然,在该步骤中确定匹配目标的过程也可以通过其他方法实现,本发明实施例对此不作具体限定。
205、获取并显示该匹配目标的虚拟信息。
该匹配目标的虚拟信息是指用于描述或解释该匹配目标的内容,也可以是用于宣传该匹配目标的宣传性内容,该虚拟信息可以是文字信息、图片信息或视频信息等类型的信息,也可以是3D信息,例如与扫描内容相关的互动小游戏,或者当在车展上扫描一辆车时,这辆车的虚拟信息为该车的3D模型,获取该3D模型后进行显示,终端可以根据用户的操作方向旋转、缩放该3D模型,以使得用户能够从不同角度查看该车的3D模型,通过放大该3D模型的某一区域还可以使用户重点查看该区域,以及更方便地查看其更深入的内部细节;当然,该虚拟信息还可以是其他类型的信息,本发明实施例对此不作具体限定。
获取该匹配目标的虚拟信息的方法可以包括以下三种:
第一种、根据所确定的匹配目标,终端向服务器发送虚拟信息获取请求,该虚拟信息获取请求携带该匹配目标的标识信息,使得服务器能够根据该匹配目标的标识信息,从网络中查询并获取该目标的虚拟信息,向终端发送该目标的虚拟信息。
第二种、服务器维护一个虚拟信息数据库,该虚拟信息数据库至少用于存储多个目标的标识信息和虚拟信息,服务器在接收到终端发送的携带该匹配目标的标识信息的虚拟信息获取请求,根据该匹配目标的标识信息,从该虚拟信息数据库中获取该匹配目标的虚拟信息,并向终端发送该匹配目标的虚拟信息。当该虚拟信息数据库中未存储有该匹配目标的虚拟信息时,再根据第一种虚拟获取方法从网络中获取该匹配目标的虚拟信息。
第三种、该特征数据库中还包括该多个目标的虚拟信息时,检测该特征数据库中是否存储有该匹配目标的虚拟信息,如果有,则从该特征数据库中直接获取该匹配目标的虚拟信息;如果没有,则采用上述两种获取方法中的任一种进行获取。
获取该匹配目标的虚拟信息的过程可以采用上述三种方法中的任一种方法实现,也可以采用其他方法获取,本发明实施例对此不作具体限定。
需要说明的是,如果在该特征数据库和服务器所维护的虚拟信息数据库中均未获取到该匹配目标的虚拟信息,为了避免耗时过多或者消耗过多流量,服务器可以向终端发送提醒消息,该提醒消息用于提醒用户未获取到该匹配目标的虚拟信息,并提醒用户是否选择从网络继续执行获取步骤,如果用户选择继续获取,则再从网络中获取该匹配目标的虚拟信息,如果用户选择停止获取,则结束;从而能够避免用户等待时间过长,以保证虚拟信息显示的实时性。
在本发明另一实施例中,在步骤202中终端所下载的与该类别标识对应的特征数据库中除了包括该类别的目标的特征信息和地理位置信息,还可以包括该类别的目标的虚拟信息,通过下载同时存储有该类别的目标的虚拟信息的与该类别标识对应的特征数据库,能够在确定了匹配目标之后,直接从已下载的与该类别标识对应的特征数据库中获取匹配目标的虚拟信息,能够提高该匹配目标的虚拟信息的显示速度,还能够避免从服务器获取虚拟信息时消耗流量,减小网络负担。
需要说明的是,针对不同类别的目标可以对应不同的虚拟信息,具体如表1所示:
表1
如表1所示,当目标为APP(Application,应用程序)图标时,该目标对应的虚拟信息可以包括应用功能演示及下载入口等信息,当终端检测到用户对该下载入口的触发操作时,向对应服务器发送下载请求,以下载相应APP,当该APP为游戏类APP时,该目标对应的虚拟信息还可以包括游戏体验视频;当目标为书刊封面时,该目标对应的虚拟信息可以包括作者立体影像、概述内容,还可以包括电子版本的入口,该电子版本的入口是指相应电子书的下载或购买入口链接等,以使得当终端检测到对该入口链接的触发操作时,跳转至该电子书的下载或购买页面;当该目标为人像照片或名片时,该目标对应的虚拟信息可以包括对应人物的立体影像和联系信息,还可以包括语音留言选项和通话连接选项等,当终端检测到对该语音留言选项或该通话连接选项时,实现语音留言功能和通话连接功能;当该目标为景区时,该目标对应的虚拟信息可以包括景区简介与路线图,以及所拍摄景点的三维模型,用户通过向不同方向滑动该三维模型可以全方位观看该三维模型。
当然,表1所示的目标和对应的虚拟信息仅用于说明本发明所提供的虚拟信息显示方法,对该特征数据库中实际所存储的目标类型及每个目标对应的虚拟信息均不造成限定。
在本发明另一实施例中,显示该匹配目标的虚拟信息的方法可以为:以该图像为背景,根据该匹配目标的地理位置信息,在该图像的相应位置显示该匹配目标的虚拟信息。也即是,在该图像的显示图层上增加一个透明图层,在该透明图层的相应位置绘制该匹配目标的虚拟信息。
例如,当该匹配目标为多个商户时,根据该多个商户的地理位置信息,确定该多个商户在该图像中的显示位置,在该多个商户中每个商户的显示位置显示对应商户的虚拟信息,该虚拟信息可以为商户名称和服务质量等信息,以使得用户能够直观地从该显示结果看到该多个商户中的每个商户的具体位置,并在每个商户对应的显示位置附近看到该商户的名称等信息,进一步地,还能够使用户根据每个商户的显示位置,快速定位所要寻找的商户。
通过采用上述信息显示方法显示该匹配目标的虚拟信息,能够更直观地显示该匹配目标的虚拟信息,从而使得用户能够更快速地找到或了解该匹配目标。
具体地,对于当该匹配目标的虚拟信息为视频时,还可以采用下述方法显示该虚拟信息,当然,下述所陈述的显示方法不仅仅适用于视频,也是用其他类型的虚拟信息,如文字和图片等。
当该匹配目标的虚拟信息为视频时,根据该匹配目标在该图像中的显示区域大小,缩放该视频的播放界面;在该匹配目标在该图像中的显示区域的预设范围内,叠加显示该视频的播放界面。例如,当该匹配目标为某一商户的LOGO,且该匹配目标的虚拟信息为该商户的广告视频时,根据该图像中该LOGO显示区域的大小,对该视频的播放界面进行缩放,以在该LOGO显示区域的预设范围内叠加显示该视频的播放界面。其中,该预设范围是指在该匹配目标在该图像中的显示区域的附近,该预设范围可以采用系统设置的默认值,也可以由用户自行设置,本发明实施例对此不作限定。
通过在该匹配目标在该图像中的显示区域的预设范围内,叠加显示经过缩放的视频的播放界面,能够直观显示该视频,并且还能够避免遮挡该图像中除该匹配目标以外的其他区域。
优选地,将该视频的播放界面缩放至与该匹配目标的显示区域相同尺寸,并在该匹配目标的显示区域叠加显示该匹配目标的虚拟信息。通过将该视频的播放界面缩放至与该匹配目标在该图像中的显示区域相同尺寸,能够最大程度上避免对该图像中除该匹配目标以外的其他区域的遮挡。
在本发明又一实施例中,如果该匹配目标的虚拟信息为视频,当检测到该匹配目标在该图像中的显示位置发生位移时,该视频的播放界面的显示位置随着该匹配目标在该图像中的显示位置相应移动。在本发明实施例中,该终端摄像头实时采集的图像是指在一段时间内连续采集并缓存的多张图像中的任一张图像,在确定匹配目标后,在该多张图像中对该匹配目标进行追踪,以检测该匹配目标在该图像中的显示位置是否发生位移,再根据检测结果调整该视频的播放界面的显示位置,能够进一步避免该视频的播放界面对该图像中除该匹配目标以外的其他区域的遮挡。
如果通过上述对匹配目标进行追踪的过程,确定匹配目标已经移出图像(即移出取景框)时,为了继续进行虚拟信息显示,还可以基于取景框当前所取景的图像,进行特征信息提取,以便能够基于图像背景不间断的进行虚拟信息显示。
此外,当检测到该匹配目标从该图像中移出时,隐藏该视频的播放界面;当在该图像中再次确定到该匹配目标时,重新显示该视频的播放界面。其中,隐藏该视频的播放界面是指在检测到该匹配目标从该图像中移出时,不再显示该视频的播放界面,同时存储该视频的播放进度信息,以使得在该图像中再次确定到该匹配目标时,根据该视频的播放进度信息,继续播放该视频。
通过当检测到该匹配目标从该图像中移出时,隐藏该视频的播放界面,能够避免由于该视频的播放界面一直显示所导致的无法继续识别该图像中其他目标的情况;通过当在该图像中再次确定到该匹配目标时,继续播放该视频,能够避免重复播放已播放的部分。
在本发明另一实施例中,只在预设时长内存储该视频的播放进度信息,该预设时长可以采用系统设置的默认值,也可以由用户自行设置,本发明实施例对此不作限定。当然,也可以在检测到提供该虚拟信息显示方法的客户端关闭时,自动清除该视频的播放进度信息,或者在检测到终端识别到另一个目标时,清除该视频的播放进度信息,本发明实施例对此也不作限定。
通过在预设时长内存储该视频的播放进度信息,能够在保证再次确定到该匹配目标时,继续播放该视频的同时,避免长时间占用内存。
当然,对于虚拟信息为文字信息或图片信息的显示,也可以适用上述视频的显示方法,本发明实施例对文字或图片类型的虚拟信息的显示方法不再赘述。
上述步骤201至步骤205即为本发明实施例所提供的虚拟信息显示方法的具体过程,在本发明另一实施例中,提供该虚拟信息显示方法的客户端还可以向用户提供更新该特征数据库的入口,以使得终端可以将从终端摄像头实时采集的图像中提取到的特征信息上传至该图像数据库中,具体如步骤206所述;需要说明的是,该步骤206为本发明实施例的可选步骤,即可以执行也可以不执行,本发明实施例对此不作具体限定。
206、将该图像的特征信息存储至该特征数据库中该匹配目标的特征信息中。
由于该特征数据库中未存储有与该图像的特征信息相匹配的特征信息,因此,通过将该图像的特征信息存储至该特征数据库中与该匹配目标的地理位置信息对应的存储区域中,能够在再次识别时,提高识别速率,进而加快虚拟信息的显示速度,减少用户的等待时长。
例如,当该匹配目标为某一景区内的雕塑时,如果该特征数据库中存储了从该雕塑的第一角度和第二角度拍摄的两张图像的第一特征信息和第二特征信息,而步骤201中摄像头实时获取的图像为从第三角度拍摄的图像,则根据该特征数据库中的第一特征信息和第二特征信息无法识别到该雕塑,需要进一步根据该雕塑的地理位置信息进行识别,在识别成功后,将提取到的该第三角度拍摄的图像的特征信息对应存储至该特征数据库中,能够在再次识别时,提高根据特征信息识别的成功率。
由于当用户手持终端并使用终端摄像头扫描获取图像时,不可避免地会发生摄像头抖动,或为了更好的采景使得摄像头发生较大幅度移动的情况,为了保证在发生上述情况时重新对所采集到的图像进行识别,需要对摄像头的转动角度和移动距离进行检测,以使得当该摄像头的转动角度大于预设角度时,重新执行从终端摄像头实时采集的图像中,提取该图像的特征信息的步骤;或,当该摄像头的移动距离大于预设距离时,重新执行从终端摄像头实时采集的图像中,提取该图像的特征信息的步骤。也即是,当检测到摄像头的转动角度大于预设角度或移动距离大于预设距离时,重新对摄像头所采集到的图像执行特征提取操作,以识别新采集到的图像中的目标,从而获取并显示该目标的虚拟信息。
其中,该预设角度和该预设距离的设置方法可以为:根据步骤204确定的匹配目标在该图像中的显示位置,计算该匹配目标移出该图像对应的摄像头的多个转动角度和多个移动距离,将该摄像头的多个转动角度和多个移动距离中的任一转动角度和任一移动距离设置为该预设角度和该预设距离,或者将该摄像头的多个转动角度中的最小或最大转动角度确定为该预设角度,将多个移动距离中的最小或最大移动距离确定为预设距离;当然,该预设角度和该预设距离均可以分别采用系统设置的默认值,也可以由用户根据需要设置,本发明实施例对此不作限定。
通过对摄像头的转动角度和移动距离进行检测,能够达到实时识别该摄像头实时采集到的图像中目标,并实时获取及显示该目标的虚拟信息的目的。
在本发明另一实施例中,本发明实施例所提供的虚拟信息的显示方法可以提供为一个客户端,开启该客户端即可通过该虚拟信息显示方法识别扫描图像中的目标,获取并显示该目标的虚拟信息。此外,该客户端还提供虚拟信息编辑功能,具体地,当检测到对虚拟信息编辑选项的触发操作时,显示虚拟信息编辑界面;接收在该虚拟信息编辑界面输入的虚拟信息;将在该虚拟信息编辑界面输入的虚拟信息与该待编辑目标的特征信息对应存储至本地特征数据库中,该本地特征数据库至少用于存储涉及用户隐私的多个目标特征信息和与该多个目标特征信息中每个目标特征信息对应的地理位置信息。
例如,用户在自己家里的特定位置叠加一个虚拟物品测试装饰效果,或装修公司为用户量身定制的装修方案,用户不希望将该类目标的特征信息、地理位置信息和虚拟信息公开,则将该类目标的特征信息、地理位置信息和虚拟信息对应存储至本地特征数据库中。
在本发明又一实施例中,接收该用户在该虚拟信息制作界面输入的虚拟信息之后,当检测到对上传选项的触发操作时,将在该虚拟信息编辑界面输入的虚拟信息与该待编辑目标的特征信息上传至云特征数据库,该云特征数据库至少用于存储不涉及用户隐私的多个目标特征信息和与该多个目标特征信息中每个目标特征信息对应的地理位置信息。
例如,对于日常生活中常见的目标,如货币、国旗、景点等不属于某公司或个人所有的目标,可以由用户自行编辑对应目标的如文字、影响等介绍资料,该介绍资料即为对应目标的虚拟信息。对于属于公司的目标,如瓶装饮料、书籍封面、公司LOGO等目标,可以由公司制作相关目标的虚拟信息;由于上述目标并不涉及用户隐私,因此可将该目标的虚拟信息存储至云特征数据库,从而减小对本地存储空间的占用。
通过使用本地特征数据库和云特征数据库分别存储涉及隐私和不涉及隐私的目标特征信息,能够在实现上述虚拟信息编辑功能的同时,降低虚拟信息编辑的人工成本,降低用户的使用门槛,即不懂专业编程的用户也可以进行虚拟信息的编辑,减小专业技术人员的工作量;此外,还能够保护用户隐私,提高用户数据的安全性。
上述虚拟信息显示方法可以用图2C进行简单说明,如图2C所示,终端摄像头实时扫描获取图像,并提取该图像的特征信息,首先根据该图像的特征信息进行识别,也即是判断特征数据库中是否存储有与该图像的特征信息相匹配的特征信息,如果该特征数据库中存储有与该图像的特征信息相匹配的特征信息,则获取并显示该匹配目标的虚拟信息,如果该特征数据库中未存储有与该图像的特征信息相匹配的特征信息,则根据该终端当前的地理位置信息和摄像头的朝向信息,判断该特征数据库中是否存储有与该终端当前的地理位置信息和摄像头的朝向信息相对应的地理位置信息,如果有,则将该地理位置信息对应的目标获取为匹配目标,获取并显示该匹配目标的虚拟信息,如果没有,则识别失败;检测摄像头的转动角度是否大于预设角度,或摄像头的移动距离是否大于预设距离,如果摄像头的转动角度大于预设角度,或摄像头的移动距离大于预设距离,则重新执行实时扫描获取图像,并提取该图像的特征信息的步骤。
本发明实施例提供的方法,通过从终端摄像头实时采集的图像中,提取所述图像的特征信息,如果根据该图像的特征信息未能成功识别到该图像中可能包含的目标,通过获取该终端当前的地理位置信息和该摄像头的朝向信息,根据该特征数据库中存储的多个目标的地理位置信息,确定当前扫描的可能目标,以达到目标识别的目的,能够提高识别成功率,尤其对于该图像中包含多个目标,或者目标为建筑物或景区之类的大型目标的情况,能够避免识别失败的情况发生;进一步地,通过使用本地特征数据库和云特征数据库分别存储涉及隐私和不涉及隐私的目标特征信息,能够在实现上述虚拟信息编辑功能的同时,降低虚拟信息编辑的人工成本,降低用户的使用门槛,即不懂专业编程的用户也可以进行虚拟信息的编辑,减小专业技术人员的工作量;此外,还能够保护用户隐私,提高用户数据的安全性。
图3是本发明实施例提供的一种虚拟信息显示装置框图。参照图3,该装置包括特征信息提取模块301,第一获取模块302,确定模块303、第二获取模块304和显示模块305。
特征信息提取模块301,用于从终端摄像头实时采集的图像中,提取所述图像的特征信息;
第一获取模块302,用于如果特征数据库中未包括与所述图像的特征信息相匹配的特征信息,获取所述终端当前的地理位置信息和所述摄像头的朝向信息,所述特征数据库至少用于存储多个目标的特征信息和地理位置信息;
确定模块303,用于根据所述终端当前的地理位置信息和所述摄像头的朝向信息,从所述特征数据库中确定匹配目标,所述匹配目标的地理位置信息与所述终端当前的地理位置信息和所述摄像头的朝向信息一致;
第二获取模块304,用于获取所述匹配目标的虚拟信息;
显示模块305,用于显示所述匹配目标的虚拟信息。
在本发明提供的第一种可能实现方式中,所述显示模块305用于:
以所述图像为背景,根据所述匹配目标的地理位置信息,在所述图像的相应位置显示所述匹配目标的虚拟信息。
在本发明提供的第二种可能实现方式中,所述显示模块305用于:
当所述匹配目标的虚拟信息为视频时,根据所述匹配目标在所述图像中的显示区域大小,缩放所述视频的播放界面;
在所述匹配目标在所述图像中的显示区域的预设范围内,叠加显示所述视频的播放界面。
在本发明提供的第三种可能实现方式中,所述显示模块305还用于:
当检测到所述匹配目标在所述图像中的显示位置发生位移时,所述视频的播放界面的显示位置随着所述匹配目标在所述图像中的显示位置相应移动。
在本发明提供的第四种可能实现方式中,所述装置还包括播放模块,所述装置还包括:
隐藏模块:用于当检测到所述匹配目标从所述图像中移出时,隐藏所述视频的播放界面;
所述显示模块305还用于当在所述图像中再次确定到所述匹配目标时,重新显示所述视频的播放界面。
在本发明提供的第五种可能实现方式中,所述装置还包括:
存储模块,用于将所述图像的特征信息存储至所述特征数据库中所述匹配目标的特征信息中。
在本发明提供的第六种可能实现方式中,所述特征信息提取模块301还用于:
当所述摄像头的转动角度大于预设角度时,重新执行从终端摄像头实时采集的图像中,提取所述图像的特征信息的步骤;或,
当所述摄像头的移动距离大于预设距离时,重新执行从终端摄像头实时采集的图像中,提取所述图像的特征信息的步骤。
在本发明提供的第七种可能实现方式中,所述显示模块305还用于当检测到对虚拟信息编辑选项的触发操作时,显示虚拟信息编辑界面;
所述装置还包括:
接收模块,用于接收在所述虚拟信息编辑界面输入的虚拟信息;
存储模块,用于将在所述虚拟信息编辑界面输入的虚拟信息与所述待编辑目标的特征信息对应存储至本地特征数据库中,所述本地特征数据库至少用于存储涉及用户隐私的多个目标特征信息和与所述多个目标特征信息中每个目标特征信息对应的地理位置信息。
在本发明提供的第八种可能实现方式中,所述装置还包括:
上传模块,用于当检测到对上传选项的触发操作时,将在所述虚拟信息编辑界面输入的虚拟信息与所述待编辑目标的特征信息上传至云特征数据库,所述云特征数据库至少用于存储不涉及用户隐私的多个目标特征信息和与所述多个目标特征信息中每个目标特征信息对应的地理位置信息。
在本发明提供的第九种可能实现方式中,所述特征数据库采用分类存储的方法存储所述多个目标的特征信息和地理位置信息。
在本发明提供的第十种可能实现方式中,所述装置还包括:
发送模块,用于向服务器发送数据库下载请求,所述数据库下载请求携带待下载特征数据库的类别标识;
接收模块,用于接收与所述类别标识对应的特征数据库。
需要说明的是:上述实施例提供的虚拟信息显示装置在显示虚拟信息时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的虚拟信息显示装置与虚拟信息显示方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本实施例提供了一种终端,该终端可以用于执行上述各个实施例中提供的虚拟信息显示方法。参见图4,该终端400包括:
终端400可以包括RF(Radio Frequency,射频)电路110、包括有一个或一个以上计算机可读存储介质的存储器120、输入单元130、显示单元140、传感器150、音频电路160、WiFi(Wireless Fidelity,无线保真)模块170、包括有一个或者一个以上处理核心的处理器180、以及电源190等部件。本领域技术人员可以理解,图4中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
RF电路110可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器180处理;另外,将涉及上行的数据发送给基站。通常,RF电路110包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM)卡、收发信机、耦合器、LNA(Low Noise Amplifier,低噪声放大器)、双工器等。此外,RF电路110还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于GSM(Global System of Mobile communication,全球移动通讯系统)、GPRS(General Packet Radio Service,通用分组无线服务)、CDMA(Code Division Multiple Access,码分多址)、WCDMA(Wideband CodeDivision Multiple Access,宽带码分多址)、LTE(Long Term Evolution,长期演进)、电子邮件、SMS(Short Messaging Service,短消息服务)等。
存储器120可用于存储软件程序以及模块,处理器180通过运行存储在存储器120的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器120可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据终端400的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器120可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器120还可以包括存储器控制器,以提供处理器180和输入单元130对存储器120的访问。
输入单元130可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,输入单元130可包括触敏表面131以及其他输入设备132。触敏表面131,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面131上或在触敏表面131附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面131可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器180,并能接收处理器180发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面131。除了触敏表面131,输入单元130还可以包括其他输入设备132。具体地,其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元140可用于显示由用户输入的信息或提供给用户的信息以及终端400的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元140可包括显示面板141,可选的,可以采用LCD(Liquid Crystal Display,液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板141。进一步的,触敏表面131可覆盖显示面板141,当触敏表面131检测到在其上或附近的触摸操作后,传送给处理器180以确定触摸事件的类型,随后处理器180根据触摸事件的类型在显示面板141上提供相应的视觉输出。虽然在图4中,触敏表面131与显示面板141是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面131与显示面板141集成而实现输入和输出功能。
终端400还可包括至少一种传感器150,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板141的亮度,接近传感器可在终端400移动到耳边时,关闭显示面板141和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于终端400还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路160、扬声器161,传声器162可提供用户与终端400之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号,传输到扬声器161,由扬声器161转换为声音信号输出;另一方面,传声器162将收集的声音信号转换为电信号,由音频电路160接收后转换为音频数据,再将音频数据输出处理器180处理后,经RF电路110以发送给比如另一终端,或者将音频数据输出至存储器120以便进一步处理。音频电路160还可能包括耳塞插孔,以提供外设耳机与终端400的通信。
WiFi属于短距离无线传输技术,终端400通过WiFi模块170可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图4示出了WiFi模块170,但是可以理解的是,其并不属于终端400的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器180是终端400的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器120内的软件程序和/或模块,以及调用存储在存储器120内的数据,执行终端400的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器180可包括一个或多个处理核心;优选的,处理器180可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器180中。
终端400还包括给各个部件供电的电源190(比如电池),优选的,电源可以通过电源管理系统与处理器180逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源190还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,终端400还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,终端的显示单元是触摸屏显示器,终端还包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行。所述一个或者一个以上程序包含用于执行以下操作的指令:
从终端摄像头实时采集的图像中,提取所述图像的特征信息;
如果特征数据库中未包括与所述图像的特征信息相匹配的特征信息,获取所述终端当前的地理位置信息和所述摄像头的朝向信息,所述特征数据库至少用于存储多个目标的特征信息和地理位置信息;
根据所述终端当前的地理位置信息和所述摄像头的朝向信息,从所述特征数据库中确定匹配目标,所述匹配目标的地理位置信息与所述终端当前的地理位置信息和所述摄像头的朝向信息一致;
获取并显示所述匹配目标的虚拟信息。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (22)

1.一种虚拟信息显示方法,其特征在于,所述方法包括:
从终端摄像头实时采集的图像中,提取所述图像的特征信息;
如果特征数据库中未包括与所述图像的特征信息相匹配的特征信息,获取所述终端当前的地理位置信息和所述摄像头的朝向信息,所述特征数据库至少用于存储多个目标的特征信息和地理位置信息;
根据所述终端当前的地理位置信息和所述摄像头的朝向信息,从所述特征数据库中确定匹配目标,所述匹配目标的地理位置信息与所述终端当前的地理位置信息和所述摄像头的朝向信息一致;
获取并显示所述匹配目标的虚拟信息。
2.根据权利要求1所述的方法,其特征在于,所述显示所述匹配目标的虚拟信息包括:
以所述图像为背景,根据所述匹配目标的地理位置信息,在所述图像的相应位置显示所述匹配目标的虚拟信息。
3.根据权利要求1所述的方法,其特征在于,所述显示所述匹配目标的虚拟信息包括:
当所述匹配目标的虚拟信息为视频时,根据所述匹配目标在所述图像中的显示区域大小,缩放所述视频的播放界面;
在所述匹配目标在所述图像中的显示区域的预设范围内,叠加显示所述视频的播放界面。
4.根据权利要求3所述的方法,其特征在于,在所述匹配目标在所述图像中的显示区域叠加显示所述视频的播放界面,并播放所述视频之后,所述方法还包括:
当检测到所述匹配目标在所述图像中的显示位置发生位移时,所述视频的播放界面的显示位置随着所述匹配目标在所述图像中的显示位置相应移动。
5.根据权利要求3所述的方法,其特征在于,在所述匹配目标在所述图像中的显示区域叠加显示所述视频的播放界面,并播放所述视频之后,所述方法还包括:
当检测到所述匹配目标从所述图像中移出时,隐藏所述视频的播放界面;
当在所述图像中再次确定到所述匹配目标时,重新显示所述视频的播放界面。
6.根据权利要求1所述的方法,其特征在于,根据所述终端当前的地理位置信息和所述摄像头的朝向信息,从所述特征数据库中确定匹配目标之后,所述方法还包括:
将所述图像的特征信息存储至所述特征数据库中所述匹配目标的特征信息中。
7.根据权利要求1所述的方法,其特征在于,所述方法包括:
当所述摄像头的转动角度大于预设角度时,重新执行从终端摄像头实时采集的图像中,提取所述图像的特征信息的步骤;或,
当所述摄像头的移动距离大于预设距离时,重新执行从终端摄像头实时采集的图像中,提取所述图像的特征信息的步骤。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当检测到对虚拟信息编辑选项的触发操作时,显示虚拟信息编辑界面;
接收在所述虚拟信息编辑界面输入的虚拟信息;
将在所述虚拟信息编辑界面输入的虚拟信息与所述待编辑目标的特征信息对应存储至本地特征数据库中,所述本地特征数据库至少用于存储涉及用户隐私的多个目标特征信息和与所述多个目标特征信息中每个目标特征信息对应的地理位置信息。
9.根据权利要求8所述的方法,其特征在于,接收所述用户在所述虚拟信息制作界面输入的虚拟信息之后,所述方法还包括:
当检测到对上传选项的触发操作时,将在所述虚拟信息编辑界面输入的虚拟信息与所述待编辑目标的特征信息上传至云特征数据库,所述云特征数据库至少用于存储不涉及用户隐私的多个目标特征信息和与所述多个目标特征信息中每个目标特征信息对应的地理位置信息。
10.根据权利要求1所述的方法,其特征在于,所述特征数据库采用分类存储的方法存储所述多个目标的特征信息和地理位置信息。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
向服务器发送数据库下载请求,所述数据库下载请求携带待下载特征数据库的类别标识;
接收与所述类别标识对应的特征数据库。
12.一种虚拟信息显示装置,其特征在于,所述装置包括:
特征信息提取模块,用于从终端摄像头实时采集的图像中,提取所述图像的特征信息;
第一获取模块,用于如果特征数据库中未包括与所述图像的特征信息相匹配的特征信息,获取所述终端当前的地理位置信息和所述摄像头的朝向信息,所述特征数据库至少用于存储多个目标的特征信息和地理位置信息;
确定模块,用于根据所述终端当前的地理位置信息和所述摄像头的朝向信息,从所述特征数据库中确定匹配目标,所述匹配目标的地理位置信息与所述终端当前的地理位置信息和所述摄像头的朝向信息一致;
第二获取模块,用于获取所述匹配目标的虚拟信息;
显示模块,用于显示所述匹配目标的虚拟信息。
13.根据权利要求12所述的装置,其特征在于,所述显示模块用于:
以所述图像为背景,根据所述匹配目标的地理位置信息,在所述图像的相应位置显示所述匹配目标的虚拟信息。
14.根据权利要求12所述的装置,其特征在于,所述显示模块用于:
当所述匹配目标的虚拟信息为视频时,根据所述匹配目标在所述图像中的显示区域大小,缩放所述视频的播放界面;
在所述匹配目标在所述图像中的显示区域的预设范围内,叠加显示所述视频的播放界面。
15.根据权利要求14所述的装置,其特征在于,所述显示模块还用于:
当检测到所述匹配目标在所述图像中的显示位置发生位移时,所述视频的播放界面的显示位置随着所述匹配目标在所述图像中的显示位置相应移动。
16.根据权利要求14所述的装置,其特征在于,所述装置还包括:
隐藏模块,用于当检测到所述匹配目标从所述图像中移出时,隐藏所述视频的播放界面;
所述显示模块还用于当在所述图像中再次确定到所述匹配目标时,重新显示所述视频的播放界面。
17.根据权利要求12所述的装置,其特征在于,所述装置还包括:
存储模块,用于将所述图像的特征信息存储至所述特征数据库中所述匹配目标的特征信息中。
18.根据权利要求12所述的装置,其特征在于,所述特征信息提取模块还用于:
当所述摄像头的转动角度大于预设角度时,重新执行从终端摄像头实时采集的图像中,提取所述图像的特征信息的步骤;或,
当所述摄像头的移动距离大于预设距离时,重新执行从终端摄像头实时采集的图像中,提取所述图像的特征信息的步骤。
19.根据权利要求12所述的装置,其特征在于,所述显示模块还用于当检测到对虚拟信息编辑选项的触发操作时,显示虚拟信息编辑界面;
所述装置还包括:
接收模块,用于接收在所述虚拟信息编辑界面输入的虚拟信息;
存储模块,用于将在所述虚拟信息编辑界面输入的虚拟信息与所述待编辑目标的特征信息对应存储至本地特征数据库中,所述本地特征数据库至少用于存储涉及用户隐私的多个目标特征信息和与所述多个目标特征信息中每个目标特征信息对应的地理位置信息。
20.根据权利要求19所述的装置,其特征在于,所述装置还包括:
上传模块,用于当检测到对上传选项的触发操作时,将在所述虚拟信息编辑界面输入的虚拟信息与所述待编辑目标的特征信息上传至云特征数据库,所述云特征数据库至少用于存储不涉及用户隐私的多个目标特征信息和与所述多个目标特征信息中每个目标特征信息对应的地理位置信息。
21.根据权利要求12所述的装置,其特征在于,所述特征数据库采用分类存储的方法存储所述多个目标的特征信息和地理位置信息。
22.根据权利要求21所述的装置,其特征在于,所述装置还包括:
发送模块,用于向服务器发送数据库下载请求,所述数据库下载请求携带待下载特征数据库的类别标识;
接收模块,用于接收与所述类别标识对应的特征数据库。
CN201610490630.0A 2016-06-28 2016-06-28 虚拟信息显示方法及装置 Active CN106713840B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610490630.0A CN106713840B (zh) 2016-06-28 2016-06-28 虚拟信息显示方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610490630.0A CN106713840B (zh) 2016-06-28 2016-06-28 虚拟信息显示方法及装置

Publications (2)

Publication Number Publication Date
CN106713840A true CN106713840A (zh) 2017-05-24
CN106713840B CN106713840B (zh) 2018-09-04

Family

ID=58940324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610490630.0A Active CN106713840B (zh) 2016-06-28 2016-06-28 虚拟信息显示方法及装置

Country Status (1)

Country Link
CN (1) CN106713840B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330059A (zh) * 2017-06-29 2017-11-07 珠海市魅族科技有限公司 一种信息展示方法、相关设备及计算机可读存储介质
CN110072046A (zh) * 2018-08-24 2019-07-30 北京微播视界科技有限公司 图像合成方法和装置
CN110837764A (zh) * 2018-08-17 2020-02-25 广东虚拟现实科技有限公司 图像处理方法、装置、电子设备及视觉交互系统
CN111782664A (zh) * 2019-10-12 2020-10-16 西安宇视信息科技有限公司 摄像机的管理方法、装置、设备和介质
CN112100407A (zh) * 2020-09-25 2020-12-18 南京酷朗电子有限公司 多媒体图像系统的信息继承和叠加方法
CN113132531A (zh) * 2020-01-14 2021-07-16 北京小米移动软件有限公司 照片展示方法、装置及存储介质
CN113538083A (zh) * 2020-04-22 2021-10-22 阿里巴巴集团控股有限公司 数据处理方法、系统、空间及设备
WO2023182932A3 (zh) * 2022-03-25 2023-11-30 脸萌有限公司 目标物体的识别方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101873341A (zh) * 2010-05-17 2010-10-27 孙煜 信息发布方法、虚拟展现方法、系统、终端及服务器
CN103164518A (zh) * 2013-03-06 2013-06-19 杭州九树网络科技有限公司 移动终端增强现实应用系统及方法
CN103793521A (zh) * 2014-02-18 2014-05-14 腾讯科技(深圳)有限公司 图片处理方法和装置
US20140213361A1 (en) * 2013-01-25 2014-07-31 Tencent Technology (Shenzhen) Company Limited Method, device, and system for interacting with a virtual character in smart terminal
CN105243119A (zh) * 2015-09-29 2016-01-13 百度在线网络技术(北京)有限公司 确定图像的待叠加区域、叠加图像、图片呈现方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101873341A (zh) * 2010-05-17 2010-10-27 孙煜 信息发布方法、虚拟展现方法、系统、终端及服务器
US20140213361A1 (en) * 2013-01-25 2014-07-31 Tencent Technology (Shenzhen) Company Limited Method, device, and system for interacting with a virtual character in smart terminal
CN103164518A (zh) * 2013-03-06 2013-06-19 杭州九树网络科技有限公司 移动终端增强现实应用系统及方法
CN103793521A (zh) * 2014-02-18 2014-05-14 腾讯科技(深圳)有限公司 图片处理方法和装置
CN105243119A (zh) * 2015-09-29 2016-01-13 百度在线网络技术(北京)有限公司 确定图像的待叠加区域、叠加图像、图片呈现方法和装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330059A (zh) * 2017-06-29 2017-11-07 珠海市魅族科技有限公司 一种信息展示方法、相关设备及计算机可读存储介质
CN110837764A (zh) * 2018-08-17 2020-02-25 广东虚拟现实科技有限公司 图像处理方法、装置、电子设备及视觉交互系统
CN110072046A (zh) * 2018-08-24 2019-07-30 北京微播视界科技有限公司 图像合成方法和装置
US11308655B2 (en) 2018-08-24 2022-04-19 Beijing Microlive Vision Technology Co., Ltd Image synthesis method and apparatus
CN111782664A (zh) * 2019-10-12 2020-10-16 西安宇视信息科技有限公司 摄像机的管理方法、装置、设备和介质
CN113132531A (zh) * 2020-01-14 2021-07-16 北京小米移动软件有限公司 照片展示方法、装置及存储介质
CN113132531B (zh) * 2020-01-14 2022-06-24 北京小米移动软件有限公司 照片展示方法、装置及存储介质
CN113538083A (zh) * 2020-04-22 2021-10-22 阿里巴巴集团控股有限公司 数据处理方法、系统、空间及设备
CN112100407A (zh) * 2020-09-25 2020-12-18 南京酷朗电子有限公司 多媒体图像系统的信息继承和叠加方法
WO2023182932A3 (zh) * 2022-03-25 2023-11-30 脸萌有限公司 目标物体的识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN106713840B (zh) 2018-09-04

Similar Documents

Publication Publication Date Title
CN106713840B (zh) 虚拟信息显示方法及装置
CN105005457B (zh) 地理位置展示方法及装置
CN104135609B (zh) 辅助拍照方法、装置及终端
CN108647957A (zh) 一种支付方法、装置及移动终端
CN105589975A (zh) 信息推荐方法及装置
CN106648118A (zh) 一种基于增强现实的虚拟教学方法与终端设备
CN110222212A (zh) 一种显示控制方法及终端设备
CN106131627A (zh) 一种视频处理方法、装置及系统
CN107464290A (zh) 三维信息展示方法、装置和移动终端
CN110221737A (zh) 一种图标显示方法及终端设备
CN108711355A (zh) 一种轨迹地图攻略制作与使用方法、装置及可读存储介质
CN107333162A (zh) 一种播放直播视频的方法和装置
CN110399570B (zh) 地理对象推荐方法、装置及存储介质
CN110166691A (zh) 一种拍摄方法及终端设备
CN108256100A (zh) 一种信息搜索方法、移动终端及云服务器
CN112181573A (zh) 媒体资源展示方法、装置、终端、服务器以及存储介质
CN107911812A (zh) 优选公共陆地移动网络pplmn列表调整方法及移动终端
CN108197934A (zh) 一种支付方法及终端设备
CN108241752A (zh) 照片显示方法、移动终端及计算机可读存储介质
CN108898040A (zh) 一种识别方法及移动终端
CN108460817A (zh) 一种拼图方法及移动终端
CN107908770A (zh) 一种照片搜索方法及移动终端
CN108510267A (zh) 一种账户信息获取方法、移动终端
CN109781091A (zh) 一种移动终端的地图显示方法、移动终端及存储介质
CN112052355B (zh) 视频的展示方法、装置、终端、服务器、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant