CN103105993A

CN103105993A - 基于增强现实技术实现互动的方法和系统

Info

Publication number: CN103105993A
Application number: CN2013100301095A
Authority: CN
Inventors: 张振伟; 王令; 肖芬; 吴哲惠
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2013-01-25
Filing date: 2013-01-25
Publication date: 2013-05-15
Anticipated expiration: 2033-01-25
Also published as: US10127736B1; US10049494B2; CN103105993B; US20180322707A1; US20150187142A1; WO2014114151A1

Abstract

一种基于增强现实技术实现互动的方法，包括：获取第一终端拍摄的真实场景的图像；获取第一终端所在地的位置信息和第二终端的地理位置，位置信息包括地理坐标和第一终端的朝向；将位置信息与地理位置进行匹配；将匹配成功后的第二终端的信息显示在第一终端拍摄的真实场景的图像上；根据显示的第二终端的信息进行互动。上述方法中，通过拍摄真实场景形成图像，将匹配成功的第二终端的信息显示在图像上，再根据需要进行互动。根据现实中的第二终端的地理位置把虚拟的第二终端的信息显示在真实场景的图像上，方便进行互动。实现与周边第二终端交流的同时还能获得用户的具体的地理位置和方位。此外，还提供一种基于增强现实技术实现互动的系统。

Description

基于增强现实技术实现互动的方法和系统

技术领域

本发明涉及信息技术领域，特别是涉及一种基于增强现实技术实现互动的方法和系统。

背景技术

增强现实（Augmented Reality，AR）是在虚拟现实的基础上发展起来的新技术，也被称之为混合现实。通过计算机系统提供的信息增加用户对现实世界感知的技术，将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的增强。使用者不仅能够通过虚拟现实系统感受到在客观物理世界中所经历的“身临其境”的逼真性，而且能够突破空间、时间以及其它客观限制，感受到在真实世界中无法亲身经历的体验。目前已经应用在导航、信息查询、娱乐等。例如通过增强现实可以获取商户信息或者播放娱乐动画；甚至为用户显示当前位置、附近餐馆、旅游热点、公交站等信息。

然而，目前增强现实还只能单向的提供信息，应用范围受到局限。

发明内容

基于此，有必要针对增强现实只能单向的提供信息的问题，提供一种基于增强现实技术实现互动的方法和系统。

一种基于增强现实技术实现互动的方法，包括：

获取第一终端拍摄的真实场景的图像；

获取第一终端所在地的位置信息和第二终端的地理位置，所述位置信息包括地理坐标和所述第一终端的朝向；

将所述位置信息与所述地理位置进行匹配；

将匹配成功后的第二终端的信息显示在所述第一终端拍摄的真实场景的图像上；

根据显示的所述第二终端的信息进行互动。

一种基于增强现实技术实现互动的系统，包括：

图像获取模块，获取第一终端拍摄的真实场景的图像；

位置获取模块，获取第一终端所在地的位置信息和第二终端的地理位置；

匹配模块，将所述位置信息与所述地理位置进行匹配，所述位置信息包括地理坐标和所述第一终端的朝向；

显示模块，将匹配成功后的第二终端的信息显示在所述第一终端拍摄的真实场景的图像上；

互动模块，根据显示的所述第二终端的信息进行互动。

上述的基于增强现实技术实现互动的方法和系统中，通过拍摄真实场景形成图像，将匹配成功的第二终端的信息显示在第一终端拍摄的真实场景的图像上，然后可以根据需要进行互动。根据现实中的第二终端的地理位置把虚拟的第二终端的信息显示在真实场景的图像上，方便进行互动。可以实现与周边的持有第二终端的用户交流的同时还能获得第二终端的具体的地理位置和方位。

附图说明

图1为一实施方式的基于增强现实技术实现互动的方法流程图；

图2中一实施方式的第二终端与第一终端相对位置关系示意图；

图3中图2中的第二终端与第一终端配对成功后的信息在图像上的相对位置关系示意图；

图4为一实施方式的基于增强现实技术实现互动的系统的模块示意图；

图5为一实施方式的匹配模块的示意图。

具体实施方式

请参阅图1，一实施方式的基于增强现实技术实现互动的方法，包括如下步骤：

步骤S110，获取第一终端拍摄的真实场景的图像。

在执行本方法时，自动开启第一终端自带的摄像头，将第一终端的摄像头面对的真实场景拍摄下来，在第一终端的显示器上呈现真实场景的图像。显示的真实场景的图像的范围根据第一终端摄像头拍摄到的范围来决定，当用户调整摄像头镜头的变焦、朝向、倾斜角度等，拍摄到的真实场景的图像相应发生变化。

步骤S120，获取第一终端所在地的位置信息和第二终端的地理位置，位置信息包括地理坐标和所述第一终端的朝向。

第一终端可以为手机、平板电脑、笔记本电脑、电子阅读器、智能手表、智能车窗等。第一终端所在地的位置信息可以包括第一终端所在地的地理坐标和第一终端的朝向。可以通过第一终端自带的全球定位系统(Global PositioningSystem，GPS)获得地理坐标。也可以通过其他方式获得地理坐标，比如北斗卫星导航系统、基站定位等。当第一终端为手机时，应用于手机用户的基站定位称之为手机基站定位服务，又叫做移动位置服务（Location Based Service，LBS），通过电信移动运营商的网络（如GSM网）获取移动终端用户的位置信息（包括经纬度坐标）。可以通过第一终端的电子指南针辨别第一终端的朝向，电子指南针的磁针在地磁场作用下能保持在磁子午线的切线方向上，磁针的北极指向地理的北极，利用这一性能可以辨别方向。例如当第一终端为智能眼镜、智能手表、智能车载设备等，都可以利用电子指南针确定摄像头朝向。当第一终端的摄像头和显示器是分离的，则以摄像头朝向作为方向定位标准。

第二终端的地理位置来源于后台数据库。当开启第一终端时，通过GPRS、3G和WLAN等网络在后台数据库搜索第二终端的地理位置。后台数据库包括所有第二终端、经常联系的第二终端或某些分组的第二终端的地理位置信息，在搜索过程中，可以根据需要设定一定的搜索范围，比如设定搜索范围为第一终端所在地一定角度范围内距离第一终端所在地10公里范围内的第二终端等等。

步骤S130，将位置信息与地理位置进行匹配。

根据第一终端所在地的位置信息与第二终端的地理位置计算第二终端与第一终端的距离和方位关系。然后判断该距离和方位是否满足预设要求。当该第二终端的地理位置与第一终端的距离和方位关系满足预设要求时，则判定该第二终端与第一终端匹配成功。本实施例中，预设要求包括距离满足第一预定值、方位关系与第一终端的朝向的偏差满足第二预定值。第一预定值和第二预定值可以预先固定，第一预定值和第二预定值也可以根据第一终端的倾斜角度自动调整或根据第一终端的摄像头参数（如焦距、视角等）自动调整（对于广角镜头第二预定值可以调整得较大；如果第一终端由竖直改为横向，则第一预定值可以调整得较小而第二预定值可以调整得较大），或者结合第一终端的倾斜角度和摄像头参数两者自动调整。相当于用户可以根据需要进行自定义设定。在其他实施例中，预设要求可以只要求方位关系与第一终端的朝向的偏差满足第二预定值。例如，确定第一终端的朝向为朝北，方位关系与第一终端的朝向的偏差（第二预定值）为30°，则只要第二终端在北偏东30°至北偏西30°的范围内，就将其作为匹配成功的第二终端。以下举例说明当预设要求包括距离满足第一预定值、方位关系与第一终端的朝向的偏差满足第二预定值的情况。如图2所示，在现实中，第一终端位于A点，朝正北方向；第二终端甲位于B地，AB相距170米，B位于A北偏西30°；第二终端乙位于C地，AC相距80米，C地位于A地北偏东15°；第二终端丙位于D地，AD相距20米，D位于A北偏西80°；第二终端丁位于E地，AE相距120米，E位于A北偏东70°。当第一预定值为200米，第二预定值为35°时，此时B的方位关系与第一终端的朝向的偏差为30°，C的方位关系与第一终端的朝向的偏差为15°，D的方位关系与第一终端的朝向的偏差为80°，B的方位关系与第一终端的朝向的偏差为70°，可以计算出来第二终端甲和乙与第一终端的距离和方位偏差满足预设要求，因此甲和乙分别于第一终端匹配成功。通过预设要求设定过滤规则，对第二终端进行筛选，可以只显示附近符合要求的第二终端，尽量将在真实图像范围内的第二终端作为匹配成功的第二终端。

步骤S140，将匹配成功后的第二终端的信息显示在第一终端拍摄的真实场景的图像上。

将通过筛选后与第一终端匹配成功的第二终端的信息显示在拍摄的真实场景的图像上。通过上述的筛选匹配过程，将符合预定要求的第二终端信息显示在图像上，使得在一个页面里不会充满巨量的信息，提高系统速度，同时也节约了流量。显示在图像上的第二终端的信息是按照第二终端的地理位置与第一终端的位置信息的相关关系来分布的，即图像上的第二终端的信息的相对位置关系与第二终端实际所处的地理位置的相对位置关系一致，便于用户通过显示界面迅速了解第二终端在现实世界所在的位置。当第二终端的地理位置与第一终端的位置信息关系需要满足第一预定值的距离要求、方位关系与第一终端的朝向的偏差满足第二预定值时，可以以图像的中心点为基点，根据第二终端与第一终端的距离的远近关系和角度偏差关系在图像上对应分布第二终端信息。在其他的实施例中，当第二终端的地理位置与第一终端的位置信息关系需要只满足方位关系与第一终端的朝向的偏差满足第二预定值时，则第二终端的信息在图像上的分布只需要体现出角度偏差关系。以下举例说明当预设要求包括距离满足第一预定值、方位关系与第一终端的朝向的偏差满足第二预定值的情况。根据图2中表示的在现实中的第二终端与第一终端的位置关系及上述的预设要求可知，第二终端甲和乙和第一终端配对成功，第二终端甲和乙的信息显示在图像中地位置关系如图3所示，A’点为第一终端所在地，B’点为第二终端甲的信息所在地，C’点为第二终端乙的信息所在地，其显示的相对位置关系与现实中第二终端与第一终端的相对位置关系一致。更进一步的，不同的第二终端的信息可以以层的方式叠加在真实场景的图像上，且可以根据两者的远近距离来进行层叠，将较近距离的第二终端信息设置在最上层，较远距离的第二终端信息显示在下层，依次排列。更加凸显出增强现实的效果，对后续的操作加强了便捷性。在其他的实施例中，在图像处理能力符合要求的情况下，不同第二终端的信息也可以直接嵌入在图像内。

步骤S150，根据显示的第二终端的信息进行互动。

用户可以根据显示的第二终端的信息，包括头像、距离、动态、方位等来选择需要互动的第二终端，如点击第二终端的头像，关注第二终端的最近动态，进行留言或者语音通话，或者查看附近的常用第二终端，建立群组，以便在方便快捷的进行团体活动。第一终端在接收到用户的指令时，可以发送相应的文字、语音、视频或者图片信息给相应的第二终端，从而实现互动。

上述的基于增强现实技术实现互动的方法中，通过拍摄真实场景形成图像，将匹配成功的第二终端的信息显示在图像上，然后可以根据需要与第二终端进行互动。根据现实中的第二终端的地理位置把虚拟的第二终端的信息显示在真实场景的图像上，方便进行互动。可以实现与周边持有第二终端的用户交流的同时还能获得第二终端的具体的地理位置和方位。如在团队活动中，既能和持有第二终端的其他用户聊天，也能实时知道其他用户的方位，便于统一行动。

此外，如图4所示，还提供了一种基于增强现实技术实现互动的系统，包括图像获取模块210、位置获取模块220、匹配模块230、显示模块240和互动模块250。

图像获取模块210获取第一终端拍摄的真实场景的图像。

第一终端自带有摄像头，拍摄模块210开启第一终端自带的摄像头，将第一终端的摄像头面对的真实场景拍摄下来，在第一终端的显示器上呈现真实场景的图像。显示的真实场景的图像的范围根据第一终端摄像头拍摄到的范围来决定，当用户调整摄像头镜头的变焦、朝向、倾斜角度等，拍摄到的真实场景的图像相应发生变化。

位置获取模块220获取第一终端所在地的位置信息和第二终端的地理位置。

第一终端可以为手机、平板电脑、笔记本电脑等。第一终端所在地的位置信息可以包括第一终端所在地的地理坐标。获取模块220通过第一终端自带的全球定位系统获得地理坐标。获取模块220也可以通过其他方式获得地理坐标，比如北斗卫星导航系统、基站定位等。当第一终端为手机时，应用于手机用户的基站定位称之为手机基站定位服务，又叫做移动位置服务（Location BasedService，LBS），通过电信移动运营商的网络（如GSM网）获取移动终端用户的位置信息（包括经纬度坐标）。第一终端所在地的位置信息还可以包括第一终端的朝向，通过第一终端的电子指南针辨别第一终端的朝向，电子指南针的磁针在地磁场作用下能保持在磁子午线的切线方向上，磁针的北极指向地理的北极，利用这一性能可以辨别方向。

第二终端的地理位置来源于后台数据库。当开启第一终端时，通过GPRS、3G和WLAN等网络在后台数据库搜索第二终端的地理位置。后台数据库包括所有第二终端、经常联系的第二终端或某些分组的第二终端的地理位置信息，在搜索过程中，可以根据需要设定一定的搜索范围，比如第一终端所在地周围10公里范围内的第二终端等等。

匹配模块230将所述位置信息与所述地理位置进行匹配。

根据第一终端所在地的位置信息与第二终端的地理位置计算第二终端与第一终端的距离和方位关系。然后判断该距离和方位是否满足预设要求。当该第二终端的地理位置与第一终端的距离和方位关系满足预设要求时，则判定该第二终端与第一终端匹配成功。请参阅图5，匹配模块230包括计算单元232和匹配单元234。计算单元232根据所述位置信息与所述地理位置计算所述第二终端与所述第一终端的距离与方位关系。若所述第二终端与所述第一终端的距离与方位关系满足预设要求，则匹配单元234将该第二终端作为匹配成功的第二终端。本实施例中，预设要求包括距离满足第一预定值，第一预定值可以通过距离信息来确定。距离信息包括起始点和终止点两个数字距离信息。预设要求还包括方位关系与第一终端的朝向的偏差满足第二预定值。第一预定值和第二预定值可以预先固定，第一预定值和第二预定值也可以根据第一终端的倾斜角度自动调整或根据第一终端的摄像头参数（如焦距、视角等）自动调整（对于广角镜头第二预定值可以调整得较大；如果第一终端由竖直改为横向，则第一预定值可以调整得较小而第二预定值可以调整得较大），或者结合第一终端的倾斜角度和摄像头参数两者自动调整。相当于用户可以根据需要进行自定义设定。预设要求还可以只要求方位关系与第一终端的朝向的偏差满足第二预定值。例如，确定第一终端的朝向为朝北，方位关系与第一终端的朝向的偏差（第二预定值）为30°，则只要联系在北偏东30°至北偏西30°的范围内，就将其作为匹配成功的第二终端。以下举例说明当预设要求包括距离满足第一预定值、方位关系与第一终端的朝向的偏差满足第二预定值的情况。举例来说，如图2所示，在现实中，第一终端位于A点，朝正北方向；第二终端甲位于B地，AB相距170米，B位于A北偏西30°；第二终端乙位于C地，AC相距80米，C地位于A地北偏东15°；第二终端丙位于D地，AD相距20米，D位于A北偏西80°；第二终端丁位于E地，AE相距120米，E位于A北偏东70°。当第一预定值为200米，第二预定值为35°时，此时B的方位关系与第一终端的朝向的偏差为30°，C的方位关系与第一终端的朝向的偏差为15°，D的方位关系与第一终端的朝向的偏差为80°，B的方位关系与第一终端的朝向的偏差为70°，可以计算出来第二终端甲和乙与第一终端的距离和方位偏差满足预设要求，因此甲和乙分别于第一终端匹配成功。通过预设要求设定过滤规则，对第二终端进行筛选，可以只显示附近符合要求的第二终端，尽量将在真实图像范围内的第二终端作为匹配成功的第二终端。

显示模块240将匹配成功后的第二终端的信息显示在图像上。

将通过筛选后与第一终端匹配成功的第二终端的信息显示在拍摄的真实场景的图像上。通过上述的筛选配对过程，将符合预定要求的第二终端信息显示在图像上，使得在一个页面里不会充满巨量的信息，提高系统速度，同时也节约了流量。显示模块240包括相对位置对应单元，相对位置对应单元根据所述第二终端与所述第一终端的距离与方位关系将所述第二终端的信息显示在所述图像上并使图像上的第二终端的信息的相对位置关系与第二终端的相对位置关系一致。显示在图像上的第二终端信息是按照第二终端的地理位置与第一终端的位置信息的相关关系来分布的，即图像上的第二终端的信息的相对位置关系与第二终端实际所处的地理位置的相对位置关系一致，便于用户通过显示界面迅速了解第二终端在现实世界所在的位置。当第二终端的地理位置与第一终端的位置信息关系需要满足第一预定值的距离要求、方位关系与第一终端的朝向的偏差满足第二预定值时，可以以图像的中心点为基点，根据第二终端与第一终端的距离的远近关系和角度偏差关系在图像上对应分布第二终端信息。在其他的实施例中，当第二终端的地理位置与第一终端的位置信息关系需要只满足方位关系与第一终端的朝向的偏差满足第二预定值时，则第二终端的信息在图像上的分布只需要体现出角度偏差关系。以下举例说明当预设要求包括距离满足第一预定值、方位关系与第一终端的朝向的偏差满足第二预定值的情况。根据图2中表示的在现实中的第二终端与第一终端的位置关系及上述的预设要求可知，第二终端甲和乙和第一终端配对成功，第二终端甲和乙的信息显示在图像中地位置关系如图3所示，A’点为第一终端所在地，B’点为第二终端甲的信息所在地，C’点为第二终端乙的信息所在地，其显示的相对位置关系与现实中第二终端与第一终端的相对位置关系一致。更进一步的，显示模块240还包括叠加单元，叠加单元将所述第二终端的信息以层的方式叠加在所述真实场景的图像上。即不同的第二终端的信息可以以层的方式叠加在真实场景的图像上，且可以根据两者的远近距离来进行层叠，将较近距离的第二终端信息设置在最上层，较远距离的第二终端信息显示在下层，依次排列。更加凸显出增强现实的效果，对后续的操作加强了便捷性。在其他的实施例中，在图像处理能力符合要求的情况下，不同第二终端的信息也可以直接嵌入在图像内。

互动模块250根据显示的第二终端的信息与第二终端进行互动。

用户可以根据显示的第二终端的信息，包括头像、距离、动态、方位等来选择需要互动的第二终端，如点击第二终端的头像，关注第二终端的最近动态，进行留言或者语音通话，或者查看附近的常用的第二终端，建立群组，以便在方便快捷的进行团体活动。互动模块250在接收到用户的指令时，可以发送相应的文字、语音、视频或者图片信息给相应的第二终端，从而实现互动。

上述的基于增强现实技术实现互动的系统中，通过拍摄真实场景形成图像，将匹配成功的第二终端的信息显示在图像上，然后可以根据需要与第二终端进行互动。根据现实中的第二终端的地理位置把虚拟的第二终端的信息显示在真实场景的图像上，方便进行互动。可以实现与周边持有第二终端的用户交流的同时还能获得用户的具体的地理位置和方位。如在团队活动中，既能和持有第二终端的其他用户聊天，也能实时知道其他用户的方位，便于统一行动。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种基于增强现实技术实现互动的方法，其特征在于，包括：

获取第一终端拍摄的真实场景的图像；

将所述位置信息与所述地理位置进行匹配；

根据显示的所述第二终端的信息进行互动。

2.根据权利要求1所述的基于增强现实技术实现互动的方法，其特征在于，所述将所述位置信息与所述地理位置进行匹配的步骤包括：

根据所述位置信息与所述地理位置计算所述第二终端与所述第一终端的距离与方位关系；

若所述第二终端与所述第一终端的距离与方位关系满足预设要求则作为匹配成功的第二终端。

3.根据权利要求2所述的基于增强现实技术实现互动的方法，其特征在于，所述预设要求为所述距离满足第一预定值、所述方位关系与所述第一终端的朝向的偏差满足第二预定值。

4.根据权利要求3所述的基于增强现实技术实现互动的方法，其特征在于，所述第二预定值根据所述第一终端的倾斜角度自动调整和/或根据第一终端的摄像头参数自动调整。

5.根据权利要求2至4中任意一项所述的基于增强现实技术实现互动的方法，其特征在于，所述将匹配成功后的第二终端的信息显示在所述第一终端拍摄的真实场景的图像上的步骤包括：

根据所述第二终端与所述第一终端的距离与方位关系将所述第二终端的信息显示在所述图像上并使图像上的第二终端的信息的相对位置关系与第二终端的相对位置关系一致。

6.根据权利要求5所述的基于增强现实技术实现互动的方法，其特征在于，所述将匹配成功后的第二终端的信息显示在所述图像上的步骤还包括：

所述第二终端的信息以层的方式叠加在所述真实场景的图像上。

7.一种基于增强现实技术实现互动的系统，其特征在于，包括：

图像获取模块，获取第一终端拍摄的真实场景的图像；

互动模块，根据显示的所述第二终端的信息进行互动。

8.根据权利要求7所述的基于增强现实技术实现互动的系统，其特征在于，所述匹配模块包括：

计算单元，根据所述位置信息与所述地理位置计算所述第二终端与所述第一终端的距离与方位关系；

匹配单元，若所述第二终端与所述第一终端的距离与方位关系满足预设要求则作为匹配成功的第二终端。

9.根据权利要求8所述的基于增强现实技术实现互动的系统，其特征在于，所述预设要求为所述距离满足第一预定值、所述方位关系与所述第一终端的朝向的偏差满足第二预定值。

10.根据权利要求9所述的基于增强现实技术实现互动的系统，其特征在于，所述第二预定值根据所述第一终端的倾斜角度自动调整和/或根据所述第一终端的摄像头参数自动调整。

11.根据权利要求8至10任意一项所述的基于增强现实技术实现互动的系统，其特征在于，所述显示模块包括：

相对位置对应单元，根据所述第二终端与所述第一终端的距离与方位关系将所述第二终端的信息显示在所述图像上并使图像上的第二终端的信息的相对位置关系与第二终端的相对位置关系一致。

12.根据权利要求11所述的基于增强现实技术实现互动的系统，其特征在于，所述显示模块还包括：

叠加单元，将所述第二终端的信息以层的方式叠加在所述真实场景的图像上。