CN103297544B - 一种基于增强现实的即时通讯应用方法 - Google Patents

Abstract

本发明公开了一种基于视频的社交通讯交互模式和技术实现途径。该发明采用视频动态跟踪技术、图像识别技术、定位技术以及云端匹配技术，实现在同一个即时通讯系统内基于地理位置、图像分析和触屏点击发现好友、建立会话等功能。该发明可独立构建新型的基于位置的即时通讯系统，也可适应具有开放接口的第三方即时通讯工具如微信等。该发明通过简化基于传感器的社交手段，可将现有智能移动终端的陌生社交范围再拓展，由于其基于视频和地理属性，可以与AR增强现实应用配合，创造广告营销空间，从而创造视频增值盈利服务。

Description

一种基于增强现实的即时通讯应用方法

技术领域

本发明涉及社交网络领域，特别地说，是一种基于增强现实的即时通讯应用方法。

背景技术

社交是人类基本需求，目前，即时通讯已经成为智能终端的基本应用，其应用模式均是从PC互联网发展而来，应用界面以及功能都是PC上即时工具的延续，移动终端因其传感器丰富比PC更有实时性、交互性，但是尚无基于移动终端多传感器融合技术与云端的实时匹配用于创新的即时通讯社交需求。

目前智能终端即时通讯的主要应用于熟人社交领域，陌生交友领域主要依靠地理位置的发现，鉴于目前LBS的定位精度不高，没有一款即时通讯工具是针对近距离即时社交需要。

基于以上情况，在现有即时通讯工具开放平台或完全自主即时通讯系统基础上，可以将本专利作为近距离可视范围增强现实社交功能，实现50米内基于视觉的搜索、发现，将会是目前移动社交和即时通讯的有益补充。

移动终端增强现实应用，目前主要集中在google、nokia等公司的创新应用，如nokia的增强现实实景导航应用，在视频可视化范围内可以进行线下导航、导购、广告等业务，以及google glass增强现实应用产品。

鉴于移动终端的传感器不断增强以及创新社交需求空间巨大，基于视频应用场景将成为移动终端的发展方向，因此，本发明基于市场需求，结合移动终端多传感器融合应用、视频动态处理与跟踪、地理位置应用以及云端快速匹配算法，解决移动社交中的快速发现、主动沟通的问题。

发明内容

本发明的目的在于提供一种基于视频的增强社交通讯交互解决方案和技术实现途径。为了实现上述目的，本发明采用了下述技术方案：

一种基于增强现实的即时通讯应用方法，通过移动智能终端的传感器信息，实现云端实时匹配视频内点击信息，在发起邀请用户与被邀请用户之间建立起会话；包括：

步骤（101）：发起邀请用户激活应用并打开移动智能终端的摄像头，寻找被邀请用户；

步骤（102）：发起邀请用户在摄像头的屏幕场景内点击寻找到的被邀请用户；

步骤（103）：发起邀请用户的屏幕触摸位置信息和运动过程数据一起上传至云端服务器；所述运动过程数据包括：用户的ID、当前位置坐标、运动方向、运动速度、加速度以及时间戳；

步骤（201）：被邀请用户的当前位置信息也不断地以间断性方式上传至云端服务器；该信息包括：用户的ID、当前位置坐标、运动方向、运动速度、加速度以及时间戳；

步骤（301）：云端服务器实时地存储和对所有上传的用户信息进行一种基于用户位置的算法匹配；

步骤（302）：匹配成功后，云端服务器向被邀请用户发出接受邀请的提示信息；

步骤（303）：被邀请用户收到提示信息，接受邀请；

步骤（304）：云端服务器在被邀请用户与发起邀请用户之间建立即时通信，包括视频、语音、文字、图片。

作为本发明的一种优选，所述步骤（301）中的算法匹配，首先是基于距离的远近位置将所有的在线用户进行分类排序，然后对视频内的屏幕点击位置进行算法处理，计算出一个角度和距离范围，最后利用时间戳进行准确地匹配。

作为本发明的一种优选，所述计算出一个角度和距离范围包括：根据摄像头屏幕场景内的点击位置和移动智能终端摄像头的朝向和地理信息，按照角度、比例和空间几何关系，判断出被邀请用户所处位置的区域大概范围；所述范围的参数为圆形区域，可根据发起邀请用户的摄像头的运动参数，在云端服务器实时运算，并且区域保持动态变化。

作为本发明的一种优选，所述实时运算为：服务端基于每个用户的位置数据，计算与发起邀请用户地理位置在100m范围之内的每两个用户与拍摄用户之间的夹角，并保存于服务端角度数据库表中；再通过发起邀请用户移动智能终端上的屏幕触摸位置，计算一份每个屏幕上的每两个用户与拍摄用户之间的夹角，也上传至服务端数据库表中；服务端对两个角度数据库表中的同一时间的角度进行等比例匹配，精准定位出被邀请用户。

作为本发明的一种优选，当两个用户与拍摄用户之间的夹角小于8度时，为减少定位误差，可启用运动方向数据作为辅助定位的方法；具体为：在服务端设两个矢量方向数据库表，其中一个数据库表是由用户移动智能终端传感器的运动方向数据上传至服务端生成；另一个由移动智能终端屏幕上的运动方向与拍摄用户的角度变化跟踪生成，通过该屏幕宽高和触点位置的参数及变化，可计算出角度的变化；服务端对两个运动方向数据库表中的同一时间的信息进行匹配，精准定位出被邀请用户。

作为本发明的一种优选，所述步骤（102）的屏幕场景界面中，至少有一页界面是用来提示附近活动用户的位置即时动态的；当用户切换至摄像头视频界面时，所述界面还能够根据用户移动智能终端的指向方向，以增强现实的方式标示附近用户的位置及动态。

作为本发明的一种优选，所述步骤（102）中的点击为单次触发，是预先在视频动态跟踪系统中设置了一个间隔时长，让间隔时长确保云端服务器有足够的时间向所有分类排序在此空间区域内的在线用户分发交互数据。

作为本发明的一种优选，所述移动智能终端的传感器至少包括摄像 头、GPS和方向传感器。

作为本发明的一种优选，所述移动智能终端的传感器还包括：

SENSOR_TYPE_ACCELEROMETER1//加速度

SENSOR_TYPE_MAGNETIC_FIELD2//磁力

SENSOR_TYPE_ROTATION_VECTOR3//旋转矢量

SENSOR_TYPE_GYROSCOPE4//陀螺仪

SENSOR_TYPE_LIGHT5//光线感应

SENSOR_TYPE_PRESSURE6//压力

SENSOR_TYPE_TEMPERATURE7//温度

SENSOR_TYPE_PROXIMITY8//接近

SENSOR_TYPE_GRAVITY9//重力

等等；所述加速度传感器和陀螺仪传感器是用来与所述摄像头、GPS、方向传感器共同实时感应当前六自由度空间的数据，该数据可与视频内的屏幕触摸位置共同构架用户附近的几何空间。

作为本发明的一种优选，所述移动智能终端为手机或平板电脑；所用系统为安卓或苹果等，所述应用基于的即时通讯系统为腾讯QQ、阿里旺旺或微信等。

与现有技术相比，本发明具有以下特点和优点：

本发明采用视频动态跟踪技术、图像识别技术、定位技术以及云端匹配技术实现在同一个即时通讯系统内基于地理位置、图像分析和触屏点击发现好友、建立会话等功能；系统同时可提供推送增值信息的功能和服务。

本发明基于opencv库的视频动态跟踪技术、智能匹配技术以及高效的云端匹配技术，不仅简化基于传感器的社交手段，可将现有智能移动终端的陌生社交范围再拓展，还是对现有移动即时通讯工具补充，创造增强现实在移动即时通讯领域新的增值方向。

目前增强现实的应用主要在科普互动展览、品牌线下营销，还不能将增强现实在不增加硬件成本的前提下在海量的智能终端上广泛推广应用。本发明弥补了增强现实在移动社交APP领域广告价值难以突破的 现状，提供了更广阔的移动和现实结合的广告增值空间，将对移动即时通讯应用运营商、广告投放者提供更多增值收益。

该发明可独立构建新型的基于位置的即时通讯系统，也可适应具有开放接口的第三方即时通讯工具如微信等。其基于视频和地理属性，可以与AR增强现实应用配合，创造广告营销空间，从而创造视频增值盈利服务。

附图说明

图1是本发明基于增强现实的即时通讯应用方法的流程示意图；

图2是本发明中的屏幕等分示意图；

图3是本发明中的屏幕用户角度示意图；

图4是是本发明的应用空间模型图。

具体实施方式

以下结合附图和具体实施方式对本发明作进一步的详细说明。

本系统提供移动终端APP应用或移动SDK两种模式，SDK模式即可以作为成熟移动即时通讯应用（IM）的功能二次开发包或插件，两种模式原理相通，本发明的服务端功能和部署不受影响。

开启本发明SDK即增强现实型即时通讯系统（ARIM）界面切换至终端全屏视频界面，发现陌生人、发起社交均以视频的叠加图层，即增强现实形式出现。

本发明的服务端部署在互联网上，客户端要求网络联通状态下方可运行，并且要求移动终端能够有较高带宽（大于20k）连接至服务端。

服务端实时接收注册和激活本发明功能的APP或SDK发来的用户信息，包括：ID号，终端位置、状态信息等；服务端实时规划在线用户的按距离的分组；服务端实时唤起分组内非发起邀请的用户发送个人终端信息；服务端为发起邀请和被邀请的用户建立通讯联系。

接入IM系统时，本发明的SDK通过第三方IM的开放平台获取好友关系，也可以基于自主IM平台获取好友关系。好友关系在服务端为每个人建立了关系列表，并且周期性获取和更新好友关系，如每次激活 本发明SDK插件时与服务端好友关系列表匹配一次的方式，确保在近距离社交时将好友不会列为陌生人。

移动终端传感器标准配置包括：

SENSOR_TYPE_ACCELEROMETER1//加速度

SENSOR_TYPE_MAGNETIC_FIELD2//磁力

SENSOR_TYPE_ROTATION_VECTOR3//旋转矢量

SENSOR_TYPE_GYROSCOPE4//陀螺仪

SENSOR_TYPE_LIGHT5//光线感应

SENSOR_TYPE_PRESSURE6//压力

SENSOR_TYPE_TEMPERATURE7//温度

SENSOR_TYPE_PROXIMITY8//接近

SENSOR_TYPE_GRAVITY9//重力

其中加速度、方向、陀螺仪与GPS位置、移动终端摄像头实时视频内的触点位置，为用户构架六自由度数据，构架用户附近起几何空间，这些参数在服务端的实时快速匹配，按下述步骤即形成了发现算法。

但大部分廉价智能终端对部分传感器进行了裁剪，最基本的不能少于GPS和方向两个主要传感器。本SDK首次启动时，获取该设备的传感器列表，如缺少GPS和方向两个传感器直接提示该设备不能使用该发明的插件。如传感器具备但处于禁止状态，则在每次启动该插件时提示，请用户打开关键传感器设备，一般指GPS。

用户终端信息包括：

id//用户在ARIM服务端的唯一编号，SDK时，编号前附加APP名称；

curtime//当前时间； 

scrwidth//屏幕宽；

scrheight//屏幕高；

btouch//是否点击屏幕；

touchx//触点x；

touchy//触点y；

lng    //经度；

lat    //纬度；

x     //WGS84换算平面直角坐标；

y     //WGS84换算平面直角坐标；

z     //WGS84换算平面直角坐标；

deltax  //x轴加速度，移动终端水平放置时，x轴默认为0，y轴默认0，z轴默认9.81；

deltay     //y轴加速度，移动终端向上倾斜运动，y轴为负值；

deltaz     //z轴加速度，移动终端朝下放在桌面上，z轴为-9.81；

angcx     //x轴角加速度；

angcy     //y轴角加速度；

angcz     //z轴角加速度；

h     //yaw水平时，磁北和y轴夹角；

p     //pitch x轴和水平夹角；

r     //roll y轴和水平的夹角；

利用上述数据可以计算移动终端的：

g     //重力传感器，GV-sensor；

la    //线性加速度，LA-sensor；

rv    //旋转矢量传感器，RV-sensor。

发起邀请的用户打开SDK，将摄像头的下方的中间点作为用户的位置参考点。

手机摄像头一般焦距4mm，由于手机摄像头感光尺寸小于35mm胶片，因此其视角相当于35mm相机镜头的30mm。30mm属于广角镜头，大部分景物可以收于摄像头内，有利于本专利的实施。

由于市面大部分手机摄像头像素超过了800万以上，考虑到手机摄像头的孔径小，经大量测试为提高算法效率，在30mm焦距下成像区域，设定手机纵向时相当于45度成像范围；手机横向时相当于60度成像范围，通过手机重力传感器获取手机纵向或者横向。

根据手机方向和重力加速度传感器可以计算出手机的朝向，朝向包括两组数据：一组是与重力方向的角度，也即仰角角度；第二组是以正（磁）北为起始的水平转向角度，专利附图为手机摄像头朝向垂直与重力方向。

手机GPS的高程精度较低，一般在基站定位辅助下，可以假设在 30m。在此精度下，一般手机摄像头的拍摄范围中，拍摄用户和视线范围用户的高程差可以忽略。

基于以上假设和参数设置，可以将发起用户的手机摄像头所拍视频划分几个区域。当手机摄像头纵向时，可将手机纵向划分4个等分区域，每个等分区域相当于视角的不同距离。距离的确定依赖于当前视角下，触点位置的人物所占摄像头内的比例。经实验我们确定了一个参数范围，如图2所示，纵向时，通过视频动态跟踪当前角色，能够占两个区域时距离为10m以内；占一个区域时距离为20m；小于1个区域的二分之一时距离为50m。50m以上如无多个用户出现在同一视频场景内，仍可分辨。

在多人出现在同一屏幕，且直线距离小于5m时，如图3所示，为提高识别精度，基于服务端每个用户的位置数据，计算地理位置在100m以内每两个用户与拍摄用户的夹角，保存于服务端角度数据库表中；通过屏幕上的位置，也可以计算一份每个屏幕上的每两个用户与拍摄用户的夹角，并上传至服务端数据库表。将服务端两个角度数据库表中同一时间的角度进行等比例匹配，若匹配成功，即可对100m以内的大部分用户精准定位。

但对于50m以内位置直线距离小于5m（20m以内直线距离小于2m，10m小于1m）的用户角度，一般这个角度是小于8度；由于定位精度问题，数据库中的角度信息难以分辨。因此为提高上述用户的精确定位，服务端设两个矢量方向数据库表，如图4所示，其中一个数据库表是由用户移动终端传感器的运动方向数据上传至服务端生成；另一个由屏幕上的运动方向与拍摄用户的角度变化跟踪生成。通过移动终端设备的屏幕宽高和触点位置的参数及变化，可计算出角度变化。将服务端两个运动方向数据库表中同一时间信息进行匹配，若匹配成功，即可对100m以内的距离位置小于10m的等比例位置用户精准定位。采用此算法可以实现手指触摸终端屏幕的通常分辨间距5mm情况下，50米内分辨前后间距5m，左右间距2m的用户。

本发明的流程示意如图1中所示：

步骤（101）：发起邀请用户激活应用并打开移动智能终端的摄像头， 寻找被邀请用户；

步骤（102）：发起邀请用户在摄像头的屏幕场景内点击寻找到的被邀请用户；

步骤（103）：发起邀请用户的屏幕触摸位置信息和运动过程数据一起上传至云端服务器；所述运动过程数据包括：用户的ID、当前位置坐标、运动方向、运动速度、加速度以及时间戳；

步骤（201）：被邀请用户的当前位置信息也不断地以间断性方式上传至云端服务器；该信息包括：用户的ID、当前位置坐标、运动方向、运动速度、加速度以及时间戳；

步骤（301）：云端服务器实时地存储和对所有上传的用户信息进行一种基于用户位置的算法匹配；

步骤（302）：匹配成功后，云端服务器向被邀请用户发出接受邀请的提示信息；

步骤（303）：被邀请用户收到提示信息，接受邀请；

步骤（304）：云端服务器在被邀请用户与发起邀请用户之间建立即时通信，包括视频、语音、文字、图片等。

最后，需要说明的是，本说明书中所描述的具体实施例，其流程、技术内容所取名称等可以不同。凡依本发明专利构思所述的构造、特征及原理所做的等效或简单变化，均包括于本发明专利的保护范围内。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (9)

1.一种基于增强现实的即时通讯应用方法，其特征在于，通过移动智能终端的传感器信息，实现云端实时匹配视频内点击信息，在发起邀请用户与被邀请用户之间建立起会话；包括：

步骤(101)：发起邀请用户激活应用并打开移动智能终端的摄像头，寻找被邀请用户；

步骤(102)：发起邀请用户在摄像头的屏幕场景内点击寻找到的被邀请用户；

步骤(103)：发起邀请用户的屏幕触摸位置信息和运动过程数据一起上传至云端服务器；所述运动过程数据包括：用户的ID、当前位置坐标、运动方向、运动速度、加速度以及时间戳；

步骤(201)：被邀请用户的当前位置信息也不断地以间断性方式上传至云端服务器；该信息包括：用户的ID、当前位置坐标、运动方向、运动速度、加速度以及时间戳；

步骤(301)：云端服务器实时地存储和对所有上传的用户信息进行一种基于用户位置的算法匹配；所述算法匹配，首先是基于距离的远近位置将所有的在线用户进行分类排序，然后对视频内的屏幕点击位置进行算法处理，计算出一个角度和距离范围，最后利用时间戳进行准确地匹配；

步骤(302)：匹配成功后，云端服务器向被邀请用户发出接受邀请的提示信息；

步骤(303)：被邀请用户收到提示信息，接受邀请；

步骤(304)：云端服务器在被邀请用户与发起邀请用户之间建立即时通信，包括视频、语音、文字、图片。

2.根据权利要求1所述的基于增强现实的即时通讯应用方法，其特征在于，所述计算出一个角度和距离范围包括：根据摄像头屏幕场景内的点击位置和移动智能终端摄像头的朝向和地理信息，按照角度、比例和空间几何关系，判断出被邀请用户所处位置的区域大概范围；所述范围的参数为圆形区域，可根据发起邀请用户的摄像头的运动参数，在云端服务器实时运算，并且区域保持动态变化。

3.根据权利要求2所述的基于增强现实的即时通讯应用方法，其特征在于，所述实时运算为：服务端基于每个用户的位置数据，计算与发起邀请用户地理位置在100m范围之内的每两个用户与拍摄用户之间的夹角，并保存于服务端角度数据库表中；再通过发起邀请用户移动智能终端上的屏幕触摸位置，计算一份每个屏幕上的每两个用户与拍摄用户之间的夹角，也上传至服务端数据库表中；服务端对两个角度数据库表中的同一时间的角度进行等比例匹配，精准定位出被邀请用户。

4.根据权利要求3所述的基于增强现实的即时通讯应用方法，其特征在于，当两个用户与拍摄用户之间的夹角小于8度时，为减少定位误差，可启用运动方向数据作为辅助定位的方法；具体为：在服务端设两个矢量方向数据库表，其中一个数据库表是由用户移动智能终端传感器的运动方向数据上传至服务端生成；另一个由移动智能终端屏幕上的运动方向与拍摄用户的角度变化跟踪生成，通过该屏幕宽高和触点位置的参数及变化，可计算出角度的变化；服务端对两个运动方向数据库表中的同一时间的信息进行匹配，精准定位出被邀请用户。

5.根据权利要求1至4中任一项所述的基于增强现实的即时通讯应用方法，其特征在于，所述步骤(102)的屏幕场景界面中，至少有一页界面是用来提示附近活动用户的位置即时动态的；当用户切换至摄像头视频界面时，所述界面还能够根据用户移动智能终端的指向方向，以增强现实的方式标示附近用户的位置及动态。

6.根据权利要求1所述的基于增强现实的即时通讯应用方法，其特征在于，所述步骤(102)中的点击为单次触发，是预先在视频动态跟踪系统中设置了一个间隔时长，让间隔时长确保云端服务器有足够的时间向所有分类排序在此空间区域内的在线用户分发交互数据。

7.根据权利要求1所述的基于增强现实的即时通讯应用方法，其特征在于，所述移动智能终端的传感器至少包括摄像头、GPS和方向传感器。

8.根据权利要求7所述的基于增强现实的即时通讯应用方法，其特征在于，所述移动智能终端的传感器还包括：加速度、磁力、旋转矢量、陀螺仪、光线感应、压力、温度、接近、重力的传感器；所述加速度传感器和陀螺仪传感器是用来与所述摄像头、GPS、方向传感器共同实时感应当前六自由度空间的数据，该数据可与视频内的屏幕触摸位置共同构架用户附近的几何空间。

9.根据权利要求1所述的基于增强现实的即时通讯应用方法，其特征在于，所述移动智能终端为手机或平板电脑；所述应用基于的即时通讯系统为腾讯QQ、阿里旺旺或微信。