CN107979418A - 基于手机闪光灯确定其客户端对应id的AR方法和系统 - Google Patents

Abstract

本发明涉及一种基于手机闪光灯确定其客户端对应id的AR方法和系统。其特征：至少包括两个客户端id1手机、客户端id2手机，客户端id2手机将标识id2调制在其闪光灯光波中向外发送，客户端id1手机通过其摄像头获取闪光灯光波信号解调后得到标识id2，由客户端id1手机在其屏幕中确定客户端id2手机的场景位置并上报服务器。有益效果是：解决虚拟世界中客户端id和真实世界中手机及其持有人的对应关系，在基于手机物理位置的客户端游戏中确定手机坐标，或至少是要获取初始化的手机物理位置，游戏后期可以基于陀螺仪或加速度传感器实现客户端id手机的坐标位置定位，或基于图像特征点识别实现客户端id手机的坐标位置定位。

Description

基于手机闪光灯确定其客户端对应id的AR方法和系统

技术领域

本发明涉及客户端服务器模式（C/S结构或P2P结构）的技术领域，特别是一种基于手机闪光灯确定其客户端对应id的AR方法和系统。

背景技术

增强现实技术（Augmented Reality，简称 AR），是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。

社交软件如即时通讯 QQ，微信等应用场景中，好友仅限于手机硬件屏幕中以标识（昵称、名字等）展现，标识id是唯一的，现实生活中好友也未必谋面，也就是说好友也可能是虚拟世界的好友，如果社交平台建立关系的方式是开放的，即任何标识id不需要通过主动认证均可建立关系，这样虚拟世界的id就无法在现实世界中确定其客户端硬件或硬件持有人的对应关系，而随着AR的应用，如AR游戏等，需要确定虚拟的标识id和现实的客户端硬件或硬件持有人之间的对应关系。

发明内容

本发明的目的是提供一种基于手机闪光灯确定其客户端对应id的AR方法和系统，具体说，通过客户端id1对应手机摄像头获取包含其它客户端idx对应手机及持有人的场景，客户端idx对应手机的闪光灯输出包含其标识信息的闪光，客户端id1对应手机解析闪光中包含的idx标识信息确定对应的手机及持有人，可在客户端id1中标注，将场景中客户端idx对应的手机相对位置上传服务器，服务器根据场景中客户端idx的确定其对应手机的位置实现其它应用服务，如识别定位、识别跟踪后叠加图像（如目前的AR相机）、游戏等。

客户端id对应手机记为客户端id手机。

本发明的技术方案是：

一种基于手机闪光灯确定其客户端对应id的AR方法，包括客户端和服务器，其特征在于：至少包括两个客户端id1手机、客户端id2手机，客户端id2手机将标识id2调制在其闪光灯光波中向外发送，客户端id1手机通过其摄像头获取闪光灯光波信号解调后得到标识id2，由客户端id1手机在其屏幕中确定客户端id2手机的场景位置并上报服务器。

所述的基于手机闪光灯确定其客户端对应id的AR方法，其特征是：客户端id2手机将标识id2以调幅方式调制在其闪光灯光波中向外发送。

或，客户端id2手机将标识id2以调频方式调制在其闪光灯光波中向外发送。

或，客户端id2手机将标识id2以f1\f2双频方式调制在其闪光灯光波中向外发送，f1代表1，f2代表0。

进一步，30Hz≥f1＞0，30Hz≥f2＞0。

再进一步，f1=30Hz，f2=20Hz。

所述的基于手机闪光灯确定其客户端对应id的AR方法，其特征还在于，包括如下步骤：

(1)客户端id2、……、idn手机将各自id标识信息通过各自的闪光灯调制在闪光灯光波中向外发送；

(2)客户端id1手机通过其摄像头获取场景视频建立X、Y坐标，并对客户端id2、……、idn手机各闪光灯图像像素随时间的变化进行解调，获得对应的id2、……、idn标识，将标识及对应坐标上报服务器；

图像像素随时间的变化进行解调：获取一定时间段内各帧像素亮度值变化参数，根据调制方式进行幅度解调、或频率解调；

(3)服务器建立X、Y坐标，服务器获取id2、……、idn标识和对应坐标后建立各手机物理位置图。

或，

所述的基于手机闪光灯确定其客户端对应id的AR方法，其特征在于，包括如下步骤：

(1)客户端id2、……、idn手机将各自id标识信息通过各自的闪光灯调制在闪光灯光波中向外发送；

(2)客户端id1手机通过其摄像头获取场景视频并上报服务器；

(3)服务器建立X、Y坐标，服务器获取客户端id1手机上传的场景视频后对客户端id2、……、idn手机各闪光灯图像像素随时间的变化进行解调，获得对应的id2、……、idn标识，建立各手机物理位置图并提供给客户端；

图像像素随时间的变化进行解调：获取一定时间段内各帧像素亮度值变化参数，根据调制方式进行幅度解调、或频率解调；

进一步，(4)服务器提供基于跟踪某客户端的应用，并在该客户端的手机上执行应用效果。

一种基于手机闪光灯确定其客户端对应id的AR系统，包括客户端和服务器，其特征是：

客户端包括：应用服务系统客户端，编码单元，调制单元，像素解调单元，应用服务系统客户端提供手机的某种应用，编码单元负责将客户端id转换为可传送的传送代码，调制单元负责对传送代码进行调制后加载在手机闪光灯的光波中，像素解调单元负责解调来自手机摄像头的其它手机闪光灯闪光的视频图像；

服务器包括：应用服务系统，客户端id手机坐标，客户端跟踪单元，应用服务系统即对应于客户端某种应用的系统，客户端id手机坐标即服务器获取的客户端id和手机一一对应的场景坐标，客户端跟踪单元实现对某客户端id手机的移动跟踪。

或，

一种基于手机闪光灯确定其客户端对应id的AR系统，包括客户端和服务器，其特征是：

客户端包括：应用服务系统客户端，编码单元，调制单元，应用服务系统客户端提供手机的某种应用，编码单元负责将客户端id转换为可传送的传送代码，调制单元负责对传送代码进行调制后加载在手机闪光灯的光波中；

服务器包括：应用服务系统，客户端id手机坐标，客户端跟踪单元，视频像素解调单元，应用服务系统即对应于客户端某种应用的系统，客户端id手机坐标即服务器获取的客户端id和手机一一对应的场景坐标，客户端跟踪单元实现对某客户端id手机的移动跟踪，视频像素解调单元负责解调来自客户端场景视频中手机闪光灯闪光的视频图像中加载的id标识信息。

所述的基于手机闪光灯确定其客户端对应id的AR系统，其特征是：应用服务系统是即时通讯系统，对应的客户端是即时通讯客户端。

任何一个系统或平台（C/S结构或P2P结构）都必需用id标识其注册（包括匿名登记注册）的客户端，如即时通讯QQ平台以QQ号标识其客户端，又如导航软件高德导航系统可以用匿名登录号标识其客户端，本发明的客户端软件可以是自主服务平台，所属客户端拥有唯一id标识。

或本发明通过第三方服务（API），或嵌入IM平台，基于第三方服务采用第三方服务号码作为客户端id标识 。

另外，本发明中的id也可以泛指服务器在该场景中临时派发的唯一代码（用于识别的代码），而该代码关联对应的客户端号。

另外考虑到场景应用是在一个小范围的地理位置，所以利用手机GPS或LBS可以增加地理位置约束条件。

本发明的有益效果是：解决虚拟世界中客户端id和真实世界中手机及其持有人的对应关系，在基于手机物理位置的客户端游戏中确定手机坐标，或至少是要获取初始化的手机物理位置，游戏后期可以基于陀螺仪或加速度传感器实现客户端id手机的坐标位置定位，或基于图像特征点识别实现客户端id手机的坐标位置定位。

附图说明

图1为本发明场景示意图。

图2为在服务器中建立的客户端id和其手机物理位置一一对应的X、Y坐标。

图3为本发明流程图。

图4提供一种闪光灯脉宽调制方式。

图5提供一种闪光灯亮度调制方式。

图6为调制信号的信号图。

图7提供一种闪光灯双频调制方式。

图8为闪光灯图像像素解调原理图。

图9为本发明系统配置图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

图1为本发明场景示意图，各客户端拥有唯一id标识，101为真实场景，通过手机拍照建立场景坐标X、Y（参照摄像装置通过感光单元阵列形成的坐标），假设真实场景中（选取5个客户端手机），客户端id2手机（坐标为（2,3）），客户端id8手机（坐标为（1,2）），客户端id5手机（坐标为（2,2）），客户端id12手机（坐标为（3,2）），客户端id3手机（坐标为（2,1）），客户端idx手机（坐标为（m,n）），客户端id2手机将标识id2调制在其闪光灯光波中向外发送，客户端id8手机将标识id8调制在其闪光灯光波中向外发送，客户端id5手机将标识id5调制在其闪光灯光波中向外发送，客户端id12手机将标识id12调制在其闪光灯光波中向外发送，客户端id3手机将标识id3调制在其闪光灯光波中向外发送，客户端idx手机将标识idx调制在其闪光灯光波中向外发送，102为客户端id1手机，客户端id1手机通过其摄像头获取场景图像建立X、Y坐标（参照摄像装置通过感光单元阵列形成的坐标），至少通过一个调制周期对各闪光灯的图像像素随时间的变化进行解调，获得和物理位置对应的id2、id8、id5、id12、id3、idn标识，将标识及对应坐标上报服务器。

图像像素随时间的变化进行解调：获取一定时间段（至少一个调制周期）内各帧像素亮度值变化参数，根据调制方式进行幅度解调、或频率解调。

图2为在服务器中建立的客户端id和其手机物理位置一一对应的X、Y坐标，201为服务器。

如提供一种场景效果：由客户端id1拍摄包含客户端id2、id3、id5、id8、id12手机的场景，在客户端id1手机的屏幕中对客户端id2、id3、id5、id8、id12手机的图像进行标注及跟踪，这样虚拟的客户端id2、id3、id5、id8、id12就和真实的对应手机实体进行了标注确定。

图3为本发明流程图，同时参照图1和图2，假设客户端id1手机的物理位置坐标为（x1,y1）、客户端id2手机的物理位置坐标为（2,3）、客户端id3手机的物理位置坐标为（2,1）、客户端idn手机的物理位置坐标为（xm,yn），其步骤包括：

(1)客户端id2、id3、……、idn手机将各自id标识信息生成调制码通过各自的闪光灯调制在闪光灯光波中向外发送；

(2)客户端id1手机通过其摄像头获取场景视频建立X、Y坐标，并对客户端id2、id3、……、idn手机各闪光灯图像像素随时间的变化进行解调，获得对应的id2、id3、……、idn标识，将标识及对应坐标上传服务器；

图像像素随时间的变化进行解调：获取一定时间段内各帧像素亮度值变化参数，根据调制方式进行幅度解调、或频率解调；

(3)服务器建立X、Y坐标，服务器获取id2、……、idn标识及对应坐标后建立各手机物理位置图。

进一步，(4)服务器提供基于跟踪某客户端的应用，并在该客户端的手机上执行应用效果；

现有的AR相机采用图像识别跟踪，比如识别人脸后佩戴头饰，如果有数个人脸均在摄像场景中，图像识别会获得多个跟踪对象，这样所有头像均统一实施佩戴头饰而不能区分某个id的客户端，如果采用本发明方案：由于服务器已经建立各客户端id手机物理位置x、y坐标，这样可以基于跟踪特定客户端id2手机的应用，在客户端id2实现基于跟踪客户端id2手机的应用显示，如实现只有客户端id2手机的持有人佩戴头饰。

图3流程图中，闪光灯的图像的像素解调单元位于客户端，这样的优势是解调速度快，所述像素解调单元也可以位于服务器端，这样，客户端直接将所摄取的视频上传至服务器，由服务器将获取的闪光灯视频的像素进行解调获得客户端id标识并反馈至客户端。

图4提供一种闪光灯脉宽调制方式，t1时间大于t2时间，由t1脉冲组成二进制0，由t2脉冲组成二进制1，如发送1234的id标识，二进制码为：10011010010，将10011010010进行脉宽编码由手机闪光灯发送出去。

图5提供一种闪光灯亮度调制方式，这种方式是调幅的方式，I表示脉冲值，如输入电流，或光强，i1脉冲代表0，i1脉冲的周期为t1，i2脉冲代表1，i2脉冲的周期为t2，另外脉冲波形可以是其它形式，如正玄波、异形波。

图6为调制信号的信号图。调制信号有信号头、信号内容、信号尾组成，调制信号周期性地重复发送，信号头的作用是提供给解调单元进行信号识别，识别后可以进行信息内容传送，信号尾的作用是告诉解调单元信息内容传送结束。进一步，调制信号采用TCP/IP协议方式标识调制光源，同时封装信号包可以实现寻址。

图7提供一种闪光灯双频调制方式，目前手机摄像头的帧刷新频率一般小于60Hz，根据通讯理论，其传送的最大频率信号是30Hz，所以选取20Hz、30Hz为例，20Hz表达0，30Hz表达1，701表示20Hz闪光的信号图，f=20Hz=1/t1，702表示30Hz闪光的信号图，f=30Hz=1/t2，如发送1234的id标识，二进制码为：10011010010，将10011010010进行双频编码由手机闪光灯发送出去，即30Hz20H z20 Hz 30 Hz 30 Hz 20 Hz 30 Hz 20 Hz 20 Hz 30 Hz 20Hz。当然本发明也可以进一步采用多频率方式进一步加快信息传送。当然本发明也可以再进一步采用多颜色光方式进一步加快信息传送。

图8为闪光灯图像像素解调原理图，手机摄像头获取场景视频图像，包括闪光灯视频图像，以图中701闪光灯的像素的信号图为例（信息字为0），摄像头获取闪光灯的调制码图像后以801频率（即手机摄像头的帧频）对信号701进行采样，采样频率即801的频率大于等于摄像头拍摄图像的闪烁频率，802为采样信号获得的闪光灯的像素信号包络图，802信号通过低通滤波获得闪光灯的像素的调制信号803，调制信号803通过鉴频解调获得信息字0。

图9为本发明系统配置图，包括客户端和服务器，客户端包括：应用服务系统客户端，编码单元，调制单元，像素解调单元，应用服务系统客户端提供手机的某种应用，如即时通讯客户端，编码单元负责将客户端id转换为可传送的传送代码，如转换为二进制码，调制单元负责对传送代码进行调制后加载在手机闪光灯的光波中，像素解调单元负责解调来自手机摄像头的其它手机闪光灯闪光的视频图像；服务器包括：应用服务系统，客户端id手机坐标，客户端跟踪单元，或视频像素解调单元，应用服务系统即对应于客户端某种应用的系统，如即时通讯系统，客户端id手机坐标即服务器获取的客户端id和手机一一对应的场景坐标，客户端跟踪单元实现对某客户端id手机的移动跟踪，视频像素解调单元负责解调来自客户端场景视频中手机闪光灯闪光的视频图像中加载的id标识信息。

上述应用模式及规则均不限定本发明的方法及系统的基本特征，并非限定本发明的保护范围，如除本发明提供的光波调制解调方式外还可以采用其他任何光波调制解调方法，又如本发明中的id也可以泛指服务器在该场景中临时派发的唯一代码，凡在本发明的精神和原则之内，作出的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于手机闪光灯确定其客户端对应id的AR方法，包括客户端和服务器，其特征在于：至少包括两个客户端id1手机、客户端id2手机，客户端id2手机将标识id2调制在其闪光灯光波中向外发送，客户端id1手机通过其摄像头获取闪光灯光波信号解调后得到标识id2，由客户端id1手机在其屏幕中确定客户端id2手机的场景位置并上报服务器。

2.根据权利要求1所述的基于手机闪光灯确定其客户端对应id的AR方法，其特征是：客户端id2手机将标识id2以调幅方式调制在其闪光灯光波中向外发送。

3.根据权利要求1所述的基于手机闪光灯确定其客户端对应id的AR方法，其特征是：客户端id2手机将标识id2以调频方式调制在其闪光灯光波中向外发送。

4.根据权利要求1所述的基于手机闪光灯确定其客户端对应id的AR方法，其特征是：客户端id2手机将标识id2以f1\f2双频方式调制在其闪光灯光波中向外发送，f1代表1，f2代表0。

5.根据权利要求4所述的基于手机闪光灯确定其客户端对应id的AR方法，其特征是：30Hz≥f1＞0，30Hz≥f2＞0。

6.根据权利要求1或2或3或4或5所述的基于手机闪光灯确定其客户端对应id的AR方法，其特征还在于，包括如下步骤：

(1)客户端id2、……、idn手机将各自id标识信息通过各自的闪光灯调制在闪光灯光波中向外发送；

(2)客户端id1手机通过其摄像头获取场景视频建立X、Y坐标，并对客户端id2、……、idn手机各闪光灯图像像素随时间的变化进行解调，获得对应的id2、……、idn标识，将标识及对应坐标上报服务器；

(3)服务器建立X、Y坐标，服务器获取id2、……、idn标识后建立各手机物理位置图。

7.根据权利要求6所述的基于手机闪光灯确定其客户端对应id的AR方法，其特征还在于，还包括步骤(4)：服务器提供基于跟踪客户端id的应用，并在该客户端的手机上执行应用效果。

8.根据权利要求1或2或3或4或5所述的基于手机闪光灯确定其客户端对应id的AR方法，其特征还在于，包括如下步骤：

(1)客户端id2、……、idn手机将各自id标识信息通过各自的闪光灯调制在闪光灯光波中向外发送；

(2)客户端id1手机通过其摄像头获取场景视频并上报服务器；

(3)服务器建立X、Y坐标，服务器获取客户端id1手机上传的场景视频后对客户端id2、……、idn手机各闪光灯图像像素随时间的变化进行解调，获得对应的id2、……、idn标识，建立各手机物理位置图并提供给客户端。

9.根据权利要求8所述的基于手机闪光灯确定其客户端对应id的AR方法，其特征还在于，还包括步骤(4)：服务器提供基于跟踪客户端id的应用，并在该客户端的手机上执行应用效果。

10.一种基于手机闪光灯确定其客户端对应id的AR系统，包括客户端和服务器，其特征是：

客户端包括：应用服务系统客户端，编码单元，调制单元，像素解调单元，应用服务系统客户端提供手机的某种应用，编码单元负责将客户端id转换为可传送的传送代码，调制单元负责对传送代码进行调制后加载在手机闪光灯的光波中，像素解调单元负责解调来自手机摄像头的其它手机闪光灯闪光的视频图像；

服务器包括：应用服务系统，客户端id手机坐标，客户端跟踪单元，应用服务系统即对应于客户端某种应用的系统，客户端id手机坐标即服务器获取的客户端id和手机一一对应的场景坐标，客户端跟踪单元实现对某客户端id手机的移动跟踪。