CN107421506A

CN107421506A - 一种基于室内可见光通信的视觉追踪定位系统和方法

Info

Publication number: CN107421506A
Application number: CN201710687950.XA
Authority: CN
Inventors: 关伟鹏; 吴玉香; 王鹏飞; 朱剑超
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2017-08-11
Filing date: 2017-08-11
Publication date: 2017-12-01
Anticipated expiration: 2037-08-11
Also published as: CN107421506B

Abstract

本发明公开了一种基于室内可见光通信的视觉追踪定位系统和方法，系统包括:发射端和接收端，所述发射端所包括依次连接的OOK基带调制模块、驱动电路和LED光源;所述接收端包括依次连接的摄像头和智能终端。所述方法通过在OOK调制的ID信息前加上字节头，并调整原始数据的发射频率，运用视觉追踪与图像处理技术去除其他光源的干扰，准确分辨出各LED的ID信息，与单灯定位算法相结合，确定摄像头的空间位置，从而实现室内定位。本发明结构简单，摄像头可以追踪到LED灯的图像，并将图像缓存，从中获取LED传输的信息，与单灯成像定位算法结合后实现精确定位。

Description

一种基于室内可见光通信的视觉追踪定位系统和方法

技术领域

本发明涉及可见光通信定位技术，特别涉及一种基于室内可见光通信的视觉追踪定位系统及方法。

背景技术

全球定位系统(GPS)在室外定位中已经得到了广泛的应用，而在建筑物内部和人口密集的城市、地下等环境中，多径衰落、电磁屏蔽效应以及其他无线设备的干扰使得GPS等传统的室外定位技术在室内的信号覆盖率较差，用于室内的定位存在较大定位误差。而各种综合体类建筑(如大型购物中心、大型交通中转站等)的出现，使得人们活动空间越来越庞大和复杂，对定位和导航需求日趋强烈。同时，精准营销、智能仓储、机器人、疗养护理等行业也需要利用定位技术获取特定对象的室内位置信息，这些需求为室内定位技术带来巨大机会。

近年来国内外科技巨头和研究机构提出了许多室内定位技术，这些定位技术多数基于无线电磁波，如Wi-Fi、蓝牙、红外线、超宽带、RFID、ZigBee和超声波定位等。而大多数基于无线通信的定位系统会受到电磁干扰的影响，对安装环境的要求也较为苛刻，这极大地增加了安装、维护和管理等的成本。并且，它们可使用的场所也受到了限制，如矿井、加油站和医院等无线通信被禁止的区域，因此不同程度上限制了这些技术的推广和使用。与上述技术不同基于可见光通信(visible light communication，VLC)的室内定位技术，通过以人眼识别不了的高频来控制LED的光强度，进而传播定位的ID信息。

目前基于VLC的定位技术主要有接收信号强度(Received signal strength,RSS)、到达时间(Time of arrival,TOA)和到达时间差(Time difference of arrival,TDOA)。这些定位技术相对而言较为复杂，需要光电检测器件，并且在存在室内其他光源干扰的时候定位非常复杂，需要去除其他的干扰，当其他光源干扰很难去除时，就会大大限制了定位的精度。并且运用光电检测器件的定位方式只能实现定点定位，不能做到实时定位。

发明内容

为了克服现有技术的上述缺点与不足，本发明的目的在于提出了一种基于室内可见光通信的视觉追踪定位系统及方法，通过在OOK调制的ID信息前加上字节头，并调整原始数据的发射频率，运用视觉追踪与图像处理技术去除其他光源的干扰，准确分辨出各LED的ID信息，与单灯定位算法相结合，确定摄像头的空间位置，从而实现室内定位。通过视觉追踪与图像处理技术，搭建出一个可高精度室内可见光通信定位系统。

本发明的目的通过以下技术方案实现：

一种基于室内可见光通信的视觉追踪定位方法，其包括以下步骤：

步骤1、每个LED灯具所对应的ID信息通过OOK基带调制后加上字节头形成新的数据信号；

步骤2、所述数据信号经LED驱动电路驱动LED灯具发出可见光信号；

步骤3、位于自由空间的摄像机在所拍画面中追踪到LED灯的位置，检测到字节头后开始缓存照片，并将缓存的照片发送到智能终端；

步骤4、智能终端运用图像处理技术获得ID信息和LED图像在像素坐标中的位置；

步骤5、根据所述的ID信息和LED在像素坐标中的位置，结合单灯成像定位算法，最终得出定位的位置坐标。

进一步地，所述步骤3包括以下步骤：

步骤31、对视频中LED图像进行形态学处理；

步骤32、对进行形态学处理后的视频帧进行全局搜索，确定圆形筒灯位置，将圆形特征进行提取；

步骤33、对提取出来的圆形特征检验是否存在字节头，存在即将图像进行缓存，不存在就再次重复步骤31。

进一步地，所述步骤4包括以下步骤：

步骤41、对图像进行预处理，去除噪声以及其他干扰信息；

步骤42、对图像进行闭运算操作，使灯具图像内部形成连通区域；

步骤43、采用轮廓搜索法对图像进行分割，确定LED图像在像素坐标的位置，并提取出LED目标图像；

步骤44、确定合适的阈值把提取出的目标图像二值化，根据条纹图像像素的变化获取ID信息。

进一步地，所述步骤5包括以下步骤：

步骤51、摄像头平面与水平方向倾斜夹角为β，设筒灯中心室内空间坐标为(X,Y,Z)，摄像头在室内空间坐标为(X₀,Y₀,Z₀)，摄像头焦距为f，摄像头像素面中心在像素空间坐标为(x0,y0)；添加辅助线的Y面侧视图如附图图5所示，筒灯两个端点在像素面空间中Y_p方向坐标为y1和y2，h1为筒灯到像素面中心垂直距离，h为筒灯到镜头中心垂直距离，筒灯半径为r，以上单位都为mm，Y_b、h2、L皆为辅助变量。由相似三角形特性可得出：

为书写方便，设y0>y1，联合上式解出：

摄像头像素面中心在室内空间坐标：

Y₀＝Y_b+Y-r

同理可以求解出摄像头像素面中心在室内空间坐标X₀和Z₀；

Z₀＝Z-h1

h1＝h+f×cosβ

由以上过程可以通过单摄像头实现3D定位；

步骤52筒灯a,b端点在感光器件坐标空间Y_p方向上的成像点坐标为y2，y1，设y2>y1，Δabo与Δoy1y2是相似三角形；镜头焦距为f，筒灯直径为2r，都为已知值，故有：

因此只要实时测量成像长度就可计算出物距h值；

步骤53按步骤4获得ID信息和LED在像素空间的坐标，与步骤51和步骤52相结合，实现室内精确定位。

本发明提供的基于室内可见光通信的视觉追踪定位系统，包括：发射子系统、传输子系统和接收子系统，所述发射子系统具有OOK基带调制模块、LED驱动电路和LED灯具；所述接收子系统具有摄像机和智能终端；所述传输子系统为自由空间；所述OOK基带调制模块、LED驱动电路和LED灯具依次连接；所述摄像头和智能终端依次连接；原始的ID信息通过在OOK调制后加上字节头，并调整原始数据的发射频率，使得摄像头能在一帧之内捕获到至少一个字节头；加上字节头的ID信息经由驱动电路驱动LED灯具发射的信息；摄像头对画面进行目标追踪，时刻锁定LED灯具的位置，并且检索到字节头时就开始缓存照片，并将LED的条纹图像传输到智能终端；智能终端将得到的LED条纹图像进行处理，获得LED的ID信息，与单灯定位算法相结合，确定摄像头的空间位置，从而实现精确的位置定位。

与现有技术相比，本发明具有以下优点和有益效果：

(1)创新性地在ID信息前加上字节头并调整光源的发射频率，使得在拍摄的LED图像中至少出现一个字节头，避免了ID信息的丢失。

(2)创新性地使用摄像头取代光电检测器件作为接收端，运用图像处理技术从灯具发出的图像信息中提取编码信息，当出现干扰光源时，图像传感器可检测内部各个像素上的光强信号分布，从而有选择地滤除干扰信号。

(3)创新性地使用单灯成像定位算法，与传统的定位系统相比，仅用单灯便实现了高精度的定位技术，操作简单。

附图说明

图1为实例的定位情景示意图。

图2为实例中数据信息调制的示意图。

图3为实例中实现基于室内可见光通信的视觉追踪定位系统原理框图。

图4为实例中实现视频目标追踪的示意图。

图5为实例中实现目标图像提取示意图。

图6为实例中实现单灯成像算法的坐标几何关系示意图。

图7为实例中实现单灯成像算法的高度几何关系示意图。

具体实施方式

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例1

图1为实例的定位情景示意图。本实例的一种基于室内可见光通信的视觉追踪定位系统，可见光的发射端采用OKK调制技术，并在ID信息前加上字节头，并复制拓展成两份形成原始数据信息，如图2所示。如图3，发射端所包括的硬件有OOK基带调制模块、驱动电路、LED光源；接收端所包括的硬件有手机摄像头、智能终端。原始数据信息的发射频率与相机帧率有关，为了使得普通性能的相机捕捉到ID信息，将字节头大小设置为4bit，ID信息大小设置为30bit。

进一步地，原始数据信息经由驱动电路驱动LED灯具发射可见光原始数据信息。本实施例采用DD311芯片作为驱动电路，DD311芯片提供一个使能端，当使能端接收到高电平时，芯片导通，LED亮，当使能端接收到低电平，芯片关闭，LED灭。将所述的高速数据加载到DD311的使能端上，通过控制DD311的开关，实现将电信号转换为光信号的过程。

图4为实例中实现视频目标追踪的示意图。运用视频追踪算法对视频中LED图像进行形态学处理，对进行形态学处理后的视频帧进行全局搜索，确定圆形筒灯位置，将圆形特征进行提取；图5为实例中实现目标图像提取示意图，对提取出来的圆形特征检验是否存在字节头，存在即将图像进行缓存，不存在就再次重复全局搜索过程。摄像头运用视频目标追踪算法锁定LED灯的位置，并将图像进行缓存，获得LED的条纹图像，并将其发送到智能终端。

智能终端对图像进行处理，对图像进行预处理，去除噪声和其他干扰。然后进行图像闭运算使灯具图像内部形成连通区域。采用轮廓搜索法对图像进行分割，确定LED图像在像素坐标的位置，即摄像头像素面中心在像素空间坐标为(x0,y0)，筒灯两个端点在像素面空间中Y_p方向坐标为y1和y2，以及筒灯两个端点在像素面空间中X_p方向坐标为x₁和x₂，并提取出LED目标图像。确定合适的阈值把提取出的目标图像二值化，根据条纹图像像素的变化获取ID信息。如图6为实例中实现单灯成像算法的坐标几何关系示意图。

如图7为实例中实现单灯成像算法的高度几何关系示意图。根据解码的ID信息，获得LED灯中心在世界坐标系中的位置(X,Y,Z)。采用单灯成像定位算法，将相机焦距f、LED灯的半径r，以及LED图像在像素坐标的位置代入

获得LED与摄像头中心的距离h。将h和摄像头焦距f以及摄像头与水平面所成角度β依次代入

h1＝h+f×cosβ

由ID信息获得的LED空间坐标(X,Y,Z)，因此摄像头像素面中心在室内空间坐标：

Y₀＝Y_b+Y-r

同理可以求解出摄像头像素面中心在室内空间坐标X₀和Z₀

X₀＝X_b+X-r

Z₀＝Z-h1

由以上过程可以通过单摄像头实现3D定位。

上述实施例仅为本发明的一种实施方式，但本发明的实施方式并不受上述实施例的限制，其他任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种基于室内可见光通信的视觉追踪定位方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于室内可见光通信的视觉追踪定位方法，其特征在于，所述步骤3包括以下步骤：

步骤31、对视频中LED图像进行形态学处理；

步骤32、对进行形态学处理后的视频帧进行全局搜索，确定LED灯具即圆形筒灯位置，将圆形特征进行提取；

3.根据权利要求1所述的一种基于室内可见光通信的视觉追踪定位方法，其特征在于，所述步骤4包括以下步骤：

步骤41、对图像进行预处理，去除噪声以及其他干扰信息；

4.根据权利要求1所述的一种基于室内可见光通信的视觉追踪定位方法，其特征在于，所述步骤5包括以下步骤：

步骤51、摄像头平面与水平方向倾斜夹角为β，设筒灯中心室内空间坐标为(X,Y,Z)，摄像头在室内空间坐标为(X₀,Y₀,Z₀)，摄像头焦距为f，摄像头像素面中心在像素空间坐标为(x0,y0)；添加辅助线的Y面侧视图中，筒灯两个端点在像素面空间中Y_p方向坐标为y1和y2，h1为筒灯到像素面中心垂直距离，h为筒灯到镜头中心垂直距离，筒灯半径为r，以上单位都为mm，Y_b、h2、L皆为辅助变量；由相似三角形特性可得出：

设y0>y1，联合上式解出：

摄像头像素面中心在室内空间坐标：

Y₀＝Y_b+Y-r

同理能求解出摄像头像素面中心在室内空间坐标X₀和Z₀；

Z₀＝Z-h1

h1＝h+f×cosβ

由以上过程可以通过单摄像头实现3D定位；

步骤52筒灯上a,b端点在感光器件坐标空间Y_p方向上的成像点坐标为y2，y1，设y2>y1，Δabo与Δoy1y2是相似三角形；镜头焦距为f，筒灯直径为2r，都为已知值，故有：

<mrow> <mi>h</mi> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <mi>r</mi> <mo>&times;</mo> <mi>f</mi> </mrow> <mrow> <mi>y</mi> <mn>2</mn> <mo>-</mo> <mi>y</mi> <mn>1</mn> </mrow> </mfrac> </mrow>

因此只要实时测量成像长度就能计算出物距h值；

5.一种用于实现权利要求1所述方法的基于室内可见光通信的视觉追踪定位系统，包括：发射子系统、传输子系统和接收子系统，其特征在于，所述发射子系统具有OOK基带调制模块、LED驱动电路和LED灯具；所述接收子系统具有摄像机和智能终端；所述传输子系统为自由空间；所述OOK基带调制模块、LED驱动电路和LED灯具依次连接；所述摄像头和智能终端依次连接；原始的ID信息通过在OOK调制后加上字节头，并调整原始数据的发射频率，使得摄像头能在一帧之内捕获到至少一个字节头；加上字节头的ID信息经由驱动电路驱动LED灯具发射的信息；摄像头对画面进行目标追踪，时刻锁定LED灯具的位置，并且检索到字节头时就开始缓存照片，并将LED的条纹图像传输到智能终端；智能终端将得到的LED条纹图像进行处理，获得LED的ID信息，与单灯定位算法相结合，确定摄像头的空间位置，从而实现精确的位置定位。