CN108519088A - 一种基于人工神经网络的可见光视觉定位方法 - Google Patents

Abstract

本发明公开了一种基于人工神经网络的可见光视觉定位方法，针对目前基于发送位置信息的LED灯具和具有到达角感应器的相机实现的室内可见光定位需要复杂的数学模型，为此，本发明通过灯具的图像感知通信，建立LED灯具图像之间的虚拟投影不变线，利用人工神经网络学习，更精确地确定出相机相对于环境坐标所在的方向信息，再凭借数学方法实现相机定位。仿真结果表明，本发明比现有定位方法具有更好的定位效果，具有广阔应用前景。

Description

一种基于人工神经网络的可见光视觉定位方法

技术领域

本发明涉及可见光通信技术领域，具体涉及一种基于人工神经网络的可见光视觉定位方法。

背景技术

近年来，因智能终端如智能手机和其他智能设备的发展，而常用的定位技术如GPS无法兼顾室内，通过智能设备实现室内定位的研究因其潜在的市场价值受到重视。智能终端搭载有许多传感器，例如陀螺仪、加速度计、磁性传感器和相机。然而，利用磁性传感器和加速度计来实现定位会因为磁场干扰和用户的动作影响准确性，利用陀螺仪定位需要应用互补滤波器来防止陀螺漂移和噪声。

使用相机实现室内定位可行的原因在于，它描绘出三维现实和二维图像之间的联系。为了计算出用户的位置，需要预先得出世界坐标系和相机坐标系的旋转关系和相互转换。现有的实现这个目标的技术是外在的相机标定，这个标定需要预先得出至少六个空间点的坐标和他们对应的图像点位才能建立投影的模型，除此之外，还要应用最小平方和或者奇异值分解的方法才能从投影模型转换到旋转模型，增加了实现的复杂性。

而利用图像识别通信实现室内定位的优点在于LED灯可用于发射位置信息的同时也可用于室内照明。利用相机得到的图像识别到达角度，可用于估计相机所在位置和相机方向。然而，由于三维现实和二维图像的非线性和高度复杂性，利用相机实现定位需要复杂的数学模型，而人工神经网络是一种可以简化这种复杂关系的方法。

因此，有必要基于人工神经网络实现可见光视觉定位，实现更加具有操作性和简洁的方法来估计相机的位置进而定位出用户的位置，实现更加有效和精确的室内定位。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于人工神经网络的可见光视觉定位方法，在简化定位技术的同时，优化可见光室内定位的效果。

本发明的目的可以通过采取如下技术方案达到：

一种基于人工神经网络的可见光视觉定位方法，所述的可见光视觉定位方法包括下列步骤：

S1、使用四个LED灯，分别改变终端相机坐标系的X轴，Y轴和Z轴旋转角度以及相机位置，用每一个角度和位置组合的LED灯具图像，建立六条虚拟投影不变量线，计算不同的Z轴旋转角度，利用这些数据创建人工神经网络输入数据库；

S2、使用一个多层感知器人工神经网络、，通过向后传递误差进行神经网络学习，利用人工神经网络输入数据库训练该多层感知器人工神经网络；

S3、训练完成后，用一个待定位位置和X轴、Y轴和Z轴旋转角度组合输入该多层感知器人工神经网络，由共线性状态建立二维图像和三维空间的关系，利用该多层感知器人工神经网络输出的结果实现相机在世界坐标系下的定位。

进一步地，所述的步骤S1包括：

S101、设置LED灯具，确保LED灯具构成的平面平行于世界坐标系的XY平面，并且确保终端相机的相机坐标系XY平面平行于世界坐标系的XY平面，使得相机具有较低角度的X轴，Y轴旋转矢量；

S102、相机拍下位于平行于世界和相机坐标系XY平面的平面上的LED灯具形成图像，任何两个LED灯连线的角度通过计算得出，计算LED灯具在世界坐标系下连线和世界坐标系的X轴夹角角度：

其中：X_WL，Y_WL，Z_W：LED灯图像在世界坐标系的坐标，L＝1或2代表LED1或LED2，

x_cl，y_cl：LED灯图像在相机坐标系的坐标，l＝1或2代表LED1或LED2，进而计算出相机坐标系和世界坐标系的X轴夹角角度：

θ_xX＝θ_cx-θ_WX+k；

其中：

θ_cx为LED灯具载相机坐标系下连线和相机坐标系的X轴夹角角度；

相机坐标系和世界坐标系的yaw旋转矢量，即相机坐标系的Z轴旋转角度：yaw＝π-θ_xX；

S103、分别从0到π/6和0到π/18改变X轴和Y轴旋转角度，以及从0到2π改变Z轴旋转角度，以此改变终端相机的相机坐标系的X轴、Y轴和Z轴旋转角度，围绕其中一个LED灯具的竖直位置以500和1000毫米的半径的圆放置相机，以此改变终端相机位置，每一次获取数据都利用四个LED灯具图像，四个LED灯具两两组合建立六条虚拟投影不变量线，重复步骤S102为每一个角度和位置组合计算得到六个Z轴旋转角度，并储存到人工神经网络输入数据库。

进一步地，所述的步骤S2包括：

步骤S201、使用一个具有25个神经元的多层感知器人工神经网络，通过向后传递误差进行神经网络学习，隐藏层里的每个神经元都使用一个tan-sigmoid转移函数获得非线性性，输出层的神经元使用线性转移函数，在正推法中一层的每个神经元根据突触权重和传递函数，形成输出作为下一层的输入，最终输出结果为y(k)，而输出量的期望值为t(k)，则均方误差msc为：

其中，Q为输出值的数量；

步骤S202、利用正推法获得的均方误差根据偏差修正原则调整突触权重，反向层层传递，通过这种递归将误差减少到一定的量。

进一步地，所述的步骤S3的过程如下：

由共线性状态建立二维图像和三维空间的关系，根据这种状态，每个物点，它的图像和投影中心三者应该在同一条线上，从而计算出：

其中，x_cl，y_cl：LED灯具图像在相机坐标系的坐标；

x_cp，y_cp：投影中心在相机坐标系的坐标；

X_WL，Y_WL，Z_WL：LED灯具图像在世界坐标系的坐标；

X_W0，Y_W0，Z_W0：相机在世界坐标系的定位；

R^T(ω,φ,κ)：世界坐标系与相机坐标系的关系旋转向量；

f：相机镜头的焦距；

λ：品质因数；

旋转矩阵R是关于X轴，Y轴和Z轴旋转向量的函数，可由神经网络的输出获得，X_WL由光学无线传输获得，x_cl由创建图像的的特征获得，所以知道相机不变的参数就可通过上述方程实现定位；

计算出定位的坐标：

其中：

x_cl，y_cl：LED灯具图像在相机坐标系的坐标，l＝1或2代表LED1或LED2；

x_cp，y_cp：投影中心在相机坐标系的坐标；

X_WL，Y_WL，Z_WL：LED灯图像在世界坐标系的坐标，L＝1或2代表LED1或LED2；

X_W0，Y_W0，Z_W0：相机在世界坐标系的定位；

r_ij：旋转矩阵R^T(ω,φ,κ)的元素；

f：相机镜头的焦距。

进一步地，当Z轴旋转角大于π时的修正算法如下：

当yaw<π/2且x_c1-x_c2<0时，Z轴旋转角度取yaw+π；当yaw<π/2且x_c1-x_c2≥0时，Z轴旋转角度取yaw；当yaw≥π/2且y_c1-y_c2＞0时，Z轴旋转角度取yaw+π；当yaw≥π/2且y_c1-y_c2≥0时，Z轴旋转角度取yaw。

进一步地，所述的步骤S202中使用莱文贝格-马夸特方法来加速训练过程。

本发明相对于现有技术具有如下的优点及效果：

1、本发明基于简单的人工神经网络技术，比起传统的使用至少六个空间点及其图像点的外在的相机标定室内定位技术，大大简化了可见光视觉定位的复杂程度，且可以优化定位效果。

2、由于三维现实和二维图像的非线性和高度复杂性，利用相机实现定位需要复杂的数学模型，而本发明使用的虚拟投影不变量线和人工神经网络是一种可以简化这种复杂关系的方法。

3、基于人工神经网络实现可见光视觉定位，可以实现更加具有操作性和简洁的方法来估计相机的位置进而定位出用户的位置，实现更加有效和精确的室内定位。

附图说明

图1是本发明实现相机接收LED灯信号的示意图；

图2是本发明相机图像与LED灯位置的关系图；

图3是人工神经网络的结构图；

图4是人工神经网络的训练示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

一种基于人工神经网络的可见光视觉定位方法，包括下列步骤：

S1、使用四个LED灯，分别改变终端相机坐标系的X轴，Y轴和Z轴旋转角度以及相机位置，用每一个角度和位置组合的LED灯具图像，建立六条虚拟投影不变量线，计算不同的Z轴旋转角度，利用这些数据创建人工神经网络输入数据库；

所述的步骤S1包括以下步骤：

S101、设置LED灯具时，如图1所示，确保LED灯具构成的平面平行于世界坐标系的XY平面，并且尽可能的确保终端相机的相机坐标系XY平面如图1近乎平行于世界坐标系的XY平面，使得相机具有较低角度的X轴，Y轴旋转矢量。

S102、相机拍下位于平行于世界和相机坐标系XY平面的平面上的LED灯具形成图像，任何两个LED灯连线的角度可以计算得出，因此可以如图2建立关系，计算LED灯具在世界坐标系下连线和世界坐标系的X轴夹角角度：

其中：X_WL，Y_WL，Z_W：LED灯图像在世界坐标系的坐标(L＝1或2代表LED1和LED2)，x_cl，y_cl：LED灯图像在相机坐标系的坐标(l＝1或2代表LED1和LED2)，进而计算出相机坐标系和世界坐标系的X轴夹角角度：

θ_xX＝θ_cx-θ_WX+k；

其中：

θ_cx为LED灯具载相机坐标系下连线和相机坐标系的X轴夹角角度；

相机坐标系和世界坐标系的yaw旋转矢量，即相机坐标系的Z轴旋转角度：yaw＝π-θ_xX；

当Z轴旋转角大于π时的修正算法：

当yaw<π/2且x_c1-x_c2<0时，Z轴旋转角度取yaw+π；当yaw<π/2且x_c1-x_c2≥0时，Z轴旋转角度取yaw；当yaw≥π/2且y_c1-y_c2＞0时，Z轴旋转角度取yaw+π；当yaw≥π/2且y_c1-y_c2≥0时，Z轴旋转角度取yaw。

S103、分别从0到π/6和0到π/18改变X轴和Y轴旋转角度(即Pitch和Roll)，以及从0到2π改变Z轴旋转角度，以此改变终端相机的相机坐标系的X轴、Y轴和Z轴旋转角度。围绕其中一个LED灯具的竖直位置以500和1000毫米的半径的圆放置相机，以此改变终端相机位置。每一次获取数据都利用四个LED灯具图像，四个LED灯具两两组合建立六条虚拟投影不变量线，重复步骤S102为每一个角度和位置组合计算得到六个Z轴旋转角度，并储存到人工神经网络输入数据库。

S2、使用一个多层感知器人工神经网络(MLP)，通过向后传递误差进行神经网络学习，利用人工神经网络输入数据库训练这个多层感知器人工神经网络；

所述的步骤S2包括以下步骤：

步骤S201、如图3所示，使用一个具有25个神经元的多层感知器人工神经网络(MLP)，通过向后传递误差进行神经网络学习。隐藏层里的每个神经元都使用一个tan-sigmoid转移函数获得非线性性，输出层的神经元使用线性转移函数。在正推法中，一层的每个神经元根据突触权重和传递函数，形成输出作为下一层的输入。最终输出结果为y(k)，而输出量的期望值为t(k)，则均方误差(msc)为：

其中，Q为输出值的数量。

步骤S202、利用正推法获得的均方误差根据偏差修正原则调整突触权重，反向层层传递，通过这种递归将误差减少到一定的量。由于使用大量的数据作为训练目标，使用莱文贝格-马夸特方法来加速训练过程。

S3、训练完成后，用一个待定位位置和X轴，Y轴和Z轴旋转角度组合来测试神经网络，由共线性状态建立二维图像和三维空间的关系，利用神经网络输出的结果实现相机在世界坐标系下的定位。

所述的步骤S3的过程如下：

由共线性状态建立二维图像和三维空间的关系。根据这种状态，每个物点，它的图像和投影中心三者应该在同一条线上，从而计算出：

其中，x_cl，y_cl：LED灯具图像在相机坐标系的坐标；

x_cp，y_cp：投影中心在相机坐标系的坐标；

X_WL，Y_WL，Z_WL：LED灯具图像在世界坐标系的坐标；

X_W0，Y_W0，Z_W0：相机在世界坐标系的定位；

R^T(ω,φ,κ)：世界坐标系与相机坐标系的关系旋转向量；

f：相机镜头的焦距；

λ：品质因数；

旋转矩阵R是关于X轴，Y轴和Z轴旋转向量的函数，可由神经网络的输出获得。X_WL可由光学无线传输获得，x_cl可由创建图像的的特征获得，所以知道相机不变的参数就可通过上述方程实现定位。

计算出定位的坐标：

其中：

x_cl，y_cl：LED灯具图像在相机坐标系的坐标(l＝1或2代表LED1和LED2)；

x_cp，y_cp：投影中心在相机坐标系的坐标；

X_WL，Y_WL，Z_WL：LED灯图像在世界坐标系的坐标(L＝1或2代表LED1和LED2)；

X_W0，Y_W0，Z_W0：相机在世界坐标系的定位；

r_ij：旋转矩阵R^T(ω,φ,κ)的元素；

f：相机镜头的焦距。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种基于人工神经网络的可见光视觉定位方法，其特征在于，所述的可见光视觉定位方法包括下列步骤：

S1、使用四个LED灯，分别改变终端相机坐标系的X轴，Y轴和Z轴旋转角度以及相机位置，用每一个角度和位置组合的LED灯具图像，建立六条虚拟投影不变量线，计算不同的Z轴旋转角度，利用这些数据创建人工神经网络输入数据库；

S2、使用一个多层感知器人工神经网络、，通过向后传递误差进行神经网络学习，利用人工神经网络输入数据库训练该多层感知器人工神经网络；

S3、训练完成后，用一个待定位位置和X轴、Y轴和Z轴旋转角度组合输入该多层感知器人工神经网络，由共线性状态建立二维图像和三维空间的关系，利用该多层感知器人工神经网络输出的结果实现相机在世界坐标系下的定位。

2.根据权利要求1所述的一种基于人工神经网络的可见光视觉定位方法，其特征在于，所述的步骤S1包括：

S101、设置LED灯具，确保LED灯具构成的平面平行于世界坐标系的XY平面，并且确保终端相机的相机坐标系XY平面平行于世界坐标系的XY平面，使得相机具有较低角度的X轴，Y轴旋转矢量；

S102、相机拍下位于平行于世界和相机坐标系XY平面的平面上的LED灯具形成图像，任何两个LED灯连线的角度通过计算得出，计算LED灯具在世界坐标系下连线和世界坐标系的X轴夹角角度：

其中：X_WL，Y_WL，Z_W：LED灯图像在世界坐标系的坐标，L＝1或2代表LED1或LED2，

x_cl，y_cl：LED灯图像在相机坐标系的坐标，l＝1或2代表LED1或LED2，进而计算出相机坐标系和世界坐标系的X轴夹角角度：

θ_xX＝θ_cx-θ_WX+k；

其中：

θ_cx为LED灯具载相机坐标系下连线和相机坐标系的X轴夹角角度；

相机坐标系和世界坐标系的yaw旋转矢量，即相机坐标系的Z轴旋转角度：yaw＝π-θ_xX；

S103、分别从0到π/6和0到π/18改变X轴和Y轴旋转角度，以及从0到2π改变Z轴旋转角度，以此改变终端相机的相机坐标系的X轴、Y轴和Z轴旋转角度，围绕其中一个LED灯具的竖直位置以500和1000毫米的半径的圆放置相机，以此改变终端相机位置，每一次获取数据都利用四个LED灯具图像，四个LED灯具两两组合建立六条虚拟投影不变量线，重复步骤S102为每一个角度和位置组合计算得到六个Z轴旋转角度，并储存到人工神经网络输入数据库。

3.根据权利要求1所述的一种基于人工神经网络的可见光视觉定位方法，其特征在于，所述的步骤S2包括：

步骤S201、使用一个具有25个神经元的多层感知器人工神经网络，通过向后传递误差进行神经网络学习，隐藏层里的每个神经元都使用一个tan-sigmoid转移函数获得非线性性，输出层的神经元使用线性转移函数，在正推法中一层的每个神经元根据突触权重和传递函数，形成输出作为下一层的输入，最终输出结果为y(k)，而输出量的期望值为t(k)，则均方误差msc为：

其中，Q为输出值的数量；

步骤S202、利用正推法获得的均方误差根据偏差修正原则调整突触权重，反向层层传递，通过这种递归将误差减少到一定的量。

4.根据权利要求1所述的一种基于人工神经网络的可见光视觉定位方法，其特征在于，所述的步骤S3的过程如下：

由共线性状态建立二维图像和三维空间的关系，根据这种状态，每个物点，它的图像和投影中心三者应该在同一条线上，从而计算出：

其中，x_cl，y_cl：LED灯具图像在相机坐标系的坐标；

x_cp，y_cp：投影中心在相机坐标系的坐标；

X_WL，Y_WL，Z_WL：LED灯具图像在世界坐标系的坐标；

X_W0，Y_W0，Z_W0：相机在世界坐标系的定位；

R^T(ω,φ,κ)：世界坐标系与相机坐标系的关系旋转向量；

f：相机镜头的焦距；

λ：品质因数；

旋转矩阵R是关于X轴，Y轴和Z轴旋转向量的函数，可由神经网络的输出获得，X_WL由光学无线传输获得，x_cl由创建图像的的特征获得，所以知道相机不变的参数就可通过上述方程实现定位；

计算出定位的坐标：

其中：

x_cl，y_cl：LED灯具图像在相机坐标系的坐标，l＝1或2代表LED1或LED2；

x_cp，y_cp：投影中心在相机坐标系的坐标；

X_WL，Y_WL，Z_WL：LED灯图像在世界坐标系的坐标，L＝1或2代表LED1或LED2；

X_W0，Y_W0，Z_W0：相机在世界坐标系的定位；

r_ij：旋转矩阵R^T(ω,φ,κ)的元素；

f：相机镜头的焦距。

5.根据权利要求2所述的一种基于人工神经网络的可见光视觉定位方法，其特征在于，当Z轴旋转角大于π时的修正算法如下：

当yaw<π/2且x_c1-x_c2<0时，Z轴旋转角度取yaw+π；当yaw<π/2且x_c1-x_c2≥0时，Z轴旋转角度取yaw；当yaw≥π/2且y_c1-y_c2＞0时，Z轴旋转角度取yaw+π；当yaw≥π/2且y_c1-y_c2≥0时，Z轴旋转角度取yaw。

6.根据权利要求3所述的一种基于人工神经网络的可见光视觉定位方法，其特征在于，所述的步骤S202中使用莱文贝格-马夸特方法来加速训练过程。