CN112164113A - 一种室内定位中新颖的可见光通信辅助的透视四线方法 - Google Patents

一种室内定位中新颖的可见光通信辅助的透视四线方法 Download PDF

Info

Publication number
CN112164113A
CN112164113A CN202010980688.XA CN202010980688A CN112164113A CN 112164113 A CN112164113 A CN 112164113A CN 202010980688 A CN202010980688 A CN 202010980688A CN 112164113 A CN112164113 A CN 112164113A
Authority
CN
China
Prior art keywords
camera
led lamp
coordinates
ccs
wcs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010980688.XA
Other languages
English (en)
Other versions
CN112164113B (zh
Inventor
杨洋
柏琳
冯春燕
李承阳
郭彩丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202010980688.XA priority Critical patent/CN112164113B/zh
Publication of CN112164113A publication Critical patent/CN112164113A/zh
Application granted granted Critical
Publication of CN112164113B publication Critical patent/CN112164113B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163Determination of attitude
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/11Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Remote Sensing (AREA)
  • Algebra (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operations Research (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种室内定位中新颖的可见光通信辅助的透视四线方法,属于无线通信技术领域。具体包括:首先构建包括LED灯具发射器和待定位相机接收器的场景,待定位相机获得LED灯具四个顶点投影的像素坐标后变换到图像坐标;然后,在CCS中估计LED灯具的方向;计算LED灯具的四个顶点在CCS中的相机坐标;接着利用LED灯具在CCS和WCS中的方向,计算待定位相机在xc轴和yc轴对应的旋转角;利用LED灯具在CCS中的相机坐标,计算WCS中待定位相机的z坐标;最后,基于线性最小二乘法计算待定位相机zc轴对应的旋转角、以及WCS中待定位相机的x坐标和y坐标,最终得到待定位相机在WCS中的姿态和位置。本发明只需要单个灯具进行定位,在不同灯具宽度和图像噪声下,精度性能优于P4L法和CA‑RSSR。

Description

一种室内定位中新颖的可见光通信辅助的透视四线方法
技术领域
本发明属于无线通信技术领域,具体涉及一种室内定位中新颖的可见光通信辅助的透视四线方法。
背景技术
随着诸如位置跟踪、导航和机器人运动控制等基于位置服务的兴起,精确的室内定位变得越来越重要。在本研究领域中,可见光定位(Visible Light Positioning,VLP)和基于计算机视觉的定位以其高精度、低成本的特点得到了越来越多的关注,见参考文献[1][2]。
典型的VLP算法包括近邻法[3]、指纹法[4]、到达时间法(Time of Arrival,TOA)[5]、到达角法(Angle of Arrival,AOA)[6]、接收信号强度法(Received SignalStrength,RSS)[7]和图像传感器法[8]。
但是在这些算法中,只有图像传感器法才能估计接收器的姿态。此外,图像传感器法、TOA法、AOA法和RSS法需要多个灯具来定位[1],当可用灯具不足时,这是不可行的。另一方面,近邻法和指纹法可以利用单个灯具估计接收器的位置。然而,近邻法的精度低;在指纹法中,歧义问题严重,因此精度也不高[9]。文献[9]已经证明,在指纹法中至少需要三个灯具来减小歧义的影响;RSS法因其高精度和低成本的特点被广泛应用[7]。然而,RSS法依赖于精确的信道模型,这是它们面临的最严重问题。在RSS法中一个通常的假设是LED的辐射模式为朗伯模型,这对于许多灯具可能不太适用,特别是当使用了灯罩时[10]。同时,在实际中,估计的信道增益会受到阳光、灰尘和阴影的影响[11]。
另一方面,典型的基于计算机视觉的定位方法包括透视n线法(Perspective-n-Line,PnL)和透视n点法(Perspective-n-Point,PnP)。PnL法通过分析3维(3-Dimensional,3D)参考线和它们的2维(2-Dimensional,2D)投影之间的n个对应关系(即3D-2D对应关系)来进行。与利用点特征的PnP法相比,PnL法具有更高的检测精度,并且对(部分)遮挡具有更强的鲁棒性[12]。然而,PnL法存在一些固有的挑战:首先,PnL法需要3D-2D对应关系,这是很难获得的。在已有的PnL法研究中,直接给出了3D-2D对应关系,这在实际中是不现实的。为了规避这一挑战,文献[2]提出了一种方法,用于在垂直线多于水平线的场景下去寻找3D-2D对应关系。但是,这种方法不适用于矩形信标部署在天花板上的场景,因为不同方向线的数目没有显著差异。此外,信标的坐标很难知道,这意味着无法获得相机的绝对位置。
[1]T.-H.Do and M.Yoo,“An in-depth survey of visible lightcommunication based positioning systems,”Sensors,vol.16,no.5,pp.678,May 2016.
[2]T.Goto,S.Pathak,Y.Ji,H.Fujii,A.Yamashita,and H.Asama,“Line basedglobal localization of a spherical camera in manhattan worlds,”in 2018 IEEEInt.Conf.Robotics Automation(ICRA),2018,pp.2296–2303.
[3]C.Sertthin,T.Ohtsuki,and M.Nakagawa,“6-axis sensor assisted lowcomplexity high accuracy-visible light communication based indoor positioningsystem,”IEICE Trans.Commun.,vol.93,no.11,pp.2879–2891,Nov.2010.
[4]K.Qiu,F.Zhang,and L.Ming,“Let the light guide us:VLC-basedlocalization,”IEEE Robot.Autom.Mag.,vol.23,no.4,pp.174–183,Dec.2016.
[5]T.Q.Wang,Y.A.Sekercioglu,A.Neild,and J.Armstrong,“Positionaccuracy of time-of-arrival based ranging using visible light withapplication in indoor localization systems,”J.Lightw.Technol.,vol.31,no.20,pp.3302–3308,Oct.2013.
[6]B.Zhu,J.Cheng,Y.Wang,J.Yan,and J.Wang,“Three-dimensional VLCpositioning based on angle difference of arrival with arbitrary tilting angleof receiver,”IEEE J.Sel.Areas Commun.,vol.36,no.1,pp.8–22,Jan.2018.
[7]L.Bai,Y.Yang,C.Guo,C.Feng,and X.Xu,“Camera assisted receivedsignal strength ratio algorithm for indoor visible light positioning,”IEEECommun.Lett.,vol.23,no.11,pp.2022–2025,Nov.2019.
[8]Y.Li,Z.Ghassemlooy,X.Tang,B.Lin,and Y.Zhang,“A VLC smartphonecamera based indoor positioning system,”IEEE Photon.Technol.Lett.,vol.30,no.13,pp.1171–1174,Jul.2018.
[9]A.M.Vegni and M.Biagi,“An indoor localization algorithm in asmall-cell LED-based lighting system,”in Proc.IEEE Int.Conf.IndoorPosition.Indoor Navig.(IPIN),2012,pp.1–7.
[10]F.Miramirkhani and M.Uysal,“Channel modeling and characterizationfor visible light communications,”IEEE Photonics J.,vol.7,no.6,pp.1–16,Dec.2015.
[11]Z.Dong,T.Shang,Y.Gao,and Q.Li,“Study on VLC channel modelingunder random shadowing,”IEEE Photonics J.,vol.9,no.6,pp.1–16,Dec.2017.
[12]Alexander V.,Jan F.,and Francesc M.-N.,“Accurate and linear timepose estimation from points and lines,”in Europ.Conf.Comp.Visi.(ECCV),2016,pp.583–599.
发明内容
本发明针对以上问题,提出了一种室内定位中新颖的可见光通信辅助的透视四线方法,将可见光通信获得的坐标信息与计算机视觉中的几何信息结合起来,基于单视图几何和线性最小二乘法计算相机的绝对位置和姿态;本发明只需要单个灯具,不依赖于信道模型,且不需要3D-2D对应关系。
所述的定位方法具体步骤如下:
步骤一、构建包括一个LED灯具发射器和一个待定位相机接收器的场景,同时定义四种定位坐标系;
四种坐标系分别是像素坐标系(Pixel Coordinate System,PCS)op-upvp、图像坐标系(Image Coordinate System,ICS)oi-xiyi、相机坐标系(Camera Coordinate System,CCS)oc-xcyczc和世界坐标系(World Coordinate System,WCS)ow-xwywzw
场景中的发射器被安装在天花板上,是一个由4个顶点Pi(i∈{1,2,3,4})构成的支持可见光通信的矩形LED灯具,WCS中灯具的第i个顶点的坐标为
Figure BDA0002687396370000031
四条3D参考线Lij((i,j)∈{(1,2),(2,3),(3,4),(4,1)})是灯具的边。
场景中的接收器是一个标准的针孔相机,与灯具不共面。因此,发射器和接收器构成了一个四棱锥oc-P1P2P3P4
步骤二、待定位相机获得LED灯具四个顶点投影的像素坐标后,基于单视图几何将像素坐标变换到图像坐标;
LED灯具的第i个顶点Pi在待定位相机的图像平面上投影点为pi,像素坐标为
Figure BDA0002687396370000032
Lij在图像平面上的2D投影为lij
投影点pi的图像坐标
Figure BDA0002687396370000033
表示如下
Figure BDA0002687396370000034
其中,dx是图像平面上x轴方向每个像素的物理尺寸,dy是图像平面上y轴方向每个像素的物理尺寸。此外,u0,v0 T是ICS原点oi的像素坐标,称为主点。
步骤三、利用LED灯具四个顶点投影的图像坐标,基于单视图几何、平面几何和立体几何,在CCS中估计LED灯具的方向;
在CCS中LED灯具的方向用矩形P1P2P3P4的单位法向量表示,即:
Figure BDA0002687396370000041
其中,
Figure BDA0002687396370000042
Figure BDA0002687396370000043
Figure BDA0002687396370000044
A、B和C是CCS中矩形P1P2P3P4的一般形式方程的系数;m和n是利用LED灯具四个顶点投影的图像坐标,并基于单视图几何、平面几何和立体几何推导过程的中间变量。
步骤四、基于立体几何计算LED灯具的四个顶点在CCS中的相机坐标;
LED灯具的第i个顶点Pi的相机坐标
Figure BDA0002687396370000045
表示为:
Figure BDA0002687396370000046
其中
Figure BDA0002687396370000047
Figure BDA0002687396370000048
Aij、Bij和Cij((i,j)∈{(1,2),(2,3),(3,4),(4,1)})是顶点Pi、Pj和oc构成的侧面Πij的一般形式方程的系数;
Figure BDA0002687396370000049
其中,
Figure BDA00026873963700000410
Figure BDA00026873963700000411
M12=W1,W2,W3 T,M23=W2,W3,W4 T,M34=W3,W4,W1 T,M41=W4,W1,W2 T;S是灯具的面积。
步骤五、基于单视图几何,利用LED灯具在CCS和WCS中的方向,计算待定位相机在xc轴对应的旋转角
Figure BDA00026873963700000412
和yc轴对应的旋转角;
基于单视图几何,灯具在WCS中的单位法向量为
Figure BDA0002687396370000051
在CCS中的单位法向量为
Figure BDA0002687396370000052
转换关系为:
Figure BDA0002687396370000053
Figure BDA0002687396370000054
为CCS到WCS的旋转矩阵,即相机的姿态;
Figure BDA0002687396370000055
RX表示沿xc轴的旋转矩阵,
Figure BDA0002687396370000056
Figure BDA00026873963700000516
是xc轴对应的旋转角。
RY表示沿yc轴的旋转矩阵,
Figure BDA0002687396370000057
θ是yc轴对应的旋转角。
RZ表示沿zc轴的旋转矩阵,
Figure BDA0002687396370000058
ψ是zc轴对应的旋转角。
因此有:
Figure BDA0002687396370000059
通过求解上式即可得到待定位相机的xc轴对应的旋转角
Figure BDA00026873963700000510
和yc轴对应的旋转角θ。
步骤六、通过可见光通信将LED灯具四个顶点的世界坐标发送至待定位相机,然后利用LED灯具在CCS中的相机坐标,计算WCS中待定位相机的z坐标;
具体步骤如下:
首先,针对LED灯具的第i个顶点Pi,相机坐标为
Figure BDA00026873963700000511
世界坐标为
Figure BDA00026873963700000512
然后,世界坐标与相机坐标的转换为:
Figure BDA00026873963700000513
Figure BDA00026873963700000514
是待定位相机的3D世界坐标,即待定位相机的位置;
WCS中待定位相机的z坐标计算如下:
Figure BDA00026873963700000515
其中,c1,c2和c3是通过xc轴和yc轴的旋转矩阵相乘后,得到的矩阵元素值,即:
Figure BDA0002687396370000061
步骤七、基于线性最小二乘法计算待定位相机zc轴对应的旋转角ψ、以及WCS中待定位相机的x坐标tx和y坐标ty,最终得到待定位相机在WCS中的姿态和位置。
首先,将未知参数设为X=[cosψ,sinψ,tx,ty]T,X是X的估计。
线性最小二乘法的未知参数方程为:
X=Aij TAij -1Aij Tbij
其中,Aij=[Ai,Aj]T,bij=[bi,bj]T(i,j∈{1,2,3,4},i≠j),其中
Figure BDA0002687396370000062
Figure BDA0002687396370000063
每个bij=[bi,bj]T(i,j∈{1,2,3,4},i≠j),分别对应6个Ars(r,s∈{1,2,3,4},r≠s),得到6个解,其中有一个解Xij即为bij对应正确的解X。
针对6个不同的b12,b13,b14,b23,b24,b34,总共可以获得6组36个解,通过对这6组中6个最接近的解Xij求平均得到最优结果,表示如下:
Figure BDA0002687396370000064
最终,得到待定位相机的姿态和位置,即
Figure BDA0002687396370000065
Figure BDA0002687396370000066
本发明的优点有:
1.一种室内定位中新颖的可见光通信辅助的透视四线方法,只需要单个灯具进行定位,并且不依赖于信道模型;
2.一种室内定位中新颖的可见光通信辅助的透视四线方法,不需要已知3D-2D对应关系;
3.一种室内定位中新颖的可见光通信辅助的透视四线方法,在不同灯具宽度和图像噪声下,精度性能优于P4L法和CA-RSSR。
附图说明
图1为本发明一种室内定位中新颖的可见光通信辅助的透视四线方法的流程图;
图2为本发明在四种坐标系下的VLP系统框图;
图3为本发明在不同灯具宽度下VP4L、P4L法和CA-RSSR的定位误差对比图;
图4为本发明在不同灯具宽度下VP4L、P4L法的方向误差对比图;
图5为本发明在不同图像噪声下VP4L、P4L法和CA-RSSR的定位误差对比图;
图6为本发明在不同图像噪声下VP4L、P4L法的方向误差对比图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图对本发明作进一步的详细和深入描述。
本发明是一种室内定位中新颖的可见光通信(Visible Light Communication,VLC)辅助的透视四线方法(Visible Light Communication Assisted Perspective-Four-Line,V-P4L),将VLC得到的坐标信息与计算机视觉中的几何信息结合起来,在基于平面和立体几何的相机坐标系下,首先利用几何信息,对单个矩形LED灯具的方向和坐标进行估计;然后利用VLC将灯具的世界坐标信息发送至待定位相机。接着利用单视图几何和线性最小二乘法(Linear Least Square,LLS)求出待定位相机在世界坐标系中的姿态
Figure BDA0002687396370000071
和位置
Figure BDA0002687396370000072
分别对应六个未知数
Figure BDA0002687396370000073
θ和ψ以及tx、ty和tz,即根据LED顶点的各种坐标去求解这六个未知数的过程。
所述的定位方法如图1所示,具体步骤如下:
步骤一、构建包括一个LED灯具发射器和一个待定位相机接收器的场景,同时定义四种定位坐标系;
如图2所示,四种坐标系分别是像素坐标系(Pixel Coordinate System,PCS)op-upvp、图像坐标系(Image Coordinate System,ICS)oi-xiyi、相机坐标系(CameraCoordinate System,CCS)oc-xcyczc和世界坐标系(World Coordinate System,WCS)ow-xwywzw
在PCS、ICS和CCS中,坐标轴up、xi和xc相互平行,坐标轴vp、yi和yc也相互平行。此外,oi和oc在同一条直线上;
CCS的原点oc与ICS的原点oi之间的距离为焦距f,因此在CCS中图像平面的z坐标为zc=f;另外,op在图像平面的左上角。
场景中的发射器被安装在天花板上,是一个由4个顶点Pi(i∈{1,2,3,4})构成的支持可见光通信的矩形LED灯具。四条3D参考线Lij((i,j)∈{(1,2),(2,3),(3,4),(4,1)})是灯具的边。
假设灯具垂直向下,则WCS中灯具的单位法向量
Figure BDA0002687396370000081
其中(·)T表示矩阵的转置。此外,
Figure BDA0002687396370000082
是WCS中灯具的第i个顶点的坐标。假设在发射端是已知的,可以通过可见光通信在接收端获得。
场景中的接收器是一个标准的针孔相机,与灯具不共面。因此,发射器和接收器构成了一个四棱锥oc-P1P2P3P4。在四棱锥oc-P1P2P3P4中,Pi是矩形P1P2P3P4的第i个顶点,CCS的原点oc为四棱锥的顶点,矩形P1P2P3P4为底面,同时定义Πij为侧面,由顶点Pi,Pj(i,j∈{(1,2),(2,3),(3,4),(4,1)})和oc构成。
步骤二、待定位相机获得LED灯具四个顶点投影的像素坐标后,基于单视图几何将像素坐标变换到图像坐标;
在相机中,LED灯具的第i个顶点Pi在待定位相机的图像平面上投影点为pi,Lij在图像平面上的2D投影为lij
需要注意的是,许多现有的PnL法假设3D-2D对应关系
Figure BDA0002687396370000083
是提前已知的,这在实际中过于理想。而在本发明中,3D-2D对应关系是未知的。
第i个顶点的投影点pi的像素坐标为
Figure BDA0002687396370000084
该坐标可由相机通过图像处理获得。基于单视图几何,投影点pi的图像坐标
Figure BDA0002687396370000085
表示如下
Figure BDA0002687396370000086
其中,dx是图像平面上x轴方向每个像素的物理尺寸,dy是图像平面上y轴方向每个像素的物理尺寸。此外,u0,v0 T是ICS原点oi的像素坐标,称为主点。
相机的内部参数,包括u0,v0 T、u轴和v轴上的归一化焦距
Figure BDA0002687396370000087
Figure BDA0002687396370000088
可以被提前校准;从CCS到WCS的转换可以表示为:
Figure BDA0002687396370000089
其中,
Figure BDA00026873963700000810
Figure BDA00026873963700000811
分别表示相机在WCS中的姿态和位置;定位的任务就是求出
Figure BDA00026873963700000812
Figure BDA0002687396370000091
步骤三、利用LED灯具四个顶点投影的图像坐标,基于单视图几何、平面几何和立体几何,在CCS中估计LED灯具的方向;
在ICS中,给定lij的点法式方程可以表示为
xicosφij+yisinφij=ρij (3)
其中,
Figure BDA0002687396370000092
是lij上一点的图像坐标,φij是yi轴沿逆时针方向至lij的旋转角,ρij是oi到lij的距离。由于pi和pj在lij上,因此基于pi和pj的图像坐标可以获得φij和ρij。另外,在lij上存在两点sij,1和sij,2,相机坐标分别为
Figure BDA0002687396370000093
Figure BDA0002687396370000094
有了Πij上的sij,1、sij,2和oc,可以将CCS中Πij表示为以下的一般形式
Aijxc+Bijyc+Cijzc=0 (4)
其中,Aij=fcosij,Bij=fsinij,Cij=-ρij
在CCS中,矩形P1P2P3P4的一般形式方程可以表示为
Axc+Byc+Czc=1 (5)
其中,A、B和C是未知常数。矩形P1P2P3P4的法向量可以表示为nc=(A,B,C)T
在CCS中,设
Figure BDA0002687396370000095
(2,3表示Πij的法向量,
Figure BDA0002687396370000096
表示Lij的方向向量。由于Lij是平面P1P2P3P4和平面Πij的交线,因此
Figure BDA0002687396370000097
可以计算为
Figure BDA0002687396370000098
基于立体几何,可以得到:
Figure BDA0002687396370000099
定义
Figure BDA00026873963700000910
Figure BDA00026873963700000911
通过求解公式(6)可将m和n表示为Aij、Bij和Cij的函数。因此,CCS中矩形P1P2P3P4的单位法向量(即灯具的方向)可以表示为
Figure BDA00026873963700000912
其中,
Figure BDA0002687396370000101
步骤四、基于立体几何计算LED灯具的四个顶点在CCS中的相机坐标;
由于P1是矩形P1P2P3P4、Π12和Π41的交点,因此相机坐标
Figure BDA00026873963700001014
可以计算为
Figure BDA0002687396370000102
其中
Figure BDA0002687396370000103
因此,相机坐标
Figure BDA0002687396370000104
可以表示为如下统一的形式
Figure BDA0002687396370000105
其中
Figure BDA0002687396370000106
Figure BDA0002687396370000107
公式(9)中唯一的未知数是C,基于立体几何来计算:四棱锥oc-P1P2P3P4的体积计算为
Figure BDA0002687396370000108
其中S是灯具的面积,是提前已知的。此外,
Figure BDA0002687396370000109
是oc到矩形P1P2P3P4的距离。对于三棱锥oc-P1P2P3来说,它的体积可以计算如下
Figure BDA00026873963700001010
其中,detM是矩阵M的行列式,
Figure BDA00026873963700001011
将公式(9)带入公式(10),可以得到
Figure BDA00026873963700001012
其中,
Figure BDA00026873963700001013
其中M12=W1,W2,W3 T。其它三个三棱锥oc-P2P3P4、oc-P3P4P1和oc-P4P1P2的体积可以分别表示为V2、V3和V4,可以通过相同的方法获得,分别为
Figure BDA0002687396370000111
其中,
Figure BDA0002687396370000112
Figure BDA0002687396370000113
M23=W2,W3,W4 T,M34=W3,W4,W1 T,M41=W4,W1,W2 T
由于
Figure BDA0002687396370000114
因此C可以计算如下
Figure BDA0002687396370000115
将公式(11)带入公式(9),可以得到Pi(i∈{1,2,3,4})的相机坐标。
利用可见光通信将LED灯具4个顶点的世界坐标发送至待定位相机,然后基于LED灯具的方向和坐标信息,利用单视图几何和线性最小二乘法求出世界坐标系中待定位相机的位置和姿态。具体来说,可以通过以下步骤来实现:
步骤五、基于单视图几何,利用LED灯具在CCS和WCS中的方向,计算待定位相机在xc轴对应的旋转角
Figure BDA0002687396370000116
和yc轴对应的旋转角θ;
设RX、RY和RZ分别表示沿xc轴、yc轴和zc轴的旋转矩阵。给出RX、RY和RZ如下
Figure BDA0002687396370000117
Figure BDA0002687396370000118
Figure BDA0002687396370000119
其中,
Figure BDA00026873963700001111
θ和ψ分别是xc轴、yc轴和zc轴对应的未知欧拉角,从CCS到WCS的旋转矩阵
Figure BDA00026873963700001110
可以表示为:
Figure BDA0002687396370000121
基于单视图几何,灯具在WCS中的单位法向量为
Figure BDA0002687396370000122
在CCS中的单位法向量为
Figure BDA0002687396370000123
二者之间的关系可以表示为
Figure BDA0002687396370000124
因此,可以得到:
Figure BDA0002687396370000125
通过求解上式即可得到待定位相机的xc轴对应的旋转角
Figure BDA0002687396370000126
和yc轴对应的旋转角θ。
步骤六、通过可见光通信将LED灯具四个顶点的世界坐标发送至待定位相机,然后利用LED灯具在CCS中的相机坐标,计算WCS中待定位相机的z坐标;
具体步骤如下:
基于Pi(i∈{1,2,3,4})的相机坐标,Pi的世界坐标可以表示为
Figure BDA0002687396370000127
其中,
Figure BDA0002687396370000128
是提前已知的,可以通过VLC在接收端获得,
Figure BDA0002687396370000129
可以在步骤四中计算,
Figure BDA00026873963700001210
是待定位相机的3D世界坐标,即待定位相机的位置;设
Figure BDA00026873963700001211
可以将公式(17)改写如下
Figure BDA00026873963700001212
在公式(18)中,有4个未知参数ψ、tx、ty和tz。如果3D-2D对应关系是提前已知的,可以很容易地利用4个顶点的世界坐标和相机坐标获得4个未知参数。然而,在本发明中,出于对实际考虑,3D-2D对应关系是未知的。因此,只能从公式(18)中得到
Figure BDA00026873963700001213
和tz之间的关系为
Figure BDA00026873963700001214
这是因为所有LED都被安装在天花板上,且高度相同,即
Figure BDA00026873963700001215
WCS中待定位相机的z坐标可以计算如下
Figure BDA0002687396370000131
步骤七、基于线性最小二乘法计算待定位相机zc轴对应的旋转角ψ、以及WCS中待定位相机的x坐标tx和y坐标ty,最终得到待定位相机在WCS中的姿态和位置。
公式(18)中仍然有3个未知参数ψ、tx和ty。这些未知参数可以通过LLS估计进行计算,可以用矩阵形式表示如下
AijX=bij (20)
其中,Aij=[Ai,Aj]T,bij=[bi,bj]T(i,j∈{1,2,3,4},i≠j),其中
Figure BDA0002687396370000132
X=[cosψ,sinψ,tx,ty]T (22)
Figure BDA0002687396370000133
因此,未知参数可以表示为
X=Aij TAij -1Aij Tbij (24)
其中,X是X的估计。
由于3D-2D对应关系不是提前已知的,给定一个Ars和bij(r,s,i,j∈{1,2,3,4},r≠s,i≠j),并不知道它们准确的对应关系。幸运的是,有4个Ar(r∈{1,2,3,4})和bi(i∈{1,2,3,4}),这意味着总共有
Figure BDA0002687396370000134
个不同的Ars和bij(r,s,i,j∈{1,2,3,4},r≠s,i≠j)。
因此,对于每个bij=[bi,bj]T(i,j∈{1,2,3,4},i≠j),分别对应6个Ars(r,s∈{1,2,3,4},r≠s),可以得到6个解,其中有一个解Xij即为bij对应正确的解X。当考虑6个不同的bij时,总共可以获得6组共36个解。为了提高V-P4L的精度性能,最后估计的X可以通过对6组中6个最接近的解Xij求平均值进行计算,可以表示如下
Figure BDA0002687396370000135
用这种方法,可以分别得到相机的姿态和位置,即
Figure BDA0002687396370000141
Figure BDA0002687396370000142
虽然V-P4L要求LED灯具为矩形,但是V-P4L对部分遮挡具有很好的鲁棒性,这对于移动的情况是很有意义的。例如,如果P1的投影p1被障碍所阻挡,不在图像平面上,p1的像素坐标可以通过l12和l41的交点来确定,因此V-P4L仍然可以估计相机的位置和姿态。
实施例:
本发明分别对VP4L、P4L法和CA-RSSR这三种方法进行仿真和分析,系统参数如表1所示。
表1
参数
房间大小(长×宽×高) 5m×5m×3m
灯具的长 120cm
灯具的宽 20cm-100cm
LED半功率角,Φ<sub>1/2</sub> 60°
相机的主点 u<sub>0</sub>,v<sub>0</sub>=(320,240)
相机的归一化焦距 f<sub>u</sub>=f<sub>v</sub>=800
CA-RSSR中PD和相机之间距离,d<sub>PC</sub> 1cm
假设可见光信号采用开关键控调制,灯管的长为120cm,灯具宽度在不同的仿真下是不同的。所有统计结果都独立运行10000次以上,每次仿真运行时,在房间内随机选择接收器的位置。针孔相机已经提前校准,图像噪声被建模为高斯白噪声。由于图像噪声会影响灯具在图像平面上投影的像素坐标,因此对相同位置的20幅图像进行处理得到像素坐标。
由于CA-RSSR需要5个LED进行3D定位,因此假设灯具中心有一个额外的LED,这在V-P4L和P4L法中并不需要。此外,CA-RSSR依赖于完美的朗伯模型,然而,VLC信道模型与朗伯模型相比是不同的,即使使用接近理想的朗伯模型的LED,在某些情况下,这种差别可以超过100%。因此,本发明为CA-RSSR中的朗伯模型设置一个10%以内的随机偏差。
另一方面,P4L利用一个矩形灯具来估计相机的位置和姿态,假设相机已知3D-2D对应关系,然而,矩形信标无法将坐标传递给相机,这使得该假设并不实际。此外,基于垂直和水平直线数目的差异,利用相机捕捉天花板上的信标来寻找3D-2D对应关系的方法也不实际。因此,本发明为3D-2D对应关系设置一个10%以内的随机偏差。
将定位误差定义为
Figure BDA0002687396370000143
其中,
Figure BDA0002687396370000144
Figure BDA0002687396370000145
分别是接收器真实的世界坐标和估计的世界坐标。此外,将方向误差定义为
OE=|Θtrueest| (27)
其中,Θtrue和Θest分别是真实的旋转角和估计的旋转角。
首先评估了灯具的宽度对V-P4L定位精度的影响。该性能是由定位误差的均值来表示,宽度从20cm至100cm。图像噪声被建模为期望为0、标准差为2像素的高斯噪声。如图3所示,在三种算法中,V-P4L能够获得最优的性能。对于V-P4L来说,无论灯具的宽度是多少,定位误差的均值都能保持在23cm以下。而对于CA-RSSR,随着灯具宽度从20cm增加至100cm,定位误差的均值从102cm减少至68cm。此外,对于PnL法,定位误差的均值从105cm减少至38cm。如图3所示,三种算法的定位精度都随着宽度的增加而增加。此外,使用单个宽度大于20cm的LED灯具,V-P4L的定位误差的均值总是小于18cm,因此V-P4L可以应用于流行的室内灯具。
由于姿态估计的精度也会受到LED灯具宽度的影响,所以比较了V-P4L和P4L法在不同灯具宽度下沿x轴、y轴和z轴的方向误差的均值。如图4所示,对于V-P4L和P4L法来说,在LED灯具的所有宽度下,沿x轴和y轴的方向误差的均值均保持在4°以下。此外,对于V-P4L,随着灯具宽度的增加,沿z轴的方向误差的均值从4.5°减少至1.5°。相比之下,对于P4L法,沿z轴的方向误差的均值从10.2°减少至6.8°。因此,与P4L法相比,V-P4L可以获得更高的姿态估计精度。
然后评估了当灯具宽度为40cm时,图像噪声对V-P4L定位性能的影响。图像噪声被建模为高斯白噪声,期望为0,标准差σn,从0变化至4像素。不同图像噪声下定位误差的均值,如图5所示,对于V-P4L来说,当σn为0像素时,定位误差的均值为0cm。这说明V-P4L的定位误差完全是由图像噪声引起的。此外,对于V-P4L,随着图像噪声从0增加至4像素,定位误差的均值从0cm增加至18cm。而对于P4L法,定位误差的均值从30cm增加至40cm。此外,对于CA-RSSR,定位误差的均值约为90cm。因此,与P4L法和CA-RSSR相比,V-P4L可以获得更高的位置估计精度。
最后比较了V-P4L和P4L法在不同图像噪声下的姿态估计精度。图像噪声从0变化至4像素时沿x轴、y轴和z轴的方向误差的均值,如图6所示,V-P4L在0至4像素范围内表现很好,沿x轴、y轴和z轴的方向误差的均值小于3.5°。相比之下,对于P4L法,沿z轴方向误差的均值从6°增加至8°。因此,与P4L法相比,不论图像噪声是多少,V-P4L可以获得更稳定、更精确的姿态估计。

Claims (4)

1.一种室内定位中新颖的可见光通信辅助的透视四线方法,其特征在于,具体步骤如下:
步骤一、构建包括一个LED灯具发射器和一个待定位相机接收器的场景,同时定义四种定位坐标系;
步骤二、待定位相机获得LED灯具四个顶点投影的像素坐标后,基于单视图几何将像素坐标变换到图像坐标;
步骤三、利用LED灯具四个顶点投影的图像坐标,基于单视图几何、平面几何和立体几何,在CCS中估计LED灯具的方向;
在CCS中LED灯具的方向用矩形P1P2P3P4的单位法向量表示,即:
Figure FDA0002687396360000011
其中,
Figure FDA0002687396360000012
Figure FDA0002687396360000013
Figure FDA0002687396360000014
A、B和C是CCS中矩形P1P2P3P4的一般形式方程的系数;m和n是利用LED灯具四个顶点投影的图像坐标,并基于单视图几何、平面几何和立体几何推导过程的中间变量;
步骤四、基于立体几何计算LED灯具的四个顶点在CCS中的相机坐标;
LED灯具的第i个顶点Pi的相机坐标
Figure FDA0002687396360000015
表示为:
Figure FDA0002687396360000016
其中,
Figure FDA0002687396360000017
Figure FDA0002687396360000018
Aij、Bij和Cij((i,j)∈{(1,2),(2,3),(3,4),(4,1)})是顶点Pi、Pj和oc构成的侧面Πij的一般形式方程的系数;
Figure FDA0002687396360000019
其中,
Figure FDA00026873963600000110
Figure FDA0002687396360000021
M12=W1,W2,W3 T,M23=W2,W3,W4 T,M34=W3,W4,W1 T,M41=W4,W1,W2 T;S是灯具的面积;
步骤五、基于单视图几何,利用LED灯具在CCS和WCS中的方向,计算待定位相机在xc轴对应的旋转角
Figure FDA0002687396360000022
和yc轴对应的旋转角θ;
基于单视图几何,灯具在WCS中的单位法向量为
Figure FDA0002687396360000023
在CCS中的单位法向量为
Figure FDA0002687396360000024
转换关系为:
Figure FDA0002687396360000025
Figure FDA0002687396360000026
为CCS到WCS的旋转矩阵,即相机的姿态;
Figure FDA0002687396360000027
RX表示沿xc轴的旋转矩阵,
Figure FDA0002687396360000028
Figure FDA0002687396360000029
是xc轴对应的旋转角;
RY表示沿yc轴的旋转矩阵,
Figure FDA00026873963600000210
θ是yc轴对应的旋转角;
RZ表示沿zc轴的旋转矩阵,
Figure FDA00026873963600000211
ψ是zc轴对应的旋转角;
因此有:
Figure FDA00026873963600000212
通过求解上式即可得到待定位相机的xc轴对应的旋转角
Figure FDA00026873963600000213
和yc轴对应的旋转角θ;
步骤六、通过可见光通信将LED灯具四个顶点的世界坐标发送至待定位相机,然后利用LED灯具在CCS中的相机坐标,计算WCS中待定位相机的z坐标;
具体步骤如下:
首先,针对LED灯具的第i个顶点Pi,相机坐标为
Figure FDA00026873963600000214
世界坐标为
Figure FDA00026873963600000215
然后,世界坐标与相机坐标的转换为:
Figure FDA00026873963600000216
Figure FDA00026873963600000217
是待定位相机的3D世界坐标,即待定位相机的位置;
WCS中待定位相机的z坐标计算如下:
Figure FDA00026873963600000218
其中,c1,c2和c3是通过xc轴和yc轴的旋转矩阵相乘后,得到的矩阵元素值,即:
Figure FDA0002687396360000031
步骤七、基于线性最小二乘法计算待定位相机zc轴对应的旋转角ψ、以及WCS中待定位相机的x坐标tx和y坐标ty,最终得到待定位相机在WCS中的姿态和位置;
首先,将未知参数设为X=[cosψ,sinψ,tx,ty]T,X是X的估计;
线性最小二乘法的未知参数方程为:
X=Aij TAij -1Aij Tbij
其中,Aij=[Ai,Aj]T,bij=[bi,bj]T(i,j∈{1,2,3,4},i≠j),其中
Figure FDA0002687396360000032
Figure FDA0002687396360000033
每个bij=[bi,bj]T(i,j∈{1,2,3,4},i≠j),分别对应6个Ars(r,s∈{1,2,3,4},r≠s),得到6个解,其中有一个解Xij即为bij对应正确的解X;
针对6个不同的b12,b13,b14,b23,b24,b34,总共可以获得6组36个解,通过对这6组中6个最接近的解Xij求平均得到最优结果,表示如下:
Figure FDA0002687396360000034
最终,得到待定位相机的姿态和位置,即
Figure FDA0002687396360000035
Figure FDA0002687396360000036
2.如权利要求1所述的一种室内定位中新颖的可见光通信辅助的透视四线方法,其特征在于,所述步骤一中,四种坐标系分别是像素坐标系(Pixel Coordinate System,PCS)op-upvp、图像坐标系(Image Coordinate System,ICS)oi-xiyi、相机坐标系(CameraCoordinate System,CCS)oc-xcyczc和世界坐标系(World Coordinate System,WCS)ow-xwywzw
3.如权利要求1所述的一种室内定位中新颖的可见光通信辅助的透视四线方法,其特征在于,所述步骤一中,场景中的发射器被安装在天花板上,是一个由4个顶点Pi(i∈{1,2,3,4})构成的支持可见光通信的矩形LED灯具,WCS中灯具的第i个顶点的坐标为
Figure FDA0002687396360000037
四条3D参考线Lij((i,j)∈{(1,2),(2,3),(3,4),(4,1)})是灯具的边;
场景中的接收器是一个标准的针孔相机,与灯具不共面;因此,发射器和接收器构成了一个四棱锥oc-P1P2P3P4
4.如权利要求1所述的一种室内定位中新颖的可见光通信辅助的透视四线方法,其特征在于,所述步骤二中,LED灯具的第i个顶点Pi在待定位相机的图像平面上投影点为pi,像素坐标为
Figure FDA0002687396360000038
Figure FDA00026873963600000311
Lij在图像平面上的2D投影为lij
投影点pi的图像坐标
Figure FDA0002687396360000039
Figure FDA00026873963600000310
表示如下
Figure FDA0002687396360000041
其中,dx是图像平面上x轴方向每个像素的物理尺寸,dy是图像平面上y轴方向每个像素的物理尺寸;此外,u0,v0 T是ICS原点oi的像素坐标,称为主点。
CN202010980688.XA 2020-09-17 2020-09-17 一种室内定位中新颖的可见光通信辅助的透视四线方法 Active CN112164113B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010980688.XA CN112164113B (zh) 2020-09-17 2020-09-17 一种室内定位中新颖的可见光通信辅助的透视四线方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010980688.XA CN112164113B (zh) 2020-09-17 2020-09-17 一种室内定位中新颖的可见光通信辅助的透视四线方法

Publications (2)

Publication Number Publication Date
CN112164113A true CN112164113A (zh) 2021-01-01
CN112164113B CN112164113B (zh) 2022-02-25

Family

ID=73858294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010980688.XA Active CN112164113B (zh) 2020-09-17 2020-09-17 一种室内定位中新颖的可见光通信辅助的透视四线方法

Country Status (1)

Country Link
CN (1) CN112164113B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103383446A (zh) * 2013-04-09 2013-11-06 北京半导体照明科技促进中心 基于可见光的室内定位方法、装置和系统以及光源
CN103823204A (zh) * 2014-03-10 2014-05-28 北京理工大学 一种基于可见光标签的室内定位方法
US20150230322A1 (en) * 2014-02-13 2015-08-13 Electronics And Telecommunications Research Institute Apparatus and method for providing indoor location information using lighting control network
CN106569173A (zh) * 2016-11-09 2017-04-19 北京大学 一种检测可见光到达角的pd阵列及室内可见光定位方法
US20170238146A1 (en) * 2016-02-16 2017-08-17 Aisle411, Inc. Systems and Methods for Improving Indoor Position Detection
CN109949367A (zh) * 2019-03-11 2019-06-28 中山大学 一种基于圆形投影的可见光成像定位方法
CN110309715A (zh) * 2019-05-22 2019-10-08 北京邮电大学 基于深度学习的灯具识别的室内定位方法、装置及系统
CN111413670A (zh) * 2020-04-02 2020-07-14 北京邮电大学 一种增强型相机辅助的基于接收信号强度比的定位方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103383446A (zh) * 2013-04-09 2013-11-06 北京半导体照明科技促进中心 基于可见光的室内定位方法、装置和系统以及光源
US20150230322A1 (en) * 2014-02-13 2015-08-13 Electronics And Telecommunications Research Institute Apparatus and method for providing indoor location information using lighting control network
CN103823204A (zh) * 2014-03-10 2014-05-28 北京理工大学 一种基于可见光标签的室内定位方法
US20170238146A1 (en) * 2016-02-16 2017-08-17 Aisle411, Inc. Systems and Methods for Improving Indoor Position Detection
CN106569173A (zh) * 2016-11-09 2017-04-19 北京大学 一种检测可见光到达角的pd阵列及室内可见光定位方法
CN109949367A (zh) * 2019-03-11 2019-06-28 中山大学 一种基于圆形投影的可见光成像定位方法
CN110309715A (zh) * 2019-05-22 2019-10-08 北京邮电大学 基于深度学习的灯具识别的室内定位方法、装置及系统
CN111413670A (zh) * 2020-04-02 2020-07-14 北京邮电大学 一种增强型相机辅助的基于接收信号强度比的定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
L. BAI ET AL: "Camera assisted received signal strength ratio algorithm for indoor visible light positioning", 《IEEE COMMUN. LETT.》 *
闰大禹: "国内室内定位技术发展现状综述", 《导航定位学报》 *

Also Published As

Publication number Publication date
CN112164113B (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
EP2976600B1 (en) Indoor navigation via multi-beam laser projection
CN112484746B (zh) 一种基于地平面的单目视觉辅助激光雷达里程计方法
CN109785373B (zh) 一种基于散斑的六自由度位姿估计系统及方法
CN111413670B (zh) 一种增强型相机辅助的基于接收信号强度比的定位方法
Bai et al. Novel visible light communication assisted perspective-four-line algorithm for indoor localization
CN112927302A (zh) 一种多线激光雷达与相机联合标定的标定板及标定方法
Luo et al. Multisensor integrated stair recognition and parameters measurement system for dynamic stair climbing robots
US20140285630A1 (en) Indoor navigation via multi beam laser projection
US20170091945A1 (en) Point and sensor estimation from images
CN112164113B (zh) 一种室内定位中新颖的可见光通信辅助的透视四线方法
Jang et al. Metric localization using a single artificial landmark for indoor mobile robots
Nie et al. Automatic extrinsic calibration of dual LiDARs with adaptive surface normal estimation
Sun et al. Real-time monocular visual self-localization approach using natural circular landmarks for indoor navigation
JPH07152810A (ja) 環境モデル作成装置
Cupec et al. Global localization based on 3d planar surface segments
Zhang et al. Triangle codes and tracer lights based absolute positioning method for terminal visual docking of autonomous underwater vehicles
CN114004900A (zh) 一种基于点线面特征的室内双目视觉里程计方法
Zamanakos et al. A cooperative LiDAR-camera scheme for extrinsic calibration
CN116710975A (zh) 提供导航数据以控制机器人的方法、控制机器人的方法、制造至少一个预定义点对称区域的方法和设备
Chen et al. Ceiling vision localization with feature pairs for home service robots
Boutteau et al. Circular laser/camera-based attitude and altitude estimation: minimal and robust solutions
Song et al. A survey: Stereo based navigation for mobile binocular robots
Kaushik et al. Polygon-based laser scan registration by heterogeneous robots
Yang et al. Accurate Positioning with Single Vision Beacon: A Spatial Geometry Based Algorithm
Kaushik et al. Polygon-based 3D scan registration with dual-robots in structured indoor environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant