CN110261823B - 基于单个led灯的可见光室内通信定位方法及系统 - Google Patents

基于单个led灯的可见光室内通信定位方法及系统 Download PDF

Info

Publication number
CN110261823B
CN110261823B CN201910441840.4A CN201910441840A CN110261823B CN 110261823 B CN110261823 B CN 110261823B CN 201910441840 A CN201910441840 A CN 201910441840A CN 110261823 B CN110261823 B CN 110261823B
Authority
CN
China
Prior art keywords
camera
led lamp
module
smart phone
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910441840.4A
Other languages
English (en)
Other versions
CN110261823A (zh
Inventor
郝洁
陈静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201910441840.4A priority Critical patent/CN110261823B/zh
Publication of CN110261823A publication Critical patent/CN110261823A/zh
Priority to US16/881,853 priority patent/US11050489B2/en
Application granted granted Critical
Publication of CN110261823B publication Critical patent/CN110261823B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V33/00—Structural combinations of lighting devices with other articles, not otherwise provided for
    • F21V33/0004—Personal or domestic articles
    • F21V33/0052—Audio or video equipment, e.g. televisions, telephones, cameras or computers; Remote control devices therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/501—Structural aspects
    • H04B10/502—LED transmitters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/10—Controlling the intensity of the light
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/165—Controlling the light source following a pre-assigned programmed sequence; Logic control [LC]
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/175—Controlling the light source by remote control
    • H05B47/19—Controlling the light source by remote control via wireless transmission
    • H05B47/195—Controlling the light source by remote control via wireless transmission the transmission using visible or infrared light
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21W—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO USES OR APPLICATIONS OF LIGHTING DEVICES OR SYSTEMS
    • F21W2111/00—Use or application of lighting devices or systems for signalling, marking or indicating, not provided for in codes F21W2102/00 – F21W2107/00
    • F21W2111/10—Use or application of lighting devices or systems for signalling, marking or indicating, not provided for in codes F21W2102/00 – F21W2107/00 for personal use, e.g. hand-held
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO THE FORM OR THE KIND OF THE LIGHT SOURCES OR OF THE COLOUR OF THE LIGHT EMITTED
    • F21Y2115/00—Light-generating elements of semiconductor light sources
    • F21Y2115/10—Light-emitting diodes [LED]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S2205/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S2205/01—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations specially adapted for specific applications
    • G01S2205/02—Indoor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Telephone Function (AREA)

Abstract

本发明公开了一种基于单个LED灯的可见光室内通信定位方法及系统，同时使用了可见光通信技术以及计算机视觉技术，在周围环境中仅存在单个LED灯时，对智能手机用户进行室内定位。主要包含LED通信模块和智能手机模块，LED通信模块向智能手机发送其坐标及形状数据。智能手机模块由惯性测量单元以及摄像头组成，IMU用于获取智能手机的运动数据，摄像头用于对着LED灯拍摄视频流。最后对视频流中LED灯中心点坐标及IMU数据进行计算处理，并利用视频流中椭圆的单应性矩阵提供约束条件，从而得出智能手机的精确位置信息，并对用户提供基于位置的导航、查询等服务。

Description

基于单个LED灯的可见光室内通信定位方法及系统
技术领域
本发明涉及一种室内定位技术，尤其是一种基于单个LED灯的可见光室内定位和服务系统。
背景技术
近年来，建筑物的层数和面积都日渐庞大，随着室内环境复杂度的不断增加，出现了大量室内定位技术。如WIFI、RFID、UWB、iBeacon、ZigBee、红外线室内定位技术等。而在日常生活中，LED灯不仅可以作为照明光源，还可以进行高速通信。由于可见光通信具有低成本、高安全性、高速率、环保节能、无需频谱认证等优点，在很大程度上，能够缓解无线频谱资源紧张的问题。随着LED灯的普及，可见光通信技术也在各类领域有着广阔的发展前景。同样也出现了大量利用可见光通信进行室内定位的技术。
在可见光室内定位(VLP)技术方面，现有的VLP技术，需要定位场景内包含至少三个LED灯，才能进行室内定位。另外，目前的可见光定位技术主要融合了RSS、AOA或摄像机等方式。但是基于RSS和AOA的可见光定位方案，通常都会在测量上出现估计误差，定位精度不高。但在实际生活中，很多地方并没有覆盖到多个LED灯，如长走廊，小房间等LED灯稀疏的场景下，相邻LED灯之间距离较远，接收器(光传感器或智能手机摄像机)大多数时间内，仅仅可以感测1-2个LED灯。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种利用包含频率信息的LED灯、相机及IMU对智能手机用户进行定位的基于单个LED灯的可见光室内通信定位方法及系统，本发明在在LED通信模块中，对LED灯进行高效的调制和编码，本发明使用RLL和Raptor编码来提高通信效率，LED灯加载其自身的半径、ID、现实坐标等信息，本发明将这些信息设定相应的频率闪烁，从而进行数据传输。其次，在智能手机模块中，使用摄像机对着LED灯拍摄视频流，并同时记录智能手机的IMU测量数据。最后，将视频流各帧的LED灯图像截取出来，并对LED灯进行解码和解调，提取图像中的LED灯形状，收集LED灯的半径和现实坐标等一系列信息。IMU数据，LED灯数据共同为可见光定位技术提供很好的约束和优化条件，从而实现精确的室内定位。
技术方案：为实现上述目的，本发明采用的技术方案为：
一种基于单个LED灯的可见光室内通信定位方法，针对周围环境中LED灯稀疏的情况，本发明讨论了基于单个LED灯的可见光室内定位技术。在单个LED灯的应用场景下，本发明利用智能手机的惯性测量单元(IMU)和摄像机进行可见光室内定位。IMU测量智能手机的运动数据，摄像机拍摄视频，IMU和摄像机在多项研究工作中都被使用过，且现在市面上的智能手机都集成了这些传感器件，用户仅需一部智能手机，就可以进行对自身位置信息进行确定。通过IMU和摄像机收集的数据，还可以弥补在定位过程中单个LED灯信息的不足。通过获取各类关于LED灯和智能手机的信息，可以利用计算机视觉中的射影几何原理，提供智能手机的定位约束条件和位置相关信息。
可见光通信技术将需要发送的信息进行高效的编码调制，再通过LED灯发射出相应的频率，将信息传输至接收端。接收端对接受到的信息进行解码和解调，便可以完成通信。其中，行程限制编码(RLL)编码和Raptor码都具有高可靠性，可以保证可见光通信的完整性和高效性。RLL编码是线路编码技术，用于通过带宽限制的通信信道发送数据，一般由四个参数定义：(m,n,d,k)。m、n表示代码速率，而另外两个指定连续的0之间的最小d和最大k个零。作为喷泉码，Raptor编码计算复杂度低、开销低、效率高，可以从一组给定的源符号中产生一串无限的编码符号序列，理想情况下，只需获得大小和源符号相同或稍大的任意编码符号子集，便可恢复出源符号，提供可靠的通信。具体包括以下步骤：
步骤1，通过可见光通信技术将需要发送的信息进行编码调制，通过LED灯进行数据传输。
步骤2，通过智能手机的摄像机对着LED灯拍摄视频流，并同时记录智能手机的IMU测量数据，IMU测量智能手机在各个方向的加速度(ax,ay,az)和旋转角度信息(α,β,γ)，以此计算出智能手机的运动方向和位移(tx,ty,tz)。
步骤3，将视频流各帧的LED灯图像截取出来，并对LED灯传输数据进行解码和解调，提取图像中的LED灯形状，收集LED灯在世界坐标系下的位置(Xo,Yo,Zo)、半径Ro。
步骤4，
将视频流按时隙划分成单个的图像帧，对于每两个相邻的图像Ii和Ii+1，计算单应性矩阵：
Figure GDA0003668165630000021
其中，Hi,i+1为单应性矩阵，K为智能手机摄像机的内参矩阵，ni是第i个相机坐标系下的灯平面的法线向量,zi是拍摄第i张图像时相机中心到灯平面的距离，Ri,i+1表示相机的旋转矩阵，ti,i+1表示相机的位移参数。
椭圆的一般方程为：
ax2+bxy+cy2+dx+ey+f＝0
对于多视图几何体，通过投影到图像上的椭圆形状导出Ii和Ii+1之间的单应性矩阵Hi,i+1，其中每个图像上的椭圆都由圆锥系数矩阵Ci表示出来：
Figure GDA0003668165630000031
其中，[ai,bi,ci,di,ei,fi]表示第i幅图像上的投影椭圆一般方程的系数。
在单应性矩阵Hi,i+1的条件下，Ci转换为
Figure GDA0003668165630000032
建立优化模型：
Figure GDA0003668165630000033
其中，z1,z2,…zn表示拍摄第1,2,...,n张图像时，相机中心到灯平面的距离，n表示视频帧的总数，通过优化模型对智能相机旋转矩阵Ri,i+1进行校准。
首先利用IMU对手机的运行状态进行了测量，可以得出Ri,i+1和ti,i+1，
其中旋转矩阵Ri,i+1是由(α,β,γ)计算得出，
Figure GDA0003668165630000034
但实际IMU在测量时，α,β角度比较准确，γ角度误差较大。因此需要使用优化模型。
Figure GDA0003668165630000035
在每两张图像之间的单应性矩阵Hi,i+1中，包含已知的IMU测量的(α,β,γ)；默认α,β可以直接代入优化模型，其中Ci和Ci+1由图像中椭圆形状得出，也代入到优化模型中。最终得出的就是满足优化模型的γ’的值。γ’的值有多个解，但γ’应该满足在原始的γ角度的误差范围内等条件。
可以简单的理解为，在优化模型中，仅知道γ角度的大概位置，但是精确的γ角度未知，通过解得优化后的γ’角，再代入Ri,i+1,得出最终的旋转矩阵。
步骤5，根据校准后的摄像机参数计算摄像机的内参矩阵和外参矩阵：
内参矩阵Μ1为：
Figure GDA0003668165630000041
其中，f为相机的焦距，dX，dY表示图像中的每一个像素在X轴与Y轴方向上的物理尺寸，(u0,v0)表示图像坐标系的原点。
根据智能手机的运动方向和位移(tx,ty,tz)计算外参矩阵Μ2：
Figure GDA0003668165630000042
在外参矩阵中，0T＝(0,0,0)T，R是智能手机的旋转矩阵，t为三维的平移变量，包含智能手机在移动中的位移数据，
步骤6，通过拍摄视频流获取多张LED灯的图像，通过三角形相似定律对LED灯到相机中心的距离Zc进行求解：
Zc＝B×f/d
其中，d为两张图像中LED灯中心点位置的长度，B为摄像机拍摄两张图像时的实际间隔，B通过IMU中加速度传感器数据计算得出，或利用LED灯的半径Ro与图像中获取的椭圆形短轴进行对比，获得比率参数s，再将d按照相同的比率参数s进行B的计算。
步骤7，根据摄像机的内参矩阵和外参矩阵得出摄像机的投影矩阵，对空间中任意的图像点Pw(Xw，Yw，Zw)，通过投影矩阵以及LED灯到相机中心的距离Zc求出其图像点pi的位置(μ,ν)
Figure GDA0003668165630000043
其中，Zc为LED灯到相机中心的距离，
步骤6，当已知图像点pi的位置(μ,ν)时，利用相机的内参矩阵M1将图像坐标系下的图像点pi点转化到摄像机坐标系下图像点Pc，再通过外参矩阵M2将图像点Pc转换成世界坐标系下的图像点P'w，然后加上LED灯在世界坐标系下的具体坐标(Xo,Yo,Zo)，得出智能手机的坐标Pw。
当已知图像点pi的位置(μ,ν)时，利用相机的内参矩阵M1将图像坐标系下的图像点pi点转化到摄像机坐标系下图像点Pc，再通过外参矩阵M2将图像点Pc转换成世界坐标系下的图像点P'w
Pw＝P'w+(Xo,Yo,Zo)
步骤7，根据智能手机的坐标Pw，通过LED灯传输关于此智能手机的坐标Pw相关的服务数据信息，智能手机的摄像机对着LED灯拍摄视频流，并对LED灯传输数据进行解码和解调，得到相关的服务数据信息。
优选的：使用RLL编码和Raptor码对LED灯进行编码和调制。
优选的：智能手机拍摄的视频为每秒30帧或者60帧。
一种采用基于LED灯的可见光室内通信定位方法的系统，包括LED通讯模块、电源模块、智能手机模块，所述电源模块为LED通讯模块供电，所述LED通讯模块包括编码调制模块、控制模块和LED灯，所述控制模块根据编码调制模块对LED灯进行调控，所述智能手机模块包括摄像头、解码解调模块、IMU模块、定位模块。基于位置的服务模块，所述摄像头、解码解调模块、定位模块依次连接，且所述摄像头、IMU模块、基于位置的服务模块均与定位模块连接。
优选的：所述基于位置的服务模块包括定位导航模块、信息服务模块、跟踪识别模块、安全检查模块。
本发明相比现有技术，具有以下有益效果：
本发明可以适用于室内只包含单个LED灯的情况，适用范围较广。使用智能手机摄像机以及IMU模块，无需使用其他光传感器，也不需要在LED灯上加装另外的物理模块。通过摄像头识别LED灯的频率，准确性较高，相比较于其他非可见光定位技术，也无需引入多余的设备。本发明中使用的单应性矩阵作为约束和优化条件，可以较好的提高定位精度，基于这样的定位精度，本发明提供基于位置的服务，用户可以在商场、景点等多种情况下，对自身进行定位，导航，查询等操作。
附图说明
图1为本发明的系统设计框架图。
图2为本发明的系统部署图。
图3为本发明的可见光定位示意图。
图4为本发明的基于位置的服务示意图。
图5为本发明的单个LED灯场景示意图。
其中：1.圆形的LED灯，2.智能手机，3.仅含单个LED灯的房间，4.对LED灯进行编码操作，5.手持智能手机的用户。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
一种基于单个LED灯的可见光室内通信定位方法，如图1-5所示，同时使用了可见光通信技术以及计算机视觉技术，在周围环境中仅存在单个LED灯时，对智能手机用户进行室内定位。使用RLL编码和Raptor码对天花板上的LED灯进行编码和调制，其中，LED灯的频率闪烁中包含了该灯在世界坐标系下的具体位置(Xo,Yo,Zo)、半径Ro、编号等信息。LED灯的频率闪烁效果肉眼并不可见，所以不会对人们生活产生影响。而相机在捕获图像时使用卷帘快门的拍摄方式，当CMOS成像器使用短曝光时间捕获快速调制的LED时，会出现带状效应，不同的LED频率或占空比会改变图像中亮带和暗带的宽度，当相机拍摄LED之后，可以根据相应的带状效应进行解码解调操作，达到识别的作用。
当天花板上的圆形LED灯进行编码调制等布置之后，本发明利用智能手机的IMU收集手机运动状态数据，同时利用相机拍摄LED灯的视频。
IMU测量智能手机在各个方向的加速度(ax,ay,az)和旋转角度信息(α,β,γ)，以此计算出智能手机的运动方向和位移(tx,ty,tz)。在实际操作的过程中，首先要保证智能手机拍摄视频流和收集IMU数据的同时性，其次，需要将提取的数据和视频流各帧进行时间和各数量单位的统一。
本发明使用的是圆形的LED灯，故投影到视频帧图像上的是经过变化的椭圆形状，还包括椭圆中的一些特征点信息。在这样的情况下，需要获取智能手机的相机焦距和每一个像素的物理尺寸，并对所有IMU数据进行收集和预处理，可以了解智能手机运动过程中的俯仰角α，滚动角β和航向角γ的角度值，以及智能手机的相对位置变化数据。在理想情况下，通过这些数据可以得出智能手机相机的内外参数矩阵。一般来说，同一种智能手机的内部参数矩阵Μ1不会变化，而智能手机相机的外部参数矩阵Μ2则会随着智能手机的移动或旋转角度进行改变。
在计算机视觉技术方面，通过阅读相关的文献，获取了以下摄像机透视投影模型的基础知识，如图像坐标系、摄像机坐标系与世界坐标系的相互转化关系，并了解了针孔成像模型(线性摄像机模型)中介绍的摄像机的内外参数。其中，摄像机的内参矩阵Μ1负责将相机坐标系转换为像素坐标系：
Figure GDA0003668165630000071
其中，f为相机的焦距。dX、dY，他们表示图像中的每一个像素在X轴与Y轴方向上的物理尺寸，(u0,v0)表示图像坐标系的原点，定义在相机的光轴与图像平面的交点，一般在图像的中心位置。而外参矩阵，是由摄像机在移动旋转过程中产生的，一直在不断变化。外参矩阵一般表示为：
Figure GDA0003668165630000072
在外参矩阵中，0＝(0,0,0)T，R是智能手机的旋转矩阵，是一个大小为3×3的正交单位矩阵，t为三维的平移变量，包含智能手机在三个方向移动中的位移数据。获得了相机的内外参数矩阵，就可以得出摄像机的投影矩阵。此时，对空间中任意的点Pw，都可以通过投影矩阵转换的方式，求出其图像点pi的位置(μ,ν)。
Figure GDA0003668165630000073
同样，当已知图像点pi(μ,ν)时，可以利用相机的内参矩阵Μ1将图像坐标系下的pi点转化到摄像机坐标系下Pc，再通过外参矩阵Μ2将Pc转换成世界坐标系下的P'w，最后，还需要加上LED灯在世界坐标系下的具体坐标(Xo,Yo,Zo)，才能得出智能手机的坐标Pw。但在转换的过程中，需要获得LED灯到相机中心的距离，即Zc。
因此本发明通过拍摄视频流的方式获取多张LED灯的图像，模拟了双目视觉测距的方法，通过三角形相似定律对Zc进行求解。
Zc＝B×f/d
其中，d为两张图像之间的视差，即两张图像中LED灯中心点位置的长度，B为摄像机拍摄两张图像时的实际间隔，B可以通过IMU中加速度传感器数据计算得出，也可以利用LED灯的半径Ro与图像中获取的椭圆形短轴进行对比，获得参数s，再将d按照相同的比率s进行B的计算。
最后将Zc应用到像素坐标系及世界坐标系的转换中，便可以得出智能手机在世界坐标系的位置。但是，在测量数据的过程中，由于磁体传感器容易受到周围环境的干扰，旋转角度中航向角的实际测量值与真实值差异较大，这会导致定位精度变低。因此我们继续采取以下的方法对智能手机的位置进行约束。
相机拍摄的包含LED灯的视频流被按时隙划分成单个的图像帧，对于每两个相邻的图像Ii和Ii+1，根据计算机视觉的知识可以导出单应性矩阵，
Figure GDA0003668165630000081
其中ni是相机坐标为Ii的灯平面的法线向量,zi是从相机中心Ii到灯平面的距离。在分时隙提取图像帧的过程中，将对应的智能手机移动数据进行处理，可以得出每两帧图像之间，智能手机运动的内外参数矩阵Μ1、Μ2以及移动的距离(tx,ty,tz)。
对于多视图几何体，可以通过投影到图像上的椭圆形状导出Ii和Ii+1之间的单应性矩阵Hi,i+1。其中每个图像上的椭圆都可以由圆锥系数矩阵表示出来，
Figure GDA0003668165630000082
在单应性矩阵Hi,i+1的条件下，Ci转换为
Figure GDA0003668165630000083
这样的条件可以提供一个精确的约束，可以用于校准Ri,i+1和ti,i+1。由于三个旋转角度以及每一次的位移变化都存在误差，因此可能无法产生精确解，此时，本系统拟采取以下的方式解决问题，
Figure GDA0003668165630000084
利用优化的方式对各项数据进行求解，可以校准Ri,i+1和ti,i+1，对智能手机的移动状态进行约束，纠正智能手机IMU测量数据，降低各方向旋转角度的误差，提高LED灯定位精度，可以了解决磁体传感器易受干扰的问题，最终得出智能手机的位置。
在定位实现之后，本发明在基于位置的服务方面，将利用可靠性比较高的调制和编码技术，构建可见光通信网络，通过通信网络向智能手机提供与位置相关的信息服务.首先可以进行用户认证和授权，在提供位置服务的过程中，通过过滤向用户提供最感兴趣，最有效的信息，并允许用户保存个性化信息等。本发明可以在商场、景点、地下车库等地为用户提供定位、导航、查询、识别、及事件检查服务等等。
采用基于LED灯的可见光室内通信定位方法的系统，如图1所示，包括LED通讯模块、电源模块、智能手机模块，所述电源模块为LED通讯模块供电，所述LED通讯模块包括编码调制模块、控制模块和LED灯，所述控制模块根据编码调制模块对LED灯进行调控，所述智能手机模块包括摄像头、解码解调模块、IMU模块、定位模块。基于位置的服务模块，所述摄像头、解码解调模块、定位模块依次连接，且所述摄像头、IMU模块、基于位置的服务模块均与定位模块连接。所述基于位置的服务模块包括定位导航模块、信息服务模块、跟踪识别模块、安全检查模块，智能手机中摄像机和IMU获得的一系列材料可以为系统提供准确的定位，从而提供基于位置的服务。在LED通讯模块中，将LED灯设定为圆形，可见光通过编码调制，按照一定的频率闪烁，传输LED灯的自身信息，智能手机模块收集自身IMU数据，并用摄像头对着LED灯拍摄视频流，通过对视频流及各项数据的提取，可以精确定位智能手机的位置信息，并对智能手机用户提供基于位置的服务。
智能手机模块由摄像头和惯性测量单元IMU组成，焦距为f的摄像头用于对着LED灯拍摄视频流，并同时收集智能手机在拍摄视频流的过程中，自身移动状态数据，包括各方向旋转角度(α,β,γ)及各方向的加速度(ax,ay,az)，得出智能手机的内部参数矩阵Μ1和外部参数矩阵Μ2。利用摄像头获取短爆光后的LED灯图像，可以从LED灯的椭圆图像中识别LED灯的特定频率、LED灯中心点坐标位置以及半径大小等数据。
如图2所示，LED灯采用了直径21厘米的圆形，布置在距地面3-4米的天花板上，额定电压12V，圆形LED灯由9个小LED灯组成，每个小LED灯0.2W，LED灯通信使用的编码(4)方式为RLL编码和Raptor编码。智能手机为华为TRT-AL00A，相机焦距为35mm。用户拿起手机对着LED灯拍摄视频流，在拍摄视频流时，设定智能手机高度约为110-180cm。在系统实际部署时，LED灯和智能手机的型号还可以有多种选择。
首先将LED灯部署在天花板上，并对LED灯进行位置设定，如(0，0，0)。在室内场景较复杂的情况，需要对每一个LED灯赋予特定的准确坐标，再对LED灯进行编码调制，便于系统定位模块的管理。同样，还需要将智能手机摄像机的焦距，以及拍照的像素和实际距离比例提取出来，作为基本输入。其次，对着LED灯拍摄视频流，同时记录智能手机IMU测量数据。
如图3所示，将视频流按固定的时间间隔进行单帧提取，在本设计实现中，智能手机拍摄的视频为每秒30帧，取30帧或者60帧，即1-2s提取一张图像帧。将每一个时间间隔的IMU数据和视频流中提取的帧进行匹配。匹配完成后，每两帧之间会产生特定的旋转矩阵R，以及相对位移向量t。对于每一帧图像，需要将每一帧图像的椭圆中心点进行提取，并获取每帧图像中椭圆的一般方程所需要的所有参数，构建每个椭圆的单应性矩阵。利用单应性矩阵，对智能手机IMU收集到的移动数据进行纠正，尤其是智能手机的旋转角度，这样的设计可以减少IMU数据漂移的误差。
如图4所示，基于位置的服务设计，主要包括定位导航、信息服务、追踪识别，安全检查等几个方面，可以根据用户们的需求进行添加功能。无论是在商场、旅游景点，还是地下车库，都覆盖着用于照明的LED灯，因此，本系统的应用范围非常广泛，且不需要额外的设备。在现实生活中，很容易出现图5中显示的单个LED灯场景，在这样的情况下，本系统可以较好的为智能手机用户提供基于位置的服务。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于单个LED灯的可见光室内通信定位方法，其特征在于，包括以下步骤：
步骤1，通过可见光通信技术将需要发送的信息进行编码调制，通过LED灯进行数据传输；
步骤2，通过智能手机的摄像机对着LED灯拍摄视频流，并同时记录智能手机的IMU测量数据，IMU测量智能手机在各个方向的加速度(ax,ay,az)和旋转角度信息(α,β,γ)，以此计算出智能手机的运动方向和位移(tx,ty,tz)；
步骤3，将视频流各帧的LED灯图像截取出来，并对LED灯传输数据进行解码和解调，提取图像中的LED灯形状，收集LED灯在世界坐标系下的位置(Xo,Yo,Zo)、半径Ro；
步骤4，将视频流按时隙划分成单个的图像帧，对于每两个相邻的图像Ii和Ii+1，计算单应性矩阵：
Figure FDA0003668165620000011
其中，Hi,i+1为单应性矩阵，K为智能手机摄像机的内参矩阵，ni是相机拍摄第i张图片时相机坐标系下的灯平面的法线向量,zi是拍摄第i张图像时相机中心到灯平面的距离，Ri,i+1表示相机的旋转矩阵，ti,i+1表示相机的位移参数；
椭圆的一般方程为：
ax2+bxy+cy2+dx+ey+f＝0
对于多视图几何体，通过投影到图像上的椭圆形状导出Ii和Ii+1之间的单应性矩阵Hi,i+1，其中每个图像上的椭圆都由圆锥系数矩阵Ci表示出来：
Figure FDA0003668165620000012
其中，[ai,bi,ci,di,ei,fi]表示第i张图片上的投影椭圆一般方程的系数；
在单应性矩阵Hi,i+1的条件下，Ci转换为
Figure FDA0003668165620000013
建立优化模型：
Figure FDA0003668165620000014
其中，z1,z2,…zn表示拍摄第1,2,...,n张图像时，相机中心到灯平面的距离，n表示视频帧的总数，
通过优化模型对智能相机旋转矩阵Ri,i+1进行校准；
步骤5，根据校准后的摄像机参数计算摄像机的内参矩阵和外参矩阵：
内参矩阵Μ1为：
Figure FDA0003668165620000021
其中，f为相机的焦距，dX，dY表示图像中的每一个像素在X轴与Y轴方向上的物理尺寸，(u0,v0)表示图像坐标系的原点；
根据智能手机的运动方向和位移(tx,ty,tz)计算外参矩阵Μ2：
Figure FDA0003668165620000022
在外参矩阵中，0T＝(0,0,0)T，R是智能手机的旋转矩阵，t为三维的平移变量，包含智能手机在移动中的位移数据，
步骤6，通过拍摄视频流获取多张LED灯的图像，通过三角形相似定律对LED灯到相机中心的距离Zc进行求解：
Zc＝B×f/d
其中，d为两张图像中LED灯中心点位置的长度，B为摄像机拍摄两张图像时的实际间隔，B通过IMU中加速度传感器数据计算得出，或利用LED灯的半径Ro与图像中获取的椭圆形短轴进行对比，获得比率参数s，再将d按照相同的比率参数s进行B的计算；
步骤7，根据摄像机的内参矩阵和外参矩阵得出摄像机的投影矩阵，对空间中任意的图像点Pw(Xw，Yw，Zw)，通过投影矩阵以及LED灯到相机中心的距离Zc求出其图像点pi的位置(μ,ν)
Figure FDA0003668165620000023
其中，Zc为LED灯到相机中心的距离，
步骤6，当已知图像点pi的位置(μ,ν)时，利用相机的内参矩阵M1将图像坐标系下的图像点pi点转化到摄像机坐标系下图像点Pc，再通过外参矩阵M2将图像点Pc转换成世界坐标系下的图像点P'w，然后加上LED灯在世界坐标系下的具体坐标(Xo,Yo,Zo)，得出智能手机的坐标Pw；
步骤7，根据智能手机的坐标Pw，通过LED灯传输关于此智能手机的坐标Pw相关的服务数据信息，智能手机的摄像机对着LED灯拍摄视频流，并对LED灯传输数据进行解码和解调，得到相关的服务数据信息。
2.根据权利要求1所述基于单个LED灯的可见光室内通信定位方法，其特征在于：使用RLL编码和Raptor码对LED灯进行编码和调制。
3.根据权利要求2所述基于单个LED灯的可见光室内通信定位方法，其特征在于：智能手机拍摄的视频为每秒30帧或者60帧。
4.一种采用权利要求1所述基于单个LED灯的可见光室内通信定位方法的系统，其特征在于：包括LED通讯模块、电源模块、智能手机模块，所述电源模块为LED通讯模块供电，所述LED通讯模块包括编码调制模块、控制模块和LED灯，所述控制模块根据编码调制模块对LED灯进行调控，所述智能手机模块包括摄像头、解码解调模块、IMU模块、定位模块；基于位置的服务模块，所述摄像头、解码解调模块、定位模块依次连接，且所述摄像头、IMU模块、基于位置的服务模块均与定位模块连接。
5.根据权利要求4所述系统，其特征在于：所述基于位置的服务模块包括定位导航模块、信息服务模块、跟踪识别模块、安全检查模块。
CN201910441840.4A 2019-05-24 2019-05-24 基于单个led灯的可见光室内通信定位方法及系统 Active CN110261823B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910441840.4A CN110261823B (zh) 2019-05-24 2019-05-24 基于单个led灯的可见光室内通信定位方法及系统
US16/881,853 US11050489B2 (en) 2019-05-24 2020-05-22 Indoor visible light positioning method and system based on single LED lamp

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910441840.4A CN110261823B (zh) 2019-05-24 2019-05-24 基于单个led灯的可见光室内通信定位方法及系统

Publications (2)

Publication Number Publication Date
CN110261823A CN110261823A (zh) 2019-09-20
CN110261823B true CN110261823B (zh) 2022-08-05

Family

ID=67915360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910441840.4A Active CN110261823B (zh) 2019-05-24 2019-05-24 基于单个led灯的可见光室内通信定位方法及系统

Country Status (2)

Country Link
US (1) US11050489B2 (zh)
CN (1) CN110261823B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110261823B (zh) * 2019-05-24 2022-08-05 南京航空航天大学 基于单个led灯的可见光室内通信定位方法及系统
CN111780769A (zh) * 2020-07-29 2020-10-16 深圳市南科信息科技有限公司 单灯可见光定位方法
CN111965630B (zh) * 2020-08-17 2024-05-28 南京先能光电科技有限公司 一种空间定位系统
CN112351546B (zh) * 2020-09-28 2022-01-04 厦门市智联信通物联网科技有限公司 一种基于光通信的照明控制终端信息采集装置、系统及方法
EP4248586A4 (en) * 2020-12-21 2024-05-15 Huawei Technologies Co., Ltd. POSITIONING SYSTEM BASED ON AN IMAGE ACQUISITION MODULE IN A RECEIVER
CN113188439B (zh) * 2021-04-01 2022-08-12 深圳市磐锋精密技术有限公司 一种基于互联网的手机摄像用自动定位方法
CN113376573B (zh) * 2021-06-01 2023-05-26 北京航空航天大学 一种基于无线电测距和人造光源角测量的融合定位系统
CN113674362B (zh) * 2021-08-24 2023-06-27 北京理工大学 一种基于空间调制的室内成像定位方法及系统
JP2023043632A (ja) * 2021-09-16 2023-03-29 カシオ計算機株式会社 情報処理装置、プログラム、測位方法
CN113783619B (zh) * 2021-09-17 2022-11-15 深圳大学 一种基于融合可见光通信和可见光定位的优化方法
CN113959439B (zh) * 2021-10-21 2024-03-19 重庆邮电大学 稀疏光源下的室内高精度可见光定位方法及系统
CN114124218B (zh) * 2021-11-22 2023-02-28 华南理工大学 一种基于地磁传感器辅助的可见光单灯定位方法及系统
CN114323002B (zh) * 2021-12-27 2023-12-08 浙江大学 一种基于双目视觉、imu和uwb融合的agv定位导航方法
CN115065409B (zh) * 2022-04-28 2023-08-22 浙江大学湖州研究院 基于波分复用的可见光室内通信与定位一体化系统
CN115346419B (zh) * 2022-07-11 2023-08-29 南昌大学 一种基于可见光通信的训练辅助系统
CN115950438B (zh) * 2023-03-15 2023-05-30 武汉理工大学 一种基于光强补偿的船舶舱室可见光定位方法
CN116600453B (zh) * 2023-05-23 2024-04-09 深圳市海凌科电子有限公司 一种分布式灯控系统及其控制方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103837147A (zh) * 2014-03-13 2014-06-04 北京理工大学 主动红外点阵式人工路标及智能体定位系统及方法
CN106092090A (zh) * 2016-08-06 2016-11-09 中科院合肥技术创新工程院 一种用于室内移动机器人定位的红外路标及其使用方法
CN106569173A (zh) * 2016-11-09 2017-04-19 北京大学 一种检测可见光到达角的pd阵列及室内可见光定位方法
CN106767775A (zh) * 2016-11-11 2017-05-31 武汉邮电科学研究院 一种基于图像传感器和惯导传感器的定位方法
CN107219517A (zh) * 2017-07-25 2017-09-29 中航联创科技有限公司上海分公司 基于led可见光通信的手机安卓相机定位系统及其方法
CN107356229A (zh) * 2017-07-07 2017-11-17 中国电子科技集团公司电子科学研究院 一种室内定位方法与装置
CN107395279A (zh) * 2017-08-16 2017-11-24 华南理工大学 一种基于可见光通信的单目定位方法及其系统
CN108507561A (zh) * 2018-03-05 2018-09-07 华南理工大学 一种基于移动终端的vlc与imu融合定位方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1860800A1 (en) * 2002-10-24 2007-11-28 Nakagawa Laboratories, Inc. Illumination light communication device
US9132346B2 (en) * 2012-04-04 2015-09-15 Kenneth J. Huebner Connecting video objects and physical objects for handheld projectors
WO2014193334A1 (en) * 2013-05-26 2014-12-04 Intel Corporation Apparatus, system and method of communicating positioning information
CN103399298B (zh) * 2013-07-30 2015-12-02 中国科学院深圳先进技术研究院 一种基于光强度的多传感器室内定位装置与方法
EP3180872B1 (en) * 2014-08-12 2019-07-31 ABL IP Holding LLC System and method for estimating the position and orientation of a mobile communications device in a beacon-based positioning system
CN107430180A (zh) * 2014-12-10 2017-12-01 南澳大学 基于可见光的室内定位系统
US9883351B2 (en) * 2015-03-25 2018-01-30 Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences Indoor positioning device and indoor positioning method
US9613244B2 (en) * 2015-05-07 2017-04-04 Datalogic IP Tech, S.r.l. 2D indicia pose estimation and consequent grid localization and/or synchronization
EP3182373B1 (en) * 2015-12-17 2019-06-19 STMicroelectronics S.A. Improvements in determination of an ego-motion of a video apparatus in a slam type algorithm
CN108615247B (zh) * 2018-04-27 2021-09-14 深圳市腾讯计算机系统有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN110261823B (zh) * 2019-05-24 2022-08-05 南京航空航天大学 基于单个led灯的可见光室内通信定位方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103837147A (zh) * 2014-03-13 2014-06-04 北京理工大学 主动红外点阵式人工路标及智能体定位系统及方法
CN106092090A (zh) * 2016-08-06 2016-11-09 中科院合肥技术创新工程院 一种用于室内移动机器人定位的红外路标及其使用方法
CN106569173A (zh) * 2016-11-09 2017-04-19 北京大学 一种检测可见光到达角的pd阵列及室内可见光定位方法
CN106767775A (zh) * 2016-11-11 2017-05-31 武汉邮电科学研究院 一种基于图像传感器和惯导传感器的定位方法
CN107356229A (zh) * 2017-07-07 2017-11-17 中国电子科技集团公司电子科学研究院 一种室内定位方法与装置
CN107219517A (zh) * 2017-07-25 2017-09-29 中航联创科技有限公司上海分公司 基于led可见光通信的手机安卓相机定位系统及其方法
CN107395279A (zh) * 2017-08-16 2017-11-24 华南理工大学 一种基于可见光通信的单目定位方法及其系统
CN108507561A (zh) * 2018-03-05 2018-09-07 华南理工大学 一种基于移动终端的vlc与imu融合定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于视觉信息的可见光通信室内定位方法;王语琪等;《计算机技术与发展》(第01期);全文 *

Also Published As

Publication number Publication date
US11050489B2 (en) 2021-06-29
CN110261823A (zh) 2019-09-20
US20200374005A1 (en) 2020-11-26

Similar Documents

Publication Publication Date Title
CN110261823B (zh) 基于单个led灯的可见光室内通信定位方法及系统
US7957007B2 (en) Apparatus and method for illuminating a scene with multiplexed illumination for motion capture
Fang et al. High-speed indoor navigation system based on visible light and mobile phone
CN102749072B (zh) 室内定位方法、装置及系统
Zhu et al. Enabling high-precision visible light localization in today's buildings
US20070268481A1 (en) System and method for measuring scene reflectance using optical sensors
CN107421506B (zh) 一种基于室内可见光通信的视觉追踪定位系统和方法
US20070268366A1 (en) System and method for sensing geometric and photometric attributes of a scene with multiplexed illumination and solid state optical devices
JP3918813B2 (ja) データ通信システム、データ送信装置、並びにデータ受信装置
Liu et al. DIMLOC: Enabling high-precision visible light localization under dimmable LEDs in smart buildings
Aitenbichler et al. An IR local positioning system for smart items and devices
CN105759244B (zh) 基于双摄像头的高精度室内定位系统及定位方法
CN107835050B (zh) 一种基于可见光通信的定位方法及系统
US8009192B2 (en) System and method for sensing geometric and photometric attributes of a scene with multiplexed illumination and solid states optical devices
CN106338712A (zh) 一种基于相机通信的可见光室内定位方法及系统
CN107219517A (zh) 基于led可见光通信的手机安卓相机定位系统及其方法
CN110296707A (zh) 基于vlc技术的室内服务机器人
CN110471403B (zh) 通过光通信装置对能够自主移动的机器进行导引的方法
CN109116298A (zh) 一种定位方法、存储介质及定位系统
Liu et al. Indoor visible light applications for communication, positioning, and security
CN109636850B (zh) 面向室内智能灯下的可见光定位方法
Yang et al. Visible light positioning via floor reflections
CN107196704A (zh) 终端定位方法、装置和电子设备
CN212206103U (zh) 室内定位装置
CN109341687A (zh) 一种基于手机任意水平朝向角度的单led可见光通信室内定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant