CN106597374A - 一种基于摄像帧分析的室内可见光定位方法及系统 - Google Patents

一种基于摄像帧分析的室内可见光定位方法及系统 Download PDF

Info

Publication number
CN106597374A
CN106597374A CN201610984480.9A CN201610984480A CN106597374A CN 106597374 A CN106597374 A CN 106597374A CN 201610984480 A CN201610984480 A CN 201610984480A CN 106597374 A CN106597374 A CN 106597374A
Authority
CN
China
Prior art keywords
led
light
light source
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610984480.9A
Other languages
English (en)
Other versions
CN106597374B (zh
Inventor
赵丹
徐符
杨川川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Pan Ding Technology Co Ltd
Peking University
Original Assignee
Shenzhen Pan Ding Technology Co Ltd
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Pan Ding Technology Co Ltd, Peking University filed Critical Shenzhen Pan Ding Technology Co Ltd
Priority to CN201610984480.9A priority Critical patent/CN106597374B/zh
Publication of CN106597374A publication Critical patent/CN106597374A/zh
Application granted granted Critical
Publication of CN106597374B publication Critical patent/CN106597374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/1149—Arrangements for indoor wireless networking of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/516—Details of coding or modulation
    • H04B10/548—Phase or frequency modulation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Optical Communication System (AREA)

Abstract

本发明公开了一种基于摄像帧分析的室内可见光定位方法及系统。本系统包括多个LED光源，用于发出经过调制的含有超长序列信息的可见光；室内定位装置，用于拍摄LED光源发出的可见光对应的一系列图像，获取并识别图像中的明暗条纹，消除图像的背景光，解调出每个图像中含有的二进制信息，并将每个图像解调出的信息拼接成所需超长序列，从而得到光源的身份信息，并查找室内地图中与该身份信息相对应的位置信息，获取当前位置。本发明可高速率、大容量的调制、编码和图像处理，可有效消除拍摄中的背景光、提高图像处理精度。

Description

一种基于摄像帧分析的室内可见光定位方法及系统
技术领域
本发明属于通信技术领域，涉及可见光定位系统的关键技术，具体涉及一种基于摄像帧分析的室内可见光定位方法和基于该方法的新型可见光定位系统。
背景技术
随着近年来信息技术的快速进步及移动设备的广泛推广，搭载于移动端的定位服务日益成为人们生活的重要辅助工具。尤其是近年来移动互联网的蓬勃发展，使得人们的衣食住行都不可避免地与互联网发生联系，也即催生了以互联网为入口的基于位置的服务(Location Based Services，LBS)。精准的室内定位技术，可以为人们在超市、商场等多种室内场合提供便利，在帮助人们快速定位的同时，也蕴含着巨大的商机。
目前尚没有一种技术能够在不改造普通的移动设备的同时就实现精确的室内定位：WiFi和其他RF类型的方法提供数米精度的无向定位，使得该技术无法在像零售店这样需要精确导航的情形下使用；全球定位系统(Global Positioning System，GPS)也由于室内存在无线射频信号的干扰，并且接收的信号强度十分微弱，因此存在很大的定位误差。在这种情况下，可见光室内定位技术(Visible Light Localization,VLL)应运而生，并得到国内外许多学者的关注。
有学者提出，可以将室内的发光二极管(Light Emitting Diode,LED)照明设备当作发射机，在照明同时加载人眼无法察觉的开关键控(On-Off Keying,OOK)或者是频移键控(Frequency Shift Keying,FSK)信号。FSK方案使用移动终端摄像头拍摄照片，根据照片中有效曝光区域内的明暗条纹数量解调数据，该方法主要局限为单个光源每帧只能传输一波特信息，传输多波特信息耗时较长，处理长序列数据时延较大且需要使用同步技术。传统的OOK调制方案，每帧仅可传输一比特的信息，数据传输速率较慢【Staats P,Sumner R,Ryan D.Method and system for video processing to determine digital pulserecognition tones:US,US8520065[P].2013.】。
目前普遍使用的室内可见光定位系统主要有两种信号检测方式，分别是使用光电二极管(Photodiode,PD)检测和使用移动设备摄像头拍摄检测。其中光电二极管检测的精度较高，算法简单，但需要移动端外接PD，不方便携带；移动设备摄像头拍摄检测的定位算法较为复杂，但无需外接设备、且方便处理长序列信息，其算法原理如下：考虑到普通摄像装置的互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)感光器件的卷帘快门(Rolling Shutter,RS)效应，当摄像装置的参数设置合适时，得到的图像上会呈现一组采样得到的亮暗条纹，叠加在拍摄的实际场景上。通过对这样的载有OOK/FSK信息的图像的解调，可以得到所拍摄的LED灯所发送的信息(比如灯的编号)，经过优化之后可以较为方便地处理发自光源的不同长度的序列，结合移动互联网的数据通道，即可得到用户所处的位置信息，实现可见光定位。
本发明所描述的系统和所提出的技术，是建立在上述使用移动终端摄像装置拍摄LED式的VLL技术之上的。使用的调制方案为OOK调制，采用移动设备前置或后置摄像头拍摄LED的明暗条纹，并使用图像处理方法解调出LED发送信号的技术，通过适当调整LED的频率和卷帘快门的曝光时间，利用明暗条纹的分布可在单帧图片中传输多比特信息。
纵览前人的研究和实现，都仅使用了CMOS相机所拍摄的一帧图像作为数据源，而没有考虑到用户真正使用移动终端的定位应用时的真实场景：首先，用户希望打开应用就能获得定位，而不是需要再点击一次拍摄按钮；其次，CMOS相机的拍摄速率可以达到30帧/秒甚至更快，也就是说，用户对于应用的一次调用，足以产生十数张甚至更多帧图像。在此种情况下，本发明在分析了多帧图像之间的关系后，进一步提出利用移动终端摄像装置拍摄多帧图像并解调，用此种方法可以对超长序列进行拼接和快速解调，并消除拍摄过程中的背景光，以提升VLL系统位置信息解调正确率，本发明还给出了相应的系统设计。
发明内容
如上所述，当使用频率调制或OOK调制方法传输长序列信息时，单帧明暗条纹数量少于数据量，因此仅使用单帧图片无法正确解调出LED灯发送的数据；且在光强较大的区域，明暗条纹由于背景光的存在而变得不明显，容易产生检测错误。本发明的目的在于针对以上问题，提出一种基于摄像帧分析的室内可见光定位方法，是一种高速率、大容量的调制、编码和图像处理方法，可有效消除拍摄中的背景光、提高图像处理精度，并且基于该方法提出了一种新型可见光定位系统。
为实现上述目的，本发明采用如下技术方案：
1)LED光源对光源身份信息进行编码调制，产生OOK信号，经调制后的所述LED光源的身份信息为超长序列，并根据调制信号产生驱动信号用以驱动LED光源以特定格式发送调制后的光脉冲长序列信号到自由空间；
2)移动设备对LED光源拍摄一段适当长度的视频，从拍摄的视频数据中提取多帧视频图像，并分别获取多帧视频图像中的明暗条纹；其中，每帧图像的明暗条纹与经过调制后的所述LED光源的身份信息的一部分对应，多帧图像的全部明暗条纹包含调制后的所述LED光源的身份信息超长序列的全部信息；
3)移动设备对获取的多帧视频图像中的每一帧图像所含的明暗条纹进行解调，解调时采取多帧图像对准叠加平均的算法，利用该帧附近的图像帧评估该图像的背景光，在此基础上利用特定算法消除图像的背景光，从而进一步提高精度；
4)根据多帧图像的解调结果进行拼接，获得超长身份信息序列，将获得的身份信息序列进制转换后即为所述LED光源的身份信息；
5)查找室内地图中与所述光源身份信息对应的位置，得到当前位置，并将当前位置坐标对应到图形界面的地图上相应地点，实现导航功能。本发明预先绘制建立好包含LED位置信息及其对应身份信息的室内地图，这些需要针对应用场景进行绘制。
进一步地，LED光源对光源身份信息进行编码调制，产生OOK信号，并驱动LED光源以特定格式发送调制后的光脉冲长序列信号到自由空间包括：
1)将身份信息转换为二进制超长序列；
2)以设定长度的信号为一个发送单位，将进制转换后的身份信息分割成若干个发送单位；
3)使用编码方法(如曼彻斯特编码)对每个发送单位的信号进行编码；
4)在编码后的每个发送单位之前插入用于识别的同步头信息；
5)将调整好的待发送信号用OOK的方式通过LED发送。
进一步地，移动设备对LED光源拍摄一段适当长度的视频，从拍摄的视频数据中提取多帧视频图像，并分别获取多帧视频图像中的明暗条纹包括：
1)根据发端LED发射频率确定移动设备摄像头的各种参数；LED发射频率是由使用者初始设定的，在移动设备的驱动程序中是一个可变的已知参量。参数确定主要是需要调整摄像头的曝光时间。
2)用前置或后置摄像头拍摄含有所述LED光源发送的光信号的视频数据，得到一段连续时间的视频文件，视频需拍摄到一次信息发射周期内的完整图像；
3)提取视频文件中的若干帧图片，得到包含序列完整信息的含有明暗条纹的一系列图片。
进一步地，移动设备对获取的多帧视频图像中的每一帧图像所含的明暗条纹进行解调，根据多帧图像的解调结果进行拼接，获得超长身份信息序列，进而得到所述光源的身份信息包括：
1)将图片分为多个部分，每个部分有若干张图片，每个部分的图片都对应相同的单位信息，每部分图像间依次进行对准叠加平均的处理，得到每部分图像的背景光；
2)使用算法消除每部分图像的背景光，每部分图像经过消除背景光后得到一张精确图像；
3)依次对每一张精确图像中的明暗条纹进行识别和解调，得到每个发送单位的有效二进制数据串；
4)从每一帧精确图像解调出的数据中提取得到一系列有效二进制数据串；
5)去掉有效二进制数据串中的同步头部分，得到一系列有效数据，将所有有效数据按照设计的顺序拼接成超长序列；
6)将拼接所得超长序列从二进制转换为所需进制，即所述LED的身份信息。
进一步地，查找地图中与所述光源身份信息对应的位置，得到当前位置，并将当前位置坐标对应到图形界面的地图上相应地点包括：
1)将接收到的数据发送给服务器；
2)从服务器中的数据库查找灯ID对应的位置坐标；
3)将位置坐标数据传送给移动设备图形界面，并显示在地图上。
一种基于高速率、大容量的调制、编码和图像处理方法的新型可见光定位系统，包括：光源，用于发出经过调制的含有超长序列信息的可见光；基于可见光的室内定位装置，用于拍摄光源，得到光源发出的可见光对应的一系列图像，获取并识别图像中的明暗条纹，使用算法消除图像的背景光，解调出每个图像中含有的二进制信息，并将每个图像解调出的信息按照设定顺序拼接成所需超长序列，从而得到光源的身份信息，并查找地图中与该身份信息相对应的位置信息，获取当前位置。
所述光源包括：ID发生器，循环产生LED的ID信号；控制器，控制用于对光源传输的信息进行调制，并根据调制好的信号产生驱动信号用以驱动光源发送调制后的光脉冲信号。
进一步地，控制器将待发送信号分割成若干个发送单位，并对每个发送单位的信号进行编码，在每个编码后的发送单位之前插入用于识别的同步头信息，并将此格式的待发送信号作为调制信号，用以驱动LED灯。
所述基于可见光的室内定位装置包括：移动设备，用于对光源进行视频的拍摄，并获取视频中含有的一系列图像中的明暗条纹，识别图像中的明暗条纹并使用算法消除图像的背景光，解调出每个图像中含有的二进制信息，并将每个图像解调出的信息按照设定顺序拼接成所需超长序列，从而得到含有LED光源身份信息的序列，并将其发送给服务器；服务器，用于查找地图中与光源身份信息对应的位置，作为当前位置，并将当前位置以坐标形式发送给移动设备，在移动设备的地图上显示。
进一步地，移动设备根据光源发射频率调整曝光时间和帧速率，其中曝光时间为曝光一行像素点所需时间，曝光时间小于光源发射周期。拍摄一段含有光源的视频，提取视频中若干帧图像，分别对每一帧图像中的明暗条纹进行识别和解调，将每一帧图像解调出的数据拼接成一串完整的数据。
与现有方法相比，本发明的优点和积极效果如下：
通过拍摄录像并分别解调录像中的部分帧图像中的明暗条纹，可以实现超长数据的传输，由于现代智能手机和平板设备的摄像头曝光速率较大，光源驱动信号可以达到较大频率，从而能够在短时间内传输大量数据；此外，通过多帧叠加处理可以有效削减背景光，使可见光定位结果更加精确。本发明适用于需要大量数据的大型停车场、商场等场所的可见光定位。
附图说明
图1是实施例的基于可见光的室内定位系统示意图。
图2是实施例的基于可见光的室内定位系统光源示意图。
图3是根据本发明实施例所描述的基于光源和接收设备的室内定位系统的示意图。
图4是本发明实施例的编码调制的波形示意图。
图5是本发明实施例的编码及接收到的图像示意图。
(a)是根据本发明实施例的光源使用曼彻斯特码来表示0、1信号的示意图。
(b)是在图6(a)所示情形下图像传感器拍摄的图像的示意图。
图6是根据实施例利用曼彻斯特编码调制后的OOK信号表示不同数据信息的示意图。
(a)是根据实施例利用曼彻斯特编码调制后的OOK信号表示不同数据信息I的示意图；
(b)是根据实施例利用曼彻斯特编码调制后的OOK信号表示不同数据信息II的示意图。
图7是根据本发明实施例的编码方式的示意图。
图8是基于卷帘快门曝光方式的CMOS传感器的工作原理图。
图9是全局快门与卷帘快门原理的区别。
(a)是全局快门各个参数的示意图；(b)是卷帘快门各个参数的示意图。
图10是根据本发明实施例的数据帧结构的示意图。
图11为接收机的基本结构框图。
图12为经过纵向模糊之后的单帧图像。
图13为经过局部对比和二值化之后的单帧图像。
图14为经过降维处理后的一维向量示意图。
图15为一维向量中“疑似”的同步头示意图。
图16为一维向量中去除伪同步头示意图。
图17为按条纹权重解调码字的原理图。
图18为将多帧ID序列按编号位信息拼接的示意图。
图19是移动设备调用室内地图流程图。
图20是移动设备显示地图与LED灯具身份信息相对应的示意图。
具体实施方式
下面通过具体实施例，并配合附图，对本发明做详细的说明。
本实施例的基于高速率、大容量的调制、编码和图像处理方法的新型可见光定位系统，图1是根据本发明实施例的基于可见光的室内定位系统示意图，包括光源和接收设备(也称基于可见光的室内定位装置)。该室内定位系统所依赖的信息可以是光源身份信息，或其他信息。
该光源如图2所示，其中数据发生器循环输出对应LED ID。信号处理模块将上述数据经过编码并添加同步头后形成待调制的码字，该码字将会被调制到LED灯上，形成一定规律的亮暗信息，其驱动电流或驱动电压可被调制并用于驱动上述光源发射携带所要传输信息的光信号，将光信号发射到自由空间中。
接收设备包括移动设备和服务器。其中移动设备包括：图像传感器，处理器，存储器。图像传感器在接收光信号后通过处理器解析得到相应传输的信息。
图像传感器，用于拍摄光信号，得到图像信息；图像信息包括一段视频，可从中提取多帧图像，通过多帧图像的组合分析实现信息传输的目的。存储器，存储LED灯具身份识别信息和地图数据库。
图像传感器拍摄光源，采集光源发出的光信号。通过处理器识别并分析图像中的明暗条纹，并恢复所传输的信息。
图3是根据本发明实施例所描述的基于光源和接收设备的室内定位系统的示意图。
发射装置编码和组帧方法：
应用于可见光室内定位系统的码型设计有以下几个关键点：
(1)要保证平均功率与LED ID即码字无关。
(2)要能从码型中提取出时钟信息。
(3)要有助于克服图像中的亮度差异。
综合以上三点要求，判断曼彻斯特(Manchester)码是最为合适的码型。因为曼彻斯特码的功率总是最大功率的一半；蕴含时钟信息；且01交替紧密，不会出现长串的0或1。
图4是本发明实施例的编码调制的波形示意图。本实施例中使用OOK调制方式，编码方式以曼彻斯特码为例。
利用OOK调制方法，将数据按照一定单位长度分割为若干发送单位，每两个发送单位之间添加同步头和编号位，用于同步和确定该发送单位在总数据流中的位置。
其中，发送的高电平代表1，低电平代表0；高电平对应灯具发光，低电平对应灯具不发光。每一个1和0信号持续的时间相同。
通过图像传感器拍摄到的视频中的暗条纹和亮条纹的分布来获取不同的编码信息。
为说明其编码方法，举例说明。
图5(a)是根据本发明实施例的光源使用曼彻斯特码来表示0、1信号的示意图。
图5(b)是在图6(a)所示情形下图像传感器拍摄的图像的示意图。
光源使用8.0kHz频率发射经过曼彻斯特编码调制后的光信号，可通过图像传感器以1280*720的分辨率在2.0—3.0m的距离拍摄得到图像，从图像中可以清晰地识别并解调出传输信息。
图6是根据本发明实施例利用曼彻斯特编码调制后的OOK信号表示不同数据信息的示意图。
图7是根据本发明实施例的编码方式的示意图。
其中发射的编码为数据编码(Data)，本专利提供的编码事例中，数据经过曼彻斯特编码之后一个发送单位具有18比特，为在接收时更准确地解码，在光源发送的编码中加入同步头和编号位，同步头为6比特，编号位为8比特，其编码规则为：同步头(Head Code)+编号位(Number Code)+数据编码(Data)。
考虑到发射机和接收机是完全异步的，所以需要在发射编码中加入同步头。我们选定了曼彻斯特码对LED ID进行调制，曼彻斯特码的特性之一是不会出现长串的‘0’或‘1’，连续相同序列的比特数不超过两个。因此我们选择“100001”作为同步头，连续的4个‘0’作为同步头标识，两旁的‘1’作为边界保证连续‘0’不会与信息位连在一起。
编号位和待发送的数据都使用曼彻斯特编码，考虑到待发数据帧数会超过10帧，对应编号位取4比特，经过曼彻斯特编码后变为8比特。
考虑到我们需要数千个LED ID，对应ID总比特数超过10比特，经过曼彻斯特调制后超过20比特。为了与字节数相匹配，我们设计的码型长32比特，其中同步头6比特；编号位8比特，至多可标识16帧的信息；曼彻斯特码18比特，对应ID信息位9比特，将每帧序列拼接完成后ID信息位最多可达144比特。
带有图像传感器的装置：用图像传感器拍摄图像，并解析图像中的信息。图像传感器可为CMOS传感器。光源通过调制器调制发送明暗变化的信号，基于卷帘快门曝光方式的图像传感器可以拍摄出含有明暗条纹的图像。
图8是基于卷帘快门曝光方式的CMOS传感器的工作原理图。
在本系统中，我们最关注的是拍摄出的图像在条纹波动方向的像素多少，因为它是图像中条纹数量多少的决定因素之一。该参数记作pcols。
与CMOS图像传感器相机对应的，还有电荷耦合元件(Charge-coupled Device,CCD)图像传感器相机，其拍摄效果是全局快门(Global Shutter，GS)。
图9(a)是全局快门各个参数的示意图。
图9(b)是卷帘快门各个参数的示意图。
其中：
曝光时间(Exposure Time,记为tet)指传感器每个像素点的曝光时长，图像传感器(基于卷帘快门)曝光每一行或每一列像素所需的时长；
读取时间(Read-out time gap)指传感器所有像素完成曝光后，图像处理器读取传感器数据所需要的时间——在数据没有被读取完之前，不能进行下一帧的曝光；
此外，还有一个只有卷帘快门具有的参数，即曝光起始时间差(图9(b)中像素列2比像素列1起始曝光时间的差)。已知拍摄LED所得的明暗条纹本质是对闪烁的LED的采样，因此采样速率(即为曝光时间差的倒数，记为fc)和发射频率记为fs)是决定每比特信息采样次数的决定因素，而采样次数即为呈现在图像上的每比特信息对应的条纹的像素宽度(记为ps)。
读取时间和曝光时间一起，组成了两帧采样之间的时间间隔(Frame Duration)，记作tfd。
综上可知，决定一张拍摄图像上条纹数多少(记为nbars)的参数有：pcols,fc,fs。这些参数之间的关系是：
nbars＝pcols*fs/fc
图像传感器拍摄光源时的参数设置：
综合上述分析和示例，可得出如下结论：
图像传感器的帧速率(Frame Rate)最快为30Hz，每帧的分辨率为1280*720，因此图像传感器拍摄一张图片所需时间为1s/30Hz≈33ms，扫描一行所需时间为33ms/720≈46us。
为了能够区分明暗条纹，光源发送的明暗条纹的周期需大于等于46us。因此光源频率需要小于1s/(46us+46us)＝10.9kHz。
因为图像传感器拍摄视频时，相邻两帧时间间隔为33ms，而传输一个发送单位的数据所需时间小于33ms，因此为保证每一帧都能正确检测出含有数据的条纹，每一个发送单位的数据在33ms内循环发送，数据帧结构如图10所示。
根据图形传感器拍摄光源的视频，可获得帧速率为30Hz的多帧图像，每帧图像均包含重复发送的一个发送单位长度的数据信息。接收机可通过对明暗条纹进行识别，并结合数据信息的编码规则解调出每帧中包含的一个发送单位长度的数据信息，拼接每帧的数据信息即可得到最终的完整数据信息。
图11为接收机的基本结构框图。
接收机主要有以下几个模块：
采样模块，即为摄像头模块。在iOS系统中，可以通过调节系统参数来控制摄像头属性，也即控制采样模块。如前文所述的tfd和tet，是可以调节的(但可能有边界限制，如tfd的典型下限是1/30s。
帧比较模块，发射端循环发射相同的码字，在合适的发端速率(一个典型的速率是8kHz)下，接收端每帧会采样得到多个码字周期。同时由于接收端每一帧之间的时间间隔是稳定的，因此会出现前后帧条纹等效移位的情况。本模块通过模式匹配等方法对多帧的移位程度做统计，可以得到逐帧采样的等效像素移位距离。另外，该模块还需要检测拍摄环境的移动。虽然帧间隔是毫秒量级，但是由于人可能是在移动中使用定位系统，同时人手持设备方向的微小改变也可能对拍摄内容造成较大的改变，因此该模块需要通过对多帧的比较，得到环境尤其是光源的移动情况。
提取条纹模块，由于后续需要对多帧图像进行叠加，因此需要将各帧中的条纹尽可能纯净地提取出来，并且使各帧图像具有相近的平均亮度。
帧移位叠加模块，通过帧比较模块后，各帧相对于前后帧的移位距离已知，在提取了纯净条纹之后，将只含有条纹的各帧按上述移位距离反向移回，即可以实现多帧对准叠加和平均。根据基本的信号检测知识，对同一信号多次采样和平均得到的结果，其误差方差是与采样次数成反比的。因此移位叠加平均后的条纹图像理论上是比单张图像解调准确度更高的。
解调和定位模块，通过帧移位叠加模块后，可得到准确度极高的条纹图像。
通过将多帧图像的灰度值进行叠加平均处理，得到当前环境中背景光的灰度值，减去灰度值后即可去除背景光对每帧图像明暗条纹的影响。此后，对图像进行纵向模糊处理，使条纹更加明显连续且噪声更小。
图12为经过纵向模糊之后的单帧图像。
曼彻斯特码的0/1交替特性使得图像在局部均具有很强的对比度，根据此特性考虑选择8个条纹单位宽度作为平均窗计算局部平均值，根据平均值设定判决阈值，对比后的三种灰度值及表示的三种结果为：-255(暗条纹)、255(亮条纹)、0(不确定)。
图13为经过局部对比和二值化之后的单帧图像。
将二值化后的图像进行按列积累得到一维信息序列，累加结果的符号标识最终该列的亮暗取值，结果的绝对值大小则用于表示置信度。
图14为经过降维处理后的一维向量示意图。
图像信息进行降维处理后，条纹属性已经非常明晰，通过查找置信度高的4个连“0”的序列信息即可查找到图像信息中的同步头。对于存在伪同步头的情况，可根据同步头间距相等的像素宽度这一条件进行排除得到。在准确定位同步头后，对图像信息进行曼彻斯特码解调得到传输的9bitsID序列和4bits的编号位信息。通过将多帧的ID序列按照编号位信息拼接即可得到最终的灯号ID，查找ID与灯位置的对应表得到最终的位置实现定位。
图15为一维向量中“疑似”的同步头示意图。
图16为一维向量中去除伪同步头示意图。
图17为按条纹权重解调码字的原理图。
图18为将多帧ID序列按编号位信息拼接的示意图。
本发明的基于光信号的信息传输方法或装置可应用于多种信息的传输，其中较为常见的应用场景是室内定位系统。上述系统中的接收端为移动设备和服务器，移动设备使用处理器处理图像传感器拍摄的视频，获得LED灯的身份信息后，调用服务器中对应的位置信息，并调用室内地图，将当前位置信息显示在地图上。
图19是移动设备调用室内地图流程图。
LED灯具身份识别信息和地图数据库可存储在移动设备存储器中，可独立地对接收到的LED身份信息进行识别和定位，并将移动设备当前位置显示在地图上。
图20是移动设备显示地图与LED灯具身份信息相对应的示意图。
以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求所述为准。

Claims (10)

1.一种基于摄像帧分析的室内可见光定位方法，其步骤为：
1)建立包含LED光源位置信息及其对应身份信息的室内地图；
2)所述LED光源对光源身份信息进行编码调制，并根据调制信号产生驱动信号用以驱动LED光源发送调制后的光脉冲信号到自由空间，经调制后的所述LED光源的身份信息为超长序列；
3)移动设备对LED光源拍摄一段视频，从拍摄的视频数据中提取多帧视频图像，并分别获取多帧视频图像中的明暗条纹；其中，每帧图像的明暗条纹与经过调制后的所述LED光源的身份信息的一部分对应，多帧图像的全部明暗条纹包含调制后的所述LED光源的身份信息超长序列的全部信息；
4)移动设备对获取的多帧视频图像中的每一帧图像所含的明暗条纹进行解调，利用每一图像帧的相邻图像帧评估并消除该图像帧的背景光；
5)根据多帧图像的解调结果进行拼接，获得LED光源的超长身份信息序列，将获得的身份信息序列进制转换后即为所述LED光源的身份信息；
6)从所述室内地图中查找与该身份信息对应的位置，实现室内可见光导航定位。
2.如权利要求1所述的方法，其特征在于，LED光源对光源身份信息进行编码调制，并发送到自由空间的方法为：
21)将身份信息转换为二进制超长序列；
22)以设定长度的信号为一个发送单位，将进制转换后的身份信息分割成若干个发送单位；
23)对每个发送单位的信号进行编码；
24)在编码后的每个发送单位之前插入用于识别的同步头信息；
25)将调整好的待发送信号用OOK的方式通过LED光源发送。
3.如权利要求1所述的方法，其特征在于，移动设备获取所述明暗条纹的方法为：
31)移动设备根据所述驱动信号的频率确定移动设备摄像头的曝光时间和帧速率；
32)用该移动设备的摄像头拍摄含有所述LED光源发送的光信号的视频数据，得到一段连续时间的视频文件；
33)提取该视频文件中的若干帧图片，得到包含序列完整信息的含有明暗条纹的一系列图片。
4.如权利要求1所述的方法，其特征在于，得到所述身份信息的方法为：将提取的若干帧图片分为多个部分，每个部分有若干张图片，每个部分的图片都对应同一发送单位的信号，每部分图像间依次进行对准叠加平均的处理，得到每部分图像的背景光；再消除每部分图像的背景光，每部分图像经过消除背景光后得到一张精确图像；依次对每一张精确图像中的明暗条纹进行识别和解调，得到每个发送单位的有效二进制数据串；然后从每一帧精确图像解调出的数据中提取得到一系列有效二进制数据串；去掉有效二进制数据串中的同步头部分，得到一系列有效数据，通过编号位找到LED身份信息的起始位后，将所有有效数据顺序拼接成超长序列；再将拼接所得超长序列从二进制转换为所需进制，即所述LED的身份信息。
5.如权利要求3所述的方法，其特征在于，所述曝光时间小于1/fs；其中，fs为LED的符号发射速率。
6.如权利要求1所述的方法，其特征在于，所述室内地图位于一服务器上，所述移动设备将所述LED光源的身份信息发送给该服务器，该服务器根据所述身份信息查找LED光源对应的位置坐标并将其传送给所述移动设备；所述移动设备将该位置坐标对应到图形界面的地图相应地点上。
7.一种基于摄像帧分析的室内可见光定位系统，其特征在于，包括多个LED光源，用于发出经过调制的含有超长序列信息的可见光；室内定位装置，用于拍摄LED光源发出的可见光对应的一系列图像，获取并识别图像中的明暗条纹，消除图像的背景光，解调出每个图像中含有的二进制信息，并将每个图像解调出的信息拼接成所需超长序列，从而得到光源的身份信息，并查找室内地图中与该身份信息相对应的位置信息，获取当前位置。
8.如权利要求7所述的系统，其特征在于，所述LED光源包括一ID发生器和一控制器；其中，ID发生器用于循环产生LED光源的ID信号；控制器用于对LED光源传输的信息进行调制，并根据调制好的信号产生驱动信号用以驱动LED光源发送调制后的光脉冲信号。
9.如权利要求8所述的系统，其特征在于，所述控制器将待发送信号分割成若干个发送单位，并对每个发送单位的信号进行编码，在每个编码后的发送单位之前插入用于识别的同步头信息，然后将此格式的待发送信号作为调制信号产生驱动信号。
10.如权利要求7或8或9所述的系统，其特征在于，所述室内定位装置包括移动设备和一服务器；其中，移动设备，用于对光源进行视频的拍摄，并从拍摄的视频数据中提取一系列视频图像并获取视频图像中的明暗条纹，并使用算法消除图像的背景光，解调出每个图像中含有的二进制信息，并将每个图像解调出的信息拼接成所需超长序列，从而得到含有LED光源身份信息的序列，并将其发送给服务器；服务器，用于查找室内地图中与所述身份信息对应的位置坐标发送给移动设备，在移动设备的地图上显示。
CN201610984480.9A 2016-11-09 2016-11-09 一种基于摄像帧分析的室内可见光定位方法及系统 Active CN106597374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610984480.9A CN106597374B (zh) 2016-11-09 2016-11-09 一种基于摄像帧分析的室内可见光定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610984480.9A CN106597374B (zh) 2016-11-09 2016-11-09 一种基于摄像帧分析的室内可见光定位方法及系统

Publications (2)

Publication Number Publication Date
CN106597374A true CN106597374A (zh) 2017-04-26
CN106597374B CN106597374B (zh) 2019-05-21

Family

ID=58589839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610984480.9A Active CN106597374B (zh) 2016-11-09 2016-11-09 一种基于摄像帧分析的室内可见光定位方法及系统

Country Status (1)

Country Link
CN (1) CN106597374B (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107153188A (zh) * 2017-05-18 2017-09-12 广东工业大学 一种室内定位方法及系统
CN107222260A (zh) * 2017-06-23 2017-09-29 上海大学 一种基于变数据区长度的可见光通信编码扩码方法
CN107886543A (zh) * 2017-11-07 2018-04-06 煤炭科学技术研究院有限公司 一种矿井人员定位方法及装置
CN108288289A (zh) * 2018-03-07 2018-07-17 华南理工大学 一种用于可见光定位的led视觉检测方法及其系统
CN108507561A (zh) * 2018-03-05 2018-09-07 华南理工大学 一种基于移动终端的vlc与imu融合定位方法
CN108528326A (zh) * 2018-04-04 2018-09-14 佛山市艾温特智能科技有限公司 一种车载互联互通方法
CN108718212A (zh) * 2018-05-09 2018-10-30 马林华 一种基于视频的光空间多址无线通信的方法
CN108833013A (zh) * 2018-06-11 2018-11-16 北京科技大学 一种可见光收发方法及系统
CN109039457A (zh) * 2017-06-12 2018-12-18 意法半导体(R&D)有限公司 使用可见光通信的车辆通信
CN109063212A (zh) * 2018-09-28 2018-12-21 西北工业大学 一种基于可见光通信的智能辅助导购系统及方法
CN109116298A (zh) * 2017-06-22 2019-01-01 中兴通讯股份有限公司 一种定位方法、存储介质及定位系统
CN109597030A (zh) * 2018-12-14 2019-04-09 西北工业大学 一种基于可见光信号的仓储室内物体定位方法及装置
CN109655790A (zh) * 2018-12-18 2019-04-19 天津大学 基于室内led光源的多目标检测及身份识别系统及方法
CN109859162A (zh) * 2018-12-19 2019-06-07 中国大恒(集团)有限公司北京图像视觉技术分公司 一种针对于工业相机周期性条纹自动化测试方法
CN110471403A (zh) * 2018-05-09 2019-11-19 北京外号信息技术有限公司 通过光通信装置对能够自主移动的机器进行导引的方法
CN110531318A (zh) * 2019-09-03 2019-12-03 北京理工大学 一种用于可见光成像室内定位扩展发光单元id的方法
CN110736965A (zh) * 2018-10-18 2020-01-31 武汉卫思德科技有限公司 一种可见光定位的二维编码与解码方法
CN111190141A (zh) * 2020-01-09 2020-05-22 大连理工大学 一种可见光室内定位中基于图像叠加确定光源发射序列的方法
CN111711485A (zh) * 2020-06-01 2020-09-25 深圳市南科信息科技有限公司 一种基于可见光通信的多帧数据融合解码算法
CN112422931A (zh) * 2019-08-22 2021-02-26 北京外号信息技术有限公司 光通信装置以及用于传输和接收信息的方法
CN112468714A (zh) * 2019-09-09 2021-03-09 北京外号信息技术有限公司 用于确定光通信装置的成像区域的方法和电子设备
CN112511226A (zh) * 2020-11-12 2021-03-16 暨南大学 可见光通信技术中照明、定位、通信三用的编码方法
CN113037381A (zh) * 2021-03-24 2021-06-25 苏州华创半导体科技有限公司 一种可见光成像通信控制方法、装置、设备及存储介质
CN113596344A (zh) * 2021-07-26 2021-11-02 艾酷软件技术(上海)有限公司 拍摄处理方法、装置、电子设备和可读存储介质
CN113870317A (zh) * 2021-10-21 2021-12-31 重庆邮电大学 基于增强型视觉目标跟踪的可见光定位方法及系统
CN115065409A (zh) * 2022-04-28 2022-09-16 浙江大学湖州研究院 基于波分复用的可见光室内通信与定位一体化系统
CN115134807A (zh) * 2022-08-30 2022-09-30 西蒙电气（中国）有限公司 实现无线智能照明灯具非接触入网的方法、智能照明灯具系统、装置、处理器及其存储介质
CN117475359A (zh) * 2023-12-27 2024-01-30 湖北经济学院 一种led灯的识别方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102749072A (zh) * 2012-06-15 2012-10-24 易程科技股份有限公司 室内定位方法、装置及系统
CN103383446A (zh) * 2013-04-09 2013-11-06 北京半导体照明科技促进中心 基于可见光的室内定位方法、装置和系统以及光源
CN205157767U (zh) * 2015-11-13 2016-04-13 暨南大学 一种高精度的单led光源室内定位装置及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102749072A (zh) * 2012-06-15 2012-10-24 易程科技股份有限公司 室内定位方法、装置及系统
CN103383446A (zh) * 2013-04-09 2013-11-06 北京半导体照明科技促进中心 基于可见光的室内定位方法、装置和系统以及光源
CN205157767U (zh) * 2015-11-13 2016-04-13 暨南大学 一种高精度的单led光源室内定位装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨帆 等: "5.2.1 帧间差分法", 《数字图像处理及应用》 *

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107153188A (zh) * 2017-05-18 2017-09-12 广东工业大学 一种室内定位方法及系统
CN109039457A (zh) * 2017-06-12 2018-12-18 意法半导体(R&D)有限公司 使用可见光通信的车辆通信
CN109116298B (zh) * 2017-06-22 2023-12-22 中兴通讯股份有限公司 一种定位方法、存储介质及定位系统
CN109116298A (zh) * 2017-06-22 2019-01-01 中兴通讯股份有限公司 一种定位方法、存储介质及定位系统
CN107222260A (zh) * 2017-06-23 2017-09-29 上海大学 一种基于变数据区长度的可见光通信编码扩码方法
CN107886543A (zh) * 2017-11-07 2018-04-06 煤炭科学技术研究院有限公司 一种矿井人员定位方法及装置
CN108507561A (zh) * 2018-03-05 2018-09-07 华南理工大学 一种基于移动终端的vlc与imu融合定位方法
CN108288289A (zh) * 2018-03-07 2018-07-17 华南理工大学 一种用于可见光定位的led视觉检测方法及其系统
CN108288289B (zh) * 2018-03-07 2023-07-18 华南理工大学 一种用于可见光定位的led视觉检测方法及其系统
CN108528326A (zh) * 2018-04-04 2018-09-14 佛山市艾温特智能科技有限公司 一种车载互联互通方法
CN108528326B (zh) * 2018-04-04 2020-06-23 王小红 一种车载互联互通方法
CN108718212A (zh) * 2018-05-09 2018-10-30 马林华 一种基于视频的光空间多址无线通信的方法
CN110471403A (zh) * 2018-05-09 2019-11-19 北京外号信息技术有限公司 通过光通信装置对能够自主移动的机器进行导引的方法
CN110471403B (zh) * 2018-05-09 2023-11-03 北京外号信息技术有限公司 通过光通信装置对能够自主移动的机器进行导引的方法
CN108833013B (zh) * 2018-06-11 2020-02-21 北京科技大学 一种可见光收发方法及系统
CN108833013A (zh) * 2018-06-11 2018-11-16 北京科技大学 一种可见光收发方法及系统
CN109063212A (zh) * 2018-09-28 2018-12-21 西北工业大学 一种基于可见光通信的智能辅助导购系统及方法
CN110736965A (zh) * 2018-10-18 2020-01-31 武汉卫思德科技有限公司 一种可见光定位的二维编码与解码方法
CN109597030B (zh) * 2018-12-14 2023-04-07 国网吉林省电力有限公司信息通信公司 一种基于可见光信号的仓储室内物体定位方法及装置
CN109597030A (zh) * 2018-12-14 2019-04-09 西北工业大学 一种基于可见光信号的仓储室内物体定位方法及装置
CN109655790A (zh) * 2018-12-18 2019-04-19 天津大学 基于室内led光源的多目标检测及身份识别系统及方法
CN109859162B (zh) * 2018-12-19 2020-10-27 中国大恒(集团)有限公司北京图像视觉技术分公司 一种针对于工业相机周期性条纹自动化测试方法
CN109859162A (zh) * 2018-12-19 2019-06-07 中国大恒(集团)有限公司北京图像视觉技术分公司 一种针对于工业相机周期性条纹自动化测试方法
CN112422931A (zh) * 2019-08-22 2021-02-26 北京外号信息技术有限公司 光通信装置以及用于传输和接收信息的方法
CN110531318A (zh) * 2019-09-03 2019-12-03 北京理工大学 一种用于可见光成像室内定位扩展发光单元id的方法
CN112468714A (zh) * 2019-09-09 2021-03-09 北京外号信息技术有限公司 用于确定光通信装置的成像区域的方法和电子设备
CN111190141A (zh) * 2020-01-09 2020-05-22 大连理工大学 一种可见光室内定位中基于图像叠加确定光源发射序列的方法
CN111190141B (zh) * 2020-01-09 2023-05-12 大连理工大学 一种可见光室内定位中基于图像叠加确定光源发射序列的方法
CN111711485A (zh) * 2020-06-01 2020-09-25 深圳市南科信息科技有限公司 一种基于可见光通信的多帧数据融合解码算法
CN112511226B (zh) * 2020-11-12 2022-01-28 暨南大学 可见光通信技术中照明、定位、通信三用的编码方法
CN112511226A (zh) * 2020-11-12 2021-03-16 暨南大学 可见光通信技术中照明、定位、通信三用的编码方法
CN113037381A (zh) * 2021-03-24 2021-06-25 苏州华创半导体科技有限公司 一种可见光成像通信控制方法、装置、设备及存储介质
CN113596344A (zh) * 2021-07-26 2021-11-02 艾酷软件技术(上海)有限公司 拍摄处理方法、装置、电子设备和可读存储介质
CN113596344B (zh) * 2021-07-26 2023-10-24 艾酷软件技术(上海)有限公司 拍摄处理方法、装置、电子设备和可读存储介质
CN113870317A (zh) * 2021-10-21 2021-12-31 重庆邮电大学 基于增强型视觉目标跟踪的可见光定位方法及系统
CN115065409A (zh) * 2022-04-28 2022-09-16 浙江大学湖州研究院 基于波分复用的可见光室内通信与定位一体化系统
CN115065409B (zh) * 2022-04-28 2023-08-22 浙江大学湖州研究院 基于波分复用的可见光室内通信与定位一体化系统
CN115134807A (zh) * 2022-08-30 2022-09-30 西蒙电气（中国）有限公司 实现无线智能照明灯具非接触入网的方法、智能照明灯具系统、装置、处理器及其存储介质
CN117475359A (zh) * 2023-12-27 2024-01-30 湖北经济学院 一种led灯的识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN106597374B (zh) 2019-05-21

Similar Documents

Publication Publication Date Title
CN106597374B (zh) 一种基于摄像帧分析的室内可见光定位方法及系统
Liu et al. Foundational analysis of spatial optical wireless communication utilizing image sensor
JP5936902B2 (ja) 伝送システム、送信装置および受信装置
Woo et al. Vrcodes: Unobtrusive and active visual codes for interaction by exploiting rolling shutter
CN104620519B (zh) 光检测系统和方法
US8538276B2 (en) Method and apparatus for visible light communication with image processing
Naito et al. Robust license-plate recognition method for passing vehicles under outside environment
CN103430626B (zh) 光检测系统
CN106446883B (zh) 基于光标签的场景重构方法
CN106063155B (zh) 编码光信号的通信的设备和方法
CN107683403A (zh) 距离图像获取装置以及距离图像获取方法
CN106537816A (zh) 在可见光通信信号中编码的标识符的推导
US20100079481A1 (en) Method and system for marking scenes and images of scenes with optical tags
CN106605262A (zh) 编码光符号编码
US10070067B2 (en) Systems, methods, and media for extracting information and a display image from two captured images
CN103947184A (zh) 使用编码光的拍摄设备和图像处理设备及其方法
CN106372701B (zh) 一种光标签的编码及识别方法
CN111103579A (zh) 一种基于手机摄像头的可见光室内定位系统及定位方法
CN106877929A (zh) 一种兼容多机型的移动终端摄像头可见光通信方法及系统
WO2019005051A1 (en) CAMERA COMMUNICATION SYSTEM USING HIGH SPEED CAMERA SENSORS
CN106716875B (zh) 再生装置、再生方法以及系统
CN107547839A (zh) 基于图像分析的远程控制平台
CN105933676B (zh) 基于图像分析的远程控制平台
CN113613189B (zh) 可见光定位中基于标记的伪光源鉴别方法
Huang et al. Simultaneous visible light communication and ranging using high-speed stereo cameras based on bicubic interpolation considering multi-level pulse-width modulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant