CN110475074A - 具有用于高数据速率的像素对准的可见光通信系统 - Google Patents

具有用于高数据速率的像素对准的可见光通信系统 Download PDF

Info

Publication number
CN110475074A
CN110475074A CN201910373882.9A CN201910373882A CN110475074A CN 110475074 A CN110475074 A CN 110475074A CN 201910373882 A CN201910373882 A CN 201910373882A CN 110475074 A CN110475074 A CN 110475074A
Authority
CN
China
Prior art keywords
receiver
transmitter
vlc
data
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910373882.9A
Other languages
English (en)
Inventor
大卫·M·赫尔曼
格兰特·英斯基普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN110475074A publication Critical patent/CN110475074A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/07—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems
    • H04B10/075—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems using an in-service signal
    • H04B10/079—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems using an in-service signal using measurements of the data signal
    • H04B10/0793—Network aspects, e.g. central monitoring of transmission parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/60—Receivers
    • H04B10/66—Non-coherent receivers, e.g. using direct detection
    • H04B10/67—Optical arrangements in the receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/501—Structural aspects
    • H04B10/502—LED transmitters

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Optical Communication System (AREA)
  • Studio Devices (AREA)

Abstract

本公开提供了“具有用于高数据速率的像素对准的可见光通信系统”。一种可见光通信系统具有二维源阵列和图像传感器，所述图像传感器具有限定像素方向(在一些实施例中，其为卷帘快门方向)的像素网格。所述光的调制使所述源闪烁以限定对所述待传输的数据进行编码的一系列一维图案。所述图案在与所述像素方向正交地投射至所述成像器上的方向上延伸。在卷帘快门的情况下，所述图案与所述卷帘快门方向正交，这允许对图像帧的每一行的多个位进行编码。在其他情况下，所述正交方向获得可从所述图像传感器得到的最大分辨能力。

Description

具有用于高数据速率的像素对准的可见光通信系统
技术领域
本发明总体涉及发送数字数据的可见光通信(VLC)，并且更具体地涉及优化所产生的光图案与图像传感器的像素阵列的对准以增强并行数据传输能力。
背景技术
基于可见光的通信(VLC)，也称为LiFi，是一种正在积极研究用于汽车应用和用于消费者电子应用的无线数据通信技术。数据传输涉及调制(即，闪烁)诸如发光二极管(LED)的光源以对数据进行编码，以及在诸如光电二极管或相机的光传感器处接收经调制的光以对数据进行解码。
具有VLC接收器的车辆可以从固定源(例如，LED交通灯)或从移动源(例如，另一辆车上的LED信号灯)接收VLC信号。共享的数据可能与交通信息或控制、危险警告、导航辅助以及许多其他类型的数据有关。优选的图像传感器是“片上相机(camera on a chip)”，其包括二维像素阵列，所述二维像素阵列用于捕获以能够区分光源闪光的速率拍摄的连续图像帧。为了检测和跟踪VLC图像源，或者甚至同时检测和跟踪多个源，需要具有宽视野的相机。典型的VLC发射器使用单个LED或一致作用的LED的阵列。为了增大可以交换VLC数据的速率，可以独立地调制各个LED或LED组，以在数据传输中提供并行位流(例如，利用卷帘快门，如下所述)。基于发射器LED阵列和接收器像素阵列的单独流的数目取决于各种光学特征(分离距离、视野、阵列中的LED元件的数目、相对运动、每像素行的曝光持续时间等)，所述光学特征确定了可以由LED阵列生成的分离区域的数目落在图像传感器的分辨率(分辨能力)内。
互补金属氧化物半导体(CMOS)图像传感器是特别有利的，因为它们以低功率要求提供良好的图像质量、成本低，并且通常已经作为用于其他车辆系统(例如，车道偏离监视器)的对象检测传感器存在于车辆上。CMOS图像传感器在其他类型的装置上也很常见，所述其他类型的装置可以用作VLC接收器，诸如智能手机。
CMOS成像器利用被称为卷帘快门的图像读出过程，其中图像曝光和读出功能在逐行的基础上进行的(即，像素行一次一行地被转换成数字信号)。如本文所用，术语“行”和“列”可互换使用，因为CMOS传感器可以以不同的配置获得，所述不同的配置处理从图像的顶部到底部以及从一侧到另一侧像素线。此外，CMOS传感器可以放置或安装在以任何正交方向取向的印刷电路板(PCB)上，并且包含PCB的相机可以附接至车辆，使得行和列方向已经旋转到任何正交方向(根据安装需求)。卷帘快门的使用导致时间混叠(temporalaliasing)，其中图像的像素行/列包括微小时间延迟，所述微小时间延迟可以捕获移动对象中的伪像或者场景中的照明度的变化，因为单个图像帧内的不同行将在略有不同的时间捕获同一对象。卷帘快门的这种特性已被用于通过以与连续行的曝光时间相对应的频率闪烁LED源(需要LED源跨越相机中的多个像素行)来增大VLC传输的数据速率。因此，LED源的所得图像显示交替的亮线和暗线带，所述交替的亮线和暗线带编码串行数据流中的连续位。
期望使用稳健、可靠的系统来进一步增大数据传输速度，所述系统保持低成本并且能够实现数据需求更大的应用。
发明内容
在本发明的一个方面，光通信系统包括：发射器，所述发射器用于调制光源阵列以对数据进行编码；以及接收器，所述接收器具有限定行和列的二维像素阵列。所述像素阵列使用卷帘快门在预定方向上对源进行成像以接收数据。所述发射器和所述接收器在所述接收器检测到对所述源的调制之后交换性能特征。所述发射器进一步调制所述源以对在所述源的相邻子块中的所述数据的位进行编码，所述相邻子块按与由所述接收器进行接收的预定方向正交地延伸的一维图案对准。在一个优选实施例中，所述发射器根据对所述预定卷帘快门方向的识别来调整所述一维图案的对准。
根据本发明的另一方面，一种用于光通信的方法包括布置成像器以接收来自源阵列的光，其中所述成像器具有限定像素方向的像素网格。通过以下方式来调制从源到成像器的光：根据对数据进行编码的一系列一维图案来进行闪烁，每个一维图案在与所述像素方向正交地投射至所述成像器上的方向上延伸。从成像器读出图像，从而产生对数据进行编码的二维图案。识别来自像素网格中的多个对应像素行的各个相应图案，并且对所述图案进行解码以恢复所编码的数据。
附图说明
图1是示出传统VLC系统的框图。
图2示出了由具有在帧中可见的多个光源的图像传感器捕获的视频帧的示例。
图3示出了视频帧，在所述视频帧中VLC源阵列是可见的，其中图像传感器的分辨能力足以区分源阵列中的源的多个单独子块。
图4是CMOS图像传感器的一部分的框图。
图5是时序图，示出了卷帘快门过程中各行的曝光时间和读出时间。
图6和图7是平面图，示出了分别在开启(ON)状态与关闭(OFF)状态之间调制的LED阵列的元件。
图8示出了图像帧的一部分，该部分导致在使用卷帘快门拍摄的图6和图7的LED阵列的图像中的交替亮带和暗带。
图9和图10是示出LED阵列的元件的平面图，所述元件被根据本发明进行调制以包括与图像传感器的预定行/列方向正交地延伸的一维图案。
图11示出了使用卷帘快门拍摄的图9和图10的LED阵列的图像，导致根据所述一维图案在每个图像行内交替的像素区域。
图12示出了发光的LED阵列，其中当一维图案的对准不是正交的时，图像场被示出为对应于图像传感器的行。
图13是示出具有双向通信的本发明VLC系统的方框图。
图14A-14C示出了来自LED阵列的随时间变化的照明图案，并且图14D示出了得到的卷帘快门图像帧。
图15示出LED源阵列产生与垂直轴对准的一维数据图案并照射图像传感器，该图像传感器取向为使得垂直像素列与该一维图案的线成斜角。
图16示出了对应于图15的图像传感器的像素阵列的网格以及图15的图案的图像落在图像传感器上的位置(即，形成对应于图像传感器的像素方向的角度)。
图17示出了产生表示不同位流的一行源子块的LED阵列，其中该行相对于LED阵列的水平轴和垂直轴以预定角度取向。
图18示出了当对如图17中产生的子块进行成像时对应于图16的像素阵列的网格。
图19是示出本发明的一个优选实施例的流程图。
具体实施方式
由于实现了光源发射阵列的行/列方向与图像传感器像素接收阵列的行/列方向之间的特定对准，所以本发明提供了改进的数据传输速率。例如，二维源阵列和图像传感器在空间上布置为使得来自源阵列的经调制光被传感器接收。图像传感器具有限定像素方向(在一些实施例中，该像素方向为卷帘快门方向)的像素网格。闪烁限定了对待传输的数据进行编码的一系列一维图案。所述图案在与所述像素方向正交地投射至所述成像器上的方向上延伸。在卷帘快门的情况下，所述图案与所述卷帘快门方向正交，这允许对所述图像帧的每行的多个位进行编码。在其他情况下，所述正交方向获得可从所述图像传感器得到的最大分辨能力。
图1示出了具有VLC发射器10和VLC接收器15的传统可见光通信系统。发射器10包括编码器11，所述编码器11接收待传输的数据12A，并且根据所编码的数据驱动LED阵列13发射闪烁的VLC光信号。LED阵列13可以是双用途光源的一部分，该LED阵列13将VLC功能添加到交通信号灯、车辆行驶灯、移动装置(例如手机)的LCD/OLED显示器、固定显示器或标牌，或其他类型的人工照明应用。从LED阵列13投射的可见光14以高速率闪烁，该闪烁对于人眼来说是不可辨别的，但是该闪烁将数据运送到接收器15中的光检测器16(例如，相机)。源检测器和跟踪器17从相机16接收一系列图像帧，并使用已知技术来辨识任何发射的VLC源并提取所收集的帧中固有的闪烁信号。然后由解码器18处理该闪烁信息，解码器18将数据12B恢复为由发射器10发送的原始数据12A的副本。
图2示出了由接收相机拍摄的样本图像，该接收相机可包括多于一个潜在的VLC信号源。交通信号灯21包括作为交通信号产生的一部分的LED阵列22，并且车辆23包括作为车辆23的刹车灯或尾灯的一部分的LED阵列24。典型的图像可包括其他自然光源或人造光源，诸如阳光25，需要检查所述其他自然光源或人造光源是否运送VLC信号。源检测器和跟踪器使用传统技术以辨识具有标准VLC信号的特征性闪烁的图像中的对象，然后检查相应的对象以提取标准VLC信号。取决于接收相机与VLC源阵列之间的距离以及其他因素，可以分辨所检测到的源阵列内的单独光源或光源子组。基于典型相机的分辨能力和典型LED阵列中的单独LED的尺寸，相机通常不可能分辨单独LED。然而，VLC光源通常可以具有以二维网格布置的大量LED，并且整个网格可以在相机上具有跨越相机中的许多行和列像素的表观尺寸。如图3所示，在图像帧26内以足够的分辨能力看到阵列27，使得能够单独分辨LED 28的子组。因此，阵列27可以潜在地用于并行地产生若干数据流，以广播至接收相机。
图4示出了典型CMOS相机30的一部分。顶行像素31具有单独像素31A、31B、31C和31D。行32、33和34布置在行31下方，使得所有单独像素落入列A、B、C和D中。一组行选择线分别各自连接至相应行的像素。来自同一列的各个相应像素的输出线直接共同连接至列多路复用器35。如本领域中已知的，经由缓冲放大器36放大来自列多路复用器35的输出，以提供对来自相机30的图像帧的读出。在读出特定行的时间期间激活特定的行选择线，使得在任一时刻仅将该行的输出发送至列多路复用器35。
图5中示出了CMOS相机中的卷帘快门过程的操作。每个相应的行具有其自身的相应图像集成时间和读出时间，所述图像集成时间和读出时间相对于其他行交错。因此，第一像素行1具有图像集成时间37和读出时间38。某些行可以同时集成图像，但所有行必须具有单独的读出时间。因此，行2具有集成时间40，接着是读出时间39。第一图像帧(帧1)的收集在读出最后一行之后结束。然后，后续帧(帧2)开始于在图像集成时间41期间在行1中集成图像，在所述图像集成时间41之后是读出时间42。
通过使用卷帘快门相机中出现的不同行的单独图像集成时间和读出时间，已知通过以下方式来以高于CMOS相机的帧速率的速率传输VLC数据：交替地闪烁LED光源，以使所述LED光源在各个相应的像素行有效地集成图像的交错时间期间被开启(ON)或关闭(OFF)(LED输出内的开启/关闭(ON/OFF)闪烁或其他类型变化可以根据许多已知类型的调制来对数据进行编码)。如图6所示，具有单独LED 46的LED阵列45可以在第一时刻t1处开启。在图7所示的另一时刻t2，阵列45内的LED 46被关闭。通过控制开启(ON)和关闭(OFF)闪烁以比读取覆盖光源的所有行所需的时间量更快的速率进行重复，亮和暗带48出现在单个图像帧47中，如图8所示。在该示例中，卷帘快门从顶部移动至底部，使得LED阵列被显示为在稍后的时间在所得图像帧中向下移动。可以将亮带和暗带48转换为在高逻辑电平与低逻辑电平之间转换的数字信号49。数字信号49可以被解释为用以在所得图像上传递二进制信息的开/关键控信号，在该所得图像中行直接编码信息。也可以使用其他键控策略，包括本领域中已知的基于颜色、基于频率的脉冲位置调制(PPM)和脉冲幅度调制(PAM)，并且所有此类策略都可以用于本发明。
利用图6至图8的用于处理卷帘快门帧中CMOS图像传感器的每一行以收集相应的数据点的技术，数据传输速率增大了一倍，如通过连续行的集成之间的时间所确定的。数据传输仍然是单个“位流”，因为发射阵列中的所有LED一致地开启和关闭，即使CMOS图像传感器能够分辨LED源的较小子块也如此。一致操作确保在相机图像中可靠地创建编码位流的带。本发明的一个实施例通过将多于仅单个的信息“位”编码到卷帘快门帧的各个行中来获得数据传输速率的进一步增大。实现这种增大的能力是通过以下方式获得的：使用LED阵列内的多个子块来产生可由CMOS传感器的像素单独分辨的位区域，同时进一步施加某一条件，所述条件为由所述位区域产生的一维开/关图案在具有相对于CMOS传感器的预定行/列方向的特定取向的方向上延伸。当CMOS传感器使用卷帘快门时，则该一维图案的方向与卷帘快门像素行的方向正交地延伸。例如，如果CMOS传感器的卷帘快门方向与LED阵列的行/列布局正交对准，并且如果CMOS传感器和LED阵列根据相机的镜头光学特征、LED阵列尺寸和像素尺寸而定位在最佳距离，则可以利用所有相机像素来以更快的数据传输速率传输数据。
图9至图11示出了一个优选实施例的正交图案产生。LED阵列50包括以行和列的二维网格布置的多个源(例如，LED)子块51。取决于发射器与接收器之间的距离，子块51可以各自包括具有足够面积的单独LED簇或单独LED区域，使得每个子块51可以由接收图像传感器单独分辨。在相机足够接近LED阵列50以使所述相机可以分辨单个LED的情况下，则每个子块51可以包括单个LED。为了增加在接收到的图像的每一行中所编码的数据，将子块51的闪烁按水平延伸的一维图案布置，所述子块51调制以编码所传输数据的位。因此，图案从左向右变化，并且沿着列52和53从顶部到底部是恒定的(即，列中的子块一致地开启和关闭)。从顶部到底部的行的数目优选地对应于阵列50的整体可用大小，因为这使在图像传感器的一个帧期间可发送的数据量最大化。图9示出了第一时刻的图案。图10示出了在阵列50的子块呈现出水平延伸的不同一维图案的第二时刻时的图案。
在一个具有卷帘快门的优选实施例中，CMOS图像传感器收集源阵列50的图像，使得卷帘快门的方向从阵列50的顶部至底部垂直地前进。因此，一维图案的方向(水平)与发生图像的逐行读出的卷帘快门方向(垂直)正交。因此，由图像传感器收集的阵列50的完整图像帧具有图11中所示的外观(如在本领域中已知的，在数据包与图像之间可能存在偏移)。因此，LED阵列的图像帧55包括单独像素56，其中每个水平像素行对应于LED源阵列的不同“快照”。用于由LED源阵列对数据进行编码的各个相应一维图案出现在各个水平行中。沿着每个图像行在水平方向x上编码帧数据，并且针对由卷帘快门产生的在不同时间t收集的行在垂直方向上编码帧数据。在该编码示例中，使用各行中像素的开启/关闭状态来产生所指示行的数字信号57和58。
为了可靠地区分在图9和图10的一维图案中编码的各个单独的并行数据位区域，一维图案方向的对准应该合理地接近于与CMOS图像传感器的卷帘快门方向正交。图12示出了使用卷帘快门收集的图像传感器的像素行的图像捕获区域59，其中在LED阵列的网格的自顶向下和侧向轴与图像传感器之间存在不对准。不对准可能是由于路面状况的正常变化、发射器与接收器之间的其他相对运动、部件的固有设计或安装差异、滚动运动、轴向取向的差异，以及由光学误差、平移或图像视角(即，不是面向LED阵列观看的)引起的图像失真。例如，一些CMOS传感器采用垂直卷帘快门制造，而一些CMOS传感器采用水平卷帘快门制造，因此仅在一个方向上产生图案的发射阵列无法与两种类型的CMOS传感器都正确对准(并且即使可以正确对准，与视角、光学失真和平移相关的问题仍然可能会产生关于分辨图案的问题)。
取决于不对准的严重性，由具有不对准的捕获区域59的像素行产生的图像可能无法正确地呈现所需的开启/关闭图案。为了在不能自动确保所需对准的情况下使用，本发明引入了VLC发射器与VLC接收器之间的双向通信，以便将从LED阵列发射的图像定向为使得保持所需的对准。由于产生的数据图案的每个子块中通常包含大量单独的LED(由于预期的LED阵列的大小以及发射器与接收器之间的平均距离)，因此通常可以将该LED阵列上产生的一维图案的方向更改为几乎任意方向，同时保持对图案的精确再现。
如图13所示，VLC发射器60包括VLC发射控制器61和LED阵列62。在该实施例中，VLC发射器60中的接收器63形成VLC发射器60与VLC接收器64之间的返回信道的一部分。VLC接收器64包括耦合到VLC接收控制器65的CMOS图像传感器或其他检测器66。连接到VLC接收控制器65的发射器67使用任何方便的通信技术与接收器63形成返回信道的另一部分，诸如本领域中已知的VLC返回信道或基于RF的信道(例如，Wi-Fi)。通过将返回信道与在LED阵列62与检测器66之间的主VLC信号信道一起使用，发射器60和接收器64相互交换性能特征，所述性能特征足以确保一维闪烁图案与相机的像素方向(例如，卷帘快门方向)的所需对准。此外，交换了其他性能特征，所述其他性能特征可用于在最大可用光学分辨率下操作并改善图像质量的其他方面。所述性能特征可以包括以下特征中的一种或多种特征：光源(即，LED)的数量，光源的布置，接收器像素的数目，接收器像素的布置(行和列)，通过根据先前解码的二维数据图案进行误差校验(例如，CRC校验)而确定的数据包传输的定位和频率误差，接收器的像素行的标称曝光时间，由接收器检测到的经调制的光源组的子块的表观尺寸，发射器与接收器的相对取向，发射器源与接收器像素的相对平移，发射器与接收器的相对视角平移，对卷帘快门方向的辨识，以及发射器与接收器之间的相对移动。
图14A-14D示出了本发明的另一示例，其中LED阵列70包括在例如可存在于车辆刹车灯/尾灯总成中的类型的大体上水平阵列中延伸的单独LED 71。唯一地驱动单独的子块72-77，以便根据用于传输到VLC接收器的经编码数据来产生用于使LED闪烁的一维图案。每个子块72-77被示出为包括四个单独LED的分组。阵列70中的其他LED不以VLC频率闪烁，从而允许单独地辨识和跟踪子块72-77。在图14A中，一维图案被示出为所具有的选定LED子块在第一时间t1打开和关闭(具有交叉影线和没有交叉影线代表开启状态和关闭状态)。时间t1持续足够长以覆盖至少一个卷帘快门行的图像集成时间的大部分，该至少一个卷帘快门行被曝光以在该行上记录数据信号，并且持续足够短以基于根据先前传输的性能特征产生的计算逻辑而暴露不多于几个的卷帘快门行。图14B和图14C示出了在卷帘快门图像传感器的后续行(或行组)的后续图像集成时间期间的不同开启/关闭一维图案。图14D示出了描绘LED阵列的捕获的图像帧，其中各个相应图像像素区域79已经捕获了连续一维图案的开启/关闭值。
在图14A-14D的示例中，LED阵列中的高度不足限制了根据不同方向传输一维图案的能力。然而，具有更多行数和列数的单独LED的其他阵列可以在一维图案的取向方面实现更大的灵活性(参见例如图17)。
在发射LED阵列上对准一维图案的能力不仅可用于使用卷帘快门来改进数据速率。使用其他图像传感器也可以获得改进，所述其他图像传感器为诸如使用全局快门的CCD成像器(即，图像的所有像素在相同的时间跨度内曝光)。更具体地，当一维图案与任一正交像素方向(行或列)对准时，可以获得成像器的最大分辨能力，因为这种对准避免了空间混叠问题。参考图15，LED阵列80具有许多行和列的单独LED 81。示出了由阵列80中的LED子块垂直产生的一维图案82。图像传感器具有像素网格83，从而根据某一取向来对LED阵列80成像，使得各个相应网格的垂直方向形成不对准角度84。在由具有如图15所示的取向的图像传感器获得的捕获图像中，一维图案82'以非正交方向落在捕获图像上，如图16所示。基于图案82'中的子块的大小和分离以及由于不对准，无法单独地分辨子块。另一方面，在发射器与接收器之间交换性能特征之后，可以确定各个相应网格之间的不对准，然后发射器可以将一维图案的方向定向为与相机的一像素方向正交(即，与另一个像素方向并行地对准)。因此，LED阵列80产生图17中所示的倾斜的一维图案85。当图像传感器捕获到倾斜的一维图案85时，图18中所示的像素网格83中的所得图像显示一维图案85'，该一维图案85'沿着网格83的正交方向中的一种正交方向(可以使用水平或垂直方向)对准。由于避免了混叠问题，因此在图18中可以清楚地分辨相同尺寸的LED子块。为了辨识网格轴之间的任何差异，本发明可以利用双向初始化程序，其中发射器以具有默认大小和取向的图案闪烁，所述图案在接收器中被分析以计算各种性能特征，诸如可分辨的子组大小和相对取向。另一种用于诊断不正确的性能特征设置的方法可以是通过使用规则间隔的奇偶校验位，所述规则间隔的奇偶校验位用于在与误差校正位不同的另一位置和时间处进行误差校正。这种方法是众所周知的，诸如在QR码的使用中是众所周知的，并且可以在此应用。
图19示出了本发明的一种优选方法。在开始VLC通信之前，在步骤90中安装在移动车辆上的接收器捕获连续的图像帧(即，视频)。分析(例如，过滤)连续图像以辨识任何有效的VLC源。在步骤91中执行校验以确定是否未检测到任何VLC源。如果否，则返回步骤90以继续监视VLC源。一旦检测到源，则在步骤92中从检测到的VLC发射器接收串行数据。例如，VLC发射器可以最初使用整个LED阵列(或该LED阵列的大部分)来发送VLC信标信号，以便发起与接收器的通信。一旦接收到信标信号和/或串行数据，VLC接收器就可以经由返回信道联系发射器。在步骤93中执行性能特征的相互交换(例如，基于捕获图像中的VLC源的外观)。在步骤94中，发射器和接收器确定并共享图像分辨率、表观尺寸、它们各自相应的网格的相对取向、图像强度、失真，以及性能特征的其他方面。
基于对性能特征的分析，在步骤95中确定是否可以使用LED源的并行子组的一维图像来进行并行通信。如果并行通信不可行，则在步骤96中继续使用串行通信。然后在步骤97中周期性地执行校验以确定LED阵列是否仍然可见。如果否，则该方法在步骤98结束。如果LED阵列仍然可见，则返回步骤93以重新执行性能特征的交换并重新确定是否可以进行并行通信。
当并行通信是可能的时，则在步骤100中产生并行数据区域(LED阵列上的辨识区域的子块)，使得子块沿正交相机方向形成一维图案。在卷帘快门CMOS传感器的情况下，则正交相机方向垂直于卷帘快门行的方向(其中一行的像素同时曝光)。应当注意，在本发明中，具有卷帘快门的相机传感器不需要时间同步，并且随时间变化的一维水平数据图案可以出现在一个图像中或下一个图像中。还应当注意，与现有方法中描述的VLC类似，必须实施误差校正方法以解决经由诸如帧到帧时间间隔的因素导致的在接收或解码正确数据方面或数据丢失方面的错误。定时改变用于误差校正的奇偶校验位的方法将在时间和水平一维数据方向两方面进行。在非卷帘快门(即，全局快门)图像传感器中，光源阵列可以改变水平方向和垂直方向两者上的像素强度，以产生二维网格状图案，在所述二维网格状图案中一个图案的显示将被定时为与全局快门曝光一致。该时间同步可以经由现有技术中已知的方法进行。如在此所使用的，用于全局快门图像传感器的术语“正交方向”表示传感器的正交行和列中的任一者。此外，虽然上面论述的用于将图案方向与所需的相机像素方向对准的动作利用对数据区域(子块)到LED阵列的映射的电子执行调整，但是也可以通过对LED阵列或图像传感器的机械重定向(例如，通过安装在由伺服机构驱动的万向节上)来实现所需的对准。当然，发射器和接收器的固定永久安装也可以确保所需的正交对准，以便实践本发明。
为了改善图像质量并缩短连续帧之间的时间，可以在步骤101中使用加子窗口(sub-windowing)来捕获后续图像。加子窗口是指使用全传感器像素网格的仅一部分来从图像传感器读出图像。在几个图像帧内跟踪VLC源，然后对一系列后续图像执行图像收集以仅在加子窗口的区域内收集数据。可以周期性地捕获完整图像，以便继续正确地跟踪VLC源阵列的位置。
在步骤102中，可以将其他图像校正施加至所捕获的图像。例如，除了各个相应网格的垂直取向方面的差异之外，图像中可能存在各种失真。基于对初始化期间发送的默认图案的分析，可以将补偿施加至驱动到发射器阵列上的图案或者施加至所捕获的图像来使失真逆转。使用校正的图像，在步骤103中以已知的方式提取数据信号，以便重建原始编码的数据。
上述发明基于以下方式而实现了基于光的通信的更高数据传输速度：根据LED阵列显示光学图案，使得光图案与相机的卷帘快门方向正交，即使相机可以在空间中任意取向和定位也如此。数据传输取决于LED阵列的LED输出(闪烁)和一维(1-D)二进制阵列输出的时间变化(该时间变化是根据相机的区分沿着LED阵列的多于一个“像素”或子块的能力确定的)。为了实现本发明的真实世界操作，使用数据交换机制来向LED发射器提供关于相机的视角、位置、视野(FOV)、取向、分辨率、行读出时间、失真和其他因素的知识，以便以正确的取向显示1-D二进制阵列输出，以最大化对相机能力的使用。如果LED阵列正发送至多个接收器，则其使用在“最小公分母(least common denominator)”下操作的相机的能力。
本发明利用快速变化的1-D LED图案，其中基于CMOS的图像传感器的卷帘快门效应与相机像素行之间的时间变化一起用于创建用于对数据进行编码的有效2-D图案。本发明提供了比普通VLC通信多N倍的数据传输，其中N等于根据图像传感器、镜头和操作距离的特性确定的LED网格的有效空间大小。与现有技术相比，该过程对来自单个相机或多个相机的正确定时的敏感性要小得多，并且对曝光定时和高光溢出的敏感性要小得多。该过程可以支持具有不同曝光时间和不同帧到帧间隙的相机，而无需修改。
VLC接收器的相机优选地辨识最佳曝光时间，以避免LED阵列的过度曝光和1-D二进制阵列输出的模糊。这可能需要由LED对数据输出频率进行有效调制，以匹配相机的卷帘快门速度和曝光时长。此外，可以使用加子窗口来增加图像捕获以及因此增大数据传输速度。
相对数据传输速率的增大将取决于许多因素，包括对象之间的距离、卷帘快门取向、LED阵列尺寸、图像传感器尺寸、相机镜头的光学特征、所需曝光持续时间、环境噪声水平等。发射器与接收器之间的检测和通信优选地从标准VLC开始，其中在初始数据交换期间所有LED均匀地并行操作。初始交换确定发射器的LED阵列在相机图像内是否大到足以采用该方法。该确定还可以考虑使用也正在与同一发射器进行通信的其他VLC装置时的服务质量。数据交换包括传感器特征和LED阵列特征，包括相机镜头的光学特征、卷帘快门方向和曝光持续时间。这也可以采用VLC的使用来确定发射器与接收器的相对位置。相机可以利用在对应于LED阵列的特定感兴趣区域上加图像捕获子窗口来增加数据吞吐量。LED 2-D阵列通过在与相机的卷帘快门正交的方向上改变其强度和/或颜色来传输数据。独特LED“像素”或子块的数目取决于接收CMOS传感器进行检测的能力。另外，LED子块的1-D图案的方向可以基于LED阵列和相机位置以及失真而在任何任意方向上延伸，例如在左右、上下或某一相对旋转(歪斜)方向上延伸。在一定量的时间之后，在给定相机和LED阵列移位或者被阻挡在视野之外的可能性的情况下，可以重复初始化过程。这种后退状态将有助于确认数据传输的完整性和LED照明图案的正确角度。在该步骤处，也可以改变LED强度。
取决于LED强度、相机传感器灵敏度和曝光持续时间，LED阵列的捕获图像可能显得曝光不足或过度曝光。这可能导致在卷帘快门图像中编码的数据的模糊分界和/或差的信噪比。因此，可能需要用于确定每个像素行的最佳曝光时长的自适应过程。例如，可以使用一系列曝光来获得一系列图像。此外，可以使用分散在整个1-D图案和时间中的误差校正奇偶校验位或某一其他误差校正方案来监视性能特征的变化。具体地，接收器可以随时间或跨越1-D图案来监视数据传输速率，以检测错误率的增大，并将性能特征重新发送至发射器以改善数据传输。之后，可以在图像中辨识出最佳曝光，并使用导致由卷帘快门捕获的数据图案的最佳呈现的曝光时间。或者，可以使用具有更高动态范围的图像传感器。
本发明不仅可以用于车辆运输功能，还可以用于室内消费者电子LIFI产品和其他类型的室外数据通信系统(例如，手机到车载相机传感器的VLC传输)。本发明可以适用于通过利用多个颜色层来使用颜色键控。代替可见光，可以使用人眼不可见的近红外LED(特别是对于没有IR消色滤光片的相机传感器)。这将允许超过考虑到车辆的造型考虑因素而可能允许的放置选项的更多LED阵列放置选项。
根据本发明，一种光通信方法包括：布置成像器以接收来自源阵列的光，其中所述成像器具有限定像素方向的像素网格；通过根据对数据进行编码的一系列一维图案进行闪烁来调制从所述源到所述成像器的光，每个一维图案在与所述像素方向正交地投射到所述成像器上的方向上延伸。
根据一个实施例，上述发明的特征还在于从所述成像器中读出图像；从所述像素网格中的多个对应像素行识别各个相应图案；以及对所述图案进行解码以恢复所述编码的数据。
根据一个实施例，所述源阵列以二维网格布置，所述方法包括响应于所述像素方向与参考方向之间的角度关系来调整各个一维图案延伸的方向。
根据一个实施例，所述成像器包括CMOS图像传感器，并且其中所述像素方向包括所述CMOS图像传感器的卷帘快门方向。

Claims (15)

1.一种光通信系统，所述光通信系统包括：
发射器，所述发射器调制光源阵列以对数据进行编码；
接收器，所述接收器具有限定行和列的二维像素阵列，所述二维像素阵列对所述源成像以使用预定方向上的卷帘快门来接收所述数据；
其中所述发射器和所述接收器在所述接收器检测到对所述源的调制之后交换性能特征；并且
其中所述发射器进一步调制所述源以对在所述源的相邻子块中的所述数据的位进行编码，所述相邻子块按与由所述接收器进行接收的所述预定方向正交地延伸的一维图案对准。
2.如权利要求1所述的系统，其中所述光源阵列包括二维网格中的多个LED。
3.如权利要求1所述的系统，其中所述像素阵列包括CMOS图像传感器。
4.如权利要求1所述的系统，其中从所述接收器至所述发射器的性能特征由返回信道使用光通信发送。
5.如权利要求1所述的系统，其中从所述接收器至所述发射器的所述性能特征由返回信道使用RF通信发送。
6.如权利要求1所述的系统，其中性能特征选自包括以下项的组：光源的数目、光源的布置、接收器像素的数目、接收器像素的布置、所述接收器的像素行的标称曝光时间、由所述接收器检测的经调制光源组的子块的表观尺寸、所述发射器和所述接收器的相对取向、对所述预定卷帘快门方向的识别，以及所述发射器与所述接收器之间的相对移动。
7.如权利要求1所述的系统，其中所述子块中的至少一些子块包括多个相邻的光源，以编码所述数据的相应位。
8.如权利要求1所述的系统，其中所述发射器根据对所述预定卷帘快门方向的识别来调整所述一维图案的对准。
9.一种用于使用可见光通信(VLC)来传输数据的方法，所述方法包括：
VLC发射器从二维LED阵列发射串行数据信号；
VLC接收器通过监视由具有二维像素阵列的图像传感器收集的图像来检测所述串行数据信号；
所述VLC接收器建立用于与所述VLC发射器通信的返回信道；
所述VLC接收器和所述VLC发射器交换性能特征，以确定所述VLC发射器是否能够从所述LED阵列内可以由所述VLC接收器分辨的各个相应LED块发射并行数据位；
所述VLC发射器调制所述各个相应的LED块，以按沿着所述图像传感器的像素方向延伸的一维图案对所述数据的并行位进行编码。
10.如权利要求9所述的方法，其中所述图像传感器包括具有卷帘快门的CMOS图像传感器，并且其中所述一维图案延伸所沿的所述像素方向与所述卷帘快门的方向正交。
11.如权利要求10所述的方法，其中用于调制所述各个相应的LED块的时段短于所述卷帘快门的一行像素的曝光时间。
12.如权利要求9所述的方法，所述方法还包括以下步骤：
从基本上局限于接收来自所述LED阵列的光的加子窗口区域从所述图像传感器读出图像；以及
对所述一维图案进行解码以恢复所述并行位。
13.如权利要求9所述的方法，其中所述性能特征包括所述串行数据的几何形状，并且其中调整被调制以按一维图案对所述数据的并行位进行编码的LED块，以便补偿所述几何形状所表现出的失真。
14.如权利要求9所述的方法，其中所述图像传感器包括电荷耦合器件(CCD)。
15.如权利要求9所述的方法，其中所述图像传感器被配置为使用全局快门读出图像。
CN201910373882.9A 2018-05-09 2019-05-07 具有用于高数据速率的像素对准的可见光通信系统 Pending CN110475074A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/975,033 US10348404B1 (en) 2018-05-09 2018-05-09 Visible light communication system with pixel alignment for high data rate
US15/975,033 2018-05-09

Publications (1)

Publication Number Publication Date
CN110475074A true CN110475074A (zh) 2019-11-19

Family

ID=67106405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910373882.9A Pending CN110475074A (zh) 2018-05-09 2019-05-07 具有用于高数据速率的像素对准的可见光通信系统

Country Status (3)

Country Link
US (2) US10348404B1 (zh)
CN (1) CN110475074A (zh)
DE (1) DE102019111713A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112492228A (zh) * 2020-12-15 2021-03-12 维沃移动通信有限公司 曝光方法、摄像模组和电子设备
CN112918372A (zh) * 2019-12-06 2021-06-08 Zkw集团有限责任公司 用于机动车头灯的照明设备
CN114124220A (zh) * 2021-12-02 2022-03-01 中国科学院西安光学精密机械研究所 一种智能终端可见光无线通信方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018097798A1 (en) * 2016-11-23 2018-05-31 Agency For Science, Technology And Research Light emitting diode communication device, method of forming and operating the same
WO2018150336A1 (en) * 2017-02-14 2018-08-23 Atracsys Sàrl High-speed optical tracking with compression and/or cmos windowing
TWI739130B (zh) * 2018-07-10 2021-09-11 大陸商廣州印芯半導體技術有限公司 可見光通信感測器
JP6821733B2 (ja) * 2019-03-26 2021-01-27 ソフトバンク株式会社 通信装置、通信方法、及びプログラム
US11552706B2 (en) * 2019-03-29 2023-01-10 Advanced Functional Fabrics Of America, Inc. Optical communication methods and systems using motion blur
CN110380781B (zh) * 2019-07-18 2021-07-16 Oppo广东移动通信有限公司 信号增强方法和系统，及存储介质
CN115136515A (zh) * 2020-03-24 2022-09-30 索尤若驱动有限及两合公司 用于光传输系统的接收器、光传输系统和用于运行光传输系统的方法
CN115173944B (zh) * 2022-09-08 2023-01-03 深圳技术大学 一种可见光通信系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060140445A1 (en) 2004-03-22 2006-06-29 Cusack Francis J Jr Method and apparatus for capturing digital facial images optimally suited for manual and automated recognition
JP4981053B2 (ja) * 2006-08-21 2012-07-18 パナソニック株式会社 イメージセンサを用いた光空間伝送装置
US8223235B2 (en) 2007-12-13 2012-07-17 Motorola Mobility, Inc. Digital imager with dual rolling shutters
JP2011055397A (ja) 2009-09-04 2011-03-17 Keio Gijuku 可視光通信システム
US9450671B2 (en) 2012-03-20 2016-09-20 Industrial Technology Research Institute Transmitting and receiving apparatus and method for light communication, and the light communication system thereof
US20160070418A1 (en) * 2013-04-25 2016-03-10 Yoichiro HARA Data communication device and program
JP6362608B2 (ja) * 2013-09-30 2018-07-25 パナソニック株式会社 表示方法および表示装置
JP6429288B2 (ja) 2014-02-19 2018-11-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信機、送信方法およびプログラム
CN103841732A (zh) 2014-03-21 2014-06-04 北京理工大学 同时实现亮度控制和数据传输的室内可见光通信方法
WO2015160967A1 (en) * 2014-04-15 2015-10-22 The Trustees Of Columbia University In The City Of New York Systems, methods, and media for extracting information and a display image from two captured images
CN105515657B (zh) 2015-11-19 2018-01-02 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种采用led灯具mimo阵列架构的可见光摄像机通信系统
US20170244482A1 (en) * 2016-02-24 2017-08-24 Qualcomm Incorporated Light-based communication processing
KR101798043B1 (ko) 2016-11-22 2017-11-16 성균관대학교산학협력단 Vlc 광원의 3차원 좌표 산출 방법 및 장치
CN107370538B (zh) 2017-07-20 2019-08-06 西安电子科技大学 无线数据传输方法、相机和系统
CN107612617A (zh) 2017-09-13 2018-01-19 华南理工大学 一种基于通用cmos摄像头的可见光通信方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112918372A (zh) * 2019-12-06 2021-06-08 Zkw集团有限责任公司 用于机动车头灯的照明设备
CN112918372B (zh) * 2019-12-06 2024-05-28 Zkw集团有限责任公司 用于机动车头灯的照明设备
CN112492228A (zh) * 2020-12-15 2021-03-12 维沃移动通信有限公司 曝光方法、摄像模组和电子设备
CN112492228B (zh) * 2020-12-15 2022-04-29 维沃移动通信有限公司 曝光方法、摄像模组和电子设备
CN114124220A (zh) * 2021-12-02 2022-03-01 中国科学院西安光学精密机械研究所 一种智能终端可见光无线通信方法

Also Published As

Publication number Publication date
DE102019111713A1 (de) 2019-11-14
US10348404B1 (en) 2019-07-09
US10476594B1 (en) 2019-11-12
US20190349083A1 (en) 2019-11-14

Similar Documents

Publication Publication Date Title
CN110475074A (zh) 具有用于高数据速率的像素对准的可见光通信系统
JP6069281B2 (ja) 回転軸を中心に運動する走査ユニットを備えるセンサ
US10193627B1 (en) Detection of visible light communication sources over a high dynamic range
CN106372556B (zh) 一种光标签的识别方法
KR101143895B1 (ko) 화상 처리에 의한 가시광 통신 방법 및 장치
US9667865B2 (en) Optical demodulation using an image sensor
CN110493491B (zh) 一种图像采集装置及摄像方法
CN109784120B (zh) 光学码生成装置、光感数据交互方法和图像采集装置
EP3416307B1 (en) Vehicle communications using visible light communications
CN103780832B (zh) 使用多增益图像确定和调整相机参数的系统和方法
EP1535236A4 (en) PHOTOGRAPHIC SYSTEM AND METHOD
TWI746973B (zh) 通過光通信裝置對能夠自主移動的機器進行導引的方法
EP3682562B1 (en) Detecting coded light with rolling-shutter cameras
Do et al. Multiple exposure coding for short and long dual transmission in vehicle optical camera communication
US20190280770A1 (en) Method and apparatus for free-space optical transmission
CN106452523B (zh) 基于图像传感器的可见光mimo时钟同步通信系统
US20180006724A1 (en) Multi-transmitter vlc positioning system for rolling-shutter receivers
KR20160137846A (ko) 가시광 통신 시스템을 이용한 데이터 송수신 방법 및 장치
JP7019798B2 (ja) 光通信装置及びシステム、並びに対応する情報伝送及び受信の方法
EP3560113A1 (en) Detecting coded light
Singh et al. Detecting and controlling smart lights with litalk
WO2018002679A1 (en) Method for identifying and locating a movable object
US10641934B2 (en) Methods and systems for distinguishing point sources
Kamiya et al. Achieving Successful VLC Signal Reception Using a Rolling Shutter Image Sensor While Driving at 40 km/h
US10979145B2 (en) Optical transmitter and optical transmission method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination