DE102019111713A1

DE102019111713A1 - System zur kommunikation mit sichtbarem licht mit pixelausrichtung für eine hohe datenrate

Info

Publication number: DE102019111713A1
Application number: DE102019111713.5A
Authority: DE
Inventors: David A. Herman; Grant Inskeep
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2018-05-09
Filing date: 2019-05-06
Publication date: 2019-11-14
Also published as: CN110475074A; US10348404B1; US10476594B1; US20190349083A1

Abstract

Diese Offenbarung stellt ein System zur Kommunikation mit sichtbarem Licht mit Pixelausrichtung für eine hohe Datenrate bereit. Ein Kommunikationssystem für sichtbares Licht weist ein zweidimensionales Array von Quellen und einen Bildsensor mit einem Pixelgitter auf, das eine Pixelrichtung definiert (die in einigen Ausführungsformen eine Rollblendenrichtung ist). Die Modulation des Lichts blinkt die Quellen, um eine Reihe eindimensionaler Muster zu definieren, die die zu sendenden Daten kodieren. Die Muster erstrecken sich in eine Richtung, die orthogonal zu der Pixelrichtung auf den Bildgeber projiziert. Im Fall einer Rollblende ist das Muster orthogonal zu der Rollblendenrichtung, was die Kodierung mehrerer Bits pro Reihe des Bildrahmens ermöglicht. In anderen Fällen erhält die orthogonale Richtung die maximale Auflöseleistung, die von dem Bildsensor verfügbar ist.

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft im Allgemeinen die Kommunikation mit sichtbarem Licht (visible light communication - VLC), die digitale Daten aussendet, und insbesondere die Optimierung der Ausrichtung von erzeugten Lichtmustern auf ein Pixelarray eines Bildsensors, um parallele Datenübertragungsfähigkeiten zu erhöhen.
ALLGEMEINER STAND DER TECHNIK
Auf sichtbarem Licht beruhende Kommunikation (visible light based communication - VLC), auch LiFi genannt, ist eine drahtlose Datenkommunikationstechnologie, die aktiv für Automobilanwendungen und für Verbraucherelektronikanwendungen erforscht wird. Zur Datenübertragung gehört das Modulieren (d. h. Blinken) einer Lichtquelle wie einer Leuchtdiode (light emitting diode - LED) zum Kodieren von Daten und Empfangen des modulierten Lichts an einem Lichtsensor, wie etwa einer Fotodiode oder einer Kamera zum Dekodieren der Daten.
Ein Fahrzeug mit einem VLC-Empfänger kann VLC-Signale von einer festen Quelle (z. B. einer LED-Verkehrsampel) oder von einer mobilen Quelle (z. B. einem LED-Signallicht eines anderen Fahrzeugs) empfangen. Die gemeinsam genutzten Daten können sich auf Verkehrsinformationen oder -steuerungen, Gefahrenwarnungen, Navigationshilfen und viele andere Arten von Daten beziehen. Ein bevorzugter Bildsensor ist eine „Kamera auf einem Chip“, die ein zweidimensionales Array von Pixeln umfasst, um aufeinanderfolgende Einzelbilder aufzunehmen, die mit einer Rate aufgenommen wurden, die das Blinken der Lichtquelle unterscheiden kann. Eine Kamera mit einem weiten Sichtfeld ist wünschenswert, um eine VLC-Bildquelle oder sogar mehrere Quellen gleichzeitig zu detektieren und nachzuverfolgen. Ein typischer VLC-Sender verwendet eine einzelne LED oder ein Array von LEDs, die in Einklang miteinander arbeiten. Um die Rate zu erhöhen, mit welcher VLC-Daten ausgetauscht werden können, können einzelne LEDs oder LED-Gruppen unabhängig voneinander moduliert werden, um parallele Bitströme bei der Datenübertragung bereitzustellen (z. B. Nutzung einer Rollblende, wie nachstehend erläutert). Die Anzahl der getrennten Ströme, die auf einem Sender-LED-Array und einem Empfänger-Pixel-Array beruhen, ist abhängig von verschiedenen optischen Merkmalen (Abstand, Sichtfeld, Anzahl der LED-Elemente in den Arrays, relative Bewegung, Belichtungsdauer pro Pixelzeile usw.), die die Anzahl von separaten Bereichen bestimmen, die durch das LED-Array erzeugt werden können, die in die Auflösung (Auflöseleistung) des Bildsensors fallen.
Komplementäre Metalloxid-Halbleiter-(complementary metal-oxide semiconductor - CMOS-)Bildsensoren sind besonders vorteilhaft, da sie eine gute Bildqualität bei geringem Leistungsbedarf bieten, kostengünstig sind und oft bereits als Objektdetektionssensor für andere Fahrzeugsysteme (z. B. eine Spurabweichungsüberwachung) an einem Fahrzeug vorhanden sind. CMOS-Bildsensoren sind auch bei anderen Arten von Vorrichtungen üblich, die als VLC-Empfänger verwendet werden können, beispielsweise Smartphones.
Ein CMOS-Bildgeber verwendet einen als Rollblende bekannten Bildausleseprozess, bei dem die Bildbelichtungsfunktion und die Auslesefunktionen zeilenweise ausgeführt werden (d. h. die Pixelzeilen werden Zeile für Zeile in ein digitales Signal umgewandelt). Wie hier verwendet, werden die Begriffe „Zeile“ und „Spalte“ austauschbar verwendet, da CMOS-Sensoren in verschiedenen Konfigurationen verfügbar sind, die Pixelreihen von oben nach unten eines Bilds und von Seite zu Seite verarbeiten. Darüber hinaus könnte der CMOS-Sensor auf einer Leiterplatte (printed circuit board - PCB) platziert oder montiert sein, die in eine beliebige orthogonale Richtung orientiert ist, und die die PCB enthaltende Kamera könnte derart an dem Fahrzeug angebracht sein, dass die Zeilen- und Spaltenrichtungen in eine beliebige orthogonale Richtung gedreht wurden (auf Grundlage der Montageanforderungen). Die Verwendung einer Rollblende führt zu einem zeitlichen Aliasing, wobei die Pixelzeilen/- spalten des Bilds eine geringfügige Zeitverzögerung beinhalten, die Artefakte in sich bewegenden Objekten oder Änderungen der Beleuchtungspegel in der Szene aufnehmen kann, da verschiedene Zeilen innerhalb eines einzelnen Einzelbilds dasselbe Objekt zu etwas unterschiedlichen Zeiten aufnehmen werden. Diese Eigenschaft der Rollblende wurde verwendet, um die Datenrate einer VLC-Übertragung zu erhöhen, indem die LED-Quelle mit einer Frequenz blinkt, die den Belichtungszeiten aufeinanderfolgender Zeilen entspricht (wobei die LED-Quelle eine Vielzahl der Pixelzeilen in der Kamera überspannen muss). Das sich daraus ergebende Bild der LED-Quelle zeigt folglich abwechselnde Bänder von hellen und dunklen Reihen, die aufeinanderfolgende Bits in einem seriellen Datenstrom kodieren.
Es wäre wünschenswert, die Datenübertragungsgeschwindigkeiten mit einem robusten, zuverlässigen System, das niedrige Kosten beibehält und mehr datenintensive Anwendungen ermöglicht, weiter zu erhöhen.
KURZDARSTELLUNG DER ERFINDUNG
In einem Aspekt der Erfindung umfasst ein Lichtkommunikationssystem einen Sender, der ein Array von Lichtquellen zum Kodieren von Daten moduliert, und einen Empfänger mit einem zweidimensionalen Array von Pixeln, die Zeilen und Spalten definieren. Das Pixelarray bildet die Quellen ab, um die Daten unter Verwendung einer Rollblende in einer vorbestimmten Richtung zu empfangen. Der Sender und der Empfänger tauschen die Leistungsmerkmale aus, nachdem der Empfänger eine Modulation der Quellen detektiert. Der Sender moduliert ferner die Quellen, um Bits der Daten in benachbarten Unterblöcken der Quellen zu kodieren, die in einem eindimensionalen Muster ausgerichtet sind, das sich orthogonal zu der vorbestimmten Richtung wie vom Empfänger empfangen erstreckt. In einer bevorzugten Ausführungsform stellt der Sender die Ausrichtung des eindimensionalen Musters gemäß der Identifizierung der vorbestimmten Rollblendenrichtung ein.
Gemäß einem weiteren Aspekt der Erfindung beinhaltet ein Verfahren zur Lichtkommunikation das Anordnen eines Bildgebers zum Empfangen von Licht von einem Array von Quellen, wobei der Bildgeber ein Pixelgitter aufweist, das eine Pixelrichtung definiert. Licht von den Quellen zu dem Bilderzeuger wird durch Blinken gemäß einer Reihe von eindimensionalen Mustern moduliert, die Daten kodieren, wobei sich jedes eindimensionale Muster in eine Richtung erstreckt, die orthogonal zu der Pixelrichtung auf den Bilderzeuger projiziert. Ein Bild wird aus dem Bildgeber ausgelesen, was zu einem zweidimensionalen Muster führt, das die Daten kodiert. Die jeweiligen Muster von mehreren entsprechenden Pixelzeilen in dem Pixelgitter werden identifiziert und die Muster werden dekodiert, um die kodierten Daten wiederherzustellen.
Figurenliste

1 ist ein Blockdiagramm, das ein herkömmliches VLC-System zeigt.
2 zeigt ein Beispiel eines Videoeinzelbilds, das von einem Bildsensor aufgenommen ist, wobei mehrere Lichtquellen im Einzelbild sichtbar sind.
3 zeigt ein Videoeinzelbild, in dem ein VLC-Quellenarray sichtbar ist, wobei die Auflöseleistung des Bildsensors ausreicht, um eine Vielzahl von separaten Unterblöcken von Quellen in dem Quellenarray zu unterscheiden.
4 ist ein Blockdiagramm eines Abschnitts eines CMOS-Bildsensors.
5 ist ein Zeitdiagramm, das Belichtungszeiten und Auslesezeiten für verschiedene Zeilen in einem Rollblenden-Prozess zeigt.
6 und 7 sind Draufsichten, die Elemente eines LED-Arrays zeigen, der zwischen EIN- bzw. AUS-Zuständen moduliert ist.
8 zeigt einen Abschnitt eines Einzelbilds, das zu abwechselnden hellen und dunklen Streifen in einem Bild führt, das von dem LED-Array aus 6 und 7 unter Verwendung einer Rollblende aufgenommen wurde. Die 9 und 10 sind Draufsichten, die Elemente eines LED-Arrays zeigen, die gemäß der Erfindung so moduliert sind, dass sie ein eindimensionales Muster beinhalten, das sich orthogonal zu einer vorbestimmten Zeilen-/Spaltenrichtung des Bildsensors erstreckt.
11 zeigt ein Bild, das von dem LED-Array der 9 und 10 unter Verwendung einer Rollblende aufgenommen wurde, was zu abwechselnden Pixelbereichen innerhalb jeder Bildzeile gemäß dem eindimensionalen Muster führt.
12 zeigt ein beleuchtetes LED-Array, bei dem ein Einzelbild entsprechend einer Zeile eines Bildsensors gezeigt ist, wenn die Ausrichtung des eindimensionalen Musters nicht orthogonal ist.
13 ist ein Blockdiagramm, das ein VLC-System der vorliegenden Erfindung mit Zweiwegekommunikation zeigt. Die 14A - 14C zeigen ein zeitveränderliches Leuchtmuster von einem LED-Array, und 14D zeigt ein sich daraus ergebendes Rollblendeneinzelbild.
15 zeigt ein LED-Quellenarray, der ein eindimensionales Datenmuster erzeugt, das mit einer vertikalen Achse ausgerichtet ist und einen Bildsensor beleuchtet, der derart orientiert ist, dass eine vertikale Pixelspalte in einem schrägen Winkel zu der Linie des eindimensionalen Musters liegt.
16 zeigt ein Gitter, das einem Pixelarray des Bildsensors aus 15 entspricht, und die Stellen, an denen das Bild des Musters aus 15 auf den Bildsensor fällt (d. h. einen Winkel bildet, der einer Pixelrichtung des Bildsensors entspricht).
17 zeigt ein LED-Array, das eine Reihe von Quell-Unterblöcken erzeugt, die verschiedene Bitströme darstellen, wobei die Reihe in einem vorbestimmten Winkel in Bezug auf die horizontalen und vertikalen Achsen des LED-Arrays orientiert ist.
18 zeigt ein Gitter, das dem Pixelarray aus 16 entspricht, wenn die Unterblöcke, wie sie in 17 erzeugt wurden, abgebildet werden.
19 ist ein Flussdiagramm, das eine bevorzugte Ausführungsform der Erfindung zeigt.

DETAILLIERTE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
Die Erfindung liefert verbesserte Datenübertragungsraten als Ergebnis des Erzielens bestimmter Ausrichtungen zwischen den Zeilen-/Spaltenrichtungen des sendenden Arrays von Lichtquellen und den Zeilen-/Spaltenrichtungen der Empfänger-Arrays von Bildsensorpixeln. Zum Beispiel sind ein zweidimensionales Array von Quellen und ein Bildsensor räumlich derart angeordnet, dass moduliertes Licht von dem Quellenarray durch den Sensor empfangen wird. Der Bildsensor weist ein Pixelgitter auf, das eine Pixelrichtung definiert (die in einigen Ausführungsformen eine Rollblendenrichtung ist). Das Blinken definiert eine Reihe von eindimensionalen Mustern, die die zu sendenden Daten kodieren. Die Muster erstrecken sich in eine Richtung, die orthogonal zu der Pixelrichtung auf den Bildgeber projiziert. Im Fall einer Rollblende ist das Muster orthogonal zu der Rollblendenrichtung, was die Kodierung mehrerer Bits pro Reihe des Bildrahmens ermöglicht. In anderen Fällen erhält die orthogonale Richtung die maximale Auflöseleistung, die von dem Bildsensor verfügbar ist.
1 zeigt ein herkömmliches Kommunikationssystem mit sichtbarem Licht, das einen VLC-Sender 10 und einen VLC-Empfänger 15 aufweist. Der Sender 10 beinhaltet einen Kodierer 11, der zu sendende Daten 12A empfängt, und der ein LED-Array 13 antreibt, um ein blinkendes VLC-Lichtsignal gemäß den kodierten Daten zu senden. Das LED-Array 13 kann Teil einer Doppelfunktionslichtquelle sein, die die VLC-Funktion zu einer Verkehrsampel, einem Fahrzeugfahrlicht, einer LCD-/OLED-Anzeige einer mobilen Vorrichtung (z. B. eines Mobiltelefons), einer festen Anzeige oder Beschilderung oder anderen Arten von künstlichen Beleuchtungsanwendungen hinzufügt. Von dem LED-Array 13 projiziertes sichtbares Licht 14 blinkt mit einer hohen Geschwindigkeit, die für das menschliche Auge nicht erkennbar ist, die jedoch Daten zu einem Lichtdetektor 16 (z. B. einer Kamera) in dem Empfänger 15 überträgt. Ein Quellendetektor und -nachverfolger 17 empfängt eine Folge von Einzelbildern von der Kamera 16 und verwendet bekannte Techniken zum Identifizieren beliebiger sendender VLC-Quellen und zum Extrahieren der in den gesammelten Einzelbildern enthaltenen Blinksignale. Die Blinkinformationen werden dann von einem Dekodierer 18 verarbeitet, der die Daten 12B als eine Kopie der Originaldaten 12A wiederherstellt, die von dem Sender 10 ausgesendet werden.
2 zeigt ein von einer Empfangskamera aufgenommenes Beispielbild, das mehr als eine mögliche Quelle für VLC-Signale beinhalten kann. Eine Verkehrsampel 21 beinhaltet ein LED-Array 22 als Teil der Erzeugung von Verkehrssignalen, und ein Fahrzeug 23 beinhaltet ein LED-Array 24 als Teil eines Brems- oder Rücklichts des Fahrzeugs 23. Ein typisches Bild kann andere natürliche oder künstliche Lichtquellen beinhalten, die dahingehend untersucht werden müssen, ob sie VLC-Signale tragen, wie etwa die Sonne 25. Der Quellendetektor und -nachverfolger verwendet herkömmliche Techniken, um Objekte in den Bildern mit dem charakteristischen Blinken von Standard-VLC-Signalen zu identifizieren, und dann werden die entsprechenden Objekte untersucht, um die Standard-VLC-Signale zu extrahieren. Abhängig von der Entfernung zwischen einer empfangenden Kamera und einem Array von VLC-Quellen und anderen Faktoren kann es möglich sein, einzelne Lichtquellen oder Untergruppen von Lichtquellen in einem detektierten Quellenarray aufzulösen. Aufgrund der Auflöseleistung einer typischen Kamera und der Größe der einzelnen LEDs in einem typischen LED-Array wäre es üblicherweise nicht möglich, dass die Kamera eine einzelne LED auflöst. Die VLC-Lichtquelle kann jedoch typischerweise eine große Anzahl von LEDs aufweisen, die in einem zweidimensionalen Gitter angeordnet sind, und das vollständige Gitter kann eine scheinbare Größe auf der Kamera aufweisen, die sich über viele Zeilen und Spalten von Pixeln in der Kamera erstreckt. Wie in 3 gezeigt, ist ein Array 27 innerhalb eines Einzelbilds 26 mit einer ausreichenden Auflöseleistung zu sehen, die eine Untergruppe von LEDs 28 separat auflösen kann. Daher könnte das Array 27 möglicherweise verwendet werden, um mehrere Datenströme parallel für das Ausstrahlen an die empfangende Kamera zu erzeugen.
4 zeigt einen Abschnitt einer typischen CMOS-Kamera 30. Eine obere Zeile von Pixeln 31 weist einzelne Pixel 31A, 31B, 31C und 31D auf. Die Zeilen 32, 33 und 34 sind unterhalb der Zeile 31 angeordnet, sodass alle einzelnen Pixel in die Spalten A, B, C und D fallen. Ein Satz von Zeilenauswahlreihen verbindet sich jeweils mit den Pixeln einer jeweiligen Zeile. Ausgangsleitungen von jedem jeweiligen Pixel derselben Spalte sind direkt mit einem gemeinsamen Spaltenmultiplexer 35 verbunden. Eine Ausgabe von dem Spaltenmultiplexer 35 wird durch einen Pufferverstärker 36 verstärkt, um das Auslesen von Einzelbildern aus der Kamera 30 zu ermöglichen, wie es im Stand der Technik bekannt ist. Eine bestimmte Zeilenauswahlleitung wird während der Zeit aktiviert, in der eine bestimmte Zeile ausgelesen wird, sodass jeweils nur die Ausgaben dieser Zeile zum Spaltenmultiplexer 35 gesendet werden.
Die Funktionsweise des Rollblenden-Prozesses in einer CMOS-Kamera ist in 5 dargestellt. Jede jeweilige Zeile weist ihre eigene Bildintegrationszeit bzw. Auslesezeit auf, die in Bezug auf die anderen Zeilen versetzt sind. Somit weist eine erste Pixelzeile 1 eine Bildintegrationszeit 37 und eine Auslesezeit 38 auf. Einige Zeilen können gleichzeitig ein Bild integrieren, aber alle Zeilen müssen separate Auslesezeiten aufweisen. Somit hat die Zeile 2 eine Integrationszeit 40, gefolgt von einer Auslesezeit 39. Die Sammlung eines ersten Einzelbilds (Einzelbild 1) endet, nachdem die letzte Zeile ausgelesen wurde. Dann beginnt ein nachfolgendes Einzelbild (Einzelbild 2) mit der Integration eines Bilds in Zeile 1 während der Bildintegrationszeit 41, worauf eine Auslesezeit 42 folgt.
Unter Verwendung der separaten Bildintegrationszeiten und Auslesezeiten für verschiedene Zeilen, die in einer Rollblenden-Kamera auftreten, ist es bekannt, VLC-Daten mit einer höheren Rate als die Bildfrequenz einer CMOS-Kamera zu übertragen, indem die LED-Lichtquelle abwechselnd auf EIN oder AUS während der gestaffelten Zeiten geblinkt wird, zu denen jeweilige Pixelzeilen ein Bild aktiv integrieren (das EIN-/AUS-Blinken oder andere Arten von Variationen innerhalb des LED-Ausgangs können die Daten gemäß vielen bekannten Modulationsarten kodieren). Wie in 6 gezeigt ist, kann ein LED-Array 45 mit einzelnen LEDs 46 zu einem ersten Zeitpunkt t₁ eingeschaltet sein. Zu einem anderen Zeitpunkt t₂, der in 7 gezeigt ist, sind die LEDs 46 innerhalb des Arrays 45 ausgeschaltet. Durch Steuern des EIN- und AUS-Blinkens, um sich mit einer Geschwindigkeit zu wiederholen, die höher ist als die zum Lesen aller Zeilen, die die Lichtquelle abdecken, erforderliche Zeit, erscheinen helle und dunkle Bänder 48 in einem einzelnen Einzelbild 47, wie in 8 gezeigt. In diesem Beispiel bewegt sich die Rollblende von oben nach unten, sodass der LED-Array zu einem etwas späteren Zeitpunkt in dem sich daraus ergebenden Einzelbild nach unten bewegt wird. Helle und dunkle Bänder 48 können in ein digitales Signal 49 umgewandelt werden, das zwischen hohen und niedrigen Logikpegeln übergeht. Das digitale Signal 49 kann als Ein-/Aus-Tastsignal interpretiert werden, um binäre Informationen über das sich daraus ergebende Bild zu übertragen, in welchem die Zeilen die Informationen direkt kodieren. Andere Schlüsselstrategien können ebenfalls verwendet werden, einschließlich farbbasierter, frequenzbasierter Impulspositionsmodulation (pulse position modulation - PPM) und Pulsamplitudenmodulation (pulse amplitude modulation - PAM), wie im Stand der Technik bekannt, und alle derartigen Strategien können in der vorliegenden Erfindung verwendet werden.
Bei der Technik aus 6-8 zum Behandeln jeder Zeile eines CMOS-Bildsensors in einem Rollblenden-Einzelbild zum Sammeln eines entsprechenden Datenpunkts wird die Datenübertragungsrate um einen Faktor erhöht, der durch die Zeit zwischen der Integration aufeinanderfolgender Zeilen bestimmt wird. Die Datenübertragung bleibt ein einzelner „Bitstrom“, da alle LEDs im sendenden Array gleichzeitig ein- und ausgeschaltet werden, obwohl der CMOS-Bildsensor dazu in der Lage ist, kleinere Unterblöcke der LED-Quellen aufzulösen. Ein gemeinsamer Betrieb hat sichergestellt, dass die den Bitstrom kodierenden Bänder zuverlässig in den Kamerabildern erzeugt werden. Eine Ausführungsform der vorliegenden Erfindung erzielt eine weitere Erhöhung der Datenübertragungsrate durch Kodieren von mehr als nur einem einzigen „Informationsbit“ in jede Zeile des Rollblenden-Einzelbilds. Die Fähigkeit, diese Erhöhung zu erreichen, wird durch Verwenden einer Vielzahl von Unterblöcken innerhalb des LED-Arrays erhalten, um getrennt auflösbare Bitbereiche durch die Pixel des CMOS-Sensors zu erzeugen, während weiterhin eine Bedingung auferlegt wird, dass sich ein eindimensionales Ein-/Aus-Muster, das durch die Bitbereiche erzeugt wird, sich in eine Richtung erstreckt, die eine bestimmte Orientierung in Bezug auf eine vorbestimmte Zeilen-/Spaltenrichtung des CMOS-Sensors aufweist. Wenn der CMOS-Sensor eine Rollblende verwendet, verläuft die Richtung des eindimensionalen Musters orthogonal zur Richtung der Rollblenden-Pixelzeilen. Wenn zum Beispiel die Rollblenden-Richtung des CMOS-Sensors orthogonal zum Zeilen-/Spaltenlayout des LED-Arrays ausgerichtet ist und der CMOS-Sensor und das LED-Array in einem optimalen Abstand auf Grundlage der optischen Merkmale der Objektivlinse, der LED-Array-Größe und Pixelgröße positioniert sind, wird es möglich, alle Pixel der Kamera zu verwenden, um Daten mit viel schnelleren Datenübertragungsraten zu senden.
Die Erzeugung eines orthogonalen Musters für eine bevorzugte Ausführungsform ist in den 9-11 gezeigt. Ein LED-Array 50 beinhaltet eine Vielzahl von Quellenunterblöcken 51 (z. B. LED), die in einem zweidimensionalen Gitter aus Zeilen und Spalten angeordnet sind. In Abhängigkeit von der Entfernung zwischen dem Sender und dem Empfänger können die Unterblöcke 51 jeweils eine Gruppe oder einen Bereich von einzelnen LEDs mit einer ausreichenden Fläche umfassen, sodass jeder Unterblock 51 durch den empfangenden Bildsensor separat auflösbar ist. In dem Fall, dass sich eine Kamera ausreichend nahe an dem LED-Array 50 befindet, dass sie eine einzelne LED auflösen kann, kann jeder Unterblock 51 aus einer einzelnen LED bestehen. Um die in jeder Zeile eines empfangenen Bilds kodierten Daten zu erhöhen, ist das Aufblinken von Unterblöcken 51, die zur Kodierung von Bits der übertragenen Daten moduliert werden, in einem eindimensionalen Muster angeordnet, das sich horizontal erstreckt. Somit ändert sich das Muster von links nach rechts und ist entlang der Spalten 52 und 53 von oben nach unten konstant (d. h. die Unterblöcke in den Spalten werden gleichzeitig ein- und ausgeschaltet). Die Anzahl der Zeilen von oben nach unten entspricht vorzugsweise der vollen nutzbaren Größe des Arrays 50, da sie die Datenmenge maximiert, die während eines Einzelbilds des Bildsensors gesendet werden kann. 9 zeigt das Muster zu einem ersten Zeitpunkt. 10 zeigt das Muster zu einem zweiten Zeitpunkt, wenn Unterblöcke des Arrays 50 ein anderes eindimensionales Muster aufzeigen, das sich horizontal erstreckt.
In einer bevorzugten Ausführungsform mit einer Rollblende sammelt der CMOS-Bildsensor ein Bild des Quellenarrays 50 derart, dass die Richtung der Rollenblende senkrecht von dem oben nach unten von Array 50 verläuft. Daher ist die Richtung des eindimensionalen Musters (horizontal) orthogonal zu der Rollblenden-Richtung (vertikal), in der das zeilenweise Auslesen eines Bildes erfolgt. Als Ergebnis weist ein vollständiges Einzelbild des Arrays 50, das durch den Bildsensor gesammelt wird, das in 11 gezeigte Erscheinungsbild (es kann ein Versatz zwischen Datenpaketen und Bildern bestehen, wie im Stand der Technik bekannt ist). Ein Einzelbind 55 des LED-Arrays beinhaltet somit einzelne Pixel 56, wobei jede horizontale Pixelzeile einem bestimmten „Schnappschuss“ des LED-Quellenarrays entspricht. Ein jeweiliges eindimensionales Muster, das beim Kodieren der Daten durch das LED-Quellenarray verwendet wird, erscheint in jeder horizontalen Zeile. Die Einzelbilddaten werden in horizontaler Richtung x entlang jeder Bildzeile und in vertikaler Richtung für Zeilen kodiert, die zu einem anderen Zeitpunkt t gesammelt werden, der sich aus der Rollblende ergibt. Die EIN-/AUS-Zustände der Pixel in jeder Zeile werden verwendet, um digitale Signale 57 und 58 für die in diesem Beispiel der Kodierung angegebenen Zeilen zu erzeugen.
Um jeden separaten parallelen Datenbitbereich, der in den eindimensionalen Mustern der 9 und 10 kodiert ist, zuverlässig zu unterscheiden, sollte die Ausrichtung der eindimensionalen Musterrichtung ziemlich nahe an der Rollblenden-Richtung des CMOS-Bildsensors liegen. 12 zeigt einen Bildaufnahmebereich 59 einer Pixelzeile des Bildsensors, der unter Verwendung einer Rollblende gesammelt wird, wobei sich eine Fehlausrichtung zwischen den von oben nach unten und von Seite zu Seite verlaufenden Achsen der Gitter des LED-Arrays und des Bildsensors befindet. Eine Fehlausrichtung kann aus normalen Änderungen der Straßenoberflächenbedingungen, anderen Relativbewegungen zwischen Sender und Empfänger, inhärenten Unterschieden bei der Ausgestaltung oder dem Einbau von Komponenten, Rollbewegungen, Unterschieden in axialen Orientierungen und Bildverzerrungen hervorgehen, die auf optische Fehler, Verschiebung oder Bildperspektive (d. h. das LED-Array wird nicht von der Vorderseite angesehen) zurückzuführen sind. Zum Beispiel werden einige CMOS-Sensoren mit einer vertikalen Rollblende und einige mit einer horizontalen Rollblende hergestellt, sodass ein sendendes Array, das nur die Muster in eine Richtung erzeugt, mit CMOS-Sensoren beider Typen nicht richtig ausgerichtet werden kann (und sogar falls es möglich wäre, könnten Probleme in Bezug auf Perspektive, optische Verzerrung und Übersetzung immer noch Probleme beim Auflösen der Muster verursachen).
Abhängig von der Schwere der Fehlausrichtung könnte das Bild, das sich für eine Pixelzeile ergeben würde, die einen fehlausgerichteten Aufnahmebereich 59 aufweist, das gewünschte EIN-/AUS-Muster nicht richtig darstellen. Zur Verwendung in Situationen, in denen die gewünschte Ausrichtung nicht automatisch sichergestellt werden konnte, führt die vorliegende Erfindung eine Zweiwegkommunikation zwischen einem VLC-Sender und einem VLC-Empfänger ein, um die übertragenen Bilder von dem LED-Array so zu orientieren, dass die gewünschte Ausrichtung beibehalten wird. Da in jedem Unterblock des erzeugten Datenmusters (aufgrund der Größe der erwarteten LED-Arrays und der durchschnittlichen Entfernung zwischen Sender und Empfänger) typischerweise eine große Anzahl einzelner LEDs beinhaltet wäre, wäre es normalerweise möglich, die Richtung des eindimensionalen Musters, das auf dem LED-Array erzeugt wird, in nahezu jede beliebige Richtung zu ändern, während eine genaue Wiedergabe des Musters beibehalten wird.
Wie in 13 gezeigt ist, enthält ein VLC-Sender 60 eine VLC-Übertragungssteuerung 61 und ein LED-Array 62. In dieser Ausführungsform bildet ein Empfänger 63 in dem VLC-Sender 60 einen Teil eines Rückrufkanals zwischen dem VLC-Sender 60 und einem VLC-Empfänger 64. Der VLC-Empfänger 64 beinhaltet einen CMOS-Bildsensor oder einen anderen Detektor 66, der mit einer VLC-Empfangssteuerung 65 gekoppelt ist. Ein Sender 67, der mit der VLC-Empfangssteuerung 65 verbunden ist, bildet mit dem Empfänger 63 einen anderen Abschnitt des Rückrufkanals unter Verwendung einer beliebigen geeigneten Kommunikationstechnologie, beispielsweise eines VLC-Rückrufkanals oder eines auf RF beruhenden Kanals (z. B. Wi-Fi), wie es im Stand der Technik bekannt ist. Unter Verwendung des Rückrufkanals zusammen mit dem Haupt-VLC-Signalkanal zwischen dem LED-Array 62 und dem Detektor 66, tauschen der Sender 60 und der Empfänger 64 Leistungsmerkmale aus, die ausreichen, um die gewünschte Ausrichtung des eindimensionalen Blinkmusters mit der Pixelrichtung der Kamera (z. B. Rollblendenrichtung) sicherzustellen. Darüber hinaus werden andere Leistungsmerkmale ausgetauscht, die verwendet werden können, um mit der maximal verfügbaren optischen Auflösung zu arbeiten und andere Aspekte der Bildqualität zu verbessern. Die Leistungsmerkmale können ein oder mehrere der folgenden Merkmale beinhalten: Anzahl der Lichtquellen (d. h. LEDs), Anordnung der Lichtquellen, Anzahl der Empfängerpixel, Anordnung (Zeilen und Spalten) der Empfängerpixel, Lokalisierung und Häufigkeit der Datenpaketübertragungsfehler, die durch Fehlerprüfung aus zuvor dekodierten zweidimensionalen Datenmustern (z. B. CRC-Prüfungen) bestimmt werden, nominale Belichtungszeit für eine Pixelzeile des Empfängers, scheinbare Größe eines Unterblocks einer modulierten Gruppe von Lichtquellen, wie vom Empfänger detektiert, relative Orientierungen des Senders und des Empfängers, relative Verschiebung der Senderquellen und der Empfängerpixel, relative perspektivische Verschiebung des Senders und des Empfängers, Identifizierung der Rollblendenrichtung und relative Bewegung zwischen dem Sender und dem Empfänger.
14 zeigt ein weiteres Beispiel der Erfindung, wobei ein LED-Array 70 einzelne LEDs 71 beinhaltet, die sich in einem hauptsächlich horizontalen Array des Typs erstrecken, der zum Beispiel in einer Fahrzeugbremslicht-/-rücklichtanordnung vorhanden sein kann. Separate Unterblöcke 72-77 werden eindeutig angetrieben, um ein eindimensionales Muster zum Blinken der LEDs gemäß kodierten Daten zum Senden an einen VLC-Empfänger zu erzeugen. Jeder Unterblock 72-77 ist gezeigt, wie er eine Gruppe von vier einzelnen LEDs beinhaltet. Die anderen LEDs in dem Array 70 blinken nicht mit einer VLC-Frequenz, wodurch die Unterblöcke 72-77 getrennt identifiziert und nachverfolgt werden können. In 14A ist ein eindimensionales Muster gezeigt, bei dem ausgewählte Unterblöcke von LEDs zu einem ersten Zeitpunkt t₁ ein- und ausgeschaltet sind (mit Schraffuren und fehlenden Schraffuren, die die Zustände Ein und Aus repräsentieren). Der Zeitpunkt t₁ dauert lange genug, um einen Großteil der Bildintegrationszeit für mindestens eine Rollblenden-Zeile abzudecken, die belichtet wird, um das Datensignal in dieser Zeile zu registrieren, und kurz genug an, um nicht mehr als einige Rollblenden-Zeilen auf Grundlage der Logik einer Berechnung, die sich aus den zuvor übertragenen Leistungsmerkmalen ergibt, zu belichten. Die 14B und 14C zeigen unterschiedliche eindimensionale Ein-/Aus-Muster während der nachfolgenden Bildintegrationszeit für nachfolgende Zeilen (oder Gruppen von Zeilen) des Rollblenden-Bildsensors. 14D zeigt einen aufgenommenen Bildrahmen, der das LED-Array darstellt, in dem die jeweiligen Bildpixelbereiche 79 die Ein-/Aus-Werte der aufeinanderfolgenden eindimensionalen Muster aufgenommen haben.
In dem Beispiel aus 14 begrenzt ein Mangel an Höhe in des LED-Arrays die Fähigkeit, das eindimensionale Muster gemäß einer anderen Richtung zu übertragen. Andere Arrays mit einer höheren Anzahl von Zeilen und Spalten einzelner LEDs können jedoch eine größere Flexibilität bei der Orientierung des eindimensionalen Musters erreichen (siehe beispielsweise 17).
Die Möglichkeit, ein eindimensionales Muster auf dem übertragenden LED-Array auszurichten, kann nicht nur für verbesserte Datenraten bei einer Rollblende nützlich sein. Verbesserungen können mit anderen Bildsensoren erzielt werden, wie etwa einem CCD-Bildwandler, der eine Rollblende verwendet (d. h. alle Pixel eines Bilds werden über dieselbe Zeitspanne belichtet). Insbesondere kann die maximale Auflöseleistung eines Bildgebers erhalten werden, wenn das eindimensionale Muster mit einer der orthogonalen Pixelrichtungen (Zeile oder Spalte) ausgerichtet ist, da eine derartige Ausrichtung räumliche Aliasing-Probleme vermeidet. In Bezug auf 15 weist ein LED-Array 80 viele Zeilen und Spalten von einzelnen LEDs 81 auf. Es ist ein eindimensionales Muster 82 veranschaulicht, das vertikal durch LED-Unterblöcke in dem Array 80 erzeugt wird. Ein Bildsensor weist ein Pixelgitter 83 auf, das das LED-Array 80 aus einer Orientierung derart abbildet, dass die vertikalen Richtungen der jeweiligen Gitter einen Versatzwinkel 84 bilden. In einem aufgenommenen Bild, das durch den Bildsensor mit den in 15 gezeigten Orientierungen erhalten wird, fällt das eindimensionale Muster 82' in einer nicht orthogonalen Richtung auf das aufgenommene Bild, wie in 16 gezeigt. Auf Grundlage der Größe und der Trennung der Unterblöcke in dem Muster 82' und aufgrund der Fehlausrichtung können die Unterblöcke nicht getrennt aufgelöst werden. Andererseits kann nach einem Austausch von Leistungsmerkmalen zwischen dem Sender und dem Empfänger die Fehlausrichtung zwischen den jeweiligen Gittern bestimmt werden, und dann kann der Sender die Richtung des eindimensionalen Musters so orientieren, dass sie orthogonal zu einer Pixelrichtung (d. h. parallel zu der anderen Pixelrichtung ausgerichtet) der Kamera verläuft. Somit erzeugt das LED-Array 80 ein in 17 gezeigtes geneigtes eindimensionales Muster 85. Wenn ein geneigtes eindimensionales Muster 85 von dem Bildsensor aufgenommen wird, zeigt das sich ergebende Bild in dem in 18 gezeigten Pixelgitter 83 ein eindimensionales Muster 85', das entlang einer der orthogonalen Richtungen des Gitters 83 ausgerichtet ist (es kann entweder horizontal oder vertikal verwendet werden). Da Aliasing-Probleme vermieden werden, kann die gleiche Größe von LED-Unterblöcken in 18 klar aufgelöst werden. Um eine Diskrepanz zwischen den Gitterachsen zu erkennen, kann die vorliegende Erfindung eine Zweiweg-Initialisierungsprozedur verwenden, bei der der Sender Muster blinkt, die Standardgrößen und -orientierungen aufweisen, die im Empfänger analysiert werden, um verschiedene Leistungsmerkmale wie etwa Größe und relative Orientierungen auflösbarer Untergruppen zu berechnen. Ein anderes Verfahren zum Diagnostizieren falscher Leistungsmerkmaleinstellungen kann durch die Verwendung von regelmäßig beabstandeten Paritätsbits sein, die zur Fehlerkorrektur an einem anderen Ort und zu einer anderen Zeit als dem Fehlerkorrekturbit verwendet werden. Ein derartiges Verfahren ist bekannt, beispielsweise bei der Verwendung von QR-Codes, und kann hier angewendet werden.
Ein bevorzugtes Verfahren der Erfindung ist in 19 gezeigt. Bevor mit der VLC-Kommunikation begonnen wird, nimmt ein an einem sich bewegenden Fahrzeug montierter Empfänger in Schritt 90 aufeinanderfolgende Einzelbilder (d. h. ein Video) auf. Die aufeinanderfolgenden Bilder werden analysiert (z. B. gefiltert), um beliebige aktiven VLC-Quellen zu identifizieren. In Schritt 91 wird geprüft, ob beliebige VLC-Quellen nicht detektiert wurden. Wenn nicht, wird zu Schritt 90 zurückgekehrt, um die Überwachung nach einer VLC-Quelle fortzusetzen. Sobald eine Quelle erkannt wird, werden in Schritt 92 serielle Daten von dem detektierten VLC-Sender empfangen. Zum Beispiel kann der VLC-Sender anfänglich ein VLC-Bakensignal unter Verwendung eines gesamten LED-Arrays (oder eines großen Teils davon) auszusenden, um die Kommunikation mit einem Empfänger einzuleiten. Sobald das Bakensignal und/oder die seriellen Daten empfangen sind, kann der VLC-Empfänger den Sender über den Rückrufkanal kontaktieren. Ein gegenseitiger Austausch von Leistungsmerkmalen (z. B. auf Grundlage von Auftreten der VLC-Quelle in den Aufnahmebildern) wird in Schritt 93 durchgeführt. In Schritt 94 bestimmen und nutzen der Sender und der Empfänger gemeinsam die Bildauflösung, die scheinbare Größe, die relative Orientierung ihrer jeweiligen Gitter, die Bildintensität, die Verzerrung und andere Aspekte der Leistungsmerkmale.
Auf Grundlage einer Analyse der Leistungsmerkmale wird in Schritt 95 eine Bestimmung vorgenommen, ob eine parallele Kommunikation unter Verwendung eines eindimensionalen Musters paralleler Untergruppen von LED-Quellen möglich ist. Wenn eine parallele Kommunikation nicht machbar ist, wird die serielle Kommunikation in Schritt 96 weiterhin verwendet. Dann wird in Schritt 97 eine Überprüfung periodisch durchgeführt, um zu bestimmen, ob das LED-Array noch sichtbar ist. Wenn nicht, endet das Verfahren bei Schritt 98. Wenn das LED-Array noch sichtbar ist, wird zu Schritt 93 zurückgekehrt, um den Austausch von Leistungsmerkmalen erneut durchzuführen und erneut zu bestimmen, ob eine parallele Kommunikation möglich geworden ist.
Wenn eine parallele Kommunikation möglich ist, werden in Schritt 100 parallele Datenbereiche (Unterblöcke eines identifizierten Bereichs auf dem LED-Array) derart erzeugt, dass die Unterblöcke ein eindimensionales Muster entlang einer orthogonalen Kamerarichtung bilden. Im Falle eines Rollblenden-CMOS-Sensors ist die orthogonale Kamerarichtung senkrecht zu der Richtung einer Rollblenden-Zeile (wobei die Pixel einer Zeile gleichzeitig belichtet werden). Es ist zu beachten, dass bei der vorliegenden Erfindung ein Kamerasensor mit einer Rollblende keine Zeitsynchronisation erfordert und dass das zeitlich variierende eindimensionale horizontale Datenmuster in einem Bild oder dem nächsten erscheinen kann. Es sollte ferner angemerkt werden, dass wie bei VLC, das in früheren Verfahren beschrieben wurde, ein Fehlerkorrekturverfahren umgesetzt werden muss, um Fehler beim Empfang oder Dekodieren der richtigen Daten oder des Datenverlusts durch Faktoren, wie beispielsweise Einzelbild-zu-Einzelbild-Zeitlücken, zu berücksichtigen. Ein Verfahren zum regelmäßigen Variieren von Paritätsprüfbits zur Fehlerkorrektur würde sowohl in der Zeit als auch in der horizontalen eindimensionalen Datenrichtung auftreten. Bei einem Bildsensor ohne Rollenblende (d. h. Globalblende) könnte das Lichtquellenarray die Pixelintensitäten sowohl in horizontaler als auch in vertikaler Richtung variieren, um ein zweidimensionales gitterähnliches Muster zu erzeugen, in dem die Anzeige eines Musters dazu zeitlich festgelegt wird, mit der globalen Belichtungszeit der Belichtung zusammenzufallen. Diese Zeitsynchronisation kann über im Stand der Technik bekannte Verfahren erfolgen. Wie hier verwendet, bedeutet der Begriff „orthogonale Richtung“ für einen Globalblenden-Bildsensor eine der orthogonalen Zeilen und Spalten des Sensors. Ferner, während die oben erörterten Handlungen zum Ausrichten der Musterrichtung mit einer gewünschten Pixelrichtung der Kamera eine elektronisch durchgeführte Einstellung der Kartierung von Datenbereichen (Unterblöcken) auf das LED-Array verwenden, ist es ebenfalls möglich, durch mechanische Neuorientierung entweder des LED-Arrays oder des Bildsensors (z. B. durch Montieren an einer kardanischen Aufhängung, die von einem Servomechanismus angetrieben wird) eine gewünschte Ausrichtung zu erreichen. Natürlich könnte eine feste dauerhafte Montage eines Senders und eines Empfängers ebenfalls die gewünschte orthogonale Ausrichtung gewährleisten, um die vorliegende Erfindung auszuführen.
Um die Bildqualität zu verbessern und die Zeit zwischen aufeinanderfolgenden Einzelbildern zu verkürzen, können nachfolgende Bilder in Schritt 101 unter Verwendung von Unterfenstertechnik aufgenommen werden. Unterfenstertechnik bezieht sich auf das Auslesen eines Bildes aus dem Bildsensor unter Verwendung nur eines Abschnitts des vollständigen Pixelgitters des Sensors. Die VLC-Quelle wird innerhalb mehrerer Einzelbilder nachverfolgt, und dann wird die Bildsammlung für eine Reihe aufeinanderfolgender Bilder durchgeführt, um nur Daten innerhalb des Unterfensterbereichs zu erfassen. In regelmäßigen Abständen werden möglicherweise vollständige Bilder aufgenommen, um den Standort des VLC-Quellenarrays richtig nachzuverfolgen.
In Schritt 102 können andere Bildkorrekturen auf aufgenommene Bilder angewendet werden. Zum Beispiel können verschiedene Verzerrungen in einem Bild neben der Diskrepanz in der vertikalen Orientierung der entsprechenden Gitter vorhanden sein. Auf Grundlage der Analyse eines Standardmusters, das während der Initialisierung gesendet wurde, kann eine Kompensation entweder auf das auf das Senderarray getriebene Muster oder auf das aufgenommene Bild angewendet werden, um die Verzerrung umzukehren. Unter Verwendung der korrigierten Bilder werden in Schritt 103 Datensignale auf bekannte Weise extrahiert, um die ursprünglich kodierten Daten zu rekonstruieren.
Die vorstehende Erfindung erzielt höhere Datenübertragungsgeschwindigkeiten für eine auf Licht beruhende Kommunikation auf Grundlage von Anzeigen eines optischen Musters von einem LED-Array, sodass das Lichtmuster orthogonal zur Rollblendenrichtung der Kamera ist, obwohl die Kamera beliebig orientiert und im Raum positioniert sein kann. Die Datenübertragung ist sowohl von der zeitlichen Änderung der LED-Ausgabe (Blinken) als auch von einer eindimensionalen (1-D) Binär-Array-Ausgabe des LED-Arrays abhängig (was auf Grundlage der Fähigkeit der Kamera bestimmt wird, mehr als ein „Pixel“ oder einen Unterblock entlang des LED-Arrays zu unterscheiden). Um einen realen Betrieb dieser Erfindung zu erreichen, wird ein Datenaustauschmechanismus verwendet, um dem LED-Sender Wissen zu der Perspektive, der Position, dem Sichtfeld (field of view - FOV), der Orientierung, der Auflösung, der Zeilenauslesezeit, der Verzerrung und anderen Faktoren der Kamera bereitzustellen, um die 1-D-Binär-Array-Ausgabe mit einer richtigen Orientierung für maximale Verwendung der Kamerafähigkeiten anzuzeigen. Wenn ein LED-Array an mehrere Empfänger auszusenden, verwendet er die Fähigkeiten der Kamera, die an dem „kleinsten gemeinsamen Nenner“ arbeitet.
Die Erfindung verwendet ein sich schnell änderndes 1-D-LED-Muster, bei dem die Rollblenden-Wirkung eines auf CMOS beruhenden Bildsensors zusammen mit der zeitlichen Variation zwischen Kamerapixelzeilen ein wirksames 2-D-Muster zum Kodieren von Daten erzeugen. Die Erfindung bietet N-mal mehr Datenübertragung als eine normale VLC-Kommunikation, wobei N gleich der effektiven räumlichen Größe des LED-Gitters ist, die durch Merkmale des Bildsensors, der Linse und der Betriebsentfernung bestimmt wird. Das Verfahren ist gegenüber einer richtigen Zeitsteuerung von einer oder mehreren Kameras weitaus weniger empfindlich als der Stand der Technik und ist gegenüber der Belichtungszeit und dem Ausblühen weitaus weniger empfindlich. Der Prozess kann Kameras mit unterschiedlichen Belichtungszeiten und unterschiedlichen Einzelbildabständen ohne Modifizierungen unterstützen.
Die Kamera des VLC-Empfängers würde vorzugsweise eine optimale Belichtungszeit identifizieren, um eine Überbelichtung des LED-Arrays und ein Verschwimmen der 1-D-Binär-Array-Ausgabe zu vermeiden. Dies kann eine aktive Modulation der Datenausgabefrequenz durch die LED zur Folge haben, um die Rollblendengeschwindigkeit der Kamera und die Belichtungsdauer anzupassen. Darüber hinaus kann durch Unterfenstertechnik die Bildaufnahmegeschwindigkeit und damit die Datenübertragungsgeschwindigkeit erhöht werden.
Die Zunahme der relativen Datenübertragungsrate hängt von einer Reihe von Faktoren ab, einschließlich der Entfernung zwischen Objekten, der Orientierung der Rollblende, der Größe des LED-Arrays, der Größe des Bildsensors, der optischen Merkmale der Kameralinse, der erforderlichen Belichtungsdauer, des Umgebungsgeräuschpegels und mehr. Das Detektieren und die Kommunikation zwischen Sender und Empfänger beginnt vorzugsweise mit einem Standard-VLC, wobei alle LEDs während eines anfänglichen Datenaustauschs gleichmäßig parallel betrieben werden. Der anfängliche Austausch bestimmt, ob das LED-Array des Senders innerhalb des Kamerabilds ausreichend groß ist, um dieses Verfahren anzuwenden. Diese Bestimmung kann auch die Dienstqualität mit anderen VLC-Geräten berücksichtigen, die ebenfalls mit demselben Sender kommunizieren. Der Datenaustausch beinhaltet Sensormerkmale und LED-Array-Merkmale, einschließlich der optischen Merkmale der Kameralinse, der Rollblendenrichtung und der Belichtungsdauer. Dies kann auch die Verwendung von VLC einsetzen, um die relative Position des Senders zum Empfänger zu bestimmen. Die Kamera kann eine Bildaufnahme-Unterfenstertechnik über den spezifischen, dem LED-Array entsprechenden, interessierenden Bereich verwenden, um den Datendurchsatz zu erhöhen. Der LED-2D-Array überträgt Daten durch Variieren seiner Intensität und/oder Farbe in einer orthogonalen Richtung zur Rollblende der Kamera. Die Anzahl der eindeutigen LED-„Pixel“ oder Unterblöcke ist von der Detektionsfähigkeit des empfangenden CMOS-Sensors abhängig. Zusätzlich kann sich die Richtung des 1-D-Musters für die LED-Unterblöcke in jede beliebige Richtung erstrecken, z. B. links-rechts, auf-ab oder eine relative Drehung (Schräglage), auf Grundlage des LED-Arrays und der Kamerapositionen und - verzerrung. Nach einer gewissen Zeit kann der Initialisierungsprozess wiederholt werden, wobei die Möglichkeit besteht, dass die Position der Kamera und des LED-Arrays verschoben wird oder das Sichtfeld blockiert wird. Ein solcher Rückfallzustand ist hilfreich, um die Integrität der Datenübertragung und einen richtigen Winkel der LED-Beleuchtungsmuster zu bestätigen. In diesem Schritt kann auch die LED-Intensität geändert werden.
Je nach Intensität der LEDs, der Empfindlichkeit des Kamerasensors und der Belichtungsdauer kann das aufgenommene Bild des LED-Arrays unter oder überbelichtet erscheinen. Dies könnte zu einer unscharfen Abgrenzung der im Rollblenden-Bild kodierten Daten und/oder zu einem schlechten Signal-Rausch-Verhältnis führen. Daher kann ein adaptiver Prozess zum Bestimmen der optimalen Belichtungsdauer für jede Pixelzeile wünschenswert sein. Zum Beispiel kann eine Folge von Bildern unter Verwendung einer Reihe von Belichtungen erhalten werden. Weiterhin können Fehlerkorrektur-Paritätsbits oder ein anderes Fehlerkorrekturschema, das über das 1-D-Muster und die Zeit verteilt ist, verwendet werden, um nach Änderungen der Leistungsmerkmale zu überwachen. Insbesondere kann der Empfänger die Datenübertragungsrate über die Zeit oder über das 1 -D-Muster überwachen, um eine Zunahme der Fehlerraten zu erkennen, und die Leistungsmerkmale erneut an den Sender auszusenden, um die Datenübertragung zu verbessern. Danach kann die optimale Belichtung in den Bildern identifiziert werden, und es wird die Belichtungszeit verwendet, die zu der besten Darstellung des Datenmusters führt, wie es von der Rollblende aufgenommen wird. Alternativ könnte ein Bildsensor mit einem höheren dynamischen Bereich verwendet werden.
Die Erfindung kann nicht nur für Fahrzeugtransportfunktionen verwendet werden, sondern auch für Verbraucherelektronik-LIFI-Produkte für den Innenbereich und für andere Arten von Datenkommunikationssysteme für den Außenbereich (z. B. VLC-Übertragung von Mobiltelefonen an einen an einem Fahrzeug montierten Kamerasensor). Die Erfindung kann zur Verwendung der Farbschlüsselung durch Verwenden mehrerer Farbschichten eingestellt werden. Anstelle von sichtbarem Licht können nahe Infrarot-LEDs verwendet werden, die für das menschliche Auge nicht sichtbar sind (insbesondere bei einem Kamerasensor, der keinen IR-Sperrfilter aufweist). Dies würde mehr Platzierungsmöglichkeiten für das LED-Array über diejenigen hinaus erlauben, die ansonsten im Hinblick auf die Gestaltung eines Fahrzeugs zulässig wären.
Gemäß der vorliegenden Erfindung beinhaltet ein Lichtkommunikationsverfahren Folgendes: Anordnen eines Bildgebers zum Empfangen von Licht von einem Array von Quellen, wobei der Bildgeber ein Pixelgitter aufweist, das eine Pixelrichtung definiert; Modulieren von Licht von den Quellen zu dem Bildgeber durch Blinken gemäß einer Reihe von eindimensionalen Mustern, die Daten kodieren, wobei sich jedes eindimensionale Muster in eine Richtung erstreckt, die orthogonal zu der Pixelrichtung auf den Bildgeber projiziert.
Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner gekennzeichnet durch Auslesen eines Bilds aus dem Bildgeber; Identifizieren jeweiliger Muster aus mehreren entsprechenden Pixelzeilen in dem Pixelgitter; und Dekodieren der Muster, um die kodierten Daten wiederherzustellen.
Gemäß einer Ausführungsform ist das Array von Quellen in einem zweidimensionalen Gitter angeordnet, wobei das Verfahren Folgendes beinhaltet: Einstellen der Richtung, in der sich jedes eindimensionale Muster als Reaktion auf eine Winkelbeziehung zwischen der Pixelrichtung und einer Referenzrichtung erstreckt.
Gemäß einer Ausführungsform besteht der Bildgeber aus einem CMOS-Bildsensor, und wobei die Pixelrichtung aus einer Rollblendenrichtung des CMOS-Bildsensors besteht.

Claims

Lichtkommunikationssystem, das Folgendes umfasst: einen Sender, der ein Array von Lichtquellen moduliert, um Daten zu kodieren; einen Empfänger mit einem zweidimensionalen Array von Pixeln, das Zeilen und Spalten definiert, die die Quellen abbilden, um die Daten unter Verwendung einer Rollblende in einer vorbestimmten Richtung zu empfangen; wobei der Sender und der Empfänger die Leistungsmerkmale austauschen, nachdem der Empfänger eine Modulation der Quellen detektiert; und wobei der Sender ferner die Quellen moduliert, um Bits der Daten in benachbarten Unterblöcken der Quellen zu kodieren, die in einem eindimensionalen Muster ausgerichtet sind, das sich orthogonal zu der vorbestimmten Richtung wie vom Empfänger empfangen erstreckt.
System nach Anspruch 1, wobei das Array von Lichtquellen aus einer Vielzahl von LEDs in einem zweidimensionalen Gitter besteht.
System nach Anspruch 1, wobei das Array von Pixeln aus einem CMOS-Bildsensor besteht.
System nach Anspruch 1, wobei die Leistungsmerkmale von dem Empfänger unter Verwendung von Lichtkommunikation durch einen Rückrufkanal zu dem Sender gesendet werden.
System nach Anspruch 1, wobei die Leistungsmerkmale von dem Empfänger unter Verwendung von HF-Kommunikation durch einen Rückrufkanal zu dem Sender gesendet werden.
System nach Anspruch 1, wobei die Leistungsmerkmale aus einer Gruppe ausgewählt sind, die Anzahl von Lichtquellen, Anordnung von Lichtquellen, Anzahl der Empfängerpixel, Anordnung der Empfängerpixel, nominale Belichtungszeit für eine Pixelzeile des Empfängers, scheinbare Größe eines Unterblocks einer modulierten Gruppe von Lichtquellen wie durch den Empfänger detektiert, relative Orientierungen des Senders und des Empfängers, Identifizierung der vorbestimmten Rollblendenrichtung und relative Bewegung zwischen dem Sender und dem Empfänger umfasst.
System nach Anspruch 1, wobei mindestens einige der Unterblöcke eine Vielzahl von benachbarten Lichtquellen beinhalten, um ein jeweiliges Bit der Daten zu kodieren.
System nach Anspruch 1, wobei der Sender die Ausrichtung des eindimensionalen Musters gemäß einer Identifikation der vorbestimmten Rollblendenrichtung einstellt.
Verfahren zum Senden von Daten unter Verwendung von Kommunikation mit sichtbarem Licht (visible light communication - VLC), das Folgendes umfasst: einen VLC-Sender, der ein serielles Datensignal von einem zweidimensionalen LED-Array emittiert; einen VLC-Empfänger, der das serielle Datensignal durch Überwachen von Bildern detektiert, die von einem Bildsensor gesammelt werden, der ein zweidimensionales Pixelarray aufweist; der VLC-Empfänger einen Rückrufkanal zur Kommunikation mit dem VLC-Sender erstellt; wobei der VLC-Empfänger und der VLC-Sender Leistungsmerkmale austauschen, um zu bestimmen, ob der VLC-Sender parallele Datenbits von jeweiligen LED-Blöcken innerhalb des LED-Arrays emittieren kann, die durch den VLC-Empfänger aufgelöst werden können; wobei der VLC-Sender die jeweiligen LED-Blöcke moduliert, um parallele Bits der Daten in einem eindimensionalen Muster zu kodieren, das sich entlang einer Pixelrichtung des Bildsensors erstreckt.
Verfahren nach Anspruch 9, wobei der Bildsensor einen CMOS-Bildsensor mit einer Rollblende umfasst, und wobei die Pixelrichtung, entlang welcher sich das eindimensionale Muster erstreckt, orthogonal zu einer Richtung der Rollblende ist.
Verfahren nach Anspruch 10, wobei eine Periode zum Modulieren der jeweiligen LED-Blöcke geringer ist als eine Belichtungszeit einer Pixelzeile für die Rollblende.
Verfahren nach Anspruch 9, das ferner die folgenden Schritte umfasst: Auslesen eines Bilds aus dem Bildsensor aus einem Unterfenstertechnikbereich, der im Wesentlichen auf den Empfang von Licht von dem LED-Array beschränkt ist; und Dekodieren des eindimensionalen Musters, um die parallelen Bits wiederherzustellen.
Verfahren nach Anspruch 9, wobei die Leistungsmerkmale eine Geometrie der seriellen Daten beinhalten, und wobei die LED-Blöcke, die moduliert sind, um parallele Bits der Daten in einem eindimensionalen Muster zu kodieren, eingestellt sind, um eine Verzerrung durch die Geometrie zu kompensieren.
Verfahren nach Anspruch 9, bei dem der Bildsensor aus einer ladungsgekoppelten Vorrichtung (charge-coupled device - CCD) besteht.
Verfahren nach Anspruch 9, wobei der Bildsensor dazu konfiguriert ist, Bilder unter Verwendung einer globalen Blende auszulesen.