-
Technisches Gebiet
-
Die vorliegende Erfindung betrifft eine Datenübertragungstechnik.
-
Stand der Technik
-
Ein Kamerasystem, das ausgebildet ist, um von mehreren Kameras aufgenommene Videobilder zu verarbeiten und ein verarbeitetes Bild anzuzeigen, wird für einen in einem Fahrzeug befindlichen Rundumsichtmonitor oder ähnliches eingesetzt.
-
1 ist ein Blockdiagramm, das ein Kamerasystem zeigt. Ein Kamerasystem 100R umfasst mehrere Kameramodule 110 (zwei in diesem Beispiel) und eine Steuerung 200R. Die Steuerung 200R steuert integral die mehreren Kameramodule 110_A und 110_B und verarbeitet die von den mehreren Kameramodulen 110_A und 110B aufgenommenen Videobilder.
-
Die Steuerung 200R umfasst mehrere Empfänger 202, mehrere Puffer 204, eine Synchronisationssignal-Erzeugungseinheit 206 und eine Bildverarbeitungseinheit 210. Die Synchronisationssignal-Erzeugungseinheit 206 erzeugt ein Rahmensynchronisationssignal FSYNC, das mit einer vorbestimmten Bildfrequenz aktiviert wird, und liefert das so erzeugte Rahmensynchronisationssignal FSYNC an die mehreren Kameramodule 110_# („#“ steht für „A“ oder „B“). Das Kameramodul 110 # nimmt ein Bild zu einem Zeitpunkt auf, der dem Rahmensynchronisationssignal FSYNC entspricht. Das Kameramodul 110 # wandelt die so erfassten Rahmendaten in serielle Daten SDATA_# um und überträgt die seriellen Daten SDATA_# an die Steuerung 200R.
-
Der Empfänger 202_# empfängt die seriellen Daten SDATA_#, welcher die von dem entsprechenden Kameramodul 110_# empfangenen Rahmendaten zusammensetzt, zusammen mit einem Übertragungssynchronisationssignal SYNC_#. Die so empfangenen seriellen Daten SDATA_# werden in parallele Daten PDATA_# umgewandelt. Die so umgewandelten parallelen Daten PDATA_# werden im Puffer 204_# in Einheiten von mehreren Pixeln oder in Einheiten von mehreren Zeilen gespeichert. Die Bildverarbeitungseinheit 210 verarbeitet die in den mehreren Puffern 204_A und 204_B gespeicherten Rahmendaten.
-
Offenbarung der Erfindung
-
Durch die Erfindung zu lösendes Problem
-
Als Ergebnis der Untersuchung des in 1 gezeigten Kamerasystems 100R hat der beteiligte Erfinder das folgende Problem erkannt. D.h. in einigen Fällen besteht ein Unterschied zwischen einem Verzögerungspfad 102_A, der die Synchronisationssignal-Erzeugungseinheit 206 und das Kameramodul 110 A koppelt, und einem Verzögerungspfad 102_B, der die Synchronisationssignal-Erzeugungseinheit 206 und das Kameramodul 110_B koppelt. In diesem Fall besteht ein Unterschied zwischen dem Rahmensynchronisationssignal FSYNC' am Eingang des Kameramoduls 110_A und dem Rahmensynchronisationssignal FSYNC'' am Eingang des Kameramoduls 110_B in der Zeit, zu der das Rahmensynchronisationssignal empfangen wird.
-
In diesem Fall kommt es zu einer Abweichung im Bildaufnahmezeitpunkt zwischen den Kameramodulen 110_A und 110_B. Dies führt zum Auftreten einer Abweichung im Bildaufnahmezeitpunkt zwischen den seriellen Daten SDATA_A, die vom Empfänger 202_A empfangen werden, und den seriellen Daten SDATA_B, die vom Empfänger 202_B empfangen werden.
-
In einem Fall beispielsweise, in dem die Bildverarbeitungseinheit 210 die vom Kameramodul 110 A empfangenen Rahmendaten und die vom Kameramodul 110_B empfangenen Rahmendaten integriert, um ein Signalbild zu erzeugen, weist eine solche Anordnung das Problem auf, dass es einen Unterschied in der Aktualisierungszeit zwischen Bereichen in einem einzigen Bild gibt.
-
Um dieses Problem zu lösen, erfordert eine solche Anordnung eine erhöhte Kapazität der Puffer 204_A und 204_B, um den Unterschied im Zeitpunkt, zu dem die Rahmendaten zwischen mehreren Rahmendaten ankommen, zu absorbieren. In einem Fall, in dem jeder Puffer 204 so ausgebildet ist, dass er eine erhöhte Kapazität hat, führt dies jedoch zu dem Problem eines vergrößerten Bereichs und zu erhöhten Kosten für die Steuerung 200R.
-
Die vorliegende Erfindung wurde im Hinblick auf eine solche Situation gemacht. Dementsprechend ist es ein beispielhafter Gegenstand einer Ausführungsform der vorliegenden Erfindung, ein Kamerasystem zur Verfügung zu stellen, das in der Lage ist, die Bildaufnahmezeit zwischen mehreren Kameramodulen, einer im Kamerasystem verwendeten Steuerung oder einem Deserialisierungsschaltkreis (wobei im Folgenden Schaltkreis gleichbedeutend mit Schaltung und umgekehrt sein soll) abzugleichen.
-
Mittel zur Lösung des Problems
-
Eine Ausführungsform der vorliegenden Erfindung betrifft ein Kamerasystem. Das Kamerasystem umfasst: mehrere Kameramodule; und eine Steuerung, die strukturiert ist, um die Mehrzahl der Kameramodule zu steuern und die von der Mehrzahl der Kameramodule erfassten Videobilder zu verarbeiten. Die Steuerung ist strukturiert: (i) um ein Rahmensynchronisationssignal an jedes der mehreren Kameramodule auszugeben; (ii) um Rahmendaten und ein Übertragungssynchronisationssignal zu empfangen, das mit den Rahmendaten von jedem der Mehrzahl von Kameramodulen synchronisiert ist; (iii) um die Mehrzahl von Elementen von Rahmendaten zu verarbeiten, welche derart empfangen wurden; und (iv) um eine Zeitdifferenz zwischen dem entsprechenden Rahmensynchronisationssignal und dem entsprechenden Übertragungssynchronisationssignal für jedes Kameramodul zu erfassen, um das Rahmensynchronisationssignal entsprechend der Zeitdifferenz einzustellen.
-
Eine weitere Ausführungsform der vorliegenden Erfindung betrifft eine Steuerung, die strukturiert ist, um mehrere Kameramodule zu steuern und die von den mehreren Kameramodulen aufgenommenen Videobilder zu verarbeiten. Die Steuerung umfasst: mehrere Empfänger, die jeweils strukturiert sind, um Rahmendaten und ein Übertragungssynchronisationssignal zu empfangen, das mit den Rahmendaten von dem entsprechenden Kameramodul synchronisiert ist; eine Bildverarbeitungseinheit, die strukturiert ist, um mehrere Elemente von Rahmendaten zu verarbeiten, die von den mehreren Empfängern empfangen wurden; eine Synchronisationssignal-Erzeugungseinheit, die strukturiert ist, um mehrere Rahmensynchronisationssignale zu erzeugen, die den mehreren Kameramodulen entsprechen; mehrere Verzögerungsmesseinheiten, die jeweils strukturiert sind, um eine Zeitdifferenz zwischen dem entsprechenden Rahmensynchronisationssignal und dem entsprechenden Übertragungssynchronisationssignal zu erfassen; und mehrere Sender, die strukturiert sind, um die mehreren Rahmensynchronisationssignale an die mehreren Kameramodule zu übertragen. Die mehreren Rahmensynchronisationssignale weisen ein Zeitverhältnis auf, das auf der Grundlage von durch die mehreren Verzögerungsmesseinheiten gemessenen Zeitdifferenzen einstellbar ist.
-
Eine weitere Ausführungsform der vorliegenden Erfindung betrifft einen Deserialisierer. Der Deserialisierungsschaltkreis ist so aufgebaut, dass sie ein von einem Kameramodul aufgenommenes Videobild empfängt. Der Deserialisierungsschaltkreis umfasst: einen Empfänger, der strukturiert ist, um Rahmendaten und ein Übertragungssynchronisationssignal zu empfangen, das mit den Rahmendaten des Kameramoduls synchronisiert ist; einen Sender, der strukturiert ist, um ein von einem externen Schaltkreis empfangenes Rahmensynchronisationssignal an das Kameramodul zu übertragen; und eine Verzögerungsmesseinheit, die strukturiert ist, um eine Zeitdifferenz zwischen dem Rahmensynchronisationssignal und dem Übertragungssynchronisationssignal zu erfassen.
-
Es ist zu beachten, dass jede Kombination der oben beschriebenen Komponenten oder jede Manifestation gemäß der vorliegenden Erfindung zwischen einem Verfahren, einer Vorrichtung usw., die auch als Ausführungsform der vorliegenden Erfindung wirksam sind, gegenseitig ersetzt werden kann.
-
Vorteil der vorliegenden Erfindung
-
Mit einer Ausführungsform der vorliegenden Erfindung sind mehrere Kameramodule in der Lage, eine zeitlich abgestimmte Bilderfassung aufzuweisen.
-
Figurenliste
-
- 1 ist ein Blockdiagramm, das ein Kamerasystem zeigt;
- 2 ist ein Blockschaltbild, das ein Kamerasystem mit einer Steuerung gemäß einer Ausführungsform zeigt;
- 3A und 3B sind Zeitdiagramme zur Erläuterung einer Kalibrieroperation des in 2 gezeigten Kamerasystems;
- 4A und 4B sind Zeitdiagramme zur Erläuterung eines weiteren Kalibriervorgangs;
- 5 ist ein Blockdiagramm, das eine Steuerung entsprechend einer Ausführungsform zeigt;
- 6 ist ein Blockdiagramm, das eine Steuerung gemäß einer Ausführungsform zeigt;
- 7 ist ein Diagramm zur Erläuterung der von einem Bildsensor erzeugten RAW-Daten und der Fehlerkorrektur; und
- 8 ist ein Schema eines Fahrzeugs mit einem Kamerasystem.
-
Beste Ausführungsform der vorliegenden Erfindung
-
Übersicht über die Ausführungsformen
-
Eine in der vorliegenden Spezifikation offenbarte Ausführungsform betrifft ein Kamerasystem. Das Kamerasystem umfasst: mehrere Kameramodule; und eine Steuerung, die strukturiert ist, um die mehreren Kameramodule zu steuern und die von den mehreren Kameramodulen erfassten Videobilder zu verarbeiten. Die Steuerung ist strukturiert: (i) um ein Rahmensynchronisationssignal an jedes der mehreren Kameramodule auszugeben; (ii) um Rahmendaten und ein Übertragungssynchronisationssignal zu empfangen, das mit den Rahmendaten von jedem der mehreren Kameramodulen synchronisiert ist; (iii) um die mehreren Elemente von Rahmendaten zu verarbeiten, welche derart empfangen wurden; und (iv) um eine Zeitdifferenz zwischen dem entsprechenden Rahmensynchronisationssignal und dem entsprechenden Übertragungssynchronisationssignal für jedes Kameramodul zu erfassen, um das Rahmensynchronisationssignal entsprechend der Zeitdifferenz einzustellen.
-
Das Übertragungssynchronisationssignal zeigt die führende Position der Rahmendaten (oder die führende Position der Zeilendaten) an und weist eine Korrelation mit einem Bildaufnahmezeitpunkt des Kameramoduls auf. Dementsprechend misst die Steuerung die Zeitdifferenz im Zeitpunkt zwischen dem von der Steuerung selbst übertragenen Rahmensynchronisationssignal und dem zurückkehrenden Übertragungssynchronisationssignal, um die Zeitdifferenz für alle Kameramodule anzugleichen und dadurch den Bildaufnahmezeitpunkt abzugleichen.
-
Die Steuerung kann auch folgendes umfassen: mehrere Empfänger, die jeweils strukturiert sind, um Rahmendaten und ein Übertragungssynchronisationssignal empfangen, das mit den Rahmendaten von dem entsprechenden Kameramodul synchronisiert ist; eine Bildverarbeitungseinheit, die strukturiert ist, um mehrere Elemente von Rahmendaten zu verarbeiten, die von den mehreren Empfängern empfangen wurden; eine Synchronisationssignal-Erzeugungseinheit, die strukturiert ist, um mehrere Rahmensynchronisationssignalen zu erzeugen, die den mehreren Kameramodulen entsprechen; mehrere Verzögerungsmesseinheiten, die jeweils strukturiert sind, um eine Zeitdifferenz zwischen dem entsprechenden Rahmensynchronisationssignal und dem entsprechenden Übertragungssynchronisationssignal zu erfassen; und mehrere Sender, die strukturiert sind, um die mehreren Rahmensynchronisationssignalen an die mehreren Kameramodule zu übertragen. Außerdem können die mehreren Rahmensynchronisationssignale ein Zeitverhältnis aufweisen, das auf der Grundlage von durch die mehreren Verzögerungsmesseinheiten gemessenen Zeitdifferenzen einstellbar ist.
-
Außerdem können der Empfänger, der Sender und die Verzögerungsmesseinheit, die demselben Kameramodul entsprechen, in einem einzigen Deserialisierungsschaltkreis integriert sein.
-
Das Kameramodul kann außerdem umfassen: einen Bildsensor; und einen Serialisierungsschaltkreis, der strukturiert ist, um eine bidirektionale Kommunikation mit dem Deserialisierungsschaltkreis zu ermöglichen, die ein Paar mit dem Serialisierungsschaltkreis bildet.
-
Eine weitere Ausführungsform, die in der vorliegenden Spezifikation offenbart ist, betrifft eine Steuerung, die strukturiert ist, um mehrere Kameramodule zu steuern und die von den mehreren Kameramodulen erfassten Videobilder zu verarbeiten. Die Steuerung umfasst: mehrere Empfänger, die jeweils strukturiert sind, um Rahmendaten und ein Übertragungssynchronisationssignal empfangen, das mit den Rahmendaten von dem entsprechenden Kameramodul synchronisiert ist; eine Bildverarbeitungseinheit, die strukturiert ist, um mehrere Elemente von Rahmendaten zu verarbeiten, die von den mehreren Empfängern empfangen wurden; eine Synchronisationssignal-Erzeugungseinheit, die strukturiert ist, um mehrere Rahmensynchronisationssignalen zu erzeugen, die den mehreren Kameramodulen entsprechen; mehrere Verzögerungsmesseinheiten, die jeweils strukturiert sind, um eine Zeitdifferenz zwischen dem entsprechenden Rahmensynchronisationssignal und dem entsprechenden Übertragungssynchronisationssignal zu erfassen; und mehrere Sender, die strukturiert sind, um die mehreren Rahmensynchronisationssignale an die mehreren Kameramodule zu übertragen. Die mehreren Rahmensynchronisationssignale weisen ein Zeitverhältnis auf, das auf der Grundlage von durch die mehreren Verzögerungsmesseinheiten gemessenen Zeitdifferenzen einstellbar ist.
-
Außerdem können der Empfänger, der Sender und die Verzögerungsmesseinheit, die demselben Kameramodul entsprechen, in einem einzigen Deserialisierungsschaltkreis integriert sein.
-
Eine noch weitere Ausführungsform, die in der vorliegenden Spezifikation offenbart ist, betrifft einen Deserialisierungsschaltkreis, der so aufgebaut ist, dass er ein von einem Kameramodul aufgenommenes Videobild empfängt. Der Deserialisierungsschaltkreis umfasst: einen Empfänger, der strukturiert ist, um Rahmendaten und ein Übertragungssynchronisationssignal zu empfangen, das mit den Rahmendaten vom Kameramodul synchronisiert ist; einen Sender, der strukturiert ist, um ein von einem externen Schaltkreis empfangenes Rahmensynchronisationssignal an das Kameramodul zu übertragen; und eine Verzögerungsmesseinheit, die strukturiert ist, um eine Zeitdifferenz zwischen dem Rahmensynchronisationssignal und dem Übertragungssynchronisationssignal zu erfassen.
-
Da der Deserialisierungsschaltkreis weiterhin eine zusätzliche Schaltungskomponente umfasst, die strukturiert ist, um die Zeitdifferenz zwischen dem Rahmensynchronisationssignal und dem zurückkehrenden Übertragungssynchronisationssignal zu messen, ermöglicht dies die Erfassung von Daten zum Abgleich der Bildaufnahmezeiten, ohne dass eine große Änderung der anderen Hardwarekomponenten erforderlich ist.
-
Der Deserialisierungsschaltkreis kann weiterhin einen Verzögerungsschaltkreis umfassen, der eine Verzögerung auf das Rahmensynchronisationssignal anwendet. Die Verzögerung kann entsprechend der Zeitdifferenz einstellbar sein. Auf diese Weise kann die für den Abgleich der Bildaufnahmezeiten erforderliche Verarbeitung durch eine interne Komponente des Deserialisierungsschaltkreises vollständig unterstützt sein.
-
Der Deserialisierungsschaltkreis kann ausgebildet sein, um zu ermöglichen, dass die Zeitdifferenz an einen externen Schaltkreis ausgegeben werden kann. In diesem Fall kann ein solcher externer Schaltkreis des Deserialisierungsschaltkreises einen Teil der für die Anpassung der Bilderfassungszeitpunkte erforderlichen Verarbeitung ausführen.
-
Ausführungsformen
-
Im Folgenden ist die vorliegende Erfindung anhand bevorzugter Ausführungsformen unter Bezugnahme auf die Zeichnungen beschrieben. Dieselben oder ähnliche Komponenten, Elemente und Prozesse sind mit denselben Bezugszeichen gekennzeichnet, wobei redundante Beschreibungen gegebenenfalls weggelassen sind. Die Ausführungsformen sind nur zu beispielhaften Zwecken beschrieben und sollen die vorliegende Erfindung keinesfalls einschränken. Auch ist es für die vorliegende Erfindung nicht unbedingt erforderlich, dass alle Merkmale oder eine Kombination davon wie in den Ausführungsformen beschrieben bereitgestellt sind.
-
In der vorliegenden Beschreibung umfasst der durch den Wortlaut „das Element A ist mit dem Element B gekoppelt“ dargestellte Zustand einen Zustand, in dem das Element A indirekt mit dem Element B über ein anderes Element gekoppelt ist, das die elektrische Verbindung zwischen ihnen nicht wesentlich beeinflusst oder die Funktionen oder Wirkungen der Verbindung zwischen ihnen nicht beeinträchtigt, zusätzlich zu einem Zustand, in dem sie physikalisch und direkt gekoppelt sind.
-
In ähnlicher Weise schließt der durch den Wortlaut „das Element C ist zwischen dem Element A und dem Element B vorgesehen“ dargestellte Zustand einen Zustand ein, in dem das Element A indirekt mit dem Element C gekoppelt ist oder das Element B indirekt mit dem Element C über ein anderes Element gekoppelt ist, das die elektrische Verbindung zwischen ihnen nicht wesentlich beeinflusst oder das die Funktionen oder Wirkungen der Verbindung zwischen ihnen nicht beschädigt, zusätzlich zu einem Zustand, in dem sie direkt gekoppelt sind.
-
2 ist ein Blockdiagramm, das ein Kamerasystem 100 mit einer Steuerung 200 gemäß einer Ausführungsform zeigt. Das Kamerasystem 100 hat die gleiche Grundkonfiguration wie das in 1 gezeigte Kamerasystem 100R. Das Kamerasystem 100 umfasst mehrere Kameramodule 110_A und 110B sowie eine Steuerung 200. Die Steuerung 200 steuert integral die mehreren Kameramodule 110_A und 110_B und verarbeitet die von den Kameramodulen 110_A und 110_Baufgenommenen Videobilder. Zur Vereinfachung der Beschreibung und zum besseren Verständnis wird die Beschreibung in der vorliegenden Ausführungsform anhand eines Beispiels mit zwei Kameramodulen 110 vorgenommen. Außerdem kann die Anzahl der Kameramodule drei oder mehr betragen. In einem solchen Fall entspricht „#“ den Modulen „A“, „B“, „C“, ....
-
Die Steuerung 200 ist so ausgebildet, dass sie die folgenden Funktionen (i) bis (iv) aufweist. Das Verfahren zur Implementierung solcher Funktionen ist insbesondere nicht eingeschränkt.
-
FUNKTION (i)
-
Die Steuerung 200 gibt separate Rahmensynchronisationssignale FSYNC_A und FSYNC_B an die mehreren Kameramodule 110_A bzw. 110_B aus. Das heißt, anders als die in 1 gezeigte Steuerung 200R ist die Steuerung 200 so ausgebildet, dass sie das Rahmensynchronisationssignal FSYNC_# an die mehreren Kameramodule 110_A und 110_B zu unterschiedlichen Zeitpunkten (oder zum gleichen Zeitpunkt) liefern kann.
-
Das Kameramodul 110_# nimmt ein Bild zu einem Zeitpunkt auf, der dem entsprechenden Rahmensynchronisationssignal FSYNC_# entspricht. Das Kameramodul 110_# konvertiert die so erfassten Rahmendaten FDATA_# in serielle Daten SDATA_# und überträgt die so konvertierten seriellen Daten SDATA_# an die Steuerung 200.
-
FUNKTION (ii)
-
Die Steuerung 200 empfängt die Rahmendaten FDATA_# und das Übertragungssynchronisationssignal SYNC_#, das mit den Rahmendaten FDATA_# von jedem der mehreren Kameramodule 110_A und 110_B synchronisiert ist. Als Übertragungssynchronisationssignal SYNC_# kann, wie bei typischen Bildschnittstellen, ein beliebiges Signal aus einem Datenfreigabesignal DE, einem horizontalen Synchronisationssignal HS und einem vertikalen Synchronisationssignal VS verwendet werden.
-
FUNKTION (iii)
-
Die Steuerung 200 verarbeitet die so empfangenen mehreren Elemente der Rahmendaten FDATA_#. Der Inhalt der von der Steuerung 200 unterstützten Verarbeitung ist insbesondere nicht eingeschränkt. Beispielsweise kann die Steuerung 200 die mehreren Elemente der Rahmendaten FDATA_# so integrieren, dass ein einziger Rahmen erzeugt wird. Außerdem kann die Steuerung 200 ein Element aus den mehreren Elementen der Rahmendaten FDATA_# auswählen.
-
Die Steuerung 200 ist so ausgebildet, dass sie (iv) die Zeitdifferenz τ# zwischen dem entsprechenden Rahmensynchronisationssignal FSYNC_# und dem entsprechenden Übertragungssynchronisationssignal SYNC_# erfasst. Die Steuerung 200 ist so ausgebildet, dass sie in der Lage ist, den Zeitpunkt des Rahmensynchronisationssignals FSYNC_# entsprechend der Zeitdifferenz τ# anzupassen.
-
Das oben Beschriebene ist die Funktion der Steuerung 200. Als nächstes ist eine Beispielkonfiguration der Steuerung 200 beschrieben. Die Steuerung 200 umfasst mehrere Empfänger 202, mehrere Puffer 204, mehrere Sender 208, eine Bildverarbeitungseinheit 210, mehrere Verzögerungsmesseinheiten 220 und eine Synchronisationssignal-Erzeugungseinheit 230.
-
Der Empfänger 202_# empfängt die seriellen Daten SDATA_#, aus denen sich die vom entsprechenden Kameramodul 110 # ausgegebenen Rahmendaten FDATA_# zusammensetzen, zusammen mit dem Übertragungssynchronisationssignal SYNC_#. Die so empfangenen seriellen Daten SDATA_# werden in parallele Daten PDATA_# umgewandelt und im Puffer 204_# in Einheiten von mehreren Pixeln oder in Einheiten von mehreren Zeilen gespeichert. Die Bildverarbeitungseinheit 210 verarbeitet die in den mehreren Puffern 204_A und 204_B gespeicherten Rahmendaten.
-
Die Synchronisationssignal-Erzeugungseinheit 230 erzeugt die mehreren Rahmensynchronisationssignale FSYNC_A und FSYNC_B, die den mehreren Kameramodulen 110_A und 110_B entsprechen. Die mehreren Rahmensynchronisationssignale FSYNC_A und FSYNC_B sind jeweils mit einem einstellbaren Zeitpunkt ausgebildet.
-
Der Sender 208_# überträgt das entsprechende Rahmensynchronisationssignal FSYNC_# an das entsprechende Kameramodul 110 #.
-
Die Verzögerungsmesseinheit 220_# erfasst die Zeitdifferenz τ# zwischen dem entsprechenden Rahmensynchronisationssignal FSYNC_# und dem entsprechenden Übertragungssynchronisationssignal SYNC_#.
-
Die Synchronisierungssignal-Erzeugungseinheit 230 ist so ausgebildet, dass sie in der Lage ist, das Zeitverhältnis zwischen den mehreren Bildsynchronisierungssignalen FSYNC_A und FSYNC_B auf der Grundlage der von den mehreren Verzögerungsmesseinheiten 220_A und 220_B gemessenen Zeitdifferenzen τA und τB einzustellen.
-
Die obige Beschreibung ist die Konfiguration der Steuerung 200. Als nächstes ist der Betrieb des Kamerasystems 100 beschrieben.
-
Die 3A und 3B sind Zeitdiagramme zur Erläuterung eines Kalibrierungsvorgangs des in 2 gezeigten Kamerasystems 100. Wie in 3A dargestellt, liefert die Synchronisationssignal-Erzeugungseinheit 230 zunächst die mehreren Rahmensynchronisationssignale FSYNC_A und FSYNC_B mit einem abgeglichenen Zeitpunkt an die Kameramodule 110_A und 110_B.
-
Infolgedessen erreichen die Rahmensynchronisationssignale FSYNC_A und FSYNC_B das Kameramodul 110 A und 110_B über verschiedene Verzögerungspfade 102_A bzw. 102_B. Nachdem die Rahmensynchronisationssignale jeweils die Kameramodule 110_A und 110_B erreicht haben, werden die Rahmensynchronisationssignale durch „FSYNC_A‟ und "FSYNC_B‟ dargestellt.
-
Das Kameramodul 110 # nimmt als Reaktion auf das entsprechende Synchronisationssignal FSYNC#' ein Bild auf und überträgt die seriellen Daten SDATA_#, aus denen sich die Rahmendaten FDATA_# zusammensetzen, zusammen mit dem Übertragungssynchronisationssignal SYNC_# an die Steuerung 200.
-
In der Steuerung 200 misst die Verzögerungsmesseinheit 220_# die Differenz τ# zwischen dem entsprechenden Rahmensynchronisationssignal FSYNC_# und dem Übertragungssynchronisationssignal SYNC_#. Die Zeitdifferenzen τA und τB werden an die Synchronisationssignal-Erzeugungseinheit 230 geliefert. Die Synchronisationssignal-Erzeugungseinheit 230 stellt die Zeitpunkte der Rahmensynchronisationssignale FSYNC_A und FSYNC_B auf der Grundlage der Zeitdifferenzen τA und τB so ein, dass die Zeitpunkte der Übertragungssynchronisationssignale SYNC_A und SYNC_B abgeglichen sind.
-
Die Zeitpunkte können mit dem Kanal, der eine große Zeitdifferenz τ aufweist, als Referenz eingestellt werden. In dem in 3A gezeigten Beispiel hat der Kanal B die größte Verzögerung τ. In diesem Fall kann die Differenz des Verzögerungsbetrags Δτ = (τB - τA) berechnet werden. Wie in 3B dargestellt, kann der Zeitpunkt des Rahmensynchronisationssignals FSYNC_A des anderen Kanals (in diesem Beispiel Kanal A) um Δτ verzögert sein.
-
Umgekehrt kann der Zeitpunkt mit dem Kanal mit einer kleinen Zeitdifferenz τ als Referenz eingestellt sein. In dem in 3A gezeigten Beispiel weist der Kanal A die geringste Verzögerung auf. In diesem Fall kann die Differenz des Verzögerungsbetrags Δτ = (τB - τA) berechnet werden. Auch der Zeitpunkt des Rahmensynchronisationssignals FSYNC_B des anderen Kanals (in diesem Beispiel Kanal B) kann um Δτ vorgerückt sein.
-
Die 4A und 4B sind Zeitdiagramme, die jeweils einen anderen Kalibrierungsvorgang zeigen. In diesem Beispiel ist der Zeitpunkt des Rahmensynchronisationssignals jedes Kanals unter Verwendung eines für alle Kanäle definierten gemeinsamen Referenzwerts τREF eingestellt. Konkret wird die Differenz Δτ# zwischen dem Referenzwert τREF und dem gemessenen Verzögerungsbetrag τ#, d.h. Δτ# = (τREF - τ#), berechnet. Der Zeitpunkt von FSYNC_# wird entsprechend Δτ# angepasst.
-
Die obige Beschreibung ist der Betrieb des Kamerasystems 100. Als nächstes wird der Vorteil dieses Systems beschrieben. Das Übertragungssynchronisationssignal SYNC zeigt die führende Position der einzelnen Rahmendaten FDATA (oder die führende Position jeder Zeile) an, und korreliert mit dem vom Kameramodul 110 bereitgestellten Bildaufnahmezeitpunkt. Dementsprechend misst die Steuerung 200 die Zeitpunkt-Differenz τ# zwischen dem Zeitpunkt des von der Steuerung 200 selbst übertragenen Rahmensynchronisationssignals FSYNC_# und dem zurückkehrenden Übertragungssynchronisationssignal SYNC_#. Darüber hinaus gleicht die Steuerung 200 die Zeitdifferenzen τ# für alle Kameramodule aus. Auf diese Weise wird der Zeitpunkt der Bildaufnahme abgestimmt.
-
Durch Abgleich des Zeitpunkts, zu dem die von jedem der mehreren Kameramodule 110 erfassten Rahmendaten FDATA die Steuerung 200 erreichen, benötigt das Kamerasystem 100 keinen zusätzlichen Puffer zum Absorbieren der Zeitdifferenz. Das heißt, dass die Puffer 204_A und 204_B jeweils eine geringe Kapazität haben, wodurch der Schaltungsbereich und die Kosten reduziert werden können.
-
Die vorliegende Erfindung umfasst verschiedene Arten von Vorrichtungen und Verfahren, die als eine Blockkonfiguration oder eine Schaltungskonfiguration betrachtet werden können, wie sie in 2 dargestellt sind, oder anderweitig aus der vorgenannten Beschreibung abgeleitet werden können. Das heißt, die vorliegende Erfindung ist nicht auf eine bestimmte Konfiguration beschränkt. Zur Verdeutlichung und zum leichteren Verständnis des Wesens der vorliegenden Erfindung und der Schaltungsoperation wird im Folgenden eine genauere Beschreibung einer Beispielkonfiguration oder eines Beispiels gegeben. Das heißt, dass die folgende Beschreibung keinesfalls darauf abzielt, den technischen Umfang der vorliegenden Erfindung einzuschränken.
-
5 ist ein Blockschaltbild, das die Steuerung 200 anhand eines Beispiels zeigt. Die Bezugszeichen, die den in 2 dargestellten entsprechen, sind in Klammern angegeben. In einem Fall, in dem zwischen jedem Kameramodul 110 und der Steuerung 200 eine große Entfernung, z.B. mehrere Meter, besteht, ist es für eine in eine universelle Mikrosteuerung oder Prozessor eingebaute Schnittstelle schwierig, großvolumige Rahmendaten zu übertragen. Um ein solches Problem zu lösen, wird ein Satz aus einem Serialisierungsschaltkreis und einem Deserialisierungsschaltkreis verwendet, um die Übertragung über große Entfernungen zu unterstützen.
-
Die Steuerung 200 umfasst Deserialisierungsschaltkreise 300_#, die jeweils für den entsprechenden Kanal bereitgestellt sind, und einen Prozessor 320 wie z.B. ein System-On-Chip (SOC) oder ähnliches. Auf der anderen Seite umfasst jedes Kameramodul 110_# einen Bildsensor 112 und einen Serialisierungsschaltkreis 114. Der Serialisierungsschaltkreis 114 und der Deserialisierungsschaltkreis 300 sind über eine differentielle Übertragungsstrecke 104 gekoppelt. Diese Anordnung ermöglicht eine bidirektionale serielle Datenübertragung über die einzige differentielle Übertragungsstrecke 104.
-
Jeder Empfänger 202_#, jeder Sender 208_# und jede Verzögerungsmesseinheit 220_#, die dem in 2 gezeigten entsprechenden Kameramodul 110_# entsprechen, sind auf einem in 5 gezeigten Deserialisierungsschaltkreis 300_# integriert. Der Deserialisierungsschaltkreis 300 umfasst einen Empfänger 302, einen Sender 304, einen Seriell/Parallel-Wandler 306, einen Parallel/Seriell-Wandler 308, eine Verzögerungsmesseinheit 310 und einen Verzögerungsschaltkreis 312.
-
Der Empfänger 302 empfängt serielle Daten, die von dem Serialisierungsschaltkreis 114 übertragen werden. Die seriellen Daten SDATA können die Rahmendaten FDATA und das oben beschriebene Übertragungssynchronisationssignal SYNC umfassen. Es ist zu beachten, dass das Übertragungssynchronisationssignal SYNC über eine dedizierte Signalleitung übertragen werden kann, die sich vom differentiellen Übertragungspfad 104 unterscheidet.
-
Der Seriell/Parallel-Wandler 306 wandelt die vom Empfänger 302 empfangenen seriellen Daten SDATA in parallele Daten PDATA um. Die parallelen Daten PDATA umfassen die Rahmendaten FDATA und das Übertragungssynchronisationssignal SYNC.
-
Der Prozessor 320 umfasst eine Bildverarbeitungseinheit 322 und eine Synchronisierungssignal-Erzeugungseinheit 324. Die Synchronisationssignal-Erzeugungseinheit 324 erzeugt ein gemeinsames Rahmensynchronisationssignal FSYNC für alle Kameramodule 110_A und 110_B. Das Rahmensynchronisationssignal FSYNC wird jedem der mehreren Deserialisierungsschaltkreise 300_A und 300_B zugeführt. Die Bildverarbeitungseinheit 322 empfängt die Rahmendaten FDATA_A und FDATA_B, die von den Deserialisierungsschaltkreisen 300_A und 300_B empfangen werden, und verarbeitet die so empfangenen Rahmendaten FDATA_A und FDATA_B.
-
Der Verzögerungsschaltkreis 312 ist in der Lage, eine Verzögerungszeit einzustellen. Der Verzögerungsschaltkreis 312 verzögert das vom Prozessor 320 empfangene Rahmensynchronisationssignal FSYNC, um das Rahmensynchronisationssignal FSYNC_# für jeden Kanal zu erzeugen. Der Parallel/Seriell-Wandler 308 wandelt das Rahmensynchronisationssignal FSYNC_# in serielle Daten um. Der Sender 304 steuert den differentiellen Übertragungspfad 104 entsprechend den vom Parallel/Seriell-Wandler 308 ausgegebenen seriellen Daten, um das Rahmensynchronisationssignal FSYNC_# an das Kameramodul 110 zu übertragen.
-
Die Verzögerungsmesseinheit 310 misst die Zeitdifferenz (Verzögerung) τ# zwischen dem Rahmensynchronisationssignal FSYNC_# und dem Übertragungssynchronisationssignal SYNC_#. Der von dem Verzögerungsschaltkreis 312 bereitgestellte Verzögerungsbetrag ist auf der Grundlage der von der Verzögerungsmesseinheit 310 gemessenen Zeitdifferenz τ# eingestellt.
-
6 ist ein Blockdiagramm, das die Steuerung 200 anhand eines Beispiels zeigt. Es wird nur der Unterschied zu einer in 5 gezeigten Anordnung beschrieben. In dem in 6 gezeigten Beispiel erzeugt die Synchronisationssignal-Erzeugungseinheit 324 die Rahmensynchronisationssignale FSYNC_A und FSYNC_B für die jeweiligen Kanäle und liefert die Rahmensynchronisationssignale FSYNC_A und FSYNC_B an die Deserialisierungsschaltkreise 300_A bzw. 300B. Das heißt, die Funktion des in 5 dargestellten Verzögerungsschaltkreises 312 ist in der in 6 dargestellten Synchronisationssignal-Erzeugungseinheit 324 integriert.
-
Der Deserialisierungsschaltkreis 300_# ist so ausgebildet, dass er in der Lage ist, die von der Verzögerungsmesseinheit 310 gemessene Zeitdifferenz τ# an den Prozessor 320 zu liefern. Die Zeitdifferenz τ# kann dem Prozessor 320 über eine Registerzugriffsschnittstelle wie z.B. eine Inter-IC (l2C)-Schnittstelle, Serial-Peripheral-Schnittstelle (SPI) oder ähnliches zugeführt werden. Alternativ kann die Zeitdifferenz τ# dem Prozessor 320 über eine gemeinsame Signalleitung zugeführt werden, die von den parallelen Daten PDATA_# gemeinsam genutzt wird. Die Synchronisierungssignal-Erzeugungseinheit 324 passt die Zeitpunkte der Rahmensynchronisierungssignale FSYNC_A und FSYNC_B auf der Grundlage der Zeitdifferenzen τA und τB an.
-
Als nächstes ist die Korrektur eines Übertragungsfehlers beschrieben, der bei der Übertragung von Rahmendaten vom Kameramodul 110 zur Steuerung 200 auftritt. In vielen Fällen verwenden die Bildsensoren ein Bayer-Array. 7 ist ein Diagramm zur Erläuterung der vom Bildsensor erzeugten RAW-Daten und der Fehlerkorrektur. Hier stellen „R“, „G“ und „B“ jeweils Subpixel von „Rot“, „Grün“ und „Blau“ dar. In vielen Fällen gibt ein solcher Bildsensor RAW-Daten ohne Demosaizierung-Verarbeitung aus. Dementsprechend sind beim Kamerasystem 100 in einigen Fällen die vom Kameramodul 110 an die Steuerung 200 übertragenen Rahmendaten FDATA vor der Demosaizierung als solche RAW-Daten in einem Bayer-Array-Format ausgebildet, statt als RGB-Daten für jedes Pixel, das der Demosaizierung unterzogen wird.
-
Bei der in 2 gezeigten Steuerung 200 hat der Puffer 204 eine Datenkapazität von drei Zeilen RAW-Daten. Beim Erkennen des Auftretens eines Fehlers in einem Subpixel von „G“ einer bestimmten Zeile Y verwendet die Bildverarbeitungseinheit 210 die Daten eines Subpixels von „G“ der unmittelbar vorhergehenden Zeile Y-1 als Ersatz. Es gibt zwei Subpixel von „G“, die jedem Subpixel von „G“ am nächsten liegen. Dementsprechend kann ein Durchschnittswert der beiden nächstgelegenen Subpixel verwendet werden.
-
Bei der Erkennung eines Fehlers in einem Subpixel von „R“ oder „B“ einer bestimmten Zeile Y verwendet die Bildverarbeitungseinheit 210 die Daten des nächstgelegenen Subpixels von „R“ oder „B“, die in der zwei Zeilen vorhergehenden Zeile Y-2 enthalten sind, als Ersatz.
-
Diese Anordnung ist in der Lage, die Verschlechterung eines Bildes aufgrund des Auftretens eines Fehlers bei der RAW-Datenübertragung zu unterdrücken.
-
Als nächstes ist die Verwendung des Kamerasystems 100 beschrieben. 8 ist ein Diagramm, das ein Fahrzeug mit einem Kamerasystem zeigt. Ein Fahrzeug 500 umfasst mehrere Kameramodule 402. Jedes Kameramodul 402 ist über ein bidirektionales Übertragungssystem 406 mit einer Steuerung 404 gekoppelt. Zum Beispiel verarbeitet die Steuerung 404 die mehreren Kameramodule 402 entsprechend einem Fahrzustand des Fahrzeugs 500. Zum Beispiel zeigt die Steuerung 404 im Rückwärtsfahrmodus ein vom Rückfahrkameramodul 402B ausgegebenes Bild auf einem fahrzeugeigenen Display 502 an. Bei Auswahl eines Rundumsichtüberwachungsmodus beim Einparken kombiniert die Steuerung 404 die von den mehreren Kameramodulen 402 empfangenen mehreren Bilder zu einem zusammengesetzten Bild und zeigt das zusammengesetzte Bild auf dem fahrzeugeigenen Display 502 an.
-
Die Beschreibung der vorliegenden Erfindung wurde unter Bezugnahme auf die Ausführungsformen unter Verwendung spezifischer Begriffe vorgenommen. Die oben beschriebenen Ausführungsformen zeigen jedoch nur beispielhaft einen Aspekt der Mechanismen und Anwendungen der vorliegenden Erfindung und sollen keinesfalls einschränkend interpretiert werden. Vielmehr können verschiedene Modifikationen und verschiedene Änderungen in der Ausgestaltung vorgenommen werden, ohne von Geist und Umfang der vorliegenden Erfindung abzuweichen, wie sie in den beigefügten Ansprüchen definiert ist.
-
Gewerbliche Anwendbarkeit
-
Die vorliegende Erfindung betrifft eine Datenübertragungstechnik.
-
Bezugszeichenliste
-
- 100
- Kamerasystem
- 102
- Verzögerungspfad
- 104
- differentieller Übertragungspfad
- 110
- Kameramodul
- 112
- Bildsensor
- 114
- Serialisierungsschaltkreis
- 200
- Steuerung
- 202
- Empfänger
- 204
- Puffer
- 206
- Synchronisationssignal-Erzeugungseinheit
- 210
- Bildverarbeitungseinheit
- 220
- Verzögerungsmesseinheit
- 230
- Synchronisationssignal-Erzeugungseinheit
- 300
- Deserialisierungsschaltkreis
- 302
- Empfänger
- 304
- Sender
- 306
- Seriell/Parallel-Wandler
- 308
- Parallel/Seriell-Wandler
- 310
- Verzögerungsmesseinheit
- 312
- Verzögerungsschaltkreis
- 320
- Prozessor
- 322
- Bildverarbeitungseinheit
- 324
- Synchronisationssignal-Erzeugungseinheit
- 402
- Kameramodul
- 404
- Steuerung
- 500
- Fahrzeug
- 502
- Display im Fahrzeug