DE102021212406A1

DE102021212406A1 - Verfahren zum Synchronisieren von Bildverarbeitungskomponenten

Info

Publication number: DE102021212406A1
Application number: DE102021212406.2A
Authority: DE
Inventors: Daniele Ambrosio
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2021-11-04
Filing date: 2021-11-04
Publication date: 2023-05-04
Also published as: CN116074456A

Abstract

Die Erfindung betrifft ein Verfahren zum Synchronisieren von Bildverarbeitungskomponenten. Die Bildverabeitungskomponenten umfasst einen Deserialisierer (14), mit welchem ein Datenstrom wenigstens einer Kamera empfangen wird, eine zentrale Recheneinheit (22) zur Bildinterpretation und Bildverarbeitung, eine Bildvorverarbeitung (18) und einem Serialisierer (26) zur Ausgabe eines verarbeiteten Bildes. Alle Bildverarbeitungskomponenten (14, 18, 22, 26) werden über wenigstens ein von einer einzigen Bildverarbeitungskomponente (14, 18, 22, 26) ausgegebenes Taktsignal (30) miteinander synchronisiert.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Synchronisieren von Bildverarbeitungskomponenten und eine Vorrichtung zum Durchführen eines solchen Verfahrens.
Stand der Technik
Fahrzeuge, insbesondere Pkw und Lkw, können mit einer oder mehreren Kameras ausgestattet sein. Die Kamera ist mit einer elektrischen Steuereinheit (ECU) zur Verarbeitung der Videodaten verbunden. Außerdem können die Videodaten von der Kamera zur ECU über ein Kabel übertragen werden. Somit werden die Videodaten von der Kamera seriell an das Steuergerät übertragen. Dies erfordert einen Serialisierer auf der Kameraseite und einen Deserialisierer auf der Steuergeräteseite. Für die Synchronisation der Komponenten untereinander ist ein Taktsignal notwendig, welches über einen externen Taktgeber wie Oszillator oder die Erzeugung eines Taktes aus einem Taktsignals mittels Schwingquarz und deren Beschaltung an der jeweiligen Komponenten zu erzeugen ist.
In der US 10,343,606 B2 ist ein Kamerasystem für ein Fahrzeug offenbart, das eine Kameraeinheit mit einem Serialisierer und eine Steuereinheit mit einem Deserialisierer, der mit dem Serialisierer verbunden ist, aufweist. Der Deserialisierer enthält eine Vielzahl von Datenkontakten zur parallelen Datenausgabe. Für die Datenübertragung von den Datenkontakten des Deserialisierers zu der Datenverarbeitungseinheit kann ein Pixeltakt verwendet werden. Dafür kann an dem Deserialisierer und an der Datenverarbeitungseinheit ein Taktkontakt vorgesehen sein.
Eine solche Synchronisierung der Komponenten ist aufwendig und kostenintensiv. Zusätzlich können durch die Vielzahl an Komponenten Fehler auftreten.
Die Aufgabe der Erfindung liegt somit darin, ein Verfahren anzugeben, mit welchem die Synchronisation einfacher und wirtschaftlicher durchführbar ist. Zusätzlich liegt die Aufgabe darin, ein Vorrichtung anzugeben, mit welcher ein solches Verfahren durchführbar ist.
Die Aufgabe wird gelöst durch ein Verfahren zum Synchronisieren von Bildverarbeitungskomponenten mit den Merkmalen nach Anspruch 1. Zusätzlich gibt die Erfindung eine Vorrichtung zum Durchführen eines solchen Verfahrens mit den Merkmalen nach Anspruch 7 an. Bevorzugte Ausführungsformen sind den abhängigen Ansprüchen zu entnehmen.
Offenbarung der Erfindung
Die Erfindung gibt ein Verfahren zum Synchronisieren von Bildverarbeitungskomponenten an. Die Bildverarbeitungskomponenten umfassen einen Deserialisierer, mit welchem ein Datenstrom wenigstens einer Kamera empfangen wird, eine zentrale Recheneinheit zur Bildinterpretation und Bildverarbeitung, eine Bildvorverarbeitung und einem Serialisierer zur Ausgabe eines verarbeiteten Bildes. Alle Bildverarbeitungskomponenten werden über wenigstens ein von einer einzigen Bildverarbeitungskomponente ausgegebenes Taktsignal miteinander synchronisiert.
Unter einem Deserialisierer wird eine Komponente verstanden, welche die über einen seriellen Anschluss übermittelten seriellen Daten in Objekte beziehungsweise hier Bilder umwandelt. Bei der Bildvorverarbeitung werden bestimmte Eigenschaften oder Strukturen von Bilder hervorgehoben. Zusätzlich werden die Bilder derart bearbeitet, dass die Verarbeitung der Bilder erleichtert wird. Die eigentliche Bildverarbeitung und Bildinterpretation findet in der zentralen Recheneinheit statt. Der Serialisierer ist dabei eine zum Deserialisierer umgekehrt funktionierende Komponente, welche aus Objekten serielle Daten zur seriellen Übertragung bildet.
Ebenso wie beim Stand der Technik werden die Bildverarbeitungskomponenten über ein Taktsignal miteinander synchronisiert. Im Gegensatz zu dem Stand der Technik ist keine zusätzlich externe Komponente notwendig, um das Taktsignal für alle Bildverarbeitungskomponenten zu erzeugen. Stattdessen wird das Taktsignal von einer bereits vorhandenen Bildverarbeitungskomponente erzeugt. Dies hat somit den Vorteil, dass keine extern zu den Bildverarbeitungskomponenten angeordneten und kostenintensive Komponenten benötigt werden. Durch die Reduzierung der Komponenten wird zudem die Fehleranfälligkeit und die Komplexität einer solchen Vorrichtung gesenkt.
In einer bevorzugten Ausführung der Erfindung wird das Taktsignal von der zentralen Recheneinheit ausgegeben. Das Taktsignal wird somit von der zentralen Recheneinheit an die übrigen Bildverarbeitungskomponenten ausgegeben. Eine solche Anordnung hat den Vorteil, dass das Taktsignal beziehungsweise die Erzeugung des Taktsignals direkt von der zentralen Recheneinheit überwacht werden kann. Dadurch wird das Verfahren zur Synchronisation der Bildverarbeitungskomponenten vereinfacht.
In einer weiteren bevorzugten Ausführung der Erfindung wird das Taktsignal von dem Deserialisierer, der Bildvorverarbeitung oder dem Serialisierer ausgegeben. Auch über diese Bildverarbeitungskomponenten kann ein Taktsignal erzeugt werden. In Abhängigkeit des Einsatzes der Bildverarbeitungskomponenten könnte eine Generierung des Taktsignals in den verschiedenen Bildverarbeitungskomponenten zu verschiedenen Vorteilen führen.
Vorzugsweise werden von der das Taktsignal generierenden Bildverarbeitungskomponente mehrere Taktsignale ausgegeben. Über die Generierung mehrerer voneinander unabhängiger Taktsignale können die Arbeitsschritte in Bezug auf die Daten mehrerer Kameras synchronisiert werden.
In einer vorteilhaften Weiterbildung wird das Taktsignal innerhalb der Bildverarbeitungskomponente mittels einer Phasenregelschleife generiert. Eine Phasenregelschleife ist dabei ein Regelkreis mit einem gesteuerten Oszillator. Eine solche Phasenregelschleife ist einfach zu realisieren und weist eine hohe Frequenzstabilität auf, so dass auf wirtschaftliche weise ein genaues Taktsignal erzeugt werden kann.
Vorteilhafterweise wird das Taktsignal innerhalb der Bildverarbeitungskomponente mittels eines Taktmanagers generiert. Der Taktmanager hat dabei den Vorteil, dass eine noch präzisere Takterzeugung möglich ist. Dadurch wird die Synchronisation der Bildkomponenten untereinander verbessert.
Die der Erfindung zugrunde liegende Aufgabe wird zusätzlich durch eine Vorrichtung zum Durchführen eines solchen Verfahrens gelöst. Die Vorrichtung umfasst wenigstens einen Deserialisierer zum Empfangen eines Datenstroms wenigstens einer Kamera, eine zentrale Recheneinheit zur Bildinterpretation und Bildverarbeitung, eine Bildvorverarbeitung und einen Serialisierer zur Ausgabe eines verarbeiteten Bildes, wobei eine der Bildverarbeitungskomponenten derart ausgebildet ist, wenigstens ein Taktsignal an die übrigen Bildverarbeitungskomponenten zum Synchronisieren dieser zu erzeugen. Mit einer solchen Vorrichtung können die gleichen zu dem Verfahren genannten Vorteile erzielt werden. Eine solchen Vorrichtung ist somit einfacherer und wirtschaftlicher im Vergleich zum Stand der Technik.
Bei einer vorteilhaften Ausführung sind elektrische Verbindungen von der das Taktsignal erzeugenden Bildverarbeitungskomponente zu den übrigen Bildverarbeitungskomponenten gleich lang. Durch eine Verwendung von gleich langen elektrischen Verbindungen ist die Signallaufzeit zwischen den verschiedenen Bildverarbeitungskomponenten gleich lang, so dass keine unterschiedlichen Signallaufzeiten auftreten. Dadurch wird die Synchronität der Bildverarbeitungskomponenten nochmals verbessert.
Alternativ sind die Sinallaufzeiten der Verbindungen entsprechend angepasst. Mit anderen Worten werden die Signale in Abhängigkeit der Länge der elektrischen Verbindungen abgegeben, so dass alle Bildverarbeitungskomponenten den Takt zur gleichen Zeit erreicht. Dies könnte dadurch realisiert werden, dass das Taktsignal zu den unterschiedlichen Bildverarbeitungskomponenten nicht gleichzeitig sondern entsprechend der Leitungslänge früher oder später abgegeben wird. Obwohl sich dieser Unterschied lediglich im Bereich von Bruchteilen von Mikrosekunden handelt, wird dadurch die Genauigkeit der Synchronisierung wesentlich verbessert.
Gemäß einer zweckmäßigen Ausführung besteht die zentrale Recheneinheit aus einem oder mehreren Prozessoren, Grafik-Prozessoren und/oder frei programmierbaren Logikgattern. Mittels einer solchen zentralen Recheneinheit wird eine hohe Qualität der Bildinterpretation und Bildverarbeitung realisiert.
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

Figur Ausführungsbeispiel einer Vorrichtung zum Durchführen des erfindungsgemäßen Verfahrens.

In der Figur ist ein Ausführungsbeispiel einer Vorrichtung 10 zum Durchführen des erfindungsgemäßen Verfahrens gezeigt. Die Vorrichtung 10 umfasst einen Deserialisierer 14, mit welchem ein serieller Datenstrom wenigstens einer Kamera empfangen wird. Darüber hinaus umfasst die Vorrichtung 10 eine Bildvorverarbeitung 18, mit welcher die Bilder vorverarbeitet werden. In einer zentrale Recheneinheit 22, welche aus hier nicht gezeigten Prozessoren, Grafik-Prozessoren und/oder frei programmierbaren Logikgattern bestehen kann, werden die Bilder im Wesentlichen interpretiert und verarbeitet.
Das Ergebnis der zentralen Recheneinheit 22 wird an einen Serialisierer 26 geleitet, über welchen die verarbeiteten Bilder ausgegeben werden. Zur Synchronisation der Bildverarbeitungskomponenten 14, 18, 22, 26 untereinander gibt die zentrale Recheneinheit 22 ein Taktsignal 30 an die übrigen Bildverarbeitungskomponenten aus. Das Taktsignal wird dabei über einen Taktmanager oder eine Phasenregelschleife 34 innerhalb der zentralen Recheneinheit 22 ausgegeben. Um eine Zeitverschiebung aufgrund unterschiedlich langer Verbindungen 38 zu vermeiden sind die Verbindungen 38 in diesem Ausführungsbeispiel im Wesentlichen gleich lang ausgebildet.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 10343606 B2 [0003]

Claims

Verfahren zum Synchronisieren von Bildverarbeitungskomponenten, umfassend einen Deserialisierer (14), mit welchem ein Datenstrom wenigstens einer Kamera empfangen wird, eine zentrale Recheneinheit (22) zur Bildinterpretation und Bildverarbeitung, eine Bildvorverarbeitung (18) und einem Serialisierer (26) zur Ausgabe eines verarbeiteten Bildes, wobei alle Bildverarbeitungskomponenten (14, 18, 22, 26) über wenigstens ein von einer einzigen Bildverarbeitungskomponente (14, 18, 22, 26) ausgegebenes Taktsignal (30) miteinander synchronisiert werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Taktsignal (30) von der zentralen Recheneinheit (22) ausgegeben wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Taktsignal (22) von dem Deserialisierer (14), der Bildvorverarbeitung (18) oder dem Serialisierer (26) ausgegeben wird.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass von der Bildverarbeitungskomponente (14, 18, 22, 26) mehrere Taktsignale (30) ausgegeben werden.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Taktsignal (30) innerhalb der Bildverarbeitungskomponente (14, 18, 22, 26) mittels einer Phasenregelschleife (34) generiert wird.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Taktsignal (30) innerhalb der Bildverarbeitungskomponente (14, 18, 22, 26) mittels eines Taktmanagers (34) generiert wird.
Vorrichtung (10) zum Durchführen eines Verfahrens nach einem der vorherigen Ansprüche, umfassend wenigstens einen Deserialisierer (14) zum Empfangen eines Datenstroms wenigstens einer Kamera, eine zentrale Recheneinheit (22) zur Bildinterpretation und Bildverarbeitung, eine Bildvorverarbeitung (18) und einen Serialisierer (26) zur Ausgabe eines verarbeiteten Bildes, wobei eine der Bildverarbeitungskomponenten (14, 18, 22, 26) derart ausgebildet ist, wenigstens ein Taktsignal (30) an die übrigen Bildverarbeitungskomponenten (14, 18, 22, 26) zum Synchronisieren dieser zu erzeugen.
Vorrichtung (10) nach Anspruch 7, dadurch gekennzeichnet, dass elektrische Verbindungen (38) von der das Taktsignal erzeugenden Bildverarbeitungskomponente (14, 18, 22, 26) zu den übrigen Bildverarbeitungskomponenten (14, 18, 22, 26) gleich lang sind oder die Sinallaufzeiten der Verbindungen (38) entsprechend angepasst sind.
Vorrichtung (10) nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die zentrale Recheneinheit (22) aus einem oder mehreren Prozessoren, Grafik-Prozessoren und/oder frei programmierbaren Logikgattern besteht.