-
Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur adaptiven Bildkorrektur von mindestens einem Bildparameter eines Kamerabildes einer Kamera bzw. einer optischen Sensoreinrichtung.
-
In vielen Geräten werden mehrere optische Sensoreinrichtungen bzw. Kameras eingesetzt, um als Sensordaten Videodaten zu generieren, die einer Bildverarbeitungseinheit zugeführt werden. Beispielsweise werden bei herkömmlichen Surround View Systemen von Fahrzeugen mehrere Kameras vorgesehen, welche Kamerabilder generieren, die durch eine Bildverarbeitungseinheit bei einem zusammengesetzten Gesamtbild bzw. Surround View Bild zusammengesetzt werden. Ein herkömmliches Surround View System eines Fahrzeuges kann beispielsweise vier Fahrzeugkameras aufweisen, die an dem Fahrzeug vorne, hinten, links und rechts angebracht sind. Die Bildverarbeitungseinheit setzt die von den verschiedenen Fahrzeugkameras erzeugten Kamerabilder zu einem zusammengesetzten Gesamtbild zusammen, das einem Fahrer oder einem Passagier des Fahrzeuges auf einer Anzeigeeinrichtung angezeigt werden kann. Auf diese Weise kann der Fahrer bei einem Fahrzeugmanöver unterstützt werden, beispielsweise bei einem Rückwärtsfahren des Fahrzeuges oder bei einem Parkmanöver. Die von den verschiedenen Fahrzeugkameras gelieferten Kamerabilder überlappen sich in Überlappungsbereichen. Wenn sich die Fahrzeugkameras an verschiedenen Seiten des Fahrzeuges befinden, kann es vorkommen, dass die Lichtverhältnisse für die unterschiedlichen Fahrzeugkameras unterschiedlich sind. Beispielsweise kann das Sonnenlicht die Umgebung des Fahrzeuges von einer Seite bestrahlen, vor allem beim Sonnenauf- und Sonnenuntergang. Darüber hinaus kann es durch die befahrene Strecke zu unterschiedlichen Lichtverhältnissen für die verschiedenen Fahrzeugkameras kommen. Wenn beispielsweise ein Fahrzeug in einen Fahrzeugtunnel einfährt, ist die Umgebung der vorderen Fahrzeugkamera plötzlich dunkel, während die Umgebung der hinteren Kamera durch das Tageslicht gut beleuchtet ist. Ein weiteres Beispiel ist das Einfahren des Fahrzeuges in eine Garage. Auch in diesem Falle ist die Umgebungsbeleuchtung für die vordere Fahrzeugkamera dunkel, während die hintere Kamera eine gut beleuchtete Umgebung erfasst. Bei herkömmlichen Surround View Systemen kommt es daher innerhalb des zusammengesetzten Gesamtbildes bzw. Surround View Bildes zu Bildartefakten, insbesondere zu Helligkeitssprüngen, innerhalb des Gesamtbildes, die durch die unterschiedlichen Beleuchtungsverhältnisse für die unterschiedlichen Fahrzeugkameras hervorgerufen werden.
-
Es ist daher eine Aufgabe der vorliegenden Erfindung, Bildartefakte, die durch unterschiedliche Beleuchtungsverhältnisse für die unterschiedlichen Kameras hervorgerufen werden, zu minimieren.
-
Diese Aufgabe wird erfindungsgemäß durch eine Vorrichtung mit den in Patentanspruch 1 angegebenen Merkmalen gelöst.
-
Die Erfindung schafft demnach eine Vorrichtung zur adaptiven Bildkorrektur von mindestens einem Bildparameter eines Kamerabildes mit:
- (a) mehreren Kameras zur Erzeugung von Kamerabildern, wobei die Kamerabilder von benachbarten Kameras jeweils überlappende Bildbereiche aufweisen; und mit
- (b) einer Bildverarbeitungseinheit, welche die von den Kameras erzeugten Kamerabilder zu einem zusammengesetzten Gesamtbild zusammensetzt;
- (c) wobei die Bildverarbeitungseinheit eine Bildkorrekturkomponente aufweist, die für jedes empfangene Kamerabild mehrere durchschnittliche Bildparameterpegel des Bildparameters in überlappenden Bildbereichen des Kamerabildes berechnet und den jeweiligen Bildparameter in Abhängigkeit von den berechneten durchschnittlichen Bildparameterpegeln einstellt.
-
Durch die erfindungsgemäße Vorrichtung wird somit die Bildqualität des zusammengesetzten Gesamtbildes merklich erhöht.
-
Bei einer möglichen Ausführungsform der erfindungsgemäßen Vorrichtung weist der Bildparameter des Kamerabildes, welches durch eine Kamera erzeugt wird, eine Bildhelligkeit, einen Bildkontrast, eine Bildfarbe, eine Bildschärfe, eine Farbsättigung und/oder eine Texturfrequenz auf.
-
Die erfindungsgemäße Vorrichtung kann somit einen oder mehrere Bildparameter des Kamerabildes gleichzeitig zur Minimierung von Bildartefakten einstellen.
-
Die Erfindung schafft ferner gemäß einem weiteren Aspekt ein Surround View System für ein Fahrzeug mit den in Patentanspruch 3 angegebenen Merkmalen.
-
Die Erfindung schafft demnach ein Surround View System eines Fahrzeuges mit einer Vorrichtung zur adaptiven Bildkorrektur von mindestens einem Bildparameter eines Kamerabildes mit mehreren Fahrzeugkameras zur Erzeugung von Kamerabildern,
wobei die Kamerabilder von benachbarten Fahrzeugkameras jeweils überlappende Bildbereiche aufweisen, und mit
einer Bildverarbeitungseinheit, welche die von den Fahrzeugkameras erzeugten Kamerabilder zu einem zusammengesetzten Gesamtbild zusammensetzt,
wobei die Bildverarbeitungseinheit eine Bildkorrekturkomponente aufweist, die für jedes empfangene Kamerabild einen durchschnittlichen Bildparameterpegel des Bildparameters in überlappenden Bildbereichen des Kamerabildes berechnet und den jeweiligen Bildparameter in Abhängigkeit von den berechneten durchschnittlichen Bildparameterpegeln einstellt.
-
Bei einer möglichen Ausführungsform des erfindungsgemäßen Surround View Systems weisen die Fahrzeugkameras Fischaugenfahrzeugkameras mit einem Blickwinkel von mindestens 185° auf.
-
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Surround View Systems erzeugen die Fahrzeugkameras Kamerabilder, die jeweils durch einen MJPEG-Encoder zur Datenkompression kodiert werden, wobei die kodierten Kamerabilder einer Fahrzeugkamera via Ethernet an einen zugehörigen MJPEG-Decoder übertragen werden, welcher die empfangenen kodierten Kamerabilder dekodiert und an die Bildverarbeitungseinheit abgibt.
-
Bei einer möglichen Ausführungsform des erfindungsgemäßen Surround View Systems weist dieses vier Fahrzeugkameras auf, nämlich
eine vordere Fahrzeugkamera, die sich an dem Fahrzeug vorne befindet,
eine hintere Fahrzeugkamera, die sich an dem Fahrzeug hinten befindet,
eine linke Fahrzeugkamera, die sich an dem Fahrzeug links befindet, und
eine rechte Fahrzeugkamera, die sich an dem Fahrzeug rechts befindet.
-
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Surround View Systems berechnet die Bildverarbeitungseinheit aus den Kamerabildern der Fahrzeugkameras ein zusammengesetztes Surround View Kamerabild, das auf einer Anzeigeeinheit des Fahrzeuges dem Fahrer und/oder einem Passagier angezeigt wird.
-
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Surround View Systems werden die Bildparameter der Kamerabilder der linken und rechten Fahrzeugkamera durch die Bildkorrekturkomponente der Bildverarbeitungseinheit an die Bildparameter der Kamerabilder der vorderen und hinteren Fahrzeugkamera angeglichen.
-
Dabei erfolgt die Angleichung vorzugsweise mittels einer Interpolationsfunktion.
-
Bei einer möglichen Ausführungsform des erfindungsgemäßen Surround View Systems ist die Interpolationsfunktion eine lineare Interpolationsfunktion ersten Grades.
-
Bei einer alternativen Ausführungsform des erfindungsgemäßen Surround View Systems ist die Interpolationsfunktion eine quadratische Interpolationsfunktion zweiten Grades.
-
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Surround View Systems ist die Interpolationsfunktion eine kubische Interpolationsfunktion dritten Grades.
-
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Surround View Systems erfolgt die Einstellung des jeweiligen Bildparameters in Abhängigkeit von einer Eigenbeleuchtung des Fahrzeuges.
-
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Surround View Systems wird die Eigenbeleuchtung des Fahrzeuges durch die Bildkorrekturkomponente der Bildverarbeitungseinheit auf Basis von Steuersignalen ermittelt, die über einen Fahrzeugbus des Fahrzeuges übertragen werden.
-
Die Erfindung schafft ferner gemäß einem weiteren Aspekt ein Überwachungssystem mit den in Patentanspruch 12 angegebenen Merkmalen.
-
Die Erfindung schafft demnach ein Überwachungssystem, insbesondere ein Gebäudeüberwachungssystem, mit einer Vorrichtung zur adaptiven Bildkorrektur von mindestens einem Bildparameter eines Kamerabildes mit
mehreren Kameras zur Erzeugung von Kamerabildern,
wobei die Kamerabilder von benachbarten Kameras jeweils überlappende Bildbereiche aufweisen und mit
einer Bildverarbeitungseinheit, welche die von den Kameras erzeugten Kamerabilder zu einem zusammengesetzten Gesamtbild zusammensetzt,
wobei die Bildverarbeitungseinheit eine Bildkorrekturkomponente aufweist, die für jedes Kamerabild einen durchschnittlichen Bildparameterpegel des Bildparameters in überlappenden Bildbereichen des Kamerabildes berechnet und den jeweiligen Bildparameter in Abhängigkeit von den berechneten durchschnittlichen Bildparameterpegeln einstellt.
-
Die Erfindung schafft ferner gemäß einem weiteren Aspekt ein Medizingerät mit den in Patentanspruch 13 angegebenen Merkmalen.
-
Die Erfindung schafft demnach ein Medizingerät mit einer Vorrichtung zur adaptiven Bildkorrektur von mindestens einem Bildparameter eines Kamerabildes mit
mehreren Kameras zur Erzeugung von Kamerabildern,
wobei die Kamerabilder von benachbarten Kameras jeweils überlappende Bildbereiche aufweisen und mit
einer Bildverarbeitungseinheit, welche die von den Kameras erzeugten Kamerabilder zu einem zusammengesetzten Gesamtbild zusammensetzt,
wobei die Bildverarbeitungseinheit eine Bildkorrekturkomponente aufweist, die für jedes empfangene Kamerabild einen durchschnittlichen Bildparameterpegel des Bildparameters in den überlappenden Bildbereichen des Kamerabildes berechnet und den jeweiligen Bildparameter in Abhängigkeit von den berechneten durchschnittlichen Bildparameterpegeln einstellt.
-
Die Erfindung schafft ferner gemäß einem weiteren Aspekt ein Verfahren zur adaptiven Bildkorrektur von mindestens einem Bildparameter eines Kamerabildes mit den in Patentanspruch 14 angegebenen Merkmalen.
-
Die Erfindung schafft demnach ein Verfahren zur adaptiven Bildkorrektur von mindestens einem Bildparameter eines Kamerabildes mit den Schritten:
Erzeugen von Kamerabildern durch mehrere Kameras, wobei sich jeweils die Kamerabilder von zwei benachbarten Kameras in einem überlappenden Bildbereich überlappen,
Zusammensetzen der erzeugten Kamerabilder zu einem zusammengesetzten Gesamtbild,
wobei für jedes Kamerabild ein durchschnittlicher Bildparameterpegel des Bildparameters in den beiden überlappenden Bildbereichen des Kamerabildes berechnet wird, und
Einstellen des jeweiligen Bildparameters des Kamerabildes in Abhängigkeit von den berechneten durchschnittlichen Bildparameterpegeln in den beiden überlappenden Bildbereichen des Kamerabildes.
-
Bei einer möglichen Ausführungsform des erfindungsgemäßen Verfahrens handelt es sich bei den Bildparametern um eine Bildhelligkeit, einen Bildkontrast, eine Bildfarbe, eine Bildschärfe, eine Farbsättigung und/oder eine Texturfrequenz.
-
Im Weiteren werden mögliche Ausführungsformen der erfindungsgemäßen Vorrichtung und des erfindungsgemäßen Verfahrens unter Bezugnahme auf die beigefügten Figuren näher erläutert.
-
Es zeigen:
-
1 ein Blockschaltbild zur Darstellung eines möglichen Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung zur adaptiven Bildkorrektur von mindestens einem Bildparameter eines Kamerabildes;
-
2 ein weiteres Blockschaltbild zur Darstellung eines Ausführungsbeispiels der erfindungsgemäßen Vorrichtung;
-
3 ein Diagramm zur Erläuterung der Funktionsweise des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung zur adaptiven Bildkorrektur von mindestens einem Bildparameter eines Kamerabildes; und
-
4 ein Ablaufdiagramm zur Darstellung eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens zur adaptiven Bildkorrektur von mindestens einem Bildparameter eines Kamerabildes.
-
Wie man aus 1 erkennen kann, kann eine erfindungsgemäße Vorrichtung 1 zur adaptiven Bildkorrektur von mindestens einem Bildparameter eines Kamerabildes mehrere Einheiten bzw. Schaltungskomponenten aufweisen. Bei dem in 1 dargestellten Ausführungsbeispiel weist die Vorrichtung zur adaptiven Bildkorrektur mehrere Kameras 2-1, 2-2, 2-3, 2-4 auf, die jeweils Kamerabilder bzw. Videodaten erzeugen. Bei dem in 1 dargestellten Ausführungsbeispiel weist die Vorrichtung 1 vier Kameras 2-i zur Erzeugung von Kamerabildern auf. Die Anzahl der Kameras 2-i kann für unterschiedliche Anwendungen variieren. Die erfindungsgemäße Vorrichtung 1 weist mindestens zwei Kameras zur Erzeugung von Kamerabildern auf. Die Kamerabildern von benachbarten Kameras 2-i weisen jeweils überlappende Bildbereiche auf.
-
Die Vorrichtung 1 enthält eine Bildverarbeitungseinheit 3, welche die von Kameras 2-i erzeugten Kamerabilder zu einem zusammengesetzten Gesamtbild zusammensetzt. Wie in 1 dargestellt, weist die Bildverarbeitungseinheit 3 eine Bildkorrekturkomponente 4 auf, die für jedes empfangene Kamerabild einen durchschnittlichen Bildparameterpegel mindestens eines Bildparameters Pi in den beiden überlappenden Bildbereichen des jeweiligen Kamerabildes berechnet und den jeweiligen Bildparameter Pi in Abhängigkeit von den beiden berechneten durchschnittlichen Bildparameterpegeln einstellt. Das von der Bildverarbeitungseinheit 3 zusammengesetzte Gesamtbild mit den eingestellten Bildparametern wird anschließend durch eine Anzeigeeinheit 5 einem Nutzer angezeigt. Die in der Bildverarbeitungseinheit 3 enthaltene Bildkorrekturkomponente 4 kann eine oder mehrere Bildparameter Pi gleichzeitig einstellen. Bei einer möglichen Ausführungsform weisen die Bildparameter Pi des Kamerabildes, welche durch die Bildkorrekturkomponente 4 eingestellt werden, eine Bildhelligkeit, einen Bildkontrast, eine Bildfarbe, eine Bildschärfe, eine Farbsättigung und/oder eine Texturfrequenz auf. Bei der in 1 dargestellten Ausführungsform ist die Bildkorrekturkomponente 4 in der Bildverarbeitungseinheit 3 integriert. Bei alternativen Ausführungsformen kann die Bildkorrekturkomponente auch durch eine eigenständige Schaltung gebildet werden, die über eine Schnittstelle mit der Bildverarbeitungseinheit 3 verbunden ist. Bei einer möglichen Ausführungsform wird für die Bildkorrekturkomponente 4 durch eine eigenständige Hardwareschaltung gebildet, welche die Berechnungen und die Einstellungen der Bildparameter vornimmt. Bei einer alternativen Ausführungsform führt die Bildkorrekturkomponente Programmbefehle bei Durchführung eines Verfahrens zur adaptiven Bildkorrektur aus. Die in 1 dargestellte Vorrichtung 1 zur adaptiven Bildkorrektur kann beispielsweise in einem Surround View System eines Fahrzeuges, insbesondere eines Personenkraftwagens oder eines Lastkraftwagens, eingesetzt werden. Hierbei können sich die vier verschiedenen Kameras 2-1, 2-2, 2-3, 2-4 an verschiedenen Seiten des Fahrzeuges befinden. Beispielsweise befindet sich die erste Kamera 2-1 an einer Vorderseite des Fahrzeugs, die zweite Kamera 2-2 an einer Hinterseite des Fahrzeuges, die dritte Kamera 2-3 an der linken Seite des Fahrzeuges und die vierte Kamera 2-4 an der rechten Seite des Fahrzeuges. Bei den Kameras 2-i handelt es sich bei einer möglichen Ausführungsform um sogenannte Fischaugenkameras, die einen Blickwinkel von mindestens 185° aufweisen. Die Kameras 2-i können die Kamerabilder bzw. Kamera Bild Frames bzw. Videodaten bei einer möglichen Ausführungsform über eine Ethernet-Verbindung an die Bildverarbeitungseinheit 3 übertragen. Die Bildverarbeitungseinheit 3 berechnet aus den Kamerabildern der Fahrzeugkameras 2-i ein zusammengesetztes Surround View Kamerabild, das auf der Anzeige 5 des Fahrzeuges dem Fahrer und/oder einem Passagier angezeigt wird. In einer möglichen Ausführungsform werden die Bildparameter Pi der Kamerabilder der linken Fahrzeugkamera 2-3 und der rechten Fahrzeugkamera 2-4 durch die Bildkorrekturkomponente 4 der Bildverarbeitungseinheit 3 an die Bildparameter der Kamerabilder der vorderen Fahrzeugkamera 2-1 und hinteren Fahrzeugkamera 2-2 mittels einer Interpolationsfunktion IF angeglichen. Diese Ausführungsform trägt der Tatsache Rechnung, dass in vielen Fällen die Lichtverhältnisse in der Umgebung der vorderen Kamera 2-1 von den Lichtverhältnissen in der Umgebung der hinteren Kamera 2-2 stärker abweichen als die Lichtverhältnisse zwischen der Umgebung der linken Fahrzeugkamera 2-3 und den Lichtverhältnissen in der Umgebung der rechten Fahrzeugkamera 2-4. Insbesondere bei Fahrzeugen sind die Lichtverhältnisse bei der vorderen Kamera 2-1 und bei der hinteren Kamera 2-2 während der Fahrt unterschiedlich, beispielsweise bei der Einfahrt in einen Fahrzeugtunnel oder beim Einfahren in eine Fahrzeuggarage. Die von der Bildkorrekturkomponente 4 verwendete Interpolationsfunktion IF ist bei einer möglichen Ausführungsform in einem Speicher der Bildverarbeitungseinheit 3 abgelegt. Bei der Interpolationsfunktion IF kann es sich um eine lineare Interpolationsfunktion ersten Grades, eine quadratische Interpolationsfunktion zweiten Grades oder um eine kubische Interpolationsfunktion dritten Grades handeln. Bei einer möglichen Ausführungsform ist die Interpolationsfunktion IF, die durch die Bildkorrekturkomponente 4 verwendet wird, programmierbar. Bei einer möglichen Ausführungsform hat die Bildkorrekturkomponente 4 Zugriff auf verschiedene innerhalb eines Speichers abgelegte Interpolationsfunktionen IF, wobei eine Interpolationsfunktion IF selektierbar ist. Für verschiedene Anwendungsfälle und Beleuchtungsverhältnisse, beispielsweise unterschiedliche Tageszeiten, kann bei einer möglichen Ausführungsform durch die Bildkorrekturkomponente eine hierfür geeignete Interpolationsfunktion selektiert und aus dem Speicher zur Berechnung der Bildparameteranpassungen ausgelesen werden.
-
Bei einer möglichen Ausführungsform erfolgt die Einstellung der jeweiligen Bildparameter Pi durch die Bildkorrekturkomponente 4 der Bildverarbeitungseinheit 3 in Abhängigkeit von einer Eigenbeleuchtung des Fahrzeuges. Diese Eigenbeleuchtung kann beispielsweise durch Fahrzeugscheinwerfer an der Vorderseite des Fahrzeuges erfolgen. Bei einer möglichen Ausführungsform wird der aktuelle Status der Eigenbeleuchtung des Fahrzeuges durch die Bildkorrekturkomponente 4 der Bildverarbeitungseinheit 3 auf Basis von Steuersignalen ermittelt, die durch einen Fahrzeugbus des Fahrzeuges übertragen werden. Bei dieser Ausführungsform ist die Bildkorrekturkomponente 4 an den Fahrzeugbus des Fahrzeuges angeschlossen und überwacht Steuerbefehle, die über den Fahrzeugbus beispielsweise von einer Steuereinheit zu Beleuchtungseinrichtungen, insbesondere Fahrzeugscheinwerfer, übertragen werden. Bei dieser Ausführungsform ermittelt somit die Bildkorrekturkomponente 4 die aktuelle Beleuchtungsstärke der Eigenbeleuchtung und berücksichtigt diese bei der Einstellung der unterschiedlichen Bildparameter Pi der Kamerabilder.
-
Die Bildverarbeitungseinheit 3 kann einen oder mehrere Bildverarbeitungsprozessoren aufweisen, wobei sie die von den verschiedenen Kameras 2-i empfangenen Kamerabilder bzw. Videodaten zu einem zusammengesetzten Gesamtbild zusammensetztwerden (sogenanntes Stitching). Bei einer möglichen Ausführungsform wird die Bildkorrekturkomponente 4 noch durch einen dafür vorgesehenen Prozessor gebildet, welcher parallel bei den übrigen Prozessoren der Bildverarbeitungseinheit 3 eine Einstellung der Bildparameter Pi vornimmt. Durch die parallele Datenverarbeitung wird die Datenverarbeitungszeit zur Verarbeitung der Bilddaten gesenkt. 2 zeigt ein weiteres mögliches Ausführungsbeispiel für eine erfindungsgemäße Vorrichtung 1 zur adaptiven Bildkorrektur von mindestens einem Bildparameter eines Kamerabildes. Bei dem in 2 dargestellten Ausführungsbeispiel weisen die verschiedenen Kameras 2-i jeweils einen MJPEG-Encoder 6-i zur Datenkompression auf. Die MJPEG-Encoder 6-i kodieren die erzeugten Kamerabilder, wobei die kodierten Kamerabilder einer Kamera 2-i beispielsweise via Ethernet zu einem zugehörigen MJPEG-Decoder 7-i übertragen werden, welcher die empfangenen kodierten Kamerabilder dekodiert und an die Bildverarbeitungseinheit 3 abgibt. Die Bildverarbeitungseinheit 3 enthält eine Bildkorrekturkomponente 4, die für jedes empfangene dekodierte Kamerabild einen durchschnittlichen Bildparameterpegel mindestens eines Bildparameters Pi in den überlappenden Bildbereichen des Kamerabildes berechnet und den jeweiligen Bildparameter Pi in Abhängigkeit von den beiden berechneten durchschnittlichen Bildparameterpegeln einstellt. Um Texturrückprojektionen zu ermöglichen, wird bei dem in 2 dargestellten Ausführungsbeispiel ein 3D-Projektionsmodell, welches sich in einem Datenspeicher 8 befindet, bereitgestellt, welches durch Bildverarbeitungsfunktionen der Bildverarbeitungseinheit 3 benutzt wird. Das Surround View Signal, welches von der Bildverarbeitungseinheit 3 abgegeben wird, kann bei einer möglichen Ausführungsform durch eine graphische Verarbeitungseinheit GPU gerendert werden. Bei dem in 2 dargestellten Ausführungsbeispiel enthält die Bildverarbeitungseinheit 3 zusätzliche eine Videosignalüberwachungseinheit 9 (sogenannte Video Watchdog) zur Erhöhung der Betriebssicherheit. Die von den verschiedenen Kameras 2-i erzeugten Kamerabilder können bei einer möglichen Ausführungsform fortlaufend mit Namen bzw. Framenummern versehen werden, die durch die Videoüberwachungseinheit 9 hinsichtlich ihrer Sequenz überwacht werden, um beispielsweise verlorengegangene Kamerabilder bzw. Videoframes zu erkennen. Falls bei einer möglichen Ausführungsform eine oder mehrere Kameras keine Kamerabilder mehr liefern bzw. Kamerabilder nicht mehr übertragen werden, kann die Videoüberwachungseinheit 9 die Bildverarbeitungseinheit 3 veranlassen, die Zusammensetzung der Kamerabilder zu einem Gesamtbild mittels Bildstitching zu unterbrechen und eine Fehlermeldung erzeugen.
-
Für jede Kamera 2-i können, wie in dem Ausführungsbeispiel gemäß 2 dargestellt, jeweils extrinsische Korrektureinheiten 10-1, 10-2, 10-3, 10-4 und intrinsische Korrektureinheiten 11-1, 11-2, 11-3, 11-4 vorgesehen sein. Die extrinsischen Korrektureinheiten 10-i können insbesondere eine Kameraposition und -orientierung korrigieren. Weiterhin kann eine intrinsische Kalibrierung mittels der intrinsischen Korrektureinheiten 11-1 ... bis 11-4 durchgeführt werden.
-
3 zeigt ein Diagramm zur Erläuterung der Funktionsweise der erfindungsgemäßen Vorrichtung 1 zur adaptiven Bildkorrektur von mindestens einem Bildparameter eines Kamerabildes. Bei dem in 3 dargestellten Schema werden vier Kamerabilder V, H, L, R bei einem 360°-Gesamtbild zusammengesetzt, wobei die vier Kamerabilder beispielsweise durch eine vordere Fahrzeugkamera 2-1, eine hintere Fahrzeugkamera 2-2, eine linke Fahrzeugkamera 2-3 und eine rechte Fahrzeugkamera 2-4 generiert werden. Wie in 3 schematisch dargestellt, überlappen sich die vier Kamerabilder V, L, H, R in vier Überlappungsbereichen, welche schraffiert dargestellt sind. Die Bildkorrekturkomponente 4 berechnet für jedes empfangene Kamerabild einen durchschnittlichen Bildparameterpegel des Bildparameters in den beiden an den Seiten befindlichen überlappenden Bildbereichen des jeweiligen Kamerabildes und stellt den jeweiligen Bildparameter Pi in Abhängigkeit von den beiden berechneten durchschnittlichen Bildparameterpegeln ein. Bei einer möglichen Ausführungsform werden die Bildparameter Pi der Kamerabilder L, R der linken Fahrzeugkamera 2-3 und der rechten Fahrzeugkamera 2-4 durch die Bildkorrekturkomponente 4 der Bildverarbeitungseinheit 3 an die Bildparameter Pi der Kamerabilder V, H der vorderen Fahrzeugkamera 2-1 und der hinteren Fahrzeugkamera 2-2 angeglichen. Dabei erfolgt die Angleichung vorzugsweise mittels einer Interpolationsfunktion IF, die aus einem Speicher ausgelesen werden kann.
-
4 zeigt ein einfaches Ablaufdiagramm zur Darstellung eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens zur adaptiven Bildkorrektur von mindestens einem Bildparameter.
-
In einem ersten Schritt S1 werden Kamerabilder durch mehrere Kameras erzeugt bzw. generiert. Kamerabilder, die von zwei benachbarten Kameras erzeugt werden, überlappen sich dabei in einem Überlappungsbildbereich, wie in 3 schematisch dargestellt.
-
In einem weiteren Schritt S2 werden die erzeugten Kamerabilder zu einem zusammengesetzten Gesamtbild, insbesondere zu einem 360°-Surround View Bild, zusammengesetzt. Dabei wird für jedes Kamerabild ein durchschnittlicher Bildparameterpegel des Bildparameters in den beiden überlappenden Bildbereichen des Kamerabildes berechnet.
-
In einem weiteren Schritt S3 wird der jeweilige Bildparameter Pi des Kamerabildes in Abhängigkeit von den berechneten durchschnittlichen Bildparameterpegeln der beiden überlappenden Bildbereiche des Kamerabildes eingestellt. Bei einer möglichen Ausführungsform werden gleichzeitig mehrere Bildparameter eingestellt bzw. adaptiert. Bei einer möglichen Ausführungsform umfassen die Bildparameter einen Bildkontrast, eine Bildfarbe, eine Bildschärfe, eine Farbsättigung und/oder eine Texturfrequenz einer Textur. Das in 4 dargestellte Verfahren zur adaptiven Bildkorrektur wird vorzugsweise in Echtzeit, beispielsweise während der Fahrt eines Fahrzeuges, ausgeführt.
-
Die erfindungsgemäße Vorrichtung 1, wie sie in 1 dargestellt ist, sowie das erfindungsgemäße Verfahren gemäß 4 kann für unterschiedliche Anwendungen bzw. Geräte eingesetzt werden. Bei einer möglichen Ausführungsform wird das erfindungsgemäße Verfahren bzw. die erfindungsgemäße Vorrichtung zur adaptiven Bildkorrektur von mindestens einem Bildparameter eines Kamerabildes in einem Surround View System eines Fahrerassistenzsystems eines Fahrzeuges verwendet.
-
Ferner kann das erfindungsgemäße Verfahren bzw. die erfindungsgemäße Vorrichtung zur adaptiven Bildkorrektur von mindestens einen Bildparameter eines Kamerabildes bei einem Überwachungssystem eingesetzt werden. Dieses Überwachungssystem ist beispielsweise ein Gebäudeüberwachungssystem, das einen oder mehrere Räume eines Gebäudes mittels Gebäudekameras überwacht.
-
Weiterhin kann die erfindungsgemäße Vorrichtung und das erfindungsgemäße Verfahren zur adaptiven Bildkorrektur von mindestens einem Bildparameter eines Kamerabildes auch in einem Medizingerät eingesetzt werden, das mehrere Kameras bzw. Bildsensoreinrichtungen besitzt. Beispielsweise kann das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung bei einem Computertomographen oder einem PET-Scanner verwendet werden.
