-
Stand der Technik
-
Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Erstellen einer Aufnahme eines gepulst aufleuchtenden Objekts für ein Fahrzeug, auf eine entsprechende Vorrichtung zum Erstellen einer Aufnahme eines gepulst aufleuchtenden Objekts für ein Fahrzeug sowie auf ein entsprechendes Computerprogrammprodukt.
-
Im Straßenverkehr finden sich gepulste Lichtquellen, insbesondere periodisch gepulste Lichtquellen, beispielsweise als Wechselverkehrszeichen, Rücklichter oder Blinker von Fahrzeugen. Fahrerassistenzsysteme, vorausschauende Sensorik oder andere bildgebende Verfahren für ein Fahrzeug nehmen das Fahrzeugumfeld auf, um daraus gewonnene Informationen weiterzuverwerten, dabei stellen gepulste Lichtquellen eine besondere Herausforderung dar.
-
Pulsende Objekte sind beispielsweise die heute weitverbreiteten LED-Leuchten, deren Helligkeit mittels Pulsweitenmodulation geregelt wird. Im täglichen Leben findet sich diese Leuchtentechnik beispielsweise bei Wechselverkehrszeichen und Rückleuchten von aktuellen Fahrzeugtypen. Für eine Kamera sind diese Objekte unter Umständen nur in einigen wenigen Frames oder in ungünstigen Konstellationen gegebenenfalls überhaupt nicht erkennbar, insbesondere auch dann, wenn Teile des Objektes unterschiedlich gepulst werden. Dieser Fall kommt bei Wechselverkehrszeichen, deren Kreis und einzelne Ziffern oder Piktogramme mit unterschiedlichen Phasen geregelt werden, oft vor.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zum Erstellen einer Aufnahme eines gepulst aufleuchtenden Objekts für ein Fahrzeug, weiterhin eine Vorrichtung zum Erstellen einer Aufnahme eines gepulst aufleuchtenden Objekts für ein Fahrzeug, die dieses Verfahren verwendet sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
-
Gepulst aufleuchtende Objekte können durch Überlagerung einer Mehrzahl von Bildaufnahmen korrekt wiedergegeben werden. Wenn die Bildaufnahmeeinrichtung, beispielsweise eine Kamera, oder das aufzunehmende Objekt sich bewegt, kann durch eine Transformation von zumindest einem der aufgenommenen Bilder eine geometrisch vergleichbare und damit überlagerbare Darstellung des gepulst aufleuchtenden Objekts erzeugt werden.
-
Ein Verfahren zum Erstellen einer Aufnahme eines gepulst aufleuchtenden Objekts für ein Fahrzeug umfasst die folgenden Schritte:
Einlesen von zwei Bildern, wobei das Objekt zumindest in je einem Teilbereich der zwei Bilder abgebildet ist;
Bestimmen einer Scheinbewegung des Objekts zwischen zwei Aufnahmezeitpunkten der zwei Bilder;
Transformieren zumindest eines der zwei Bilder unter Verwendung der Scheinbewegung, um zwei angepasste Bilder zu erhalten, in denen das Objekt in gleicher Größe dargestellt wird; und
Zusammenfügen der zwei angepassten Bilder, wobei das Objekt beim Zusammenfügen deckungsgleich überlagert wird, um die Aufnahme des gepulst aufleuchtenden Objekts zu erstellen.
-
Das Verfahren zum Erstellen einer Aufnahme eines gepulst aufleuchtendenden Objekts kann in einem Fahrzeug ausgeführt werden. Bei dem Fahrzeug kann es sich um ein Kraftfahrzeug wie einen Personenkraftwagen, ein Nutzfahrzeug und/oder ein Kraftrad handeln. Das Fahrzeug kann ein Fahrerassistenzsystem aufweisen. Das Fahrerassistenzsystem kann ausgebildet sein, einen Fahrer des Fahrzeugs über ein Objekt oder eine Mehrzahl von Objekten wie beispielsweise ein Verkehrszeichen, ein Wechselverkehrszeichen oder ein vorausfahrendes Auto, zu informieren. Dabei kann das Objekt erkannt beziehungsweise identifiziert werden. Das Objekt kann Licht emittieren. Das Objekt kann eine Vielzahl von Lichtquellen aufweisen. Die Lichtquellen können gepulst angesteuert werden. Dabei können unterschiedliche Lichtquellen eines Objekts mit einer unterschiedlichen Phase gepulst angesteuert werden. Das Fahrzeug kann eine Kamera oder einen sonstigen Bildgeber aufweisen. Die Kamera kann ausgebildet sein, ein Bild des Fahrzeugumfelds, insbesondere in Fahrtrichtung vor dem Fahrzeug, aufzunehmen. Unter einem Bild kann eine Bildinformation oder ein Abbild des Fahrzeugumfelds verstanden werden. Unter einem Bild kann auch ein Bildausschnitt verstanden werden. Ein Objekt kann auf zwei aufeinanderfolgenden Bildern abgebildet sein. Die zwei Bilder können zu zwei aufeinanderfolgenden Aufnahmezeitpunkten aufgenommen worden sein. Von einem Objekt mit einer Vielzahl von gepulsten Lichtquellen kann in einem Bild ein Teil der gepulsten Lichtquellen sichtbar sein. In einem zu einem anderen Aufnahmezeitpunkt aufgenommenen Bild kann ein anderer Teil der gepulsten Lichtquellen sichtbar sein. In zwei Bildern können alle sichtbaren Lichtquellen eines Objekts sichtbar sein. Ein Objekt kann sich zwischen zwei Aufnahmezeitpunkten bewegen. Ein Aufnahmeort eines ersten Bildes der zwei Bilder kann sich räumlich von einem Aufnahmeort eines zweiten Bildes der zwei Bilder unterscheiden. Bei einem sich ändernden Aufnahmeort zwischen der Aufnahme der zwei Bilder kann sich eine Position des Objekts in dem ersten Bild der zwei Bilder von einer Position des Objekts in dem zweiten Bild der zwei Bilder unterscheiden. Ein Objekt kann in einem Bild eine unterschiedliche Position und oder eine unterschiedliche geometrische Eigenschaft wie beispielsweise eine Skalierung oder Erschwerung im Vergleich zu einem zweiten Bild aufweisen. Um ein Objekt, das in je einem Teilbereich der zwei Bilder dargestellt ist, deckungsgleich zu überlagern, kann zumindest ein Bild der zwei Bilder transformiert werden. Unter Transformieren kann ein Verzerren, Verschieben, Skalieren, Scheren oder eine ähnliche Veränderung zumindest einer geometrischen Eigenschaft eines Bildes verstanden werden. Ein angepasstes Bild kann einen Bildausschnitt des anzupassenden Bildes darstellen.
-
Eine Kamera oder ein Bildgeber kann eine Mehrzahl von Bildern mit einer Bildrate aufnehmen. Ein Bild kann als ein Frame bezeichnet werden. Folglich kann eine Bildrate als eine Framerate bezeichnet werden. Eine Framerate kann eine bestimmte Anzahl von Bildern pro Zeiteinheit beschreiben. Die Reziproke der Framerate heißt Frameperiode. Eine Frameperiode umfasst eine Belichtungszeit für ein Frame und eine Zeit zwischen zwei aufgenommenen Frames. Um die Frames oder Bilder aufzunehmen, wird der Sensor der Kamera innerhalb jeder Frameperiode belichtet. Ein gepulst aufleuchtendes Objekt wird mit einer gewissen Pulsungsfrequenz und einem (nicht notwendigerweise konstanten) Tastverhältnis ein- und ausgeschaltet. Während eine hohe Pulsungsfrequenz (z.B. ab 60Hz) sicherstellt, dass das Objekt von einem Betrachter als problemlos oder dauerhaft leuchtend wahrgenommen wird, hängt die erfolgreiche Erfassung des Objektes mit einer Kamera von der Kombination von Framerate, Belichtungszeit, Pulsungsfrequenz und Tastverhältnis ab.
-
Ferner kann im Schritt des Einlesens ein Bild der zwei Bilder ein synthetisches Bild sein, das anhand vergangener Bilder erstellt wurde oder eine Aufnahme eines gepulst aufleuchtenden Objekts sein, die gemäß dem genannten Verfahren zum Erstellen einer Aufnahme eines gepulst aufleuchtenden Objekts erstellt wurde. Das synthetische Bild kann zuvor im Schritt des Zusammenfügens aus Information von beiden angepassten Bildern erstellt worden sein. So kann eine Aufnahme eines gepulst aufleuchtenden Objekts als ein synthetisches Bild bezeichnet werden. So kann Information von mehreren vergangenen Frames beziehungsweise Bildern extrahiert werden, in ein neues synthetisches Bild gespeichert und fortlaufend für jedes neue Bild beziehungsweise Frame aktualisiert werden. Die im synthetischen Bild gespeicherte Information kann entweder die Pixelintensitäten der vergangenen Frames sein, oder eine beliebige Funktion davon. Mit anderen Worten können ein neues Bild von der Kamera und das synthetische Bild eingelesen werden. Dann kann eine Scheinbewegung des Objekts zwischen dem neuen Bild und dem synthetischen Bild bestimmt werden. Schließlich kann das neue Bild und/oder das synthetische Bild unter Verwendung der Scheinbewegung transformiert werden, um zwei angepasste Bilder zu erhalten, in denen das Objekt in gleicher Größe dargestellt wird. Dann können das angepasste Bild von der Kamera und das angepasste synthetische Bild zusammengefügt werden, wobei das Objekt beim Zusammenfügen deckungsgleich überlagert wird, um die Aufnahme des gepulst aufleuchtenden Objekts zu erstellen. Die Aufnahme des gepulst aufleuchtenden Objekts kann sowohl Information von den vergangenen Bildern, das heißt vom synthetischen Bild, als auch vom aktuellen Bild von der Kamera enthalten. Das angepasste synthetische Bild kann anhand des angepassten Bildes von der Kamera oder anhand der erstellten Aufnahme des gepulst aufleuchtenden Objekts aktualisiert und abgespeichert werden. Bei einem erneuten Ausführen des vorgestellten Verfahrens kann das synthetische Bild zusammen mit einem neuen Bild von der Kamera eingelesen und verarbeitet werden.
-
Ferner kann die Scheinbewegung unter Verwendung einer Information über eine Positionsänderung eines Aufnahmeortes der zwei Bilder bestimmt werden. Wenn das Verfahren zum Erstellen einer Aufnahme eines gepulst aufleuchtenden Objekts in einem sich bewegenden Fahrzeug ausgeführt wird, können zwei aufeinanderfolgende Bilder von zwei unterschiedlichen Orten aus aufgenommen werden. Über eine Information über die Geschwindigkeit des Fahrzeugs kann eine Information über eine Positionsänderung des Aufnahmeorts ermittelt werden. Unter Verwendung einer Information über die Länge des Zeitintervalls und der Information über die Geschwindigkeit des Fahrzeugs kann eine Positionsänderung des Aufnahmeortes der zwei Bilder bestimmt werden. Ein in einem Teilbereich eines ersten Bildes der zwei Bilder dargestellten Objektes kann seine Position relativ in einem zweiten Teilbereich eines zweiten Bildes der zwei Bilder bei einer Positionsänderung des Aufnahmeortes ändern. Dies kann sich für einen Betrachter wie eine Änderung eines Positionsortes des Objektes darstellen. Diese Scheinbewegung des Objektes kann unter Verwendung einer Information über die Positionsänderung des Aufnahmeortes der zwei Bilder bestimmt werden.
-
Günstig ist es auch, wenn die Scheinbewegung unter Verwendung einer Objektart des Objekts bestimmt wird. Wie bereits beschrieben, kann es sich bei dem Objekt um ein Verkehrszeichen oder ein Wechselverkehrszeichen handeln. Verkehrszeichen sind in der Regel am Straßenrand in einer vorbestimmten Höhe montiert. Wechselverkehrszeichen können am Straßenrand in einer vorbestimmten Höhe oder an einer Schilderbrücke oberhalb einer Straße montiert sein. So kann über die Objektart eine Position des Objekts relativ zum Fahrzeug vorbestimmt werden. Aus einer vorbestimmten Position des Objekts relativ zum Fahrzeug kann eine Scheinbewegung des Objekts bestimmt werden.
-
Die Scheinbewegung kann unter Verwendung einer vorbestimmten Position des Objekts bestimmt werden. Eine vorbestimmte Position des Objekts kann von einer Navigationseinrichtung und gleichzeitig oder alternativ von einer Datenbank bereitgestellt werden. Die Datenbank oder die Navigationseinrichtung kann in dem Fahrzeug angeordnet sein. Das Vorhandensein von Wechselverkehrszeichen, Verkehrszeichen oder anderen zu erkennenden Objekten auf einem Straßensegment kann bereits jetzt in den digitalen Karten der Navigationsgeräte verzeichnet sein. Es ist wahrscheinlich, dass diese Information in Zukunft noch detaillierter Bezug auf die genaue Position der Wechselverkehrszeichen, insbesondere auch auf ihre Höhe über der Fahrbahn nehmen kann, oder weitere Eigenschaften, wie die möglichen Pulsungsfrequenzen, bereitgestellt werden können. Um die vorbestimmte Position des Objektes nutzen zu können, kann eine Fahrzeugposition mittels einer Sensorik wie beispielsweise einem Satellitenortungsgerät ermittelt werden. Die Fahrzeugposition kann ansprechend auf Satellitensignale wie GPS oder Galileo und/oder ansprechend auf Kommunikationssignale wie beispielsweise GSM, UMTS, LTE und/oder WLAN bestimmt werden. Die Fahrzeugposition kann ansprechend auf Fahrdynamiksensoren bestimmt werden. Dabei kann unter einer Fahrzeugposition eine Information über einen geografischen Standort, eine Position und/oder eine Bewegungsrichtung des Fahrzeugs verstanden werden. Wenn eine vorbestimmte Position des Objekts bekannt ist, kann ein entsprechender Teilbereich des Bildes genutzt und oder transformiert werden. Für das Transformieren kann die Scheinbewegung, die unter Verwendung der vorbestimmten Position des Objekts bestimmt wurde, verwendet werden.
-
Ferner kann die Scheinbewegung unter Verwendung einer Objekterkennung in jedem der zwei Bilder bestimmt werden, insbesondere um die Aufnahme eines sich bewegenden gepulst aufleuchtenden Objekts zu erstellen. Insbesondere Fahrzeugrückleuchten können sich über die Zeit bewegen. Bei Einsatz eines hinreichend leistungsfähigen Detektors kann die Scheinbewegung alternativ durch erkennen des Objektes in jedem Bild bestimmt werden. Alternativ können plausible Objektkandidaten generiert werden und die Objektkandidaten über die Zeit verfolgt werden, um die Scheinbewegung zu bestimmen.
-
Dabei können die zwei angepassten Bilder unter Verwendung eines lokalen Bildoperators und/oder eines pixelweisen Bildoperators zusammengefügt werden. Der Bildoperator kann höhere Pixelintensitäten in einem der zwei Bilder im Vergleich zum anderen der zwei Bilder bevorzugen. Beispielsweise kann es sich bei dem Bildoperator um einen Maximums-Operator handeln.
-
In einer Ausführungsform kann im Schritt des Bestimmens eine Positionsinformation des Objekts je Bild bestimmt werden. Im Schritt des Transformierens kann zumindest eines der zwei Bilder unter Verwendung der Positionsinformation transformiert werden, um zwei angepasste Bilder zu erhalten, in denen das Objekt an einer gleichen Position dargestellt wird.
-
Günstig ist es auch, wenn im Schritt des Einlesens zumindest ein weiteres Bild eingelesen wird. Dabei kann das Objekt zumindest in einem Teilbereich des zumindest einen weiteren Bildes abgebildet sein. Um Schritt des Bestimmens kann die Scheinbewegung des Objekts unter Verwendung des Aufnahmezeitpunkts des zumindest einen weiteren Bildes bestimmt werden. So kann im Schritt des Transformierens das zumindest eine weitere Bild unter Verwendung der Scheinbewegung transformiert werden, um ein weiteres angepasstes Bild zu erhalten. Dabei kann im Schritt des Zusammenfügens das zumindest eine weitere angepasste Bild mit den zwei angepassten Bildern zusammengefügt werden. Dabei kann das Objekt deckungsgleich überlagert werden, um die Aufnahme des gepulst aufleuchtenden Objekts zu erstellen. Bei einem ungünstigen Verhältnis der Bildrate, der Belichtungszeit und der Pulsungsfrequenz der Lichtquellen des Objekts kann eine Vielzahl von Bildern eine verbesserte Aufnahme des gepulst aufleuchtenden Objekts erlauben. Es kann von Vorteil sein, zumindest drei Bilder zu einer Aufnahme des gepulst aufleuchtenden Objekts zusammenzufügen. Auch kann es vorteilhaft sein vier, fünf oder mehr Bilder zu einer Aufnahme des gepulst aufleuchtenden Objekts zusammenzufügen.
-
Eine Vorrichtung zum Darstellen eines gepulst aufleuchtenden Objekts für ein Fahrzeug ist ausgebildet, die Schritte eines Verfahrens zum Darstellen eines gepulst aufleuchtenden Objekts durchzuführen. Die Vorrichtung weist die folgenden Merkmale auf:
eine Schnittstelle zum Einlesen von zwei Bildern, wobei das Objekt zumindest in je einem Teilbereich der zwei Bilder abgebildet ist;
eine Einrichtung zum Bestimmen einer Scheinbewegung des Objekts zwischen zwei Aufnahmezeitpunkten der zwei Bilder;
eine Einrichtung zum Transformieren zumindest eines der zwei Bilder unter Verwendung der Scheinbewegung, um zwei angepasste Bilder zu erhalten, in denen das Objekt in gleicher Größe dargestellt wird; und
eine Einrichtung zum Zusammenfügen der zwei angepassten Bilder, wobei das Objekt beim Zusammenfügen deckungsgleich überlagert wird, um die Aufnahme des gepulst aufleuchtenden Objekts zu erstellen.
-
Eine Vorrichtung zum Darstellen eines gepulst aufleuchtenden Objekts für ein Fahrzeug ist ausgebildet, um die Schritte des Verfahrens zum Darstellen eines gepulst aufleuchtenden Objekts für ein Fahrzeug in entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn der Programmcode auf einem Computer oder einer Vorrichtung ausgeführt wird. Somit können die in dem Programmcode definierten Schritte des Verfahrens von Einrichtungen des Computers oder der Vorrichtung umgesetzt werden.
-
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
-
1 eine schematische Darstellung eines Fahrzeugs mit einer Vorrichtung zum Darstellen eines gepulst aufleuchtenden Objekts gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
-
2 ein Blockschaltbild einer Vorrichtung zum Darstellen eines gepulst aufleuchtenden Objekts gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
-
3 ein Ablaufdiagramm eines Verfahrens zum Darstellen eines gepulst aufleuchtenden Objekts gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
-
4 eine schematische Darstellung des Zusammenfügens von zwei Bildern zu einer Aufnahme eines gepulst aufleuchtenden Objekts gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
-
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt eine schematische Darstellung eines Fahrzeugs 100 mit einer Vorrichtung 110 zum Darstellen eines gepulst aufleuchtenden Objekts 120 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Fahrzeug 100 weist neben der Vorrichtung 110 zum Darstellen eines gepulst aufleuchtenden Objekts 120 eine Kamera 130 sowie ein Fahrerassistenzsystem 140 auf. Eine Blickrichtung der Kamera 130 weist in Fahrtrichtung des Fahrzeugs 100. In der Darstellung in 1 ist das Fahrzeug 100 in einer ersten Position 150 sowie in einer zweiten Position 150 dargestellt. Die Kamera 130 ist mit der Vorrichtung 110 zum Darstellen eines gepulst aufleuchtenden Objekts 120 verbunden. Die Vorrichtung 110 ist weiterhin mit dem Fahrerassistenzsystem 140 verbunden. In einem nicht gezeigten Ausführungsbeispiel ist die Vorrichtung 110 in die Kamera 130 integriert. In einem weiteren nicht gezeigten Ausführungsbeispiel ist das Fahrerassistenzsystem 140 in die Kamera 130 integriert. Alternativ kann das Fahrerassistenzsystem 140 und die Vorrichtung 110 in einer Einrichtung zusammengefasst werden. Die Kamera 130 ist ausgebildet, in der ersten Position 150 ein erstes Bild 160 zu erfassen. Die Kamera ist ausgebildet, in der zweiten Position 155 ein zweites Bild 165 zu erfassen. Das Objekt 120 ist zumindest in je einem Teilbereich der zwei Bilder 160, 165 abgebildet. Die Vorrichtung 110 weist eine Schnittstelle zum Einlesen der Bilder 160, 165 auf. In einem nicht gezeigten Ausführungsbeispiel weist das Fahrzeug 100 Navigationssystem auf, welches die Position von Wechselverkehrszeichen gespeichert hat. Das Navigationssystem ist mit der Vorrichtung 110 verbunden und stellt die Information über die Position von Wechselverkehrszeichen der Vorrichtung 110 zur Verfügung. Die Information über die Position von Wechselverkehrszeichen kann eine Information zu Position relativ zur Straße als auch zur Höhe über der Fahrbahn beinhalten. In der folgenden 2 wird die Vorrichtung 110 zum Darstellen eines gepulst aufleuchtenden Objekts 120 näher beschrieben.
-
2 zeigt ein Blockschaltbild einer Vorrichtung 110 zum Darstellen eines gepulst aufleuchtenden Objekts 120 für ein Fahrzeug 100 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Vorrichtung 110 kann in einem Fahrzeug 100 gemäß der Beschreibung zu 1 angeordnet sein. In der folgenden Beschreibung werden die Bezugszeichen für das Fahrzeug 100 sowie für das Objekt 120 gemäß der vorangegangenen Figur verwendet, obwohl diese beiden Elemente in 2 nicht dargestellt sind. Die Vorrichtung 110 umfasst eine Schnittstelle 210 zum Einlesen von Bildern 160, 165, eine Einrichtung 220 zum Bestimmen einer Scheinbewegung 225 eines Objekts 120 zwischen zwei Aufnahmezeitpunkten der zwei Bilder 160, 165, eine Einrichtung 230 zum Transformieren zumindest eines der zwei Bilder 160, 165 unter Verwendung der Scheinbewegung, um zwei angepasste Bilder 235 zu erhalten, in denen das Objekt 120 in gleicher Größe dargestellt wird sowie eine Einrichtung 240 zum Zusammenfügen der zwei angepassten Bilder 235, wobei das Objekt 120 beim Zusammenfügen deckungsgleich überlagert wird, um die Aufnahme 250 des gepulst aufleuchtenden Objekts 120 zu erstellen. In einem optionalen Ausführungsbeispiel weist die Vorrichtung 110 eine Einrichtung 260 zum Speichern eines synthetischen Bildes 255 auf. Das synthetische Bild 255 kann dabei der Aufnahme 250 des gepulst aufleuchtenden Objekts 120 entsprechen. Das synthetische Bild 255 wird von der Einrichtung 240 zum Zusammenfügen der zwei angepassten Bilder erzeugt. Die Schnittstelle 210 zum Einlesen von Bildern 160, 165, 265 ist ausgebildet, ein synthetisches Bild 265, welches in einem vorausgegangenen Ausführen der Vorrichtung 110 abgespeichert wurde, einzulesen. Die nachfolgenden Einrichtungen 220, 230, 240 können anstelle des Bildes 165 das synthetische Bild 265 verarbeiten. Das synthetische Bild 265 entspricht dem in einem vorangegangen Ausführen der Vorrichtung 110 abgespeicherten synthetischen Bild 255.
-
3 zeigt ein Ablaufdiagramm eines Verfahrens 300 zum Darstellen eines gepulst aufleuchtenden Objekts gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren 300 kann auf einer Vorrichtung 110 zum Darstellen eines gepulst aufleuchtenden Objekts 120, wie dieses in 1 und in 2 beschrieben wurde, ausgeführt werden. Das Verfahren umfasst einen Schritt 310 zum Einlesen von Bildern, einen Schritt 320 zum Bestimmen einer Scheinbewegung eines in den Bildern dargestellten Objekts, einen Schritt 330 des Transformierens zumindest eines der eingelesenen Bilder unter Verwendung der bestimmten Scheinbewegung sowie einen Schritt 340 des Zusammenfügens der im Schritt 330 angepassten Bilder um eine Aufnahme des gepulst aufleuchtenden Objekts zu erstellen.
-
Bei den im Schritt 310 des Einlesens von zumindest zwei Bildern eingelesenen Bildern ist das darzustellende Objekt zumindest in je einem Teilbereich der zumindest zwei Bilder abgebildet. Die zwei Bilder sind zu zwei verschiedenen Aufnahmezeitpunkten aufgenommen worden. Im Schritt 320 wird eine Scheinbewegung des zumindest in einem Teilbereich der Bilder dargestellten Objekts bestimmt, um unter Verwendung der Scheinbewegung im Schritt 330 des transformieren zumindest eines der im Schritt 310 eingelesen Bilder zu transformieren. Als Ergebnis des Schritts 330 entstehen angepasste Bilder, in denen das zumindest in einem Teilbereich dargestellte Objekt in gleicher Größe und oder an gleicher Position dargestellt wird. Im Schritt 340 des Zusammenfügens werden die im Schritt 330 erzeugten angepassten Bilder zusammengefügt, wobei das zumindest in einem Teilbereich der angepassten Bilder dargestellte Objekt deckungsgleich überlagert wird. Im Schritt 340 des Zusammenfügens wird eine Aufnahme des gepulst aufleuchtenden Objekts erstellt.
-
Das beschriebene Verfahren kann im Schritt 320 eine Bestimmung oder Prädiktion der Scheinbewegung (im Bild) eines Objektes durchführen. Die Scheinbewegung eines ruhenden Objektes lässt sich anhand der Fahrzeug-Eigenbewegung und der Weltposition des Objektes prädizieren. Unter bestimmten Gegebenheiten oder Annahmen reicht hier auch die Kenntnis von Teilkomponenten der Weltposition aus, z. B. die Höhe über Grund oder der Abstand vom Fahrzeug, um eine robuste Prädiktion zu erzielen. Diese Informationen lassen sich gegebenenfalls aus dem Bild extrahieren, können für bestimmte Kategorien von Objekten als konstant angenommen werden und/oder lassen sich gegebenenfalls vorspeichern. Der Abstand des Objekts vom Fahrzeug kann aus dem Bild extrahiert werden oder mit einem anderen Sensor direkt gemessen werden, wie beispielsweise mit einer Stereo-Kamera, einer Time-of-Flight Kamera, einem Radar-System oder einem vergleichbaren Sensor. Ein Vorteil der Prädiktion der Scheinbewegung durch diesen Ansatz ist es, dass keine explizite Detektion des Objektes notwendig ist und dass seine Wirksamkeit unabhängig von der Performance eines Objektdetektors ist. Ist ein hinreichend performanter Detektor verfügbar, so kann die Schätzung der Scheinbewegung alternativ durch Detektion des Objektes in jedem Bild (Frame) oder durch Generierung von plausiblen Objekt-Kandidaten und Verfolgung über die Zeit erfolgen. Dies wäre insbesondere notwendig, um sich bewegende Objekte, wie etwa Fahrzeugrückleuchten, zu erfassen.
-
Im Schritt 330 kann des Transformierens kann eine Verzerrung der ganzen Frames oder der Bildbereiche, an denen sich das zu erfassende Objekt befindet, erfolgen, damit das Objekt entweder in der gleichen Position in jedem Bild liegt oder in einfach berechenbaren Abständen. Die Verzerrung erfolgt durch eine Transformation des Bildes, welche die optischen Eigenschaften der Kamera und die perspektivischen Effekte aufgrund der Fahrzeugeigenbewegung berücksichtigt. Für eine Kamera, die dem Lochkameramodell näherungsweise entspricht, handelt es sich bei dieser Transformation eine Homographie. Die Transformation (Verzerrung) kann entweder vollständig berechnet werden oder alternativ teilweise (Reduktion des Rechenaufwandes) oder vollständig oder alternativ teilweise durch ein optisches, mechanisches oder MEMS-System im Strahlengang vor dem Kamerasensor, gelöst werden.
-
Im Schritt 340 des Zusammenfügens werden die verzerrten Frames, das heiß die transformierten beziehungsweise angepassten Bilder mittels eines lokalen oder pixelweisen Bildoperators zusammengefügt. Dieser Operator sollte höhere Pixelintensitäten bevorzugen. In einem Ausführungsbeispiel wird ein Maximum-Operator bei dem Zusammenfügen verwendet. Im Fall einer optischen und/oder mechanischen Umsetzung kann er durch eine Akkumulierung/Speicherung der Strahlung (z.B. mittels einer Phosphorschicht o.ä.) implementiert werden.
-
4 zeigt eine schematische Darstellung des Zusammenfügens von zwei Bildern 160, 165 zu einer Aufnahme 250 eines gepulst aufleuchtenden Objekts gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die hier dargestellte schematische Darstellung des Zusammenfügens von zwei Bildern 160, 165 stellt das in 3 dargestellte Verfahren anschaulich dar. Bei dem ersten Bild 160 kann es sich um ein an der ersten Position 150 in 1 aufgenommenes erstes Bild 160 handeln. Analog hierzu kann es sich bei dem zweiten Bild 165 das an der zweiten Position 155 in 1 aufgenommene zweite Bild 165 handeln. Bei der in 4 dargestellten Aufnahme 250 kann es sich um die in 2 beschriebene Aufnahme 250 handeln.
-
Das erste Bild 160 zeigt eine schematische Darstellung einer Straße mit einem Wechselverkehrszeichen. Bedingt durch das Aufnahmeverfahren und die gepulsten Lichtquellen des Wechselverkehrszeichens weist das Abbild 420 des Wechselverkehrszeichens einen nicht erfassten Streifen auf. Das zweite Bild 165 zeigt eine schematische Darstellung einer Straße mit einem Abbild 425 des Wechselverkehrszeichens. Bei dem Wechselverkehrszeichen 120 und der Straße kann es sich um die in dem ersten Bild 160 gezeigte Straße mit einem Wechselverkehrszeichen 120 handeln, wobei das zweite Bild 165 zu einem zweiten Aufnahmezeitpunkt aufgenommen wurde. Hierbei liegt der zweite Aufnahmezeitpunkt des Bildes 165 zeitlich nach einem ersten Aufnahmezeitpunkt des ersten Bildes 160. Das Abbild 425 des Wechselverkehrszeichens in dem zweiten Bild 165 weist vergleichbar zu dem Abbild 420 des Wechselverkehrszeichens in dem ersten Bild 160 einen nicht erfassten Streifen auf. Der nicht erfasste Streifen in dem ersten Bild 160 und der nicht erfasste Streifen in dem zweiten Bild 165 betreffen unterschiedliche Teilbereiche des Wechselverkehrszeichens. In der schematischen Darstellung in 4 ist der Schritt des Bestimmens einer Scheinbewegung nicht dargestellt. Die Scheinbewegung kann aus dem ersten Bild 160 und dem zweiten Bild 165 bestimmt werden. Aus dem ersten Bild 160 wird ein angepasstes Bild 235 unter Verwendung einer vorbestimmten Scheinbewegung erstellt. Das angepasste Bild 235 korrigiert eine Verzerrung zwischen dem ersten Bild 160 und dem zweiten Bild 165, sodass das Objekt, in dem Ausführungsbeispiel das Wechselverkehrszeichen, in der gleichen Größe und Verzerrung in dem angepassten Bild 235 und dem zweiten Bild 165 dargestellt wird. Das zweite Bild 165 und das angepasste Bild 235 des ersten Bildes 160 werden zu einer Aufnahme 250 zusammengefügt. Die Aufnahme 250 gibt das erfasste Wechselverkehrszeichen komplett wieder und ermöglicht somit eine Erkennung des Wechselverkehrszeichens.
-
Mit anderen Worten wird die Information von mehreren zeitlich sequenziell von der Kamera aufgenommenen Bildern (Frames) ausgenutzt, um ein neues virtuelles, angepasstes Bild (Frame) zu erzeugen, in welchem gepulst aufleuchtende Objekte als konstant aufleuchtend, d. h. in etwa vergleichbar zur menschlichen Wahrnehmung erscheinen. Das neue virtuelle Bild kann als synthetisches Bild oder als Aufnahme des gepulst aufleuchtenden Objekts bezeichnet werden. Das synthetische Bild kann in einem Ausführungsbeispiel abgespeichert werden.
-
In 4 werden drei Phasen des in 3 ausgeführten Verfahrens zum Erstellen einer Aufnahme eines gepulst aufleuchtenden Objekts für ein Fahrzeug dargestellt. Senkrechte Linien separieren die drei Phasen voneinander. In einer ersten Phase, die dem Schritt 320 des Bestimmens in 3 zugeordnet werden kann, erfolgt eine Bestimmung oder Prädiktion der Bewegung eines Objektes in einer Sequenz von Bildern (Frames). In dem gezeigten Ausführungsbeispiel besteht die Sequenz aus zwei Bildern. In einer zweiten Phase, die dem dritten Schritt 330 des Transformierens in 3 zugeordnet werden kann, erfolgt eine Verzerrung der Bilder, oder zumindest bestimmter Bereiche davon, damit das Objekt in jedem Bild möglichst die gleiche Position und geometrischen Eigenschaften, wie beispielsweise Skalierung, Scherung, usw., hat. In einer dritten Phase, die dem Schritt 340 des Zusammenfügens in in 3 zugeordnet werden kann, erfolgt eine deckungsgleiche Überlagerung der verzerrten Bilder (Frames) beziehungsweise Bildbereiche in ein neues virtuelles oder angepasstes Bild, wobei das Objekt als konstant aufleuchtend erscheint.
-
Ein Aspekt der Erfindung ist, gepulst aufleuchtende Objekte zu erfassen, ohne die Belichtungszeit und Framerate der Kamera zu ändern. Dies ist besonders vorteilhaft, wenn sich die Aufnahmeparameter nicht ändern lassen, beispielsweise weil eine längere Belichtungszeit zur Verringerung der Bildqualität aufgrund von Sättigung oder Bewegungsunschärfe führen würde.
-
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
