-
Die Erfindung betrifft ein Verfahren zum Erkennen und Anzeigen von in der Verkehrsinfrastruktur angeordneten Verkehrsspiegeln, nach der im Oberbegriff von Anspruch 1 näher definierten Art.
-
Konvexspiegel, welche gemäß der Straßenverkehrsordnung auch als Verkehrsspiegel bezeichnet werden, sind in der Verkehrsinfrastruktur in unübersichtlichen Bereichen häufig anzutreffen. Sie ermöglichen beispielsweise einer Person, welche mit ihrem Kraftfahrzeug oder auch einem Fahrrad oder dergleichen an einer unübersichtlichen Stelle abbiegen oder in den fließenden Verkehr einbiegen möchte, eine bessere Übersicht. Damit kann sie Bereiche, die im direkten Blick nicht einzusehen sind, über den Verkehrsspiegel einsehen.
-
Mit der zunehmenden Erfassung der Umgebung des Fahrzeugs über Kameras tauchen diese Verkehrsspiegel nun zunehmend in den Bilddaten der Kameras auf. Sie können dementsprechend erfasst und der von ihnen gespiegelte Inhalt analysiert werden, um auch über Kamerasysteme die Verkehrsspiegel nutzen zu können und den durch sie vergrößerten Sichtbereich mit zu verwenden.
-
In diesem Zusammenhang kann auf die
DE 10 2016 215 115 A1 hingewiesen werden. Diese beschreibt eine Vorrichtung und ein Verfahren, um Verkehrsspiegel innerhalb von erfassten Bildern zu erkennen. Vorzugsweise erfolgt dies, indem eine charakteristische Form bzw. ein charakteristisches Muster und/oder eine charakteristische Farbe im Bereich des Verkehrsspiegels bzw. seines Randes gesucht und erkannt wird. In Deutschland sind derartige Verkehrsspiegel beispielsweise mit einer rot-weiß gestreiften Umrandung versehen. Die Inhalte werden dann analysiert und beispielsweise Assistenzsystemen zur Umgebungserkennung und/oder zum zumindest teilweise autonomen Fahren zur Weiterverarbeitung zugeführt.
-
Neben dieser prinzipiell denkbaren Automatisierung ist es in der Praxis häufig auch so, dass die Inhalte der Verkehrsspiegel für eine das Fahrzeug fahrende Person zugänglich gemacht werden sollen, beispielsweise über eine Anzeigeeinheit. Dies führt in der Praxis häufig zu einer sehr unbefriedigenden Ansicht auf die bildlichen Inhalte, welche vom Verkehrsspiegel gespiegelt werden, da die Verkehrsspiegel häufig als Konvexspiegel ausgebildet sind und dementsprechend verzerrte und oft unscharfe Abbildungen liefern bzw. je nach Verschmutzungsgrad unscharfe Bilder spiegeln. Ferner ist es häufig so, dass beispielsweise bei einer Sonneneinstrahlung in den Verkehrsspiegel oder in der Nacht bei eingeschalteten Frontscheinwerfern der gespiegelten Fahrzeuge, insbesondere wenn diese mit Fernlicht unterwegs sind, eine starke Blendung durch den Verkehrsspiegel auftritt. Der gespiegelte Inhalt ist dann in der Praxis kaum noch zu erkennen.
-
Die Aufgabe der hier vorliegenden Erfindung besteht nun darin, ein verbessertes Verfahren zum Erkennen und Anzeigen von in der Verkehrsinfrastruktur angeordneten Verkehrsspiegeln gemäß dem Oberbegriff des Anspruchs 1 zu ermöglichen.
-
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen im Anspruch 1, und hier insbesondere im kennzeichnenden Teil des Anspruchs 1, gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den hiervon abhängigen Unteransprüchen.
-
Bei dem erfindungsgemäßen Verfahren ist es so, dass die erfassten Bilder der wenigstens einen Kamera, vergleichbar wie im Stand der Technik, genutzt werden, um Verkehrsspiegel darin zu erkennen. Erfindungsgemäß ist es nun so, dass die Bildbereiche, die Verkehrsspiegel enthalten, segmentiert und einer Bildvorverarbeitung unterzogen werden, wonach die segmentierten Bildbereiche zumindest auf einer Bildanzeige dargestellt werden. Die Bildausschnitte des Verkehrsspiegels werden also in jedem Fall auf einer Bildanzeige dargestellt, um den Inhalt, den der Verkehrsspiegel zeigt, nochmals im Inneren des Fahrzeugs für eine das Fahrzeug fahrende Person zu visualisieren. Durch eine Bildvorverarbeitung werden dabei bekannte Nachteile der Abbildung der gespiegelten Inhalte von Verkehrsspiegeln eliminiert oder zumindest minimiert, sodass eine komfortable und zuverlässige Erkennung des durch den Verkehrsspiegel gespiegelten Verkehrsbereichs möglich wird. Die so über die Bildvorverarbeitung vorverarbeiteten segmentierten Bildbereiche können dabei neben der Anzeige auch Assistenzsystemen zur Verfügung gestellt werden, wie dies prinzipiell ohne die Segmentierung und Bildvorverarbeitung im oben genannten Stand der Technik beschrieben ist.
-
Die Bildvorverarbeitung kann dabei gemäß verschiedenen außerordentlich günstigen und einzeln oder in Kombination denkbaren Weiterbildungen vor allem ein Entzerren, ein Nachschärfen sowie ein Überprüfen und gegebenenfalls Anpassen der Helligkeit der segmentierten Bildbereiche umfassen.
-
Insbesondere das Entzerren der segmentierten Bildbereiche, welche ja typischerweise von einem Konvexspiegel stammen, ist besonders günstig, um eine Wahrnehmung für die das Fahrzeug fahrende Person zu schaffen, welche ihrer herkömmlichen Wahrnehmung, insbesondere auch hinsichtlich des Einschätzens von Abständen, entspricht. Ein bei Verkehrsspiegeln großer Kritikpunkt, dass diese die Verkehrssituation verzerren und Abstände ungenau widerspiegeln, lässt sich so einfach und effizient umgehen. Dabei lassen sich insbesondere Linien, oder Kanten von denen angenommen werden kann, dass diese gerade oder parallel verlaufen, beispielsweise Straßenmarkierungen oder dergleichen, nutzen, um das verzerrte Bild des Konvexspiegels in ein entsprechend entzerrtes Bild umzurechnen.
-
Darüber hinaus kann ein elektronisches Nachschärfen der segmentierten Bildbereiche erfolgen, sodass Inhalte besser und zuverlässiger von einer das Fahrzeug fahrenden Person, letztlich aber auch von einer nachgeordneten Bildverarbeitung von Assistenzsystemen erfasst und erkannt werden können.
-
Ein weiterer Aspekt ist eine Überprüfung der Helligkeit und gegebenenfalls ein Anpassen der Helligkeit. Eine Kamera lässt sich nicht wie eine das Fahrzeug fahrende Person blenden. Sie kann die Inhalte in so einem Fall besser erfassen. Im Falle einer zu großen Helligkeit, und der damit verbundenen Gefahr, dass die das Fahrzeug fahrende Person geblendet wird, lässt sich nun die Helligkeit der segmentierten Bildbereiche in der Anzeige reduzieren, um ohne die das Fahrzeug nutzende Person zu blenden, eine möglichst sinnvolle Anzeige zu generieren, welche ein sicheres und zuverlässiges Steuern des Fahrzeugs in der entsprechenden Situation unterstützt. Ebenso kann die Helligkeit bei einer sehr dunklen Szenerie auch angehoben werden, so dass die das Fahrzeug fahrende Person mehr Details erkennen kann.
-
Gemäß einer weiteren sehr vorteilhaften Ausgestaltung der Idee kann bei mehreren Kameras mit unterschiedlicher Einbauhöhe anhand des analysierten gespiegelten Inhalts diejenige zur Bereitstellung der Bildbereiche für die Bildvorverarbeitung ausgewählt werden, welche den besten Blickwinkel auf die gespiegelten Inhalte bietet. Die meisten Verkehrsspiegel sind heute so aufgebaut, dass sie typischerweise für eine Nutzung von Insassen eines PKWs optimiert sind. Sie liegen damit so, dass beispielsweise bei den heute üblichen SUVs eine in der Windschutzscheibe oben angebrachte Kameraposition ebenso wie die Blickposition einer einen solchen SUV fahrenden Person gegebenenfalls schon zu hoch sein kann, um alle Inhalte des Verkehrsspiegels vernünftig zu erfassen. Aus diesem Grund kann beim Vorhandensein von mehreren Kameras mit unterschiedlicher Einbauhöhe eine Kamera mit niedrigerer Einbauhöhe ausgewählt werden, um die Inhalte des Verkehrsspiegels besser darzustellen und der das Fahrzeug fahrenden Person einen weiteren Blickwinkel auf den Verkehrsspiegel zu ermöglichen.
-
Gemäß einer sehr vorteilhaften Weiterbildung dieser Idee kann dabei die Kamera ausgewählt werden, welche die niedrigste Einbauhöhe hat und gleichzeitig den Rand des Verkehrsspiegels, welcher typischerweise ja als Referenz zum Erkennen eines Verkehrsspiegels dient, vollständig erfasst. Hierdurch ist ein idealer Blickwinkel auf den Verkehrsspiegel sichergestellt, unabhängig von der Sitzhöhe der das Fahrzeug fahrenden Person. Bieten mehrere Kameras vergleichbare Eigenschaften, wird in diesem Fall die Kamera mit der niedrigsten Einbauhöhe ausgewählt.
-
Gemäß einer weiteren sehr vorteilhaften Ausgestaltung der Idee kann es daneben vorgesehen sein, dass zusätzlich zur Einbauhöhe der Verschmutzungsgrad der Kamera berücksichtigt wird. Sind beispielsweise die niedrigste und die zweitniedrigste Kamera geeignet, um die Inhalte des Verkehrsspiegels zu erfassen, dann kann diejenige ausgewählt werden, welche einen geringeren Verschmutzungsgrad aufweist. Dies wird meist die etwas höher angeordnete Kamera sein, da die Gefahr einer Verschmutzung der Kamera bei zunehmend tiefer angeordneter Kamera im Frontbereich entsprechend steigt.
-
Ein eventuell vorhandenes Muster im Rand es Spiegels kann dabei auch verwendet werden, um das für die Anzeige vorgesehene Bild aus mehreren Kameras zusammen zu setzen. Dabei ist das Randmuster dazu vorgesehen um eine optische Glättung, sowie eine möglichst nahtlose Bildzusammensetzung trotz baubedingter diverser Winkel der verschiedenen Kameras zu ermöglichen. Dieses Verfahren ist insbesondere bei der Verwendung von Kameras in den Außenspiegeln eines Fahrzeugs möglich.
-
Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens ergeben sich auch aus dem Ausführungsbeispiel, welches nachfolgend unter Bezugnahme auf die Figuren näher dargestellt ist.
-
Dabei zeigen:
- 1 ein Szenario mit einem Fahrzeug und einem Verkehrsspiegel zur Erläuterung des erfindungsgemäßen Verfahrens; und
- 2 eine mögliche Darstellung auf einer Bildanzeige in dem Fahrzeug aus 1.
-
In der Darstellung der 1 ist ein mit 1 bezeichnetes Fahrzeug dargestellt. Das Fahrzeug 1 verfügt über drei Kameras 2, 3 und 4, welche mit unterschiedlicher Einbauhöhe h2 , h3 , h4 in dem Fahrzeug 1 verbaut sind. In der Verkehrsinfrastruktur um das Fahrzeug 1 herum ist in der Darstellung der 1 ein Verkehrsspiegel 5 angedeutet, welcher in den von den Kameras 2, 3, 4 erfassten Bilddaten beispielsweise über seinen rot-weiß gestreiften Rand 6 erkannt werden kann. Der Verkehrsspiegel 5 ist dabei typischerweise als sogenannter Konvexspiegel ausgebildet und zeigt einen relativ großen Ausschnitt aus der Verkehrsumgebung eines Bereichs, welcher vom Fahrzeug 1 aus direkt nicht einsehbar ist. Der Nachteil des Konvexspiegels und der Nachteil der meist nicht allzu hohen Qualität der spiegelnden Oberfläche des Verkehrsspiegels 5 führen zu entsprechenden Beeinträchtigungen in der Bildqualität der von dem Verkehrsspiegel 5 gespiegelten Inhalte.
-
Um dies nun auszugleichen, werden die Bildbereiche, welche den Verkehrsspiegel 5 enthalten, segmentiert und einer Bildvorverarbeitung unterzogen. Die segmentierten und der Bildvorverarbeitung unterzogenen Bildbereiche werden dann zumindest auf einer Bildanzeige 7 dargestellt. Eine solche Bildanzeige 7 ist in der Darstellung der 2 exemplarisch angedeutet. Es kann beispielsweise ein Bildschirm in einer Mittelkonsole des Fahrzeugs 1, im Bereich des Cockpits des Fahrzeugs 1 oder auch eine Einspiegelung in die Windschutzscheibe des Fahrzeugs 1 oder dergleichen sein. Die 2 zeigt nun rein exemplarisch die Darstellung des Verkehrsspiegels 5 bzw. der von ihm gespiegelten Inhalte, wobei der Verkehrsspiegel 5 durch den für ihn charakteristischen Rand 6 umrandet ist, um einer das Fahrzeug 1 fahrenden Person bei einem Blick auf die Bildanzeige 7 intuitiv zu verstehen zu geben, dass die gespiegelten Inhalte eines Verkehrsspiegels 5 dargestellt sind. Zur Verbesserung der Darstellung der Inhalte können diese nun entzerrt werden. Solche entzerrten Inhalte haben gegenüber der tatsächlichen Darstellung der gespiegelten Inhalte in dem typischerweise als Konvexspiegel ausgebildeten Verkehrsspiegel den Vorteil, dass sie die Inhalte für eine das Fahrzeug 1 fahrende Person leichter verständlich und insbesondere die Abstände zwischen einzelnen Elementen der gespiegelten Inhalte realistischer darstellen. Ergänzend oder alternativ hierzu kann ein Schärfen bzw. Nachschärfen der segmentierten Bildbereiche, welche den gespiegelten Inhalt des Verkehrsspiegels 5 darstellen, erfolgen. Ferner ist es so, dass außerdem die Helligkeit der Ausgabe auf der Bildanzeige 7 entsprechend geprüft werden kann. Bei Bedarf, sprich einer zu großen Helligkeit und der Gefahr eines Blendens der das Fahrzeug 1 fahrenden Person, kann auch in Abhängigkeit von der Umgebungshelligkeit dann die Helligkeit gegenüber der Helligkeit der real gespiegelten Inhalte des Verkehrsspiegels 5 entsprechend reduziert werden, um beispielsweise eine Blendung durch Frontscheinwerfer, die tiefstehende Sonne oder dergleichen weitgehend zu eliminieren, ohne dabei die Inhalte der Anzeige der segmentierten Bildbereiche auf der Bildanzeige 7 zu verfälschen. Umgekehrt kann die Helligkeit auch erhöht werden, um beispielsweise dunkel gekleidete Fußgänger in einer wenig beleuchteten Szene für die das Fahrzeug 1 fahrende Person wahrnehmbar zu machen. Eine vorteilhafte Erweiterung ist dabei die Hervorhebung erkannter Gefahrenobjekte innerhalb des dargestellten Bildes, beispielsweise eines Fahrzeugs oder Fußgängers, um die Erfassung der relevanten Informationen für die das Fahrzeug fahrende Person weiter zu verbessern.
-
Wenn, wie in dem Fahrzeug 1, mehrere Kameras 2, 3, 4 mit unterschiedlicher Einbauhöhe h2 , h3 , h4 vorhanden sind, dann kann dies genutzt werden, um diejenige der Kameras 2, 3, 4 auszuwählen, welche den besten Blickwinkel auf die gespiegelten Inhalte bietet. Hierfür kann beispielsweise die Kamera mit der niedrigsten Einbauhöhe h2 , h3 , h4 ausgewählt werden, welche gleichzeitig noch den gesamten Rand 6 des Verkehrsspiegels 5 vollständig erfasst hat, da dies die bestmögliche Sicht, welche für die Sitzhöhe eines Fahrers in einem herkömmlichen Pkw konzipiert ist, ermöglicht. In diesem Fall wäre das die Kamera 3 mit der Einbauhöhe h3 , welche in der 1 deshalb als einzige mit durchgezogener Linie zur Versinnbildlichung ihres Blickwinkels dargestellt ist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102016215115 A1 [0004]
