DE102006012773A1 - Virtuelles Spotlight zur Kennzeichnung von interessierenden Objekten in Bilddaten - Google Patents

Abstract

Zur Unterstützung von Fahrzeuglenkern bei der Führung ihrer Fahrzeuge kommen zunehmend Assistenzsysteme zur Verwendung. Es werden hierzu mittels einer Kamera Bilddaten aus dem Umfeld eines Fahrzeuges aufgenommen und die Bilddaten (1) nach einer Objekterkennung und Bildverarbeitung zumindest teilweise auf einer Anzeige dargestellt. Nach der Aufnahme der Bilddaten durch die Kamera werden diese mittels einer Objekterkennung verarbeitet, um Objekte (2, 3) in den aufgenommenen Bilddaten zu erkennen. Die so erkannten Objekte (2, 3) werden zumindest teilweise bei der Darstellung der Bilddaten (1) auf der Anzeige hervorgehoben. Dabei erfolgt die Hervorhebung der erkannten Objekte (2, 3) dergestalt, dass die darzustellenden Bilddaten (1) in zwei Arten von Bereichen eingeteilt werden. Hierbei umfasst die erste Art von Bereichen die erkannten und hervorzuhebenden Objekte (2, 3) und einen sich jeweils entsprechend direkt daran anschließenden Umgebungsbereich (2a, 3a). Die zweite Art von Bereichen umfasst sodann diejenigen Bilddaten (1), welche nicht der ersten Art von Bereichen zugeordnet wurden. Die Hervorhebung der Objekte in den Bilddaten (1) erfolgt sodann derart, dass die Bilddaten der beiden Arten von Bereichen in unterschiedlicher Weise manipuliert werden.

Description

• Die Erfindung betrifft ein Verfahren zur Hervorhebung von Objekten in Bilddaten, sowie eine hierfür geeignete Bildanzeige nach dem Oberbegriff der Patentansprüche 1 und 17.
• Zur Unterstützung von Fahrzeuglenkern bei der Führung ihrer Fahrzeuge kommen zunehmend Assistenzsysteme zur Verwendung, welche mittels Kamerasystemen Bilddaten der Umgebung um das Fahrzeug erfassen und diese auf einem Display zur Anzeige bringen. Insbesondere zur Unterstützung von Fahrzeugführern bei Nachtfahrten sind so genannte Nachtsichtsysteme bekannt, welche den durch den Fahrzeugführer einsehbaren Bereich über den mit Hilfe des Abblendlichtes einsehbaren Bereich hinaus signifikant weitern. Hierbei werden von der Umgebung Bilddaten im infra-roten Wellenlängenbereich erfasst und dem Fahrer dargestellt. Da diese aus dem infra-roten Wellenlängenbereich stammenden Bilddaten durch ihr ungewöhnliches Erscheinungsbild einem Fahrzeugführer nicht unmittelbar zugänglich ist, bietet es sich an diese Bilddaten vor deren Präsentation mittels Bildverarbeitungssystemen aufzubereiten.
• Um die Aufmerksamkeit eines Fahrers auf einen Fußgänger zu lenken wird in der deutschen Offenlegungsschrift DE 101 31 720 A1 beschrieben über ein Headup-Display im Sichtbereich des Fahrers an der Stelle, an welcher sich ein im Fahrzeugumfeld befindlicher Fußgänger abbildet eine symbolische Darstellung desselben einzublenden. Um diesen besonders hervorzuheben wird zudem vorgeschlagen, einen Rahmen um die symbolische Darstellung herum einzublenden.
• Um Verdeckungen relevanter Details durch eine symbolische Überlagerung der Bildinformation zu vermeiden, ist es jedoch auch denkbar, die Bilddaten relevanter Objekte vor deren Darstellung mittels Bildverarbeitung zu manipulieren. So wird in der deutschen Offenlegungsschrift DE 10 2004 034 532 A1 vorgeschlagen relevante Objekte durch Manipulation der Bilddaten hinsichtlich einer Aufhellung oder Einfärbung der resultierenden Bilddarstellung hervorzuheben. Ergänzend beschreibt die deutsche Offenlegungsschrift DE 10 2004 028 324 A1 die Hervorhebung von Objekten, insbesondere von Lebewesen, in den Bilddaten durch Verstärkung der Kontur.
• Um die Unterscheidbarkeit derart in den Bilddaten hervorgehobenen Objekte noch zu verstärken, wird in der deutschen Offenlegungsschrift DE 102 59 882 A1 zusätzlich vorgeschlagen die Objekte vor der Farbmanipulation der Bilddaten einer Typklassifikation zu unterziehen und ausgehend hiervon die Einfärbung typ-spezifisch vorzunehmen.
• Aufgabe der Erfindung ist es, ein Verfahren und eine zur Durchführung des Verfahrens geeignete Bildanzeige zu finden, mit denen eine Hervorhebung relevanter Objekte in Bilddaten weiter verbessert werden kann.
• Die Erfindung wird durch ein Verfahren und eine zur Durchführung des Verfahrens geeignete Bildanzeige mit den Merkmalen der Patentansprüche 1 und 17 gelöst. Vorteilhafte Weiterbildungen und Ausgestaltungen der Erfindung werden mit den Unteransprüchen beschrieben.
• Bei dem Verfahren zur Bildanzeige werden mittels einer Kamera Bilddaten aus dem Umfeld eines Fahrzeuges aufgenommen, und die Bilddaten (1) nach einer Objekterkennung und Bildverarbeitung zumindest teilweise auf einer Anzeige dargestellt. Nach der Aufnahme der Bilddaten durch die Kamera werden diese mittels einer Objekterkennung verarbeitet, um Objekte (2, 3, 4, 5) in den aufgenommenen Bilddaten zu erkennen. Die so erkannten Objekte (2, 3, 4, 5) werden zumindest teilweise bei der Darstellung der Bilddaten (1) auf der Anzeige hervorgehoben. In erfinderischer Weise erfolgt dabei die Hervorhebung der erkannten Objekte (2, 3, 4, 5) dergestalt, dass die darzustellenden Bilddaten (1) in zwei Arten von Bereichen eingeteilt werden. Hierbei umfasst die erste Art von Bereichen die erkannten und hervorzuhebenden Objekte (2, 3, 4, 5) und einen sich jeweils entsprechend direkt daran anschließenden Umgebungsbereich (2a, 3a, 4a). Die zweite Art von Bereichen umfasst sodann diejenigen Bilddaten (1), welche nicht der ersten Art von Bereichen zugeordnet wurden. Die Hervorhebung der Objekte in den Bilddaten (1) erfolgt sodann derart, dass die Bilddaten der beiden Arten von Bereichen in unterschiedlicher Weise manipuliert werden.
• Im Gegensatz zum Stand der Technik, bei welchem die Bilddaten der hervorzuhebenden Objekte entweder durch symbolische Darstellungen ersetzt werden oder aber speziell die dem Objekt direkt zuordenbaren Bilddaten manipuliert (Kontrastverbesserung oder Farbänderung) wird nun in besonders vorteilhafter Weise eine Hervorhebung der Objekte (2, 3, 4, 5) dadurch erreicht, dass nicht nur das Objekt als solches, sonder zusätzlich noch der sich direkt daran anschließende Bildbereich hervorgehoben wird. Durch diese Kombination entsteht ein Bildbereich erster Art, welcher in erfinderischer Weise nachfolgend einheitlich behandelt wird. Durch gemeinsame Behandlung eines Objektes mit dem sich daran anschließenden direkten Umgebungsbereich ergibt sich in gewinnbringender Weise für den Betrachter der Bildanzeige durch die Hervorhebung in den Bilddaten der Eindruck einer virtuellen Beleuchtung des Objektes und seiner direkten Umgebung (Taschenlampeneffekt). So wird, insbesondere innerhalb von Nachtszenen, eine äußerst intuitive Wahrnehmbarkeit der hervorzuhebenden Objekte geschaffen.
• Ein weitere Vorteil ergibt sich daraus, dass in den durch die Kamera aufgenommenen Bilddaten zwar die relevanten, hervorzuhebenden Objekte erkannt werden müssen, deren Objektkontur jedoch nicht exakt ermittelt zu werden brauchen. Dies deshalb, da die Bildbereiche der ersten Art zusätzlich zu den Objekten noch deren direkter Umgebungsbereich zugeordnet wird. Bei geeigneter Dimensionierung dieser direkten Umgebungsbereiche wird im allgemeinen erreicht, dass die Objekte auch dann in ihrer vollen Ausdehnung Hervorgehoben werden, wenn der Objekterkennungsalgorithmus der Bildverarbeitung das Objekt nicht in seinen gesamten Ausmaßen aus der Bildszene extrahieren konnte; dies ist insbesondere bei komplexen Objekten, wie Fußgängern, in schwach beleuchteten Szenen mit schlechtem Bildkontrast häufig der Fall.
• Nachfolgend wird die Erfindung mit Hilfe von Figuren im Detail erläutert. Hierbei zeigt
• 1 eine Verkehrsszene vor einem Fahrzeug,
• 2 die Bilddaten (1) der Verkehrsszene aus 1, nach erfolgter Objekterkennung und Hervorhebung der Fußgänger (2, 3) enthaltenden Bildbereiche erster Art,
• 3 die Bilddaten (1) der Verkehrsszene aus 1, nach erfolgter Objekterkennung und Hervorhebung der Fußgänger (2, 3) enthaltenden Bildbereiche erster Art, sowie Fahrzeuge (4, 5) umfassende Bildbereiche dritter Art,
• 4 die Bilddaten (1) der Verkehrsszene aus 1, nach erfolgter Objekterkennung und Hervorhebung der Fußgänger (2, 3) enthaltenden Bildbereiche erster Art, sowie eines weiteren das vorausfahrende Fahrzeug (4) enthaltenden Bildbereichs erster Art.
• In der 1 ist eine typische Verkehrsszene vor einem Kraftfahrzeug dargestellt, wie sie von dem Führer eines Fahrzeuges beim Blick durch die Windschutzscheibe beobachtet werden kann, bzw. wie sie von der dem erfindungsgemäßen Bildverarbeitungssystem zugeordneten Kamera erfasst werden kann. Die Verkehrsszene umfasst eine Straße, welche Fahrbahnbegrenzungen (6) aufweist. Entlang des Verlaufs der Straße finden sich in dessen Umgebung eine Mehrzahl von Bäumen (7). Auf dieser Straße befindet sich auf der Fahrbahn vor dem eigenen Fahrzeug ein vorausfahrendes bzw. parkendes Fahrzeug (4), während sich auf der gegenüberliegenden Fahrspur ein dem eigenen Fahrzeug entgegenkommendes Fahrzeug (5) befindet. Des Weiteren umfasst die Verkehrsszene eine sich im Szenenvordergrund von links auf die Fahrbahn bewegende Person (2), sowie eine sich in weiterer Entfernung, im Bereich der Baumgruppen von rechts auf die Fahrbahn bewegende Personengruppe (3). Die Beobachtung dieser Verkehrsszene durch den Fahrzeugführer erfordert ein hohes Maß an Aufmerksamkeit, da eine Vielzahl von unterschiedlichen Objekten wahrnehmen und beobachten muss; dies ist beispielsweise bei der sich in weiterer Entfernung, im Bereich der Bäume (7) befindlichen Personengruppe (3) schon recht beanspruchend. Zusätzlich ist der Fahrzeugführer jedoch auch gefordert, die Objekte in Abhängigkeit ihrer Position und Bewegung relativ zum eigenen Fahrzeug in ihrer Gefährdungsrelevanz einzuschätzen.
• Um den Fahrzeugführer bei dieser Aufgabe zu entlasten, bietet es sich deshalb an, die Verkehrszene mittels eines Kamerasystems zu erfassen und die so gewonnen Bilddaten zu verarbeiten und aufzubereiten, so dass diese auf einer Anzeige dargestellt, die Erfassung der Verkehrsszene erleichtern. Hierbei bietet es sich die besonders zu beachtenden Objekte in den Bilddaten zu selektieren und im Rahmen der Darstellung hervorgehoben zur Anzeige zu bringen. Derartig aufbereitete Bilddaten (1) der in der 1 dargestellten Verkehrsszene werden in der 2 gezeigt. Die aus der Verkehrsszene mittels einer Kamera gewonnen Bilddaten wurden hierbei einer Objektklassifikation unterzogen, mittels welcher in der Verkehrsszene enthaltene Fußgänger (2, 3) erkannt wurden, so dass diese in den Dargestellten Bilddaten gemeinsam mit deren direkten Umgebungsbereichen (2a, 3a) hervorgehoben dargestellt werden konnten.
• Selbstverständlich kann die Objektklassifikation je nach Anwendungsgebiet und -zweck auf die Erkennung weiterer oder anderer Objekte ausgerichtet werden. So wäre es denkbar zusätzlich zu den Fußgängern auch auf der Fahrbahn befindliche Fahrzeuge zu erkennen; im Rahmen andere Einsatzgebiete könnte es sich bei den zu erkennenden Objekten aber auch um Verkehrszeichen oder Fußgängerüberwege handeln. Andererseits kann die Objekterkennung bzw. -klassifikation auch so ausgestaltet werden, dass die Bewegungsrichtungen und -geschwindigkeiten der Objekte mit betrachtet wird, so dass beispielsweise eine sich in weiterer Entfernung befindliche, von der Fahrbahn wegbewegende Person nicht mehr ausgewählt und bei der Darstellung hervorgehoben wird.
• Wie in der 2 deutlich aufgezeigt wird den Die mittels der Objektklassifikation erkannten und im Rahmen der Darstellung hervorzuhebenden Objekten (2, 3) jeweils deren direkter Umgebungsbereich (2a, 3a) zugeordnet, so dass sich zwei Bereiche der ersten Art ergeben, welche sodann unterschiedlich zu den verbleibenden Bilddaten (Bildbereiche der zweiten Art) behandelt bzw. manipuliert werden, um deren Hervorhebung zu erreichen.
• Um bei der Darstellung der Bilddaten eine Hervorhebung der Bildbereiche erster Art zu erreichen ist es nun zum einen möglich die diesen Bildbereichen zugeordneten Bilddaten aufzuhellen. Andererseits kann eine Hervorhebung der Bildbereiche der ersten Art jedoch auch dadurch erzielt werden, indem die Bildbereiche der zweiten Art in ihrer Intensität abgesenkt werden. Dies entspricht den in der 2 schematisch dargestellten Bilddaten (1). Beim Verglich mit den Intensitäten aus der in der 1 dargestellten Verkehrsszene ist zu erkennen, dass die Objekte (2, 3) und der diese direkt umgebende Bildbereich (2a, 3a) in ihrer Intensität konstant gehalten wurden, während die anderen Bildbereiche in ihrer Intensität und somit Wahrnehmbarkeit deutlich abgesenkt wurde. Hierdurch ergibt sich eine Hervorhebung der Bildbereiche erster Art quasi dadurch, dass über die verbleibenden Bildbereiche eine Art dunkler Schleier gelegt wird. In Abhängigkeit des jeweiligen Anwendungsgebie tes und -zwecks kann es sich jedoch in gewinnbringender Weise anbieten, gleichzeitig sowohl die Bildbereiche erster Art aufzuhellen als auch die Bildbereiche zweiter Art in ihrer Intensität abzusenken.
• Aus der 2 ist weiter ersichtlich, dass sich durch die zusätzliche Hervorhebung des die relevanten Objekte (2, 3) direkt umgebenden Bereichs (2a, 3a) in besonders vorteilhafter Weise auch eine Hervorhebung anderer zu Beurteilung der Verkehrsszene hilfreicher Detailinformation ergibt; hier die Anzeige des Straßenrandes in dem hervorgehobenen Bildbereich der ersten Art. Wird wie im Stand der Technik beschrieben nur das Objekt (2, 3) selbst aus den Bilddaten hervorgehoben, so treten gerade dies zur Beurteilung der Verkehrssituation ebenfalls wichtigen Umgebungsdetails eben gerade in den Hintergrund, so dass sich hier eine zusätzliche Erschwerung der Wahrnehmung durch den Fahrzeugführer ergibt.
• Die Wahrnehmbarkeit der dem Fahrzeugführer mittels der Bildanzeige dargestellten manipulierten Bilddaten (1) der Verkehrsszene lässt sich auch dadurch erreichen, dass alternativ oder ergänzend zu einer Abdunklung der Bildbereiche der zweite Art diese Bildbereiche zumindest in Teilen vereinfacht, beispielsweise mit reduziertem Kontrast oder schematisch, beispielsweise durch Überlagerung mit einer Textur oder aber symbolisch dargestellt werden. Dies macht insbesondere für Teilbereiche Sinn, welche sich in weiterer Entfernung von der Fahrbahn befinden und so für eine Abschätzung von Gefahrenpotential durch den Fahrzeugführer ohnehin irrelevant sind.
• In der 3 ist eine weitere besonders vorteilhafte Ausgestaltung der Erfindung aufgezeigt. Hierin wurden die Bilddaten aus den Bildbereichen der zweiten Art, welche weiteren erkannten Objekten (4, 5) zuzuordnen sind, einer dritten Art von Bereichen zugeordnet. Wie hier aufgezeigt, kann es sich bei den weiteren Objekten beispielsweise um Fahrzeuge (4, 5) handeln. So kann eine primär auf die Visualisierung von Fußgängern (2, 3) spezifizierte Bilddarstellung, weiter verbessert werden, indem zusätzlich auch andere Objekte, hier Fahrzeuge, erkannt und gesondert in Bildbereichen dritter Art dargestellt werden können. Wie in der 3 gezeigt, werden neben den hervorgehobenen Bildbereichen erster Art zusätzlich auch noch die in den Bildbereichen dritter Art enthaltenen Fahrzeuge (4, 5) dargestellt. Es wird so möglich, neben den hervorzuhebenden Objekten in den Bildbereichen der ersten Art auch noch weitere gegebenenfalls relevante Objekte auf der Bildanzeige deutlich darzustellen. Hierbei bietet es sich jedoch an, insbesondere um den Effekt der Hervorhebung die Bilddaten der Objekte in den Bildbereichen der ersten Art nicht unnötig abzuschwächen, die Objekte in den Bildbereichen der dritten Art in anderer Weise zu manipulieren. In einer bevorzugten Ausgestaltung bei der die Bildbereiche der ersten Art aufgehellt werden und die Bildbereiche der zweiten Art in ihrer Intensität abgesenkt werden, könnten die Bildbereiche der dritten Art mit der durch die Kamera ursprünglich erfassten Intensität abgebildet werden, so dass sich eine leicht wahrnehmbare dreistufige Intensitätsgruppierung im Bild ergibt.
• Als vorteilhafte Alternative zu der direkten Manipulation der den Bildbereichen der ersten Art zuzuordnenden Bilddaten im Sinne einer Aufhellung oder ähnlichem ist es sehr wohl auch denkbar auf die Daten anderer Sensoren oder Sensorströme zurückzugreifen und mit diesen die ursprünglich von der Kamera des Bildanzeigesystems gelieferten Bilddaten zu ersetzen. So könnten beispielsweise die Bilddaten einer Infrarot-Kamera teilweise durch die Bilddaten einer ebenfalls im Fahrzeug befindlichen Farbkamera ersetzt werden. Dies kann vor allem dann von großem Vorteil sein, wenn es sich bei den hervorzuhebenden Objekten um Ampelanlagen handelt. Hier könnten in die ,schwarz-weiß' Daten der Infrarot-Kamera die Hervorhebung der Ampeln durch Ersetzung der Bilddaten in den Bildbereichen erster Art durch farbige Bildinformation einer Farbkamera erfolgen. Da die Bildbereiche erster Art sowohl die relevanten Objekte (hier Ampeln) als auch deren direkte Umgebung enthalten, ist es nicht besonders kritisch, wenn sich auf Grund von Paralaxenfehlern zwischen den beiden Kamerasystemen an den Übergängen zwischen den Bildbereichen erster Art und den Bildbereichen zweiter Art Sprünge bzw. Verzerrungen in der Bilddarstellung der Verkehrsszene ergeben. Alternativ wäre es beispielsweise sehr wohl auch denkbar einen Bildbereich erster Art in einem Infrarot-Bild durch eine aufgearbeitete Information eines Radarsystems, insbesondere eines hochauflösenden (bildgebenden) Radarsystems, zu ersetzen.
• Der Bilddarstellung in der 4 liegt eine, bereits zuvor beschriebene, spezielle Ausgestaltung der Objekterkennung zugrunde. Hierbei wurden mittels der Objekterkennung zum einen Personen (2, 3) als auch ein sich direkt vor dem eigenen Fahrzeug befindliches anderes Objekt (5), hier ebenfalls ein Fahrzeug, als hervorzuhebende Objekte ausgewählt. Aus der
• 4 geht hervor, dass der in den Bildbereichen der ersten Art den Objekten (2, 3, 4, 5) jeweils zugeordnete Umgebungsbereich (2a, 3a, 4a) in der Form seines seinem Umrisses unterschiedlich gewählt werden kann. So weisen die Umgebungsbereiche 2a und 3a einen elliptisch geformten Umriss auf, während der dem Fahrzeug 4 zugeordnete direkte Umgebungsbereich (4a) in seinem Umriss im Wesentlichen der Objektform angepasst ist. Selbstverständlich sind anwendungs-spezifisch jegliche andere Arten von Umrissen denkbar, insbesondere runde oder rechteckige.
• Es ist auch denkbar zur Hervorhebung der in der Verkehrsszene enthaltenen relevanten Objekte die Bilddaten der Bildbereiche der ersten Art in ihrer Farbe zu manipulieren. Hierbei kann es sich zum einen um eine einfache Einfärbung, insbesondere hin zu gelben oder roten Farbtönen handeln. Zum anderen ist es aber sehr wohl möglich die Farb- oder Helligkeitsverläufen der Bilddaten so zugestalten, dass sich entweder weicher Übergang, ohne harte Grenzen zu den Bildbereichen der zweiten Art ergibt. Eine derartige Manipulation der Bilddaten bietet sich insbesondere bei Bildbereichen der ersten Art an, bei welchen die Bilddaten von anderen Sensoren oder Sensorströmen abgeleitet wurden.
• Besonders deutlich werden die Bildbereiche der ersten Art in den Bilddaten (1) dann hervorgehoben, wenn diese Bildbereiche blinkend oder pulsierend dargestellt werden. Hierbei ist es denkbar die Frequenz des Blinkens oder Pulsierens in Abhängigkeit eines von den hervorzuhebenden Objekten ausgehenden Gefahrenpotentials zu gestalten, insbesondere auch Abhängig von deren Entfernung oder deren Relativgeschwindigkeit in Bezug auf das eigene Fahrzeug.
• Gewinnbringend kann die Manipulation der Bilddaten in den Bildbereichen der ersten Art so erfolgt, dass die Hervorhebung dieser Bereiche in den dargestellten Bilddaten (1) in ihrer Wahrnehmbarkeit zeitlich variiert. Hierdurch kann beispielsweise erreicht werden, dass neu erkannten Objekten zugeordnete Bildbereiche erst nur schwach und dann mit fortschreitender Dauer der Erkennung deutlich hervorgehoben werden. Auf diese Weise wirken sich Erkennungsfehler bei der Objekterkennung innerhalb der von der Kamera aufgenommen Bilddaten nur unwesentlich aus, da die anfängliche schwache Hervorhebung von derartig falsch detektierten Objekten den Fahrzeugführer nicht unnötig ablenkt.
• Generell ist es von Vorteil, wenn die Hervorhebung der Bildbereiche der ersten Art abhängig von Parametern des im Bildbereich enthaltenen Objekts (2, 3, 4, 5) gewählt bzw. variiert wird. Dabei ist es beispielsweise denkbar diejenigen Parameter eines Objekts (2, 3, 4, 5) heranzuziehen, welche dessen Entfernung, das von ihm ausgehende Gefahrenpotential oder dessen Objekttyp beschreiben. So wäre es denkbar Bildbereiche, in welchen sich Objekte abbilden, welche sich schnell auf das eigene Fahrzeug zu bewegen, mit Rottönen einzufärben. Oder Bildbereiche in denen sich weit entfernte Objekte abbilden könnten mit einer schwachen Färbung versehen werden. Auch könnten beispielsweise hervorzuhebende Bildbereiche mit Personen mit einem anderen Farbton als Bereiche mit Fahrzeugen gefärbt werden, um so bei einer intuitiven Objektwahrnehmung zu unterstützen.
• Bewegt sich das mit der erfindungsgemäßen Bildanzeige versehene Fahrzeug entlang der Fahrbahn, so unterliegt dessen dynamisches Verhalten häufig relativ raschen Änderungen (Rütteln und Wackeln), insbesondere bedingt durch Fahrbahnunebenheiten. Verursacht durch die starre Kopplung zwischen Kamera und Fahrzeugkörper bewirken die raschen dynamischen Änderungen ein ,wackeln' der Bilddarstellung auf der Anzeige. Werden die von einer Kamera aufgenommen Bilddaten unverändert auf der Anzeige dargestellt, wird dieses ,Wackeln' nicht besonders deutlich wahrgenommen. Dann aber wenn in der Bilddarstellung Objekte oder ganze Objektbereiche hervorgehoben dargestellt werden, kann dies insbesondere bei der Aufhellung dieser Bereiche auf einer Anzeige im abgedunkelten Fahrzeuginnenraum auf den Fahrer äußerst störend wirken. Deshalb wird in einer vorteilhaften Ausgestaltung der Erfindung bei den hervorgehobenen Bildbereichen der ersten Art der den hervorzuhebenden Objekten (2, 3, 4, 5) jeweils zugeordnete Umgebungsbereich (2a, 3a, 4a) in seiner Lage zu dem zugeordneten Objekt zeitlich so veränderlich gewählt wird, dass sich die Positionen der Bildbereiche in der Darstellung der Bilddaten (1) auf der Anzeige nur träge verändern.
• Die Bildbereiche der ersten Art sind durch das darin befindliche Objekt (2, 3, 4, 5) und den direkt daran anschließenden Umgebungsbereich (2a, 3a, 4a) definiert. Wenn nun in den Fällen, bei welchen die Objekterkennung in den von der Kamera erfassten Bilddaten im Rahmen einer Objektverfolgung ein hervorzuhebendes Objekt zeitweilig nicht mehr erkennt, würde dies zwangsläufig zur Aufgabe der hervorgehobenen Darstellung des entsprechenden Bildbereichs der ersten Art führen. Dies ist aber im Allgemeinen nicht wünschenswert, da insbesondere bei schlechten Lichtverhältnissen immer mit einer zeitweiligen Nicht-Erkennung eines an sich vorhandenen Objektes gerechnet werden muss. Ein hieraus resultierendes Aktivieren und Deaktivieren der Hervorhebung eines entsprechenden Bildbereichs der ersten Art würde aber äußerst störend auf den Betrachter wirken.
• Deshalb ist es in einer besonders vorteilhaften Weiterbildung der Erfindung vorgesehen, dass dann wenn ein Bildbereich der ersten Art hervorgehoben in den Bilddaten (1) dargestellt wird, ein darin potentiell abgebildetes Objekt (2, 3, 4, 5) durch die Objekterkennung aber nicht mehr erkannt werden kann, trotzdem eine hervorgehobenen Darstellung dieses Bildbereichs während einer gewissen Zeitdauer fortgeführt wird. Ist es der Objekterkennung zwischenzeitlich dann wieder möglich das Objekt wieder zu erkennen, resultiert dies in einer im Wesentlichen störungsfreien Fortsetzung der Hervorhebung. Der Betrachter wird einzig wahrnehmen, dass kurzzeitig in dem hervorgehobenen Bildbereich kein Objekt zu erkennen sein wird; dies ist aber weiter nicht störend, da das Objekt evtl. immer noch schemenhaft wahrnehmbar ist.
• Dann wenn über einen definierten(längeren) Zeitraum ein ehemals erkanntes Objekt in den Bilddaten nicht wieder erkannt werden kann, bietet es sich an die Hervorhebung des zugeordneten Bildbereichs erster Art abzubrechen und diesen Bildbereich anschließend wie einen Bildbereich zweiter Art zu behandeln. Dabei wird vorzugsweise der Hervorhebung nicht abrupt unterbrochen sondern zeitlich variiert, so dass dieses als eine Art langsames Ausblenden des Bildbereichs wahrgenommen wird.
• Besonders gewinnbringend wird die erfindungsgemäße Bildanzeige mit Mitteln zur Erzeugung akustischer oder haptischer Signale in Verbindung gebracht. Hierdurch wird es möglich neben einer optischen Hervorhebung von Bildbereichen auf relevante Objekte im Umfeld des Fahrzeuges hinzuweisen.
• In vorteilhafter Weise eignet sich die Erfindung zur bei einem Fahrerassistenzsystem zur Verbesserung der Sicht eines Fahrzeugführers bei Nacht (Nachtsichtsystem), wozu zur Bildaufnahme bevorzugt eine im infraroten Wellenlängenbereich empfindliche Kamera verwendet wird. Anderseits ist sehr wohl auch ein gewinnbringender Einsatz im Rahmen eines Fahrerassistenzsystems zur Verbesserung zur verbesserten Wahrnehmung relevanter Information in Innenstadtszenarios (Innenstadtassistent) denkbar, wobei hier insbesondere Ampelanlagen und/oder Verkehrszeichen als relevante Objekte hervorgehoben werden.
• Beim Einsatz im Rahmen eines Fahrerassistenzsystems bietet es sich einerseits an die Bildanzeige als Headup-Display auszuführen, andererseits ist jedoch auch eine Einbringung des Display in den direkt vor den Fahrzeugführer befindlichen Armaturenbereich vorteilhaft, da der Fahrer zum Blick auf das Display nur kurz den Blick senken muss.

Claims (22)

1. Verfahren zur Bildanzeige, bei welchem mittels einer Kamera Bilddaten aus dem Umfeld eines Fahrzeuges aufgenommen werden, bei welchem mittels einer Objekterkennung Objekte (2, 3, 4, 5) in den aufgenommenen Bilddaten erkannt werden, und bei welchem die Bilddaten (1) zumindest teilweise auf einer Anzeige dargestellt werden, wobei in den Bilddaten (1) die erkannten Objekte (2, 3, 4, 5) zumindest teilweise hervorgehoben werden, dadurch gekennzeichnet, dass die Hervorhebung der erkannten Objekte (2, 3, 4, 5) dergestalt erfolgt, dass die dargestellten Bilddaten (1) in zwei Arten von Bereichen eingeteilt werden, wobei die erste Art von Bereichen die erkannten und hervorzuhebenden Objekte (2, 3, 4, 5) und einen sich jeweils entsprechend direkt daran anschließenden Umgebungsbereich (2a, 3a, 4a) umfassen, und wobei die zweite Art von Bereichen diejenigen Bilddaten (1) umfasst, welche nicht der ersten Art von Bereichen zugeordnet wurden, und dass die Bilddaten der beiden Arten von Bereichen in unterschiedlicher Weise manipuliert werden.
2. Verfahren nach Patenanspruch 1, dadurch gekennzeichnet, dass im Rahmen der Manipulation der Bilddaten die Bildbereiche der ersten Art aufgehellt werden.
3. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass im Rahmen der Manipulation der Bilddaten die Bildbereiche der zweiten Art abgedunkelt werden oder zumindest teilweise vereinfacht oder durch schematische bzw. symbolische Darstellungen ersetzt werden.
4. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass die Bilddaten der zweiten Art von Bereichen, welche erkannten Objekten (2, 3, 4, 5) zuzuordnen sind, einer dritten Art von Bereichen zugeordnet werden, und dass die Bilddaten dieser dritten Art von Bereichen unterschiedlich zu den Bilddaten der zweiten Art von Bereichen manipuliert werden.
5. Verfahren nach Patenanspruch 4, dadurch gekennzeichnet, dass die Bilddaten der Bildbereiche der dritten Art keiner Manipulation unterzogen werden.
6. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass im Rahmen der Manipulation der Bilddaten die Bilddaten der Bereiche erster Art durch die entsprechenden Bilddaten eines anderen Sensors oder eines anderen Sensorstroms ersetzt werden.
7. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass in den Bildbereichen der ersten Art den Objekten (2, 3, 4, 5) jeweils zugeordnete Umgebungsbereich (2a, 3a, 4a) in seinen Umriss elliptisch oder kreisförmig oder der Objektform angepasst gewählt wird.
8. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass die Bilddaten der Bildbereichen der ersten Art in ihrer Farbe manipuliert werden, und/oder dass sie in ihren Farb- oder Helligkeitsverläufen mit weichem Übergang, ohne harte Grenzen zu den Bildbereichen der zweiten Art angezeigt werden.
9. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass die Bilddaten der Bildbereiche der ersten Art blinkend oder pulsierend dargestellt werden.
10. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass die Manipulation der Bilddaten in den Bildbereichen der ersten Art so erfolgt, dass die Hervorhebung dieser Bereiche in den dargestellten Bilddaten (1) in ihrer Wahrnehmbarkeit zeitlich variiert.
11. Verfahren nach Patenanspruch 10, dadurch gekennzeichnet, dass die zeitliche Variation so erfolgt, dass die Wahrnehmbarkeit der Hervorhebungen mit der fortschreitenden Dauer der Erkennung des in dem Bildbereich enthalten Objektes (2, 3, 4, 5) zunimmt.
12. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass die Hervorhebung der Bildbereiche der ersten Art abhängig von Parametern des im Bildbereich enthaltenen Objekts (2, 3, 4, 5) gewählt bzw. variiert wird, wobei die Parameter die Entfernung des Objekts (2, 3, 4, 5) oder das von ihm ausgehende Gefahrenpotential oder dessen Objekttyp beschreiben.
13. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass der in den Bildbereiche der ersten Art den jeweiligen Objekten (2, 3, 4, 5) zuzuordnende Umgebungsbereich (2a, 3a, 4a) in seiner Lage zu dem zugeordneten Objekt zeitlich so veränderlich gewählt wird, dass sich die Positionen der Bildbereiche in der Darstellung der Bilddaten (1) auf der Anzeige nur träge verändern.
14. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass dann wenn ein Bildbereich der ersten Art hervorgehoben in den Bilddaten (1) dargestellt wird, ein darin potentiell abgebildetes Objekt (2, 3, 4, 5) durch die Objekterkennung nicht mehr erkannt werden kann, eine hervorgehobenen Darstellung dieses Bildbereichs während einer gewissen Zeitdauer fortgeführt wird.
15. Verfahren nach Patentanspruch 14, dadurch gekennzeichnet, dass dann, wenn nach Ablauf der Zeitdauer die Objekterkennung immer noch kein Objekt (2,3,4,5) in dem Bildbereich erkennen kann, die Hervorhebung des Bildbereichs abgebrochen wird, und der Bildbereich anschließend wie ein Bildbereich zweiter Art behandelt wird.
16. Verfahren nach Patentanspruch 15, dadurch gekennzeichnet, dass der Abbruch der Hervorhebung mit zeitlicher Variation erfolgt.
17. Bildanzeige, umfassend eine Kamera zur Aufnahme von Bilddaten aus dem Umfeld eines Fahrzeuges, umfassend eine Objekterkennung zur Erkennung von Objekten (2, 3, 4, 5) in den aufgenommenen Bilddaten, und umfassend eine Anzeige zur Darstellung zumindest von Teilen der aufgenommenen Bilddaten, wobei eine Bildverarbeitungseinrichtung vorgesehen ist, welche die Bilddaten so manipuliert, dass sie zumindest teilweise hervorgehoben auf der Anzeige dargestellt werden, dadurch gekennzeichnet, dass die Bildanzeige ein Mittel umfasst um die Bilddaten zumindest in zwei Arten von Bereichen einzuteilen, wobei wobei die erste Art von Bereichen die erkannten und hervorzuhebenden Objekte (2, 3, 4, 5) und den sich jeweils entsprechend daran anschließenden Umgebungsbereich (2a, 3a, 4a) umfasst, und wobei die zweite Art von Bereichen diejenigen Bilddaten (1) umfasst, welche nicht der ersten Art von Bereichen zugeordnet wurden.
18. Bildanzeige nach Patentanspruch 17, dadurch gekennzeichnet, dass die Kamera Bilddaten aus dem infra-roten Wellenlängenbereich erfasst.
19. Bildanzeige nach einem Patentansprüche 17 oder 18, dadurch gekennzeichnet, dass es sich bei der Bildanzeige um ein im Armaturenbereich des Fahrzeuges befindliches Display handelt.
20. Bildanzeige nach einem der Patentansprüche 17 bis 19, dadurch gekennzeichnet, dass die Bildanzeige mit Mitteln zur Erzeugung akustischer oder haptischer Signale in Verbindung steht, mittels der neben einer optischen Hervorhebung von Bildbereichen durch weitere Signalisierung auf das vorhanden sein relevanter Objekte im Umfeld des Fahrzeuges hingewiesen werden kann.
21. Verwendung der Bildanzeige oder des Verfahrens zur Bildanzeige nach einem der vorhergehenden Patentansprüche als Fahrerassistenzsystem zur Verbesserung der Sicht eines Fahrzeugführers bei Nacht (Nachtsichtsystem).
22. Verwendung der Bildanzeige oder des Verfahrens zur Bildanzeige nach einem der vorhergehenden Patentansprüche als Fahrerassistenzsystem zur Verbesserung zur verbesserten Wahrnehmung relevanter Information in Innenstadtszenarios (Innenstadtassistent).