DE10325762A1

DE10325762A1 - Bildverarbeitungssystem für ein Fahrzeug

Info

Publication number: DE10325762A1
Application number: DE10325762A
Authority: DE
Inventors: Stefan Dipl.-Inform. Hahn
Original assignee: DaimlerChrysler AG
Current assignee: Daimler AG
Priority date: 2003-06-05
Filing date: 2003-06-05
Publication date: 2004-12-23
Also published as: JP2004362586A; EP1486932A2; EP1486932A3; US20040246114A1

Abstract

Zur Unterstützung des Fahrers werden künftige Fahrzeuge mit umgebungserfassenden Systemen ausgestattet. Derartige Systeme dienen dazu, den Fahrer frühzeitig vor möglichen Kollisionen mit anderen Verkehrsteilnehmern, z. B. Fußgängern, zu warnen. Dabei erfolgt die Erfassung der Umgebungsinformation u. a. mittels Bildsensoren und deren Auswertung mittels einer Bildverarbeitungseinheit. Die Auswertung von Bilddaten ist dabei auf einfache geometrische und dynamische Modelle eingeschränkt, welche das Verhalten von Verkehrsteilnehmern beschreiben. Daher wird ein Bildverarbeitungssystem vorgeschlagen, welches die Aufmerksamkeit anderer Verkehrsteilnehmer berücksichtigt. Insbesondere wird dabei die Blickrichtung erkannter Verkehrsteilnehmer erfasst und auf Grund der erfassten Blickrichtung eine Wahrscheinlichkeit zur Abschätzung des Kollisionsrisikos mit anderen Verkehrsteilnehmern ermittelt. Falls das Kollisionsrisiko dabei einen bestimmten Schwellwert übersteigt, werden Maßnahmen zur Vermeidung einer Kollision eingeleitet.

Description

Die Erfindung betrifft ein Verfahren zum Betrieb eines Bildverarbeitungssystems für ein Fahrzeug sowie ein Bildverarbeitungssystem für ein Fahrzeug, insbesondere zur Kollisionsvermeidung mit anderen Verkehrsteilnehmern.
Zur Unterstützung des Fahrers werden künftige Fahrzeuge mit umgebungserfassenden Systemen ausgestattet. Derartige Systeme dienen dazu, den Fahrer vor Hindernissen und anderen Gefahrenquellen zu warnen, um damit die Anzahl der Verkehrsunfälle zu reduzieren. Durch die optoelektronische Erfassung der dem Fahrzeug vorausliegenden Umgebung kann der Fahrer beispielsweise frühzeitig vor möglichen Kollisionen mit anderen Verkehrsteilnehmern gewarnt werden. Die Erfassung der Umgebungsinformation erfolgt hierbei mittels bildgebender Sensoren. Wobei die erfassten Bilddaten anschließend mittels einem Bildverarbeitungssystem ausgewertet werden. Die Auswertung erfolgt dabei meist dahingehend, indem überprüft wird, ob eine zulässige Mindestdistanz zu einem Hindernis oder einem Verkehrsteilnehmer unterschritten wird.
US 6496117 B2 beschreibt ein System zur Überwachung der Aufmerksamkeit eines Fahrers. Hierzu umfasst das System eine Kamera, welche das Gesicht eines Fahrers abtastet. Das System umfasst weiterhin je eine Einheit zur Ermittlung der Blick richtung sowie der Gesichtsstellung des Fahrers. Dabei wird ermittelt ob die Blickrichtung sowie die Gesichtsstellung des Fahrers in die dem Fahrzeug vorausliegende Fahrtrichtung orientiert sind. Weiterhin ist das System mit einer Warneinrichtung ausgestattet, welche den Fahrer warnt, falls dessen Blickrichtung oder Gesichtsstellung nicht in die dem Fahrzeug vorausliegende Fahrtrichtung orientiert sind. Eine zusätzliche ist eine Kamera detektiert Objekte in der Umgebung des Fahrzeugs. Wobei detektierte Objekte ausgewertet werden, insbesondere um welche Art von Objekt es sich handelt und in welcher Entfernung sich dieses zum Fahrzeug befinden. Hierbei wird in Abhängigkeit von der Blickrichtung und Gesichtsstellung des Fahrers sowie bei gleichzeitigem Unterschreiten einer Mindestdistanz zu Objekten ein Warnsignal ausgelöst.
In der JP 2002260192 A ist ein Verfahren zur Verhinderung von Kollisionen mit anderen Verkehrsteilnehmern beim Einsatz in Fahrzeugen beschrieben. Wobei Informationen zur Vermeidung von Kollisionen zur Verfügung gestellt werden, welche das Verhalten anderer Verkehrsteilnehmer einbeziehen. Insbesondere wird das Risiko einer Kollision hierbei beurteilt, indem das Verhalten anderer Verkehrsteilnehmer in Bezug auf das eigene Fahrzeug abgeschätzt wird. Aufgrund dieser Abschätzung wird sodann bestimmt ob das Fahrzeug bei einer Kollisionsgefahr ggf. rechtzeitig abgebremst werden kann. Das Verfahren wird anhand eines Fußgängers beschrieben, welcher sich in der Nähe einer Straßenkreuzung mit insgesamt vier Zebrastreifen aufhält. Hierbei wird anhand geometrischer Informationen der Szene, der Position des Fußgängers sowie ggf. dessen Bewegungsrichtung abgeschätzt, welchen der 4 Zebrastreifen der Fußgänger überqueren wird. Zudem werden zur Abschätzung des künftigen Verhaltens des Fußgängers Wartezeiten an Ampelanlagen sowie dessen Bewegungsgeschwindigkeit berücksichtigt. Wobei bei dem Verfahren auf ein einheitliches Bewegungsmodell für Fußgänger zurückgegriffen wird, worin beispielsweise die für Fußgänger übliche Bewegungsgeschwindigkeit an Ampeln bekannt sind. Der Nachteil ist es hierbei jedoch, dass die Ab schätzung des Verhaltens anderer Verkehrsteilnehmer relativ ungenau erfolgt. Insbesondere werden bei der Abschätzung lediglich einfache geometrische Modelle und einfache Bewegungsmodelle anderer Verkehrsteilnehmer berücksichtigt.
Der Erfindung liegt daher die Aufgabe zu Grunde, ein Verfahren zum Betrieb eines Bildverarbeitungssystems für ein Fahrzeug gemäß dem Oberbegriff des Patentanspruchs 1 sowie ein Bildverarbeitungssystem für ein Fahrzeug gemäß dem Oberbegriff des Patentanspruchs 11 bereitzustellen, womit eine verlässliche Personenerfassung insbesondere im Hinblick auf eine mögliche Abschätzung eines Kollisionsrisikos ermöglicht werden soll.
Die Aufgabe wird gemäß der Erfindung durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und ein Bildverarbeitungssystem mit den Merkmalen des Anspruchs 11 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung werden in den Unteransprüchen aufgezeigt.
Gemäß der Erfindung wird ein Verfahren zum Betrieb eines Bildverarbeitungssystems für ein Fahrzeug vorgeschlagen. Das vorgeschlagene Bildverarbeitungssystem umfasst dabei wenigstens einen Bildsensor zur Erfassung von Umgebungsinformationen. Wobei die erfassten Umgebungsinformationen mittels einer Rechnereinheit dahingehend ausgewertet werden, um das Vorhandensein von Verkehrsteilnehmern zu erkennen. In einer erfinderischen Weise wird dabei die Blickrichtung eines oder mehrerer erkannter Verkehrsteilnehmer erfasst. Mit der Erfindung wird es in besonderem Maße möglich eine verlässliche Personenerfassung insbesondere im Hinblick auf eine mögliche Abschätzung eines Kollisionsrisikos durchzuführen, indem beispielsweise die Aufmerksamkeit der Verkehrsteilnehmer berücksichtigt wird. Wobei unter der Erkennung von Verkehrsteilnehmern nicht deren Identifikation sondern eine Überprüfung des Vorhandenseins in den Umgebungsdaten verstanden wird. Dabei sind Verfahren zur Erkennung und Verfolgung von Verkehrsteilnehmern, insbesondere von Fußgängern beispielweise aus D. M. Gavrila, „Sensor-based Pedestrian Protection", IEEE Intelligent Systems, vol. 16, nr. 6, pp. 77–81, 2001 und D. M. Gavrila and J. Giebel, "Shape-based Pedestrian Detection and Tracking, "Proc. of IEEE International Conference on Intelligent Vehicles, Paris, France, 2002 bereits bekannt. In U. Franke, D. M. Gavrila, A. Gern, S. Görzig, R. Janssen, F. Paetzold and C. Wöhler, "From Door to Door – Principles and Applications of Computer Vision for Driver Assistant Systems, "chapter 6 in Intelligent Vehicle Technologies, eds. L. Vlacic and F. Harashima and M. Parent, Butterworth Heinemann, Oxford, 2001 wird generell die bildbasierte Objekterkennung im Zusammenhang mit Fahrerassistenzsystemen beschrieben. Mit der Objekterkennung wird die Blickrichtung der Verkehrsteilnehmer gut erfasst, wodurch die Verlässlichkeit der Personenerkennung erhöht wird. Aufgrund der verlässlichen Personenerkennung kann dabei eine rechtzeitge Warnung von Fahrer und/oder von Verkehrsteilnehmern vor möglichen Kollisionen erfolgen, wodurch die Verkehrssicherheit erhöht wird.
In einer besonders vorteilhaften Weise wird die Erfassung der Blickrichtung eines oder mehrerer Verkehrsteilnehmer zur Abschätzung eines Kollisionsrisikos verwendet. Wobei die Blickrichtung eines Verkehrsteilnehmers anzeigt, ob dieser aufmerksam ist und z.B. ein herannahendes Fahrzeug durch diesen Verkehrsteilnehmer wahrgenommen wird. Dabei ist das Kollisionsrisiko höher, falls der Verkehrsteilnehmer in die dem Bildsensor entgegengesetzte Richtung blickt, als wenn dieser dagegen direkt in den Bildsensors blickt. Auch ist das Kollisionsrisiko höher falls ein anderer Verkehrsteilnehmer lediglich grob in die Richtung des Fahrers blickt als wenn dieser direkten Blickkontakt zum Fahrer hält.
In einer weiteren vorteilhaften Weise wird in Abhängigkeit der erfassten und ausgewerteten Blickrichtung erkannter Verkehrsteilnehmer ein Wahrscheinlichkeitsmaß zur Abschätzung des Kollisionsrisikos gebildet. Hierbei besteht die Möglichkeit, dass das Wahrscheinlichkeitsmaß direkt anhand des relativen Winkels zwischen der Blickrichtung des Verkehrsteilnehmers und dem Bildsensor oder der Bewegungsrichtung des Fahrzeugs oder der des Verkehrsteilnehmers festgelegt wird. Wobei dabei die Wahrscheinlichkeit für das Kollisionsrisiko beispielsweise proportional mit diesem Winkel zunimmt. Jedoch ist es im Zusammenhang mit dem Bildverarbeitungssystem auch denkbar, dass Bildausschnitte von Verkehrsteilnehmern in unterschiedlichen Posen hinterlegt sind. Die Bildausschnitte werden dabei derart hinterlegt, dass diese im Rahmen eines Trainingsprozesses für ein Klassifikationsverfahren als Beispielstichproben genutzt werden können. Wobei im Rahmen einer Klassifikation jede Klasse ein Wahrscheinlichkeitsmaß für die Aufmerksamkeit von Verkehrsteilnehmern und damit für das Kollisionsrisiko liefert. Zusätzlich zur Blickrichtung kann auch die Zeitdauer des Blickkontakts zur Abschätzung des Kollisionsrisikos herangezogen werden. Dabei kann beispielsweise festgestellt werden ob ein herannahendes Fahrzeug von einem Verkehrsteilnehmer tatsächlich bemerkt wird oder ob ein Blickkontakt ggf. nur zufällig zustande gekommen ist.
Auch können erfasste Umgebungsinformationen mit hinterlegten Modellinformationen verglichen werden und daraus ein Wahrscheinlichkeitsmaß zur Abschätzung des Kollisionsrisikos gebildet werden. Wobei die Modelldaten sowohl in statischen als auch in dynamischen Datenbasen hinterlegt sein können. Hierbei kann es sich um Modelldaten handeln welche sowohl die Szene als auch andere Verkehrsteilnehmer sowie deren Fahrzeuge und deren Bewegung beschreiben. Hierzu werden beispielsweise geometrische und dynamische Modelldaten verwendet, um das Verhalten von Fußgängern zu beschreiben. Beispielsweise beim Überqueren einer Straße mit Fußgängerampel und ohne Fußgängerampel oder mit einem Zebrastreifen. Auch ist es denkbar, dass in Abhängigkeit fest vorgegebener Regeln ein Wahrscheinlichkeitsmaß zur Abschätzung des Kollisionsrisikos gebildet wird. Beispielsweise können hierbei sogenannte if-then-else Klauseln oder Automatenmodelle eingesetzt werden. In einer weiteren vorteilhaften Weise wird aufgrund von Bewegungsinformationen des Fahrzeugs und/oder des oder der erkannten Verkehrsteilnehmer ein Wahrscheinlichkeitsmaß zur Abschätzung des Kollisionsrisikos gebildet. Beispielsweise handelt es sich bei der Bewegungsinformation hierbei um die Geschwindigkeit, Richtung sowie Trajektorie mit der sich ein Fahrzeug und/oder eine erkannter Verkehrsteilnehmer bewegt. In einer besonders vorteilhaften Weise wird dabei die Bewegung relativ zum eigenen Fahrzeug ermittelt, um sodann ein Wahrscheinlichkeitsmaß zur Abschätzung des Kollisionsrisikos zu bilden. Wobei der Abstand zum betrachteten Verkehrsteilnehmer beispielsweise anhand des Bildsensors ermittelt wird. Dies ist z.B. im Zusammenhang mit 3D-Bildsensoren direkt möglich oder bei der Verwendung von 2D-Bildsensoren mittels einer Stereoanordnung realisierbar. Unabhängig davon ist es jedoch auch denkbar, dass im Zusammenhang mit dem erfindungsgemäßen Bildverarbeitungssystem ein zusätzliches Mittel vorhanden ist, das geeignet ist, Entfernung zu anderen Verkehrsteilnehmern zu ermitteln. Beispielsweise eignen sich hierzu auch Radar- und Ultraschallsensoren sowie GPS-Informationen.
In einer weiteren vorteilhaften Weise werden die Teilwahrscheinlichkeiten, welche die Blickrichtung und/oder Modellinformationen und/oder fest vorgegebenen Regeln und/oder Bewegungsinformationen des Fahrzeugs und/oder des oder der erkannten Verkehrsteilnehmer berücksichtigen, zu einem Gesamtwahrscheinlichkeitsmaß für die Abschätzung des Kollisionsrisikos kombiniert. Wobei es beim Vorhandensein mehrerer Teilwahrscheinlichkeiten auch denkbar ist, dass nur ein Teil dieser Teilwahrscheinlichkeiten zur Kombination des Gesamtwahrscheinlichkeitsmaßes herangezogen werden. Falls jedoch nur eine der o.g. Teilwahrscheinlichkeiten vorhanden ist, bildet dieses das Wahrscheinlichkeitsmaß für die Abschätzung des Kollisionsrisikos.
Eine bevorzugte Ausgestaltungsform der Erfindung sieht es vor, dass in Abhängigkeit des Wahrscheinlichkeitsmaßes oder des Gesamtwahrscheinlichkeitsmaßes mittels einer Steuereinheit wenigstens eine Aktion zur Minderung des Kollisionsrisikos initiiert wird. Wobei beispielsweise die wenigstens eine das Kollisionsrisiko mindernde Aktion initiiert wird, sobald eines der Wahrscheinlichkeitsmaße einen bestimmten Schwellwert überschritten hat. Beispiele solcher Aktionen sind z.B.: Akustische Warnsignale, die sowohl den Fahrer (Summer) als auch andere Verkehrsteilnehmer (Hupe) warnen können, optische Signale, Abbremsen oder Beschleunigen des Fahrzeugs, Lenkbewegungen oder andere mittels Fahrzeugsystemen durchführbare Aktionen. Welche dieser Aktionen durchgeführt werden, kann dabei auch von der Höhe der Wahrscheinlichkeit abhängen. Beispielsweise wird bei einer niedrigen Wahrscheinlichkeit zunächst nur die Hupe aktiviert. Falls die Wahrscheinlichkeit weiter ansteigt kann z.B. zusätzlich die Bremse des Fahrzeugs aktiviert werden. Wobei es denkbar ist, die Bremskraft in Abhängigkeit der Wahrscheinlichkeit zu verändern.
Auch ist es von Vorteil, dass abhängig von der Blickrichtungserfassung mittels einer Steuereinheit wenigstens eine Aktion zur Minderung des Kollisionsrisikos initiiert wird, wobei kein Wahrscheinlichkeitsmaß zur Abschätzung des Kollisionsrisikos gebildet wird. Im einfachsten Fall wird dabei als Resultat der Blickrichtungserfassung angegeben, ob zwischen dem Fahrer und einem anderen Verkehrsteilnehmer ein Blickkontakt besteht oder nicht. Beispielsweise braucht dazu der relative Winkel zwischen der Blickrichtung des Verkehrsteilnehmers und der Bewegungsrichtung des Bildsensors, Fahrzeugs oder Verkehrsteilnehmers nicht notwendigerweise explizit berechnet werden. z.B. kann hierbei u.U. bereits von einem Blickkontakt zwischen dem Fahrer und einem anderen Verkehrsteilnehmer ausgegangen werden, falls beide Augen des Verkehrsteilnehmers in den Bilddaten deutlich zu erkennen sind. Selbstverständlich sind in diesem Zusammenhang weitere Auswertemethoden denkbar, wobei nicht zwingend ein Wahrscheinlichkeitsmaß berechnet werden muss und wobei das Ergebnis der jeweiligen Auswertung direkt auf den Ausgang der Steuereinheit abgebildet werden kann.
In vorteilhafter Weise handelt es sich bei den erfassten Umgebungsinformationen um 2D- und/oder 3D-Bildinformationen. Hierzu eigenen sich passive bildgebende Sensoren wie z.B. Standard-Videokameras, ebenso ist ein Einsatz von aktiven Bildsensoren wie Entfernungsbildkameras denkbar. Dabei ist auch eine Kombination unterschiedlicher optischer Sensoren möglich, wobei die Empfindlichkeit der Bildsensoren sowohl im sichtbaren als auch im nichtsichtbaren Wellenlängenbereich liegen kann.
Die Erfindung ist nicht nur auf die Verwendung in Kraftfahrzeugen beschränkt. Vielmehr ist auch eine Verwendung des erfindungsgemäßen Bildverarbeitungssystems und des Verfahrens zu dessen Betrieb auf einem anderen Anwendungsfeld im Zusammenhang mit Arbeitsmaschinen von besonders vorteilhafter Wirkung. Im Bereich von Produktionsstätten werden z.B. häufig Arbeitsmaschinen eingesetzt deren Arbeitsbereich aus Sicherheitsgründen gegenüber Personen abgegrenzt ist. Dazu gehören u.a. Dreh- u. Fräsmaschinen, Sägen, Schleifmaschinen usw., wobei mittels dem erfindungsgemäßen Bildverarbeitungssystem deren Arbeitsbereiche überwacht werden, um beispielsweise die Arbeitsmaschine in einer Gefahrensituation abzuschalten und damit die Verkehrssicherheit und damit die Betriebssicherheit zu erhöhen. Auch kann es sich bei der Arbeitsmaschine um einen Roboter handeln, wobei im Zusammenhang mit Robotern die Auswertung der Blickrichtung von Personen beispielsweise zur Verbesserung des Zusammenwirkens zwischen Mensch und Roboter dient. Dabei kann es sich um einen stationären oder mobilen Roboter handeln, welcher autonom betreibbar ist.
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung von bevorzugten Ausführungsbeispielen anhand der Figuren. Dabei zeigen:
1 den schematischen Aufbau des Bildverarbeitungssystems
2a eine Verkehrsszene und einen Verkehrsteilnehmer, welcher ein sich annäherndes Fahrzeug wahrnimmt
2b einen Bildausschnitt eines erkannten Verkehrsteilnehmers mit direktem Blickkontakt zum Fahrer
3a eine Verkehrsszene und einen Verkehrsteilnehmer, welcher ein sich annäherndes Fahrzeug nicht wahrnimmt
3b einen Bildausschnitt eines erkannten Verkehrsteilnehmers der keinen Blickkontakt zum Fahrer hält Die 1 zeigt beispielhaft den schematischen Aufbau des erfindungsgemäßen Bildverarbeitungssystems (1). Wobei mittels dem Bildverarbeitungssystem (1) Verkehrsteilnehmer in der Umgebung eines Fahrzeugs erfasst und falls diese sich bewegen ggf. auch verfolgt werden können. Wobei es sich bei den Verkehrsteilnehmern insbesondere um Personen oder um deren Fahrzeuge handeln kann. Die zu erkennenden Verkehrsteilnehmer können dabei dem Bildverarbeitungssystem (1) bekannt sein, wobei diese nach Klassen kategorisiert und beispielsweise in der Form von hinterlegtem Wissen als Lernbeispiele im Speicher (6) abgelegt sein können. Bei den Klassen kann es sich beispielsweise um Fußgänger, Fahrradfahrer, Leitpfosten, Spurmarkierungen, Pkws, Lkws, Zweiräder, Skate-Board-Fahrer etc. handeln.
Das Bildverarbeitungssystem (1) umfasst dabei eine Objekterkennungseinheit (2), welche einen oder mehrere Bildsensoren (3), eine Recheneinheit (4) sowie eine Algorithmik (5) zur Auswertung von Bildinformationen umfasst. Bei den Bildsensoren (3) handelt es sich z.B. um passive Sensoren wie beispielsweise Standard-Videokameras oder um aktive Sensoren wie z.B. Entfernungsbildkameras. Beispielsweise können mittels einer videobasierten Objekterkennungseinheit (2) Fußgänger anhand ihrer äußeren Form erkannt und ihre 3D-Position anhand von kalibrierten Kameraparametern unter der Annahme geschätzt werden, dass diese sich gemeinsam mit dem Fahrzeug auf einer waagerechten Ebene befinden. Jedoch ist es auch denkbar, dass die Klassen der zu erkennenden Verkehrsteilnehmer dem Bildverarbeitungssystem nicht bekannt sind. In diesem Fall werden diese in der Regel aufgrund einer maschinellen Beschreibung anhand ihrer räumliche Ausdehnung formuliert. Dabei können die maschinellen Beschreibungen selbstverständlich auch die Trajektorien von Verkehrsteilnehmern berücksichtigen. Weiterhin ist es auch denkbar, dass Informationen zu Verkehrsteilnehmern in statischen oder dynamischen Datenbasen hinterlegt sind, z.B. im Speicher (6) der Objekterkennungseinheit (2). Auch ist es denkbar, dass Informationen zu Verkehrsteilnehmern in einem in Verbindung mit dem Bildverarbeitungssystem stehenden externen Speicher hinterlegt sind. Beispielsweise kann der Verlauf der Fahrbahn aus ausreichend detaillierten elektronischen Navigationsdatenbanken entnommen werden. Die im Zusammenhang mit der Objekterkennungseinheit (2) erkannten Objekte können dabei beispielsweise wie die in den 2b und 3b gezeigten Bildausschnitte aussehen. Aus der Literatur sind Verfahren zur Erkennung von Personen und deren Blickrichtung aus Bildern bereits bekannt. Beispielsweise durch direktes Durchsuchen der Bilddaten nach Gesichtern oder indem zunächst die Außenkonturen von Personen in Bilddaten bestimmt werden und sodann aus diesen die Kopfregionen bestimmt werden. Anschließend können auf die Kopfregionen bekannte Techniken zur Bestimmung der Blickrichtung angewendet werden.
Weiterhin umfasst das Bildverarbeitungssystem (1) eine Einheit zur Abschätzung des Kollisionsrisikos (7) z.B. basierend auf der Blickrichtung und/oder der Bewegung von Verkehrsteilnehmern. Bei der Abschätzung des Kollisionsrisikos wird dabei mittels fester Regeln wie z.B. if-then-else Klauseln eine implizite Abbildung zwischen der Ausgabe des Objekterkennungssystems (2) und der Steuereinheit (7) durchgeführt. Diese Abbildung kann beispielsweise mittels der Rechnereinheit (4) oder einer anderen Recheneinheit, welche in Verbindung mit dem Bildverarbeitungssystem (1) steht, durchgeführt werden. Eine solche implizite Abbildung kann z.B. durch die Anwendung von Algorithmen (5) zum maschinellen Lernen erzeugt werden. Beispielsweise durch das trainieren neuronaler Netze mittels der Vorgabe von Beispielstichproben für einen Trainingsprozess. Im Sinne der vorliegenden Erfindung kann ein solcher Trainingssatz, der als hinterlegtes Wissen Teil des Bildverarbeitungssystems ist, die Blick- oder Kopfrichtung eines Verkehrsteilnehmers im Bild enthalten, wie dies anhand der Bildausschnitte 2b und 3b dargestellt ist. Wobei von der Tatsache gebrauch gemacht werden kann, dass die Ausrichtung des Kopfs bereits eine gute Näherung für die Blickrichtung von Personen ist. Die Risikoabschätzung ist hierbei selbstverständlich nicht auf die Verwendung neuronaler Netze beschränkt, dem Fachmann auf dem Gebiet der Mustererkennung sind hierzu weitere geeignete Methoden bekannt. Beispielsweise ist alternativ auch eine explizite Abbildung zwischen der Ausgabe des Objekterkennungssystems (2) und der Steuereinheit (7) mittels Automatenmodellen denkbar.
Die Steuereinheit (8) dient dazu um Aktionen zu initiieren, welche das Kollisionsrisiko mindern. Falls eines der mittels der Einheit zur Abschätzung des Kollisionsrisikos (7) gebildeten Wahrscheinlichkeitsmaße einen bestimmten Schwellwert überschreitet, wird mittels der Steuereinheit (8) eine oder mehrere Aktionen zur Minderung des Kollisionsrisikos durchgeführt. Dabei kann es sich beispielsweise um ein Hupsignal handeln, welches andere Verkehrsteilnehmer warnt. Ein akustisches Signal im Fahrzeug innern ist dazu geeignet den Fahrer zu warnen, falls dieser beispielsweise bei einer Kollisionsgefahr in eine andere Richtung als die dem Fahrzeug vorausliegende Richtung blickt.
Weitere Beispiele zur Minderung des Kollisionsrisikos sind z.B.: Bremsen, Beschleunigen und Lenkbewegungen. Für den Fall, dass es sich bei dem Fahrzeug um ein automatisch gesteuertes Fahrzeug handelt, kann mittels der Steuereinheit (8) fortlaufend das Wahrscheinlichkeitsmaß bei der Steuerung der Trajektorie des Fahrzeugs berücksichtigt werden und dadurch die Wahrscheinlichkeit einer Kollision minimiert werden.
2a zeigt eine Verkehrsszene worin ein Fußgänger eine Straße überquert. Aufgrund seiner Blickrichtung wird hierbei deutlich, dass der Fußgänger aufmerksam ist und das herannahende Fahrzeug bemerkt. 3a zeigt dagegen eine Szene bei der ein Fußgänger eine Straße überquert, wobei aufgrund der Blickrichtung davon ausgegangen werden muss, dass dieser das herannahende Fahrzeug nicht bemerkt hat. In den 2a und 3a sind dabei die Verkehrsteilnehmer deutlich erkennbar und ausreichend groß dargestellt, um daraus die Blickrichtung zu erkennen. Für die Anwendung im Zusammenhang mit Straßenfahrzeugen reichen hierbei in der Regel handelsübliche niedrigauflösende Kameras mit 320 × 240 Bildpunkten aus. Durch Verwendung einer aus S. Baker and T. Kanade, „Limits on Super-Resolution and How to Break Them", IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 24, no. 9, 2000 bekannten Algorithmik wird eine Vergrößerung des Erkennungsabstandes erreicht.
Die 2b und 3b zeigen jeweils einen vergrößerten Bildausschnitt der in den 2a und 2b dargestellten Verkehrsszenen, worin insbesondere jeweils der Kopf der erkannten Verkehrsteilnehmer abgebildet ist. In der 2b hält der Verkehrsteilnehmer dabei direkten Blickkontakt zum Fahrer wohingegen der in 3b dargestellte Verkehrsteilnehmer keinen Blickkontakt zum Fahrer hält.

Claims

Verfahren zum Betrieb eines Bildverarbeitungssystems für ein Fahrzeug, wobei mittels wenigstens einem Bildsensor Umgebungsinformationen erfasst werden, und wobei die erfassten Umgebungsinformationen mittels einer Rechnereinheit dahingehend ausgewertet werden, um das Vorhandensein von Verkehrsteilnehmern zu erkennen, dadurch gekennzeichnet, dass die Blickrichtung eines oder mehrerer erkannter Verkehrsteilnehmer erfasst wird.
Verfahren zum Betrieb eines Bildverarbeitungssystems nach Anspruch 1, dadurch gekennzeichnet, dass die Erfassung der Blickrichtung eines oder mehrerer erkannter Verkehrsteilnehmer zur Abschätzung eines Kollisionsrisikos verwendet wird.
Verfahren zum Betrieb eines Bildverarbeitungssystems nach Anspruch 2, dadurch gekennzeichnet, dass in Abhängigkeit der erfassten Blickrichtung erkannter Verkehrsteilnehmer ein Wahrscheinlichkeitsmaß zur Abschätzung des Kollisionsrisikos gebildet wird.
Verfahren zum Betrieb eines Bildverarbeitungssystems nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass erfasste Umgebungsinformationen mit hinterlegten Modellinformationen verglichen werden und daraus ein Wahrscheinlichkeitsmaß zur Abschätzung des Kollisionsrisikos gebildet wird.
Verfahren zum Betrieb eines Bildverarbeitungssystems nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit fest vorgegebener Regeln ein Wahrscheinlichkeitsmaß zur Abschätzung des Kollisionsrisikos gebildet wird.
Verfahren zum Betrieb eines Bildverarbeitungssystems nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass aufgrund von Bewegungsinformationen des Fahrzeugs und/oder des oder der erkannten Verkehrsteilnehmer ein Wahrscheinlichkeitsmaß zur Abschätzung des Kollisionsrisikos gebildet wird.
Verfahren zum Betrieb eines Bildverarbeitungssystems nach den Ansprüchen 2 bis 6, dadurch gekennzeichnet, dass Teilwahrscheinlichkeiten, welche die Blickrichtung und/oder Modellinformationen und/oder fest vorgegebene Regeln und/oder Bewegungsinformationen des Fahrzeugs und/oder des oder der erkannten Verkehrsteilnehmer berücksichtigen, zu einem Gesamtwahrscheinlichkeitsmaß für die Abschätzung des Kollisionsrisikos kombiniert werden.
Verfahren zum Betrieb eines Bildverarbeitungssystems nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit des Wahrscheinlichkeitsmaßes oder des Gesamtwahrscheinlichkeitsmaßes mittels einer Steuereinheit wenigstens eine Aktion zur Minderung des Kollisionsrisikos initiiert wird.
Verfahren zum Betrieb eines Bildverarbeitungssystems nach einem der vorstehenden Ansprüche 1 oder 2, dadurch gekennzeichnet, dass abhängig von der Blickrichtungserfassung mittels einer Steuereinheit wenigstens eine Aktion zur Minderung des Kollisionsrisikos initiiert wird, wobei kein Wahrscheinlichkeitsmaß zur Abschätzung des Kollisionsrisikos gebildet wird.
Verfahren zum Betrieb eines Bildverarbeitungssystems nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass es sich bei den erfassten Umgebungsinformationen um 2D- und/oder 3D-Bildinformationen handelt.
Bildverarbeitungssystem für ein Fahrzeug, mit wenigstens einem Bildsensor zur Erfassung von Umgebungsinformationen, mit einer Rechnereinheit zur Durchführung einer Personenerkennung aus den erfassten Umgebungsdaten, dadurch gekennzeichnet, dass die Rechnereinheit derart ausgestaltet ist, dass sie zur Erfassung der Blickrichtung erkannter Verkehrsteilnehmer aus den erfassten Umgebungsdaten geeignet ist.
Bildverarbeitungssystem nach Anspruch 11, dadurch gekennzeichnet, dass eine Einheit zur Abschätzung des Kollisionsrisikos vorhanden ist, welche aufgrund der erfassten Blickrichtung und/oder hinterlegten Modellinformationen und/oder fest vorgegebenen Regeln und/oder Bewegungsinformationen des Kraftfahrzeugs und/oder des oder der erkannten Verkehrsteilnehmer ein Wahrscheinlichkeitsmaß zur Abschätzung des Kollisionsrisikos gebildet wird.
Bildverarbeitungssystem nach einem der vorstehenden Ansprüche 11 oder 12, dadurch gekennzeichnet, dass eine Steuereinheit vorhanden ist, welche geeignet ist, abhängig von dem Kollisionsrisiko wenigstens eine Kollisionsrisikomindernde Aktion initiiert wird.
Bildverarbeitungssystem nach einem der vorstehenden Ansprüche 11 bis 13, dadurch gekennzeichnet, dass zur Erfassung von Bildinformationen 2D- und/oder 3D-Bildsensoren vorhanden sind.
Bildverarbeitungssystem nach einem der vorstehenden Ansprüche 11 bis 14, dadurch gekennzeichnet, dass ein zusätzliches Mittel vorhanden ist, das geeignet ist, die Entfernung zu anderen Verkehrsteilnehmern zu ermitteln.
Verwendung des Bildverarbeitungssystems nach einem der vorstehenden Ansprüche 11 bis 15 oder des Verfahrens Verfahren zum Betrieb eines Bildverarbeitungssystems nach einem der vorstehenden Ansprüche 1 bis 10 in einer Arbeitsmaschine.