-
Die vorliegende Erfindung betrifft ein Verfahren zum Erkennen eines Blickbereichs einer Person, insbesondere eines Insassen in einem Fahrzeug, sowie eine Recheneinheit, ein System und ein Computerprogramm zu dessen Durchführung.
-
Stand der Technik
-
Um Blickrichtungen bzw. Blickbereiche von Personen zu erkennen, können beispielsweise das Gesicht oder die Augen der Person mittels einer Kamera erfasst und in dem aufgenommenen Abbild die Pupillen der Person erkannt werden.
-
Das Erkennen von Blickbereichen findet beispielsweise im Kraftfahrzeugbereich Verwendung, etwa für vom Fahrer getragene Anzeigegeräte, sog. „head mounted displays“ (HMD), wie es beispielsweise in der
US 2016/0173865 A1 beschrieben wird.
-
Offenbarung der Erfindung
-
Erfindungsgemäß werden ein Verfahren zum Erkennen eines Blickbereichs einer Person, insbesondere eines Insassen in einem (Kraft-) Fahrzeug, sowie eine Recheneinheit, ein System und ein Computerprogramm zu dessen Durchführung mit den Merkmalen der unabhängigen Patentansprüche vorgeschlagen.
-
Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung.
-
Im Rahmen des vorliegenden Verfahrens wird ein erstes Abbild von zumindest einem Teil der Person erfasst und analysiert, insbesondere zumindest von einem Teil des Kopfes der Person. Daraus wird ein Blickbereich der Person bestimmt. Beispielsweise werden zu diesem Zweck die Augen oder das Gesicht oder zumindest ein Teil des Gesichts der Person mittels eines ersten Sensors erfasst, insbesondere mittels einer ersten Kamera. In dem somit erzeugten ersten Abbild kann beispielsweise mittels Maschinenlernverfahren von dem erfassten Teil der Person auf deren Blickbereich rückgeschlossen werden. Beispielsweise können zu diesem Zweck in dem ersten Abbild eines oder beide Augen der Person bzw. die Pupille eines oder beider Augen erkannt werden und aus der Position des Auges bzw. der Pupille kann auf den Blickbereich rückgeschlossen werden.
-
Ferner wird ein zweites Abbild von einer Umgebung der Person erfasst und es wird eine Salienzanalyse des zweiten Abbilds bzw. der Umgebung durchgeführt. Zu diesem Zweck wird die Umgebung der Person mittels eines zweiten Sensors erfasst, insbesondere mittels einer zweiten Kamera. Die Ergebnisse der Salienzanalyse werden mit dem bestimmten Blickbereich verglichen und basierend auf dem Vergleichsergebnis wird der bestimmte Blickbereich verifiziert oder korrigiert. Die Umgebung der Person kann sich innerhalb und/oder außerhalb des Fahrzeugs erstrecken.
-
Als Blickbereich sei in diesem Zusammenhang insbesondere ein Bereich zu verstehen, auf welchen die Blickrichtung der Person hin deutet. Insbesondere sei unter dem Blickbereich nicht das gesamte Blickfeld zu verstehen, welches die Augen der Person aufnehmen können, sondern zweckmäßigerweise ein Bereich von Interesse (region of interest, ROI) im gesamten möglichen Blickfeld. Zweckmäßigerweise charakterisiert der Blickbereich den Bereich, auf welchen sich die Aufmerksamkeit der Person richtet.
-
Als Salienz sei in diesem Zusammenhang insbesondere das Hervortreten oder das Herausstechen oder die Auffälligkeit eines Objekts im Vergleich zu seiner Umgebung bzw. Nachbarschaft zu verstehen. Der Begriff der Salienz beschreibt in der Psychologie bzw. Neurowissenschaft, dass ein Reiz, z.B. ein Objekt oder eine Person, aus seinem Kontext hervorgehoben und dadurch dem Bewusstsein leichter zugänglich ist als ein nicht-salienter Reiz. Die Salienz eines Reizes bestimmt dabei, worauf sich die menschliche Aufmerksamkeit richtet. Oftmals beschränkt sich die menschliche Aufmerksamkeit dabei auf saliente Reize, da es dem menschlichen Gehirn kaum möglich ist, sämtliche Reize im visuellen Sichtfeld gleichzeitig zu analysieren.
-
Beispielsweise kann im Zuge der Salienzanalyse überprüft werden, ob sich in dem zweiten Abbild und somit in der Umgebung der Person saliente Reize bzw. saliente Objekte befinden, auf welche sich die Aufmerksamkeit der Person richten könnte. Diese Ergebnisse werden mit dem bestimmten Blickbereich insbesondere dahingehend verglichen, ob der Blickbereich der Person auf derartig erkannte saliente Reize oder saliente Objekte gerichtet ist bzw. mit diesen zusammenfällt. Wenn dies der Fall ist, wird der bestimmte Blickbereich insbesondere verifiziert. Wenn dies nicht der Fall ist und der bestimmte Blickbereich beispielsweise auf nicht-saliente Objekte gerichtet ist bzw. an salienten Objekten vorbei zeigt, deutet dies insbesondere darauf hin, dass der Blickbereich nicht korrekt bestimmt wurde. In diesem Fall wird der Blickbereich zweckmäßigerweise korrigiert, insbesondere so, dass er dann auf ein salientes Objekt gerichtet ist bzw. damit zusammenfällt.
-
Die vorliegende Erfindung basiert auf der Maßnahme, zunächst den Blickbereich der Person durch Aufnahme der Person zu bestimmen und eine Salienzanalyse der Umgebung der Person durchzuführen, um zu überprüfen bzw. abzuschätzen, ob der Blickbereich der Person korrekt bestimmt wurde. Insbesondere wird somit im Rahmen der vorliegenden Erfindung der bestimmte Blickbereich mittels Salienzanalyse der Umgebung korreliert und insbesondere präzisiert.
-
Das vorliegende Verfahren stellt somit eine Möglichkeit bereit, um präzise und zuverlässig den Blickbereich bzw. die Blickrichtung erkennen zu können. Wenn auf herkömmliche Weise beispielsweise nur ein Abbild der Augen analysiert wird, etwa um Pupillen zu erkennen, hängt die Präzision der Resultate insbesondere von der Auflösung der verwendeten Kamera ab. Jedoch sind Kameras mit hoher Auflösung zumeist sehr kostenintensiv und es wird hohe Rechenkapazität zur Auswertung dieser hochauflösenden Bilder benötigt. Im Gegensatz dazu wird für das vorliegende Verfahren keine hochauflösende, kostenintensive Kamera benötigt und es kann Rechenkapazität eingespart werden, da keine hochaufgelösten Aufnahmen auszuwerten sind.
-
Das Verfahren bzw. das entsprechende System kann dabei für unterschiedliche Personen gleichermaßen präzise verwendet werden. Es bedarf insbesondere keiner Kalibrierung, im Zuge welcher die jeweilige Person beispielsweise ihre Blickrichtung auf vorgegebene Kalibrierungspunkte richten muss. Es werden somit insbesondere keine für die jeweilige Person spezifischen Kalibrierungsdaten benötigt.
-
Vorteilhafterweise wird im Zuge der Salienzanalyse in dem zweiten Abbild nach salienten Objekte gesucht. Insbesondere wird dabei untersucht, ob Objekte in dem zweiten Abbild auffällig hervortreten bzw. auffällig herausstechen und sich von ihrer Umgebung bzw. Nachbarschaft deutlich abgrenzen. Beispielsweise kann dabei ein sog. Salienzmodell erstellt werden. Insbesondere wird das zweite Abbild auf verschiedene Faktoren bzw. Kriterien hin untersucht, beispielsweise ob Objekte aufgrund ihrer Farbe, ihres Kontrasts, ihrer Orientierung oder auch aufgrund ihrer speziellen Art sich vom Hintergrund oder ihrer Umgebung abgrenzen.
-
Eine Salienzanalyse unterscheidet sich dabei beispielsweise von einer Objekterkennung darin, dass Objekte nicht nur erkannt werden können, sondern dass ferner bewertet wird, ob Objekten eine Bedeutung für die Aufmerksamkeit und somit den Blickbereich der Person zukommt. Insbesondere kann dabei auch ein spezielles Anwendungsgebiet des Verfahrens berücksichtigt werden. Findet das Verfahren insbesondere im (Kraft-) Fahrzeugbereich Anwendung, um den Blickbereich von Insassen eines (Kraft-) Fahrzeugs zu erkennen, kann das zweite Abbild im Zuge der Salienzanalyse insbesondere auf für den Straßenverkehr saliente Reize bzw. Objekte hin untersucht werden.
-
Zeigt das zweite Abbild beispielsweise ein Verkehrsschild vor einer Vielzahl von Bäumen, so würden im Zuge einer Objekterkennung beispielsweise jeder diese Bäume sowie das Verkehrsschild jeweils als Objekte erkannt werden. Im Gegensatz dazu wird im Zuge der Salienzanalyse insbesondere die Vielzahl der Bäume als nicht oder kaum saliente Objekte erkannt und das Verkehrsschild hingegen als salientes bzw. sehr salientes Objekt.
-
Zeigt das zweite Abbild beispielsweise eine Straße, an dessen Straßenrand eine Vielzahl von Autos geparkt ist, und an dessen Ende eine Ampel steht, würden im Zuge einer Objekterkennung sämtliche Autos und die Ampel jeweils als Objekte erkannt werden, wohingegen im Zuge einer Salienzanalyse die Vielzahl der geparkten Autos als kaum oder nicht saliente Objekte erkannt werden und die Ampel hingegen als salientes oder sehr salientes Objekt.
-
Gemäß einer bevorzugten Ausführungsform wird, wenn im Zuge der Salienzanalyse in dem zweiten Abbild wenigstens ein salientes Objekt erkannt wird, im Zuge des Vergleichs überprüft, ob der bestimmte Blickbereich zumindest teilweise mit dem erkannten salienten Objekt zusammenfällt, und der bestimmte Blickbereich wird verifiziert, wenn dies der Fall ist. Insbesondere ist in diesem Fall keine Korrektur nötig und der Blickbereich wurde durch die Analyse des ersten Abbilds korrekt bestimmt. Insbesondere kann überprüft werden, ob sich der Blickbereich und das saliente Objekt zumindest teilweise überschneiden bzw. ob zumindest ein Teil des salienten Objekts in dem Blickbereich liegt. Zweckmäßigerweise kann überprüft werden, ob die Blickrichtung der Person auf das saliente Objekt hin deutet.
-
Vorteilhafterweise wird, wenn im Zuge der Salienzanalyse in dem zweiten Abbild wenigstens ein salientes Objekt erkannt wird, im Zuge des Vergleichs überprüft, ob der bestimmte Blickbereich zumindest teilweise mit einem Rahmenbereich einer vorbestimmten Größe um das erkannte wenigstens eine saliente Objekt herum zusammenfällt. Insbesondere wir somit überprüft, ob die Blickrichtung der Person auf einen Punkt innerhalb dieses Rahmenbereichs gerichtet ist. Wenn dies der Fall ist, wird vorzugsweise der bestimmte Blickbereich derart korrigiert, dass er mit dem erkannten wenigstens einen salienten Objekt in diesem Rahmenbereich zusammenfällt. Wenn die bestimmte Blickrichtung also auf einen Punkt in dem Rahmenbereich um das saliente Objekt, aber nicht auf das saliente Objekt selbst gerichtet ist, deutet dies auf einen Fehler oder eine Ungenauigkeit in der Analyse des ersten Abbilds hin. Beispielsweise kann dieser Rahmenbereich ein runder oder rechteckiger Bereich sein, in dem das saliente Objekt liegt, wobei der größte oder kleinste Abstand zum Objekt beispielsweise 100 Pixel beträgt.
-
Gemäß einer bevorzugten Ausführung wird eine vorgegebene Maßnahme durchgeführt, wenn im Zuge der Salienzanalyse in dem zweiten Abbild wenigstens ein salientes Objekt erkannt wird und wenn im Zuge des Vergleichs erkannt und verifiziert wird, dass der bestimmte Blickbereich nicht mit dem wenigstens einen salienten Objekt zusammenfällt. In diesem Fall wird somit insbesondere festgestellt, dass sich ein salientes Objekt in der Umgebung der Person befindet, aber dass der Blick und somit die Aufmerksamkeit der Person nicht auf dieses Objekt gerichtet ist. Durch die vorgegebene Maßnahme kann zweckmäßigerweise die Aufmerksamkeit und somit der Blick der Person auf dieses Objekt gerichtet werden. Dies kann insbesondere dazu dienen, dass die Person keine wichtigen Objekte in ihrer Umgebung übersieht bzw. dass die Aufmerksamkeit der Person frühzeitig auf wichtige Objekte gerichtet wird.
-
Im (Kraft-) Fahrzeugbereich können auf diese Weise insbesondere Maßnahmen zur Fahrsicherheit oder Komfortmaßnahmen realisiert werden. Beispielsweise kann somit im Zuge des Vergleichs überprüft werden, ob sich der Blick des Fahrers eines Fahrzeugs auf ein salientes, wichtiges Objekt im Straßenverkehr richtet, z.B. auf einen Fußgänger oder ein anderes Verkehrshindernis. Wenn dies nicht der Fall ist, kann als vorgegebene Maßnahme beispielsweise ein (Warn-) Hinweis an den Fahrer ausgegeben werden, z.B. akustisch oder visuell, z.B. über Lautsprecher, ein Display, ein „head mounted displays“ (HMD) oder „head up display“ (HUD). So kann beispielsweise eine aktuelle Geschwindigkeitsbegrenzung angezeigt oder hervorgehoben werden, wenn der Blick des Fahrers nicht auf ein entsprechendes Verkehrsschild gerichtet ist. Beispielsweise kann als Maßnahme auch ein autonomer Bremsvorgang des Fahrzeugs durchgeführt werden, wenn erkannt wird, dass der Fahrer ein Verkehrshindernis nicht rechtzeitig erkannt hat.
-
Vorzugsweise wird der Blickbereich als ein Bereich von Interesse (engl. „region of interest“, ROI) bestimmt. Insbesondere sei unter einem derartigen Bereich von Interesse ROI in einem Abbild ein spezieller Bildausschnitt bzw. ein spezieller Bereich des Abbilds zu verstehen, der für eine Auswertung des Abbilds von Bedeutung ist. Insbesondere kann im Zuge des Vergleichs überprüft werden, ob sich in dem zweiten Abbild innerhalb dieses Bereichs von Interesse zumindest teilweise ein erkanntes salientes Objekt befindet.
-
Alternativ oder zusätzlich wird der Blickbereich vorzugsweise als ein dreidimensionaler Vektor bestimmt. Im Zuge des Vergleichs wird bevorzugt ein Schnittpunkt dieses dreidimensionalen Vektors mit dem zweiten Abbild bestimmt. Dieser Schnittpunkt wird insbesondere als der Punkt bestimmt, auf welchen die Blickrichtung gerichtet ist. Ferner wird insbesondere überprüft, ob dieser Schnittpunkt sich in einem salienten Objekt oder in dem Rahmenbereich um das saliente Objekt herum befindet.
-
Gemäß einer vorteilhaften Ausführungsform kann nicht nur in einem zweiten Abbild nach salienten Objekten gesucht werden, sondern es kann in einer Vielzahl von aufeinanderfolgenden zweiten Abbildern, beispielsweise als Teile eines Bewegtbildstroms bzw. Videos, nach salienten Objekten gesucht werden. Zu diesem Zweck wird bevorzugt eine Vielzahl von zweiten Abbildern erfasst und eine Bewegungssalienzanalyse der Vielzahl der zweiten Abbilder wird durchgeführt. Insbesondere kann dabei nach Objekten gesucht werden, welche sich relativ zum Fahrer und/oder relativ zu ihrer Umgebung bewegen.
-
Besonders vorteilhaft kann überprüft werden, ob sich der Blickbereich mit dieser Relativbewegung mit bewegt. Zu diesem Zweck wird einerseits eine Vielzahl von ersten Abbildern erfasst und analysiert. Daraus wird vorzugsweise ein zeitlicher Verlauf des Blickbereichs der Person bestimmt. Beispielsweise kann zu diesem Zweck ein zeitlicher Verlauf der Blickrichtung, z.B. in Form einer Trajektorie oder eines entsprechenden dreidimensionalen Vektors, bestimmt werden.
-
Wenn andererseits wenigstens ein sich relativ bewegendes Objekt in den zweiten Abbildern erkannt wird, wird im Zuge des Vergleichs vorteilhafterweise überprüft, ob der bestimmte Verlauf des Blickbereichs mit der erkannten wenigstens einen Relativbewegung übereinstimmt oder zumindest im Wesentlichen übereinstimmt. Wenn dies der Fall ist, wird der bestimmte Verlauf des Blickbereichs vorzugsweise verifiziert. Beispielsweise kann in jedem einzelnen der zweiten Abbilder überprüft werden, ob der für dieses Abbild aktuelle Blickbereich jeweils zumindest teilweise mit dem Objekt oder mit einem Rahmenbereich um dieses Objekt herum zusammenfällt, welches die Bewegung ausführt.
-
Vorteilhalfterweise wird im Zuge der Bewegungssalienzanalyse nach Relativbewegungen von salienten Objekten gesucht. Diese Relativbewegungen können insbesondere Relativbewegungen von an sich stillstehenden salienten Objekten sein. Beispielsweise kann es sich dabei im Straßenverkehr um Objekte handeln, die an einem Straßenrand stehen, wie Personen, Ampeln oder Verkehrsschilder. Insbesondere kann somit überprüft werden, ob der Verlauf des Blickbereichs des Fahrers des Fahrzeugs der Relativbewegung dieses salienten Objekts entspricht.
-
Alternativ oder zusätzlich wird im Zuge der Bewegungssalienzanalyse vorzugsweise nach salienten Relativbewegungen von Objekten in der Vielzahl von zweiten Abbildern gesucht. Unter einer salienten Relativbewegung sei in diesem Zusammenhang insbesondere eine Bewegung eines Objekts zu verstehen, welche aus ihrer Umgebung bzw. Nachbarschaft deutlich hervortritt und sich von Bewegungen anderer Objekte deutlich abgrenzt. Im Straßenverkehr können beispielsweise Bewegungen von Fußgängern auf einem Gehweg neben der Straße als nicht saliente Relativbewegungen erkannt werden, wobei beispielsweise Bewegungen von Verkehrsteilnehmern auf der Straße als saliente Relativbewegungen erkannt werden können. Beispielsweise kann auch die Bewegung eines Fußgängers, der sich auf dem Gehweg der Straße nähert, als saliente Relativbewegung erkannt werden.
-
Es sei an dieser Stelle angemerkt, dass eine saliente Relativbewegung nicht notwendigerweise von einem Objekt durchgeführt werden muss, welches in einem einzelnen zweiten Abbild als salientes Objekt erkannt werden würde. Beispielsweise kann bei einer Vielzahl von Fußgängern auf einem Gehweg jeweils in einzelnen zweiten Abbildern keiner der Fußgänger als salientes Objekt erkannt werden. Bewegt sich jedoch ein Fußgänger, beispielsweise ein Kleinkind, auf dem Gehweg auf die Straße zu, so kann die Bewegung dieses Fußgängers in einer Vielzahl von zweiten Abbildern als saliente Relativbewegung erkannt werden, obwohl der Fußgänger selbst in den einzelnen der zweiten Abbilder nie als salientes Objekt erkannt werden würde.
-
Besonders vorteilhaft eignet sich die Erfindung für den Einsatz im (Kraft-) Fahrzeugbereich, um die Blickrichtung von Insassen in einem Fahrzeug zu erkennen, besonders bevorzugt die Blickrichtung eines Fahrers des Fahrzeugs. Als Umgebung der Person kann in diesem Fall beispielsweise ein Bereich vor, hinter, neben dem Fahrzeug oder auch um das Fahrzeug herum erfasst werden oder auch Elemente des Fahrzeugs, z.B. ein Armaturenbereich, Saitenspiel, Rückspiegel, ein Monitor bzw. ein Display, etwa ein HMD, Icons oder Anzeigen auf einem derartigen Display, eine Rückfahrkamera usw. In der Umgebung kann im Zuge der Salienzanalyse beispielsweise nach Verkehrsschildern, Ampeln, Fußgängern, anderen Verkehrsteilnehmern oder potentiellen Gefahrenquellen als saliente Objekte gesucht werden. Ferner kann beispielsweise auch nach Anzeigen eines Navigationsgeräts oder Geschwindigkeitsmesser als saliente Objekte gesucht werden.
-
Eine erfindungsgemäße Recheneinheit, z.B. ein Steuergerät eines Fahrzeugs, ist, insbesondere programmtechnisch, dazu eingerichtet, ein erfindungsgemäßes Verfahren durchzuführen. Ein System zum Erkennen eines Blickbereichs einer Person umfasst neben einer derartigen Recheneinheit ferner einen ersten Sensor, der dazu eingerichtet ist, das erste Abbild von zumindest einem Teil der Person zu erfassen, und einen zweiten Sensor, der dazu eingerichtet ist, das zweite Abbild von der Umgebung der Person zu erfassen. Beispielsweise kann ein derartiges System eine von der Person tragbare Einheit umfassen, beispielsweise eine Brille, an welcher der erste und der zweite Sensor angeordnet sind.
-
Bei einem Einsatz im Fahrzeugbereich kann der erste Sensor beispielsweise eine in dem Innenraum des Fahrzeugs angeordnete Kamera sein und der zweite Sensor eine in dem Innenraum oder auch an der Karosserie des Fahrzeugs angeordnete Kamera. Die von diesen beiden Kameras erfassten Abbilder werden insbesondere an ein Steuergerät des Fahrzeugs übermittelt. Es ist auch denkbar, dass der erste und der zweite Sensor an einer von der Person tragbaren Einheit angeordnet sind, beispielsweise an einem von dem Fahrer des Fahrzeugs getragenen Anzeigegerät, insbesondere an einem sog. „head mounted display“ (HMD).
-
Auch die Implementierung des Verfahrens in Form eines Computerprogramms ist vorteilhaft, da dies besonders geringe Kosten verursacht, insbesondere wenn ein ausführendes Steuergerät noch für weitere Aufgaben genutzt wird und daher ohnehin vorhanden ist. Geeignete Datenträger zur Bereitstellung des Computerprogramms sind insbesondere magnetische, optische und elektrische Speicher, wie z.B. Festplatten, Flash-Speicher, EEPROMs, DVDs u.a.m. Auch ein Download eines Programms über Computernetze (Internet, Intranet usw.) ist möglich.
-
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
-
Die Erfindung ist anhand von Ausführungsbeispielen in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung beschrieben.
-
Figurenliste
-
- 1 zeigt schematisch eine bevorzugte Ausgestaltung eines erfindungsgemäßen Systems zum Erkennen eines Blickbereichs einer Person, das dazu eingerichtet ist, eine bevorzugte Ausführungsform eines erfindungsgemäßen Verfahrens durchzuführen.
- 2 zeigt eine bevorzugte Ausführungsform eines erfindungsgemäßen Verfahrens als ein schematisches Blockdiagramm.
- 3 zeigt schematisch ein Abbild, welches im Zuge einer bevorzugten Ausführungsform eines erfindungsgemäßen Verfahrens erfasst werden kann.
-
Ausführungsform(en) der Erfindung
-
In 1 ist schematisch eine bevorzugte Ausgestaltung eines erfindungsgemäßen Systems zum Erkennen eines Blickbereichs einer Person dargestellt und mit 100 bezeichnet. Das System 100 ist vorgesehen und dazu eingerichtet, um den Blickbereich eines Fahrers 102 eines Fahrzeugs 101 zu erfassen. Der Blickbereich des Fahrers 102 ist in der 1 schematisch durch eine Blickrichtung 103 des dargestellt.
-
Eine erste Kamera 110 des Systems 100 ist beispielsweise an einem Innenspiegel in einem Innenraum des Fahrzeugs 101 angeordnet und dazu eingerichtet, zumindest einen Teil des Kopfes des Fahrers 102 zu erfassen, angedeutet durch Bezugszeichen 111.
-
Eine zweite Kamera 120 des Systems 100 ist beispielsweise an der Karosserie des Fahrzeugs 101 angeordnet und dazu eingerichtet, die Umgebung 140 vor dem Fahrzeug 101 als Umgebung der Person zu erfassen, angedeutet durch Bezugszeichen 121.
-
Im dargestellten Beispiel befinden sich etwa eine Ampel 141 und ein Verkehrsschild 142 in dieser Umgebung 140 und der Blickbereich bzw. die Blickrichtung 103 des Fahrers 102 ist beispielsweise auf die Ampel 141 gerichtet.
-
Ferner weist das System 100 eine Recheneinheit 130 auf, beispielsweise ein Steuergerät des Fahrzeugs 101, mit welchem die Kameras 110, 120 in datenübertragender Verbindung stehen, beispielsweise über ein Kommunikationssystem 135 des Fahrzeugs, insbesondere ein Bus-System, wie z.B. CAN oder FlexRay.
-
Über diesen Bus übermitteln die Kameras 110, 120 ihre jeweiligen erfassten Abbilder an das Steuergerät 130, welches diese Abbilder analysiert und basierend darauf den Blickbereich 103 des Fahrers 102 erkennt.
-
Zu diesem Zweck ist das Steuergerät 130, insbesondere programmtechnisch, dazu eingerichtet, eine bevorzugte Ausführungsform eines erfindungsgemäßen Verfahrens durchzuführen, welches in 2 schematisch als ein Blockdiagramm dargestellt ist und nachfolgend in Bezug auf 2 erläutert wird.
-
In einem Schritt 211 wird von der ersten Kamera 110 ein erstes Abbild von dem Kopf bzw. Gesicht des Fahrers 102 erfasst und an das Steuergerät 130 übermittelt. In Schritt 212 analysiert das Steuergerät 130 dieses erste Abbild und bestimmt daraus den Blickbereich 103 des Fahrers beispielsweise in Form der Blickrichtung 103 des Fahrers 102 oder in Form einer ROI. Zu diesem Zweck können beispielsweise die Augen oder Pupillen des Fahrers in dem ersten Abbild erkannt und basierend darauf auf die Blickrichtung und den Blickbereich 103 rückgeschlossen werden. Beispielsweise kann alternativ oder zusätzlich auch ein Maschinenlernverfahren angewendet werden, welches aus dem Abbild des aufgenommenen Teils der Person auf die Blickrichtung und somit den Blickbereich 103 rückschließt.
-
In einem Schritt 221 wird, insbesondere gleichzeitig zu Schritt 211, von der zweiten Kamera 120 ein zweites Abbild von der Umgebung 140 vor dem Fahrzeug 101 erfasst und an das Steuergerät 130 übermittelt. In Schritt 222 analysiert das Steuergerät 130 dieses zweite Abbild und führt eine Salienzanalyse durch.
-
Im Zuge dessen wird nach salienten Objekten in der Umgebung vor dem Fahrzeug gesucht, insbesondere nach salienten Objekten des Straßenverkehrs, auf welche sich die Aufmerksamkeit des Fahrers 102 mit hoher Wahrscheinlichkeit richten könnte, beispielsweise nach Ampeln, Verkehrsschildern und anderen Verkehrsteilnehmern.
-
Wenn in Schritt 222 in dem zweiten Abbild saliente Objekte erkannt werden, beispielsweise die Ampel 141 und das Verkehrsschild 142, werden in Schritt 231 die Ergebnisse der Salienzanalyse mit der in Schritt 212 bestimmten Blickrichtung 103 korreliert und/oder miteinander verglichen.
-
In Schritt 232 wird dabei überprüft, ob der in Schritt 212 bestimmte Blickbereich 103 mit einem der erkannten salienten Objekte 141, 142 oder mit einem Rahmenbereich um eines der erkannten salienten Objekte 141, 142 herum zumindest teilweise zusammenfällt. Beispielsweise wird zu diesem Zweck überprüft, ob die in Schritt 212 bestimmte Blickrichtung 103 auf eines der erkannten salienten Objekte 141, 142 gerichtet ist oder zumindest auf einen Rahmenbereich um eines der erkannten salienten Objekte 141, 142 herum.
-
Wenn die in Schritt 212 bestimmte Blickrichtung 103 auf eines der erkannten salienten Objekte 141, 142 gerichtet ist, beispielsweise auf die Ampel 141, fällt der Blickbereich mit diesem Objekt 141 zumindest teilweise zusammen und in Schritt 233 wird die in Schritt 212 bestimmte Blickrichtung 103 verifiziert. Dieser Fall deutet darauf hin, dass die Blickrichtung 103 in Schritt 212 korrekt bestimmt wurde, da sich die Aufmerksamkeit und somit die Blickrichtung 103 des Fahrers 102 mit hoher Wahrscheinlichkeit tatsächlich auf dieses saliente Objekt, sprich auf die Ampel 141 richten.
-
Wenn die in Schritt 212 bestimmte Blickrichtung 103 auf einen Rahmenbereich um eines der erkannten salienten Objekte 141, 142 herum gerichtet ist, beispielsweise auf einen Rahmenbereich um die Ampel 141, fällt der Blickbereich mit diesem Rahmenbereich zumindest teilweise zusammen und in Schritt 234 wird die in Schritt 212 bestimmte Blickrichtung 103 auf dieses saliente Objekt 141 in dem Rahmenbereich korrigiert. Dieser Fall deutet darauf hin, dass die Blickrichtung 103 in Schritt 212 nicht vollkommen korrekt bestimmt wurde, da sich die Aufmerksamkeit und somit die Blickrichtung 103 des Fahrers 102 mit hoher Wahrscheinlichkeit auf die Ampel 141 selbst richten und nicht auf einen Punkt neben der Ampel 141.
-
In 3 ist schematisch ein zweites Abbild dargestellt und mit 300 bezeichnet, wie es von der zweiten Kamera 120 im Zuge einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens erfasst werden kann.
-
Wie obig erläutert werden in Schritt 222 in dem zweiten Abbild die Ampel 141 und das Verkehrsschild 142 als saliente Objekte erfasst, da sich diese Objekte deutlich von ihrer Umgebung bzw. ihrem Hintergrund 143 unterscheiden. Beispielsweise kann der Hintergrund 143 ein blauer Himmel sein, von welchem sich die Ampel 141 und das Verkehrsschild 142 deutlich abgrenzen.
-
Der Hintergrund 143 wird im Zuge der Salienzanalyse beispielsweise als nicht oder kaum salientes Objekt erkannt, die Ampel 141 und das Verkehrsschild 142 hingegen als saliente bzw. sehr saliente Objekte.
-
Als Rahmenbereich 311 um die Ampel 141 herum kann beispielsweise ein rechteckiger Rahmen gewählt werden, welcher beispielsweise in einem Mindestabstand von 100 Pixeln um die Ampel 141 herum verläuft.
-
Analog kann als Rahmenbereich 312 um das Verkehrsschild 142 herum beispielsweise ein runder Rahmen gewählt werden, welcher beispielsweise ebenfalls in einem Mindestabstand von 100 Pixeln um das Verkehrsschild 142 herum verläuft.
-
Die Blickrichtung 103 wird in Schritt 212 beispielsweise als ein dreidimensionaler Vektor bestimmt und in Schritt 232 kann ein Schnittpunkt dieses Vektors mit dem Abbild 300 bestimmt werden.
-
Wenn der Schnittpunkt 301 beispielsweise mit der Ampel 141 zusammenfällt, wird wie obig erläutert die bestimmte Blickrichtung in Schritt 233 verifiziert.
-
Wenn der Schnittpunkt 302 hingegen beispielsweise in dem Rahmenbereich 311 liegt, wird die Blickrichtung wie obig erläutert in Schritt 234 korrigiert.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2016/0173865 A1 [0003]
