-
Die vorliegende Erfindung betrifft die Erkennung und Verfolgung von Objekten in einem Bereich basierend auf einer optischen Beobachtung dieses Bereichs.
-
Stand der Technik
-
Ein menschlicher Fahrer, der ein Fahrzeug steuert, nimmt den weitaus überwiegenden Anteil der für die Fahraufgabe relevanten Informationen mit den Augen auf. Dementsprechend sind Informationen aus einer optischen Beobachtung des Fahrzeugumfelds auch für Fahrassistenzsysteme und Systeme zum zumindest teilweise automatisierten Fahren eine wichtige Informationsquelle.
-
Für die Vermeidung von Unfällen ist eine schnelle Reaktionszeit extrem wichtig. Wissenschaftliche Untersuchungen von Unfällen haben ergeben, dass ein hoher Prozentsatz der Unfälle hätte vermieden werden können, wenn nur wenig mehr Zeit (meistens gerade einmal eine Sekunde) für die Reaktion zur Verfügung gestanden hätte.
-
Bei der Verarbeitung von Kamerabildern gibt es zwei Faktoren, die die Reaktionszeit verlängern. Zum einen aktualisieren Kameras das Bild nur mit einer im Voraus festgelegten Wiederholrate pro Sekunde. Zum anderen beanspruchen Bilddatenströme eine hohe Bandbreite für die Übertragung innerhalb des Fahrzeugs.
-
Daher wird in der
US 2016/096 477 A1 vorgeschlagen, einen herkömmlichen Bildsensor mit zusätzlichen ereignisbasierten Sensorelementen zu erweitern.
-
Wann immer die auf ein solches Element einfallende Lichtintensität sich um mehr als einen bestimmten relativen Betrag ändert, gibt der Sensor unabhängig von der Wiederholrate der Kamera sofort ein Ereignis aus.
-
Offenbarung der Erfindung
-
Im Rahmen der Erfindung wurde ein Verfahren zur Erkennung und/oder Verfolgung von Objekten in einem räumlichen Bereich entwickelt. Dieses Verfahren ist insbesondere zur Beobachtung des Umfelds eines Fahrzeugs zwecks Bewältigung der Fahraufgabe einsetzbar. Es kann aber auch beispielsweise zur ortsfesten Überwachung eines Bereichs auf Eindringlinge oder auf unbefugte Aktivitäten verwendet werden.
-
Bei dem Verfahren wird der Bereich mit mindestens einem ereignisbasierten Sensor beobachtet. Der ereignisbasierte Sensor weist lichtempfindliche Pixel auf. Eine relative Änderung der auf ein Pixel einfallenden Lichtintensität um mindestens einen vorgegebenen Prozentsatz veranlasst den Sensor dazu, ein diesem Pixel zugeordnetes Ereignis auszugeben.
-
In Antwort darauf, dass der Sensor ein neues Ereignis ausgibt, wird für dieses Ereignis eine Bewertung ermittelt, inwieweit dieses Ereignis zu einer bereits erfassten Verteilung von Ereignissen passt, und/oder inwieweit es plausibel ist, dass das Ereignis von einem bereits erfassten Objekt herrührt. In Antwort darauf, dass die ermittelte Bewertung ein vorgegebenes Kriterium erfüllt, wird das neue Ereignis der bereits erfassten Verteilung, bzw. dem bereits erfassten Objekt, zugeordnet.
-
Dabei schränkt der Begriff „erfasst“ die Art und Weise, auf die die Kenntnis von der Verteilung bzw. von dem Objekt erhalten wurde, nicht ein. So kann beispielsweise die Verteilung aus vom ereignisbasierten Sensor gelieferten Ereignissen gebildet, aber auch aus einer beliebigen externen Quelle erhalten werden. Ebenso können Objekte beispielsweise aus Bildern ermittelt, aber auch beispielsweise über Vehicle-to-vehicle (V2V)-Kommunikation von einem anderen Fahrzeug gemeldet werden.
-
Es wurde erkannt, dass auf diese Weise die zunächst nur einem Ort und einer Zeit zugeordneten Ereignisse mit einer semantischen Bedeutung dahingehend versehen werden können, von welchem Objekt sie herrühren. Dies ist eine wichtige Information für eine nachgeschaltete Auswertung, die beispielsweise darüber zu befinden hat, ob ein bestimmtes Objekt im Fahrzeugumfeld sich auf Kollisionskurs mit dem eigenen Fahrzeug befindet und das Verhalten des eigenen Fahrzeugs dementsprechend geändert werden sollte. Die im Vergleich zu Kamerabildern deutlich schnellere Verfügbarkeit der vom ereignisbasierten Sensor gelieferten Ereignisse geht also in einem deutlich geringeren Maße als bisher mit dem Verlust an semantischer Information einher.
-
Es wurde insbesondere erkannt, dass Ereignisse, die von ein und demselben Objekt herrühren, häufig einer Verteilung genügen, die bestimmte charakteristische Eigenschaften bzw. Kenngrößen aufweist. Unterschiedliche Objekte prägen also gleichsam dem Strom der Ereignisse, die von ihnen ausgehen, einen „Fingerabdruck“ auf. Damit lassen sich die zu unterschiedlichen Objekten gehörenden Ereignisse auch dann noch voneinander trennen, wenn die entsprechenden „Ereigniswolken“ in Raum und Zeit sehr nahe beieinander liegen oder sich sogar überlappen.
-
Derartige Überlappungen können beispielsweise auftreten, wenn mit einem zweidimensionalen ereignisbasierten Sensor eine Straßenszenerie als zweidimensionale Projektion betrachtet wird. Wenn beispielsweise auf einer Straße mit zwei Fahrspuren je Fahrtrichtung zwei Fahrzeuge nebeneinander fahren und dies von der Seite beobachtet wird, überlagern sich die von beiden Fahrzeugen ausgehenden „Ereigniswolken“, obwohl sich die Fahrzeuge selbst nicht berühren. Die „Ereigniswolken“ sind jedoch durch unterschiedliche Verteilungen beschreibbar, insbesondere dann, wenn es sich um zwei Fahrzeuge unterschiedlichen Typs handelt. Sie können daher voneinander getrennt werden.
-
Ein solches Trennen von „Ereigniswolken“ ist insbesondere auch ohne genaue Kenntnis der in Frage kommenden Typen von Objekten möglich. Eine Auswertung, welche Objekte in einer Szenerie sich in welcher Weise bewegen, setzt also nicht voraus, dass die Szenerie zunächst semantisch nach Objekttypen segmentiert wird.
-
Die Zuordnung neuer Ereignisse zu bereits erfassten Objekten setzt nicht zwingend den beschriebenen Weg über Verteilungen voraus, sondern kann vorteilhaft auch direkt erfolgen. Beispielsweise kann aus einem oder mehreren Bildern des beobachteten Bereichs die Information entnommen werden, welche Objekte dort jeweils zum Zeitpunkt der Bildaufnahme wo genau vorhanden sind. Aus einer oder mehreren solchen Momentaufnahmen lässt sich also ein räumlich-zeitlicher „Erwartungskorridor“ angeben, in dem Ereignisse, die von dem Objekt herrühren, voraussichtlich liegen. Ereignisse, die außerhalb dieses „Erwartungskorridors“ liegen, rühren mit hoher Wahrscheinlichkeit nicht von dem jeweiligen Objekt her. Für die Ermittlung des „Erwartungskorridors“ kann insbesondere beispielsweise auch ein aus dem Bild klassifizierter oder in sonstiger Weise erkannter Typ des Objekts herangezogen werden. Die Gesetzmäßigkeiten, nach denen sich verschiedene Typen von Objekten bewegen können, unterscheiden sich zum Teil deutlich. So haben etwa verschiedene Typen von Fahrzeugen verschieden große Wendekreise, die die Agilität in Bezug auf Richtungsänderungen festlegen.
-
Es wurde weiterhin erkannt, dass für die letztendliche Anwendung einer Erkennung oder Verfolgung von Objekten gerade solche Ereignisse besonders wichtig sein können, die sich keinem bereits erfassten Objekt, und/oder keiner bereits erfassten Verteilung, zuordnen lassen. Diese Ereignisse sind durch die im Rahmen des Verfahrens vorgesehene Bewertung unmittelbar identifizierbar und können bei der weiteren Verarbeitung entsprechend priorisiert werden, um die Reaktionszeit noch weiter zu verkürzen.
-
Wenn beispielsweise ein Fahrzeug durch den Straßenverkehr geführt wird, so ist der weitaus größte Anteil der vom ereignisbasierten Sensor gelieferten Ereignisse wenig überraschend. Wird das Fahrzeug beispielsweise durch eine vom Bäumen flankierte Allee geführt, so entstehen durch den ständigen Wechsel zwischen Bäumen einerseits und Zwischenräumen andererseits ständig große Mengen Ereignisse. Auch viele Ereignisse, die auf die Bewegungen anderer Verkehrsteilnehmer zurückgehen, sind aus dem Kontext der Verkehrssituation vorhersehbar und nicht überraschend. Dementsprechend erfordern derartige Ereignisse auch gar keine schnelle Reaktion. So ist es wenig verwunderlich, wenn ein Fahrzeug, das rechts blinkt und einen Abbiegevorgang eingeleitet hat, diesen Abbiegevorgang fortsetzen wird.
-
Hingegen kann eine schnelle Reaktion gerade auf unerwartete Ereignisse sehr wichtig sein. Beispielsweise kann am Rand des Beobachtungsbereichs plötzlich ein Fußgänger auftauchen, der beabsichtigt, die Fahrbahn zu betreten, oder ein plötzlich in den Beobachtungsbereich und auf die Fahrbahn fliegender Ball kann davor warnen, dass demnächst ein Kind auf die Fahrbahn rennen wird. Derartige Ereignisse können eine Vollbremsung rechtfertigen, und es ist in dieser Situation sehr vorteilhaft, wenn die Verarbeitungskapazitäten nicht durch vorhersehbare Routine-Ereignisse belegt sind.
-
Im Kontext der ortsfesten Überwachung von Bereichen auf Eindringlinge oder unbefugte Aktivitäten kann die Unterscheidung zwischen Ereignissen, die von bekannten Objekten einerseits und unbekannten Objekten andererseits herrühren, den Zielkonflikt zwischen der Alarmempfindlichkeit und dem Risiko für Falschalarme abmildern. So kann beispielsweise bei starkem Wind die Krone eines Baums im überwachten Bereich viele Ereignisse produzieren, die als Bewegungen eines Eindringlings fehlgedeutet werden und Falschalarm auslösen könnten. Wird nun lediglich die Empfindlichkeit des Überwachungssystems in Bezug auf Bewegungen reduziert, so kann dies dazu führen, dass ein Eindringling sich durch den überwachten Bereich schleichen kann und unter der Alarmschwelle bleibt. Werden hingegen lediglich die von der bekannten Baumkrone herrührenden Ereignisse ausgeblendet, steht für die Erkennung des Eindringlings nach wie vor die volle Empfindlichkeit zur Verfügung.
-
In einer besonders vorteilhaften Ausgestaltung wird in Antwort darauf, dass ein neues Ereignis einem bereits erfassten Objekt und/oder einer zu einem bereits erfassten Objekt gehörenden Verteilung von Ereignissen zugeordnet wird, unter Heranziehung dieses neuen Ereignisses eine aktualisierte Position, eine aktualisierte Geschwindigkeit, und/oder eine aktualisierte Bewegungsrichtung, des Objekts ermittelt. Auf diese Weise können die Position, die Geschwindigkeit, und/oder die Bewegungsrichtung, mit besonders kurzer Reaktionszeit fortgeschrieben und plötzliche Änderungen schnell erkannt werden.
-
So ist beispielsweise das bereits erwähnte vorausfahrende Fahrzeug, das mit einem Abbiegevorgang nach rechts begonnen hat, gegenüber Verkehrsteilnehmern, die geradeaus weiter wollen, wartepflichtig. Es kann dann eine gefährliche Situation entstehen, wenn derjenige Verkehrsteilnehmer, auf den das abbiegende Fahrzeug warten muss, vom nachfolgenden Fahrzeug aus nicht gesehen werden kann. Aus der Perspektive dieses nachfolgenden Fahrzeugs kommt das Anhalten des abbiegenden Fahrzeugs völlig überraschend und erfordert ein schnelles Abbremsen, um einen Auffahrunfall zu vermeiden.
-
In einer weiteren besonders vorteilhaften Ausgestaltung wird in Antwort auf die Feststellung, dass eine Menge von Ereignissen zu keiner bereits erfassten Verteilung von Ereignissen passt, jedoch nach Maßgabe eines vorgegebenen Kriteriums eine neue Verteilung bildet, diese neue Verteilung erfasst. Auf diese Weise kann zumindest schon einmal festgestellt werden, dass in der beobachteten Szenerie ein Objekt neu aufgetaucht ist bzw. angefangen hat, sich zu bewegen. Dies ist insbesondere im Hinblick auf die Vermeidung von Kollisionen im Straßenverkehr zunächst die wichtigste Information; um welches Objekt es sich genau handelt, ist erst einmal zweitrangig.
-
In einer weiteren besonders vorteilhaften Ausgestaltung wird in Antwort darauf, dass eine neue Verteilung erfasst wird, und/oder dass eine zu keiner bereits erfassten Verteilung passende Menge von Ereignissen ein sonstiges vorgegebenes Kriterium erfüllt, mindestens ein Bild von im beobachteten Bereich vorhandenen Objekten ermittelt. Das vorgegebene Kriterium kann beispielsweise besagen, dass eine Mindestanzahl nicht zuzuordnender Ereignisse vorhanden sein muss, bevor die Ermittlung eines Bildes angestoßen wird. Wie zuvor erläutert, kann das Bild insbesondere genutzt werden, um „Ereigniswolken“ konkrete Objekte in der beobachteten Szenerie zuzuordnen. Weiterhin können eines oder mehrere Bilder genutzt werden, um „Erwartungskorridore“ für neue vom ereignisbasierten Sensor gelieferte Ereignisse festzulegen.
-
Das Bild kann beispielsweise mit einem in lichtempfindliche Pixel unterteilten Bildsensor erfasst werden, der für jedes Pixel ein Maß für die auf dieses Pixel einfallende Lichtintensität ausgibt. Indem nur bei Bedarf und nicht ständig Bilder vom Bildsensor abgerufen werden, kann die verfügbare Kapazität für die Datenübertragung während des größten Anteils der Zeit freigehalten werden für Ereignisse, die eine schnelle Reaktion erfordern.
-
Das Bild kann jedoch alternativ oder auch in Kombination hierzu auch beispielsweise unter Heranziehung bereits erfasster Ereignisse ermittelt werden. Letztendlich kann jedes vom ereignisbasierten Sensor registrierte Ereignis als Fortschreibung eines durch ein zuvor aufgenommenes Bild repräsentierten Momentanzustandes verwendet werden. Das bedeutet, dass aus dem vorherigen Bild und den zwischenzeitlich aufgelaufenen Ereignissen ein Bild erzeugt werden kann, das einen Momentanzustand zu einem späteren Zeitpunkt repräsentiert. Dieser spätere Zeitpunkt ist frei wählbar und insbesondere nicht an ein durch eine feste Wiederholrate vorgegebenes Raster gebunden.
-
Es ist auch möglich, allein aus erfassten Ereignissen ein Bild zu konstruieren. Hierzu können beispielsweise alle in einem bestimmten räumlichen und zeitlichen Fenster auftretenden Ereignisse aufsummiert werden. Selbst wenn dies nur grobe Umrisse von Objekten erzeugen sollte, können die Objekte aus einem so erhaltenen Bild möglicherweise schon identifiziert werden.
-
Weiterhin ist es unter Heranziehung der zwischenzeitlich aufgelaufenen Ereignisse besonders einfach, das Bild selektiv für einen Teilbereich des beobachteten Bereichs zu ermitteln. Dies kann insbesondere derjenige Teilbereich sein, aus dem die Ereignisse, die den Anlass zur Ermittlung des Bildes gegeben haben, herrühren. Wie zuvor erläutert, besteht insbesondere im Straßenverkehr und bei der stationären Überwachung von Bereichen für Sicherheitszwecke der größte Teil der Szenerie aus Routineinformation. Indem nur nach einem Bild für einen Teilbereich gefragt wird, der voraussichtlich neue und überraschende Information enthält, wird Übertragungsbandbreite und Rechenkapazität eingespart.
-
Das Bild kann insbesondere beispielsweise genutzt werden, um die neue Verteilung, und/oder die zu keiner bereits erfassten Verteilung passenden Menge von Ereignissen, mindestens einem Objekt zuzuordnen. Es können also inkrementell immer größere Anteile der insgesamt auflaufenden Ereignisse mit dem Vorhandensein, bzw. der Bewegung, von Objekten erklärt werden.
-
In einer weiteren besonders vorteilhaften Ausgestaltung wird aus einer Menge von Ereignissen, die eine neue Verteilung bildet, und/oder aus einer Menge von zu keiner bereits erfassten Verteilung passenden Ereignissen, die ein sonstiges vorgegebenes Kriterium erfüllt, eine Position, eine Geschwindigkeit, und/oder eine Bewegungsrichtung, mindestens eines Objekts, mit dem diese Ereignisse in Einklang stehen, ermittelt. Dabei muss nicht bekannt sein, um welchen Typ von Objekt es sich im Einzelnen handelt. Das Objekt kann also, wie zuvor erläutert, zunächst als abstraktes Etwas behandelt werden, von dem zunächst nur bekannt ist, wo es ist und/oder wie es sich bewegt. Wie zuvor erläutert, kann das Objekt zu einem späteren Zeitpunkt beispielsweise anhand eines Bildes konkretisiert werden.
-
Wie zuvor erläutert, ist in vielen technischen Anwendungen die Erkennung und/oder Verfolgung von Objekten ein Zwischenprodukt. Der in der Anwendung letztendlich zu erzielende Effekt besteht darin, dieses Zwischenprodukt heranzuziehen, um das jeweilige technische System in einer der jeweiligen Situation angemessenen Weise anzusteuern. In einer weiteren besonders vorteilhaften Ausgestaltung wird daher aus mindestens einer Zuordnung von Ereignissen zu einem Objekt und/oder einer Verteilung, und/oder aus mindestens einer anhand von Ereignissen ermittelten Position, Bewegungsrichtung und/oder Geschwindigkeit mindestens eines Objekts, ein Ansteuersignal ermittelt. Ein Fahrzeug, und/oder ein Überwachungssystem zur Überwachung des räumlichen Bereichs, wird mit dem Ansteuersignal angesteuert.
-
Beispielsweise kann in Antwort auf die Feststellung, dass eine vorhergesagte Trajektorie in Raum und Zeit eines wie auch immer gearteten Objekts die gegenwärtige oder geplante Trajektorie eines eigenen Fahrzeugs schneidet, die Trajektorie dieses eigenen Fahrzeugs durch einen Eingriff in ein fahrdynamisches System des Fahrzeugs so abgeändert werden, dass sie die vorhergesagte Trajektorie des Objekts nicht mehr schneidet.
-
Beispielsweise kann in Antwort auf die Feststellung, dass sich in einem zu Sicherheitszwecken überwachten Bereich ein Eindringling bewegt oder dass dort sonstige unbefugte Aktivitäten stattfinden, ein wahrnehmbarer und/oder ein stiller Alarm ausgelöst werden, und/oder es können weitere technische Maßnahmen zur Unterbindung der unbefugten Aktivitäten ausgelöst werden. Wird beispielsweise auf dem Gelände eines Autohauses ein Eindringling bzw. eine unbefugte Aktivität festgestellt, so können etwa die Wegfahrsperren sämtlicher dort abgestellter Fahrzeuge verriegelt werden, so dass sich die Fahrzeuge mit den im Autohaus gelagerten Schlüsseln nicht mehr starten lassen.
-
Wie zuvor erläutert, kann die Unterscheidung zwischen Ereignissen, die bekannten Objekten bzw. Verteilungen zuzuordnen sind, einerseits und überraschenden, den bekannten Objekten bzw. Verteilungen nicht zuzuordnenden Ereignissen andererseits gerade für Anwendungen, in denen es auf eine schnelle Reaktion kommt, eine sinnvolle Priorisierung der Ereignisse bereitstellen. Daher bezieht sich die Erfindung auch auf ein System für die Ansteuerung eines Fahrzeugs, und/oder eines Überwachungssystems zur Überwachung eines räumlichen Bereichs, das für eine solche Priorisierung ausgebildet ist.
-
Das System umfasst mindestens einen ereignisbasierten Sensor sowie mindestens ein Bewertungsmodul. Das Bewertungsmodul ist dazu ausgebildet, für ein vom ereignisbasierten Sensor ausgegebenes Ereignis eine Bewertung dahingehend zu ermitteln, inwieweit dieses Ereignis zu einer bereits erfassten Verteilung von Ereignissen passt, und/oder inwieweit es plausibel ist, dass das Ereignis von einem bereits erfassten Objekt herrührt.
-
Weiterhin ist mindestens ein Ansteuermodul vorgesehen. Dieses Ansteuermodul ist dazu ausgebildet, aus mindestens einer Zuordnung von Ereignissen zu einem Objekt und/oder einer Verteilung, und/oder aus mindestens einer anhand von Ereignissen ermittelten Position, Bewegungsrichtung und/oder Geschwindigkeit mindestens eines Objekts, ein Ansteuersignal zu bilden und das Fahrzeug, bzw. das Überwachungssystem, mit diesem Ansteuersignal anzusteuern.
-
Es ist weiterhin ein Schnittstellenmodul vorgesehen, das dazu ausgebildet ist, vom ereignisbasierten Sensor ausgegebene Ereignisse an das Ansteuermodul zu übertragen. Dabei ist das Schnittstellenmodul dazu ausgebildet, ein Ereignis bei der Übertragung zum Ansteuermodul umso höher zu priorisieren, je weniger das Ereignis ausweislich der Bewertung durch das Bewertungsmodul zu einer bereits erfassten Verteilung, bzw. zu einem bereits erfassten Objekt, passt.
-
Das bedeutet, dass das Ereignis mit einer umso höheren Priorität an das Ansteuermodul weitergegeben wird, je „unbekannter“ es in Bezug auf die bereits erfassten (= bekannten) Ereignisse und Verteilungen ist. Wie zuvor erläutert, hat dies die Wirkung, dass das Ansteuermodul dann gerade auf die überraschenden Ereignisse besonders schnell reagieren kann.
-
Unter einem Modul wird insbesondere jede in sich abgeschlossene Funktionseinheit verstanden, die dazu ausgebildet ist, an einer Eingabe eines bestimmten Typs (wie beispielsweise Ereignisse) eine bestimmte Aufgabe zu verrichten (wie beispielsweise eine Bewertung oder ein Ansteuersignal ermitteln oder die Ereignisse übertragen). Ein solches Modul kann in Hardware (etwa in Form einer auf einem Chip lokalisierten Recheneinheit), in einer Softwareroutine oder durch ein beliebiges Zusammenwirken von Hardware und Software realisiert sein.
-
In einer besonders vorteilhaften Ausgestaltung ist das Ansteuermodul zusätzlich dazu ausgebildet, bereits erfasste Verteilungen und Objekte an das Bewertungsmodul zu kommunizieren. Das Bewertungsmodul ist dann ständig dahingehend auf dem aktuellen Stand, welche Ereignisse in Bezug auf die jeweilige technische Anwendung noch als überraschend gelten und welche Ereignisse im Laufe des Betriebs des Systems zur Routine geworden sind.
-
In einer weiteren besonders vorteilhaften Ausgestaltung ist das Schnittstellenmodul über einen CAN-Bus des Fahrzeugs mit dem Ansteuermodul verbunden. Da der CAN-Bus sich typischerweise über das ganze Fahrzeug erstreckt, können auf diese Weise besonders einfach mehrere ereignisbasierte Sensoren, die verschiedene Teilgebiete des Fahrzeugumfelds erfassen, angeschlossen werden. Hier zahlt es sich in besonderer Weise aus, dass die verfügbare Übertragungsbandbreite vorrangig der Übermittlung überraschender Ereignisse zu Gute kommt. Selbst ein Highspeed-CAN-Bus hat lediglich eine Bandbreite von 1 Mbit/s, die sich das beschriebene System für die Ansteuerung des Fahrzeugs auf der Basis von Ereignissen auch noch mit einer Vielzahl ohnehin schon im Fahrzeug vorhandener Systeme teilen muss.
-
Die Verfahren können insbesondere ganz oder teilweise computerimplementiert sein. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, eines der beschriebenen Verfahren auszuführen. In diesem Sinne sind auch Steuergeräte für Fahrzeuge und Embedded-Systeme für technische Geräte, die ebenfalls in der Lage sind, maschinenlesbare Anweisungen auszuführen, als Computer anzusehen.
-
Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.
-
Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.
-
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
-
Figurenliste
-
Es zeigt:
- 1 Ausführungsbeispiel des Verfahrens 100;
- 2 Beispielhafte Verteilungen 2, 2' von Ereignissen 1b, die von zwei verschiedenen Objekten 3, 3' herrühren;
- 3 Ausführungsbeispiel des Systems 10 für die Ansteuerung eines Fahrzeugs 50, und/oder eines Überwachungssystems 60.
-
1 ist ein Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 100. In Schritt 110 wird ein räumlicher Bereich 40 mit mindestens einem ereignisbasierten Sensor 1 beobachtet. Der ereignisbasierte Sensor 1 gibt Ereignisse 1b aus. In Schritt 120 wird jedes neue Ereignis 1b mit einer Bewertung 1c versehen. Diese Bewertung 1c ist ein Maß dafür, inwieweit das Ereignis 1b zu einer bereits erfassten Verteilung 2 von Ereignissen 1b passt, und/oder inwieweit es plausibel ist, dass das Ereignis 1b von einem bereits erfassten Objekt 3 herrührt.
-
In Antwort darauf, dass die ermittelte Bewertung 1c ein vorgegebenes Kriterium 1c erfüllt, wird das neue Ereignis 1b der bereits erfassten Verteilung 2, bzw. dem bereits erfassten Objekt 3, zugeordnet. Sodann wird in Schritt 140 unter Heranziehung dieses neuen Ereignisses 1b eine aktualisierte Position 3a, eine aktualisierte Geschwindigkeit 3b, und/oder eine aktualisierte Bewegungsrichtung 3c, des Objekts 3 ermittelt.
-
Nicht alle vom ereignisbasierten Sensor 1 ausgegeben neuen Ereignisse 1b werden bereits erfassten Verteilungen 2 oder Objekten 3 zuzuordnen sein. Beispielsweise kann jederzeit ein völlig neues Objekt 3 plötzlich in den Erfassungsbereich des Sensors 1 hineintreten.
-
Gegebenenfalls kann die Feststellung getroffen werden, dass eine Menge von Ereignissen 1b zwar zu keiner bereits erfassten Verteilung 2 von Ereignissen 1b passt, jedoch ihrerseits nach Maßgabe eines vorgegebenen Kriteriums 150 eine neue Verteilung bildet (Wahrheitswert 1). Es wird dann in Schritt 160 diese neue Verteilung 2 erfasst.
-
Dies oder auch die Feststellung, dass eine zu keiner bereits erfassten Verteilung 2 passende Menge von Ereignissen 1b ein sonstiges vorgegebenes Kriterium 170 erfüllt (Wahrheitswert 1), kann zum Anlass genommen werden, in Schritt 180 mindestens ein Bild 4 von im beobachteten Bereich 40 vorhandenen Objekten 3 zu ermitteln. Liegt beispielsweise eine bestimmte Anzahl von Ereignissen 1b vor, die sich nicht zuordnen lassen, kann dies Klärungsbedarf dahingehend auslösen, von welchem Objekt 3 diese Ereignisse 1b herrühren.
-
Das Bild 4 kann aus beliebiger Quelle beschafft werden. Beispielsweise kann das Bild 4 gemäß Block 181 mit einem in lichtempfindliche Pixel unterteilten Bildsensor erfasst werden, der für jedes Pixel ein Maß für die auf dieses Pixel einfallende Lichtintensität ausgibt. Alternativ oder auch in Kombination hierzu kann das Bild 4 gemäß Block 182 unter Heranziehung bereits erfasster Ereignisse 1b ermittelt werden, beispielsweise als Fortschreibung eines zuvor aufgenommenen Bildes 4.
-
Das Bild 4 kann insbesondere beispielsweise gemäß Block 183 selektiv für einen Teilbereich des beobachteten Bereichs 40 ermittelt werden, aus dem die Ereignisse 1b, die den Anlass zur Ermittlung des Bildes 4 gegeben haben, herrühren.
-
Anhand des Bildes 4 kann in Schritt 190 die neue Verteilung 2, und/oder die zu keiner bereits erfassten Verteilung 2 passende Menge von Ereignissen 1b, mindestens einem Objekt 3 zugeordnet werden.
-
Sofern zunächst nicht zuzuordnende Ereignisse 1b eine neue Verteilung 2 bilden, und/oder ein sonstiges vorgegebenes Kriterium 200 erfüllen (Wahrheitswert 1), kann aus diesen Ereignissen 1b in Schritt 210 eine Position 3a, eine Geschwindigkeit 3b, und/oder eine Bewegungsrichtung 3c, mindestens eines Objekts 3, mit dem diese Ereignisse 1b in Einklang stehen, ermittelt werden. Wie zuvor erläutert, kann dieses Objekt 3 als abstraktes Etwas betrachtet werden, über das außer seiner Position 3a und seiner Kinematik 3b, 3c nichts weiter bekannt ist.
-
Jegliche im Verlauf des Verfahrens 100 gewonnene Information, wie Zuordnungen von Ereignissen 1b zu Verteilungen 2 oder Objekten 3 sowie auch Positionen 3a, Geschwindigkeiten 3b und/oder Bewegungsrichtungen 3c von Objekten 3, kann in Schritt 220 genutzt werden, um ein Ansteuersignal 5 zu ermitteln. Dieses Ansteuersignal 5 kann insbesondere so beschaffen sein, dass bei Ansteuerung eines Fahrzeugs 50, bzw. eines sonstigen Systems 60 zur Überwachung des räumlichen Bereichs 40, mit diesem Ansteuersignal das Fahrzeug 50, bzw. das System 60, angemessen auf die mit dem ereignisbasierten Sensor 1 erfasste Szenerie im Bereich 40 reagiert. In Schritt 230 kann das Fahrzeug 50, bzw. das System 60, mit diesem Ansteuersignal 5 angesteuert werden.
-
2 verdeutlicht beispielhaft, wie Ereignisse 1b zu Verteilungen 2, 2' und damit letztendlich zu Objekten 3 zugeordnet werden können, und wie diese Zuordnung durch die Aufnahme von Bildern 4 erleichtert werden kann.
-
Die in 2 skizzierte beispielhafte Szenerie umfasst ein bewegtes Fahrzeug als Objekt 3 und einen ebenfalls bewegten Ball als Objekt 3'. Die in 2 gezeichneten Bilder 4, 4' repräsentieren Momentaufnahmen der Szenerie zu verschiedenen Zeitpunkten. Zum Zeitpunkt der Aufnahme des ersten Bildes 4 befinden sich das Fahrzeug 3 und der Ball 3' jeweils an Positionen 3a. Zum Zeitpunkt der Aufnahme des zweiten Bildes 4' befinden sich das Fahrzeug 3 und der Ball 3' jeweils an neuen Positionen 3a'.
-
Während der Bewegung von den Positionen 3a zu den Positionen 3a' veranlassen die Objekte 3 und 3' den ereignisbasierten Sensor 1 jeweils zur Ausgabe einer Vielzahl von Ereignissen 1b. Dabei bilden die vom Fahrzeug 3 herrührenden Ereignisse 1b eine erste Verteilung 2, die durch bestimmte Eigenschaften charakterisiert ist. Die vom Ball 3' herrührenden Ereignisse bilden eine zweite Verteilung 2', die durch andere Eigenschaften charakterisiert ist. Wenn neue Ereignisse 1b registriert werden, kann also beispielsweise mit beliebigen statistischen Tests überprüft werden, ob diese Ereignisse 1b zur ersten Verteilung 2, zur zweiten Verteilung 2' oder zu keiner der beiden Verteilungen 2 und 2' passen.
-
Unabhängig hiervon definieren die Positionen 3a und 3a', an denen sich die Objekte 3, 3' jeweils in den Bildern 4 und 4' befinden, in Verbindung mit den Zeitpunkten, zu denen die Bilder 4 und 4' aufgenommen wurden, jeweils „Erwartungskorridore“ in Raum und Zeit, in denen jeweils von diesen Objekten 3, 3' herrührende Ereignisse liegen sollten.
-
3 zeigt ein Ausführungsbeispiel eines Systems 10 für die Ansteuerung eines Fahrzeugs 50, und/oder eines Überwachungssystems 60 zur Überwachung eines räumlichen Bereichs 40.
-
Das System 10 umfasst einen ereignisbasierten Sensor 1 zur Beobachtung des Bereichs 40. Der Sensor 1 ist in lichtempfindliche Pixel 1a unterteilt und gibt, wie zuvor erläutert, bei Änderungen der auf ein Pixel 1a einfallenden Lichtintensität jeweils ein diesem Pixel 1a zugeordnetes Ereignis 1b aus.
-
Ein Bewertungsmodul 11 ermittelt zu neuen Ereignissen 1b jeweils Bewertungen 1c dahingehend, inwieweit diese Ereignisse 1b zu bereits erfassten Verteilungen 2 und/oder Objekten 3 passen. Die Ereignisse 1b werden zusammen mit ihren Bewertungen 1c über ein Schnittstellenmodul 12 an ein Ansteuermodul 13 weitergeleitet. Das Ansteuermodul 13 bildet ein Ansteuersignal 5 und steuert damit das Fahrzeug 50, bzw. das Überwachungssystem 60, an.
-
Die Weitergabe der Ereignisse 1b an das Ansteuermodul 13 wird von dem Schnittstellenmodul 12 anhand der Bewertungen 1c priorisiert. Je überraschender und unerwarteter ein Ereignis 1b im Lichte der bereits erfassten Verteilungen 2 bzw. Objekte 3 ist, desto größer ist die Wahrscheinlichkeit, dass hierauf schnell reagiert werden muss, und desto höher ist die Priorität bei der Weitergabe an das Ansteuermodul 13. Dies ist insbesondere dann vorteilhaft, wenn das Schnittstellenmodul 12 über eine Verbindung mit limitierter Bandbreite mit dem Ansteuermodul 13 kommuniziert, wie beispielsweise über den CAN-Bus 51 des Fahrzeugs 50 oder über eine Funkverbindung. So gibt es beispielsweise für bestimmte kurzreichweitige Funkverbindungen im 868-MHz-Band Beschränkungen bezüglich des Sendezeitanteils (Duty cycle) je Zeiteinheit (etwa je Stunde). Wäre zu einem Zeitpunkt, zu dem ein neues überraschendes Objekt 3 sich in überraschenden Ereignissen 1b manifestiert, das Sendezeitkontingent bereits für Ereignisse 1b verbraucht, die von bekannten Objekten 3 herrühren, müssten die überraschenden Ereignisse 1b zurückgehalten werden, bis ein neues Sendezeitkontingent auflebt.
-
Die Information, welche Verteilungen 2 bzw. Objekte 3 bereits bekannt sind, wird von dem Ansteuermodul 13 an das Bewertungsmodul 11 zurückgespielt. Somit wird während des Betriebes der Anteil überraschender Ereignisse 1b tendenziell immer weniger. Für dieses Zurückspielen kann insbesondere beispielsweise ebenfalls der CAN-Bus 51 des Fahrzeugs 50 genutzt werden.
-
In dem in 3 gezeigten Beispiel gibt es noch einen weiteren ereignisbasierten Sensor 1' mit zugehörigem Bewertungsmodul 11' und Schnittstellenmodul 12'. Der weitere Sensor 1' sowie die weiteren Module 11' und 12' funktionieren wie zuvor beschrieben, jedoch wird ein anderer Bereich 40' (etwa ein anderer Teilbereich des Fahrzeugumfelds) beobachtet.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
