DE102020110094A1

DE102020110094A1 - OBJECT AND TRAJECTORY DETECTION

Info

Publication number: DE102020110094A1
Application number: DE102020110094.9A
Authority: DE
Inventors: Dominik Notz
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2020-04-09
Filing date: 2020-04-09
Publication date: 2021-10-14

Abstract

Bereitgestellt wird ein Verfahren zur visuellen Erkennung eines Objekts. Dabei werden zumindest ein erstes und ein zweitens Bild bereitgestellt. Das erste und das zweite Bild sind zeitlich aufeinanderfolgend aufgenommene Bilder in einer ersten Ebene. Es erfolgt ein zumindest teilweises Umrechnen des ersten und des zweiten Bildes von der ersten Ebene in eine zweite Ebene, die zu der ersten Ebene geneigt ist. Ferner erfolgt ein Erkennen des Objekts basierend auf einem Intersection-over-Union (loU) Verfahren angewendet auf das erste und das zweite Bild in der ersten Ebene und einem Kalman-Filter angewendet auf das zumindest teilweise umgerechnete erste und das zumindest teilweises umgerechnete zweite Bild in der zweiten Ebene.A method for visual recognition of an object is provided. At least a first and a second image are provided. The first and the second image are images recorded consecutively in time in a first plane. The first and second images are at least partially converted from the first plane into a second plane which is inclined to the first plane. Furthermore, the object is recognized based on an intersection-over-union (loU) method applied to the first and the second image in the first plane and a Kalman filter applied to the at least partially converted first image and the at least partially converted second image in the second level.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur visuellen Erkennung eines Objekts, ein Verfahren zur Bestimmung einer Trajektorie eines mit dem Verfahren zur visuellen Erkennung eines Objekts erkannten Objekts, eine Steuervorrichtung, die ausgestaltet ist, zumindest eines der Verfahren durchzuführen, ein System mit der Steuervorrichtung und ein Fahrzeug mit dem System.The present invention relates to a method for visual recognition of an object, a method for determining a trajectory of an object recognized with the method for visual recognition of an object, a control device which is designed to carry out at least one of the methods, a system with the control device and a Vehicle with the system.

Herkömmlich wird zur Trajektorienextraktion aus Sensordaten für ein autonomes bzw. automatisiertes Fahren eine Objekterkennung für jedes Bild eines Videos separat ausgeführt. Jedes der erkannten Objekte wird anschließend mit einer eigenen Trajektorie verbunden, wobei jede so erhaltene Trajektorie alle Objekterkennungen des jeweiligen Objekts umfasst. Ziel ist eine korrekte Zuordnung der Objekterkennungen aus einem aktuellen Frame bzw. Bild zu vorhandenen Trajektorien.Conventionally, to extract trajectories from sensor data for autonomous or automated driving, object recognition is carried out separately for each image of a video. Each of the recognized objects is then linked to its own trajectory, with each trajectory thus obtained including all object recognitions of the respective object. The aim is to correctly assign the object recognitions from a current frame or image to existing trajectories.

Hierzu kann als Algorithmus ein sog. Intersection-over-Union-Tracker (IoU) verwendet werden. Hierbei werden Objekte von einem Objektdetektor erkannt und mittels Begrenzungskästen markiert. Die Zuordnung der erkannten Objekte zu den Trajektorien wird basierend auf der IoU, d.h. dem Überlappungsbereich von zwei (zuletzt vom Objektdetektor erzeugten und ausgegebenen) Begrenzungskästen durchgeführt. Eine hohe IoU impliziert, dass zwei erkannte Objekte dasselbe Objekt sind und daher derselben Trajektorie zuzuordnen sind.A so-called intersection over union tracker (IoU) can be used as an algorithm for this purpose. Objects are recognized by an object detector and marked using delimitation boxes. The assignment of the detected objects to the trajectories is based on the IoU, i.e. the overlap area of two delimitation boxes (last generated and output by the object detector). A high IoU implies that two recognized objects are the same object and can therefore be assigned to the same trajectory.

Möglich ist, dass in einem oder mehreren Bildern ein Objekt nicht erkannt werden kann, beispielsweise weil es der Objektdetektor nicht erkennt oder es verdeckt ist. Dies führt herkömmlich dazu, dass eine Trajektorie fälschlicherweise in mehrere (kleinere bzw. kürzere) unabhängige Trajektorien aufgeteilt wird.It is possible that an object cannot be recognized in one or more images, for example because the object detector does not recognize it or it is covered. This conventionally leads to a trajectory being erroneously divided into several (smaller or shorter) independent trajectories.

Um dies zu vermeiden wird herkömmlich eine fehlgeschlagene Objekterkennung für eine vorbestimmte (kurze) Zeitspanne, d.h. für eine vorbestimmte Anzahl von aufeinanderfolgenden Bildern, zugelassen. Dies stellt eine gewisse Verbesserung dar. Jedoch ist die Überlappung zwischen den Begrenzungskästen oft zu gering, um sie abzugleichen, wenn ein Objekt in mehreren aufeinanderfolgenden Bildern nicht erkannt wird. Dann wird eine Trajektorie wieder fälschlicherweise in mehrere unabhängige Trajektorien aufgeteilt.In order to avoid this, a failed object recognition is conventionally permitted for a predetermined (short) period of time, i.e. for a predetermined number of successive images. This is a certain improvement. However, the overlap between the bounding boxes is often too small to match when an object is not recognized in several consecutive images. Then a trajectory is again falsely divided into several independent trajectories.

Weiterhin problematisch ist, dass Objekte zwar erkannt werden, deren Weg sich jedoch kreuzt. Das loU-Verfahren kann dann die Zuordnung einer Position eines der erkannten Objekte zu der (richtigen) Trajektorie des Objekts nicht mehr zuverlässig vornehmen und die Position beispielsweise fälschlicherweise der Trajektorie eines anderen Objekts zuordnen.Another problem is that objects are recognized, but their paths cross. The loU method can then no longer reliably assign a position of one of the recognized objects to the (correct) trajectory of the object and, for example, incorrectly assign the position to the trajectory of another object.

Aufgabe der Erfindung ist es daher unter anderem diese Nachteile aus dem Stand der Technik zu überwinden, insbesondere eine Objekterkennung zu ermöglichen, die das Aufteilen einer Trajektorie eines Objekts in mehrere unabhängige Trajektorien bei einer fehlerhaften Objekterkennung zuverlässig vermeidet und eine Zuordnung der Position eines Objekts zu dessen Trajektorie zuverlässig ermöglicht.The object of the invention is therefore, inter alia, to overcome these disadvantages from the prior art, in particular to enable object recognition that reliably avoids splitting a trajectory of an object into several independent trajectories in the event of an incorrect object recognition and assigning the position of an object to it Reliable trajectory enables.

Diese Aufgabe wird erfindungsgemäß gelöst durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.According to the invention, this object is achieved by the features of the independent claims. Advantageous refinements are given in the subclaims.

Danach wird die Aufgabe gelöst durch ein Verfahren zur visuellen Erkennung eines Objekts. Dabei werden zumindest ein erstes und ein zweites Bild bereitgestellt. Das erste und das zweite Bild sind zeitlich aufeinanderfolgend aufgenommene Bilder in einer ersten Ebene. Es erfolgt ein zumindest teilweises Umrechnen des ersten und des zweiten Bildes von der ersten Ebene in eine zweite Ebene, die zu der ersten Ebene geneigt ist. Ferner erfolgt ein Erkennen des Objekts basierend auf einem Intersection-over-Union (loU) Verfahren angewendet auf das erste und das zweite Bild in der ersten Ebene und einem Kalman-Filter angewendet auf das zumindest teilweise umgerechnete erste und das zumindest teilweises umgerechnete zweite Bild in der zweiten Ebene.The object is then achieved by a method for visual recognition of an object. At least a first and a second image are provided. The first and the second image are images recorded consecutively in time in a first plane. The first and second images are at least partially converted from the first plane into a second plane which is inclined to the first plane. Furthermore, the object is recognized based on an intersection-over-union (loU) method applied to the first and the second image in the first plane and a Kalman filter applied to the at least partially converted first image and the at least partially converted second image in the second level.

Der Kalman-Filter angewendet auf das erste und das zweite Bild in der zweiten Ebene kann die Position des zu erkennenden Objekts zum Zeitpunkt einer neuen Messung, d.h. zum Aufnahmezeitpunkt des zweiten Bildes, prognostizieren bzw. schätzen. Damit wird es möglich, das Objekt trotz einer oder ggf. auch mehrerer verpassten bzw. fehlgeschlagenen Objekterkennungen in Bilder(n), das/die zeitlich zwischen dem ersten und dem zweiten Bild aufgenommen wurde(n), im zweiten Bild wieder zu erkennen. Es ist dann möglich eine Position des in einem Bild erkannten Objekts zu bestimmen und diese Position einer Trajektorie des erkannten Objekts hinzuzufügen.The Kalman filter applied to the first and the second image in the second level can predict or estimate the position of the object to be recognized at the time of a new measurement, i.e. at the time of recording the second image. This makes it possible to recognize the object again in the second image despite one or possibly several missed or failed object recognitions in images that were recorded between the first and the second image. It is then possible to determine a position of the object recognized in an image and to add this position to a trajectory of the recognized object.

Es ist ferner denkbar, zur Objekterkennung zudem Informationen in der zweiten Ebene, bevorzugt der Fahrbahn-, insbesondere der Straßenebene, die von einem Radar- und/oder Lidar-Sensor stammen, zu nutzen. Diese Informationen können ebenfalls mit dem Kalman-Filter oder einem weiteren Kalman-Filter in derselben Weise wie die von der Kamera gelieferten Bilddaten analysiert werden. Anschließend kann ein Ergebnis dieser Analyse im Rahmen einer Datenfusion als weiteres Kriterium zum Erkennen des Objekts herangezogen werden.It is also conceivable to also use information in the second level, preferably the lane level, in particular the street level, for object recognition, which information comes from a radar and / or lidar sensor. This information can also be analyzed with the Kalman filter or another Kalman filter in the same way as the image data supplied by the camera. A result of this analysis can then be used as a further criterion for recognizing the object in the context of a data fusion.

Das Kalman-Filter (auch: Kalman-Bucy-Filter, Stratonovich-Kalman-Bucy-Filter oder Kalman-Bucy-Stratonovich-Filter) ist ein mathematisches Verfahren zur iterativen Schätzung von Systemparametern auf der Basis von fehlerbehafteten Beobachtungen. Die Besonderheit, die das Kalman-Filter von einfachen Filtern wie etwa dem gleitenden Mittelwert unterscheidet und deutlich leistungsfähiger macht, ist die vollständige Beschreibung des Schätzwertes durch mehrdimensionale Normalverteilungen. Diese beschreiben nicht nur die Wahrscheinlichkeitsverteilung möglicher Werte um die wahrscheinlichsten Schätzwerte, sondern beschreiben auch Korrelationen zwischen verschiedenen Schätzfehlern. Dabei können je nach Art der fortgepflanzten Messfehler unterschiedlich starke Korrelationen oder Antikorrelationen entstehen. Wenn weitere Messungen hinzukommen, werden die neu gemachten und die bisherigen Schätzungen in Bezug auf ihre Fehler und Korrelationen auf optimale Weise kombiniert, sodass verbleibende Fehler schnellstmöglich minimiert werden. In dynamischen Systemen, in denen neben den eigentlichen Werten auch z. B. Geschwindigkeiten oder Beschleunigungen geschätzt werden, schätzt das Kalman-Filter entsprechend auch Korrelationen zwischen diesen Größen und nutzt dieses Wissen zusammen mit dem Wissen über die dynamischen Zusammenhänge für eine optimale Fehlerunterdrückung. Der Filterzustand aus Schätzwerten, Fehlerschätzungen und Korrelationen bildet eine Art Gedächtnis für die gesamte bisher gewonnene Information aus vergangenen Messwerten. Nach jeder neuen Messung verbessert das Kalman-Filter die Schätzwerte und liefert neue zugehörige Fehlerschätzungen.The Kalman filter (also: Kalman-Bucy filter, Stratonovich-Kalman-Bucy filter or Kalman-Bucy-Stratonovich filter) is a mathematical method for iterative estimation of system parameters on the basis of faulty observations. The special feature that distinguishes the Kalman filter from simple filters such as the moving average and makes it significantly more efficient is the complete description of the estimated value using multi-dimensional normal distributions. These not only describe the probability distribution of possible values around the most likely estimated values, but also describe correlations between different estimation errors. Depending on the type of measurement error propagated, correlations or anti-correlations of different strengths can arise. When further measurements are added, the newly made and previous estimates are combined in an optimal way with regard to their errors and correlations, so that remaining errors are minimized as quickly as possible. In dynamic systems in which, in addition to the actual values, z. If, for example, speeds or accelerations are estimated, the Kalman filter also estimates correlations between these variables and uses this knowledge together with knowledge of the dynamic relationships for optimal error suppression. The filter state from estimated values, error estimates and correlations forms a kind of memory for all the information obtained so far from past measured values. After each new measurement, the Kalman filter improves the estimated values and provides new associated error estimates.

Vorliegend kann das Kalman-Filter den Zustand eines erkannten Objekts auf der Grundlage von Messdaten und einem Bewegungsmodell schätzen. Dazu wird in einem Vorhersageschritt ein Bewegungsmodell (z.B. eine konstante Geschwindigkeit) genutzt, um den Zustand des erkannten Objekts (Position und Geschwindigkeit) im nächsten Zeitschritt, d.h. beispielsweise im nächsten Bild, vorherzusagen bzw. zu schätzen. Zwischenzeitlich empfangene Sensordaten, hier Kamera- bzw. Bilddaten, werden dann verwendet, um die Schätzung des Objektzustands zu aktualisieren, d.h. der Vorhersageschritt wird basierend auf den neu empfangenen Sensordaten wiederholt durchgeführt.In the present case, the Kalman filter can estimate the state of a recognized object on the basis of measurement data and a movement model. For this purpose, a movement model (e.g. a constant speed) is used in a prediction step in order to predict or estimate the state of the detected object (position and speed) in the next time step, i.e. in the next image, for example. Sensor data received in the meantime, in this case camera or image data, are then used to update the estimate of the object condition, i.e. the prediction step is carried out repeatedly based on the newly received sensor data.

Hierbei können verschiedene Aktualisierungsmatrizen für verschiedene Sensormodalitäten verwendet werden, um die Stärken verschiedener Sensoren zu nutzen. Insbesondere weist die Kamera eine relativ hohe Querpräzision verglichen mit einem Radar- und/oder Lidarsensor auf, der Radar- und/oder Lidarsensor jedoch eine vergleichsweise hohe Längspräzision, sodass eine höhere Messunsicherheit für die Kamera in Längsrichtung und für den Radar- und/oder Lidarsensor in Querrichtung resultiert. Dies kann bei Verwendung beider Systeme ausgeglichen werden.Different update matrices can be used for different sensor modalities in order to utilize the strengths of different sensors. In particular, the camera has a relatively high transverse precision compared to a radar and / or lidar sensor, but the radar and / or lidar sensor has a comparatively high longitudinal precision, so that a higher measurement uncertainty for the camera in the longitudinal direction and for the radar and / or lidar sensor results in the transverse direction. This can be compensated for using both systems.

Der IoU-Tracker bzw. das IoU Verfahren kann das Erkennen des Objekts und ggf. eine nachfolgend beschriebene Zuordnung zu einer (existierenden) Trajektorie einer Position des erkannten Objekts basierend auf der IoU (Intersection-over-Union) von zwei zuletzt erzeugten Begrenzungskästen durchführen. Eine hohe IoU impliziert, dass es sich um dasselbe Objekt handelt.The IoU tracker or the IoU method can detect the object and, if necessary, carry out an assignment, described below, to an (existing) trajectory of a position of the detected object based on the IoU (intersection over union) of the two most recently generated bounding boxes. A high IoU implies that it is the same object.

Die erste Ebene kann eine Bildebene einer Kamera sein und die zweite Ebene kann eine Ebene sein, die im Wesentlichen parallel zu einem Untergrund (vor der Kamera bzw. in deren Aufnahmebereich) ist. Der Untergrund kann beispielsweise eine Fahrbahn bzw. Straße sein, auf dem sich ein (erkanntes) Fahrzeug befindet. Der Untergrund kann also die Straße sein, sodass die zweite Ebene auch die Straßenebene sein kann. Dies bedeutet eine Visualisierung aus der Vogelperspektive. Die Bildebene der Kamera ist konstruktionsbedingt und hängt von der Kamera selbst wie auch dem Winkel ab, in dem diese verbaut ist. Es ist denkbar, dass die Bildebene der Kamera im Wesentlichen eine vertikale Ebene ist, dann steht die zweite Ebene im Wesentlichen senkrecht auf der Bildebene, sodass eine Ansicht von oben bzw. aus der Vogelperspektive resultiert.The first plane can be an image plane of a camera and the second plane can be a plane that is essentially parallel to a substrate (in front of the camera or in its recording area). The ground can be, for example, a lane or road on which a (recognized) vehicle is located. The underground can therefore be the street, so that the second level can also be the street level. This means a visualization from a bird's eye view. The image plane of the camera is construction-related and depends on the camera itself as well as the angle at which it is installed. It is conceivable that the image plane of the camera is essentially a vertical plane, then the second plane is essentially perpendicular to the image plane, so that a view from above or from the bird's eye view results.

Bei der Kamera kann es sich um eine (fest) installierte Kamera handeln, wie z.B. bei einer Infrastruktursensorik der Fall. Der Vorteil von fest installierter Sensorik ist, dass sich ein Koordinatensystem nicht verschiebt. Für fest installierte Sensoren ist die Homographie daher statisch. Ein Einsatz in einem (beweglichen) Fahrzeug ist ebenfalls denkbar. Dann muss jedoch die Homographie laufend neu berechnet werden, da sich das Sichtfeld einer am Fahrzeug angebrachten Kamera und damit das Koordinatensystem bei einer Bewegung des Fahrzeugs laufend ändert.The camera can be a (permanently) installed camera, as is the case with infrastructure sensors, for example. The advantage of permanently installed sensors is that a coordinate system does not shift. The homography is therefore static for permanently installed sensors. Use in a (moving) vehicle is also conceivable. Then, however, the homography has to be continuously recalculated, since the field of view of a camera attached to the vehicle and thus the coordinate system changes continuously when the vehicle moves.

Das IoU Verfahren kann ein Bestimmen von Objekten in dem ersten und dem zweiten Bild in der ersten Ebene, ein Bestimmen von Begrenzungskästen, die die bestimmten Objekte (komplett) einschließen, und ein Bestimmen einer Größe der bestimmten Begrenzungskästen und einer Größe eines Überlappungsbereichs der bestimmten Begrenzungskästen aufweisen. Ferner kann das IoU Verfahren ein Vergleichen eines Verhältnisses basierend auf der Größe der bestimmten Begrenzungskästen und der Größe des Überlappungsbereichs der bestimmten Begrenzungskästen mit einem ersten vorbestimmten Grenzwert aufweisen.The IoU method may include determining objects in the first and second images in the first plane, determining bounding boxes that (completely) enclose the particular objects, and determining a size of the particular bounding boxes and a size of an overlap area of the particular bounding boxes exhibit. Further, the IoU method may include comparing a ratio based on the size of the determined bounding boxes and the size of the overlap area of the determined bounding boxes with a first predetermined limit value.

Das IoU Verfahren kann insbesondere durch folgende Formel beschrieben werden: $IoU (a, b) = \frac{Fl \ddot{a} che (a) \cap Fl \ddot{a} che (b)}{Fl \ddot{a} che (a) \cup Fl \ddot{a} che (b)} > σ_{I o U}$

mit: IoU = Verhältnis
a = Begrenzungskasten erstes Bild
b = Begrenzungskasten zweites Bild
Fläche (a) = Flächeninhalt Begrenzungskasten erstes Bild
Fläche (b) = Flächeninhalt Begrenzungskasten zweites Bild
σ_Iou = erster GrenzwertThe IoU method can in particular be described by the following formula:

IoU (a, b) = \frac{Fl \ddot{a} che (a) \cap Fl \ddot{a} che (b)}{Fl \ddot{a} che (a) \cup Fl \ddot{a} che (b)} > σ_{I. O U}

with: IoU = ratio
a = bounding box first image
b = bounding box second image
Area (a) = area of bounding box first image
Area (b) = area bounding box second image
σ _Iou = first limit value

Dabei stellt der Zähler in obiger Formel als Schnittmenge der Fläche der Begrenzungskästen a und b den Überlappungsbereich bzw. den Flächeninhalt des Überlappungsbereichs und der Nenner die Vereinigungsmenge der Flächen beider Begrenzungskästen a und b dar.The numerator in the above formula represents the overlap area or the area of the overlap area as the intersection of the area of the bounding boxes a and b, and the denominator represents the union of the areas of both bounding boxes a and b.

Ferner kann eine erste Position eines Punktes eines der bestimmten Begrenzungskästen in dem ersten Bild in der zweiten Ebene gemessen werden. Mittels des Kalman-Filters kann eine Soll-Position des Punktes des einen der bestimmten Begrenzungskästen in dem zweiten Bild in der zweiten Ebene basierend auf der gemessenen ersten Position des Punktes geschätzt werden. Es kann eine zweite Position des Punktes des einen der bestimmten Begrenzungskästen in dem zweiten Bild in der zweiten Ebene gemessen werden. Eine Abweichung der durch Schätzung erhaltenen Soll-Position und der durch Messung erhaltenen zweiten Position kann bestimmt werden. Die Abweichung kann mit einem zweiten vorbestimmten Grenzwert verglichen werden.Furthermore, a first position of a point of one of the determined bounding boxes in the first image can be measured in the second plane. By means of the Kalman filter, a nominal position of the point of the one of the determined bounding boxes in the second image in the second plane can be estimated based on the measured first position of the point. A second position of the point of the one of the determined bounding boxes in the second image in the second plane can be measured. A deviation of the target position obtained by estimation and the second position obtained by measurement can be determined. The deviation can be compared with a second predetermined limit value.

Das Erkennen des Objekts kann basierend auf einem Ergebnis des Vergleichs des Verhältnisses der Größe der bestimmten Begrenzungskästen und der Größe des Überlappungsbereichs der bestimmten Begrenzungskästen mit dem ersten vorbestimmten Grenzwert und dem Vergleich der Abweichung mit dem zweiten vorbestimmten Grenzwert erfolgen. Denkbar ist, dass das Objekt in dem ersten und dem zweiten Bild als dasselbe erkannt wird, wenn der erste Grenzwert überschritten (großer IoU) und der zweite Grenzwert unterschritten (kleine Abweichung der Schätzung zu gemessener Position bzw. Ist-Position) sind, d.h. beide Bedingungen erfüllt sind. Es ist ferner denkbar, dass diese beiden Bedingungen innerhalb einer vorbestimmten Zeitspanne erfüllt sein müssen (dritte Bedingung), damit das Objekt in dem ersten und dem zweiten Bild als dasselbe erkannt wird.The object can be recognized based on a result of the comparison of the ratio of the size of the determined bounding boxes and the size of the overlap area of the certain bounding boxes with the first predetermined limit value and the comparison of the deviation with the second predetermined limit value. It is conceivable that the object in the first and the second image is recognized as the same when the first limit value is exceeded (large IoU) and the second limit value is undershot (small deviation of the estimate from the measured position or actual position), ie both Conditions are met. It is also conceivable that these two conditions must be met within a predetermined time period (third condition) so that the object in the first and the second image is recognized as the same.

Das zumindest teilweise Umrechnen des ersten und des zweiten Bildes von der ersten Ebene in die zweite Ebene kann basierend auf einer Homographie unter Verwendung von zumindest vier Punktkorrespondenzen erfolgen.The at least partial conversion of the first and second images from the first level into the second level can be carried out based on a homography using at least four point correspondences.

Mit der Homographie kann die Bildebene der Kamera auf die Straßenebene projiziert werden (Vogelperspektive). Dazu sind mindestens vier Punktkorrespondenzen erforderlich. Punktkorrespondenzen können alle Punkte sein, die auf Bild- und/oder Satellitenbildern (leicht) zu erkennen sind, z.B. Anfangs- und/oder Endpunkte von Fahrbahnmarkierungen, Masten und/oder Bauwerke usw..With the homography, the image plane of the camera can be projected onto the street level (bird's eye view). At least four point correspondences are required for this. Point correspondences can be all points that can be (easily) recognized on image and / or satellite images, e.g. start and / or end points of road markings, masts and / or structures, etc.

Ferner wird ein Verfahren zur Bestimmung einer Trajektorie eines erkannten Objekts bereitgestellt. Dabei wird durch Anwenden des oben beschriebenen Verfahrens ein Objekt erkannt und die Trajektorie des erkannten Objekts basierend auf einer Position des erkannten Objekts bestimmt.Furthermore, a method for determining a trajectory of a recognized object is provided. By using the method described above, an object is recognized and the trajectory of the recognized object is determined based on a position of the recognized object.

Bei dem vorliegenden Verfahren kann ein erkanntes Objekt, genauer gesagt dessen Position, mit einer bereits existierenden Trajektorie des Objekts verknüpft werden. Dabei basiert die Erkennung des Objekts im Vergleich zu einem herkömmlichen IoU-Tracker bzw. IoU Verfahren nicht nur auf der IoU bzw. dem Überlappungsbereich im Verhältnis zum Flächeninhalt der Begrenzungskästen in der ersten Ebene, bevorzugt der Bildebene, sondern auch auf einem Abstand der erkannten Objekte in der zweiten Ebene, bevorzugt der Straßenebene.In the present method, a recognized object, more precisely its position, can be linked to an already existing trajectory of the object. In comparison to a conventional IoU tracker or IoU method, the detection of the object is not only based on the IoU or the overlap area in relation to the area of the delimitation boxes in the first level, preferably the image level, but also on a distance between the detected objects in the second level, preferably the street level.

Die oben beschriebenen Verfahren können zur Verfolgung bzw. zum „Tracken“ eines Fahrzeugs oder eines Verkehrsstroms mit mehreren Fahrzeugen, beispielsweise für Anwendungen zur Verkehrsüberwachung und -optimierung, verwendet werden. Theoretisch ist auch denkbar, dass ein Luftfahrzeug oder ein Verkehrsstroms mit mehreren Luftfahrzeugen getrackt wird, sodass eine Extraktion dessen/deren Flugbahn(en) zur Erzeugung eines Trainingsdatensatzes zur Anwendung beim maschinellen Lernen erfolgen kann. Ferner ist es möglich Personen zu erkennen und eine Absichtseinschätzung zu treffen, d.h. basierend auf der bisherigen Trajektorie und Wahrscheinlichkeitsrechnung zu berechnen, wie sich die erkannte Person wahrscheinlich fortbewegen wird, z.B. ob sie eine Straße überqueren wird.The methods described above can be used to track or “track” a vehicle or a traffic flow with several vehicles, for example for applications for traffic monitoring and optimization. Theoretically, it is also conceivable that an aircraft or a traffic flow with several aircraft is tracked so that its trajectory (s) can be extracted to generate a training data set for use in machine learning. It is also possible to recognize people and to make an assessment of their intention, i.e. to calculate based on the previous trajectory and probability calculation how the recognized person is likely to move, e.g. whether they will cross a street.

Ferner wird eine Steuervorrichtung, die zu einer Kamera verbindbar ist und ausgestaltet ist, eines der oben beschriebenen Verfahren durchzuführen, bereitgestellt.Furthermore, a control device which can be connected to a camera and is designed to carry out one of the methods described above is provided.

Die Steuervorrichtung kann in bzw. an einem Fahrzeug verbaut sein. Denkbar ist auch, dass das die Steuervorrichtung für eine oder mehrere (ggf. fest) installierte Kameras bereitgestellt wird, wie zum Beispiel Kameras als Infrastruktursensoren oder Kameras, die an Decken installiert sind. Das oben zu den Verfahren Beschriebene gilt analog auch für die Steuervorrichtung.The control device can be installed in or on a vehicle. It is also conceivable that the control device is provided for one or more (possibly permanently) installed cameras, such as cameras as infrastructure sensors or cameras that are installed on ceilings. The above too What is described in the method also applies analogously to the control device.

Ferner wird ein System aufweisend die oben beschriebene Steuervorrichtung und eine zur Steuervorrichtung verbundene Kamera bereitgestellt. Das oben zur Steuervorrichtung Beschriebene gilt analog auch für das System. Gleiches gilt für die Verfahren.Furthermore, a system comprising the control device described above and a camera connected to the control device is provided. What is described above for the control device also applies analogously to the system. The same applies to the procedures.

Ferner wird ein Fahrzeug bereitgestellt. Das Fahrzeug kann ausgestaltet sein, um zumindest teilweise automatisiert zu fahren. Das automatisierte Fahren kann so erfolgen, dass die Fortbewegung des Fahrzeugs (weitgehend) autonom erfolgt. Das Fahrzeug kann ein Fahrzeug der Automatisierungsstufe 1 sein, d.h. bestimmte Fahrerassistenzsysteme aufweisen, die den Fahrer bei der Fahrzeugbedienung, beispielsweise der Abstandsregeltempomat (ACC), unterstützen. Das Fahrzeug kann ein Fahrzeug der Automatisierungsstufe 2 sein, d.h. so teilautomatisiert sein, dass Funktionen wie automatisches Einparken, Spurhalten bzw. Querführung, allgemeine Längsführung, Beschleunigen und/oder Abbremsen von Fahrerassistenzsystemen übernommen werden. Das Fahrzeug kann ein Fahrzeug der Automatisierungsstufe 3 sein, d.h. so bedingungsautomatisiert, dass der Fahrer das System Fahrzeug nicht durchgehend überwachen muss. Das Fahrzeug führt selbstständig Funktionen wie das Auslösen des Blinkers, Spurwechsel und/oder Spurhalten durch. Der Fahrer kann sich anderen Dingen zuwenden, wird aber bei Bedarf innerhalb einer Vorwarnzeit vom System aufgefordert die Führung zu übernehmen. Das Fahrzeug kann ein Fahrzeug der Automatisierungsstufe 4 sein, d.h. so hochautomatisiert, dass die Führung des Fahrzeugs dauerhaft vom System Fahrzeug übernommen wird. Werden die Fahraufgaben vom System nicht mehr bewältigt, kann der Fahrer aufgefordert werden, die Führung zu übernehmen. Das Fahrzeug kann ein Fahrzeug der Automatisierungsstufe 5 sein, d.h. so vollautomatisiert, dass der Fahrer zum Erfüllen der Fahraufgabe nicht erforderlich ist. Außer dem Festlegen des Ziels und dem Starten des Systems ist kein menschliches Eingreifen erforderlich. Das Fahrzeug der Automatisierungsstufe 5 kann ggf. ohne Lenkrad und Pedale auskommen.A vehicle is also provided. The vehicle can be configured to drive at least partially in an automated manner. Automated driving can take place in such a way that the vehicle moves (largely) autonomously. The vehicle can be a vehicle of the automation level 1 be, ie have certain driver assistance systems that support the driver in operating the vehicle, for example adaptive cruise control (ACC). The vehicle can be a vehicle of automation level 2, ie it can be partially automated in such a way that functions such as automatic parking, lane keeping or lateral guidance, general longitudinal guidance, acceleration and / or braking are taken over by driver assistance systems. The vehicle can be a vehicle of automation level 3, ie conditionally automated in such a way that the driver does not have to continuously monitor the vehicle system. The vehicle independently performs functions such as triggering the indicator, changing lanes and / or keeping in lane. The driver can focus on other things, but if necessary the system prompts them to take the lead within a warning period. The vehicle can be a vehicle of automation level 4, ie it can be so highly automated that the vehicle system is permanently taken over by the vehicle system. If the system can no longer handle the driving tasks, the driver can be asked to take the lead. The vehicle can be a vehicle of automation level 5, ie it can be fully automated in such a way that the driver is not required to carry out the driving task. No human intervention is required other than setting the destination and starting the system. The vehicle of automation level 5 can possibly do without a steering wheel and pedals.

Die Steuervorrichtung kann ausgestaltet sein, eine Bewegung des Fahrzeugs basierend auf der Trajektorie des erkannten Objekts zu steuern.The control device can be designed to control a movement of the vehicle based on the trajectory of the detected object.

Zusammengefasst können gemäß den obigen Verfahren und Vorrichtungen zur Objekterkennung und Trajektorienextraktion bzw. -bestimmung zwei optische Ebenen bzw. Perspektiven genutzt werden. Ein Kalman-Filter kann in eine zweite Ebene bzw. Straßenebene eingebaut werden. Eine Transformation zwischen der ersten Ebene bzw. Bildebene und der Straßenebene kann auf einer Homographie basieren. Eine Erkennung des Objekts kann einer vorhandenen Trajektorien basierend auf einer Kombination aus der IoU, insbesondere deren Begrenzungskästen, und dem Abstand zwischen dem Objekt und der Kalman-Filter-Vorhersage in der Straßenebene zugeordnet werden.In summary, according to the above methods and devices for object recognition and trajectory extraction or determination, two optical planes or perspectives can be used. A Kalman filter can be built into a second level or street level. A transformation between the first level or image level and the street level can be based on a homography. A detection of the object can be assigned to an existing trajectory based on a combination of the IoU, in particular its bounding boxes, and the distance between the object and the Kalman filter prediction in the street level.

Nachfolgend wird eine Ausführungsform mit Bezug zu 1, 2 und 3 beschrieben.

1 zeigt schematisch System mit einer Steuervorrichtung, die ausgestaltet ist, das in 2 mittels eines Ablaufdiagramms schematisch dargestellte Verfahren zur Bestimmung einer Trajektorie eines erkannten Objekts gemäß der Ausführungsform durchzuführen.
2 zeigt das schematische Ablaufdiagramm des Verfahrens zur Bestimmung der Trajektorie des erkannten Objekts gemäß der Ausführungsform.
3 zeigt eine Bildebene und eine Straßenebene mit Begrenzungskästen über eine Zeit, die im in 2 mittels des Ablaufdiagramms schematisch dargestellten Verfahrens verwendet werden.

The following is an embodiment with reference to FIG 1 , 2 and 3 described.

1 FIG. 11 schematically shows a system with a control device which is embodied in FIG 2 to carry out a method for determining a trajectory of a recognized object according to the embodiment, shown schematically by means of a flowchart.
2 shows the schematic flow diagram of the method for determining the trajectory of the recognized object according to the embodiment.
3 shows an image plane and a street plane with bounding boxes over a time set in in 2 can be used by means of the method shown schematically in the flowchart.

Das in 1 dargestellte System 1, beispielsweise angebracht an einem Fahrzeug und/oder als Teil einer Infrastruktursensorik, weist eine Steuervorrichtung 11 und eine zur Steuervorrichtung 11 verbundene Kamera 12 auf. Die Steuervorrichtung 11 ist ausgestaltet, das nachfolgend im Detail mit Bezug zu 2 und 3 beschriebene Verfahren durchzuführen bzw. auszuführen.This in 1 illustrated system 1 , for example attached to a vehicle and / or as part of an infrastructure sensor system, has a control device 11 and one to the control device 11 connected camera 12th on. The control device 11 is designed to refer to in detail below 2 and 3 to carry out or to carry out the described procedure.

Die Steuervorrichtung 11 weist eine Eingangsschnittstelle 111, eine Ausgangsschnittstelle 112, einen Speicher 113 und einen zu den vorgenannten Vorrichtungen verbunden Prozessor 114 auf.The control device 11 has an input interface 111 , an output interface 112 , a memory 113 and a processor connected to the aforementioned devices 114 on.

Die Kamera 12 ist ausgestaltet, eine Umgebung des Systems 1 visuell zu erfassen. Genauer gesagt erfasst die Kamera 12, die vorliegend eine Videokamera ist, Bilder in zeitlicher Abfolge, d.h. ein Video, der Umgebung des Systems 1.The camera 12th is designed, an environment of the system 1 to capture visually. More precisely, the camera records 12th , which in the present case is a video camera, images in chronological order, ie a video, of the system's surroundings 1 .

Die Kamera 12 ist ausgestaltet, die erfassten Bilder zu der Steuervorrichtung 11 auszugegeben. Genauer gesagt ist die Kamera 12 ausgestaltet, die erfassten Bilder zu der Eingangsschnittstelle 111 der Steuervorrichtung 11 auszugeben.The camera 12th is configured to send the captured images to the control device 11 issued. More precisely is the camera 12th configured, the captured images to the input interface 111 the control device 11 to spend.

Die Eingangsschnittstelle 111 gibt die von der Kamera 12 empfangenen Bilder zu dem Prozessor 114 ein. Der Prozessor 114 ist ausgestaltet, die empfangenen Bilder als eine Eingangsgröße für einen Algorithmus zu verwenden, der gemäß dem nachfolgend im Detail zu 2 und 3 beschriebenen Verfahren abläuft und im Speicher 113 hinterlegt ist.The input interface 111 gives the from the camera 12th received images to the processor 114 a. The processor 114 is designed to use the received images as an input variable for an algorithm, which according to the following in detail 2 and 3 The procedure described is running and in memory 113 is deposited.

Der Prozessor 114 ist ausgestaltet, ein durch Ausführen des Verfahrens bzw. des Algorithmus gemäß dem Verfahren erhaltenes Ergebnis über die Ausgangsschnittstelle 112 auszugeben, beispielsweise zu einem Fahrzeug und/oder einer Infrastruktursteuerung, damit diese basierend auf dem Ergebnis gesteuert werden kann bzw. können.The processor 114 is configured, a result obtained by executing the method or the algorithm according to the method via the output interface 112 output, for example to a vehicle and / or an infrastructure control, so that this can be controlled based on the result or can.

Es ist denkbar, dass das Ergebnis ein Steuersignal ist. Es ist ferner denkbar, dass eine Quer- und/oder Längsführung eines Fahrzeugs basierend auf dem Steuersignal gesteuert wird/werden. Zusätzlich oder alternativ ist denkbar, dass das Steuersignal eine akustische und/oder visuelle Ausgabe im und/oder (außen) am Fahrzeug und/oder in einer Infrastruktur bedingt.It is conceivable that the result is a control signal. It is also conceivable that transverse and / or longitudinal guidance of a vehicle is / are controlled based on the control signal. Additionally or alternatively, it is conceivable that the control signal causes an acoustic and / or visual output in and / or (outside) the vehicle and / or in an infrastructure.

Nachfolgend wird das Verfahren zur Bestimmung der Trajektorie des erkannten Objekts, das von der Steuervorrichtung 11 ausgeführt wird, mit Bezug zu 2 und 3 im Detail beschrieben.The following is the method for determining the trajectory of the detected object, which is determined by the control device 11 running with reference to 2 and 3 described in detail.

2 zeigt das schematische Ablaufdiagramm des Verfahrens zur Bestimmung der Trajektorie des erkannten Objekts. 3 zeigt eine Bildebene und eine Straßenebene mit Begrenzungskästen über eine Zeit, die im in 2 mittels des Ablaufdiagramms schematisch dargestellten Verfahren verwendet werden. 2 shows the schematic flow diagram of the method for determining the trajectory of the recognized object. 3 shows an image plane and a street plane with bounding boxes over a time set in in 2 by means of the flowchart schematically illustrated method can be used.

Das in 2 dargestellte Verfahren zur Bestimmung einer Trajektorie eines erkannten Objekts weist vier Schritte S1 bis S4 auf.This in 2 The illustrated method for determining a trajectory of a recognized object has four steps S1 until S4 on.

Die Schritte S1 bis S3 stellen dabei ein Verfahren zur visuellen Erkennung eines Objekts dar.The steps S1 to S3 represent a method for the visual recognition of an object.

In einem ersten Schritt S1 werden eine Vielzahl von Bildern von der Kamera 12 zu der Steuervorrichtung 11 in oben beschriebener Weise eingegeben und dem Prozessor 114 der Steuervorrichtung 11 bereitgestellt.In a first step S1 will be a variety of images from the camera 12th to the control device 11 entered in the manner described above and the processor 114 the control device 11 provided.

Die Bilder sind zeitlich aufeinanderfolgend aufgenommene Bilder in einer ersten Ebene. Die erste Ebene ist eine Bildebene der Kamera 12, die beispielsweise eine vertikale Ebene sein kann (d.h. der Normalenvektor der ersten Ebene kann parallel zur Horizontalen verlaufen).The images are images recorded consecutively in time in a first level. The first level is an image level of the camera 12th , which can for example be a vertical plane (ie the normal vector of the first plane can run parallel to the horizontal).

In einem zweiten Schritt S2 rechnet der Prozessor 114 die Bilder von der Bildebene der Kamera 12 in eine zweite Ebene um. Die zweite Ebene entspricht einer Vogelperspektive und kann auch als Straßenebene bezeichnet werden. Die zweite Bildebene kann also eine horizontale Ebene sein (d.h. der Normalenvektor der zweiten Ebene kann parallel zur Vertikalen verlaufen).In a second step S2, the processor calculates 114 the images from the image plane of the camera 12th to a second level. The second level corresponds to a bird's eye view and can also be referred to as the street level. The second image plane can therefore be a horizontal plane (ie the normal vector of the second plane can run parallel to the vertical).

Das Umrechnen der Bilder von der ersten Ebene in die zweite Ebene im zweiten Schritt S2 erfolgt basierend auf einer Homographie unter Verwendung von zumindest vier Punktkorrespondenzen. Als Punktkorrespondenzen werden dafür auf den (von der Kamera aufgenommen) Bildern und/oder im Speicher hinterlegten Satellitenbildern (leicht) zu erkennende Punkte gewählt, z.B. Anfangs- und/oder Endpunkte von Fahrbahnmarkierungen, Masten und/oder Bauwerke usw..The conversion of the images from the first level into the second level in the second step S2 is based on a homography using at least four point correspondences. Points that can be (easily) recognized are selected as point correspondences on the images (recorded by the camera) and / or satellite images stored in the memory, e.g. start and / or end points of road markings, masts and / or structures, etc.

In einem dritten Schritt S3 wird ein Erkennen des Objekts basierend auf einem Intersection-over-Union (loU) Verfahren angewendet auf die Bilder in der Bildebene und einem Kalman-Filter angewendet auf die umgerechneten Bilder in der Straßenebene durchgeführt.In a third step S3, the object is recognized based on an intersection-over-union (loU) method applied to the images in the image plane and a Kalman filter applied to the converted images in the street plane.

Diese Kombination ermöglicht, wie nachfolgend mit Bezug zu 3 im Detail erläutert, eine zuverlässige Objekterkennung auch wenn das zu erkennende Objekt in einem oder mehreren Bildern der Vielzahl von Bildern, die von der Kamera 12 bereitgestellt werden, nicht erkannt werden kann, z.B. weil das Objekt darin verdeckt ist oder weil sich zwei zwar jeweils erkannte Objekte kreuzen, sodass die Zuordnung der Position eines der erkannten Objekte zu der (falschen) Trajektorie des anderen Objekts erfolgt.This combination enables, as follows with reference to 3 Explained in detail, reliable object recognition even if the object to be recognized is in one or more images of the large number of images taken by the camera 12th are provided, cannot be recognized, for example because the object is concealed therein or because two objects that are recognized in each case intersect, so that the assignment of the position of one of the recognized objects to the (false) trajectory of the other object takes place.

In 3 sind auf der linken Seite Begrenzungskästen 2, 3, 4 in der Bildebene und auf der rechten Seite dieselben Begrenzungskästen 2, 3, 4 in der Straßenebene dargestellt. Jeder Begrenzungskasten 2, 3, 4 ist dabei basierend auf einem Frame bzw. einem der Vielzahl von Bildern, die von der Kamera 12 bereitgestellt werden, erzeugt worden. Der Pfeil, der jeweils auf der rechten und der linken Seite angeordnet ist, stellt einen Zeitverlauf dar. Es ist zu erkennen, dass die Begrenzungskästen 2, 3, 4, wie auch die Bilder, zeitlich aufeinanderfolgend erzeugt werden.In 3 are boundary boxes on the left 2 , 3 , 4th the same bounding boxes in the image plane and on the right 2 , 3 , 4th shown at street level. Any bounding box 2 , 3 , 4th is based on a frame or one of the multitude of images taken by the camera 12th provided, has been generated. The arrow, which is arranged on the right and left side, represents a passage of time. It can be seen that the bounding boxes 2 , 3 , 4th , as well as the images, are generated consecutively in time.

Bei den ersten vier Begrenzungskästen 2 wird mittels des Verfahrens zur visuellen Erkennung eines Objekts ein Objekt im dritten Schritt S3 erkannt.At the first four boundary boxes 2 an object is recognized in the third step S3 by means of the method for visual recognition of an object.

Dazu wird im Rahmen des IoU Verfahrens in einem ersten und einem zweiten Bild in der Bildebene (linke Seite in 3), zu denen der zeitlich erste bzw. der zweite der Begrenzungskästen 2 korrespondiert, ein Objekt bestimmt. Basierend darauf werden die Begrenzungskästen 2 bestimmt, die die in den Bildern bestimmten Objekte komplett einschließen. Ferner wird eine Größe der so bestimmten Begrenzungskästen 2 und einer Größe eines Überlappungsbereichs der bestimmten Begrenzungskästen 2 ermittelt.For this purpose, as part of the IoU process, a first and a second image in the image plane (left side in 3 ), to which the temporally first and the second of the bounding boxes 2 corresponds, an object determines. Based on this, the bounding boxes 2 that completely enclose the objects specified in the images. Further, a size of the thus determined bounding boxes becomes 2 and a size of an overlapping area of the determined bounding boxes 2 determined.

Genauer gesagt wird die IoU als Verhältnis mittels folgender Formel bestimmt und mit einem ersten Grenzwert σ_IoUverglichen: $IoU (a, b) = \frac{Fl \ddot{a} che (a) \cap Fl \ddot{a} che (b)}{Fl \ddot{a} che (a) \cup Fl \ddot{a} che (b)} > σ_{I o U}$

mit: IoU = Verhältnis
a = Begrenzungskasten 2 erstes Bild
b = Begrenzungskasten 2 zweites Bild
Fläche (a) = Flächeninhalt Begrenzungskasten 2 erstes Bild
Fläche (b) = Flächeninhalt Begrenzungskasten 2 zweites Bild
σ_Iou = erster GrenzwertMore precisely, the IoU is determined as a ratio using the following formula and compared with a first limit value σ _IoU :

IoU (a, b) = \frac{Fl \ddot{a} che (a) \cap Fl \ddot{a} che (b)}{Fl \ddot{a} che (a) \cup Fl \ddot{a} che (b)} > σ_{I. O U}

with: IoU = ratio
a = bounding box 2 first picture
b = bounding box 2 second picture
Area (a) = area of the bounding box 2 first picture
Area (b) = area of the bounding box 2 second picture
σ _Iou = first limit value

Der Grenzwert σ_IoU für die IoU, also dem gemäß der obigen Formel berechneten Verhältnis, liegt vorliegend bei 0,5. Ist die IoU echt größer als 0,5, so ist eine erste Bedingung zum Bejahen eines Erkennens eines Objekts erfüllt.The limit value σ _IoU for the IoU, that is to say the ratio calculated according to the above formula, is 0.5 in the present case. If the IoU is genuinely greater than 0.5, then a first condition for confirming that an object has been recognized is met.

Ferner wird eine Position eines Punktes des ersten der Begrenzungskästen 2 in dem ersten Bild in der Straßenebene (rechte Seite in 3) gemessen. Mittels des Kalman-Filters wird eine Soll-Position dieses Punktes in dem zweiten Bild in der Straßenebene basierend auf der zuvor gemessenen Position des Punktes geschätzt. Zudem wird die zweite Position dieses Punktes in dem zweiten Bild in der Straßenebene gemessen.Further, a position of a point of the first one of the bounding boxes becomes 2 in the first picture in the street level (right side in 3 ) measured. The Kalman filter is used to estimate a target position of this point in the second image in the street level based on the previously measured position of the point. In addition, the second position of this point is measured in the second image in the street level.

Nun ist es möglich, eine Abweichung der durch Schätzung erhaltenen Soll-Position und der durch Messung erhaltenen Ist-Position des Punktes zu ermitteln.It is now possible to determine a deviation between the nominal position obtained by estimation and the actual position of the point obtained by measurement.

Diese Abweichung wird dann mit einem zweiten vorbestimmten Grenzwert verglichen, der vorliegend bei 3 Meter (m) liegt. Ist die Abweichung echt kleiner als 3 m, so ist eine zweite Bedingung zum Bejahen des Erkennens des Objekts erfüllt.This deviation is then compared with a second predetermined limit value, which in the present case is 3 meters (m). If the deviation is really less than 3 m, then a second condition for confirming the recognition of the object is met.

Anschließend wird eine dritte Bedingung überprüft. Diese setzt voraus, dass die obigen zwei Bedingungen innerhalb einer 1 Sekunde (s) erfüllt sind. Sind alle drei Bedingungen erfüllt, so wird das Objekt in beiden Bildern, d.h. dem ersten und dem zweiten Bild, als dasselbe Objekt erkannt.A third condition is then checked. This assumes that the above two conditions are met within 1 second (s). If all three conditions are met, the object is recognized as the same object in both images, i.e. the first and the second image.

Diese Schritte werden wiederholt für die nachfolgenden Bilder durchgeführt.These steps are repeated for the subsequent images.

Sobald ein Objekt in einem Bild als dasselbe Objekt wie in einem vorangehenden Bild erkannt wird, so wird dessen gemessene Position in einem vierten Schritt S4 zu einer Trajektorie des Objekts hinzugefügt.As soon as an object in an image is recognized as the same object as in a previous image, its position is measured in a fourth step S4 added to a trajectory of the object.

Vorliegend kann jedoch in dem fünften Bild das Objekt, das in den ersten vier Bildern erkannt wurde, nicht mehr bestimmt werden, z.B. weil es verdeckt war. Es kann damit kein Begrenzungskasten 3 bestimmt bzw. erzeugt werden und somit ist der obige Vergleich des IoU im Rahmen des IoU Verfahrens im dritten Schritt S3 nicht möglich und die erste Bedingung ist nicht erfüllt. Damit kann auch keine gemessene Position des Objekts im fünften Bild in der Straßenebene in dem vierten Schritt S4 zu einer Trajektorie des Objekts hinzugefügt werden. Es gilt jedoch zu verhindern, dass aufgrund dieser einen Nicht-Erkennung eine neue, unabhängige Trajektorie für das Objekt erzeugt wird.In the present case, however, the object that was recognized in the first four images can no longer be determined in the fifth image, for example because it was covered. There can be no bounding box with it 3 are determined or generated and thus the above comparison of the IoU in the context of the IoU method in the third step S3 is not possible and the first condition is not met. This means that there can be no measured position of the object in the fifth image in the street level in the fourth step S4 can be added to a trajectory of the object. However, it is important to prevent a new, independent trajectory for the object from being generated on the basis of this one non-detection.

Dies gelingt, da das Objekt in oben beschriebener Weise im dritten Schritt S3 wieder in dem sechsten Bild bestimmt werden und der Begrenzungskasten 3 erzeugt werden kann. Aufgrund der Verwendung des Kalman-Filters, der die Soll-Position zum Zeitpunkt der Aufnahme des sechsten Bildes ausgehend vom vierten Bild schätzt, in dem das Objekt zuletzt erkannt wurde, bleibt auch die zweite Bedingung erfüllt. Ferner ist die IoU zwischen dem vierten und dem sechsten Bild noch ausreichend hoch. Zudem wurden das vierte und das sechste Bild innerhalb einer Sekunde aufgenommen, sodass auch die dritte Bedingung erfüllt ist.This succeeds because the object and the bounding box are again determined in the sixth image in the third step S3 in the manner described above 3 can be generated. Due to the use of the Kalman filter, which estimates the desired position at the time of recording the sixth image based on the fourth image in which the object was last recognized, the second condition also remains fulfilled. Furthermore, the IoU between the fourth and the sixth image is still sufficiently high. In addition, the fourth and sixth images were taken within a second, so that the third condition is also met.

Somit wird in dem vierten Schritt die im sechsten Bild in der Straßenebene gemessene Position des erkannten Objekts zu der basierend auf den ersten vier Bildern erzeugten Trajektorie des Objekts hinzugefügt. Es wird also keine neue, unabhängige Trajektorie für das Objekt erzeugt.Thus, in the fourth step, the position of the recognized object measured in the sixth image in the street level is added to the trajectory of the object generated based on the first four images. So no new, independent trajectory is generated for the object.

Es ist denkbar, dass die so erzeugte Trajektorie über die Ausgangsschnittstelle 112 zu einem Fahrzeug ausgegeben wird, sodass dieses entsprechend gesteuert werden kann, um eine Kollision mit dem erkannten Objekt zu verhindern.It is conceivable that the trajectory generated in this way is via the output interface 112 is output to a vehicle so that it can be controlled accordingly to prevent a collision with the detected object.

BezugszeichenlisteList of reference symbols

11: Systemsystem
1111: SteuervorrichtungControl device
111111: EingangsschnittstelleInput interface
112112: AusgangsschnittstelleOutput interface
113113: SpeicherStorage
114114: Prozessorprocessor
1212th: Kameracamera
2, 3, 42, 3, 4: BegrenzungskastenBounding box
S1-S4S1-S4: VerfahrensschritteProcedural steps

Claims

A method for visual recognition of an object, comprising: providing (S1) at least a first and a second image, the first and the second Image are images recorded consecutively in time in a first plane, at least partially converting (S2) the first and the second image from the first plane into a second plane that is inclined to the first plane, and recognizing (S3) the object based on a Intersection-over-Union (loU) method applied to the first and the second image in the first level and a Kalman filter applied to the at least partially converted first and the at least partially converted second image in the second level.

Procedure according to Claim 1 wherein the first plane is an image plane of a camera and the second plane is a plane which is essentially parallel to a background in the recording area of the camera.

Procedure according to Claim 1 or 2 wherein the IoU method comprises: determining objects in the first and second images in the first plane, determining bounding boxes including the determined objects, determining a size of the determined bounding boxes and a size of an overlap area of the determined bounding boxes, and comparing one Ratio based on the size of the determined bounding boxes and the size of the area of overlap of the determined bounding boxes with a first predetermined limit value.

Procedure according to Claim 3 , wherein: a first position of a point of one of the certain bounding boxes in the first image in the second plane is measured, by means of the Kalman filter a target position of the point of the one of the certain bounding boxes in the second image in the second plane based on the measured first position of the point is estimated, a second position of the point of one of the specific bounding boxes in the second image is measured in the second plane, a deviation of the target position obtained by estimation and the second position obtained by measurement is determined, and the Deviation is compared with a second predetermined limit value.

Procedure according to Claim 4 wherein the detection (S3) of the object is based on a result of the comparison of the ratio of the size of the specific boundary boxes and the size of the overlap area of the specific boundary boxes with the first predetermined limit value and the comparison of the deviation with the second predetermined limit value.

Method according to one of the Claims 1 until 5 , wherein the at least partial conversion of the first and the second image from the first plane into the second plane takes place based on a homography using at least four point correspondences.

A method for determining a trajectory of a recognized object, comprising: recognizing the object by applying the method according to one of the Claims 1 until 6th , and determining (S4) the trajectory of the recognized object based on a position of the recognized object.

Control device (11), which can be connected to a camera (12) and is designed, the method according to one of the Claims 1 until 7th perform.

System (1) comprising the control device (11) according to Claim 8 and a camera (12) connected to the control device (11).

Vehicle having the system (1) according to Claim 9 , wherein the control device (11) is designed to control a movement of the vehicle based on the trajectory of the detected object.