DE102021200923A1

DE102021200923A1 - Computer-implemented method and system for calculating a dimension of a bounding box and training method

Info

Publication number: DE102021200923A1
Application number: DE102021200923.9A
Authority: DE
Inventors: Tobias Christoph Foertsch
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2021-02-02
Filing date: 2021-02-02
Publication date: 2022-08-04

Abstract

Die Erfindung betrifft ein computerimplementiertes Verfahren und System (1) zum Berechnen einer Abmessung (16) einer Bounding Box für ein, durch einen bildgebenden Sensor (10) erfasstes, zumindest abschnittsweise verdecktes Objekt (12) oder eine, durch den bildgebenden Sensor (10) erfasste, zumindest abschnittsweise verdeckte Person (14), ein computerimplementiertes Verfahren zum Bereitstellen eines Algorithmus zum Berechnen einer Abmessung (16) einer Bounding Box für ein, durch einen bildgebenden Sensor (10) erfasstes, zumindest abschnittsweise verdecktes Objekt (12) oder eine, durch den bildgebenden Sensor (10) erfasste, zumindest abschnittsweise verdeckte Person (14), ein Computerprogramm sowie einen computerlesbaren Datenträger.The invention relates to a computer-implemented method and system (1) for calculating a dimension (16) of a bounding box for an object (12) that is detected by an imaging sensor (10) and is at least partially covered, or an object (12) that is covered by the imaging sensor (10) detected, at least partially covered person (14), a computer-implemented method for providing an algorithm for calculating a dimension (16) of a bounding box for an object (12) detected by an imaging sensor (10) and at least partially covered, or a the imaging sensor (10), at least partially covered person (14), a computer program and a computer-readable data carrier.

Description

Die Erfindung betrifft ein computerimplementiertes Verfahren zum Berechnen einer Abmessung einer Bounding Box für ein, durch einen bildgebenden Sensor erfasstes, zumindest abschnittsweise verdecktes Objekt oder eine, durch den bildgebenden Sensor erfasste, zumindest abschnittsweise verdeckte Person.The invention relates to a computer-implemented method for calculating a dimension of a bounding box for an object that is detected by an imaging sensor and is at least partially covered or a person that is detected by the imaging sensor and is at least partially covered.

Die Erfindung betrifft ferner ein computerimplementiertes Verfahren zum Bereitstellen eines Algorithmus zum Berechnen einer Abmessung einer Bounding Box für ein, durch einen bildgebenden Sensor erfasstes, zumindest abschnittsweise verdecktes Objekt oder eine, durch den bildgebenden Sensor erfasste, zumindest abschnittsweise verdeckte Person.The invention further relates to a computer-implemented method for providing an algorithm for calculating a dimension of a bounding box for an object detected by an imaging sensor that is at least partially covered or a person that is detected by the imaging sensor and is at least partially covered.

Die Erfindung betrifft des Weiteren ein System zum Berechnen einer Abmessung einer Bounding Box für ein, durch einen bildgebenden Sensor erfasstes, zumindest abschnittsweise verdecktes Objekt oder eine, durch den bildgebenden Sensor erfasste, zumindest abschnittsweise verdeckte Person.The invention further relates to a system for calculating a dimension of a bounding box for an object that is detected by an imaging sensor and is at least partially covered or a person that is detected by the imaging sensor and is at least partially covered.

Eine Teildisziplin der Umfelderfassung ist das Detektieren von Objekten und/oder Personen. Kamera- bzw. Video-basierte Verfahren ermitteln dazu derzeit typischerweise mit datenbasierten (trainierten) Methoden die Präsenz von Personen und/oder Objekten im Bild und deren Ort im Bild. Der Output und die Visualisierung bestehen üblicherweise aus einem einhüllenden Viereck um die einzelnen Personen, der sogenannten Bounding Box bzw. dem Begrenzungsrahmen.A sub-discipline of environment detection is the detection of objects and/or people. Camera or video-based methods currently typically use data-based (trained) methods to determine the presence of people and/or objects in the image and their location in the image. The output and the visualization usually consist of an enveloping square around the individual persons, the so-called bounding box or the delimiting frame.

Eine Herausforderung ist dabei die Erkennung verdeckter Personen und/oder Objekte. Es stellt sich sodann die Frage, welche Abmessungen die Bounding Box haben sollte. Wenn für die Anwendung die Lokalisierung der Person und/oder des Objekts im zweidimensionalen Bild wichtig ist, sollte die Bounding Box nur die sichtbaren Teile der Person umfassen.One challenge here is the detection of concealed persons and/or objects. The question then arises as to what dimensions the bounding box should have. If the location of the person and/or the object in the two-dimensional image is important for the application, the bounding box should only include the visible parts of the person.

Bei Anwendungen, in denen die Verortung der Person und/oder des Objekts im Raum wichtig ist, etwa bei Fahrerassistenzsystemen, ist es wünschenswert, die gesamte Bounding Box um die komplette Person und/oder das gesamte Objekt herum zu schätzen, so dass beispielsweise über die Position des Fußpunkts eine Berechnung der dreidimensionalen Koordinaten möglich ist.In applications in which the location of the person and/or the object in space is important, such as in driver assistance systems, it is desirable to estimate the entire bounding box around the entire person and/or the entire object, so that, for example, via the Position of the base point a calculation of the three-dimensional coordinates is possible.

Wenn man einen neuen Personen- und/oder Objektdetektor entwickelt, könnte man durch entsprechendes Einzeichnen der Bounding Boxes in den Trainingsdaten Einfluss darauf nehmen, dass der Objektdetektor auch unter Verdeckungen die komplette Person erfasst.If you develop a new person and/or object detector, you could influence the fact that the object detector also detects the entire person under occlusion by drawing the bounding boxes in the training data accordingly.

In der Praxis jedoch übernimmt man bei Produktentwicklungen häufig bestehende Detektoren aus anderen Produkten oder aus FOSS (free and open source software), oder setzt zumindest auf diesen auf. Insbesondere YOLO, eine beliebte Architektur bei künstlichen neuronalen Netzen, mit Netzgewichten, die auf COCO (ein öffentlicher Datensatz) basieren, wird häufig übernommen, gerade weil es fähig ist, verdeckte Personen zu detektieren. Die Bounding Boxes rekonstruieren in diesem Fall jedoch nicht die gesamte Person.In practice, however, existing detectors from other products or from FOSS (free and open source software) are often used when developing products, or at least they are based on them. In particular, YOLO, a popular architecture in artificial neural networks, with network weights based on COCO (a public data set), is widely adopted precisely because of its ability to detect covert individuals. In this case, however, the bounding boxes do not reconstruct the entire person.

Entweder wird der Detektor von vornherein auf diese Aufgabe optimiert, oder es wird an einem bestehenden Detektor untersucht, ob Teilergebnisse in den Rechenschritten des Detektors Rückschluss auf Präsenz und Ort verschiedener Körperteile wie Kopf und Fuß erlauben, die eine Rekonstruktion der Bounding Box ermöglichen.Either the detector is optimized for this task from the outset, or an existing detector is used to examine whether partial results in the calculation steps of the detector allow conclusions to be drawn about the presence and location of various body parts such as the head and foot, which enable a reconstruction of the bounding box.

Der Erfindung liegt somit die Aufgabe zugrunde, ein verbessertes Verfahren und System zum Bestimmen der Bounding Box in einem Bild um eine Person oder ein Objekt, die/das zumindest abschnittsweise verdeckt ist, bereitzustellen.The invention is therefore based on the object of providing an improved method and system for determining the bounding box in an image around a person or an object which is/are at least partially covered.

Die Aufgabe wird mit einem Computerimplementiertes Verfahren zum Berechnen einer Abmessung einer Bounding Box für ein, durch einen bildgebenden Sensor erfasstes, zumindest abschnittsweise verdecktes Objekt oder eine, durch den bildgebenden Sensor erfasste, zumindest abschnittsweise verdeckte Person mit den Merkmalen des Patentanspruchs 1 gelöst.The object is achieved with a computer-implemented method for calculating a dimension of a bounding box for an object that is detected by an imaging sensor and is at least partially covered or a person that is detected by the imaging sensor and is at least partially covered, having the features of patent claim 1.

Darüber hinaus wird die Aufgabe mit einem computerimplementierten Verfahren zum Bereitstellen eines Algorithmus zum Berechnen einer Abmessung einer Bounding Box für ein, durch einen bildgebenden Sensor erfasstes, zumindest abschnittsweise verdecktes Objekt oder eine, durch den bildgebenden Sensor erfasste, zumindest abschnittsweise verdeckte Person mit den Merkmalen des Patentanspruchs 12 gelöst.In addition, the object is achieved with a computer-implemented method for providing an algorithm for calculating a dimension of a bounding box for an object detected by an imaging sensor that is at least partially covered or a person that is detected by the imaging sensor and is at least partially covered with the characteristics of the Patent claim 12 solved.

Des Weiteren wird die Aufgabe mit einem System zum Berechnen einer Abmessung einer Bounding Box für ein, durch einen bildgebenden Sensor erfasstes, zumindest abschnittsweise verdecktes Objekt oder eine, durch den bildgebenden Sensor erfasste, zumindest abschnittsweise verdeckte Person mit den Merkmalen des Patentanspruchs 13 gelöst.Furthermore, the object is achieved with a system for calculating a dimension of a bounding box for an object that is detected by an imaging sensor and is at least partially concealed or a person that is detected by the imaging sensor and is at least partially concealed with the features of claim 13.

Ferner wird die Aufgabe mit einem Computerprogramm mit den Merkmalen des Patentanspruchs 14 und einem computerlesbaren Datenträger mit den Merkmalen des Patentanspruchs 15 gelöst.Furthermore, the task with a computer program with the features of claim 14 and a computer-readable data carrier ger with the features of claim 15 solved.

Offenbarung der ErfindungDisclosure of Invention

Die vorliegende Erfindung schafft ein computerimplementiertes Verfahren zum Berechnen einer Abmessung einer Bounding Box für ein, durch einen bildgebenden Sensor erfasstes, zumindest abschnittsweise verdecktes Objekt oder eine, durch den bildgebenden Sensor erfasste, zumindest abschnittsweise verdeckte Person.The present invention creates a computer-implemented method for calculating a dimension of a bounding box for an object detected by an imaging sensor that is at least partially covered or a person that is detected by the imaging sensor and is at least partially covered.

Das Verfahren umfasst ein Empfangen von Bilddaten, welche einen durch eine erste Bounding Box umgebenen, sichtbaren Bildabschnitt des zumindest abschnittsweise verdeckten Objekts oder der zumindest abschnittsweise verdeckten Person aufweisen.The method includes receiving image data which has a visible image section, surrounded by a first bounding box, of the object that is at least partially concealed or of the person that is at least partially concealed.

Ferner umfasst das Verfahren ein Ermitteln eines numerischen Wertes eines Anteils des sichtbaren Bildabschnitts des zumindest abschnittsweise verdeckten Objekts an dem gesamten Objekt oder der zumindest abschnittsweise verdeckten Person an der gesamten Person durch einen ersten Algorithmus maschinellen Lernens, insbesondere ein künstliches neuronales Netz.The method also includes determining a numerical value of a proportion of the visible image section of the at least partially concealed object in the entire object or the at least partially concealed person in the entire person using a first machine learning algorithm, in particular an artificial neural network.

Des Weiteren umfasst das Verfahren ein Berechnen einer Abmessung einer das gesamte Objekt oder die gesamte Person umgebenden zweiten Bounding Box unter Verwendung des ermittelten numerischen Wertes des Anteils des sichtbaren Bildabschnitts des zumindest abschnittsweise verdeckten Objekts an dem gesamten Objekt oder der zumindest abschnittsweise verdeckten Person an der gesamten Person.The method also includes calculating a dimension of a second bounding box surrounding the entire object or the entire person using the determined numerical value of the proportion of the visible image section of the at least partially covered object to the entire object or the at least partially covered person to the entire Person.

Überdies umfasst das Verfahren umfasst ein Erzeugen einer das gesamte Objekt oder die gesamte Person umgebenden zweiten Bounding Box unter Verwendung der berechneten Abmessung des gesamten Objekts oder der gesamten Person.Furthermore, the method includes creating a second bounding box surrounding the entire object or person using the calculated dimension of the entire object or person.

Die vorliegende Erfindung schafft des Weiteren ein computerimplementiertes Verfahren zum Bereitstellen eines Algorithmus zum Berechnen einer Abmessung einer Bounding Box für ein, durch einen bildgebenden Sensor erfasstes, zumindest abschnittsweise verdecktes Objekt oder eine, durch den bildgebenden Sensor erfasste, zumindest abschnittsweise verdeckte Person.The present invention also provides a computer-implemented method for providing an algorithm for calculating a dimension of a bounding box for an object detected by an imaging sensor that is at least partially covered or a person that is detected by the imaging sensor and is at least partially covered.

Das Verfahren umfasst ein Empfangen von ersten Bilddaten, welche einen durch eine erste Bounding Box umgebenen, sichtbaren Bildabschnitt des zumindest abschnittsweise verdeckten Objekts oder der zumindest abschnittsweise verdeckten Person aufweisen.The method includes receiving first image data, which has a visible image section, surrounded by a first bounding box, of the object that is at least partially covered or of the person that is at least partially covered.

Ferner umfasst das Verfahren ein Empfangen von zweiten Bilddaten, welche den sichtbaren Bildabschnitt und einen verdeckten Bildabschnitt des zumindest abschnittsweise verdeckten Objekts oder der zumindest abschnittsweise verdeckten Person umfassen, wobei eine zweite Bounding Box den sichtbaren Bildabschnitt und den verdeckten Bildabschnitt umgibt.The method also includes receiving second image data, which includes the visible image section and a hidden image section of the at least partially hidden object or the at least partially hidden person, with a second bounding box surrounding the visible image section and the hidden image section.

Des Weiteren umfasst das Verfahren ein Trainieren eines ersten Algorithmus maschinellen Lernens durch einen Optimierungsalgorithmus, welcher einen Extremwert einer Verlustfunktion berechnet.Furthermore, the method includes training a first machine learning algorithm using an optimization algorithm, which calculates an extreme value of a loss function.

Die vorliegende Erfindung schafft ferner ein System zum Berechnen einer Abmessung einer Bounding Box für ein, durch einen bildgebenden Sensor erfasstes, zumindest abschnittsweise verdecktes Objekt oder eine, durch den bildgebenden Sensor erfasste, zumindest abschnittsweise verdeckte Person.The present invention also creates a system for calculating a dimension of a bounding box for an object that is detected by an imaging sensor and is at least partially covered or a person that is detected by the imaging sensor and is at least partially covered.

Das System umfasst Mittel zum Empfangen von Bilddaten, welche einen durch eine erste Bounding Box umgebenen, sichtbaren Bildabschnitt des zumindest abschnittsweise verdeckten Objekts oder der zumindest abschnittsweise verdeckten Person aufweisen.The system includes means for receiving image data, which have a visible image section, surrounded by a first bounding box, of the object that is at least partially concealed or of the person that is at least partially concealed.

Ferner umfasst das System Mittel zum Ermitteln eines numerischen Wertes eines Anteils des sichtbaren Bildabschnitts des zumindest abschnittsweise verdeckten Objekts an dem gesamten Objekt oder der zumindest abschnittsweise verdeckten Person an der gesamten Person unter Verwendung eines ersten Algorithmus maschinellen Lernens, insbesondere eines künstlichen neuronalen Netzes.Furthermore, the system comprises means for determining a numerical value of a proportion of the visible image section of the at least partially concealed object in the entire object or the at least partially concealed person in the entire person using a first machine learning algorithm, in particular an artificial neural network.

Des Weiteren umfasst das System Mittel zum Berechnen einer Abmessung einer das gesamte Objekt oder die gesamte Person umgebenden zweiten Bounding Box unter Verwendung des ermittelten numerischen Wertes des Anteils des sichtbaren Bildabschnitts des zumindest abschnittsweise verdeckten Objekts an dem gesamten Objekt oder der zumindest abschnittsweise verdeckten Person an der gesamten Person.The system also includes means for calculating a dimension of a second bounding box surrounding the entire object or the entire person using the determined numerical value of the proportion of the visible image section of the at least partially covered object in the entire object or the at least partially covered person in the entire person.

Überdies umfasst das System Mittel zum Erzeugen einer das gesamte Objekt oder die gesamte Person umgebenden zweiten Bounding Box unter Verwendung der berechneten Abmessung des gesamten Objekts oder der gesamten Person.Furthermore, the system comprises means for generating a second bounding box surrounding the entire object or person using the calculated dimension of the entire object or person.

Eine Idee der vorliegenden Erfindung ist es, einen Personen- und/oder Objektdetektor, der verdeckte Personen und/oder Objekte zwar detektieren kann, jedoch nicht die komplette Bounding Box um die verdeckten Personen herum schätzt, im Nachhinein durch einen weiteren Schritt um die Fähigkeit zu ergänzen, die Bounding Box um die gesamte verdeckte Person oder das verdeckte Objekt herum zu schätzen.One idea of the present invention is to subsequently use a person and/or object detector that can detect concealed persons and/or objects but does not estimate the complete bounding box around the concealed persons no by adding a further step to the ability to estimate the bounding box around the entire obscured person or object.

Der Vorteil dabei ist, dass der ursprüngliche Detektor nicht modifiziert werden muss, und auch kein neuer Detektor für die Gesamtaufgabe zu entwickeln ist.The advantage of this is that the original detector does not have to be modified, and no new detector has to be developed for the overall task.

Die Einbeziehung des ursprünglichen Detektors in die Entwicklung des zweiten Schritts löst das Problem, dass datenbasierte Methoden typischerweise durch den Bedarf an aufbereiteten, d.h. annotierten Daten eine hohe Arbeitslast erzeugen. Das vorgeschlagene Vorgehen erzeugt sich höherwertige Daten selbst aus Bilddatenrohmaterial mit geringer menschlicher Überwachung.The inclusion of the original detector in the development of the second step solves the problem that data-based methods typically generate a high workload due to the need for prepared, i.e. annotated data. The proposed approach generates higher quality data itself from raw image data with little human supervision.

Vorteilhafte Ausführungsformen und Weiterbildungen ergeben sich aus den Unteransprüchen sowie aus der Beschreibung unter Bezugnahme auf die Figuren.Advantageous embodiments and developments result from the dependent claims and from the description with reference to the figures.

Gemäß einer bevorzugten Weiterbildung ist vorgesehen, dass der numerische Wert des Anteils des sichtbaren Bildabschnitts des zumindest abschnittsweise verdeckten Objekts an dem gesamten Objekt oder der zumindest abschnittsweise verdeckten Person an der gesamten Person in Bezug auf ein entlang einer Vertikalachse und/oder einer Lateralachse des Objekts oder der Person normalisiertes Koordinatensystem einen Anfangspunkt und einen Endpunkt des Objekts oder der Person entlang der Vertikalachse und/oder der Lateralachse angibt.According to a preferred refinement, it is provided that the numerical value of the proportion of the visible image section of the at least partially concealed object in relation to the entire object or of the at least partially concealed person in relation to a vertical axis and/or a lateral axis of the object or the person's normalized coordinate system indicates a starting point and an end point of the object or person along the vertical axis and/or the lateral axis.

Somit kann in vorteilhafter Weise eine Abmessung des sichtbaren Bereichs der Person und/oder des Objekts anhand eines normierten Wertebereichs quantifiziert werden.A dimension of the visible area of the person and/or the object can thus advantageously be quantified using a normalized value range.

Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass der von der ersten Bounding Box umgebene, sichtbare Bildabschnitt des Objekts oder der Person gegenüber dem gesamten Objekt oder der gesamten Person in Vertikalrichtung und/oder Lateralrichtung zumindest abschnittsweise beschnitten ist. Der sichtbare Bereich der Person und/oder des Objekts kann somit als Berechnungsgrundlage zur Berechnung einer vollständigen Abmessung der Person und/oder des Objekts verwendet werden.According to a further preferred development, the visible image section of the object or person surrounded by the first bounding box is cropped at least in sections in the vertical direction and/or lateral direction compared to the entire object or the entire person. The visible area of the person and/or the object can thus be used as a basis for calculating a complete dimension of the person and/or the object.

Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass die empfangenen Bilddaten, welche den durch die erste Bounding Box umgebenen, sichtbaren Bildabschnitt des zumindest abschnittsweise verdeckten Objekts oder der zumindest abschnittsweise verdeckten Person aufweisen, durch einen zweiten Algorithmus maschinellen Lernens, welcher auf die durch den bildgebenden Sensor erfassten Bilddaten angewendet wird, erzeugt werden.According to a further preferred development, it is provided that the received image data, which has the visible image section surrounded by the first bounding box of the at least partially covered object or the at least partially covered person, is processed by a second machine learning algorithm, which is based on the imaging Sensor captured image data is applied are generated.

Der zweite Algorithmus maschinellen Lernens führt dadurch zunächst die Erzeugung der ersten Bounding Box durch, auf welcher Basis durch den ersten Algorithmus maschinellen Lernens anschließend die die Person und/oder das Objekt vollständig umgebene, zweite Bounding Box erzeugbar ist.As a result, the second machine learning algorithm first generates the first bounding box, on the basis of which the first machine learning algorithm can then generate the second bounding box that completely surrounds the person and/or the object.

Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass die das gesamte Objekt oder die gesamte Person umgebende zweite Bounding Box unter Verwendung von Koordinaten der ersten Bounding Box in den durch den bildgebenden Sensor erfassten Bilddaten und der Abmessung der das gesamte Objekt oder die gesamte Person umgebenden zweiten Bounding Box erzeugt wird. Die Verwendung der Koordinaten der ersten Bounding Box zum Erzeugen der zweiten Bounding Box stellen damit in vorteilhafter Weise sicher, dass die zweite Bounding Box an der entsprechend korrekten Position in den Bilddaten bzw. der Szene erzeugt wird.According to a further preferred development, it is provided that the second bounding box surrounding the entire object or the entire person using coordinates of the first bounding box in the image data recorded by the imaging sensor and the dimensions of the second bounding box surrounding the entire object or the entire person bounding box is created. The use of the coordinates of the first bounding box to generate the second bounding box thus advantageously ensures that the second bounding box is generated at the correspondingly correct position in the image data or the scene.

Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass falls der von der ersten Bounding Box umgebene, sichtbare Bildabschnitt des Objekts oder der Person gegenüber dem gesamten Objekt oder der gesamten Person in einer ersten Vertikalrichtung beschnitten ist, die Abmessung der ersten Bounding Box in der ersten Vertikalrichtung um einen Faktor 1/numerischen Wert verlängert wird.According to a further preferred development, it is provided that if the visible image section of the object or person surrounded by the first bounding box is cropped in a first vertical direction compared to the entire object or the entire person, the dimension of the first bounding box in the first vertical direction is extended by a factor of 1/numeric value.

Der numerische Wert kann somit in vorteilhafter Weise zur Berechnung einer erforderlichen Verlängerung der ersten Bounding Box herangezogen werden. The numerical value can thus advantageously be used to calculate a required lengthening of the first bounding box.

Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass falls der von der ersten Bounding Box umgebene, sichtbare Bildabschnitt des Objekts oder der Person gegenüber dem gesamten Objekt oder der gesamten Person in einer zweiten Vertikalrichtung beschnitten ist, die Abmessung der ersten Bounding Box in der zweiten Vertikalrichtung um einen Faktor 1/[1 - numerischen Wert] verlängert wird. Der numerische Wert kann somit in vorteilhafter Weise zur Berechnung einer erforderlichen Verlängerung der ersten Bounding Box herangezogen werden.According to a further preferred development, it is provided that if the visible image section of the object or the person surrounded by the first bounding box is cropped in a second vertical direction compared to the entire object or the entire person, the dimension of the first bounding box in the second vertical direction is lengthened by a factor of 1/[1 - numeric value]. The numerical value can thus advantageously be used to calculate a required lengthening of the first bounding box.

Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass falls der von der ersten Bounding Box umgebene, sichtbare Bildabschnitt des Objekts oder der Person gegenüber dem gesamten Objekt oder der gesamten Person in einer ersten Lateralrichtung beschnitten ist, die Abmessung der ersten Bounding Box in der ersten Vertikalrichtung um einen Faktor 1/numerischen Wert verlängert wird. Der numerische Wert kann somit in vorteilhafter Weise zur Berechnung einer erforderlichen Verbreiterung der ersten Bounding Box herangezogen werden.According to a further preferred development, it is provided that if the visible image section of the object or the person surrounded by the first bounding box is cropped in a first lateral direction compared to the entire object or the entire person, the dimension of the first bounding box in the first vertical direction is extended by a factor of 1/numeric value. The numerical value can thus advantageously be used to calculate a required widening of the first bounding box.

Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass falls der von der ersten Bounding Box umgebene, sichtbare Bildabschnitt des Objekts oder der Person gegenüber dem gesamten Objekt oder der gesamten Person in einer zweiten Lateralrichtung beschnitten ist, die Abmessung der ersten Bounding Box in der zweiten Lateralrichtung um einen Faktor 1/[1 - numerischen Wert] verlängert wird. Der numerische Wert kann somit in vorteilhafter Weise zur Berechnung einer erforderlichen Verbreiterung der ersten Bounding Box herangezogen werden.According to a further preferred development, it is provided that if the visible image section of the object or the person surrounded by the first bounding box is cropped in a second lateral direction compared to the entire object or the entire person, the dimension of the first bounding box in the second lateral direction is lengthened by a factor of 1/[1 - numeric value]. The numerical value can thus advantageously be used to calculate a required widening of the first bounding box.

Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass der von der ersten Bounding Box umgebene, sichtbare Bildabschnitt des Objekts oder der Person eine vorgegebene Anzahl von Pixeln pro Bildseite aufweist oder derart gestreckt oder gestaucht wird, dass dieser eine vorgegebene Anzahl von Pixeln pro Bildseite aufweist. Damit kann sichergestellt werden, dass die innerhalb der ersten Bounding Box dargestellten Bilddaten von dem ersten Algorithmus maschinellen Lernens korrekt verarbeitbar sind.According to a further preferred development, it is provided that the visible image section of the object or person surrounded by the first bounding box has a specified number of pixels per image side or is stretched or compressed in such a way that it has a specified number of pixels per image side. It can thus be ensured that the image data presented within the first bounding box can be correctly processed by the first machine learning algorithm.

Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass die Bilddaten Videodaten, Radardaten, LiDAR-Daten, Ultraschalldaten, Wärmebilddaten und/oder Sonardaten sind.According to a further preferred development, it is provided that the image data are video data, radar data, LiDAR data, ultrasound data, thermal image data and/or sonar data.

Die beschriebenen Ausgestaltungen und Weiterbildungen lassen sich beliebig miteinander kombinieren.The configurations and developments described can be combined with one another as desired.

Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale der Erfindung.Further possible configurations, developments and implementations of the invention also include combinations of features of the invention described above or below with regard to the exemplary embodiments that are not explicitly mentioned.

Figurenlistecharacter list

Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Sie veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Prinzipien und Konzepten der Erfindung.The accompanying drawings are provided to provide a further understanding of embodiments of the invention. They illustrate embodiments and, together with the description, serve to explain principles and concepts of the invention.

Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die dargestellten Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.Other embodiments and many of the foregoing advantages will become apparent by reference to the drawings. The illustrated elements of the drawings are not necessarily shown to scale with respect to one another.

Es zeigen:

1-5 ein Ablaufdiagramm eines computerimplementierten Verfahrens zum Berechnen einer Abmessung einer Bounding Box für ein, durch einen bildgebenden Sensor erfasstes, zumindest abschnittsweise verdecktes Objekt oder eine, durch den bildgebenden Sensor erfasste, zumindest abschnittsweise verdeckte Person gemäß einer bevorzugten Ausführungsform der Erfindung;
6 ein Ablaufdiagramm eines computerimplementierten Verfahrens zum Bereitstellen eines Algorithmus zum Berechnen einer Abmessung einer Bounding Box für ein, durch einen bildgebenden Sensor erfasstes, zumindest abschnittsweise verdecktes Objekt oder eine, durch den bildgebenden Sensor erfasste, zumindest abschnittsweise verdeckte Person gemäß der bevorzugten Ausführungsform der Erfindung; und
7 eine schematische Darstellung eines Systems zum Berechnen einer Abmessung einer Bounding Box für ein, durch einen bildgebenden Sensor erfasstes, zumindest abschnittsweise verdecktes Objekt oder eine, durch den bildgebenden Sensor erfasste, zumindest abschnittsweise verdeckte Person gemäß der bevorzugten Ausführungsform der Erfindung.

Show it:

1-5 a flowchart of a computer-implemented method for calculating a dimension of a bounding box for an object detected by an imaging sensor and at least partially concealed or a person detected by the imaging sensor and at least partially concealed according to a preferred embodiment of the invention;
6 a flow chart of a computer-implemented method for providing an algorithm for calculating a dimension of a bounding box for an object detected by an imaging sensor and at least partially covered or a person detected by the imaging sensor and at least partially covered according to the preferred embodiment of the invention; and
7 a schematic representation of a system for calculating a dimension of a bounding box for an object detected by an imaging sensor and at least partially concealed or a person detected by the imaging sensor and at least partially concealed according to the preferred embodiment of the invention.

In den Figuren der Zeichnungen bezeichnen gleiche Bezugszeichen gleiche oder funktionsgleiche Elemente, Bauteile oder Komponenten, soweit nichts Gegenteiliges angegeben ist.In the figures of the drawings, the same reference symbols designate the same or functionally identical elements, parts or components, unless otherwise stated.

Das in 1 gezeigte Verfahren umfasst ein Empfangen S1 von Bilddaten BD, welche einen durch eine erste Bounding Box B1 umgebenen, sichtbaren Bildabschnitt 12a, 14a des zumindest abschnittsweise verdeckten Objekts 12 oder der zumindest abschnittsweise verdeckten Person 14 aufweisen.This in 1 The method shown includes receiving S1 image data BD, which has a visible image section 12a, 14a, surrounded by a first bounding box B1, of the object 12 that is at least partially covered or of the person 14 that is at least partially covered.

Ferner umfasst das Verfahren ein Ermitteln S2 eines numerischen Wertes W eines Anteils des sichtbaren Bildabschnitts 12a, 14a des zumindest abschnittsweise verdeckten Objekts 12 an dem gesamten Objekt 12 oder der zumindest abschnittsweise verdeckten Person 14 an der gesamten Person 14 durch einen ersten Algorithmus maschinellen Lernens A1, insbesondere ein künstliches neuronales Netz.The method also includes determining S2 a numerical value W of a proportion of the visible image section 12a, 14a of the at least partially covered object 12 in the entire object 12 or the at least partially covered person 14 in the entire person 14 using a first machine learning algorithm A1, in particular an artificial neural network.

Das Verfahren umfasst des Weiteren ein Berechnen S3 einer Abmessung 16 einer das gesamte Objekt 12 oder die gesamte Person 14 umgebenden zweiten Bounding Box B2 unter Verwendung des ermittelten numerischen Wertes W des Anteils des sichtbaren Bildabschnitts 12a, 14a des zumindest abschnittsweise verdeckten Objekts 12 an dem gesamten Objekt 12 oder der zumindest abschnittsweise verdeckten Person 14 an der gesamten Person 14.The method also includes calculating S3 a dimension 16 of a second bounding box B2 surrounding the entire object 12 or the entire person 14 under Ver Use of the determined numerical value W of the proportion of the visible image section 12a, 14a of the at least partially covered object 12 in the entire object 12 or the at least partially covered person 14 in the entire person 14.

Darüber hinaus umfasst das Verfahren ein Erzeugen S4 einer das gesamte Objekt 12 oder die gesamte Person 14 umgebenden zweiten Bounding Box B2 unter Verwendung der berechneten Abmessung 16 des gesamten Objekts 12 oder der gesamten Person 14.In addition, the method includes generating S4 a second bounding box B2 surrounding the entire object 12 or the entire person 14 using the calculated dimension 16 of the entire object 12 or the entire person 14.

Der von der ersten Bounding Box B1 umgebene, sichtbare Bildabschnitt 12a, 14a des Objekts 12 oder der Person 14 ist gegenüber dem gesamten Objekt 12 oder der gesamten Person 14 in Vertikalrichtung zumindest abschnittsweise beschnitten. Alternativ oder zusätzlich kann der von der ersten Bounding Box B1 umgebene, sichtbare Bildabschnitt 12a, 14a des Objekts 12 oder der Person 14 gegenüber dem gesamten Objekt 12 oder der gesamten Person 14 in Lateralrichtung zumindest abschnittsweise beschnitten sein.The visible image section 12a, 14a of the object 12 or the person 14 surrounded by the first bounding box B1 is cropped at least in sections in the vertical direction compared to the entire object 12 or the entire person 14. Alternatively or additionally, the visible image section 12a, 14a of the object 12 or the person 14 surrounded by the first bounding box B1 can be cropped at least in sections in the lateral direction compared to the entire object 12 or the entire person 14.

Die empfangenen Bilddaten BD, welche den durch die erste Bounding Box B1 umgebenen, sichtbaren Bildabschnitt 12a, 14a des zumindest abschnittsweise verdeckten Objekts 12 oder der zumindest abschnittsweise verdeckten Person 14 aufweisen, werden durch einen zweiten Algorithmus maschinellen Lernens A2, welcher auf die durch den bildgebenden Sensor 10 erfassten Bilddaten BD angewendet wird, erzeugt.The received image data BD, which includes the visible image section 12a, 14a of the at least partially covered object 12 or the at least partially covered person 14 surrounded by the first bounding box B1, is processed by a second machine learning algorithm A2, which is based on the imaging Sensor 10 captured image data BD is applied generated.

Die das gesamte Objekt 12 oder die gesamte Person 14 umgebende zweite Bounding Box B2 wird unter Verwendung von Koordinaten der ersten Bounding Box B1 in den durch den bildgebenden Sensor 10 erfassten Bilddaten BD und der Abmessung 16 der das gesamte Objekt 12 oder die gesamte Person 14 umgebenden zweiten Bounding Box B2 erzeugt.The second bounding box B2 surrounding the entire object 12 or person 14 is determined using coordinates of the first bounding box B1 in the image data BD captured by the imaging sensor 10 and the dimension 16 surrounding the entire object 12 or person 14 second bounding box B2 created.

Der von der ersten Bounding Box B1 umgebene, sichtbare Bildabschnitt 12a, 14a des Objekts 12 oder der Person 14 weist eine vorgegebene Anzahl von Pixeln pro Bildseite 15a, 15b auf.The visible image section 12a, 14a of the object 12 or the person 14 surrounded by the first bounding box B1 has a predetermined number of pixels per image side 15a, 15b.

Dies ist erforderlich, um eine Verarbeitung der Bilddaten durch den ersten Algorithmus maschinellen Lernens A1, insbesondere das künstliche neuronale Netz zu gewährleisten. Die Bilddaten BD sind vorzugsweise Videodaten. Alternativ kann es sich bei den Bilddaten BD beispielsweise um Radardaten, LiDAR-Daten, Ultraschalldaten, Wärmebilddaten BD und/oder Sonardaten handeln.This is necessary in order to ensure that the image data is processed by the first machine learning algorithm A1, in particular the artificial neural network. The image data BD are preferably video data. Alternatively, the image data BD can be, for example, radar data, LiDAR data, ultrasound data, thermal image data BD and/or sonar data.

2 zeigt ein Beispiel für eine Abmessung des von der ersten Bounding Box B1 umgebenen sichtbaren Bildabschnitts 14a der zumindest abschnittsweise verdeckten Person gemäß der bevorzugten Ausführungsform der Erfindung. 2 shows an example of a dimension of the visible image section 14a of the person who is at least partially covered, surrounded by the first bounding box B1, according to the preferred embodiment of the invention.

Der numerische Wert W des Anteils des sichtbaren Bildabschnitts 14a der zumindest abschnittsweise verdeckten Person 14 an der gesamten Person 14 gibt in Bezug auf ein entlang einer Vertikalachse V und/oder einer Lateralachse L der Person 14 normalisiertes Koordinatensystem einen Anfangspunkt und einen Endpunkt der Person 14 entlang der Vertikalachse V und/oder der Lateralachse L an.The numerical value W of the proportion of the visible image section 14a of the person 14 who is at least partially concealed in relation to the entire person 14 indicates a starting point and an end point of the person 14 in relation to a coordinate system normalized along a vertical axis V and/or a lateral axis L of the person 14 the vertical axis V and/or the lateral axis L.

Die Vertikalachse V ist hierbei von 0.0 bis 1.0 normiert. Die Lateralachse L ist ebenfalls von 0.0 bis 1.0 normiert. In der mittleren Darstellung ist lediglich der obere Teil der Person sichtbar und von der ersten Bounding Box B1 umgeben. Der sichtbare Abschnitt der Person 14 erstreckt sich über einen Bereich von 0,65 Längeneinheiten entlang der Vertikalachse V. Die Bounding Box soll daher in der ersten Vertikalrichtung V1 verlängert werden.The vertical axis V is normalized from 0.0 to 1.0. The lateral axis L is also normalized from 0.0 to 1.0. In the middle illustration, only the upper part of the person is visible and is surrounded by the first bounding box B1. The visible section of the person 14 extends over a range of 0.65 length units along the vertical axis V. The bounding box should therefore be lengthened in the first vertical direction V1.

In der rechten Darstellung ist lediglich der untere Teil der Person sichtbar und von der ersten Bounding Box B1 umgeben. Der sichtbare Abschnitt der Person 14 erstreckt sich über einen Bereich von 0,45 Längeneinheiten entlang der Vertikalachse V. Die Bounding Box soll daher in der zweiten Vertikalrichtung V2 verlängert werden.In the illustration on the right, only the lower part of the person is visible and is surrounded by the first bounding box B1. The visible section of the person 14 extends over a range of 0.45 length units along the vertical axis V. The bounding box should therefore be lengthened in the second vertical direction V2.

3 zeigt ein weiteres Beispiel für eine Abmessung des von der ersten Bounding Box B1 umgebenen sichtbaren Bildabschnitts 14a der zumindest abschnittsweise verdeckten Person gemäß der bevorzugten Ausführungsform der Erfindung. 3 FIG. 12 shows a further example of a dimension of the visible image section 14a of the person who is at least partially covered, surrounded by the first bounding box B1, according to the preferred embodiment of the invention.

Falls der von der ersten Bounding Box B1 umgebene, sichtbare Bildabschnitt 14a der Person 14 gegenüber der gesamten Person 14 in einer ersten Lateralrichtung L1 beschnitten ist, wird die Abmessung 16 der ersten Bounding Box B1 in der ersten Vertikalrichtung L1 um einen Faktor 1/numerischen Wert W verlängert.If the visible image section 14a of the person 14 surrounded by the first bounding box B1 is cropped in a first lateral direction L1 compared to the entire person 14, the dimension 16 of the first bounding box B1 in the first vertical direction L1 is by a factor of 1/numerical value W extended.

Falls der von der ersten Bounding Box B1 umgebene, sichtbare Bildabschnitt 14a der Person 14 gegenüber der gesamten Person 14 in einer zweiten Lateralrichtung L2 beschnitten ist, wird die Abmessung 16 der ersten Bounding Box B1 in der zweiten Lateralrichtung L2 um einen Faktor 1/[1 - numerischen Wert W] verlängert.If the visible image section 14a of the person 14 surrounded by the first bounding box B1 is cropped in a second lateral direction L2 compared to the entire person 14, the dimension 16 of the first bounding box B1 in the second lateral direction L2 is reduced by a factor of 1/[1 - numerical value W] extended.

In der linken Darstellung ist die Person 14 entlang der Vertikalachse V beidseitig beschnitten. Ein Anfangspunkt des sichtbaren Bereichs bzw. Abschnitts der Person 14 entspricht einem Wert von 0,4 auf der Vertikalachse V und ein Endpunkt des sichtbaren Abschnitts der Person 14 entspricht einem Wert von 0,7 auf der Vertikalachse V. Die Bounding Box soll daher in der ersten Vertikalrichtung V1 und in der zweiten Vertikalrichtung V2 verlängert werden.In the illustration on the left, the person 14 is cropped on both sides along the vertical axis V. A starting point of the visible portion of person 14 corresponds to a value of 0.4 on the vertical axis V and an end point of visible section of the person 14 corresponds to a value of 0.7 on the vertical axis V. The bounding box should therefore be lengthened in the first vertical direction V1 and in the second vertical direction V2.

In der rechten Darstellung ist die Person 14 entlang der Lateralachse L beidseitig beschnitten. Ein Anfangspunkt des sichtbaren Bereichs bzw. Abschnitts der Person 14 entspricht einem Wert von 0,25 auf der Lateralachse L und ein Endpunkt des sichtbaren Abschnitts der Person 14 entspricht einem Wert von 0,6 auf der Lateralachse. Die Bounding Box soll daher in der ersten Lateralrichtung L1 und in der zweiten Lateralrichtung L2 verlängert werden.In the illustration on the right, the person 14 is circumcised on both sides along the lateral axis L. A starting point of the visible portion of the person 14 corresponds to a value of 0.25 on the lateral axis L and an ending point of the visible portion of the person 14 corresponds to a value of 0.6 on the lateral axis. The bounding box should therefore be lengthened in the first lateral direction L1 and in the second lateral direction L2.

4 zeigt ein weiteres Beispiel für eine Abmessung des von der ersten Bounding Box B1 umgebenen sichtbaren Bildabschnitts 14a der zumindest abschnittsweise verdeckten Person gemäß der bevorzugten Ausführungsform der Erfindung. 4 FIG. 12 shows a further example of a dimension of the visible image section 14a of the person who is at least partially covered, surrounded by the first bounding box B1, according to the preferred embodiment of the invention.

Im Gegensatz zu der in 3 gezeigten Darstellung ist die in 4 gezeigte Person in zwei Dimensionen verdeckt bzw. sind die Bilddaten in zwei Dimensionen beschnitten.In contrast to the in 3 shown is the one shown in 4 The person shown is covered in two dimensions or the image data is cropped in two dimensions.

In der linken Darstellung erstreckt sich die erste Bounding Box B1 entlang der Lateralachse L von einem Wert von 0,0 bis zu einem Wert von 0,6. Des Weiteren erstreckt sich die erste Bounding Box B1 entlang der Vertikalachse V von einem Wert von 0,0 bis zu einem Wert von 0,7. Die erste Bounding Box B1 soll daher sowohl in der ersten Vertikalrichtung V1 und in der zweiten Lateralrichtung L2 verlängert werden.In the illustration on the left, the first bounding box B1 extends along the lateral axis L from a value of 0.0 to a value of 0.6. Furthermore, the first bounding box B1 extends along the vertical axis V from a value of 0.0 to a value of 0.7. The first bounding box B1 should therefore be lengthened both in the first vertical direction V1 and in the second lateral direction L2.

In der mittleren Darstellung erstreckt sich die erste Bounding Box B1 entlang der Lateralachse L von einem Wert von 0,3 bis zu einem Wert von 1, d.h. die Verdeckung entlang der Lateralachse L weist einen Wert von 0,3 auf. Ferner erstreckt sich die erste Bounding Box B1 entlang der Vertikalachse V von einem Wert von 0 bis zu einem Wert von 0,7. Die erste Bounding Box B1 soll daher sowohl in der ersten Vertikalrichtung V1 und in der ersten Lateralrichtung L1 verlängert werden.In the middle illustration, the first bounding box B1 extends along the lateral axis L from a value of 0.3 to a value of 1, i.e. the occlusion along the lateral axis L has a value of 0.3. Furthermore, the first bounding box B1 extends along the vertical axis V from a value of 0 to a value of 0.7. The first bounding box B1 should therefore be lengthened both in the first vertical direction V1 and in the first lateral direction L1.

In der rechten Darstellung erstreckt sich die erste Bounding Box B1 entlang der Lateralachse L von einem Wert von 0,3 bis zu einem Wert von 0,6. Ferner erstreckt sich die erste Bounding Box B1 entlang der Vertikalachse V von einem Wert von 0 bis zu einem Wert von 0,7. Die erste Bounding Box B1 soll daher sowohl in der ersten Vertikalrichtung VI, in der ersten Lateralrichtung L1 als auch in der zweiten Lateralrichtung L2 verlängert werden.In the illustration on the right, the first bounding box B1 extends along the lateral axis L from a value of 0.3 to a value of 0.6. Furthermore, the first bounding box B1 extends along the vertical axis V from a value of 0 to a value of 0.7. The first bounding box B1 should therefore be lengthened both in the first vertical direction VI, in the first lateral direction L1 and in the second lateral direction L2.

5 zeigt ein weiteres Beispiel für eine Abmessung des von der ersten Bounding Box B1 umgebenen sichtbaren Bildabschnitts 14a der zumindest abschnittsweise verdeckten Person gemäß der bevorzugten Ausführungsform der Erfindung. In der in 5 gezeigten Darstellung verläuft die Verdeckung der Person 14 entlang einer Kurve, die eine nichtlineare Funktion aufweist. Eine solche Funktion kann beispielsweise durch eine parametrierte Funktion wie beispielsweise eine gewichtete Summe vorgegebener Basisfunktionen gegeben sein. 5 FIG. 12 shows a further example of a dimension of the visible image section 14a of the person who is at least partially covered, surrounded by the first bounding box B1, according to the preferred embodiment of the invention. in the in 5 In the representation shown, the masking of person 14 runs along a curve that has a non-linear function. Such a function can be given, for example, by a parameterized function such as a weighted sum of specified basic functions.

Unter Verwendung dieser Information kann beispielsweise eine Reihenfolge bestimmt werden, in welcher eine Mehrzahl von Personen einer Gruppe dargestellt werden, bzw. wie die Bounding Boxen entsprechend erzeugt werden.Using this information, for example, an order can be determined in which a plurality of people in a group are displayed, or how the bounding boxes are generated accordingly.

6 zeigt ein Ablaufdiagramm eines computerimplementierten Verfahrens zum Bereitstellen eines Algorithmus zum Berechnen einer Abmessung einer Bounding Box für ein, durch einen bildgebenden Sensor erfasstes, zumindest abschnittsweise verdecktes Objekt oder eine, durch den bildgebenden Sensor erfasste, zumindest abschnittsweise verdeckte Person gemäß der bevorzugten Ausführungsform der Erfindung. 6 shows a flowchart of a computer-implemented method for providing an algorithm for calculating a dimension of a bounding box for an object detected by an imaging sensor that is at least partially covered or a person that is detected by the imaging sensor and is at least partially covered, according to the preferred embodiment of the invention.

Das Verfahren umfasst ein Empfangen S1' von ersten Bilddaten BD, welche zumindest einen durch eine erste Bounding Box B1 umgebenen, sichtbaren Bildabschnitt 12a, 14a des zumindest abschnittsweise verdeckten Objekts 12 oder der zumindest abschnittsweise verdeckten Person 14 aufweisen.The method includes receiving S1′ of first image data BD, which has at least one visible image section 12a, 14a, surrounded by a first bounding box B1, of the object 12 that is at least partially covered or of the person 14 that is at least partially covered.

Ferner umfasst das Verfahren ein Empfangen S2' von zweiten Bilddaten BD, welche den sichtbaren Bildabschnitt 12a, 14a und einen verdeckten Bildabschnitt des zumindest abschnittsweise verdeckten Objekts 12 oder der zumindest abschnittsweise verdeckten Person 14 umfassen, wobei eine zweite Bounding Box B2 den sichtbaren Bildabschnitt 12a, 14a und den verdeckten Bildabschnitt umgibt.The method also includes receiving S2' second image data BD, which includes the visible image section 12a, 14a and a covered image section of the at least partially covered object 12 or the at least partially covered person 14, with a second bounding box B2 containing the visible image section 12a, 14a and surrounds the obscured image portion.

Des Weiteren umfasst das Verfahren ein Trainieren S3' eines ersten Algorithmus maschinellen Lernens A1, durch einen Optimierungsalgorithmus A3, welcher einen Extremwert einer Verlustfunktion berechnet.The method also includes training S3′ of a first machine learning algorithm A1 using an optimization algorithm A3, which calculates an extreme value of a loss function.

7 zeigt eine schematische Darstellung eines Systems zum Berechnen einer Abmessung einer Bounding Box für ein, durch einen bildgebenden Sensor erfasstes, zumindest abschnittsweise verdecktes Objekt oder eine, durch den bildgebenden Sensor erfasste, zumindest abschnittsweise verdeckte Person gemäß der bevorzugten Ausführungsform der Erfindung. 7 shows a schematic representation of a system for calculating a dimension of a bounding box for an object that is detected by an imaging sensor and is at least partially covered or an object that is detected by the imaging sensor and is at least partially covered covered person according to the preferred embodiment of the invention.

Das System umfasst Mittel 18 zum Empfangen von Bilddaten BD, welche einen durch eine erste Bounding Box B1 umgebenen, sichtbaren Bildabschnitt 12a, 14a des zumindest abschnittsweise verdeckten Objekts 12 oder der zumindest abschnittsweise verdeckten Person 14 aufweisen.The system includes means 18 for receiving image data BD, which have a visible image section 12a, 14a, surrounded by a first bounding box B1, of the object 12 that is at least partially covered or of the person 14 that is at least partially covered.

Ferner umfasst das System Mittel 20 zum Ermitteln eines numerischen Wertes W eines Anteils des sichtbaren Bildabschnitts 12a, 14a des zumindest abschnittsweise verdeckten Objekts 12 an dem gesamten Objekt 12 oder der zumindest abschnittsweise verdeckten Person 14 an der gesamten Person 14 unter Verwendung eines ersten Algorithmus maschinellen Lernens A1, insbesondere eines künstlichen neuronalen Netzes.Furthermore, the system comprises means 20 for determining a numerical value W of a proportion of the visible image section 12a, 14a of the object 12 that is at least partially concealed in relation to the entire object 12 or of the person 14 that is concealed in at least partially in relation to the entire person 14 using a first machine learning algorithm A1, in particular an artificial neural network.

Des Weiteren umfasst das System Mittel 22 zum Berechnen einer Abmessung 16 einer das gesamte Objekt 12 oder die gesamte Person 14 umgebenden zweiten Bounding Box B2 unter Verwendung des ermittelten numerischen Wertes W des Anteils des sichtbaren Bildabschnitts 12a, 14a des zumindest abschnittsweise verdeckten Objekts 12 an dem gesamten Objekt 12 oder der zumindest abschnittsweise verdeckten Person 14 an der gesamten Person 14.The system also includes means 22 for calculating a dimension 16 of a second bounding box B2 surrounding the entire object 12 or the entire person 14 using the determined numerical value W of the proportion of the visible image section 12a, 14a of the at least partially covered object 12 in the entire object 12 or the at least partially covered person 14 to the entire person 14.

Das System 1 umfasst darüber hinaus Mittel 24 zum Erzeugen einer das gesamte Objekt 12 oder die gesamte Person 14 umgebenden zweiten Bounding Box B2 unter Verwendung der berechneten Abmessung 16 des gesamten Objekts 12 oder der gesamten Person 14.The system 1 also includes means 24 for generating a second bounding box B2 surrounding the entire object 12 or the entire person 14 using the calculated dimension 16 of the entire object 12 or the entire person 14.

Claims

Computer-implemented method for calculating a dimension (16) of a bounding box for an object (12) that is detected by an imaging sensor (10) and is at least partially covered or a person (14) that is detected by the imaging sensor (10) and is at least partially covered. , with the steps: Receiving (S1) of image data (BD) which has a visible image section (12a, 14a) of the at least partially covered object (12) or of the at least partially covered person (14) surrounded by a first bounding box (B1); Determination (S2) of a numerical value (W) of a proportion of the visible image section (12a, 14a) of the object (12) covered at least in sections of the entire object (12) or of the person (14) covered at least in sections of the entire person (14 ) by a first machine learning algorithm (A1), in particular an artificial neural network; Calculating (S3) a dimension (16) of a second bounding box (B2) surrounding the entire object (12) or the entire person (14) using the determined numerical value (W) of the proportion of the visible image section (12a, 14a) of at least partially covered object (12) on the entire object (12) or the at least partially covered person (14) on the entire person (14); and Generating (S4) a second bounding box (B2) surrounding the entire object (12) or the entire person (14) using the calculated dimension (16) of the entire object (12) or the entire person (14).

Computer-implemented method claim 1 , wherein the numerical value (W) of the proportion of the visible image section (12a, 14a) of the at least partially covered object (12) to the entire object (12) or the at least partially covered person (14) to the entire person (14) in Referring to a coordinate system normalized along a vertical axis (V) and/or a lateral axis (L) of the object (12) or person (14), a starting point and an end point of the object (12) or person (14) along the vertical axis ( V) and/or the lateral axis (L).

Computer-implemented method claim 1 or 2 , wherein the visible image section (12a, 14a) of the object (12) or the person (14) surrounded by the first bounding box (B1) faces the entire object (12) or the entire person (14) in the vertical direction and/or Lateral direction is trimmed at least in sections.

Computer-implemented method according to one of the preceding claims, wherein the received image data (BD) which shows the visible image section (12a, 14a) of the at least partially covered object (12) or of the at least partially covered person ( 14), are generated by a second machine learning algorithm (A2), which is applied to the image data (BD) captured by the imaging sensor (10).

Computer-implemented method according to one of the preceding claims, wherein the second bounding box (B2) surrounding the entire object (12) or the entire person (14) using coordinates of the first bounding box (B1) in the by the imaging sensor (10) captured image data (BD) and the dimension (16) of the entire object (12) or the entire Person (14) surrounding the second bounding box (B2) is generated.

Computer-implemented method according to one of the preceding claims, wherein if the visible image section (12a, 14a) of the object (12) or the person (14) surrounded by the first bounding box (B1) faces the entire object (12) or the entire person (14) is cropped in a first vertical direction (V1), the dimension (16) of the first bounding box (B1) is lengthened in the first vertical direction (V1) by a factor of 1/numeric value (W).

Computer-implemented method according to one of the preceding claims, wherein if the visible image section (12a, 14a) of the object (12) or the person (14) surrounded by the first bounding box (B1) faces the entire object (12) or the entire person (14) is cropped in a second vertical direction (V2), the dimension (16) of the first bounding box (B1) is lengthened in the second vertical direction (V2) by a factor 1/[1 - numerical value (W)].

Computer-implemented method according to one of the preceding claims, wherein if the visible image section (12a, 14a) of the object (12) or the person (14) surrounded by the first bounding box (B1) faces the entire object (12) or the entire person (14) is cropped in a first lateral direction (L1), the dimension (16) of the first bounding box (B1) is lengthened in the first vertical direction (L1) by a factor of 1/numeric value (W).

Computer-implemented method according to one of the preceding claims, wherein if the visible image section (12a, 14a) of the object (12) or the person (14) surrounded by the first bounding box (B1) faces the entire object (12) or the entire person (14) is cropped in a second lateral direction (L2), the dimension (16) of the first bounding box (B1) is lengthened in the second lateral direction (L2) by a factor of 1/[1 - numerical value (W)].

Computer-implemented method according to one of the preceding claims, wherein the visible image section (12a, 14a) of the object (12) or of the person (14) surrounded by the first bounding box (B1) has a predetermined number of pixels per image side (15a, 15b) has or is stretched or compressed in such a way that it has a predetermined number of pixels per image side.

Computer-implemented method according to one of the preceding claims, wherein the image data (BD) is video data, radar data, LiDAR data, ultrasound data, thermal image data (BD) and/or sonar data.

Method for providing an algorithm for calculating a dimension (16) of a bounding box for an object (12) that is detected by an imaging sensor (10) and is at least partially covered or a person that is detected by the imaging sensor (10) and is at least partially covered (14), with the steps: Receiving (S1') of first image data (BD) which shows (at least) a visible image section (12a, 14a) surrounded by a first bounding box (B1) of the object (12) covered at least in sections or of the person (14 ) exhibit; Receiving (S2') of second image data (BD), which comprise the visible image section (12a, 14a) and a covered image section of the object (12) that is at least partially covered or of the person (14) that is at least partially covered, with a second bounding box ( B2) surrounds the visible image portion (12a, 14a) and the hidden image portion; and Training (S3') a first machine learning algorithm (A1) by an optimization algorithm (A3) which calculates an extreme value of a loss function.

System (1) for calculating a dimension (16) of a bounding box for an object (12) that is detected by an imaging sensor (10) and is at least partially covered or a person that is detected by the imaging sensor (10) and is at least partially covered ( 14), having: Means (18) for receiving image data (BD) which shows a visible image section (12a, 14a), surrounded by a first bounding box (B1), of the object (12) covered at least in sections or of the person covered at least in sections (14) have; Means (20) for determining a numerical value (W) of a proportion of the visible image section (12a, 14a) of the object (12) covered at least in sections of the entire object (12) or of the person (14) covered at least in sections of the entire person (14) using a first machine learning algorithm (A1), in particular an artificial neural network; Means (22) for calculating a dimension (16) of a second bounding box (B2) surrounding the entire object (12) or the entire person (14) using the determined numerical value (W) of the proportion of the visible image section (12a, 14a ) of the at least partially covered object (12) to the entire object (12) or at least partially covered person (14) to the entire person (14); and means (24) for generating a second bounding box (B2) surrounding the entire object (12) or person (14) using the calculated dimension (16) of the entire object (12) or person (14).

Computer program with program code to implement the method according to one of Claims 1 until 11 to be performed when the computer program is run on a computer.

Computer-readable data carrier with program code of a computer program for the method according to one of Claims 1 until 11 to be performed when the computer program is run on a computer.