DE102016220872A1

DE102016220872A1 - Analysis method for object markers in images based on models

Info

Publication number: DE102016220872A1
Application number: DE102016220872.1A
Authority: DE
Inventors: Alexander Hanel; Andreas Heimrath; Felix Klanner; Horst Klöden
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2016-10-24
Filing date: 2016-10-24
Publication date: 2018-04-26
Also published as: WO2018077745A1; EP3529744A1

Abstract

Es wird ein Analyseverfahren zur Überprüfung einer Position wenigstens einer Objektmarkierung wenigstens eines Bildes, das ein vorbestimmtes Objekt zeigt, bereitgestellt, wobei das Analyseverfahren wenigstens ein Bild mit einer Objektmarkierung aus einem Speicher ausliest und wenigstens einmal prüft, ob die Objektmarkierung für das vorbestimmte Objekt wenigstens einer von wenigstens zwei Klassen eines Modells entspricht, wobei jede Klasse wenigstens eine Position und/oder Größe für die Objektmarkierung bezüglich des vorbestimmten Objekts definiert, und wobei das Modell für jede Prüfung eine Bewertung berechnet, und auf Basis dieser Bewertung ein Signal ausgibt, das eine Qualität der Objektmarkierung anzeigt.An analysis method for checking a position of at least one object mark of at least one image showing a predetermined object is provided, wherein the analysis method reads at least one image with an object mark from a memory and at least once checks whether the object mark for the predetermined object is at least one of at least two classes of a model, each class defining at least one position and / or size for the object mark with respect to the predetermined object, and wherein the model calculates a score for each test and on the basis of that score outputs a signal representing a quality indicates the object mark.

Description

Die Erfindung betrifft ein Verfahren zur Analyse von Objektmarkierungen in Bildern und eine Analyseeinheit zur Durchführung des Verfahrens.The invention relates to a method for analyzing object markers in images and to an analysis unit for carrying out the method.

Die vorliegende Erfindung zeigt ein Analyseverfahren auf, das es erlaubt, eine Qualitätskontrolle für Bilddaten mit einem Label durchzuführen, und eine Aussage darüber zu treffen bzw. zu bewerten, inwieweit eine Objektmarkierung in ihrer Position von einer als ideal angenommenen Position abweicht.The present invention discloses an analysis method that allows to perform a quality control on image data with a label and to make a statement as to how much an object mark deviates in position from a position assumed to be ideal.

Die Erfindung stellt daher ein Analyseverfahren und eine Analyseeinheit gemäß der unabhängigen Ansprüche bereit. Weiterbildungen der Erfindung sind Gegenstand der abhängigen Ansprüche.The invention therefore provides an analysis method and an analysis unit according to the independent claims. Further developments of the invention are the subject of the dependent claims.

In einem ersten Aspekt wird ein Analyseverfahren zur Überprüfung einer Position wenigstens einer Objektmarkierung wenigstens eines Bildes, das ein vorbestimmtes Objekt zeigt, bereitgestellt, wobei das Analyseverfahren wenigstens ein Bild mit einer Objektmarkierung aus einem Speicher ausliest und wenigstens einmal prüft, ob die Objektmarkierung für das vorbestimmte Objekt wenigstens einer von wenigstens zwei Klassen eines Modells entspricht, wobei jede Klasse wenigstens eine Position und/oder Größe für die Objektmarkierung bezüglich des vorbestimmten Objekts definiert, und wobei das Modell für jede Prüfung eine Bewertung berechnet, und auf Basis dieser Bewertung ein Signal ausgibt, das eine Qualität der Objektmarkierung anzeigt.In a first aspect, an analysis method for checking a position of at least one object mark of at least one image showing a predetermined object is provided, the analysis method reading at least one image with an object mark from a memory and checking at least once if the object mark is for the predetermined Object corresponds to at least one of at least two classes of a model, each class defining at least one position and / or size for the object mark with respect to the predetermined object, and wherein the model calculates a score for each test and outputs a signal based on that score, which indicates a quality of the object mark.

Das Signal kann eine Korrektheit der Position der Objektmarkierung für jedes Bild anzeigen. Es kann eine Abweichung der Position und/oder Größe der Objektmarkierung von einer Idealposition in einer Richtung für jedes Bild anzeigen, vorzugsweise unter Angabe eines Maßes für eine Güte und/oder der Abweichung in Pixel. Es kann eine Art und/oder einen Umfang eines auftretenden Fehlers bei der Position und/oder Größe der Objektmarkierung anzeigen, insbesondere eine Abweichung in einer Richtung. Es kann eine Verteilung wenigstens eines Fehlers in der Position und/oder Größe der Objektmarkierung anzeigen.The signal may indicate correctness of the position of the object mark for each image. It may indicate a deviation of the position and / or size of the object mark from an ideal position in one direction for each image, preferably indicating a measure of goodness and / or deviation in pixels. It may indicate a type and / or extent of an occurring error in the position and / or size of the object mark, in particular a deviation in one direction. It may indicate a distribution of at least one error in the position and / or size of the object marker.

Für jedes Bild kann eine Position und/oder Größe der Objektmarkierung spezifiziert sein, insbesondere ein Abstand der Objektmarkierung von einem Rand des Objektes im Bild.For each image, a position and / or size of the object mark may be specified, in particular a distance of the object mark from an edge of the object in the image.

Wenigstens ein Deskriptor kann definiert sein, der das wenigstens eine Bild und/oder Objekt beschreibt, insbesondere wenigstens ein spezifisches Muster, das sich beispielsweise durch eine Verschiebung der Objektmarkierung ergibt. Der Deskriptor kann vorzugsweise ein HOG-Deskriptor oder ein Deskriptor auf Basis von Merkmalen der schnellen Fourier-Transformation und/oder Bildgradienten sein.At least one descriptor may be defined which describes the at least one image and / or object, in particular at least one specific pattern which results, for example, from a displacement of the object marking. The descriptor may preferably be a HOG descriptor or a descriptor based on fast Fourier transform features and / or image gradients.

Jedes Modell kann für diskrete Verschiebungen der Objektmarkierung in einer Richtung mit wenigstens einem Klassifikator, vorzugsweise auf SVM-Basis, erstellt werden.Each model can be constructed for discrete shifts of the object mark in one direction with at least one classifier, preferably SVM-based.

Jedes Modell kann mit Testdaten zur Bestimmung einer Güte einer Position und/oder Größe der Objektmarkierung bewertet werden, wobei vorzugsweise die Bewertung eine Korrektheit der Position und/oder Größe der Objektmarkierung anzeigt.Each model may be evaluated with test data for determining a quality of a position and / or size of the object mark, wherein preferably the score indicates a correctness of the position and / or size of the object mark.

Jedes Modell kann eine erste Klasse aufweisen, die einer Idealposition der Objektmarkierung entspricht und eine zweite Klasse aufweisen, die einer in eine Richtung verschobenen Objektmarkierung entspricht.Each model may have a first class corresponding to an ideal position of the object mark and having a second class corresponding to an unidirectionally shifted object mark.

Eine erste Klasse jedes Modells kann einer Idealposition der Objektmarkierung entsprechen, und eine zweite Klasse kann einer zu dem Modell gehörenden Verschiebung entsprechen. Wenn für ein Modell eine Bewertung bestimmt wird, die über/unter einem vordefinierten Schwellenwert liegt, kann die Objektmarkierung gegen keine weiteren Modelle mehr geprüft werden. Die Objektmarkierung kann einem Modell, das der Verschiebung der Objektmarkierung entspricht, zugeordnet werden.A first class of each model may correspond to an ideal position of the object marker, and a second class may correspond to a displacement associated with the model. If a score is determined to be above / below a predefined threshold for a model, the object marker can no longer be checked against any other models. The object mark can be assigned to a model that corresponds to the displacement of the object mark.

Jedes Modell kann eine erste Klasse aufweisen, die einer Objektmarkierung mit einer ersten Verschiebung in eine Richtung entspricht, und eine zweite Klasse aufweisen, die einer Objektmarkierung mit einer zweiten Verschiebung entspricht, insbesondere einer gegenüber der ersten Klasse größeren Verschiebung in die Richtung. Nach einer Bewertung der Objektmarkierung durch ein Modell kann die Objektmarkierung mit einem anderen Modell bewertet werden. Das andere Modell kann abhängig von der Bewertung gewählt werden und in dem anderen Modell kann die Verschiebung der Objektmarkierung der ersten Klasse und die Verschiebung der Objektmarkierung der zweiten Klasse verändert sein.Each model may have a first class corresponding to an object mark having a first shift in one direction and a second class corresponding to an object mark having a second shift, in particular a greater shift in direction than the first class. After an evaluation of the object mark by a model, the object mark can be evaluated with another model. The other model may be chosen depending on the score, and in the other model, the displacement of the first class object marker and the second class object marker displacement may be changed.

Die Objektmarkierung kann gegen Modelle getestet werden, die den Raum möglicher Verschiebungen aufteilen. Vorzugsweise können die Klassen einer Vielzahl von Modellen im Wesentlichen nicht der Idealposition der Objektmarkierung entsprechen. Im Vergleich zu der Vielzahl können wenige Modelle der Idealposition entsprechen.The object mark can be tested against models that divide the space of possible displacements. Preferably, the classes of a plurality of models may not substantially correspond to the ideal position of the object mark. Compared to the multitude few models can correspond to the ideal position.

Ein Modell kann eine Klasse aufweisen, die einer idealen Objektmarkierung entspricht und mehrere Klassen, die jeweils einer Verschiebung der Objektmarkierung in eine Richtung entsprechen.A model may have a class that corresponds to an ideal object marker and several classes that each correspond to a displacement of the object marker in one direction.

Die Objektmarkierung kann gegen mehrere Klassen eines Modells getestet werden. Auf Basis einer Bewertung kann die Verschiebung bestimmt werden, die der tatsächlichen Verschiebung am wahrscheinlichsten entspricht. The object mark can be tested against several classes of a model. Based on a score, the shift most likely to correspond to the actual shift can be determined.

Das wenigstens eine Modell kann mittels Trainings-Daten mit Bildern und Objektmarkierungen erstellt werden. Für jedes Bild kann spezifiziert sein, zu welcher Objektklasse ein auf dem Bild gezeigtes Objekt gehört.The at least one model can be created by means of training data with images and object markers. For each image, it can be specified to which object class an object shown in the picture belongs.

Die Trainings-Daten können wenigstens teilweise aus den Bildern und Objektmarkierungen durch definierte Verschiebung der Objektmarkierungen zumindest eines Teils der Bilder erzeugt werden.The training data can be generated at least partially from the images and object markings by defined displacement of the object markings of at least a part of the images.

Ein Modell kann durch Online-Learning verbessert werden.A model can be improved through online learning.

Das vorbestimmte und/oder gezeigte Objekt kann ein Fußgänger, Fahrradfahrer, Fahrzeug und/oder Gegenstand sein.The predetermined and / or shown object may be a pedestrian, cyclist, vehicle and / or object.

Die Objektmarkierung kann gegen das Modell, vorzugsweise jedes Modell einer Vielzahl von Modellen, getestet werden.The object mark can be tested against the model, preferably any model of a variety of models.

In einem weiteren Aspekt wird ein Computerprogrammprodukt bereitgestellt, wobei das Computerprogrammprodukt Computerprogrammanweisungen in einem computerlesbaren Speicher speichert, und die Computerprogrammanweisungen zumindest eine Analyseeinheit zur Ausführung eines Analyseverfahrens, wie es hierin beschrieben ist, veranlasst, wenn die Computerprogrammanweisungen von der Analyseeinheit gelesen und/oder ausgeführt werden.In a further aspect, there is provided a computer program product, wherein the computer program product stores computer program instructions in computer readable memory, and the computer program instructions cause at least one analyzer to perform an analysis method as described herein when the computer program instructions are read and / or executed by the analyzer ,

In noch einem weiteren Aspekt wird eine Analyseeinheit zur Überprüfung von wenigstens einer Objektmarkierung in Bilddaten, aufweisend wenigstens einen Speicher, der die Bilddaten, Daten zu Objektmarkierungen und/oder die Trainings-Daten speichert und einen Prozessor, der dazu eingerichtet ist, ein Analyseverfahren, wie es hierin beschrieben ist, auszuführen, wobei die Bilddaten, Daten zu Objektmarkierungen und/oder die Trainings-Daten von der Analyseeinheit aus dem Speicher ausgelesen werden, die Daten und durch den Prozessor verarbeitet werden, und wobei die Analyseeinheit Signale des Analyseverfahrens ausgibt, vorzugsweise in den oder einen weiteren Speicher.In yet another aspect, an analysis unit for checking at least one object mark in image data, comprising at least one memory storing the image data, data on object marks and / or the training data, and a processor adapted to provide an analysis method, such as it is described herein, wherein the image data, data on object marks and / or the training data are read from the memory by the analysis unit, the data and processed by the processor, and wherein the analysis unit outputs signals of the analysis method, preferably in the or another memory.

Die Erfindung wird nunmehr auch mit Blick auf die Figuren beschrieben. Es zeigen:

1 einen allgemeinen exemplarischen Ablauf des Analyseverfahrens,
2 eine schematisch veranschaulichte Bewertung durch Modelle,
3 eine exemplarische erste Anwendung,
4 eine exemplarische zweite Anwendung, und
5 eine schematische Darstellung der Analyseeinheit.

The invention will now be described with reference to the figures. Show it:

1 a general exemplary procedure of the analysis procedure,
2 a schematically illustrated evaluation by models,
3 an exemplary first application,
4 an exemplary second application, and
5 a schematic representation of the analysis unit.

Bei der Umfelderfassung von Fahrzeugen ist es erforderlich, dass Objekte im Umfeld des Fahrzeugs erfasst und insbesondere nachverfolgt werden können. Dies ist für Fahrerassistenzsysteme von Bedeutung, die direkt oder indirekt das Verhalten des Fahrzeugs beeinflussen bzw. eine Information an einen Fahrzeugnutzer ausgeben können. Die Fahrerassistenzsysteme weisen dafür Sensoren und insbesondere optische Sensoren, wie Kameras, auf, um das Fahrzeugumfeld zu erfassen und Objekte im Fahrzeugumfeld zu erkennen. Beispiele für Objekte im Fahrzeugumfeld sind andere Objekte bzw. Verkehrsteilnehmer wie bspw. Personen und insbesondere Fahrradfahrer oder Fußgänger.When detecting the surroundings of vehicles, it is necessary that objects in the vicinity of the vehicle can be detected and, in particular, tracked. This is important for driver assistance systems that directly or indirectly influence the behavior of the vehicle or can output information to a vehicle user. The driver assistance systems for this purpose have sensors and in particular optical sensors, such as cameras, to detect the vehicle environment and to detect objects in the vehicle environment. Examples of objects in the vehicle environment are other objects or road users such as persons and especially cyclists or pedestrians.

Damit ein Fahrerassistenzsystem ein Objekt im Umfeld des Fahrzeugs rechtzeitig erkennen kann und z.B. ein Brems- oder Ausweichmanöver einleiten kann, ist es erforderlich, einen Verkehrsteilnehmer möglichst früh zu erkennen und zu bewerten, wie kritisch ein Verhalten des Verkehrsteilnehmers für das Fahrzeug oder den Fahrtverlauf ist. Dabei ist es möglich, dass durch Anwendung von Bildanalyseverfahren auch Teile des Objekts im Umfeld des Fahrzeuges erkannt werden können und insbesondere Körperteile einer Person.So that a driver assistance system can recognize an object in the surroundings of the vehicle in good time and, for example, initiate a braking or evasive maneuver, it is necessary to recognize a road user as early as possible and to assess how critical behavior of the road user for the vehicle or the course of the journey is. It is possible that by using image analysis method and parts of the object in the environment of the vehicle can be detected and in particular body parts of a person.

Fahrerassistenzsysteme können dabei auf ihren Einsatz mit Methoden des Maschinenlernens vorbereitet werden. Diese basieren auf der automatischen Erkennung von Mustern in Daten von Bildern und dem Bestimmen von Modellen zur Unterscheidung von Daten unterschiedlicher Klassen. Diese Unterscheidung kann ohne Vorwissen (unsupervised) oder mit Vorwissen (supervised) über die zu unterscheidenden Klassen erfolgen.Driver assistance systems can be prepared for their use with methods of machine learning. These are based on the automatic recognition of patterns in data from images and the determination of models to distinguish data from different classes. This distinction can be made without prior knowledge (unsupervised) or with prior knowledge (supervised) about the classes to be distinguished.

Insbesondere kann ein Assistenzsystem mit Modellen ausgestattet sein, die vorgeben, wie ein Fahrerassistenzsystem Bilddaten auszuwerten hat und welche Objektklassen von dem Fahrerassistenzsystem detektiert werden sollen bzw. wie die Objekte detektiert werden sollen.In particular, an assistance system can be equipped with models that specify how a driver assistance system has to evaluate image data and which object classes are to be detected by the driver assistance system or how the objects are to be detected.

Ein Training erfolgt in diesem Fall mit einer Vielzahl von Bildern, die jeweils Objekte der zu erkennenden Objektklassen aufweisen. Beispielsweise kann ein Fahrerassistenzsystem so auf die Erkennung von Fahrradfahrern oder Fußgängern trainiert werden bzw. konfiguriert sein.Training is in this case with a plurality of images, each having objects of the object classes to be recognized. For example, a driver assistance system can be trained or configured to recognize cyclists or pedestrians.

Die Objekte werden normalerweise durch eine Objektmarkierung beschrieben, die auch als „Bounding Box“ bezeichnet wird. Bei der Bounding Box handelt es sich um einen Polygonlinienzug, der das zu erkennende Objekt umgibt. Insbesondere ist der Polygonlinienzug als ein Rechteck ausgebildet, das das Objekt umschließt. Entsprechend kann das Objekt durch die Objektmarkierung beschrieben werden. Die Objektmarkierung kann dabei automatisiert oder durch manuelles Markieren des Objekts mit der Objektmarkierung, dem so genannten „Labeln“ erstellt werden. Das Labeln erfolgt entweder durch einen Experten oder durch einen Laien (Bearbeiter). Ein Label enthält folglich das abgebildete Objekt und ist definiert durch die Bildkoordinaten des Polygonlinienzugs, der das Objekt umgibt.The objects are usually described by an object marker, also called "Bounding box" is called. The bounding box is a polygon line that surrounds the object to be recognized. In particular, the polygonal line is formed as a rectangle enclosing the object. Accordingly, the object can be described by the object mark. The object marking can thereby be automated or created by manually marking the object with the object marking, the so-called "labeling". The labeling is done either by an expert or by a layman (engineer). A label thus contains the imaged object and is defined by the image coordinates of the polygon line surrounding the object.

Für ein Lernen eines Erscheinungsbildes eines Objekts wird also eine hohe Anzahl von Labeln mit einem Objekterkennungsalgorithmus verarbeitet, der ein Maschinenlernen einsetzt oder darauf basiert. Dazu ist es entscheidend, dass die Trainingsdaten möglichst gut bzw. korrekt „gelabelt“ sind, dass also die Bounding Box bzw. die Objektmarkierung für die Objekte in den Bildern möglichst genau platziert wurden.For learning an appearance of an object, therefore, a high number of labels are processed with an object recognition algorithm that employs or is based on machine learning. For this purpose, it is crucial that the training data are "labeled" as well as possible or correctly, ie that the bounding box or the object marking for the objects in the images has been placed as precisely as possible.

Es muss folglich eine Qualitätsprüfung der gelabelten Bilder dahingehend erfolgen, ob die Label bzw. Objektmarkierungen in den Bildern korrekt platziert wurden. Um diese Qualitätskontrolle durchzuführen sind bereits mehrere Ansätze bekannt:Consequently, a quality check of the labeled images must be made as to whether the labels or object markers have been correctly placed in the images. To carry out this quality control, several approaches are already known:

Zunächst kann eine Qualitätskontrolle von Labeln bzw. Objektmarkierungen manuell erfolgen. Die Label werden dann in Bezug auf die Bilder manuell geprüft und es erfolgt stichprobenartig eine Kontrolle durch visuellen Abgleich der Übereinstimmung (Position, Größe) vom Label und im Bild abgebildeten Objekt (vgl. Su, H., Deng, J. and Li, F.-F. (2012). Crowdsourcing Annotations for Visual Object Detection. In: AAAI Human Computation Workshop, pp. 40-46. ). Eine Stichprobenauswahl kann dabei auf einfachem Weg erfolgen, bspw. kann jedes x-te Bild (z.B. jedes 5., 10. oder 15. Bild) oder jedes Bild mit überdurchschnittlich vielen Objekten ausgewählt werden.First, a quality control of labels or object markers can be done manually. The labels are then checked manually with respect to the images and a random check is made by visual matching of the match (position, size) between the label and the object depicted in the image (cf. Su, H., Deng, J. and Li, F.-F. (2012). Crowdsourcing Annotations for Visual Object Detection. In: AAAI Human Computation Workshop, pp. 40-46. ). A sample selection can be made in a simple way, for example, every xth image (eg every 5th, 10th or 15th image) or every image with an above-average number of objects can be selected.

Weiter kann eine stichprobenartige oder vollständige Qualitätskontrolle durch Kreuzvalidierung und durch erneutes und redundantes manuelles Labeln durch zwei Experten oder Laien erfolgen. Dies kann bspw. in einem so genannten Crowdsourcing-Ansatz durchgeführt werden, bei dem jeder Teilnehmer einen Anreiz für das Validieren von Labeln erhält (vgl. auch Labeling durch Laien mit öffentlichem Datensatz und Software-Werkzeug http://labelme2.csail.mit.edu /Release3.0/index.php). Die Kreuzvalidierung kann z.B. auch durch eine große Anzahl von Laien erfolgen, wobei die Validierungsaufgabe in einem Spielekontext erfolgt (vgl. auch Ansatz der Pallas Ludens GmbH, https://pallas-ludens.com).Furthermore, a random or complete quality control can be carried out by cross-validation and by renewed and redundant manual labeling by two experts or laymen. This can be done, for example, in a so-called crowdsourcing approach, in which each participant receives an incentive for the validation of labels (see also labeling by laymen with public record and software tool http://labelme2.csail.mit. edu / Release3.0 / index.php). The cross validation may e.g. also be done by a large number of laymen, the validation task being done in a game context (see also approach of Pallas Ludens GmbH, https://pallas-ludens.com).

Schließlich können zur automatischen Qualitätskontrolle der Label existierende Algorithmen eingesetzt werden, die für ein Objekt umschließende Formen erzeugen. Diese Formen führen insbesondere entlang von Farb- und/oder Helligkeitsgrenzen (bspw. entlang von Grauwertkanten bei einem Graustufenbild). Eine solche Form schmiegt sich dann an ein Objekt an, das auf dem Bild gezeigt ist. Eine Bewertung des Labels erfolgt dann durch Beurteilung der Objektmarkierung mit Bezug auf die durch den Algorithmus generierte Form mit qualitativen Marken (z.B. Flächenlapp Label - Ground Truth (vgl. Vittayakorn, S. and Hays, J. (2011). Quality Assessment for Crowdsourced Object Annotations. In: Hoey, J., McKenna, S. and Trucco, E., eds., Proceedings of the British Machine Vision Conference, BMVA Press, pp. 109.1-109.11. ).Finally, for automatic quality control of the labels, existing algorithms can be used which generate forms enclosing an object. These shapes lead in particular along color and / or brightness boundaries (for example along gray scale edges in the case of a grayscale image). Such a shape then clings to an object shown in the picture. An evaluation of the label is then carried out by evaluating the object mark with reference to the generated by the algorithm form with qualitative marks (eg Flächenlapp Label - Ground Truth (see. Vittayakorn, S. and Hays, J. (2011). Quality Assessment for Crowdsourced Object Annotations. In: Hoey, J., McKenna, S. and Trucco, E., eds., Proceedings of the British Machine Vision Conference, BMVA Press, p. 109.1-109.11. ).

Auch das Verhalten und die Leistung von Bearbeitern kann automatisch durch Bestimmung von numerischen Größen (z.B. benötigte Zeit zum Labeln eines Objekts) abgeschätzt werden. So kann auf die Qualität der Label rückgeschlossen werden (vgl. Sameki, M., Gurari, D. and Betke, M. (2015). Characterizing Image Segmentation Behavior of the Crowd. Collective Intelligence Conference, San Francisco.).Also, the behavior and performance of editors can be estimated automatically by determining numerical sizes (eg time needed to label an object). Thus, the quality of the label can be deduced (see Sameki, M., Gurari, D. and Betke, M. ( 2015 ). Characterizing Image Segmentation Behavior of the Crowd. Collective Intelligence Conference, San Francisco.).

Die bekannten Verfahren zur Qualitätskontrolle von Objektmarkierungen in Bildern erlauben es jedoch nicht, eine Aussage darüber zu treffen bzw. zu bewerten, inwieweit die Objektmarkierung von einer als ideal angenommenen Position abweicht. Es ist daher keine automatisierte Quantifizierung der Abweichung möglich und in der Folge kann auch keine automatische Korrektur einer Objektmarkierung in einem Bild erfolgen. Somit ist auch keine automatische Analyse eines Bilddatensatzes bzgl. einer Struktur und Verteilung von Fehlern bei der Positionierung der Objektmarkierung bzw. in der Bounding Box möglich.The known methods for quality control of object markings in images, however, do not make it possible to make a statement about or evaluate the extent to which the object marking deviates from a position assumed to be ideal. Therefore, no automated quantification of the deviation is possible and consequently no automatic correction of an object marking in an image can take place. Thus, no automatic analysis of an image data set with respect to a structure and distribution of errors in the positioning of the object marking or in the bounding box is possible.

Das Analyseverfahren analysiert also wenigstens ein Bild auf Basis der Bilddaten des Bildes. Ein Objekt, wie z.B. ein Fußgänger oder ein Radfahrer, ist in den Bilddaten durch eine so genannte Objektmarkierung beschrieben. Ziel ist es, eine quantitative und/oder qualitative Aussage über die Lage einer Objektmarkierung in einem Bild zu machen. Eine Qualität von Objektmarkierungen für Bilddatensätze kann dabei auf verschiedene Weise bewertet werden. Basierend auf der Bewertung kann eine Verbesserung der Objektmarkierungen erfolgen.The analysis method thus analyzes at least one image based on the image data of the image. An object, such as a pedestrian or a cyclist, is described in the image data by a so-called object marker. The goal is to make a quantitative and / or qualitative statement about the position of an object mark in an image. A quality of object markers for image data sets can be evaluated in various ways. Based on the rating, the object markers can be improved.

Zunächst kann eine Qualität einzelner Objektmarkierungen eines Datensatzes dadurch bewertet werden, dass zunächst durch das Analyseverfahren eine binäre Ausgabe zur Korrektheit der Position und/oder Größe der Objektmarkierung getroffen bzw. ausgegeben wird. Es kann also ein Signal ausgegeben werden das anzeigt, ob die Objektmarkierung korrekt oder inkorrekt platziert und/oder dimensioniert ist. Es kann auch ausgegeben werden, wie groß eine Abweichung einer Position und/oder Größe der Objektmarkierung von einer Idealposition für die Objektmarkierung ist. Die Idealposition wird insbesondere in einer Trainingsphase definiert. Die Abweichung liegt dann in wenigstens einer Richtung vor, vorzugsweise in einer x- und/oder y-Richtung in einer Bildebene. Es kann auch ein Maß für eine Güte ausgegeben werden.First of all, a quality of individual object markings of a data record can be evaluated by first of all making or outputting a binary output for the correctness of the position and / or size of the object marking by the analysis method. Thus, a signal can be output that indicates whether the object mark is correctly or incorrectly placed and / or is dimensioned. It can also be outputted, how large a deviation of a position and / or size of the object mark from an ideal position for the object marking. The ideal position is defined in particular in a training phase. The deviation is then present in at least one direction, preferably in an x and / or y direction in an image plane. It can also be a measure of a quality spent.

Alternativ oder zusätzlich kann eine Bewertung der Qualität der Objektmarkierungen eines gesamten Bilddatensatzes und/oder von einer Teilmenge des Bilddatensatzes ausgegeben werden. Dann kann eine Aussage über eine Art und/oder einen Umfang der auftretenden Fehler bei der Position und/oder Größe der Objektmarkierung durch das Analyseverfahren ausgegeben werden, z.B. eine systematische Abweichung um bspw. 5 Pixel in x- und/oder y-Richtung. Ebenso kann eine quantitative Aussage über eine Verteilung eines Fehlers bei der Positionierung der Objektmarkierung ausgegeben werden. Eine Analyse der Ursachen für den Fehler, z.B. eine Analyse bestimmter Intensitätsmuster, können zu Abweichungen führen, z.B. von 5 bis 11 Pixel in x- und/oder y-Richtung.Alternatively or additionally, an evaluation of the quality of the object markers of an entire image data record and / or of a subset of the image data record can be output. Then, a statement about a type and / or extent of errors occurring in the position and / or size of the object mark can be output by the analysis method, e.g. a systematic deviation by, for example, 5 pixels in the x and / or y direction. Likewise, a quantitative statement about a distribution of an error in the positioning of the object marking can be output. An analysis of the causes of the error, e.g. an analysis of certain intensity patterns can lead to deviations, e.g. from 5 to 11 pixels in the x and / or y direction.

Weiter kann alternativ oder zusätzlich eine durch das Analyseverfahren eine Ausgabe von als fehlerhaft identifizierten Objektmarkierungen erfolgen, wobei der jeweilige Fehler dann detektiert wird, wenn für eine Eigenschaft der Objektmarkierung ein Schwellenwert überschritten wurde (z.B. für eine Verschiebung). Die als fehlerhaft identifizierten Objektmarkierungen können anschließend manuell Kontrolliert werden.Furthermore, as an alternative or in addition, an object flag identified by the analysis method can be output, the respective error being detected when a threshold for a property of the object marker has been exceeded (for example for a displacement). The object marks identified as defective can then be checked manually.

Wenn ein Fehler in der Position und/oder Größe der Objektmarkierung erkannt wurde, kann basierend darauf ein Vorschlag für eine Korrektur der Position und/oder der Größe der Objektmarkierung ausgegeben werden, und/oder die Objektmarkierung kann automatisch korrigiert werden. Da das Analyseverfahren eine Abweichung vorzugsweise pixelgenau bestimmt, kann die Objektmarkierung z.B. in ihrer Position und/oder Größe in Richtung der Idealposition und/oder einer Idealgröße geändert werden. Die Kontrolle der Qualität der Objektmarkierungen kann in Echtzeit erfolgen. Bereits während der Definition der jeweiligen Objektmarkierung kann mittels des Analyseverfahrens eine Assistenzfunktion für einen Bearbeiter bereitgestellt werden, die Hinweise auf inkorrekte Objektmarkierungen gibt, Vorschläge für eine Korrektur macht und/oder diese automatisch durchführt.Once an error in the position and / or size of the object mark has been detected, a suggestion for correcting the position and / or size of the object mark can be output based thereon and / or the object mark can be automatically corrected. Since the analysis method preferably determines a deviation with pixel precision, the object marking can be determined, for example, by be changed in their position and / or size in the direction of the ideal position and / or an ideal size. The control of the quality of the object markings can be done in real time. Already during the definition of the respective object marking, an assistance function for an agent can be provided by means of the analysis method, which gives indications of incorrect object markings, makes suggestions for a correction and / or carries them out automatically.

Das Analyseverfahren basiert auf Modellen, die vor einer Ausführung des Analyseverfahrens erzeugt werden (z.B. Objektmarkierungen für Fußgänger oder Fahrradfahrer). Für das Erstellen der Modelle werden Daten von Bildern und Objektmarkierungen benötigt. Zu jedem Bild, gehört eine Objektmarkierung und eine Angabe darüber, zu welcher Klasse das auf dem Bild gezeigt Objekt gehört (z.B. zur Klasse „Fußgänger“ oder „Fahrradfahrer“). Weiter sind die Position und Größe jeder Objektmarkierung (z.B. umschließender Polygonlinienzug bzw. umschließende Rechtecklinie) definiert, die das Objekt im Bild umschließt.The analysis method is based on models generated prior to execution of the analysis method (e.g., pedestrian or cyclist object markers). Creating the models requires data from images and object markers. Each image includes an object marker and an indication of which class the object shown in the image belongs to (e.g., the "pedestrian" or "cyclist" class). Further, the position and size of each object mark (e.g., enclosing polygon line or enclosing rectangle line) defining the object in the image is defined.

Die Modelle können unter Verwendung von vorzugsweise hochwertigen Ausgangsdaten (jeweils Bild und Objektmarkierung) erstellt werden. Hierbei können besondere Anforderungen an Daten bestehen, wie z.B. ein definierter Abstand der Objektmarkierung von einem Rand des Objektes im Bild. Es können auch weitere Daten durch definierte Verschiebungen korrekter Objektmarkierungen in Bildern erzeugt werden. Ausgangsdaten sind dabei Bilder mit korrekten Objektmarkierungen hinsichtlich Position und/oder Größe und Bilder, die aus diesen durch definiert verschobene Objektmarkierungen generiert wurden. Diese bilden Trainingsdaten für das Analyseverfahren.The models can be created using preferably high-quality output data (in each case image and object marking). There may be special requirements for data such as e.g. a defined distance of the object mark from an edge of the object in the image. Other data can also be generated by defined shifts of correct object markers in pictures. Output data are images with correct object markings with regard to position and / or size and images which were generated from these by object marks moved in a defined manner. These form training data for the analysis method.

Ein Deskriptor wird zur Beschreibung der Bilder ausgewählt. Dabei kann ein Deskriptor verwendet werden der spezifische Muster erkennt/beschreibt, die sich z.B. durch eine Verschiebung der Objektmarkierung, v.a. in den Randbereichen der Objektmarkierung, ergeben können. Der Deskriptor kann vorzugsweise ein HOG-Deskriptor (HOG steht für „histogram of oriented gradients“) sein. Es kann auch ein Deskriptor auf Basis von Merkmalen einer schnellen Fourier-Transformation (FFT) und/oder Bildgradienten verwendet werden.A descriptor is selected to describe the images. In this case, a descriptor can be used which recognizes / describes specific patterns, e.g. by a shift of the object mark, v.a. in the edge regions of the object marking, can result. The descriptor may preferably be a HOG descriptor (HOG stands for "histogram of oriented gradients"). A descriptor based on Fast Fourier Transform (FFT) features and / or image gradients may also be used.

Modelle für diskrete Verschiebungen in wenigstens eine Richtung, z.B. x- und/oder y-Richtung können mit einem Klassifikator z.B. auf SVM-Basis (SVM steht für „support vector machine“) erstellt werden. Eine Optimierung von Parametern zur Erstellung der Modelle kann mittels Kreuzvalidierung erfolgen.Models for discrete displacements in at least one direction, e.g. x- and / or y-direction can be compared with a classifier e.g. on SVM basis (SVM stands for "support vector machine"). An optimization of parameters for creating the models can be done by cross-validation.

Die Modelle können auf verschiedene Art definiert und eingesetzt werden:The models can be defined and used in various ways:

In einem ersten Ansatz wird je Modell eine erste Klasse definiert, die einer korrekten Objektmarkierung entspricht. Das bedeutet, dass die Objektmarkierung eines Objekts in diese erste Klasse fällt, wenn sie korrekt definiert ist und der idealen Objektmarkierung entspricht. Die Objektmarkierung kann dann auf die erste Klasse „gemapped“ werden. Eine zweite Klasse entspricht einer verschobenen Objektmarkierung, also einer Objektmarkierung die in x- und/oder y-Richtung verschoben zu der Idealen Objektmarkierung ist. Somit ist für jedes Modell ein Zweiklassen-Problem definiert. Eine Objektmarkierung ist entweder optimal, oder fällt in die zweite Klasse.In a first approach, a first class is defined for each model, which corresponds to a correct object marking. This means that the object mark of an object falls into this first class if it is correctly defined and corresponds to the ideal object mark. The object mark can then be "mapped" to the first class. A second class corresponds to a shifted object mark, ie an object mark that is shifted in the x and / or y direction to the ideal object mark. Thus, a two-class problem is defined for each model. An object marker is either optimal or falls into the second class.

Eine Objektmarkierung wird im ersten Ansatz gegen die Modelle getestet. Die erste Klasse des Modells passt zu der („matched“ die) Idealposition der Objektmarkierung. Bei der zweiten Klasse verändern sich z.B. die Werte für wenigstens eine Richtung einer Verschiebung, z.B. in x- und/oder y-Richtung, und nehmen insbesondre zu oder ab. Ein zu dem Modell gehörender Klassifikator gibt eine Bewertung (Score) aus. Liegt diese über oder unter einem zuvor definierten Schwellenwert, werden vorzugsweise keine weiteren Modelle getestet und die getestete Objektmarkierung kann einem Modell, dem die tatsächliche Verschiebung entspricht, zugeordnet werden. Insbesondere passt die zweite Klasse dieses Modells zu der getesteten Objektmarkierung. Die Bewertung dieses Modells wird als Güte für die Position und/oder Größe der getesteten Objektmarkierung ausgegeben. An object mark is tested in the first approach against the models. The first class of the model matches the "matched" ideal position of the object marker. In the second class, for example, the values change for at least one direction of a shift, for example in the x and / or y direction, and in particular increase or decrease. A classifier belonging to the model outputs a score. If this is above or below a previously defined threshold value, preferably no further models are tested and the tested object marking can be assigned to a model which corresponds to the actual displacement. In particular, the second class of this model matches the tested object mark. The rating of this model is output as the quality of the position and / or size of the tested object mark.

In einem zweiten Ansatz wird je Modell eine erste Klasse definiert, die einer Objektmarkierung mit relativ geringerer Verschiebung in jeweils wenigstens eine Richtung entspricht. Jeweils eine zweite Klasse entspricht einer Objektmarkierung mit relativ zur ersten Klasse größerer Verschiebung, bei der also vorzugsweise die Verschiebung gegenüber der ersten Klasse in x- und/oder y-Richtung vergrößert wurde (z.B. mit positiven/negativen Werten für (x,y): für die erste Klasse (5,10) gegenüber (15,20) für die zweite Klasse, wobei (x,y) eine relative Verschiebung in x- und/oder y-Richtung angibt). Nach einer Bewertung durch ein Modell erfolgt meist eine weitere Bewertung durch ein anderes Modell. Bei einem Übergang zu dem anderen Modell kann eine Verschiebung der Objektmarkierung der ersten Klasse und/oder eine Verschiebung der Objektmarkierung der zweiten Klasse verändert und vorzugsweise inkrementiert werden. So wird der Raum möglicher Verschiebungen in Intervalle unterteilt, z.B. mit einem ersten erzeugten Modell mit erster Klasse (5,10) und zweiter Klasse (10,15) und einem zweitem Modell mit erster Klasse (10,15) und zweiter Klasse (15,20). Die Modelle bilden also einen Entscheidungsbaum in einem Suchraum möglicher Verschiebungen, wobei die Modelle die Knoten des Entscheidungsbaums bilden und ein Modell jeweils einen Ast des Baums auswählt, der für die weitere Bewertung verfolgt wird.In a second approach, a first class is defined for each model, which corresponds to an object marking with a relatively smaller displacement in at least one direction. In each case, a second class corresponds to an object mark with relative to the first class of greater displacement, in which therefore preferably the shift relative to the first class in the x and / or y direction has been increased (eg with positive / negative values for (x, y): for the first class (5,10) versus (15,20) for the second class, where (x, y) indicates relative displacement in the x and / or y direction). After a rating by a model is usually a further evaluation by another model. In a transition to the other model, a shift of the object mark of the first class and / or a shift of the object mark of the second class can be changed and preferably incremented. Thus, the space of possible shifts is divided into intervals, e.g. with a first generated model with first class (5,10) and second class (10,15) and a second model with first class (10,15) and second class (15,20). The models thus form a decision tree in a search space of possible displacements, where the models form the nodes of the decision tree and a model selects in each case a branch of the tree which is tracked for further evaluation.

Eine zu testende Objektmarkierung wird hier gegen Modelle geprüft, die den Raum möglicher Verschiebungen in Intervalle zwischen zwei möglichen Verschiebungen aufteilen. Beide Klassen der Mehrzahl der Modelle entsprechen nicht der Idealposition und/oder -größe der Objektmarkierung. Nur wenige Modelle im Suchraum testen direkt gegen die Idealposition und/oder -größe.An object mark to be tested is here checked against models which divide the space of possible shifts into intervals between two possible shifts. Both classes of the majority of models do not match the ideal position and / or size of the object mark. Only a few models in the search space test directly against the ideal position and / or size.

Anhand der von einem Klassifikator des Modells bestimmten Bewertung kann der Suchraum im Raum möglicher Verschiebungen eingegrenzt werden. Die Suche im Raum und somit die Auswahl des Modells für den nächsten Test erfolgt durch Optimierung der Bewertung. Anhand eines Schwellenwertes für die Bewertung kann nach einer Reihe von Tests, das Modell identifiziert werden, dem die tatsächliche Verschiebung der Objektmarkierung am wahrscheinlichsten entspricht.Based on the rating determined by a classifier of the model, the search space in the space of possible shifts can be narrowed. The search in the room and thus the selection of the model for the next test is done by optimizing the rating. Based on a rating threshold, after a series of tests, the model most likely to match the actual displacement of the object mark can be identified.

Stehen, insbesondere hochwertige, Trainingsdaten zur Verfügung und sind Schwellenwerte für eine Entscheidungsfunktion der Modelle definiert, kann die Anzahl der Modelle in einem dritten Ansatz stark reduziert werden. Es kann ein Mehrklassenmodell mit mehr als zwei Klassen verwendet werden. Eine erste Klasse eines Modells entspricht dann der korrekten bzw. korrekt platzierten und/oder dimensionierten Objektmarkierung. Mehrere weitere Klassen entsprechen Verschiebungen der Objektmarkierung um einen bestimmten Wert in eine Richtung, insbesondere die x- und/oder y-Richtung. Eine zu testende Objektmarkierung wird dann gegen das Mehrklassenmodell getestet. Anhand der Optimierung der Bewertung kann die Klasse, der die tatsächliche Verschiebung am wahrscheinlichsten entspricht, identifiziert werden.If, in particular, high-quality training data is available and if thresholds for a decision function of the models are defined, the number of models can be greatly reduced in a third approach. A multi-class model with more than two classes can be used. A first class of a model then corresponds to the correct or correctly placed and / or dimensioned object mark. Several other classes correspond to displacements of the object mark by a certain value in one direction, in particular the x and / or y direction. An object mark to be tested is then tested against the multi-class model. By optimizing the score, the class most likely to match the actual displacement can be identified.

Die Ausführung der jeweiligen Tests kann beschleunigt werden, indem die Tests gegen die Modelle parallel und nicht seriell durchgeführt werden. Hierzu kann/können ein Prozessor oder mehrere Prozessoren eigesetzt werden, z.B. wenigstens eine CPU (central processing unit) und/oder GPU (graphics processing unit).The execution of the respective tests can be accelerated by performing the tests against the models in parallel and not serially. For this purpose, one or more processors may be used, e.g. at least one CPU (central processing unit) and / or GPU (graphics processing unit).

Nach der Durchführung eines Tests liegen für jede getestete Objektmarkierung zumindest folgende Informationen vor: Eine binäre Aussage zur Korrektheit der Position und/oder Größe der Objektmarkierung und eine quantitative Aussage zu einer Abweichung der Position und/oder Größe der Objektmarkierung von der Idealposition und/oder -größe, vorzugsweise unter Angabe einer Bewertung für die Güte der quantitativen Aussage. Es können auch statistische Aussagen (z.B. mittlere Abweichung, Varianz der Abweichungen, Signifikanz von Abweichungen (Hypothesentest)) über die gesamten Daten abgeleitet werden.After carrying out a test, at least the following information is available for each object mark tested: a binary statement for the correctness of the position and / or size of the object mark and a quantitative statement for a deviation of the position and / or size of the object mark from the ideal position and / or size, preferably giving an evaluation of the quality of the quantitative statement. It is also possible to derive statistical statements (for example mean deviation, variance of deviations, significance of deviations (hypothesis test)) over the entire data.

1 illustriert schematisch einen Ablauf des Analyseverfahrens. In einem ersten Schritt S1 erfolgt ein Auslesen wenigstens eines Bildes mit einer Objektmarkierung aus einem Speicher. In einem zweiten Schritt S2 wird geprüft, ob die Objektmarkierung für ein Objekt wenigstens einer Klasse eines Modells entspricht. In einem dritten Schritt S3 erfolgt eine Bewertung durch wenigstens ein Modell, und eine Ausgabe eines Signals auf Basis der Bewertung. 1 schematically illustrates a flow of the analysis method. In a first step S1, at least one image is read out with an object mark from a memory. In a second step S2, it is checked whether the object marking for an object corresponds to at least one class of a model. In a third step S3, a rating is performed by at least one model, and an output of a signal based on the rating.

2 veranschaulicht schematisch eine Bewertung der Modelle mit Testdaten (Bilder und Objektmarkierungen) zur Bestimmung der Güte der Position der Objektmarkierung, mit der eine Aussage über die Korrektheit der Position der Objektmarkierung getroffen werden kann. Die Güte (engl. Accuracy) der prädizierten Verschiebungen in wenigstens einer Richtung, z.B. in x- und/oder y-Richtung, der Objektmarkierungen eines Datensatzes kann in Prozent angegeben werden. Je größer die Verschiebung von der Idealposition, Verschiebung x = 0 und Verschiebung y = 0, ist, desto höher ist die Güte. 2 schematically illustrates an evaluation of the models with test data (images and object marks) for determining the quality of the Position of the object mark, with which a statement about the correctness of the position of the object marking can be made. The accuracy of the predicted displacements in at least one direction, for example in the x and / or y direction, of the object markings of a data set can be specified as a percentage. The greater the displacement from the ideal position, displacement x = 0 and displacement y = 0, the higher the quality.

Eine Verbesserung der verwendeten Modelle kann über die Zeit durch Online-Lernens erfolgen. Für das Online-Training kann z.B. eine Extreme Learning Machine als Klassifikator verwendet werden. Hierbei verfügen die Modelle z.B. bei Bereitstellung einer Analyseeinheit über eine durch den Hersteller vorläufige Funktion, die Position und/oder Größe der Objektmarkierung zu beurteilen. Nach der Auslieferung werden im Feld weitere Trainingsdaten aus einem Anwendungsszenario als Beispiel für richtig und falsch positionierte Objektmarkierungen bereitgestellt. Die Qualität der Modelle kann dadurch auch nach Auslieferung der Analyseeinheit verbessert werden.An improvement of the models used can be done over time through online learning. For online training, e.g. An Extreme Learning Machine can be used as a classifier. In this case, the models have e.g. upon provision of an analysis unit via a preliminary function by the manufacturer to judge the position and / or size of the object mark. After delivery, additional training data from an application scenario is provided in the field as an example for correctly and incorrectly positioned object markers. The quality of the models can be improved even after delivery of the analysis unit.

Die Durchführung der Qualitätskontrolle basiert auf den hinterlegten Modellen des Analyseverfahrens. Eingabedaten sind die zu testenden Bilder und ihre zugehörigen Objektmarkierungen. Jede Objektmarkierung aus den Trainingsdaten, die auch mit einem Deskriptor beschrieben wurde, wird gegen die zuvor bereitgestellten Modelle getestet. Das weitere Vorgehen richtet sich nach dem zuvor gewählten Vorgehen für die Erstellung der Modelle.The implementation of quality control is based on the deposited models of the analysis procedure. Input data is the images to be tested and their associated object markers. Each object tag from the training data, which was also described with a descriptor, is tested against the previously provided models. The further procedure depends on the previously selected procedure for creating the models.

Als fehlerhaft bewertete Objektmarkierungen werden nach dem Maß für die Güte der Bewertung weiterverarbeitet. Fehlerhaft bewertete Objektmarkierungen können angezeigt und manuell und/oder automatisch nachbearbeitet werden. Dabei können vorzugsweise nur Objektmarkierungen angezeigt und nachbearbeitet werden, bei denen die Güte der Bewertung geringer als ein Schwellenwert ist. Als fehlerhaft bewertete Objektmarkierungen können auch automatisch korrigiert und einem Bearbeiter zur Überprüfung vorgelegt werden, da das Analyseverfahren, die Abweichung in x- und/oder y-Richtung ermittelt hat. Besonders Objektmarkierungen, bei denen die Güte größer als ein Schwellenwert ist, können automatisch korrigiert werden, da das Analyseverfahren die Abweichung in x- und/oder y-Richtung bestimmt hat.Object marks evaluated as being faulty are further processed according to the measure of the quality of the evaluation. Faulty object marks can be displayed and edited manually and / or automatically. In this case, preferably only object markings can be displayed and reworked, in which the quality of the evaluation is less than a threshold value. Object markings that are evaluated as faulty can also be automatically corrected and presented to a processor for checking, since the analysis method has determined the deviation in the x and / or y direction. In particular, object markers in which the quality is greater than a threshold can be corrected automatically, since the analysis method has determined the deviation in the x and / or y direction.

Schematisch läuft das Testen einer Objektmarkierung z.B. wie folgt ab:Schematically, the testing of an object mark, e.g. as follows:

In einem ersten Schritt werden Anwendungsspezifische Bilder und Objektmarkierungen eingesetzt, um weitere Trainings-Daten für definierte Verschiebungen in x- und/oder y-Richtung von Objektmarkierungen zu erzeugen. Eine Beschreibung der Bildmerkmale für eine extrahierte Objektmarkierung erfolgt in einem zweiten Schritt mit einem Deskriptor. In einem dritten Schritt werden die Modelle, die unterschiedlichen Verschiebungen in x- und/oder y-Richtung entsprechen (vgl. die möglichen drei Ansätze, die oben beschrieben werden), erzeugt. Aus zu testenden Bildern mit Objektmarkierungen wird jeweils die Objektmarkierung extrahiert und durch den gleichen oder einen anderen Deskriptor beschrieben. Ein Test erfolgt mit den Modellen aus einem oder mehreren der oben genannten Ansätze.In a first step, application-specific images and object markers are used to generate further training data for defined displacements in the x and / or y direction of object markers. A description of the image features for an extracted object mark takes place in a second step with a descriptor. In a third step, the models corresponding to different displacements in the x and / or y direction (see the possible three approaches described above) are generated. From images to be tested with object markers, the object mark is extracted in each case and described by the same or a different descriptor. A test is made with the models from one or more of the above approaches.

Das Analyseverfahren kann dann zumindest eine der folgenden Ausgaben als Signale ausgeben und/oder anzeigen: Eine (binäre) Aussage über eine Korrektheit der Position der Objektmarkierung für jedes Bild, eine quantitative Aussage zur Abweichung der Position der Objektmarkierung von der Idealposition einer Objektmarkierung in x- und y-Richtung für jedes Label unter Angabe eines Maßes für die Güte der Aussage, eine Aussage über die Art und den Umfang der auftretenden Fehler bei der Positionierung der Objektmarkierung, z.B. systematische Abweichung um 5 Pixel in y-Richtung, eine quantitative Aussage über Verteilung der Fehler bei der Positionierung der Objektmarkierung, und/oder eine Analyse der Ursachen für gegebene Fehler, z.B. bestimmte Intensitätsmuster, die zu Abweichungen von 5 bis 11 Pixeln in y-Richtung führen.The analysis method can then output and / or display at least one of the following outputs as signals: a (binary) statement about a correctness of the position of the object mark for each image, a quantitative statement for the deviation of the position of the object mark from the ideal position of an object mark in x and y-direction for each label, indicating a measure of the quality of the statement, a statement about the nature and extent of errors occurring in the positioning of the object marking, eg systematic deviation by 5 pixels in the y-direction, a quantitative statement about distribution of the errors in the positioning of the object marking, and / or an analysis of the causes of given errors, e.g. certain intensity patterns that lead to deviations of 5 to 11 pixels in the y-direction.

Das hier beschriebene Analyseverfahren kann in ein Werkzeug zur Labelproduktion integriert werden. Dabei kann eine erzeugte Objektmarkierung sofort nach der (manuellen) Erzeugung mit dem Werkzeug bewertet werden. Eine Objektmarkierung kann dann, wenn das Analyseverfahren eine zu große Abweichung feststellt, z.B. für eine Prüfung und/oder eine manuelle Freigabe vorgesehen werden.The analysis method described here can be integrated into a label production tool. In this case, a generated object marking can be evaluated immediately after the (manual) generation with the tool. An object mark can, if the analysis method finds too great a deviation, e.g. be provided for an examination and / or a manual release.

Zudem kann das Analyseverfahren Bearbeiter beim initialen Markieren mit der Objektmarkierung unterstützen. Der Bearbeiter kann z.B. eine, auf einer Anzeigeeinheit durch das Analyseverfahren visualisierte, Objektmarkierung vorzugsweise in Echtzeit editieren, z.B. durch Editieren mit einem Eingabegerät (Maus, Stift, Stylus, Tastatur, ...). Das Analyseverfahren kann durch z.B. eine Farbkodierung auf die Auswahl der optimalen Objektmarkierung hinweisen. Um eine Echtzeitverarbeitung zu ermöglichen, ist eine Hardwareumsetzung sinnvoll. Eine Implementierung der Klassifikatoren/Modelle, die auf SVM basieren können, kann z.B. als FPGA (Field Programmable Gate Array) erfolgen. Eine Performanz-Steigerung erlaubt auch den Einsatz für Echtzeitanwendungen, z.B. im Bereich automatisiertes Fahren.In addition, the analysis method can support agents with the initial marking with the object marking. The processor can e.g. preferably, edit an object mark visualized on a display unit by the analysis method in real time, e.g. by editing with an input device (mouse, pen, stylus, keyboard, ...). The analysis method can be described by e.g. indicate a color coding on the selection of the optimal object mark. To enable real-time processing, hardware implementation is useful. An implementation of classifiers / models that may be based on SVM may be e.g. as FPGA (Field Programmable Gate Array). Performance enhancement also allows deployment for real-time applications, e.g. in the field of automated driving.

Eine Integration in eine Produktion kann z.B. erfolgen wie in 3 gezeigt. Ein Bearbeiter erstellt eine Objektmarkierung für ein Objekt in Schritt S20, während das Analyseverfahren mit erzeugten Modellen eine Echtzeitbewertung der erstellten Objektmarkierung durchführt. Das Analyseverfahren kann automatisch einen Korrekturvorschlag für die erstellte Objektmarkierung an den Bearbeiter ausgeben, eine andere Objektmarkierung vorschlagen und/oder bei der Wahl einer anderen/besseren Objektmarkierung unterstützen (Schritt S21). Dies entspricht einem „Online“-Verfahren mitunmittelbarer Rückmeldung an den Bearbeiter.Integration into a production can take place as in 3 shown. An editor creates an object mark for an object in step S20, while the generated model analysis method performs a real-time evaluation of the created object mark. The analysis method may automatically output a correction proposal for the created object mark to the editor, suggest another object mark, and / or assist in the selection of a different / better object mark (step S21). This corresponds to an "online" procedure with immediate feedback to the processor.

Es kann auch, wie in 4 gezeigt, eine „offline“-Kontrolle erfolgen, bei der die Qualitätskontrolle zu einem späteren Zeitpunkt als die Erstellung der Objektmarkierung durch den Bearbeiter, insbesondere zeitlich entkoppelt, erfolgt. Bilder und Objektmarkierungen können in Schritt 30 dem Analyseverfahren mit erzeugten Modellen zugeführt werden. Das Analyseverfahren kann dann eine automatische Korrektur der Objektmarkierung vornehmen (Schritt S31), Hinweise für eine manuelle Korrektur der Objektmarkierung ausgeben (Schritt S32), und/oder ein Analyseergebnis zu Fehlerursachen und/oder einer Fehlerstruktur ausgeben (Schritt S33).It can also, as in 4 shown an "offline" control done in which the quality control at a later time than the creation of the object marker by the processor, in particular temporally decoupled takes place. Pictures and object marks can be in step 30 be supplied to the analysis method with generated models. The analysis method may then perform an automatic correction of the object mark (step S31), output hints for a manual correction of the object mark (step S32), and / or output an analysis result on cause of errors and / or an error structure (step S33).

Das Analyseverfahren erlaubt also eine automatische Bewertung der Positionsqualität von Objektmarkierungen eines Datensatzes durch Einsatz von Methoden aus dem Maschinenlernen. Es stellt eine Methode zum Ableiten von quantitativen Aussagen über Positionsfehler der Objektmarkierungen durch eine spezielle Erzeugung von Trainingsdaten und deren Auswertung mit Maschinenlernen bereit und erlaubt eine Ausgabe einer Korrekturempfehlung für die Objektmarkierungen in Kombination mit der Bewertung.The analysis method thus allows an automatic evaluation of the position quality of object markers of a data record by using methods from machine learning. It provides a method for deriving quantitative statements about positional errors of the object marks through a special generation of training data and its evaluation with machine learning, and allows output of a correction recommendation for the object marks in combination with the score.

So kann eine gleichbleibende Bewertungsleistung im Vergleich mit einem menschlichen Bearbeiter und eine höhere Gesamtqualität der Objektmarkierungen erreicht werden. Systematische und zufällige Fehler in der Objektmarkierung können automatisch erkannt werden, was Zeit- und Kosten spart. Eine Adhoc-Qualitätskontrolle kann während der Erstellung einer Objektmarkierung durchgeführt werden, was zu einer Vereinfachung führt. Auch kann eine vollständige Überprüfung eines Datensatzes anstatt einer stichprobenartigen Kontrolle zur Erzielung robusterer Ergebnisse erfolgen. Eine Bewertung der Objektmarkierungen ohne Vorkenntnis über Art, Zusammensetzung oder Ursache der Fehler ist möglich, wodurch eine unabhängige Beurteilungsleistung erreicht wird.Thus, a consistent rating performance can be achieved in comparison with a human operator and a higher overall quality of the object markers. Systematic and random errors in object marking can be detected automatically, saving time and money. Ad hoc quality control can be performed while creating an object mark, resulting in a simplification. Also, a complete review of a dataset may be done instead of a random check to achieve more robust results. An evaluation of the object marks without prior knowledge of the nature, composition or cause of the defects is possible, whereby an independent assessment performance is achieved.

Im Vergleich zu bekannten Verfahren erlaubt das Analyseverfahren eine Analyse der Abweichung der Objektmarkierung von einer idealen Position in wenigstens eine Richtung (z.B. in x- und/oder y-Richtung, wobei x = Bildspalte und y = Bildzeile ist). Dadurch ist eine automatisierte Quantifizierung der Abweichung und somit eine anschließende automatische Korrektur der Abweichung möglich. Daraus ergibt sich auch, dass eine automatische Analyse eines Bilddatensatzes bzgl. Struktur und Verteilung von Fehlern bei der Positionierung der Objektmarkierung möglich ist. Ein assistiertes Setzen der Objektmarkierung (Automatischer Vorschlag für Position und/oder Größe der Objektmarkierung und/oder eine anschließende manuelle Bestätigung bzw. Korrektur) ist ebenfalls möglich.Compared to known methods, the analysis method allows an analysis of the deviation of the object mark from an ideal position in at least one direction (e.g., in the x and / or y direction, where x = image column and y = image line). As a result, an automated quantification of the deviation and thus a subsequent automatic correction of the deviation is possible. This also means that an automatic analysis of an image data set with regard to the structure and distribution of errors in the positioning of the object marking is possible. An assisted setting of the object marking (automatic suggestion for position and / or size of the object marking and / or a subsequent manual confirmation or correction) is also possible.

Zusammengefasst werden für ein Training des Analyseverfahrens, d.h. zur Durchführung eines Maschinenlernverfahrens, neben korrekt gelabelten/platzierten Objektmarkierungen, auch Objektmarkierungen verwendet, die willentlich verändert wurden, d.h. in ihrer Lage verschoben.For a training of the analytical method, i. to perform a machine learning procedure, in addition to correctly labeled / placed object markers, also uses object markers that have been deliberately changed, i. shifted in their position.

In dem ersten Ansatz werden mit den idealen Objektmarkierungen und den definiert veränderten Objektmarkierungen und Bildern Modelle erzeugt. Es wird ein „Raster“ von Modellen erzeugt, anhand derer die zu testenden Objektmarkierungen beurteilt werden. Eine Objektmarkierung wird als ein Testkandidat im ersten Ansatz mit allen Modellen getestet und es wird je Modell eine Bewertung ermittelt, d.h. insbesondere eine konsolidierte Bewertung des Testkandidaten bzgl. des Modells. Es wird im Sinne eines „winner takes all“-Ansatzes der Wert für den Testkandidaten als Qualität ausgegeben, der am besten ist, dessen Bewertung also am höchsten oder niedrigsten ist. Dies kann auch als brute-force-Prüfung der Objektmarkierung gegen die Modelle angesehen werden. Im ersten Ansatz sind die Modelle so ausgestaltet, dass im Prinzip immer eine Unterscheidung zwischen einem Optimum und einer Abweichung erfolgt. Darauf wird die konsolidierte Bewertung je Überprüfung von Testkandidat zu Modell berechnet.In the first approach, models are created using the ideal object marks and the defined changed object marks and images. A "grid" of models is generated, by means of which the object markings to be tested are assessed. An object mark is tested as a test candidate in the first approach with all models and a score is determined for each model, i. in particular a consolidated evaluation of the test candidate with respect to the model. In the sense of a "winner takes all" approach, the value for the test candidate is given as the quality that is best, that is the highest or lowest rating. This can also be viewed as brute force testing the object marker against the models. In the first approach, the models are designed in such a way that, in principle, there is always a distinction between an optimum and a deviation. It then calculates the consolidated score per test from test candidate to model.

Im zweiten Ansatz erfolgt hingegen eine Überprüfung des Testkandidaten so, dass je Modell auch eine Entscheidung dahingehend erfolgen kann, welches Modell als nächstes zur Prüfung des Testkandidaten verwendet wird. Insofern erfolgt eine selektive Festlegung einer Modellabfolge innerhalb des Testvorgangs, wodurch eine Reduktion des Testumfangs insgesamt erreicht wird. Hierbei wird insbesondere ein Entscheidungslauf durchlaufen, an dessen Knotenpunkten bzw. an Punkten der Verästelung jeweils die Überprüfung bzgl. eines Modells erfolgt. Die Wurzel des Baumes entspricht hierbei vorzugsweise einer Überprüfung, ob eine optimale Positionierung der Objektmarkierung vorliegt. Es kann aber sowohl von einer optimalen Platzierung der Objektmarkierung als auch von einer mittleren Abweichung der Objektmarkierung oder von einer größtmöglichen Falschplatzierung der Objektmarkierung ausgegangen werden. Eine optimale Platzierung, eine mittlere oder die größtmögliche Abweichung von der idealen Position und/oder Größe der Objektmarkierung werden dabei durch die Trainingsdaten, die die bewussten Verschiebungen der Objektmarkierungen aufweisen, definiert. So kann die mittlere Abweichung durch einen Mittelwert zwischen Optimum und maximaler Abweichung bestimmt werden. Der Entscheidungsbaum kann dann auch abhängig davon durchlaufen werden, ob die Testdaten zu der jeweiligen Klasse gehören oder nicht.In the second approach, however, a review of the test candidate is done so that each model can also make a decision as to which model will be used next to test the test candidate. In this respect, a selective definition of a model sequence takes place within the test procedure, whereby a total reduction of the test scope is achieved. In this case, in particular, a decision run is run through, at whose nodes or at points of the branching, in each case, the check is made with respect to a model. The root of the tree preferably corresponds to a check as to whether an optimal positioning of the object marking is present. However, it can be assumed both an optimal placement of the object mark as well as a mean deviation of the object marking or the greatest possible misplacement of the object mark. An optimal placement, a medium or the largest possible deviation from the ideal position and / or size of the object marking are defined by the training data, which have the deliberate shifts of the object marks. Thus, the mean deviation can be determined by an average between optimum and maximum deviation. The decision tree can then also be run depending on whether the test data belongs to the respective class or not.

Für jedes Modell ist insbesondere eine Verknüpfung zu weiteren Modellen gespeichert und abhängig von einer an dem jeweiligen Modell ermittelten Bewertung entscheidet das Analyseverfahren, welches Modell als nächstes gewählt wird. Dabei codiert die Bewertung eine mögliche Abweichung bzw. eine von dem Modell geprüfte Abweichung in Bezug auf die definierte Objektmarkierung für den Testkandidaten. Insgesamt wird dadurch ein Suchpfad durch den Entscheidungsbaum definiert, der durch die durchlaufenen Modelle, bzw. durch die verschiedenen Tests bestimmt wird. An jedem Modell wird eine Bewertung bestimmt, sodass sich entlang des Pfades durch den Entscheidungsbaum eine Gesamtbewertung ergibt, die eine Aussage über die Qualität des Testkandidaten zulässt.For each model, in particular a link to further models is stored and, depending on a rating determined on the respective model, the analysis method decides which model is selected next. In this case, the evaluation codes a possible deviation or a deviation checked by the model with respect to the defined object marking for the test candidate. Overall, this defines a search path through the decision tree, which is determined by the models passed through or by the various tests. At each model a score is determined such that along the path through the decision tree there is an overall score that allows a statement about the quality of the candidate candidate.

Im dritten Ansatz ist vorgesehen, dass bspw. ein zweischichtiger Entscheidungsbaum bzw. ein Baum mit zwei Ebenen zum Einsatz kommt. Hier wird bereits im Wurzelknoten eine Entscheidung getroffen, und auf der zweiten Ebene erfolgt bereits die Ausgabe. Dies entspricht quasi einem neuronalen Netz mit einem Eingangsknoten, einer Lage und einer Vielzahl von Ausgabeknoten. An jedem Ausgabeknoten wird dann eine Bewertung für einen Testkandidaten ausgegeben. Das neuronale Netz wird wiederum mit den Trainingsdaten trainiert, die sowohl eine optimale Platzierung einer Objektmarkierung in einem Bild definieren, als auch eine dediziert verfälschte Lage von Objektmarkierungen beschreiben.In the third approach, it is provided that, for example, a two-layer decision tree or a tree with two levels is used. Here already in the root node a decision is made, and on the second level is already the output. This basically corresponds to a neural network with an input node, a layer and a plurality of output nodes. At each output node, a score for a test candidate is then output. The neural network is in turn trained with the training data, which both define an optimal placement of an object mark in an image, as well as describe a dedicated falsified location of object markers.

Das Ergebnis der Entscheidungsbaum-Entscheidung bzw. die Ausgabe der Vergleiche führt dann dazu, dass eine Aussage über die absolute Abweichung der Testkandidaten getroffen werden kann. Ein Mapping auf einen Qualitätswert kann dann abhängig von dem Anwendungsfall erfolgen. Dabei wird definiert, welches Ergebnis als besonders gut bzw. unvorteilhaft zu betrachten ist.The result of the decision tree decision or the output of the comparisons then leads to a statement about the absolute deviation of the test candidates. A mapping to a quality value can then take place depending on the application. It defines which result is considered to be particularly good or unfavorable.

Das Analyseverfahren kann durch eine Analyseeinheit ausgeführt werden, die die Bilder, z.B. in Form eines Videosignals, vorzugsweise in Echtzeit, verarbeitet, speichern und die Signale ausgeben kann. Die Analyseeinheit kann dazu wenigstens einen Prozessor, verwenden, z.B. ein „System on Chip“ (dt.: Ein-Chip-System). Es können eine oder mehrere CPUs (Central Processing Unit) und/oder GPUs, Encoder sowie Schnittstellen zum Anschließen verschiedener Sensoren, wie beispielsweise optische Sensoren oder Kameras, verwendet werden. Die eine oder mehreren CPUs/GPUs können auch Programmcode ausführen; insbesondere kann das Analyseverfahren durch Programmcode definiert sein. Die wenigstens eine CPU/GPU kann das parallelisierte Ausführen von Rechenoperationen ermöglichen, beispielsweise das Berechnen mit Open GL oder das Einfügen von Überlagerungsbilddaten in Bilddaten. Ein Image Signal Prozessor (ISP) kann zur Bildaufbereitung dienen, und beispielsweise Daten von Bildern und/oder Bildsensoren entgegennehmen und die Qualität beispielsweise durch einen automatischen Weißabgleich erhöht. Die Analyseeinheit weist weiter wenigstens einen flüchtigen und/oder nichtflüchtigen Speicher auf, der die Bilddaten und/oder die Trainings-Bilddaten zumindest Teilweise speichert. Aus dem wenigstens einen flüchtigen und/oder nichtflüchtigen Speicher werden die die Bilddaten, Daten über Objektmarkierungen und/oder die Trainings-Bilddaten von dem Analyseverfahren ausgelesen, wenn das Analyseverfahren auf dem Prozessor (CPU und/oder GPU) ausgeführt wird.The analysis method may be performed by an analysis unit that processes the images, e.g. in the form of a video signal, preferably in real time, processed, stored and can output the signals. The analysis unit may use at least one processor, e.g. a "system on chip" (German: one-chip system). One or more CPUs (Central Processing Unit) and / or GPUs, encoders and interfaces for connecting various sensors, such as optical sensors or cameras, may be used. The one or more CPUs / GPUs may also execute program code; In particular, the analysis method can be defined by program code. The at least one CPU / GPU may allow parallelized execution of arithmetic operations, such as calculating with Open GL or inserting sub-picture data into image data. An Image Signal Processor (ISP) can be used for image processing, for example, to receive data from images and / or image sensors and increase the quality, for example, by means of an automatic white balance. The analysis unit further has at least one volatile and / or nonvolatile memory which at least partially stores the image data and / or the training image data. From the at least one volatile and / or non-volatile memory, the image data, data on object markings and / or the training image data are read out by the analysis method when the analysis method is executed on the processor (CPU and / or GPU).

Eine Ausgabe der Signale kann dann akustisch und/oder optisch auf einer Anzeigeeinheit erfolgen. Alternativ oder zusätzlich kann die Information der Signale in den wenigstens einen und/oder einen anderen flüchtigen und/oder nichtflüchtigen Speicher ausgegeben werden, z.B. in eine Datei. Die Bilddaten und/oder die Trainings-Bilddaten können der Analyseeinheit auch über einen optischen Sensor zugeführt werden.An output of the signals can then be acoustically and / or optically on a display unit. Alternatively or additionally, the information of the signals may be output to the at least one and / or another volatile and / or nonvolatile memory, e.g. in a file. The image data and / or the training image data can also be supplied to the analysis unit via an optical sensor.

Das Analyseverfahren kann zu Beginn überprüfen, ob ein durch die Objektmarkierung definiertes Objekt von einem bestimmten Typ ist. Das Analyseverfahren kann insbesondere ein Seitenverhältnis der Objektmarkierung bestimmen, mit wenigstens einem Schwellenwert für das Seitenverhältnis vergleichen und ein Signal ausgeben, das anzeigt, ob das Objekt von dem bestimmten Typ ist oder nicht, wenn der Schwellenwert für das Seitenverhältnis überschritten/unterschritten wird.The analysis method may initially check if an object defined by the object marker is of a certain type. Specifically, the analysis method may determine an aspect ratio of the object mark, compare with at least an aspect ratio threshold, and output a signal indicating whether the object is of the particular type or not when the aspect ratio threshold is exceeded.

Das Analyseverfahren kann eine Abweichung der Objektmarkierung von einer idealen Position und/oder Größe der Objektmarkierung, insbesondere pixelgenau, bestimmen. Das Analyseverfahren kann die Abweichung automatisch korrigieren und/oder ein Signal ausgeben, das anzeigt, wie die Objektmarkierung auf die ideale Position und/oder Größe angepasst werden soll.The analysis method can determine a deviation of the object marking from an ideal position and / or size of the object marking, in particular with pixel precision. The analysis method may automatically correct the deviation and / or output a signal indicating how the object mark is to be adjusted to the ideal position and / or size.

Vor einer Überprüfung der Objektmarkierung kann das Analyseverfahren prüfen, ob auf dem Bild das richtige Objektmit der Objektmarkierung markiert wurde bzw., ob das Objekt zu einer bestimmten Objektklasse gehört, ob also z.B. ein Fußgänger markiert wurde. Das Analyseverfahren kann dann testen ob die Art oder der Typ des Objekts, z.B. ein Fußgänger, dessen Objektmarkierung geprüft werden soll, tatsächlich vorhanden ist, oder ob ein anderer Objekttyp vorliegt, z.B. ein Fahrzeug oder ein Fahrradfahrer. Diese Prüfung kann auch unabhängig von dem Analyseverfahren erfolgen.Before checking the object mark, the analysis method can check whether the correct object has been marked with the object mark on the image or whether the object belongs to a certain object class, ie whether, for example, a pedestrian has been marked. The analysis method can then test whether the type or type of the object, eg a Pedestrian whose object mark is to be checked is actually present, or whether another object type exists, eg a vehicle or a cyclist. This test can also be carried out independently of the analysis method.

Wurde bspw. definiert, dass ein Fußgänger markiert ist, bei einer Definition der Objektmarkierung wurde aber fälschlicherweise ein Fahrzeug markiert, kann das Analyseverfahren dies erkennen.If, for example, it has been defined that a pedestrian is marked, but a vehicle was incorrectly marked in a definition of the object marking, the analysis method can recognize this.

Das Analyseverfahren kann zu der Prüfung des Objekttyps z.B. Seitenverhältnisse der Objektmarkierungen überprüfen, wobei ein Toleranzbereich bzw. wenigstens ein Schwellenwert für ein Seitenverhältnis definiert sein kann. Sollte ein Seitenverhältnis nicht innerhalb des Toleranzbereichs liegen, d.h. ein bestimmtes Seitenverhältnis liegt insbesondere über oder unter dem wenigstens einen Schwellenwert, wird für das Bild ein Signal ausgegeben. Das Signal zeigt dann an, dass die Objektmarkierung ein falsches Objektmarkiert, bzw. das Objekt nicht von dem zu prüfenden Typ ist, also nicht der richtigen Objektklasse angehört. Das Analyseverfahren kann dann beendet werden.The analysis method may be used to check the object type e.g. Check aspect ratios of the object marks, where a tolerance range or at least a threshold for an aspect ratio can be defined. If an aspect ratio is not within the tolerance range, i. a particular aspect ratio is in particular above or below the at least one threshold, a signal is output for the image. The signal then indicates that the object marker is marking a wrong object, or the object is not of the type to be checked, ie it does not belong to the correct object class. The analysis procedure can then be ended.

5 zeigt schematisch eine Analyseeinheit AE. Der Analyseeinheit AE werden Daten D eingegeben, die von der Analyseeinheit AE empfangen, in wenigstens einem Speicher S gespeichert und mittels wenigstens eines Prozessors P ausgewertet und verarbeitet werden können. Die Analyseeinheit AE gibt dann die Signale S entsprechend aus. 5 schematically shows an analysis unit AE. The analysis unit AE is input data D received by the analysis unit AE, stored in at least one memory S and evaluated by at least one processor P and processed. The analysis unit AE then outputs the signals S accordingly.

Das Analyseverfahren in Form von Computerprogrammanweisungen in dem Speicher S gespeichert sein, und die Computerprogrammanweisungen können zumindest von der Analyseeinheit AE zur Ausführung eines Analyseverfahrens ausgeführt werden. Die Computerprogrammanweisungen können als Computerprogrammprodukt aufbewahrt werden.The analysis method in the form of computer program instructions may be stored in the memory S, and the computer program instructions may be executed at least by the analysis unit AE for performing an analysis method. The computer program instructions can be kept as a computer program product.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte Nicht-PatentliteraturCited non-patent literature

Su, H., Deng, J. and Li, F.-F. (2012). Crowdsourcing Annotations for Visual Object Detection. In: AAAI Human Computation Workshop, pp. 40-46. [0032]
Vittayakorn, S. and Hays, J. (2011). Quality Assessment for Crowdsourced Object Annotations. In: Hoey, J., McKenna, S. and Trucco, E., eds., Proceedings of the British Machine Vision Conference, BMVA Press, p. 109.1-109.11. [0034]

Claims

An analysis method for checking a position of at least one object mark of at least one image showing a predetermined object, the analysis method reading out at least one image with an object mark from a memory (S) and checking at least once whether the object mark for the predetermined object is at least one of at least two classes of a model corresponds to (S2), each class defining at least one position and / or size for the object mark with respect to the predetermined object, and wherein the model calculates a score for each test and outputs a signal based on that score (S3) indicating a quality of the object mark.

Analysis method according to Claim 1 wherein the signal indicates correctness of the position of the object mark for each image, indicates a deviation of the position and / or size of the object mark from an ideal position in one direction for each image, preferably indicating a measure of goodness and / or deviation in Indicates a type and / or extent of an occurring error in the position and / or size of the object mark, in particular a deviation in one direction, and / or a distribution of at least one error in the position and / or size of the object mark displays.

Analysis method according to Claim 1 or 2 , wherein for each image a position and / or size of the object mark is specified, in particular a distance of the object mark from an edge of the object in the image.

Analysis method according to one of the preceding claims, wherein at least one descriptor is defined, which describes the at least one image and / or object, in particular at least one specific pattern, resulting for example by a displacement of the object mark, the descriptor preferably a HOG descriptor or is a descriptor based on fast Fourier transform features and / or image gradients.

Analysis method according to one of the preceding claims, wherein each model for discrete shifts of the object mark in one direction with at least one classifier, preferably based on SVM, is created.

Analysis method according to one of the preceding claims, wherein each model is evaluated with test data for determining a quality of a position of the object mark, wherein preferably the evaluation indicates a correctness of the position and / or size of the object mark.

An analysis method according to any one of the preceding claims, wherein each model has a first class corresponding to an ideal position of the object mark and having a second class corresponding to an object mark shifted in one direction.

An analysis method according to any of the preceding claims, wherein a first class of each model corresponds to an ideal position of the object mark, and a second class corresponds to a displacement associated with the model, and / or wherein if a score is determined to be over / under one predefined threshold value, the object mark is no longer checked against any further models and / or the object mark is assigned to a model corresponding to the displacement of the object mark.

Analysis method according to one of the preceding claims, wherein each model has a first class corresponding to an object mark having a first shift in one direction, and a second class corresponding to an object mark having a second shift, in particular a larger shift in the direction relative to the first class, and wherein, after an evaluation of the object mark by a model, the object mark is evaluated with another model, the other model being dependent is selected from the rating and in the other model the displacement of the object mark of the first class and the shift of the object mark of the second class is changed.

An analysis method according to any one of the preceding claims, wherein the object tag is tested against models that divide the space of possible displacements, and preferably wherein the classes of a plurality of models do not substantially correspond to the ideal position of the object tag, and / or wherein there are few compared to the plurality Models of the ideal position correspond.

An analysis method according to any one of the preceding claims, wherein a model has a class corresponding to an ideal object mark and a plurality of classes each corresponding to a displacement of the object mark in one direction.

An analysis method according to any of the preceding claims, wherein the object tag is tested against multiple classes of a model, and based on a score, the displacement most likely to correspond to the actual displacement is determined.

Analysis method according to one of the preceding claims, wherein the at least one model is created by means of training data with images and object marks, wherein for each image is specified to which object class belongs to an object shown in the image.

Analysis method according to one of the preceding claims, wherein the training data are generated at least partially from the images and object marks by defined displacement of the object markers of at least a part of the images.

An analysis method according to any one of the preceding claims, wherein a model is enhanced by online learning.

Analysis method according to one of the preceding claims, wherein the predetermined and / or shown object is a pedestrian, cyclist, vehicle and / or object.

Analysis method according to one of the preceding claims, wherein the object mark is tested against the model, preferably each model of a plurality of models.

A computer program product, wherein the computer program product stores computer program instructions in a computer-readable memory (S), and the computer program instructions cause at least one analysis unit (AE) to carry out an analysis method according to one of the preceding claims, when the computer program instructions are read and / or executed by the analysis unit (AE) become.

Analysis unit (AE) for checking at least one object mark (OM) in image data, comprising at least one memory (S) which stores the image data (D), data on object marks (OM) and / or the training data and a processor (P ), which is adapted to an analysis method according to one of Claims 1 to 17 in which the image data (D), data on object markings (OM) and / or the training data are read out of the memory (S) by the analysis unit (AE), the data and are processed by the processor (P), and wherein the analysis unit outputs signals of the analysis method, preferably in the or another memory.