DE102019202451A1

DE102019202451A1 - Smoothing for image classification

Info

Publication number: DE102019202451A1
Application number: DE102019202451.3A
Authority: DE
Inventors: Masato Takami; Uwe Brosch
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-02-22
Filing date: 2019-02-22
Publication date: 2020-08-27

Abstract

Verfahren (100) zur Glättung einer Klassifikation (3) von Pixeln eines zwei- oder dreidimensionalen Bildes (1), wobei die Klassifikation (3) durch einen Klassifikator (2) definiert ist, der jedes Pixel des Bildes (1) einer von mehreren diskreten Klassen (2a, 2b) zuordnet, mit den Schritten:• durch eine oder mehrere geometrische Transformationen (111), und/oder durch Intensitätsmodulation (112), wird eine Mehrzahl von Varianten (1a-1d) des Bildes erzeugt (110);• aus jeder der Varianten (1a-1d) des Bildes (1) wird mit dem Klassifikator (2) eine zugehörige diskrete Klassifikation (3a-3d) der Pixel dieser Variante (1a-1d) ermittelt (120);• die ermittelten Klassifikationen (3a-3d) werden durch Rückgängigmachen (111') eventueller geometrischer Transformationen (111), die bei der Bildung der jeweils zugehörigen Variante (1a-1d) des Bildes (1) angewendet wurden, in das Koordinatensystem des Bildes (1) transformiert (130), um dort aggregierbare Klassifikationen (4a-4d) zu bilden (130); die aggregierbaren Klassifikationen (4a-4d) werden zur geglätteten Klassifikation (3') der Pixel des Bildes (1) aggregiert (140).Verfahren (200) zur Steuerung und/oder Überwachung eines Fahrzeugs (50), (300) zur Überwachung eines Bereichs (8), (400) zum Trainieren eines durchführenden Systems, (500) zum Optimieren von Transformationen (111) und/oder Modulationen (112) für das Verfahren (100).Vorrichtung (9) zur Durchführung sowie Computerprogramm.A method (100) for smoothing a classification (3) of pixels of a two- or three-dimensional image (1), the classification (3) being defined by a classifier (2) which makes each pixel of the image (1) one of several discrete Assigned to classes (2a, 2b), with the following steps: • by means of one or more geometric transformations (111) and / or by intensity modulation (112), a plurality of variants (1a-1d) of the image is generated (110); an associated discrete classification (3a-3d) of the pixels of this variant (1a-1d) is determined (120) from each of the variants (1a-1d) of the image (1) with the classifier (2); the classifications (3a -3d) are transformed (130) into the coordinate system of the image (1) by undoing (111 ') any geometric transformations (111) that were used in the formation of the respective associated variant (1a-1d) of the image (1) in order to form (130) classifications (4a-4d) which can be aggregated there; the aggregable classifications (4a-4d) are aggregated (140) for the smoothed classification (3 ') of the pixels of the image (1). Method (200) for controlling and / or monitoring a vehicle (50), (300) for monitoring a Area (8), (400) for training an executing system, (500) for optimizing transformations (111) and / or modulations (112) for the method (100), device (9) for execution and computer program.

Description

Die vorliegende Erfindung betrifft die Glättung einer aus einem Bild ermittelten Klassifikation, insbesondere für die weitere Auswertung dieser Klassifikation oder auch für die Anzeige der Klassifikation auf einer Anzeigeeinrichtung.The present invention relates to the smoothing of a classification determined from an image, in particular for the further evaluation of this classification or also for the display of the classification on a display device.

Stand der TechnikState of the art

Beim Führen eines Fahrzeugs im Straßenverkehr durch einen menschlichen Fahrer sind optische Beobachtungen des Fahrzeugumfelds die wichtigste Informationsquelle. Um das Fahrzeug zumindest teilweise automatisiert zu führen, ist es daher wünschenswert, diese optischen Beobachtungen in eine für ein entsprechendes Steuergerät interpretierbare Form zu überführen.When a human driver is driving a vehicle in traffic, optical observations of the vehicle's surroundings are the most important source of information. In order to control the vehicle at least partially automatically, it is therefore desirable to convert these optical observations into a form that can be interpreted by a corresponding control device.

Zu diesem Zweck ist es bekannt, Bilder, die mindestens einen Teilbereich des Fahrzeugumfelds zeigen, semantisch zu segmentieren. Das bedeutet, dass jedem Pixel des Bildes zumindest der Typ eines Objekts zugeordnet wird, zu dem das Pixel gehört. Eine solche Zuordnung kann beispielsweise von einem künstlichen neuronalen Netzwerk oder einem anderen Klassifikator vorgenommen werden. Ein Verfahren für die Steuerung eines Fahrzeugs auf der Basis von derart semantisch segmentierten Beobachtungen ist beispielsweise aus der DE 10 2017 206 396 A1 bekannt.For this purpose it is known to semantically segment images which show at least a partial area of the vehicle surroundings. This means that at least the type of object to which the pixel belongs is assigned to each pixel of the image. Such an assignment can be made, for example, by an artificial neural network or another classifier. A method for controlling a vehicle on the basis of such semantically segmented observations is, for example, from DE 10 2017 206 396 A1 known.

Offenbarung der ErfindungDisclosure of the invention

Im Rahmen der Erfindung wurde ein Verfahren zur Glättung einer Klassifikation von Pixeln eines zwei- oder dreidimensionalen Bildes entwickelt. Die Klassifikation ist durch einen Klassifikator definiert, der jedes Pixel des Bildes einer von mehreren diskreten Klassen zuordnet.In the context of the invention, a method for smoothing a classification of pixels in a two- or three-dimensional image was developed. The classification is defined by a classifier which assigns each pixel of the image to one of several discrete classes.

Bei diesem Verfahren wird durch eine oder mehrere geometrische Transformationen, und/oder durch Intensitätsmodulation, eine Mehrzahl von Varianten des Bildes erzeugt. Dabei kann zusätzlich auch das ursprüngliche Bild als unveränderte Variante mitgenutzt werden.In this method, a plurality of variants of the image are generated by one or more geometric transformations and / or by intensity modulation. The original image can also be used as an unchanged variant.

Unter einer geometrischen Transformation wird eine Transformation verstanden, die einen Intensitätswert oder sonstigen Wert, welcher im ursprünglichen Bild einem ersten in zwei oder drei Dimensionen festgelegten Ort zugewiesen war, in der Variante einem zweiten Ort zuordnet. Beispiele für geometrische Transformationen sind Spiegelung, Skalierung, Translation und Rotation. Bei einer geometrischen Transformation muss der einem Pixel der Variante zugewiesene Wert nicht notwendigerweise aus genau einem Pixel des ursprünglichen Bildes hervorgehen. Wird beispielsweise ein zweidimensionales Bild in jeder Koordinatenrichtung um einen Faktor 2 verkleinert, so sind in jedem Pixel der verkleinerten Variante mehrere Pixelwerte des ursprünglichen Bildes aggregiert.A geometric transformation is understood to mean a transformation which, in the variant, assigns an intensity value or other value that was assigned to a first location defined in two or three dimensions in the original image to a second location. Examples of geometric transformations are mirroring, scaling, translation and rotation. In the case of a geometric transformation, the value assigned to a pixel of the variant does not necessarily have to result from exactly one pixel of the original image. For example, a two-dimensional image becomes a factor in each coordinate direction 2 reduced, several pixel values of the original image are aggregated in each pixel of the reduced variant.

Eine Intensitätsmodulation kann beispielsweise eine Veränderung der Belichtung umfassen. Diese Veränderung muss über das Bild nicht homogen sein, sondern kann ortsabhängig sein oder überhaupt nur auf einen Teilbereich des Bildes wirken.An intensity modulation can include, for example, a change in the exposure. This change does not have to be homogeneous across the image, but can be location-dependent or only affect a part of the image at all.

Aus jeder der Varianten des Bildes wird mit dem Klassifikator eine zugehörige diskrete Klassifikation der Pixel dieser Variante ermittelt. Der Klassifikator wird also separat auf jede der Varianten angewendet.An associated discrete classification of the pixels of this variant is determined with the classifier from each of the variants of the image. The classifier is therefore applied separately to each of the variants.

Die ermittelten Klassifikationen werden durch Rückgängigmachen eventueller geometrischer Transformationen, die bei der Bildung der jeweils zugehörigen Variante des Bildes angewendet wurden, in das Koordinatensystem des Bildes transformiert und bilden dort aggregierbare Klassifikationen. Das bedeutet, dass Pixel, die sich in verschiedenen aggregierbaren Klassifikationen jeweils an ein und derselben Position befinden, jeweils Aussagen über die gleiche Position im ursprünglichen Bild treffen.The ascertained classifications are transformed into the coordinate system of the image by undoing any geometric transformations that were used in the formation of the respective associated variant of the image and there form classifications that can be aggregated. This means that pixels that are located in the same position in different aggregable classifications each make statements about the same position in the original image.

Die aggregierbaren Klassifikationen werden zur geglätteten Klassifikation der Pixel des ursprünglichen Bildes aggregiert. Hierfür kann beispielsweise ein pixelweiser Median oder ein pixelweiser Mittelwert über die aggregierbaren Klassifikationen bestimmt werden, wobei der Mittelwert optional auch beispielsweise nach einem oder mehreren vorgegebenen Kriterien gewichtet sein kann.The aggregable classifications are aggregated for the smooth classification of the pixels of the original image. For this purpose, for example, a pixel-by-pixel median or a pixel-by-pixel mean value can be determined using the aggregatable classifications, the mean value optionally also being weighted according to one or more predetermined criteria, for example.

Es wurde erkannt, dass die Klassifikation auf diese Weise vorteilhaft in dem Sinne geglättet wird, dass bestimmte kleine Änderungen des ursprünglichen Bildes sich nicht auf die letztendlich erhaltene Klassifikation der Pixel auswirken. Es werden also gleichsam gewisse Arten von Unterschieden zwischen Bildern eingeebnet und/oder quantisiert.It has been recognized that the classification is advantageously smoothed in this way in the sense that certain small changes in the original image do not affect the classification of the pixels ultimately obtained. So, as it were, certain types of differences between images are leveled and / or quantized.

Weiterhin führt diese Robustheit auch dazu, dass gezielte Attacken mit synthetisch erzeugten Mustern („Adversarial Examples“) auf visuelle Systeme mit neuronalen Netzwerken unterbunden oder zumindest erschwert werden. Ein Beispiel für eine solche Attacke ist das Bedrucken eines Objekts mit einem speziellen Muster, so dass das neuronale Netzwerk eines Fahrzeugs, das Objekte klassifiziert, das Objekt fälschlicherweise als freie Straße klassifiziert und ungebremst hineinfährt. Derartige Muster sind nicht etwa beispielsweise Poster einer Straße, sondern für einen Menschen nahezu unsichtbare Rauschmuster, die gezielt auf die Entscheidungsgrenzen des neuronalen Netzwerks zielen.Furthermore, this robustness also means that targeted attacks with synthetically generated patterns (“Adversarial Examples”) on visual systems with neural networks are prevented or at least made more difficult. An example of such an attack is the printing of an object with a special pattern so that the neural network of a vehicle that classifies objects incorrectly classifies the object as a free road and drives into it without braking. Such patterns are not, for example, posters of a street, but noise patterns that are almost invisible to a person and that target the decision-making limits of the neural network.

Es wurde erkannt, dass dies besonders von Vorteil ist für Anwendungen, in denen eine fortwährende Folge von Bildern aufgenommen und klassifiziert wird. Dies gilt insbesondere dann, wenn der für die Bildaufnahme verwendete Sensor sich relativ zu der beobachteten Szenerie bewegt, wie es beispielsweise bei einer an einem fahrenden Fahrzeug montierten Kamera der Fall ist. Sowohl eine solche Bewegung als auch normale Messungenauigkeiten zwischen zwei nacheinander aufgenommenen Bildern können dazu führen, dass bestimmte Pixel ausgehend vom ersten Bild einer ersten Klasse zugeordnet werden und ausgehend vom zweiten Bild einer zweiten Klasse. Wenn die Klassifikation beispielsweise eine semantische Segmentierung des Bildes beinhaltet, können etwa an einer Grenzlinie zwischen den Objekttypen „Fußgänger“ und „Straße“ kleine Unterschiede zwischen den beiden Bildern derart verstärkt werden, dass die Klassifikation bestimmter Pixel von „Fußgänger“ auf „Straße“ wechselt oder umgekehrt. Solche schnellen Wechsel sind durch kein plausibles physikalisches Phänomen motiviert, so dass eine automatisierte Weiterverarbeitung der Klassifikation hieraus möglicherweise falsche Schlüsse zieht. Für die Plausibilisierung können beispielsweise graphenbasierte Nachbarschaftsbeziehungen, etwa „Conditional Random Fields“, genutzt werden. It has been recognized that this is particularly advantageous for applications in which a continuous sequence of images is recorded and classified. This applies in particular when the sensor used for the image recording moves relative to the observed scene, as is the case, for example, with a camera mounted on a moving vehicle. Both such a movement and normal measurement inaccuracies between two successively recorded images can lead to certain pixels being assigned to a first class based on the first image and a second class based on the second image. For example, if the classification includes a semantic segmentation of the image, small differences between the two images can be amplified at a boundary line between the object types “pedestrian” and “street” so that the classification of certain pixels changes from “pedestrian” to “street” or the other way around. Such rapid changes are not motivated by any plausible physical phenomenon, so that automated further processing of the classification may draw wrong conclusions from this. For the plausibility check, for example, graph-based neighborhood relationships, such as “conditional random fields”, can be used.

In dem genannten Beispiel, in dem Pixel zwischen den Klassifikationen „Fußgänger“ und „Straße“ wechseln, könnten solche Wechsel etwa fälschlicherweise als Bewegung des Fußgängers relativ zur Straße interpretiert werden. Bei hoher Framerate der Bildaufnahme kann diese scheinbare Bewegung eine beachtliche Geschwindigkeit haben und etwa ein automatisiertes Steuerungssystem zu dem Schluss verleiten, dass der Fußgänger das Fahrzeug nicht gesehen hat und vor dem Fahrzeug über die Straße laufen wird. Wird daraufhin ein Ausweichmanöver oder eine Notbremsung ausgelöst, kommt ein solches Manöver für die übrigen Verkehrsteilnehmer völlig überraschend und kann einen Unfall verursachen.In the example mentioned, in which pixels change between the classifications “pedestrian” and “street”, such changes could be incorrectly interpreted as movement of the pedestrian relative to the street. With a high frame rate of the image recording, this apparent movement can have a considerable speed and lead an automated control system to conclude that the pedestrian has not seen the vehicle and will cross the street in front of the vehicle. If an evasive maneuver or emergency braking is then triggered, such a maneuver comes as a complete surprise to the other road users and can cause an accident.

Die beschriebene Glättung unterbindet genau solche unmotivierten Wechsel und erhöht so die Verlässlichkeit und Betriebssicherheit bei der Nutzung der Klassifikation für Steuerungsaufgaben.The smoothing described prevents precisely such unmotivated changes and thus increases the reliability and operational safety when using the classification for control tasks.

Wird die Klassifikation nicht direkt automatisiert weiterverarbeitet, sondern lediglich auf einer Anzeigeeinrichtung angezeigt, so unterbindet die beschriebene Glättung ein Flackern von Pixeln zwischen den verschiedenen Klassen zugeordneten Farben. Ein solches Flackern wird als unangenehm empfunden und bindet unnötig Aufmerksamkeit. Zusätzlich führt ein solches Flackern dazu, dass das subjektiv empfundene Vertrauen des Nutzers in das System verringert wird.If the classification is not processed further in an automated manner, but is merely displayed on a display device, the described smoothing prevents flickering of pixels between the colors assigned to the different classes. Such flickering is perceived as unpleasant and unnecessarily draws attention. In addition, such a flickering leads to the fact that the subjectively perceived trust of the user in the system is reduced.

Die Glättung führt weiterhin dazu, dass sich eine zeitliche Abfolge von Klassifikationen besser verlustfrei komprimieren lässt. Werden beispielsweise aufeinander folgende Bilder semantisch segmentiert und ändert sich die Klassifikation bestimmter Bildbereiche von einem Bild zum nächsten nicht, so muss lediglich die Information abgespeichert bzw. über ein Netzwerk übertragen werden, dass die Klassifikation des fraglichen Bildbereichs konstant bleibt. Ist die nominell konstante Klassifikation jedoch von Pixeln durchsetzt, deren Klassifikation in schneller Folge wechselt, müssen all diese Änderungen erfasst werden. Der Bedarf an Datenvolumen für die Speicherung bzw. Übertragung steigt dann deutlich an.The smoothing also means that a chronological sequence of classifications can be compressed more effectively without loss. If, for example, successive images are semantically segmented and the classification of certain image areas does not change from one image to the next, then the information only needs to be stored or transmitted via a network so that the classification of the image area in question remains constant. However, if the nominally constant classification is interspersed with pixels whose classification changes in rapid succession, then all of these changes must be recorded. The demand for data volume for storage or transmission then increases significantly.

Der Effekt der Glättung zeigt sich besonders deutlich an Grenzen zwischen Objekten oder an anderen Stellen, an denen die Konfidenz der Klassifikation vergleichsweise gering ist und bereits eine geringfügige Veränderung des Bildes zu einem „Umkippen“ der Klassifikation führen kann.The smoothing effect is particularly evident at the boundaries between objects or at other points where the confidence of the classification is comparatively low and even a slight change in the image can lead to the classification "overturning".

Im Vergleich zu Glättungsverfahren, die an Stelle der künstlich erzeugten Varianten des Bildes tatsächlich zeitlich nacheinander aufgenommene Bilder klassifizieren und anschließend die Klassifikationen aggregieren, ist das beschriebene Verfahren mit deutlich weniger Rechenaufwand verbunden. Die künstlich eingebrachten geometrischen Transformationen sind bekannt und lassen sich dementsprechend einfach wieder rückgängig machen. Werden hingegen nacheinander von einem Sensor aufgenommene Bilder analysiert und haben sich zwischen zwei Bildaufnahmen der Sensor und die Szenerie zueinander bewegt, so muss diese Relativbewegung aus den Bildern extrahiert werden, um die jeweiligen Klassifikationen aggregieren zu können. Dies ist aufwändiger als eine bekannte Transformation wieder rückgängig zu machen.Compared to smoothing methods which, instead of the artificially generated variants of the image, actually classify images recorded one after the other and then aggregate the classifications, the method described is associated with significantly less computational effort. The artificially introduced geometric transformations are known and can therefore be easily reversed. If, on the other hand, images recorded by a sensor are analyzed one after the other and the sensor and the scenery have moved towards each other between two image recordings, then this relative movement must be extracted from the images in order to be able to aggregate the respective classifications. This is more time-consuming than reversing a known transformation.

Das beschriebene Verfahren geht nur von einem Bild aus und liefert am Ende eine geglättete Klassifikation der Pixel dieses einen Bildes. Wenn die Varianten des Bildes qualitativ repräsentativ sind für diejenigen Unterschiede zwischen Bildern, die in zeitlicher Folge aufgenommen werden, dann wird die Glättung gemäß dem beschriebenen Verfahren, wenn sie auf jedes der Bilder in der Folge angewendet wird, auch die Unterschiede zwischen den jeweils erhaltenen geglätteten Klassifikationen minimieren.The method described is based only on one image and at the end delivers a smooth classification of the pixels of this one image. If the variants of the image are qualitatively representative of those differences between images recorded in time sequence, then the smoothing according to the method described, when applied to each of the images in the sequence, also smooths the differences between the respectively obtained ones Minimize classifications.

Weiterhin können geometrische Transformationen mit vergleichsweise einfachen Rechenoperationen durchgeführt und auch wieder rückgängig gemacht werden. Gerade solche einfachen Rechenoperationen lassen sich besonders gut hardwarebeschleunigen, etwa durch Implementierung mit Grafikprozessoren (Graphics Processing Unit, GPU), programmierbaren Gatteranordnungen (Field Programmable Gate Array, FPGA) oder anwendungsspezifischen integrierten Schaltkreisen (Application Specific Integrated Circuit, ASIC). Das besagte Ermitteln einer Relativbewegung aus einer Bilderfolge, etwa über einen optischen Fluss, erfordert hingegen deutlich komplexere Rechenoperationen.Furthermore, geometrical transformations can be carried out with comparatively simple arithmetic operations and also reversed again. It is precisely such simple arithmetic operations that can be accelerated particularly well by hardware, for example through implementation with graphics processors (Graphics Processing Unit, GPU), programmable gate arrangements (Field Programmable Gate Array, FPGA) or application-specific integrated circuits (ASIC). The aforementioned determination of a relative movement from a sequence of images, for example via an optical flow, however, requires significantly more complex computing operations.

In einer besonders vorteilhaften Ausgestaltung wird mindestens eine diskrete Klassifikation, und/oder mindestens eine aggregierbare Klassifikation, morphologisch geglättet und/oder anhand von Zusatzinformation über die im Bild gezeigte Szenerie plausibilisiert. Auf diese Weise lassen sich für jede einzelne Variante des ursprünglichen Bildes separat diejenigen Veränderungen der Klassifikation, die unplausibel sind, herausfiltern. Diese Veränderungen gehen dann nicht mehr in das Aggregieren zur letztendlich erhaltenen geglätteten Klassifikation ein. Die Glättung fällt also nicht in Form eines Schwellwerts oder einer Abschneidefrequenz für einen Tiefpassfilter „vom Himmel“, sondern ist durch Vorwissen über die Szenerie, das in transparenter Weise einbringbar ist, motiviert.In a particularly advantageous embodiment, at least one discrete classification and / or at least one aggregable classification is morphologically smoothed and / or plausibility checked on the basis of additional information about the scenery shown in the image. In this way, those changes in the classification that are implausible can be filtered out separately for each individual variant of the original image. These changes are then no longer included in the aggregation for the smoothed classification ultimately obtained. The smoothing does not fall “from the sky” in the form of a threshold value or a cut-off frequency for a low-pass filter, but is motivated by prior knowledge of the scenery, which can be introduced in a transparent manner.

Die Zusatzinformation kann beispielsweise eine Gewichtung dahingehend beinhalten, wie plausibel es ist, dass ein durch den Klassifikator einer ersten Klasse zugeordnetes Pixel an ein einer zweiten Klasse zugeordnetes Pixel angrenzt. So sind beispielsweise viele Szenerien denkbar, in denen ein Fahrzeug oder ein Fußgänger an eine Straße angrenzt. Hingegen gibt es deutlich weniger Alltagssituationen, in denen ein Fahrzeug oder ein Fußgänger beispielsweise an einen Himmel oder an ein Flugzeug angrenzt.The additional information can contain, for example, a weighting to the effect of how plausible it is that a pixel assigned to a first class by the classifier is adjacent to a pixel assigned to a second class. For example, many scenarios are conceivable in which a vehicle or a pedestrian is adjacent to a street. In contrast, there are significantly fewer everyday situations in which a vehicle or a pedestrian is adjacent to a sky or an airplane, for example.

Alternativ oder auch in Kombination hierzu kann die Zusatzinformation beispielsweise eine Information dahingehend beinhalten, wie weit Orte, von denen das durch Pixel des Bildes repräsentierte Signal stammt, jeweils von einem Sensor entfernt waren, mit dem das Bild aufgenommen wurde. Diese Entfernung kann beispielsweise als Anhaltspunkt dafür genutzt werden, welche Größe für bestimmte Objekte plausibel ist. So ist es beispielsweise für ein weit entferntes Fahrzeug plausibel, wenn sich dies in nur wenigen Pixeln im Bild manifestiert. Für ein nahes Objekt, das nur wenige Pixel groß ist, ist eine Klassifikation als Fahrzeug hingegen wahrscheinlich nicht zutreffend, sofern keine Teilverdeckung im Spiel ist.Alternatively or also in combination with this, the additional information can contain, for example, information on how far the locations from which the signal represented by the pixels of the image originates were in each case from a sensor with which the image was recorded. This distance can be used, for example, as an indication of which size is plausible for certain objects. For example, it is plausible for a vehicle that is far away if this manifests itself in just a few pixels in the image. For a nearby object that is only a few pixels in size, however, classification as a vehicle is probably not applicable, provided that no partial concealment is involved.

Die diskreten Klassen der Klassifikation können nach dem zuvor Beschriebenen insbesondere unterschiedliche Typen von Objekten repräsentieren, zu denen die den Klassen jeweils zugeordneten Pixel des Bildes gehören (semantische Segmentierung).According to what has been described above, the discrete classes of the classification can in particular represent different types of objects to which the pixels of the image assigned to the classes belong (semantic segmentation).

Wie zuvor erläutert, kann die geglättete Klassifikation vorteilhaft genutzt werden, um ein Fahrzeug verlässlicher zu steuern und/oder zu überwachen. Die Erfindung bezieht sich daher auch auf ein Verfahren zur Steuerung und/oder Überwachung eines Fahrzeugs.As explained above, the smoothed classification can advantageously be used to control and / or monitor a vehicle more reliably. The invention therefore also relates to a method for controlling and / or monitoring a vehicle.

Bei diesem Verfahren wird aus mindestens einem mit mindestens einem Sensor erfassten Bild mindestens eines Teilbereichs des Umfelds des Fahrzeugs mit dem zuvor beschriebenen Verfahren eine geglättete Klassifikation der Pixel des Bildes ermittelt. Auf der Basis der geglätteten Klassifikation wird das Fahrzeug angesteuert. Dabei muss der Sensor nicht zwingend am Fahrzeug selbst montiert sein. Es ist beispielsweise auch möglich, dass das Fahrzeug per V2I (Vehicle to Infrastructure)-Kommunikation Bilddaten von einer Kamera erhält, die an einer Kreuzung oder einem anderen Verkehrsknotenpunkt fest montiert ist.In this method, using the method described above, a smooth classification of the pixels of the image is determined from at least one image captured with at least one sensor of at least a partial area of the surroundings of the vehicle. The vehicle is controlled on the basis of the smoothed classification. The sensor does not necessarily have to be mounted on the vehicle itself. For example, it is also possible for the vehicle to receive image data via V2I (Vehicle to Infrastructure) communication from a camera that is permanently installed at an intersection or another traffic junction.

Beispielsweise kann in Antwort darauf, dass ein Objekt im Umfeld des Fahrzeugs erkannt wurde und eine Kollision mit diesem Objekt möglich ist, ein Antriebssystem, ein Lenksystem, und/oder ein Bremssystem, des Fahrzeugs dahingehend angesteuert werden, dass die Kollision entweder vollständig vermieden oder in ihrer Folgenschwere gemindert wird. Ebenso kann beispielsweise eine Warneinrichtung aktiviert werden, um einen Fahrer des Fahrzeugs und/oder einen anderen Verkehrsteilnehmer zu einer Reaktion zu veran lassen.For example, in response to the fact that an object has been detected in the vicinity of the vehicle and a collision with this object is possible, a drive system, a steering system and / or a braking system of the vehicle can be controlled to the effect that the collision is either completely avoided or in their seriousness is reduced. Likewise, for example, a warning device can be activated in order to cause a driver of the vehicle and / or another road user to react.

In einer besonders vorteilhaften Ausgestaltung wird aus der geglätteten Klassifikation die Position mindestens eines Objekts im Umfeld des Fahrzeugs ermittelt, und das Fahrzeug wird auf der Basis der ermittelten Position angesteuert. In dieser Ausgestaltung macht sich die Glättung in Form einer gesteigerten Genauigkeit der Positionsbestimmung bemerkbar.In a particularly advantageous embodiment, the position of at least one object in the vicinity of the vehicle is determined from the smoothed classification, and the vehicle is controlled on the basis of the determined position. In this embodiment, the smoothing becomes noticeable in the form of an increased accuracy of the position determination.

Gerade bei Fahrten auf Autobahnen müssen auf Grund der hohen Geschwindigkeiten Objekte auch in größerer Entfernung zum eigenen Fahrzeug mit guter Genauigkeit erkannt werden. Je größer jedoch die Entfernung ist, desto größer wird die absolute Unsicherheit der Positionsbestimmung, wenn beispielsweise ein einzelnes Pixel an der Grenze eines Objekts zwischen zwei Klassen hin- und herwechselt. Durch die beschriebene Glättung wird diese Unsicherheit vermindert.Especially when driving on motorways, objects must be recognized with good accuracy even at a greater distance from the vehicle due to the high speeds. However, the greater the distance, the greater the absolute uncertainty of the position determination if, for example, a single pixel at the boundary of an object switches back and forth between two classes. The described smoothing reduces this uncertainty.

Die beschriebene Glättung ist aber auch in anderen Anwendungsbereichen vorteilhaft. So kann beispielsweise bei der stationären Überwachung von Bereichen auf sicherheitsrelevante Vorkommnisse mit einer zuverlässigen Klassifikation von Objekten sehr viel besser Wichtiges von Unwichtigem getrennt werden. Beispielsweise ist es nicht nötig, Bilder abzuspeichern oder an eine verantwortliche Stelle weiterzuleiten, die lediglich sich bewegende Baumkronen zeigen. Sind jedoch etwa Personen im Bild zu erkennen, sollten die Bilder beispielsweise archiviert und weitergeleitet werden.The smoothing described is also advantageous in other areas of application. For example, in the stationary monitoring of areas for security-relevant incidents, with a reliable classification of objects, the important and the unimportant can be separated much better. For example, it is not necessary to save images or forward them to a responsible body that only show moving tree tops. However, there are about people in the picture too recognize, the images should be archived and forwarded, for example.

Die Erfindung bezieht sich daher auch auf ein Verfahren zur Überwachung eines Bereichs. Bei diesem Verfahren wird aus mindestens einem mit mindestens einem Sensor erfassten Bild des Bereichs mit dem zuvor beschriebenen Verfahren eine geglättete Klassifikation der Pixel des Bildes ermittelt. Auf der Basis der geglätteten Klassifikation wird ausgewertet, ob ein Objekt eines vorgegebenen Typs im überwachten Bereich vorhanden ist und/oder sich in dem Bereich bewegt. In Antwort darauf, dass ein solches Objekt in dem überwachten Bereich vorhanden ist, wird das Bild auf einem nichtflüchtigen Datenträger aufgezeichnet und/oder über eine Netzwerkschnittstelle an eine für den überwachten Bereich verantwortliche Stelle übertragen. Alternativ oder auch in Kombination hierzu kann ein optischer und/oder akustischer Alarmgeber aktiviert werden.The invention therefore also relates to a method for monitoring an area. In this method, a smooth classification of the pixels of the image is determined from at least one image of the area recorded with at least one sensor using the method described above. On the basis of the smoothed classification, it is evaluated whether an object of a specified type is present in the monitored area and / or is moving in the area. In response to the presence of such an object in the monitored area, the image is recorded on a non-volatile data carrier and / or transmitted via a network interface to a body responsible for the monitored area. Alternatively or in combination with this, an optical and / or acoustic alarm transmitter can be activated.

Klassifikatoren, mit denen die Pixel eines Bildes in diskrete Klassen eingeteilt werden, werden häufig mit künstlichen neuronalen Netzwerken (KNN) oder ähnlichen KI-Modulen realisiert. Insbesondere KNN sind sehr gut dazu geeignet, ein großes Dimensionalitätsgefälle zwischen der hohen Dimensionalität des Bildes einerseits (etwa 262.144 bei einem Bild von 512x512 Pixeln) und der niedrigen Dimensionalität der Klassifikation andererseits (typischerweise weniger als 1000 zu unterscheidende Klassen) zu überbrücken. Vor dem eigentlichen Einsatz sind derartige Klassifikatoren anhand von Lern-Daten zu trainieren. Auch dieses Training lässt sich durch die Glättung der vom zu trainierenden Klassifikator gelieferten Klassifikation vorteilhaft verbessern.Classifiers, with which the pixels of an image are divided into discrete classes, are often implemented with artificial neural networks (ANN) or similar AI modules. ANNs in particular are very well suited to bridging a large dimensional gradient between the high dimensionality of the image on the one hand (around 262,144 for an image of 512x512 pixels) and the low dimensionality of the classification on the other hand (typically fewer than 1000 different classes). Such classifiers must be trained on the basis of learning data before they are actually used. This training can also be advantageously improved by smoothing the classification provided by the classifier to be trained.

Daher bezieht sich die Erfindung auch auf ein Verfahren zum Trainieren eines Systems für die Durchführung eines der zuvor beschriebenen Verfahren. Das System kann insbesondere einen als KI-Modul ausgebildeten Klassifikator enthalten, dessen Verhalten durch Parameter festgelegt ist. Beispielsweise können bei einem KNN die Gewichte, mit denen die Eingaben eines Neurons zu einer Aktivierung dieses Neurons verrechnet werden, zu den Parametern gehören.The invention therefore also relates to a method for training a system to carry out one of the methods described above. The system can in particular contain a classifier designed as an AI module, the behavior of which is defined by parameters. For example, in the case of an ANN, the weights with which the inputs of a neuron are calculated for an activation of this neuron can belong to the parameters.

Bei dem Verfahren wird eine Mehrzahl von Lern-Bildern mit zugehörigen Lern-Klassifikationen bereitgestellt. Aus den Lern-Bildern werden mit dem beschriebenen Verfahren geglättete Klassifikationen ermittelt, wobei jede Variante eines jeden genutzten Lern-Bildes durch den Klassifikator des Systems verarbeitet wird.In the method, a plurality of learning images with associated learning classifications is provided. The described method is used to determine smoothed classifications from the learning images, with each variant of each learning image used being processed by the system's classifier.

Die geglätteten Klassifikationen werden mit den zugehörigen Lern-Klassifikationen verglichen. Das Ergebnis des Vergleichs wird mit einer Kostenfunktion bewertet.The smoothed classifications are compared with the associated learning classifications. The result of the comparison is evaluated with a cost function.

Es können nun Parameter, die das Verhalten des Klassifikators festlegen, dahingehend optimiert werden, dass die auf der Basis dieser Parameter ermittelten geglätteten Klassifikationen voraussichtlich zu einer besseren Bewertung durch die Kostenfunktion führen.Parameters which define the behavior of the classifier can now be optimized in such a way that the smoothed classifications determined on the basis of these parameters are likely to lead to a better evaluation by the cost function.

In diesem Zusammenhang hat die Glättung der Klassifikation die Wirkung, dass die Schritte für die Optimierung der Parameter besser geplant werden können. Beispielsweise kann ein Gradientenabstiegsverfahren genutzt werden, um im Raum der Parameter des KI-Moduls eine Richtung hin zu solchen Parametern zu finden, die die Kostenfunktion vermindern. Die Glättung vermindert die Wahrscheinlichkeit von „Fehltritten“ hin zu Parametern, die die Kostenfunktion erhöhen statt sie zu vermindern.In this context, the smoothing of the classification has the effect that the steps for optimizing the parameters can be better planned. For example, a gradient descent method can be used to find a direction in the space of the parameters of the AI module towards those parameters that reduce the cost function. The smoothing reduces the probability of "missteps" towards parameters that increase the cost function instead of reducing it.

Alternativ oder auch in Kombination können geometrische Transformationen, und/oder Intensitätsmodulationen, die für die Erzeugung der Varianten der Lern-Bilder verwendet werden, dahingehend optimiert werden, dass die unter Anwendung dieser Transformationen, und/oder unter Anwendung dieser Intensitätsmodulationen, ermittelten geglätteten Klassifikationen voraussichtlich zu einer besseren Bewertung durch die Kostenfunktion führen. Die Glättung der Klassifikation kann beispielsweise Hand in Hand mit dem Training des KI-Moduls im Klassifikator trainiert werden mit dem Ziel, weniger relevante und/oder irreführende Information zu unterdrücken, während zugleich die für eine sichere Unterscheidung zwischen den vorgegebenen Klassen nötige Information erhalten bleibt. Die Glättung wird also auf das konkrete Ziel zugeschnitten, das mit der erhaltenen Klassifikation letztendlich verfolgt wird.Alternatively or also in combination, geometrical transformations and / or intensity modulations that are used to generate the variants of the learning images can be optimized to the effect that the smoothed classifications determined using these transformations and / or using these intensity modulations are likely lead to a better evaluation by the cost function. The smoothing of the classification can, for example, be trained hand in hand with the training of the AI module in the classifier with the aim of suppressing less relevant and / or misleading information while at the same time retaining the information necessary for a reliable differentiation between the given classes. The smoothing is therefore tailored to the specific goal that is ultimately pursued with the classification obtained.

Letztendlich kann somit die Auswahl der für das Glätten verwendeten Varianten des ursprünglichen Bildes, und/oder die Gewichtung dieser Varianten beim Aggregieren, so gewählt werden, dass für die Lern-Bilder jeweils eine geglättete Klassifikation erhalten wird, welche die zugehörige Lern-Klassifikation optimal reproduziert.Ultimately, the selection of the variants of the original image used for smoothing and / or the weighting of these variants during aggregation can be chosen so that a smoothed classification is obtained for each of the learning images, which optimally reproduces the associated learning classification .

Die geometrischen Transformationen und/oder Intensitätsmodulationen, mit denen die Varianten des Bildes für die Glättung gebildet werden, können weiterhin gezielt darauf optimiert werden, bei der Glättung bestimmte kleine Änderungen, die bei der realen Bildaufnahme vorkommen, auszublenden.The geometric transformations and / or intensity modulations with which the variants of the image are formed for smoothing can also be specifically optimized to mask out certain small changes that occur during the real image recording during the smoothing.

Daher bezieht sich die Erfindung auch auf ein weiteres Verfahren zum Ermitteln von geometrischen Transformationen, und/oder Intensitätsmodulationen, für das Verfahren zur Glättung, für das Verfahren zur Steuerung und/oder Überwachung eines Fahrzeugs, und/oder für das Verfahren zur Überwachung eines Bereichs, und/oder für das Verfahren zum Trainieren eines Systems.The invention therefore also relates to a further method for determining geometric transformations and / or intensity modulations, for the method for smoothing, for the method for controlling and / or monitoring a vehicle, and / or for the method for monitoring an area, and / or for the method of training a system.

Bei diesem Verfahren wird eine Mehrzahl von Lern-Bildern bereitgestellt, die beispielsweise in zeitlicher Folge nacheinander aufgenommen worden sein können. Aus den Lern-Bildern werden mit dem zuvor beschriebenen Verfahren zur Glättung geglättete Klassifikationen ermittelt. In this method, a plurality of learning images is provided, which, for example, can have been recorded one after the other in time sequence. From the learning images, smoothed classifications are determined using the smoothing method described above.

Die geglätteten Klassifikationen werden untereinander verglichen. Das Ergebnis des Vergleichs wird mit einer Kostenfunktion bewertet. Die Transformationen, und/oder die Intensitätsmodulationen, werden dahingehend optimiert, dass die unter Anwendung dieser Transformationen, bzw. Intensitätsmodulationen, ermittelten geglätteten Klassifikationen voraussichtlich zu einer besseren Bewertung durch die Kostenfunktion führen.The smoothed classifications are compared with one another. The result of the comparison is evaluated with a cost function. The transformations and / or the intensity modulations are optimized in such a way that the smoothed classifications determined using these transformations or intensity modulations are likely to lead to a better evaluation by the cost function.

Somit wird die Glättung gezielt dahingehend optimiert, dass die geglätteten Klassifikationen der bereitgestellten Mehrzahl von Lern-Bildern möglichst gleich sind.The smoothing is thus specifically optimized in such a way that the smoothed classifications of the plurality of learning images provided are as identical as possible.

Wie bereits zuvor erläutert, lässt sich die Glättung der Klassifikation besonders gut hardwarebeschleunigen, da in wesentlichen Bereichen nur vergleichsweise einfache Rechenoperationen zum Einsatz kommen. Daher bezieht sich die Erfindung auch auf eine Vorrichtung zur Durchführung eines der beschriebenen Verfahren. Diese Vorrichtung umfasst

• ein Rechenwerk, das zum Erzeugen von Varianten eines Bildes hergerichtet ist,
• ein Rechenwerk, das zum Anwenden des Klassifikators hergerichtet ist,
• ein Rechenwerk, das zum Transformieren diskreter Klassifikationen in das Koordinatensystem des ursprünglichen Bildes hergerichtet ist, sowie
• ein Rechenwerk, das zum Aggregieren aggregierbarer Klassifikationen hergerichtet ist.

As already explained above, the smoothing of the classification can be accelerated by hardware particularly well, since only comparatively simple arithmetic operations are used in essential areas. The invention therefore also relates to a device for carrying out one of the methods described. This device includes

• an arithmetic logic unit that is designed to generate variants of an image,
• an arithmetic unit that is prepared for using the classifier,
• an arithmetic unit that is designed to transform discrete classifications into the coordinate system of the original image, as well as
• an arithmetic unit that is designed to aggregate classifications that can be aggregated.

Dabei müssen diese Rechenwerke nicht alle physisch separat realisiert sein. Vielmehr kann auch ein und dasselbe Rechenwerk für mehrere der genannten Aufgaben hergerichtet sein. Unter „hergerichtet“ sind beispielsweise ein auf die jeweilige Aufgabe zugeschnittener physischer Aufbau des Rechenwerks, das Betreiben des Rechenwerks mit einer Software, die die Aufgabe ausführt, sowie beliebige Kombinationen hieraus zu verstehen.These arithmetic units do not all have to be implemented physically separately. Rather, one and the same arithmetic unit can also be prepared for several of the tasks mentioned. “Prepared” is to be understood as meaning, for example, a physical structure of the arithmetic unit tailored to the respective task, the operation of the arithmetic unit with software that executes the task, and any combination thereof.

Mindestens das zum Erzeugen von Varianten hergerichtete Rechenwerk und das zum Transformieren diskreter Klassifikationen hergerichtete Rechenwerk beinhalten jeweils mindestens einen Grafikprozessor, GPU, mindestens eine programmierbare Gatteranordnung, FPGA, mindestens einen anwendungsspezifischen integrierten Schaltkreis, ASIC, und/oder mindestens eine Lookup-Tabelle sowie Mittel zum Abfragen derselben.At least the arithmetic unit prepared to generate variants and the arithmetic unit prepared to transform discrete classifications each contain at least one graphics processor, GPU, at least one programmable gate arrangement, FPGA, at least one application-specific integrated circuit, ASIC, and / or at least one lookup table and means for Queries the same.

Gerade das Erzeugen von Varianten und das Transformieren der aus den Varianten gewonnenen diskreten Klassifikationen werden zum einen besonders häufig durchgeführt und lassen sich zum anderen besonders effizient hardwarebeschleunigen. Daher ist der Aufwand für diese Beschleunigung an diesen Stellen besonders lohnend.The generation of variants and the transformation of the discrete classifications obtained from the variants are performed particularly frequently on the one hand and can be hardware accelerated particularly efficiently on the other. The effort for this acceleration is therefore particularly worthwhile at these points.

Vorteilhaft enthält das zum Erzeugen von Varianten hergerichtete Rechenwerk einen separaten ASIC für jede Transformation und/oder Intensitätsmodulation. Alternativ oder auch in Kombination kann das zum Transformieren diskreter Klassifikationen in das Koordinatensystem des ursprünglichen Bildes hergerichtete Rechenwerk einen separaten ASIC für jede rückgängig zu machende Transformation enthalten. Auf diese Weise kann das Rechenwerk beispielsweise nach einem Baukastensystem zusammengestellt werden, so dass die Hardwarebeschleunigung einerseits und Flexibilität für die Erzeugung von Varianten andererseits miteinander kombiniert werden können.The arithmetic unit prepared to generate variants advantageously contains a separate ASIC for each transformation and / or intensity modulation. Alternatively or also in combination, the arithmetic unit prepared for transforming discrete classifications into the coordinate system of the original image can contain a separate ASIC for each transformation to be reversed. In this way, the arithmetic unit can be put together according to a modular system, for example, so that the hardware acceleration on the one hand and flexibility for the generation of variants on the other hand can be combined with one another.

Wenngleich sich die Verfahren hardwarebeschleunigen lassen, so können sie doch ganz oder teilweise in Form einer Software realisiert sein. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem Computer, und/oder auf einem Steuergerät, und/oder einem Embedded-System, ausgeführt werden, den Computer, das Steuergerät, bzw. das Embedded-System, dazu veranlassen, eines der beschriebenen Verfahren auszuführen. Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm.Although the processes can be accelerated by hardware, they can still be implemented in whole or in part in the form of software. The invention therefore also relates to a computer program with machine-readable instructions which, when executed on a computer and / or on a control device and / or an embedded system, the computer, the control device, or the embedded System to carry out one of the procedures described. The invention also relates to a machine-readable data carrier and / or to a download product with the computer program.

Die Funktionalität der beschriebenen Verfahren kann in einem Computer, Steuergerät, und/oder Embedded-System, mit dem beschriebenen Computerprogramm, und/oder mit dem beschriebenen maschinenlesbaren Datenträger und/oder Downloadprodukt, verkörpert sein. Der Computer, das Steuergerät, und/oder das Embedded-System, kann aber auch in beliebiger sonstiger Weise spezifisch zur Durchführung eines der beschriebenen Verfahren ausgebildet sein, etwa durch den Einsatz von FPGAs und/oder ASICs.The functionality of the described method can be embodied in a computer, control device, and / or embedded system, with the described computer program, and / or with the described machine-readable data carrier and / or download product. The computer, the control device, and / or the embedded system can, however, also be designed specifically in any other way to carry out one of the methods described, for example through the use of FPGAs and / or ASICs.

Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.Further measures improving the invention are shown in more detail below together with the description of the preferred exemplary embodiments of the invention with reference to figures.

AusführungsbeispieleEmbodiments

Es zeigt:

1 Ausführungsbeispiel des Verfahrens 100 zur Glättung einer Klassifikation 3;
2 Ausführungsbeispiel des Verfahrens 200 zur Steuerung und/oder Überwachung eines Fahrzeugs 50;
3 Ausführungsbeispiel des Verfahrens 300 zur Überwachung eines Bereichs 8;
4 Ausführungsbeispiel des Verfahrens 400 zum Trainieren eines Systems für die Durchführung eines der Verfahren 100, 200, 300;
5 Ausführungsbeispiel des Verfahrens 500 zum Ermitteln von geometrischen Transformationen 111 und/oder Intensitätsmodulationen 112;
6 Ausführungsbeispiel der Vorrichtung 9 zur Durchführung der Verfahren 100-500 mit Rechenwerken 91-94.

It shows:

1 Embodiment of the method 100 to smooth a classification 3 ;
2 Embodiment of the method 200 for controlling and / or monitoring a vehicle 50 ;
3 Embodiment of the method 300 for monitoring an area 8th ;
4th Embodiment of the method 400 for training a system to perform one of the methods 100 , 200 , 300 ;
5 Embodiment of the method 500 for determining geometric transformations 111 and / or intensity modulations 112 ;
6th Embodiment of the device 9 to carry out the procedure 100-500 with arithmetic units 91-94 .

1 verdeutlicht schematisch einen beispielhaften Ablauf des Verfahrens 100 zur Glättung einer Klassifikation 3 der Pixel eines Bildes 1. In Schritt 110 werden mit Hilfe von geometrischen Transformationen 111, und/oder Intensitätsmodulationen 112, mehrere Varianten la-ld des Bildes 1 erzeugt. In dem in 1 gezeigten Beispiel entspricht die erste Variante 1a dem ursprünglichen Bild 1, und nur die anderen Varianten 1b-1d sind demgegenüber verändert. 1 schematically illustrates an exemplary sequence of the method 100 to smooth a classification 3 the pixel of an image 1 . In step 110 are made with the help of geometric transformations 111 , and / or intensity modulations 112 , several variants la-ld of the picture 1 generated. In the in 1 The example shown corresponds to the first variant 1a the original picture 1 , and only the other variants 1b-1d are changed in contrast.

Auf jede dieser Varianten wird in Schritt 120 der Klassifikator 2, der die Klassifikation 3 definiert, angewendet. Dabei entsteht jeweils eine diskrete Klassifikation 3a-3d der Pixel der Varianten la-ld. Das heißt, jedes Pixel jeder Variante la-ld wird vom Klassifikator 2 einer von mehreren diskreten Klassen 2a, 2b zugeordnet. In 1 ist beispielhaft eingezeichnet, dass zwei Pixel der diskreten Klassifikation 3a vom Klassifikator 2 der Klasse 2a zugeordnet werden, während zwei weitere Pixel dieser Variante 3a vom Klassifikator 2 der Klasse 2b zugeordnet werden.Step on each of these variants 120 the classifier 2 who made the classification 3 defined, applied. A discrete classification is created in each case 3a-3d the pixel of the variants la-ld . This means that every pixel of every variant la-ld is used by the classifier 2 one of several discrete classes 2a , 2 B assigned. In 1 is shown as an example that two pixels of the discrete classification 3a from the classifier 2 the class 2a while two more pixels are assigned to this variant 3a from the classifier 2 the class 2 B be assigned.

In Schritt 130 werden die ermittelten Klassifikationen 3a-3d durch Rückgängigmachen 111' eventueller geometrischer Transformationen 111 in das Koordinatensystem des Bildes 1 transformiert und bilden dort aggregierbare, d.h. miteinander vergleichbare und verrechenbare, Klassifikationen 4a-4d. Hierbei kann optional die diskrete Klassifikation 3a-3d gemäß Schritt 150 morphologisch geglättet werden. Die diskrete Klassifikation 3a-3d kann alternativ oder auch in Kombination hierzu optional gemäß Schritt 160 anhand von Zusatzinformation 1e über die im Bild 1 gezeigte Szenerie plausibilisiert werden. Die beispielhafte Zuordnung von vier Pixeln zu Klassen 2a und 2b, die in der diskreten Klassifikation 3a eingezeichnet ist, zeigt sich auch in der zugehörigen aggregierbaren Klassifikation 4a.In step 130 the determined classifications 3a-3d by undoing 111 ' possible geometric transformations 111 in the coordinate system of the image 1 transforms and form there aggregable, ie, classifications that can be compared and offset with one another 4a-4d . The discrete classification 3a-3d according to step 150 morphologically smoothed. The discrete classification 3a-3d can alternatively or also in combination with this, optionally according to step 160 based on additional information 1e about the in the picture 1 the displayed scenery can be checked for plausibility. The exemplary assignment of four pixels to classes 2a and 2 B that are in the discrete classification 3a is shown in the associated aggregable classification 4a .

In Schritt 140 werden die aggregierbaren Klassifikationen 4a-4d zur geglätteten Klassifikation 3' der Pixel des Bildes 1 aggregiert. Analog zu Schritt 130 können die aggregierbaren Klassifikationen 4a-3d gemäß Schritt 150 morphologisch geglättet oder gemäß Schritt 160 mit Zusatzinformation 1e plausibilisiert werden.In step 140 become the aggregable classifications 4a-4d for smooth classification 3 ' the pixel of the image 1 aggregated. Analogous to step 130 can use the aggregable classifications 4a-3d according to step 150 morphologically smoothed or according to step 160 with additional information 1e be checked for plausibility.

Da in dem in 1 gezeigten Beispiel die erste Variante 1a dem ursprünglichen Bild 1 entspricht, ist die diskrete Klassifikation 3a dieser ersten Variante 1a in diesem Beispiel zugleich die ungeglättete Klassifikation 3 des ursprünglichen Bildes 1. Das Verfahren 100 setzt jedoch nicht voraus, dass genau diese ungeglättete Klassifikation 3 an irgendeiner Stelle explizit auftaucht. So lässt sich eine geglättete Klassifikation 3' etwa auch dann ermitteln, wenn keine der Varianten la-ld mit dem ursprünglichen Bild 1 identisch ist.Since in the in 1 The example shown is the first variant 1a the original picture 1 is the discrete classification 3a this first variant 1a in this example also the unsmoothed classification 3 of the original image 1 . The procedure 100 does not assume, however, that precisely this unsmoothed classification 3 explicitly appears at some point. So you can get a smooth classification 3 ' determine, for example, even if none of the variants la-ld with the original image 1 is identical.

2 zeigt ein Ausführungsbeispiel des Verfahrens 200 zur Steuerung und/oder Überwachung eines Fahrzeugs 50. Das Umfeld 50a des Fahrzeugs 50 wird mit einem Sensor 6, hier einer Kamera, überwacht. Aus mindestens einem aufgenommenen Bild 1 wird in Schritt 210 eine geglättete Klassifikation 3' seiner Pixel ermittelt. Optional kann diese geglättete Klassifikation 3' in Schritt 215 weiter ausgewertet werden, indem die Position 7a mindestens eines Objekts 7 (hier eines Fußgängers) im Umfeld 50a des Fahrzeugs aus der geglätteten Klassifikation 3' ermittelt wird. 2 shows an embodiment of the method 200 for controlling and / or monitoring a vehicle 50 . The surrounding 50a of the vehicle 50 comes with a sensor 6th , here a camera, monitored. From at least one recorded image 1 will be in step 210 a smooth classification 3 ' determined its pixels. Optionally, this smoothed classification 3 ' in step 215 further evaluated by the position 7a at least one object 7th (here a pedestrian) in the area 50a of the vehicle from the smoothed classification 3 ' is determined.

In Schritt 220 wird das Fahrzeug 50 auf der Basis der geglätteten Klassifikation 3', und/oder auf der Basis einer hieraus ausgewerteten Position 7a, angesteuert.In step 220 becomes the vehicle 50 on the basis of the smoothed classification 3 ' , and / or on the basis of a position evaluated from this 7a , controlled.

3 zeigt ein Ausführungsbeispiel des Verfahrens 300 zur Überwachung eines Bereichs 8. In diesem Beispiel ist der Bereich 8 vor einem Gebäude 81 gelegen, durch dessen Tür 81a oder Fenster 81b-81d Einbrecher eindringen könnten. Der Bereich 8 wird daher von einem Sensor 6, hier einer Kamera, überwacht. 3 shows an embodiment of the method 300 for monitoring an area 8th . In this example the area is 8th in front of a building 81 located through its door 81a or window 81b-81d Intruders could enter. The area 8th is therefore from a sensor 6th , here a camera, monitored.

In Schritt 310 des Verfahrens 300 wird aus mindestens einem mit dem Sensor 6 erfassten Bild 1 mit dem zuvor beschriebenen Verfahren 100 eine geglättete Klassifikation 3' der Pixel des Bildes 1 ermittelt. In Schritt 320 wird hieraus ausgewertet, ob ein Objekt 7 eines bestimmten Typs im Bereich 8 vorhanden ist und/oder sich in dem Bereich 8 bewegt.In step 310 of the procedure 300 becomes at least one with the sensor 6th captured image 1 using the procedure described above 100 a smooth classification 3 ' the pixel of the image 1 determined. In step 320 it is evaluated from this whether an object 7th of a certain type in the area 8th is present and / or located in the area 8th emotional.

Ist dies der Fall, können verschiedene beispielhafte Maßnahmen einzeln oder in Kombination eingeleitet werden. Das Bild 1 kann gemäß Schritt 330 auf einem nichtflüchtigen Datenträger aufgezeichnet oder gemäß Schritt 340 an eine für den Bereich 8 verantwortliche Stelle übertragen werden. Es kann auch gemäß Schritt 350 ein optischer und/oder akustischer Alarmgeber aktiviert werden.If this is the case, various exemplary measures can be initiated individually or in combination. The picture 1 can according to step 330 recorded on a non-volatile medium or according to step 340 to one for the area 8th responsible body. It can also according to step 350 an optical and / or acoustic alarm device can be activated.

Der Nutzen der geglätteten Klassifikation 3' in dieser Anwendung ist, dass für die Sicherheit des Gebäudes bedrohliche Objekte, wie hier eine unbefugte Person 7, besser von nicht bedrohlichen Objekten, wie hier einem Baum 7', unterschieden werden können. So löst beispielsweise die Bewegung der Baumkrone im Wind keine unnötige Aufzeichnung von Bildern 1, auf denen nichts Relevantes zu sehen ist, aus.The benefits of smooth classification 3 ' in this application is that objects threatening the security of the building, as here an unauthorized person 7th , better from non-threatening objects like a tree here 7 ' , can be distinguished. For example, the movement of the treetop in the wind does not trigger any unnecessary recording of images 1 on which nothing relevant can be seen.

4 zeigt ein Ausführungsbeispiel des Verfahrens 400 zum Trainieren eines Systems für die Durchführung eines der zuvor beschriebenen Verfahren 100, 200, 300. Das Verfahren 400 geht von einer Mehrzahl von Lern-Bildern mit zugehörigen Lern-Klassifikationen 43 aus. Aus den Lern-Bildern 41 werden in Schritt 420 mit dem zuvor beschriebenen Verfahren 100 unter Nutzung des Klassifikators 2 geglättete Klassifikationen 43' ermittelt. 4th shows an embodiment of the method 400 for training a system to perform any of the methods previously described 100 , 200 , 300 . The procedure 400 assumes a plurality of learning pictures with associated learning classifications 43 out. From the learning pictures 41 will be in step 420 using the procedure described above 100 using the classifier 2 smoothed classifications 43 ' determined.

Die geglätteten Klassifikationen 43' werden in Schritt 430 mit den zugehörigen Lern-Klassifikationen 43 verglichen, und das Ergebnis 430a dieses Vergleichs 430 wird in Schritt 440 mit einer Kostenfunktion bewertet, wobei eine Bewertung 440a entsteht.The smoothed classifications 43 ' will be in step 430 with the associated learning classifications 43 compared, and the result 430a this comparison 430 will be in step 440 rated with a cost function, with a rating 440a arises.

Dies kann genutzt werden, um Parameter 2e, die das Verhalten eines als KI-Modul ausgebildeten Klassifikators 2 festlegen, zu trainieren. In Schritt 450 werden die Parameter 2e dahingehend optimiert, dass bei Anwendung dieser Parameter 2e im Klassifikator 2 während der Durchführung des zuvor beschriebenen Verfahrens 100 die dann ermittelten geglätteten Klassifikationen 43' voraussichtlich zu einer besseren Bewertung 440a durch die Kostenfunktion führen. Wie zuvor beschrieben, kann dann die Glättung der Klassifikation so in das Training der Parameter 2e integriert werden, dass die Schritte für Veränderungen der Parameter 2e besser geplant werden können und das Training der Parameter 2e besser konvergiert.This can be used to set parameters 2e that show the behavior of a classifier designed as an AI module 2 set to exercise. In step 450 are the parameters 2e optimized to the effect that when using this parameter 2e in the classifier 2 while performing the procedure described above 100 the then determined smoothed classifications 43 ' probably to a better rating 440a guide through the cost function. As previously described, the smoothing of the classification can then be incorporated into the training of the parameters 2e be integrated that steps for changing the parameters 2e can be better planned and the training of the parameters 2e converges better.

Alternativ oder auch in Kombination hierzu können geometrische Transformationen 111, und/oder Intensitätsmodulationen 112, die für die Erzeugung der Varianten la-ld der Lern-Bilder 41 verwendet werden, in Schritt 460 dahingehend optimiert werden, dass die unter Anwendung dieser Transformationen 111, und/oder unter Anwendung dieser Intensitätsmodulationen 112, ermittelten geglätteten Klassifikationen 43' voraussichtlich zu einer besseren Bewertung 440a durch die Kostenfunktion führen. Es kann also gezielt nach Transformationen 111 und/oder Intensitätsmodulationen 112 gesucht werden, die die letztendlich erhaltene Klassifikation glätten und dabei den sachlichen Informationsgehalt möglichst wenig ändern. Das heißt, die Glättung lässt sich auf die beabsichtigte Klassifikation maßschneidern.Alternatively or in combination with this, geometric transformations can be used 111 , and / or intensity modulations 112 that are responsible for generating the variants la-ld of the learning images 41 used in step 460 can be optimized to the effect that those using these transformations 111 , and / or using these intensity modulations 112 , determined smoothed classifications 43 ' probably to a better rating 440a guide through the cost function. So it can be targeted for transformations 111 and / or intensity modulations 112 are sought that smooth the classification ultimately obtained and thereby change the factual information content as little as possible. That is, the smoothing can be tailored to the intended classification.

5 zeigt ein Ausführungsbeispiel des Verfahrens 500 zum Ermitteln von geometrischen Transformationen 111, und/oder Intensitätsmodulationen 112, für den Einsatz in einem der zuvor beschriebenen Verfahren 100, 200, 300. Ein Iterieren zwischen dem Verfahren 400 zum Trainieren und dem Verfahren 500 ist ebenfalls möglich, wobei dann die Transformationsparameter und Netzwerkgewichte iterativ ermittelt und verbessert werden. 5 shows an embodiment of the method 500 for determining geometric transformations 111 , and / or intensity modulations 112 , for use in one of the procedures described above 100 , 200 , 300 . Iterating between the process 400 for training and the procedure 500 is also possible, the transformation parameters and network weights then being determined and improved iteratively.

Das Verfahren 500 geht aus von einer Mehrzahl von Lern-Bildern 51, die nominell den gleichen semantischen Inhalt haben, aber dennoch nicht identisch sind, beispielsweise, weil die Lern-Bilder 51 Rauschen oder andere Störungen enthalten. Aus den Lern-Bildern 51 werden in Schritt 520 mit dem zuvor beschriebenen Verfahren 100 geglättete Klassifikationen 53' ermittelt. In Schritt 530 werden die geglätteten Klassifikationen 53' untereinander verglichen. Das Ergebnis 530a dieses Vergleichs 530 wird in Schritt 540 mit einer Kostenfunktion bewertet, wobei eine Bewertung 540a entsteht.The procedure 500 is based on a plurality of learning images 51 that nominally have the same semantic content, but are nevertheless not identical, for example because the learning images 51 Contains noise or other interference. From the learning pictures 51 will be in step 520 using the procedure described above 100 smoothed classifications 53 ' determined. In step 530 become the smoothed classifications 53 ' compared with each other. The result 530a this comparison 530 will be in step 540 rated with a cost function, with a rating 540a arises.

Die Transformationen 111, und/oder die Intensitätsmodulationen 112, werden nun in Schritt 550 dahingehend optimiert, dass die unter Anwendung diesen Transformationen 111, bzw. Intensitätsmodulationen 112, ermittelten geglätteten Klassifikationen 53' voraussichtlich zu einer besseren Bewertung 540a durch die Kostenfunktion führen.The transformations 111 , and / or the intensity modulations 112 , will now be in step 550 optimized to the effect that the application of these transformations 111 , or intensity modulations 112 , determined smoothed classifications 53 ' probably to a better rating 540a guide through the cost function.

Somit können die Transformationen 111, und/oder die Intensitätsmodulationen 112, gezielt so ausgesucht werden, dass bestimmte Änderungen, um die sich die Lern-Bilder 51 voneinander unterscheiden, sich möglichst wenig auf die geglättete Klassifikation 53' auswirken.Thus, the transformations 111 , and / or the intensity modulations 112 , specifically chosen so that certain changes to the learning images 51 differ from each other, differ as little as possible on the smoothed classification 53 ' impact.

6 zeigt eine Vorrichtung 9 zur Durchführung eines der beschriebenen Verfahren 100, 200, 300, 400, 500. Die Vorrichtung 9 umfasst

• ein erstes Rechenwerk 91 zum Erzeugen der Varianten la-ld des Bildes 1,
• ein zweites Rechenwerk 92 zum Anwenden des Klassifikators 2, der die Klassifikation 3 definiert und die diskreten Klassifikationen 3a-3d liefert,
• ein drittes Rechenwerk 93, das die diskreten Klassifikationen 3a-3d zu aggregierbaren Klassifikationen 4a-4d transformiert, sowie
• ein viertes Rechenwerk 94, das die aggregierbaren Klassifikationen 4a-4d zur letztendlichen geglätteten Klassifikation 3' aggregiert.

6th shows a device 9 to carry out one of the procedures described 100 , 200 , 300 , 400 , 500 . The device 9 includes

• a first arithmetic unit 91 to generate the variants la-ld of the image 1 ,
• a second calculator 92 to apply the classifier 2 who made the classification 3 defined and the discrete classifications 3a-3d delivers,
• a third arithmetic unit 93 that is the discrete classifications 3a-3d to aggregable classifications 4a-4d transformed, as well
• a fourth arithmetic unit 94 , which is the aggregatable classifications 4a-4d to the final smoothed classification 3 ' aggregated.

In dem in 6 gezeigten Beispiel sind die Transformationen 111 und/oder Intensitätsmodulationen 112 im ersten Rechenwerk 91 jeweils in separaten ASICs 91a-91c implementiert. Ebenso sind die Umkehrungen 111' der Transformationen 111 im dritten Rechenwerk 93 jeweils in separaten ASICs 93a-93c implementiert. In the in 6th The example shown are the transformations 111 and / or intensity modulations 112 in the first calculator 91 each in separate ASICs 91a-91c implemented. So are the inversions 111 ' of transformations 111 in the third calculator 93 each in separate ASICs 93a-93c implemented.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

DE 102017206396 A1 [0003]

Claims

A method (100) for smoothing a classification (3) of pixels of a two- or three-dimensional image (1), the classification (3) being defined by a classifier (2) which makes each pixel of the image (1) one of several discrete Classes (2a, 2b) assigned with the steps: A plurality of variants (la-1d) of the image is generated (110) by one or more geometric transformations (111) and / or by intensity modulation (112); • an associated discrete classification (3a-3d) of the pixels of this variant (1a-1d) is determined (120) from each of the variants (1a-1d) of the image (1) with the classifier (2); • the determined classifications (3a-3d) are converted into the coordinate system of the image (1) by undoing (111 ') any geometric transformations (111) that were used in the formation of the respective associated variant (1a-1d) of the image (1) 1) transformed (130) in order to form aggregatable classifications (4a-4d) there (130); • the aggregable classifications (4a-4d) are aggregated (140) for the smoothed classification (3 ') of the pixels of the image (1).

Method (100) according to Claim 1 , with at least one discrete classification (3a-3d) and / or at least one aggregable classification (4a-4d), morphologically smoothed (150), and / or using additional information (1e) to plausibility check the scenery shown in the image (1) (160), will.

Method (100) according to Claim 2 , wherein the additional information (1e) contains a weighting to the effect of how plausible it is that a pixel assigned to a first class (2a) by the classifier (2) is adjacent to a pixel assigned to a second class (2b).

Method (100) according to one of the Claims 1 to 3 , the additional information (1e) containing information as to how far the locations from which the signal represented by the pixels of the image (1) originates were in each case from a sensor with which the image (1) was recorded.

Method (100) according to one of the Claims 1 to 4th , the discrete classes (2a, 2b) of the classification (3) representing different types of objects to which the pixels of the image (1) assigned to the classes (2a, 2b) belong.

Method (200) for controlling and / or monitoring a vehicle (50) with the following steps: • At least one image (1) captured with at least one sensor (6) is at least a sub-area of the surroundings (50a) of the vehicle (50) with the method (100) according to one of the Claims 1 to 5 a smoothed classification (3 ') of the pixels of the image (1) is determined (210); • The vehicle (50) is activated (220) on the basis of the smoothed classification (3 ').

Method (200) according to Claim 6 , the position (7a) of at least one object (7) in the surroundings (50a) of the vehicle (50) being determined (215) from the smoothed classification (3 ') and the vehicle (50) being determined on the basis of the determined position ( 7a) is controlled (220).

Method (300) for monitoring an area (8) with the following steps: • From at least one image (1) of the area (8) captured with at least one sensor (6), the method (100) according to one of the Claims 1 to 5 a smoothed classification (3 ') of the pixels of the image (1) is determined (310); • on the basis of the smoothed classification (3 ') it is evaluated (320) whether an object (7) of a predetermined type is present in the area (8) and / or is moving in the area (8); • in response to the fact that such an object (7) is present in the area (8) and / or is moving there, the image (1) is recorded on a non-volatile data carrier (330) and / or via a network interface to a for the Area (8) is transferred (340) to the responsible body, and / or an optical and / or acoustic alarm transmitter is activated (350).

Method (400) for training a system to carry out a method (100, 200, 300) according to one of the Claims 1 to 8th , the classifier (2) being designed as an AI module, the behavior of which is determined by parameters (2e), with the following steps: • A plurality of learning images (41) with associated learning classifications (43) is provided ( 410); • the learning images (41) are made with the method (100) according to one of the Claims 1 to 5 smoothed classifications (43 ') determined (420); • the smoothed classifications (43 ') are compared (430) with the associated learning classifications (43); • the result (430a) of the comparison (430) is evaluated with a cost function (440); • Parameters (2e), which define the behavior of a classifier (2) designed as an AI module, are optimized (450) so that the smoothed classifications (43 ') determined on the basis of these parameters (2e) are likely to result in a better evaluation (440a) lead through the cost function, and / or geometric transformations (111) and / or intensity modulations (112) that are used to generate the variants (1a-1d) of the learning images (41) are optimized accordingly (460) that the smoothed classifications (43 ') determined using these transformations (111) and / or using these intensity modulations (112) are likely to lead to a better evaluation (440a) by the cost function.

Method (500) for determining geometric transformations (111) and / or intensity modulations (112) for use in one of the methods (100, 200, 300, 400) according to one of the Claims 1 to 9 with the following steps: a plurality of learning images (51) are provided (510); • using the method (100) according to one of the learning images (51) Claims 1 to 5 smoothed classifications (53 ') determined (520); • the smoothed classifications (53 ') are compared with one another (530); • the result (530a) of this comparison (530) is evaluated with a cost function (540); The transformations (111) and / or the intensity modulations (112) are optimized (550) to the effect that the smoothed classifications (53 ') determined using these transformations (111) or intensity modulations (112) are likely to result in a better Perform evaluation (540a) through the cost function.

Device (9) for performing the method (100, 200, 300, 400, 500) according to one of the Claims 1 to 10 , comprising • an arithmetic unit (91) which is designed to generate (110) variants (1a-1d) of an image (1), • an arithmetic unit (92) which is designed to apply (120) the classifier (2) , • an arithmetic logic unit (93) which is designed to transform (130) discrete classifications (3a-3d), and • an arithmetic unit (94) which is designed to aggregate (140) aggregable classifications (4a-4d), with at least the arithmetic unit (91) prepared to generate (110) variants (1a-1d) and the arithmetic unit (93) prepared to transform (130) discrete classifications (2a-2d) each have at least one graphics processor, GPU, at least one programmable gate arrangement, FPGA , at least one application-specific integrated circuit, ASIC, and / or at least one lookup table and means for querying the same.

Device (9) after Claim 11 , wherein the arithmetic unit (91) prepared for generating (110) variants (1a-1d) contains a separate ASIC (91a-91c) for each transformation (111) and / or intensity modulation (112), and / or wherein the transformation (130) of discrete classifications (2a-2d) prepared arithmetic unit (93) contains a separate ASIC (93a-93c) for each transformation (111) to be reversed.

Computer program containing machine-readable instructions which, when executed on a computer and / or on a control device and / or an embedded system, cause the computer, the control device or the embedded system to implement a method after one of the Claims 1 to 10 execute.

Machine-readable data carrier and / or download product with the computer program Claim 13 .

Computer, control unit and / or embedded system with the computer program Claim 13 , with the machine-readable data carrier and / or download product Claim 14 , and / or specifically designed in some other way to implement a method according to one of the Claims 1 to 10 execute.