DE102020007646A1

DE102020007646A1 - Method for anonymizing street scenes for fleet learning

Info

Publication number: DE102020007646A1
Application number: DE102020007646.7A
Authority: DE
Inventors: Thomas Hörnlein
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2020-12-14
Filing date: 2020-12-14
Publication date: 2021-04-29

Abstract

Die Erfindung betrifft ein Verfahren zur Anonymisierung einer Straßenszene (1) mit mindestens einer identifizierenden Region (2.1, 3.1). Ein Convolutional Neural Network (CNN) (10) wird trainiert, indem eine Mehrzahl von Straßenszenen (1) mit je mindestens einer identifizierenden Region (2.1, 3.1) präsentiert werden. Eine verdeckte Netzwerkschicht (L2 bis L5) wird derart ausgewählt, dass die Aktivierungen ihres mindestens einen Neurons über der Mehrzahl der zum Training präsentierten Straßenszenen (1) verglichen mit den übrigen verdeckten Netzwerkschichten (L2 bis L5) minimal variieren. In der Straßenszene (1) wird jede identifizierende Region (2.1, 3.1) mittels des trainierten CNN (10) erkannt. Mindestens eine der erkannten identifizierenden Regionen (2.1, 3.1) wird derart verändert, dass die Aktivierung der Neuronen der ausgewählten verdeckten Netzwerkschicht (L2 bis L5) dabei nicht oder nur höchstens um ein vorbestimmtes Maß variiert.Ferner betrifft die Erfindung ein Flottenlernen, wobei von einer Mehrzahl von Fahrzeugen einer Fahrzeugflotte jeweils mindestens eine Straßenszene (1) bereitgestellt mit einem solchen Verfahren anonymisiert wird.The invention relates to a method for anonymizing a street scene (1) with at least one identifying region (2.1, 3.1). A convolutional neural network (CNN) (10) is trained by presenting a plurality of street scenes (1) each with at least one identifying region (2.1, 3.1). A hidden network layer (L2 to L5) is selected in such a way that the activations of its at least one neuron vary minimally over the majority of the street scenes (1) presented for training compared to the other hidden network layers (L2 to L5). In the street scene (1), each identifying region (2.1, 3.1) is recognized by means of the trained CNN (10). At least one of the identified identifying regions (2.1, 3.1) is changed in such a way that the activation of the neurons of the selected hidden network layer (L2 to L5) does not vary or only varies by a predetermined amount A plurality of vehicles in a vehicle fleet are each provided with at least one street scene (1) anonymized using such a method.

Description

Die Erfindung betrifft ein Verfahren zur Anonymisierung einer Straßenszene, welche mindestens eine identifizierende Region umfasst, anhand der eine Person oder ein Fahrzeug identifiziert werden kann. Ferner betrifft die Erfindung ein Verfahren zum Flottenlernen, bei dem von einer Mehrzahl von Fahrzeugen einer Fahrzeugflotte jeweils mindestens eine Straßenszene bereitgestellt wird und bei dem ein Klassifikator mit der Mehrzahl der bereitgestellten Straßenszenen trainiert wird.The invention relates to a method for anonymizing a street scene which comprises at least one identifying region by means of which a person or a vehicle can be identified. The invention also relates to a method for fleet learning in which at least one street scene is provided by a plurality of vehicles in a vehicle fleet and in which a classifier is trained with the plurality of street scenes provided.

Das Dokument DE 10 2015 217 492 A1 beschreibt eine Vorrichtung in einem Kraftfahrzeug zum Erstellen oder Aktualisieren einer Umfeldkarte, umfassend mindestens eine Kamera zum Erfassen von Abbildungen eines Umfelds des Kraftfahrzeugs, eine Bildverarbeitungseinrichtung zum Verarbeiten der erfassten Abbildungen, eine Merkmalserkennungseinrichtung, eine Steuerung und mindestens einen Speicher zum Speichern der von der Bildverarbeitungseinrichtung verarbeiteten Abbildungen des Umfeldes und der Umfeldkarte, wobei die Steuerung derart ausgebildet ist, die verarbeiteten Abbildungen in dem Speicher abzulegen, und wobei die Merkmalserkennungseinrichtung ausgebildet ist, Merkmale in den in dem Speicher abgelegten Abbildungen zu erkennen und die erkannten Merkmale in der Umfeldkarte an den mit den erkannten Merkmalen korrespondierenden Positionen zu hinterlegen oder aus den erkannten Merkmalen eine Umfeldkarte zu erstellen, und wobei die Steuerung anschließend die abgelegten Abbildungen aus dem Speicher löscht, wobei die Bildbearbeitungseinrichtung derart ausgebildet ist, personenbezogene Daten in den erfassten Abbildungen zu erkennen und die personenbezogenen Merkmale in den erfassten Abbildungen zu anonymisieren, wobei nur die derart erhaltenen anonymisierten Abbildungen in dem mindestens einen Speicher abgelegt werden. Ferner wird ein zugehöriges Verfahren beschrieben.The document DE 10 2015 217 492 A1 describes a device in a motor vehicle for creating or updating a map of the surroundings, comprising at least one camera for capturing images of the surroundings of the motor vehicle, an image processing device for processing the captured images, a feature recognition device, a controller and at least one memory for storing the data processed by the image processing device Images of the surroundings and the surroundings map, the controller being designed to store the processed images in the memory, and wherein the feature recognition device is designed to recognize features in the images stored in the memory and to identify the features in the surroundings map with the to store positions corresponding to recognized features or to create a map of the surroundings from the recognized features, and the control then deletes the stored images from the memory, the image processing iteration device is designed to recognize personal data in the captured images and to anonymize the personal features in the captured images, only the anonymized images obtained in this way are stored in the at least one memory. An associated method is also described.

Der Erfindung liegt die Aufgabe zu Grunde, ein verbessertes Verfahren zum Anonymisieren einer Straßenszene sowie ein verbessertes Verfahren zum Flottenlernen anzugeben.The invention is based on the object of specifying an improved method for anonymizing a street scene and an improved method for fleet learning.

Die Aufgabe wird hinsichtlich des Verfahrens zum Anonymisieren einer Straßenszene erfindungsgemäß durch ein Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Die Aufgabe wird hinsichtlich des Verfahrens zum Flottenlernen erfindungsgemäß durch ein Verfahren mit den Merkmalen des Anspruchs 5 gelöst.With regard to the method for anonymizing a street scene, the object is achieved according to the invention by a method having the features of claim 1. With regard to the method for fleet learning, the object is achieved according to the invention by a method having the features of claim 5.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous refinements of the invention are the subject matter of the subclaims.

Eine Straßenszene kann beispielsweise mit einer Umfeldkamera eines Fahrzeugs als Farbbild oder als Grauwertbild erfasst werden. Eine derartige Straßenszene kann bildhaft Informationen darstellen, beispielsweise eine porträthafte Gesichtsaufnahme oder ein lesbar aufgenommenes Kennzeichen eines Kraftfahrzeugs, die zur Identifizierung von Personen oder Fahrzeugen geeignet sind. Ein Bereich einer Straßenszene, der derartige Informationen darstellt, wird als identifizierbare Region bezeichnet.A street scene can be recorded as a color image or as a gray-scale image, for example, with a camera surrounding a vehicle. Such a street scene can graphically represent information, for example a portrait-like image of the face or a legibly recorded license plate of a motor vehicle, which is suitable for identifying persons or vehicles. An area of a street scene that represents such information is called an identifiable region.

Die Erfindung betrifft ein Verfahren zur Anonymisierung einer Straßenszene, mit dem Informationen in identifizierenden Regionen derart unkenntlich gemacht oder verändert werden, dass eine Identifizierung nicht mehr möglich ist.The invention relates to a method for anonymizing a street scene, with which information in identifying regions is made unrecognizable or changed in such a way that identification is no longer possible.

Erfindungsgemäß wird ein Convolutional Neural Network (CNN), welches eine Mehrzahl von stapelartig angeordneten Netzwerkschichten umfasst, zur Erkennung von identifizierenden Regionen trainiert, indem eine Mehrzahl von Straßenszenen mit jeweils mindestens einer identifizierenden Region in bekannter Lage und Größe präsentiert wird.According to the invention, a convolutional neural network (CNN), which comprises a plurality of stacked network layers, is trained to recognize identifying regions by presenting a plurality of street scenes each with at least one identifying region in a known position and size.

Die Netzwerkschichten weisen jeweils mindestens ein Neuron auf. Die eingangsseitig erste Netzwerkschicht wird als Eingabeschicht bezeichnet und mit den Pixelwerten des die Straßenszene kodierenden Bildes belegt. Die ausgangsseitig letzte Netzwerkschicht wird als Ausgabeschicht bezeichnet und umfasst mindestens ein Ausgabeneuron. Zwischen der Eingabeschicht und der Ausgabeschicht ist mindestens eine verdeckte Netzwerkschicht angeordnet. Neuronen angrenzender Netzwerkschichten sind über Verbindungen miteinander verbunden.The network layers each have at least one neuron. The first network layer on the input side is referred to as the input layer and is assigned the pixel values of the image encoding the street scene. The last network layer on the output side is referred to as the output layer and comprises at least one output neuron. At least one hidden network layer is arranged between the input layer and the output layer. Neurons of adjacent network layers are connected to one another via connections.

CNNs und Trainingsverfahren hierfür sind aus dem Stand der Technik bekannt, beispielsweise aus der Veröffentlichung Alex Krizhevsky, Ilya Sutskever und Geoffrey E. Hinton. 2017. ImageNet classification with deep convolutional neural networks. Commun. ACM 60, 6 (June 2017), 84-90. DOI:https://doi.org/10.1145/3065386 und den darin zitierten Veröffentlichungen. Insbesondere sind als Backpropagation bezeichnete Gradientenabstiegsverfahren bekannt, bei denen eine Zielfunktion, beispielsweise der euklidische Abstand zwischen dem Vektor der von den Ausgabeneuronen des CNN erzeugten Ausgabewerte und einem vorgegebenem Vektor von Soll-Ausgabewerten, minimiert wird, wobei die Berechnung des Gradienten nach Gewichtswerten, welche jeweils einer der Verbindungen zwischen Netzwerkschichten zugeordnet sind, beginnend bei der Ausgabeschicht iterativ von Netzwerkschicht zu Netzwerkschicht bis zur Eingabeschicht voranschreitend berechnet werden.CNNs and training methods for this are known from the prior art, for example from the publication Alex Krizhevsky, Ilya Sutskever and Geoffrey E. Hinton. 2017. ImageNet classification with deep convolutional neural networks. Commun. ACM 60, 6 (June 2017), 84-90. DOI: https: //doi.org/10.1145/3065386 and the publications cited therein. In particular, gradient descent methods known as backpropagation are known in which a target function, for example the Euclidean distance between the vector of the output values generated by the output neurons of the CNN and a specified vector of target output values, is minimized, with the calculation of the gradient according to weight values, which in each case one of the connections between network layers are assigned, starting with the output layer and proceeding iteratively from network layer to network layer up to the input layer.

Erfindungsgemäß wird eine verdeckte Netzwerkschicht derart ausgewählt, dass die Aktivierungen des mindestens einen Neurons der ausgewählten verdeckten Netzwerkschicht über der Mehrzahl der zum Training präsentierten Straßenszenen nur geringfügig variieren. Beispielsweise kann unter einer Mehrzahl von verdeckten Netzwerkschichten diejenige ausgewählt werden, bei der die über alle Neuronen und über alle zum Training präsentierten Straßenszenen ermittelte Varianz von Neuronenausgaben kleiner ist als bei allen anderen verdeckten Netzwerkschichten.According to the invention, a hidden network layer is selected such that the Activations of the at least one neuron of the selected hidden network layer vary only slightly over the majority of the street scenes presented for training. For example, from a plurality of concealed network layers, that one can be selected in which the variance of neuron outputs determined over all neurons and over all street scenes presented for training is smaller than in all other concealed network layers.

Jede der in der zu anonymisierenden Straßenszene enthaltene identifizierende Region, beispielsweise jede porträthafte Gesichtsdarstellung und jedes lesbare Kennzeichen eines Kraftfahrzeugs, werden mittels des trainierten CNN erkannt.Each of the identifying regions contained in the street scene to be anonymized, for example each portrait-like facial representation and each legible license number of a motor vehicle, are recognized by means of the trained CNN.

Mindestens eine der erkannten identifizierenden Regionen wird derart verändert, dass die Aktivierung der Neuronen der ausgewählten verdeckten Netzwerkschicht nicht oder nur höchstens um ein vorbestimmtes Maß variiert. Mit anderen Worten: die derart veränderten Regionen wirken bezüglich der Aktivierung der Neuronen der ausgewählten verdeckten Netzwerkschicht, und somit auch für die Aktivierung der Neuronen aller nachgeordneter Netzwerkschichten einschließlich der Ausgabeschicht, gleich oder näherungsweise gleich den ursprünglichen, identifizierenden Merkmalen umfassenden identifizierenden Regionen.At least one of the identified identifying regions is changed in such a way that the activation of the neurons of the selected hidden network layer does not vary or only varies by a predetermined amount at most. In other words: the regions changed in this way act with regard to the activation of the neurons of the selected hidden network layer, and thus also for the activation of the neurons of all subordinate network layers including the output layer, identically or approximately identically to the original identifying regions comprising identifying features.

Ein Vorteil des erfindungsgemäßen Verfahrens besteht darin, dass durch Veränderung der identifizierenden Regionen zur Identifizierung geeignete Merkmale entfernt werden. Beispielsweise werden Gesichtszüge einer porträthaften Gesichtsdarstellung verfremdet oder Zeichen eine Kennzeichens verwischt (verunschärft). Dadurch ist es möglich, beliebige Straßenszenen so zu anonymisieren, dass sie nicht in den Geltungsbereich regulatorischer und/oder gesetzlicher Vorgaben zur Übertragung, Speicherung und Verarbeitung personenbezogener Daten fallen. Dadurch kann der technische und organisatorische Aufwand bei der Übertragung, Speicherung und Verarbeitung solcher anonymisierter Straßenszenen erheblich verringert oder eine Übertragung, Speicherung und Verarbeitung überhaupt erst ermöglicht werden.One advantage of the method according to the invention is that, by changing the identifying regions, features suitable for identification are removed. For example, facial features of a portrait-like representation of a face are alienated or characters of a license plate are blurred (blurred). This makes it possible to anonymize any street scenes in such a way that they do not fall within the scope of regulatory and / or legal requirements for the transmission, storage and processing of personal data. As a result, the technical and organizational effort involved in the transmission, storage and processing of such anonymized street scenes can be reduced considerably or transmission, storage and processing can be made possible in the first place.

Im Gegensatz zu Anonymisierungsverfahren aus dem Stand der Technik beeinträchtigen diese Veränderungen, da sie die Aktivierung von Neuronen der ausgewählten verdeckten Netzwerkschicht nicht oder nur wenig verändern, die Ausgabe des CNN nicht oder nur wenig. Sie können daher in gleicher Weise zum Training von CNNs eingesetzt werden wie Straßenszenen mit identifizierenden Regionen. Insbesondere kann ein mit derart anonymisierten Straßenszenen trainierter Klassifikator, bevorzugt ein CNN, ohne Beeinträchtigung der Klassifikationsleistung auf Bilder angewendet werden, welche in Echtzeit und in nicht-anonymisierter Form (das heißt: potenziell identifizierende Regionen umfassend) erfasst werden.In contrast to anonymization methods from the prior art, these changes, since they do not or only slightly change the activation of neurons of the selected hidden network layer, do not or only slightly affect the output of the CNN. They can therefore be used for training CNNs in the same way as street scenes with identifying regions. In particular, a classifier trained with such anonymized street scenes, preferably a CNN, can be applied to images that are recorded in real time and in non-anonymized form (that is, including potentially identifying regions) without impairing the classification performance.

Das Verfahren eignet sich daher in besonderer Weise dazu, ein CNN auch für die korrekte Klassifikation von statistisch sehr selten auftretenden Erkennungssituationen zu trainieren, indem durch eine Flotte von Fahrzeugen eine Vielzahl von Straßenszenen erfasst und wie vorgeschlagen anonymisiert wird. Dadurch kann die Erkennungsleistung derart trainierter CNNs gegenüber dem Stand der Technik verbessert werden.The method is therefore particularly suitable for training a CNN also for the correct classification of statistically very rarely occurring recognition situations by capturing a large number of street scenes by a fleet of vehicles and anonymizing them as suggested. As a result, the recognition performance of CNNs trained in this way can be improved compared to the prior art.

In einer Ausführungsform werden in einer durch das CNN erkannten identifizierenden Region die Pixelwerte (das heißt: die der Eingabeschicht des CNN präsentierten Bildwerte der Straßenszene) entlang einer Richtung verändert, die senkrecht zum Gradienten der Zielfunktion des CNN nach diesen Pixelwerten verläuft, wobei dieser Gradient mittels des Backpropagation-Verfahrens iterativ (das heißt: von der Ausgabeschicht zur Eingabeschicht voranschreitend) bestimmt wird.In one embodiment, in an identifying region recognized by the CNN, the pixel values (i.e. the image values of the street scene presented to the input layer of the CNN) are changed along a direction that runs perpendicular to the gradient of the objective function of the CNN according to these pixel values, this gradient using of the backpropagation method is determined iteratively (that is to say: proceeding from the output layer to the input layer).

Ein Vorteil dieser Ausführungsform besteht darin, dass eine besonders starke Veränderung des Bildinhalts der identifizierenden Region bei besonders geringer Veränderung der Ausgabe des CNN und somit eine besonders hohe Anonymisierungswirkung erzielt werden kann. Ein weiterer Vorteil besteht darin, dass die Berechnung des Gradienten der Zielfunktion nach den Pixelwerten mittels des Backpropagation-Verfahrens besonders effizient und einfach möglich ist.One advantage of this embodiment is that a particularly strong change in the image content of the identifying region with a particularly small change in the output of the CNN and thus a particularly high anonymization effect can be achieved. Another advantage is that the calculation of the gradient of the target function according to the pixel values by means of the backpropagation method is possible in a particularly efficient and simple manner.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.Embodiments of the invention are explained in more detail below with reference to drawings.

Dabei zeigen:

1 schematisch eine Straßenszene mit identifizierenden Merkmalen,
2 schematisch ein Convolutional Neural Network (CNN),
3 schematisch eine Visualisierung von Aktivierungen in Netzwerkschichten eines CNN und
4 schematisch die Bildung eines Ausgabewertes an einem Neuron.

Show:

1 schematically a street scene with identifying features,
2 schematically a convolutional neural network (CNN),
3 schematically a visualization of activations in network layers of a CNN and
4th schematically the formation of an output value on a neuron.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.Corresponding parts are provided with the same reference symbols in all figures.

1 zeigt schematisch eine Straßenszene 1, welche von einer an einem nicht näher dargestellten Egofahrzeug angeordneten Fahrzeugumfeldkamera aufgenommen wurde. Die Straßenszene 1 erfasst typische Merkmale des Straßenraums, beispielsweise den Verlauf eines Fahrwegs, die Anordnung von Verkehrsleiteinrichtungen, ein Fremdfahrzeug 2 sowie Personen 3. 1 shows schematically a street scene 1 which was recorded by a vehicle surroundings camera arranged on a host vehicle, not shown in detail. The street scene 1 records typical features of the road space, for example the course of a route, the arrangement of traffic control devices, an external vehicle 2 as well as people 3 .

Zur Entwicklung von robusten Klassifikatoren zur Lösung von statistisch sehr selten auftretenden Erkennungsaufgaben ist es erforderlich, eine sehr große Anzahl von Straßenszenen 1 durch verschiedene Fahrzeuge einer Fahrzeugflotte zu erfassen und zentral für das Training dieser Klassifikatoren bereitzustellen. Ein derartiger Ansatz wird als Flottenlernen bezeichnet und ist aus dem Stand der Technik bekannt.A very large number of street scenes is required to develop robust classifiers for solving recognition tasks that occur statistically very rarely 1 to be recorded by different vehicles of a vehicle fleet and to be provided centrally for the training of these classifiers. Such an approach is referred to as fleet learning and is known from the prior art.

Unvermeidbar werden dabei in einer Vielzahl von Straßenszenen 1 Merkmale erfasst, an denen Gegenstände oder Personen identifiziert, das heißt: individualisiert erkennbar werden. Beispielsweise wird ein Gesicht 3.1 einer Person oder ein Kennzeichen 2.1 eines Fremdfahrzeugs 2 mit einer Straßenszene 1 erfasst.Become unavoidable in a variety of street scenes 1 Features recorded by which objects or people are identified, that is: can be identified individually. For example, there will be a face 3.1 a person or a mark 2.1 of a third-party vehicle 2 with a street scene 1 detected.

Die Übertragung und insbesondere die zentrale Speicherung von derartigen identifizierbaren Merkmalen in Straßenszenen 1 sind entweder mit hohen technischen und organisatorischen Auflagen zur Einhaltung der Datenschutzanforderungen verbunden oder gesetzlich unzulässig.The transmission and in particular the central storage of such identifiable features in street scenes 1 are either associated with high technical and organizational requirements to comply with data protection requirements or are not permitted by law.

Verfahren nach dem Stand der Technik entfernen identifizierbare Merkmale aus Straßenszenen 1 oder, allgemeiner: aus Bildern 1, und anonymisieren diese, indem Bilddaten regionenweise verwischt (verunschärft) werden, beispielsweise, indem im Bereich des identifizierbaren Merkmals ein Glättungsfilter angewendet wird. Dadurch werden jedoch auch Bildmerkmale der Straßenszene 1, welche für das Training eines Klassifikators relevant sein können, entfernt oder verfälscht.Prior art methods remove identifiable features from street scenes 1 or, more generally: from pictures 1 , and anonymize them by blurring (blurring) image data region by region, for example by using a smoothing filter in the area of the identifiable feature. However, this also creates image features of the street scene 1 , which can be relevant for the training of a classifier, removed or falsified.

Es besteht daher ein Bedarf an einem Verfahren, mit dem Straßenszenen 1 anonymisiert, zugleich aber die für ein Training eines Klassifikators relevanten Merkmale beibehalten werden.There is therefore a need for a method by which street scenes 1 anonymized, but at the same time the characteristics relevant for training a classifier are retained.

2 zeigt schematisch einen als Convolutional Neural Network (CNN) 10 ausgebildeten Klassifikator. Das CNN 10 umfasst sechs nacheinander angeordnete Netzwerkschichten L1 bis L6. 2 shows schematically one as a Convolutional Neural Network (CNN) 10 trained classifier. The CNN 10 comprises six network layers arranged one after the other L1 to L6 .

Die erste Netzwerkschicht L1 ist als matrixartige Eingabeschicht L1 ausgebildet. Jedem Element der Eingabeschicht L1 ist ein Bildpixel eines nicht näher dargestellten Bildes gleicher Dimension zugeordnet. Das zugeordnete Bild 1 kann beispielsweise eine Straßenszene 1 sein.The first network layer L1 is as a matrix-like input layer L1 educated. Every element of the input layer L1 an image pixel of an image (not shown in detail) of the same dimension is assigned. The associated image 1 for example a street scene 1 be.

Die letzte Netzwerkschicht L6 ist als Ausgabeschicht L6 ausgebildet und umfasst eine Mehrzahl zeilenförmig angeordneter Ausgabeneuronen O. Das CNN 10 wird auf die Erkennung einer vorbestimmten Anzahl von Objektkategorien trainiert, wobei jeder Objektkategorie ein Ausgabeneuron O zugeordnet ist. Nach Abschluss des Trainings zeigt der Ausgabewert eines Ausgabeneurons O die Wahrscheinlichkeit dafür an, dass in dem Bild, dass der Eingabeschicht L1 zugewiesen wurde, ein Objekt der Objektkategorie enthalten ist, welche diesem Ausgabeneuron zugeordnet wurde.The last network layer L6 is as an output layer L6 and comprises a plurality of output neurons arranged in a row O . The CNN 10 is trained to recognize a predetermined number of object categories, each object category having an output neuron O assigned. After completing the training, the output value shows an output neuron O the probability that in the picture that the input layer L1 has been assigned, an object is contained in the object category that was assigned to this output neuron.

Die zweite bis fünfte Netzwerkschicht L2 bis L5 sind als verdeckte Netzwerkschichten ausgebildet und umfassen jeweils eine Anzahl von parallel angeordneten, gleich großen matrixartigen Merkmalskarten (feature maps) M. Jedes Element einer Merkmalskarte M ist mit einer Mehrzahl von zusammenhängenden, typischerweise rechteckig oder quadratisch angeordneten Elementen eines rezeptiven Feldes F einer vorangehenden Eingabeschicht L1 oder Merkmalskarte M über Verbindungen V verbunden.The second to fifth network layers L2 to L5 are designed as concealed network layers and each comprise a number of parallel, equally large matrix-like feature maps M. . Each element of a feature map M. is with a plurality of contiguous, typically rectangular or square elements of a receptive field F. a previous input layer L1 or feature map M. about connections V connected.

Die Verbindungen V können als Faltungsverbindungen (convolutions) C oder als Unterabtastverbindungen (subsamplings) S ausgebildet sein.The connections V can be used as convolutions C. or as subsamplings S. be trained.

Beispielsweise ist jeweils ein quadratischer Bereich der Eingabeschicht L1 mittels einer Faltungsverbindung C mit einem Element einer Merkmalskarte M der zweiten Netzwerkschicht L2 verbunden. Eine Faltungsverbindung C wird so umgesetzt, dass das rezeptive Feld F der Eingabeschicht L1 mit einem zweidimensionalen Filterkern gefaltet wird, dessen Elemente durch Training des CNN 10 veränderbar sind. In analoger Weise ist die Verbindung V zwischen der dritten Netzwerkschicht L3 und der vierten Netzwerkschicht L4 als Menge von Faltungsverbindungen C ausgestaltet.For example, there is in each case a square area of the input layer L1 by means of a convolution connection C. with an element of a feature map M. the second network layer L2 connected. A convolution connection C. is implemented in such a way that the receptive field F. the input layer L1 is convoluted with a two-dimensional filter kernel whose elements are trained by CNN 10 are changeable. The connection is analogous V between the third network layer L3 and the fourth network layer L4 as a set of convolutional connections C. designed.

Ein rezeptives Feld F einer Merkmalskarte M der zweiten (verdeckten) Netzwerkschicht L2 ist mittels einer Unterabtastverbindung S mit einem Element der dritten (verdeckten) Schicht L3 verbunden. Eine Unterabtastverbindung S wird so umgesetzt, dass aus der Mehrzahl von Elementen des rezeptiven Feldes F der zweiten Netzwerkschicht L2 ein einziges Element der dritten Netzwerkschicht L3 ermittelt wird. Beispielsweise wird bei einem als Max-Pooling bezeichneten Verfahren das dem Wert oder dem Betrag nach stärkste (größte) Element aus dem rezeptiven Feld F der Merkmalskarte M der zweiten Netzwerkschicht L2 ausgewählt werden. In analoger Weise ist die Verbindung V zwischen der vierten Netzwerkschicht L4 und der fünften Netzwerkschicht L5 als Menge von Unterabtastverbindungen S ausgestaltet.A receptive field F. a feature map M. the second (hidden) network layer L2 is by means of a subsampling connection S. with an element of the third (hidden) layer L3 connected. A subsampling connection S. is implemented in such a way that from the plurality of elements of the receptive field F. the second network layer L2 a single element of the third network layer L3 is determined. For example, in a process known as max pooling, the strongest (largest) element from the receptive field in terms of value or amount F. the feature map M. the second network layer L2 to be selected. The connection is analogous V between the fourth network layer L4 and the fifth network layer L5 as a set of subsampling links S. designed.

Die fünfte Netzwerkschicht L5 ist mit der Ausgabeschicht L6 durch vollständige Vernetzung verbunden, das heißt: jedes Ausgabeneuron O ist mit jedem Element jeder Merkmalskarte M der fünften Netzwerkschicht L5 verbunden.The fifth network layer L5 is with the output layer L6 through complete networking connected, that is: every expenditure neuron O is with every element of every feature card M. the fifth network layer L5 connected.

Von der zweiten zur fünften Netzwerkschicht L2, L5 verringert sich die Auflösung, mit der ein Bild 1 an der Eingabeschicht L1 erfasst wird. Mit anderen Worten: die Matrixdimension der matrixartigen Merkmalskarten M verringert sich und ein Element einer solchen Merkmalskarte M wird von einer zunehmenden Anzahl von Bildpunkten beeinflusst.From the second to the fifth network layer L2 , L5 the resolution with which an image is reduced 1 at the input layer L1 is captured. In other words: the matrix dimension of the matrix-like feature maps M. decreases and an element of such a feature map M. is influenced by an increasing number of pixels.

Zugleich erhöht sich die Anzahl der parallel angeordneten, gleich großen Merkmalskarten M von der zweiten zur fünften Netzwerkschicht L2, L5.At the same time, the number of feature cards of the same size arranged in parallel increases M. from the second to the fifth network layer L2 , L5 .

Durch diese Topologie des CNN 10 findet eine Akkumulation qualitativer Informationen statt. Beispielsweise werden zur Erkennung eines Rades in einem an der Eingabeschicht L1 präsentierten Bild

1. gebogene Liniensegmente erkannt
2. diese gebogenen Liniensegmente zu Kreissegmenten zugeordnet und
3. diese Kreissegmente zu einem Kreis zusammengefügt,

wobei in jedem dieser von der Eingabeschicht L1 zur letzten verdeckten Netzwerkschicht L5 durchgeführten Verarbeitungsschritte sowohl Faltungs- als auch Unterabtastungsoperationen zusammengeführt sind.Through this topology of CNN 10 there is an accumulation of qualitative information. For example, in order to identify a wheel in one of the input layer L1 presented picture

1. Detected curved line segments
2. These curved line segments are assigned to circle segments and
3. put these circle segments together to form a circle,

being in each of these from the input layer L1 to the last hidden network layer L5 the processing steps performed are merged with both convolutional and subsampling operations.

Die Ausgabeschicht L6 nimmt eine Klassenzuordnung (Klassifizierung, Klassifikation) des untersuchten Bildinhaltes vor, indem an den verschiedenen Ausgangsneuronen O Auftrittswahrscheinlichkeiten für verschiedene trainierte Objektkategorien ausgegeben werden. Die Klassenzuordnung kann bezogen auf einen bestimmten, untersuchten Bildausschnitt erfolgen. In anderen Ausführungsformen können mittels eines CNN 10 Bereiche des präsentierten Bildes lokalisiert werden, in denen eine vorbestimmte Objektkategorie abgebildet ist. Solche Ausführungsformen sind beispielsweise aus der Veröffentlichung Ren, Shaoqing; He, Kaiming; Girshick, Ross; Sun, Jian (2017): Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. In: IEEE transactions on pattern analysis and machine intelligence 39 (6), S. 1137-1149. DOI: 10.1109/TPAMI.2016.2577031 bekannt.The output layer L6 assigns the examined image content to a class (classification, classification) by using the various output neurons O Occurrence probabilities for different trained object categories are output. The class assignment can be based on a specific, examined image section. In other embodiments, using a CNN 10 Areas of the presented image are localized in which a predetermined object category is mapped. Such embodiments are for example from the publication Ren, Shaoqing; Hey, Kaiming; Girshick, Ross; Sun, Jian (2017): Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. In: IEEE transactions on pattern analysis and machine intelligence 39 (6), pp. 1137-1149. DOI: 10.1109 / TPAMI.2016.2577031 known.

Auf einem Gradientenabstieg basierende Trainingsverfahren für ein CNN 10, beispielsweise Backpropagation, sind aus dem Stand der Technik ebenfalls bekannt. Hierbei wird ein Gradient als Ableitung einer Fehlerfunktion nach den freien Parametern des CNN 10 iterativ von Netzwerkschicht L1 bis L6 zu Netzwerkschicht L1 bis L6 beginnend bei der Ausgabeschicht L6 ermittelt.Training methods based on a gradient descent for a CNN 10 , for example back propagation, are also known from the prior art. A gradient is used as a derivation of an error function according to the free parameters of the CNN 10 iterative from network layer L1 to L6 to network layer L1 to L6 starting with the output layer L6 determined.

3 zeigt schematisch eine ebenfalls aus dem Stand der Technik bekannte Visualisierung von Aktivierungen in verschiedenen Netzwerkschichten L1 bis L5. Dargestellt sind zu jeder Netzwerkschicht L1 bis L5 die jeweils zugeordneten Merkmalskarten M mit ihren elementweisen Aktivierungen, welche sich für je neun Bilder 1 ergeben, in denen ein Objekt einer vorbestimmten Objektkategorie (beispielsweise: menschliches Gesicht, Hund, Fahrzeugreifen) dargestellt sind. Die Aktivierungen sind als Grauwerte dargestellt. Die zugeordneten neun Bilder 1 sind in jeweils gleicher Anordnung rechts neben den Merkmalskarten M dargestellt. 3 shows schematically a visualization of activations in different network layers, also known from the prior art L1 to L5 . Are shown for each network layer L1 to L5 the respectively assigned feature cards M. with their element-wise activations, which are each nine images 1 result, in which an object of a predetermined object category (for example: human face, dog, vehicle tires) are represented. The activations are shown as gray values. The associated nine images 1 are in the same order to the right of the feature cards M. shown.

Mittels derartiger, beispielsweise aus der Veröffentlichung Zeiler M.D., Fergus R. (2014) Visualizing and Understanding Convolutional Networks. In: Fleet D., Pajdla T., Schiele B., Tuytelaars T. (eds) Computer Vision - ECCV 2014. ECCV 2014. Lecture Notes in Computer Science, vol 8689. Springer, Cham. https://doi.org/10.1007/978-3-319-10590-1_53 bekannter Verfahren kann untersucht werden, in welcher verdeckten Netzwerkschicht L2 bis L5 nur eine geringe Veränderung der Aktivierungen von Elementen der Merkmalskarten M zugelassen wird. Beispielsweise zeigt die vierte (verdeckte) Netzwerkschicht L4 nur geringe Veränderungen der Aktivierungen für verschiedene Bilder 1, 1' der gleichen Objektkategorie, von denen eines als ein ursprüngliches Bild 1 und ein anderes als ein modifiziertes Bild 1' angesehen werden kann.By means of such, for example from the publication Zeiler MD, Fergus R. (2014) Visualizing and Understanding Convolutional Networks. In: Fleet D., Pajdla T., Schiele B., Tuytelaars T. (eds) Computer Vision - ECCV 2014. ECCV 2014. Lecture Notes in Computer Science, vol 8689. Springer, Cham. https://doi.org/10.1007/978-3-319-10590-1_53 known methods can be examined in which hidden network layer L2 to L5 only a small change in the activations of elements of the feature cards M. is allowed. For example, the fourth (hidden) network layer shows L4 only minor changes in activations for different images 1 , 1' the same category of objects, one of which as an original image 1 and an image other than a modified one 1' can be viewed.

Die Erfindung beruht auf der Erkenntnis, dass ausgehend von einer derart ausgewählten verdeckten Netzwerkschicht L2 bis L5 zu einer Straßenszene 1 (oder zu einem beliebigen Bild 1) eine modifizierte Straßenszene 1' (oder ein modifiziertes Bild 1') bestimmt werden kann, welche (oder welches) in den zu anonymisierenden Bildbereichen das identifizierende Merkmal (ein Gesicht 3.1, ein Kennzeichen 2.1) nicht aufweist, jedoch in der Wirkung für das Training eines CNN 10 gleich oder sehr ähnlich zu der ursprünglichen Straßenszene 1 (dem ursprünglichen Bild 1) ist. Diese Ähnlichkeit in der Wirkung für das Training ist umso größer, je geringer durch einen Wechsel von der ursprünglichen Straßenszene 1 (dem ursprünglichen Bild 1) zu der modifizierten Straßenszene 1' (dem modifizierten Bild 1') bewirkte Unterschied in der Aktivierung der ausgewählten verdeckten Netzwerkschicht L2 bis L5 ausfällt.The invention is based on the knowledge that, proceeding from a concealed network layer selected in this way L2 to L5 to a street scene 1 (or to any picture 1 ) a modified street scene 1' (or a modified picture 1' ) it can be determined which (or which) in the image areas to be anonymized the identifying feature (a face 3.1 , a mark 2.1 ) does not have, but has the effect of training a CNN 10 same or very similar to the original street scene 1 (the original picture 1 ) is. This similarity in the effect for the training is all the greater, the less due to a change from the original street scene 1 (the original picture 1 ) to the modified street scene 1' (the modified picture 1' ) caused the difference in the activation of the selected hidden network layer L2 to L5 fails.

Der Ausgabewert y eines Elements einer verdeckten Netzwerkschicht L2 bis L5 oder einer Ausgabeschicht L6 ist eine nichtlineare Funktion f(·) einer mit Wichtungswerten w₁ , w₂ ... w_n gewichteten Linearkombination von Eingangswerten $〈 x \cdot y 〉 = \sum_{i = 1}^{n} w_{i} x_{i},$

wie in 4 schematisch dargestellt. Die Eingangswerte x_i können Pixelwerte eines Bildes 1 oder auch Ausgabewerte einer Merkmalskarte M einer davorliegenden verdeckten Netzwerkschicht L2 bis L5 sein.The output value y an element of a hidden network layer L2 to L5 or an output layer L6 is a nonlinear function f (·) one with weighting values w ₁ , w ₂ ... w _n weighted linear combination of input values

〈 x \cdot y 〉 = \sum_{i = 1}^{n} w_{i} x_{i},

as in 4th shown schematically. The input values x _i can have pixel values of an image 1 or output values of a Feature map M. an upstream hidden network layer L2 to L5 be.

Bei der Präsentation eines modifizierten Bildes 1' wird ein im Allgemeinen veränderter Ausgabewert y' bestimmt. Das Problem, mindestens ein modifiziertes Bild 1' derart zu finden, dass sämtliche Ausgabewerte einer ausgewählten verdeckten Netzwerkschicht L2 bis L5 gegenüber dem ursprünglichen Bild 1 unverändert lässt, führt in einer allgemeinen Formulierung auf ein überbestimmtes nichtlineares Gleichungssystem, das in dieser allgemeinen Form analytisch nicht lösbar ist.When presenting a modified image 1' becomes a generally changed output value y ' certainly. The problem, at least one modified picture 1' to be found in such a way that all output values of a selected hidden network layer L2 to L5 compared to the original picture 1 leaves unchanged, leads in a general formulation to an overdetermined nonlinear system of equations, which in this general form cannot be solved analytically.

Die Erfindung schlägt vor, zur Lösung dieses Problems die in einem Gradientenabstiegsverfahren (beispielsweise Backpropagation) erfasste Gradienteninformation bezüglich einer Fehlerfunktion zu nutzen. Der betragsmäßig minimale Gradient in Bezug auf die Eingangswerte x_i gibt an, in welcher Richtung eine Änderung dieser Eingangswerte $x_{i}^{'} - x_{i}$

vorzunehmen ist, bei der eine nur geringe oder gar keine (sofern der Gradient Null ist) Änderung des Ausgangswertes y' - y erzielt wird.In order to solve this problem, the invention proposes using the gradient information relating to an error function that is acquired in a gradient descent method (for example backpropagation). The absolute minimum gradient in relation to the input values x _i indicates the direction in which these input values change

x_{i}^{'} - x_{i}

is to be carried out in which little or no (if the gradient is zero) change in the initial value y '- y is achieved.

Durch iterative, von Netzwerkschicht L1 bis L6 zu Netzwerkschicht L1 bis L6 bis zur Eingabeschicht L1 voranschreitende Gradientenberechnung wird ein modifiziertes Bild 1' bestimmt, welches ab der ausgewählten Netzwerkschicht L1 bis L6 zu gleichen oder sehr ähnlichen Aktivierungen in den zugeordneten Merkmalskarten M führt und somit in seiner Wirkung für ein Training des CNN 10 gleich oder sehr ähnlich zu dem ursprünglichen Bild 1 ist.Through iterative, from the network layer L1 to L6 to network layer L1 to L6 up to the input layer L1 advancing gradient computation becomes a modified image 1' determines which from the selected network layer L1 to L6 to the same or very similar activations in the assigned feature cards M. leads and thus in its effect for a training of the CNN 10 same or very similar to the original picture 1 is.

In einer Ausführungsform des Verfahrens können Unterabtastverbindungen S genutzt werden, um eine Anonymisierung von Bildbereichen vorzunehmen. Beispielsweise können Werte innerhalb eines rezeptiven Feldes einer vorangestellten Netzwerkschicht L1 bis L6 verschoben werden, ohne dass eine Veränderung des Ausgabewertes y = y' bewirkt wird. Bei einem Max-Pooling Verfahren können bei Beibehaltung des Maximalwertes in einem rezeptiven Feld alle übrigen Werte beliebig variiert werden.In one embodiment of the method, subsampling connections S. can be used to anonymize image areas. For example, values within a receptive field of a preceding network layer L1 to L6 can be shifted without changing the output value y = y '. With a max-pooling method, all other values can be varied as required while maintaining the maximum value in a receptive field.

BezugszeichenlisteList of reference symbols

11: Straßenszene, BildStreet scene, picture
1'1': modifizierte Straßenszene, modifiziertes Bildmodified street scene, modified image
22: FremdfahrzeugForeign vehicle
2.12.1: Kennzeichen, identifizierende RegionLicense plate, identifying region
33: Personperson
3.13.1: Gesicht, identifizierende RegionFace, identifying region
1010: Convolutional Neural Network (CNN), KlassifikatorConvolutional Neural Network (CNN), classifier
CC.: FaltungsverbindungConvolution connection
FF.: rezeptives Feldreceptive field
L1L1: Eingabesschicht, NetzwerkschichtInput layer, network layer
L2 bis L5L2 to L5: verdeckte Netzwerkschichthidden network layer
L6L6: Ausgabeschicht, NetzwerkschichtOutput layer, network layer
MM.: MerkmalskarteFeature map
VV: Verbindungconnection
OO: AusgabeneuronExpenditure neuron
SS.: UnterabtastverbindungSubsampling connection
x1, x1, x2, xnx1, x1, x2, xn: Eingangswert $x_{i}^{'}, x_{1}^{'}, x_{2}^{'}, x_{3}^{'},$
modifizierter EingangswertInput value $x_{i}^{'}, x_{1}^{'}, x_{2}^{'}, x_{3}^{'},$
modified input value
wi, w1, w2, wnwi, w1, w2, wn: WichtungswertWeighting value
y, y'y, y ': Ausgabewert, modifizierterAusgabewertOutput value, modified output value

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

DE 102015217492 A1 [0002]

Zitierte Nicht-PatentliteraturNon-patent literature cited

Ren, Shaoqing; Hey, Kaiming; Girshick, Ross; Sun, Jian (2017): Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. In: IEEE transactions on pattern analysis and machine intelligence 39 (6), pp. 1137-1149. DOI: 10.1109 / TPAMI.2016.2577031 [0039]
Zeiler M.D., Fergus R. (2014) Visualizing and Understanding Convolutional Networks. In: Fleet D., Pajdla T., Schiele B., Tuytelaars T. (eds) Computer Vision - ECCV 2014. ECCV 2014. Lecture Notes in Computer Science, vol 8689. Springer, Cham. https://doi.org/10.1007/978-3-319-10590-1_53 [0042]

Claims

Method for anonymizing a street scene (1) with at least one identifying region (2.1, 3.1), characterized in that - a convolutional neural network (CNN) (10) comprising an input layer (L1), an output layer (L6) and at least one stack-like hidden network layer (L2 to L5) arranged in between, each with at least one neuron for recognizing identifying regions (2.1, 3.1), is trained by a plurality of street scenes (1) each with at least one identifying region (2.1, 3.1) on the input layer ( L1) are presented, - a hidden network layer (L2 to L5) is selected in such a way that the activations of the at least one neuron of the selected hidden network layer (L2 to L5) over the majority of the street scenes (1) presented for training compared to the remaining hidden ones Network layers (L2 to L5) vary minimally, - in the street scene (1) each identifying region (2.1, 3.1) medium s of the trained CNN (10) is recognized, - at least one of the recognized identifying regions (2.1, 3.1) is changed in such a way that the activation of the neurons of the selected hidden network layer (L2 to L5) does not vary or only varies by a predetermined amount .

Procedure according to Claim 1 , characterized in that the at least one recognized identifying region (2.1, 3.1) is changed in the direction of a minimal absolute value gradient of a predetermined error function, the gradient by means of an iterative from the output layer (L6) to the input layer (L1) of the CNN (10 ) the advancing backpropagation procedure is determined.

Method according to one of the preceding claims, characterized in that the CNN (10) has at least one subsampling connection (S) with a receptive field (F) and the at least one recognized identifying region (2.1, 3.1) by re-sorting values of the at least one receptive Field is determined.

Method according to one of the preceding claims, characterized in that the CNN (10) has at least one subsampling connection (S) operating according to a max pooling method with a receptive field (F) and the at least one recognized identifying region (2.1, 3.1) through Change at least one non-maximum value of the receptive field is determined.

A method for fleet learning, wherein at least one street scene (1) is provided from a plurality of vehicles of a vehicle fleet and a classifier (10) is trained with the plurality of the street scenes provided, characterized in that a street scene (1), if it contains at least one identifying Region (2.1, 3.1) is made anonymous with a method according to one of the preceding claims.

Procedure according to Claim 5 , characterized in that the classifier (10) is designed as a CNN (10).