DE102022209248A1

DE102022209248A1 - Anonymizing image data

Info

Publication number: DE102022209248A1
Application number: DE102022209248.1A
Authority: DE
Inventors: Mark Schutera; Hendrik Vogt
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2022-09-06
Filing date: 2022-09-06
Publication date: 2024-03-07

Abstract

Verfahren zum Anonymisieren von Bilddaten mit den folgenden Schritten:- Bereitstellen eines Schlüssels enthaltend personenbezogene Merkmale, hinsichtlich welchen die Bilddaten zu anonymisieren sind;- Durchsuchen der Bilddaten nach einem Schlüssel, wobei ein Abstand basierend auf einer Metrik zwischen dem Schlüssel und Objekten der Bilddaten ermittelt wird, insbesondere mittels einer künstlichen Intelligenz;- Sofern der Abstand einen vorbestimmten Schwellwert unterschreitet, Entfernen der Merkmale des Schlüssels aus den Objekten der Bilddaten.Method for anonymizing image data with the following steps: - Providing a key containing personal characteristics with respect to which the image data is to be anonymized; - Searching the image data for a key, wherein a distance is determined based on a metric between the key and objects of the image data , in particular by means of artificial intelligence; - If the distance falls below a predetermined threshold value, removing the features of the key from the objects of the image data.

Description

GEBIET DER ERFINDUNGFIELD OF THE INVENTION

Die vorliegende Erfindung betrifft ein Verfahren zum Anonymisieren von Bilddaten.The present invention relates to a method for anonymizing image data.

TECHNISCHER HINTERGRUNDTECHNICAL BACKGROUND

Fahrzeuge generieren eine Vielzahl an optischen Bilddaten einer Fahrzeugumgebung, die auch persönliche Daten enthalten. Personen haben ein Recht auf die Löschung personenbezogener Daten in Bilddaten, die von Fahrzeugsensoren erfasst wurden.Vehicles generate a variety of optical image data of a vehicle environment, which also contains personal data. Individuals have a right to have personal information deleted from image data captured by vehicle sensors.

ZUSAMMENFASSUNG DER ERFINDUNGSUMMARY OF THE INVENTION

Vor diesem Hintergrund liegt der Erfindung die Aufgabe zugrunde, ein computergestütztes Verfahren zum Identifizieren und Anonymisieren personenbezogener Daten in Bilddaten bereitzustellen.Against this background, the invention is based on the object of providing a computer-aided method for identifying and anonymizing personal data in image data.

Demgemäß ist vorgesehen:

- ein Verfahren zum Anonymisieren von Bilddaten mit den folgenden Schritten:
- Bereitstellen eines Schlüssels enthaltend personenbezogene Merkmale, hinsichtlich welchen die Bilddaten zu anonymisieren sind; Durchsuchen der Bilddaten nach einem Schlüssel, wobei ein Abstand basierend auf einer Metrik zwischen dem Schlüssel und Objekten der Bilddaten ermittelt wird, insbesondere mittels einer künstlichen Intelligenz; sofern der Abstand einen vorbestimmten Schwellwert unterschreitet, Entfernen der Merkmale des Schlüssels aus den Objekten der Bilddaten.

Accordingly it is provided:

- a method for anonymizing image data with the following steps:
- Providing a key containing personal characteristics with respect to which the image data is to be anonymized; Searching the image data for a key, wherein a distance is determined based on a metric between the key and objects of the image data, in particular by means of artificial intelligence; if the distance falls below a predetermined threshold value, removing the features of the key from the objects of the image data.

Eine Bilddatei ist eine Datei, in der ein (Einzelbild) oder mehrere (Video) digitale Bild/er gespeichert wird. Der Inhalt der Datei wurde entweder digital errechnet oder durch Analog-Digital-Wandlung digitalisiert und kann daher vom menschlichen Betrachter unmittelbar weder als Bild erkannt, noch als Text gelesen werden. Zur Visualisierung wird ein Gerät benötigt, das den Inhalt wieder in analoge Daten zurückwandelt. Man unterscheidet zwischen einer Rastergrafik, die aus Bildpunkten (Pixeln) zusammengesetzt ist, und einer Vektorgrafik, die mit grafischen Primitiven beschrieben wird.An image file is a file in which one (single image) or multiple (video) digital image(s) is stored. The content of the file was either digitally calculated or digitized through analog-to-digital conversion and can therefore neither be recognized as an image nor read as text by the human viewer. For visualization, a device is required that converts the content back into analog data. A distinction is made between raster graphics, which are composed of image points (pixels), and vector graphics, which are described using graphic primitives.

Ein Schlüssel enthält personenbezogene Merkmale zu einer Person, wobei die Erkennung, Identifizierung der Person in Bilddaten mittels der personenbezogenen Merkmale wahrscheinlich gelingt. Es ist nicht zwingend notwendig, dass der Schlüssel eine eindeutige Zuordnung von personenbezogenen Merkmalen zu einer Person gewährleistet.A key contains personal characteristics of a person, whereby the recognition and identification of the person in image data is likely to be successful using the personal characteristics. It is not absolutely necessary that the key guarantees a clear assignment of personal characteristics to a person.

Personenbezogene Merkmale können vielfältig ausgebildet sein. Denkbar ist ein Foto einer Person, eine Beschreibung einer Person oder die Angabe eines Aufenthaltsortes zu einer bestimmten Zeit.Personal characteristics can take many forms. This could include a photo of a person, a description of a person or an indication of where they were at a certain time.

Im umgangssprachlichen Sprachgebrauch bezieht sich der Begriff Abstand auf die sogenannte euklidische Norm. Für die Abstandsdefinition auf mehrdimensionalen Räumen ist es jedoch auch geläufig, den Abstand über eine andere Metrik als die euklidische Norm zu definieren.In colloquial usage, the term distance refers to the so-called Euclidean norm. However, for distance definition on multidimensional spaces, it is also common to define the distance using a metric other than the Euclidean norm.

Objekte sind Menschen, Lebewesen oder Gegenstände in Bilddaten. Häufig werden erkannte Objekte in Bilddaten von sogenannten „Bounding Boxen“ gekennzeichnet. Gängige Objekte in Bilddaten sind beispielsweise Menschen, Gebäude, Bäume oder Fahrzeuge.Objects are people, living beings or objects in image data. Detected objects are often marked in image data by so-called “bounding boxes”. Common objects in image data include people, buildings, trees or vehicles.

In dieser Patentanmeldung bedeutet anonymisieren, dass personenbezogene Merkmale unkenntlich gemacht werden. Dies kann erfolgen, indem die Merkmale überdeckt, verpixelt, verfremdet oder ausgeschnitten werden.In this patent application, anonymizing means making personal characteristics unrecognizable. This can be done by covering, pixelating, alienating or cutting out the features.

Ein künstliches neuronales Netzwerk (KNN, englisch artificial neural network - ANN) ist insbesondere ein in einem Rechenprogramm nachgebildetes Netzwerk aus vernetzten künstlichen Neuronen. Die künstlichen Neuronen sind dabei typischerweise auf verschiedenen Schichten (layers) angeordnet. Üblicherweise umfasst das künstliche neuronale Netzwerk eine Eingangsschicht und eine Ausgabeschicht (output layer), deren Neuronenausgabe als einzige des künstlichen neuronalen Netzwerks sichtbar wird. Zwischen der Eingangsschicht und der Ausgabeschicht liegende Schichten werden typischerweise als verdeckte Schichten (hidden layer) bezeichnet. Typischerweise wird zunächst eine Architektur bzw. Topologie eines künstlichen neuronalen Netzwerks initiiert und dann in einer Trainingsphase für eine spezielle Aufgabe oder für mehrere Aufgaben in einer Trainingsphase trainiert. Ein künstliches neuronales Netzwerk umfasst eine Vielzahl von Neuronen, die in verschiedenen Schichten angeordnet sind. Beispielsweise werden Eingangsdaten für ein KNN in sogenannten Eingangsschichten häufig vor verarbeitet, beispielsweise kann vorgesehen sein, aus Bilddaten ein sogenanntes Kantenbild zu erzeugen, welches im Folgenden von dem KNN weiter untersucht wird. In diesem Fall wird das Kantenbild von einer oder mehrerer vorbestimmter Schichten des KNN erzeugt.An artificial neural network (ANN) is in particular a network of networked artificial neurons recreated in a computer program. The artificial neurons are typically arranged on different layers. The artificial neural network usually includes an input layer and an output layer, the neuron output of which is the only one of the artificial neural network that is visible. Layers lying between the input layer and the output layer are typically referred to as hidden layers. Typically, an architecture or topology of an artificial neural network is first initiated and then trained in a training phase for a specific task or for several tasks in a training phase. An artificial neural network includes a large number of neurons arranged in different layers. For example, input data for an ANN is often pre-processed in so-called input layers; for example, it can be provided to generate a so-called edge image from image data, which is subsequently examined further by the ANN. In this case, the edge image is generated by one or more predetermined layers of the ANN.

Computerprogrammprodukte umfassen in der Regel eine Folge von Befehlen, durch die die Hardware bei geladenem Programm veranlasst wird, ein bestimmtes Verfahren durchzuführen, das zu einem bestimmten Ergebnis führt.Computer program products typically include a sequence of instructions that, when the program is loaded, causes the hardware to perform a specific procedure that results in a specific result.

Die grundlegende Idee der Erfindung ist es, dass zunächst ein Schlüssel, mit welchem personenbezogene Daten in Bilddaten identifiziert werden können. Der Schlüssel kann beliebige Angaben zu personenbezogenen Merkmalen enthalten. Beispielsweise ist es denkbar, dass der Schlüssel eine Zeitangabe, eine Ortsangabe und optische Merkmale einer Person, zum Beispiel deren Kleidung, enthält. Alternativ kann der Schlüssel auch eine optische Darstellung einer Person, nach der in den Bilddaten gesucht werden soll, enthalten.The basic idea of the invention is that first of all a key with which personal data in image data can be identified. The key can contain any information about personal characteristics. For example, it is conceivable that the key contains a time, a location and visual characteristics of a person, for example their clothing. Alternatively, the key can also contain a visual representation of a person to be searched for in the image data.

Erfindungsgemäß ist vorgesehen, die Bilddaten nach dem Schlüssel zu durchsuchen, indem ein Abstand, der auf einer Metrik basiert, zwischen dem Schlüssel und Objekten der Bilddaten ermittelt wird. Dabei kann beispielsweise auf eine künstliche Intelligenz, insbesondere auf ein künstliches neuronales Netzwerk, zurückgegriffen werden.According to the invention, it is provided to search the image data for the key by determining a distance, based on a metric, between the key and objects of the image data. For example, artificial intelligence, in particular an artificial neural network, can be used.

Beispielsweise ist es denkbar, dass eine Person eine Anfrage zum Löschen personenbezogener Daten stellt, wobei angegeben wird, dass die Person sich an einem bestimmten Ort zu einer bestimmten Zeit aufgehalten hat und etwa einen roten Mantel trug. In diesem Fall können optische Bilddaten zunächst nach deren Aufzeichnung und Aufzeichnungszeit gefiltert werden und die gefilterten Bilddaten nach Objekten in den gefilterten Bilddaten durchsucht werden. Somit lässt sich zwischen den Objekten der gefilterten Bilddaten und dem Schlüssel ein Abstand bestimmen und Objekte der gefilterten Bilddaten, die einen vorbestimmten Schwellwert des Abstands unterschreiten, können aus den Bilddaten entfernt werden. Die Entfernung kann durch Löschen oder Anonymisieren von Bilddaten erfolgen.For example, it is conceivable that a person makes a request to delete personal data, stating that the person was in a certain place at a certain time and was wearing a red coat. In this case, optical image data can first be filtered according to its recording and recording time and the filtered image data can be searched for objects in the filtered image data. A distance can thus be determined between the objects of the filtered image data and the key, and objects of the filtered image data that fall below a predetermined distance threshold can be removed from the image data. Removal can be done by deleting or anonymizing image data.

Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den weiteren Unteransprüchen sowie aus der Beschreibung unter Bezugnahme auf die Figuren der Zeichnung.Advantageous refinements and further developments result from the further subclaims and from the description with reference to the figures in the drawing.

Gemäß einer bevorzugten Weiterbildung der Erfindung ist vorgesehen, Bilddaten, die Objekte mit Merkmalen des Schlüssels aufweisen, zu löschen. Handelt es sich bei den Bilddaten, beispielsweise um ein Video, ist es denkbar, aus dem Video einzelne Bilder, die Objekte mit Merkmalen des Schlüssels enthalten, zu löschen.According to a preferred development of the invention, it is provided to delete image data that have objects with features of the key. If the image data is, for example, a video, it is conceivable to delete individual images that contain objects with features of the key from the video.

Alternativ kann vorgesehen sein, die Objekte in den Bilddaten zu anonymisieren, beispielsweise indem das Objekt aus dem Bild herausgeschnitten, überdeckt, verpixelt oder verfremdet wird.Alternatively, provision can be made to anonymize the objects in the image data, for example by cutting the object out of the image, covering it, pixelating it or distorting it.

Gemäß einer bevorzugten Weiterbildung der Erfindung ist der Schlüssel auf eine vorbestimmte Schicht eines künstlichen neuronalen Netzwerks projiziert. Beispielsweise ist es denkbar, ein Bild einer Person, deren personenbezogene Daten zu löschen sind, auf bestimmte Art und Weise zu verarbeiten oder zu vereinfachen, wenn der Schlüssel das Bild enthält. Beispielsweise ist es denkbar, aus dem im Schlüssel enthaltenen Bild ein Kantenbild zu generieren und im Folgenden lediglich die Kantenbilder der Bilddaten nach dem Schlüssel zu durchsuchen. Somit lässt sich der Rechenaufwand bzw. die Laufzeit verringern, da der Rechenaufwand für das Durchsuchen von vereinfachten Bilddaten nach einem vereinfachten Schlüssel reduziert ist.According to a preferred development of the invention, the key is projected onto a predetermined layer of an artificial neural network. For example, it is conceivable to process or simplify an image of a person whose personal data is to be deleted in a certain way if the key contains the image. For example, it is conceivable to generate an edge image from the image contained in the key and then only search the edge images of the image data for the key. The computing effort or the running time can thus be reduced because the computing effort for searching simplified image data for a simplified key is reduced.

Sofern die Objekte der Bilddaten klassifiziert sind, z.B. dass Personen als solche klassifiziert sind, ist es vorteilhaft nur Objekte, mit der gleichen Klassifikation wie der Schlüssel zu durchsuchen. Beschreibt der Schlüssel eine Person, ist es denkbar nur Objekte, die als Person in den Bilddaten klassifiziert sind, zu durchsuchen.If the objects of the image data are classified, e.g. people are classified as such, it is advantageous to only search objects with the same classification as the key. If the key describes a person, it is conceivable to only search objects that are classified as a person in the image data.

Beschreibt der Schlüssel ein Fahrzeug oder ein Teil hiervon, etwa ein Nummernschild, ist es denkbar nur Objekte, die als Fahrzeug in den Bilddaten klassifiziert sind zu durchsuchen.If the key describes a vehicle or a part of it, such as a license plate, it is conceivable to only search objects that are classified as a vehicle in the image data.

Objekte von einer zu dem Schlüssel passenden Klasse können identisch zu der Klasse des Schlüssels sein oder eine anderweitige Beziehung zur Klasse des Schlüssels aufweisen. Handelt es sich bei der Klasse des Schlüssels beispielsweise um eine Person, kann vorgesehen sein, Objekte die als Fußgänger oder Fahrradfahrer klassifiziert worden sind, nach Merkmalen des Schlüssels zu durchsuchen.Objects of a class matching the key may be identical to the key's class or otherwise related to the key's class. If the class of the key is, for example, a person, it can be provided to search objects that have been classified as pedestrians or cyclists for characteristics of the key.

Ein Computerprogrammprodukt gemäß einem Verfahren einer Ausführungsform der Erfindung führt die Schritte eines Verfahrens gemäß der vorangehenden Beschreibung aus, wenn das Computerprogrammprodukt auf einem Computer, insbesondere einem fahrzeuginternen Computer, läuft. Wenn das betreffende Programm auf einem Computer zum Einsatz kommt, ruft das Computerprogrammprodukt einen Effekt hervor, nämlich das computergestützte Identifizieren von Personen in Bilddaten.A computer program product according to a method of an embodiment of the invention carries out the steps of a method according to the preceding description when the computer program product runs on a computer, in particular an in-vehicle computer. When the program in question is used on a computer, the computer program product produces an effect, namely the computer-aided identification of people in image data.

INHALTSANGABE DER ZEICHNUNGENCONTENTS OF THE DRAWINGS

Die vorliegende Erfindung wird nachfolgend anhand der in den schematischen Figuren der Zeichnungen angegebenen Ausführungsbeispiele näher erläutert. Es zeigen dabei:

1 ein schematisches Blockdiagramm einer Ausführungsform der Erfindung.

The present invention is explained in more detail below using the exemplary embodiments given in the schematic figures of the drawings. It shows:

1 a schematic block diagram of an embodiment of the invention.

Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Sie veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Prinzipien und Konzepten der Erfindung. Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.The accompanying drawings are intended to provide further understanding of embodiments of the invention. They illustrate embodiments and serve in connection with the description to explain principles and concepts concepts of the invention. Other embodiments and many of the advantages mentioned arise with regard to the drawings. The elements of the drawings are not necessarily shown to scale to one another.

In den Figuren der Zeichnungen sind gleiche, funktionsgleiche und gleichwirkende Elemente, Merkmale und Komponenten - sofern nicht anders ausgeführt ist - jeweils mit denselben Bezugszeichen versehen.In the figures of the drawings, identical, functionally identical and identically effective elements, features and components are provided with the same reference numerals - unless stated otherwise.

BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELENDESCRIPTION OF EMBODIMENTS

1 zeigt ein schematisches Blockdiagramm eines Verfahrens zum Anonymisieren von Bilddaten mit den Schritten S1 bis S3. In dem Schritt S1 wird ein Schlüssel enthaltend personenbezogene Merkmale, hinsichtlich welchen die Bilddaten zu anonymisieren sind, bereitgestellt. In dem Schritt S2 werden die Bilddaten nach dem Schlüssel durchsucht, wobei ein Abstand basierend auf einer Metrik zwischen dem Schlüssel und Objekten der Bilddaten ermittelt wird. In dem Schritt S3 werden Merkmale des Schlüssels aus den Objekten der Bilddaten entfernt, sofern dessen Abstand einen vorbestimmten Schwellwert unterschreitet. 1 shows a schematic block diagram of a method for anonymizing image data with steps S1 to S3. In step S1, a key containing personal characteristics with respect to which the image data is to be anonymized is provided. In step S2, the image data is searched for the key, with a distance being determined based on a metric between the key and objects of the image data. In step S3, features of the key are removed from the objects of the image data if its distance falls below a predetermined threshold value.

BezugszeichenReference symbols

S 1-S3S1-S3: VerfahrensschritteProcedural steps

Claims

Procedure for anonymizing image data with the following steps: - Providing (S1) a key containing personal characteristics with respect to which the image data is to be anonymized; - Searching (S2) the image data for a key, a distance being determined based on a metric between the key and objects of the image data, in particular by means of artificial intelligence; - If the distance falls below a predetermined threshold value, removing (S3) the features of the key from the objects of the image data.

Procedure according to Claim 1 , whereby image data containing objects with characteristics of the key are deleted.

Method according to one of the preceding claims, wherein image data which have objects with features of the key are anonymized.

Method according to one of the preceding claims, wherein the key is projected onto a predetermined layer of an artificial neural network and the image data is processed or pre-processed by an artificial neural network up to the predetermined layer, the processed or pre-processed data being searched for the key.

Method according to one of the preceding claims, wherein objects of the image data and the key are classified and only objects of a class of the key that matches the key are searched.