DE102022107735A1 - Personenbezogene informationen in verschlüsselten datenströmen - Google Patents

Personenbezogene informationen in verschlüsselten datenströmen Download PDF

Info

Publication number
DE102022107735A1
DE102022107735A1 DE102022107735.7A DE102022107735A DE102022107735A1 DE 102022107735 A1 DE102022107735 A1 DE 102022107735A1 DE 102022107735 A DE102022107735 A DE 102022107735A DE 102022107735 A1 DE102022107735 A1 DE 102022107735A1
Authority
DE
Germany
Prior art keywords
pii
sensor data
data
simulated
collected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022107735.7A
Other languages
English (en)
Inventor
David Michael Herman
Jon Speigle
Brian Tamm
Yashanshu Jain
Yogendra Singh
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of DE102022107735A1 publication Critical patent/DE102022107735A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/602Providing cryptographic facilities or services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/64Protecting data integrity, e.g. using checksums, certificates or signatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0475Generative networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/094Adversarial learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/169Holistic features and representations, i.e. based on the facial image taken as a whole
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141Access rights, e.g. capability lists, access control lists, access tables, access matrices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/006Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Abstract

Verarbeiten von personenbezogenen Informationen (PII) in Datenströmen wird bereitgestellt. Aufbereitete Sensordaten werden von einer Vielzahl von Fahrzeugen empfangen, die Sensoren beinhaltet, die Rohsensordaten erfassen, wobei die Rohsensordaten erfasste PII und Nicht-PII beinhalten. Die aufbereiteten Sensordaten beinhalten simulierte PII, die auf Grundlage der erfassten PII und einer oder mehrerer Schichten der erfassten PII, die den simulierten PII entsprechen, erstellt wurden. Es wird eine Anforderung von einer Client-Vorrichtung für einen Teil der aufbereiteten Sensordaten empfangen. Es werden Zugriffsschlüssel, die der Anforderung entsprechen, identifiziert. Ein Ergebnis wird gemäß den Zugriffsschlüsseln unter Verwendung der aufbereiteten Sensordaten gebildet. Das gebildete Ergebnis wird als Reaktion auf die Anforderung an die Client-Vorrichtung gesendet.

Description

  • GEBIET DER TECHNIK
  • Aspekte der Offenbarung betreffen das Verarbeiten von personenbezogenen Informationen (Personally Identifiable Information - PII) in Datenströmen.
  • ALLGEMEINER STAND DER TECHNIK
  • PII beinhalten viele Formen von Informationen, die einen Menschen identifizieren könnten. PII können Textinformationen beinhalten, wie etwa Namen, Adressen und Geburtsdaten. PII können auch andere Informationen beinhalten, wie etwa Fotos von Menschen, Häusern, Kennzeichen, biometrischen Daten oder Gesundheitsinformationen. Eine Datenanalytik kann die Verwendung großer Sätze von gesammelten Daten erfordern. Diese Datensätze können PII beinhalten. Datenströme können sowohl aus PII- als auch aus Nicht-PII-Daten bestehen.
  • KURZDARSTELLUNG
  • In einer ersten veranschaulichenden Ausführungsform wird ein System zum Verarbeiten von PII in Datenströmen bereitgestellt. Das System beinhaltet einen Sensor, der dazu konfiguriert ist, Rohsensordaten zu erfassen, wobei die Rohsensordaten erfasste PII und Nicht-PII beinhalten. Das System beinhaltet ferner einen Prozessor, der dazu programmiert ist, die PII in den Rohsensordaten zu identifizieren, Datenattribute der erfassten PII zu identifizieren, simulierte PII für die erfassten PII auf Grundlage der Datenattribute unter Verwendung eines Generative Adversarial Network zu erzeugen, aufbereitete Sensordaten zu bilden, die die simulierten PII als eine Basisschicht und die erfassten PII als eine oder mehrere verschlüsselte zusätzliche Schichten beinhalten, und die aufbereiteten Sensordaten an einen entfernten Server zu senden.
  • In einer zweiten veranschaulichenden Ausführungsform wird ein System zum Verarbeiten von PII in Datenströmen bereitgestellt. Das System beinhaltet einen Datenspeicher, der dazu konfiguriert ist, aufbereitete Sensordaten, die simulierte PII und eine oder mehrere Schichten von tatsächlichen PII beinhalten, die den simulierten PII entsprechen, zu führen. Das System beinhaltet ferner einen Prozessor, der dazu programmiert ist, eine Anforderung von einer Client-Vorrichtung für einen Teil der aufbereiteten Sensordaten zu empfangen, Zugriffsschlüssel zu identifizieren, die der Anforderung entsprechen, ein Ergebnis gemäß den Zugriffsschlüsseln unter Verwendung der aufbereiteten Sensordaten zu bilden und das gebildete Ergebnis als Reaktion auf die Anforderung an die Client-Vorrichtung zu senden.
  • In einer dritten veranschaulichenden Ausführungsform wird ein Verfahren zum Verarbeiten von PII in Datenströmen bereitgestellt. Aufbereitete Sensordaten werden von einer Vielzahl von Fahrzeugen empfangen, die Sensoren beinhaltet, die Rohsensordaten erfassen, wobei die Rohsensordaten erfasste PII und Nicht-PII beinhalten, wobei die aufbereiteten Sensordaten Folgendes beinhalten: (i) eine Basisschicht, die die Nicht-PII und simulierte PII aufweist, die auf Grundlage der erfassten PII erstellt wurden, (ii) eine oder mehrere verschlüsselte zusätzliche Schichten der erfassten PII, die den simulierten PII entsprechen, (iii) Basismetadaten, die die Nicht-PII und die simulierten PII beschreiben, und (iv) verschlüsselte PII-Metadaten, die die erfassten PII beschreiben. Es wird eine Anforderung von einer Client-Vorrichtung für einen Teil der aufbereiteten Sensordaten empfangen. Es werden Zugriffsschlüssel, die der Anforderung entsprechen, identifiziert. Ein Ergebnis wird gemäß den Zugriffsschlüsseln unter Verwendung der aufbereiteten Sensordaten gebildet. Das gebildete Ergebnis wird als Reaktion auf die Anforderung an die Client-Vorrichtung gesendet.
  • Figurenliste
    • 1 veranschaulicht ein beispielhaftes System für die Gewinnung und das Verarbeiten von PII- und Nicht-PII-Daten;
    • 2 veranschaulicht einen beispielhaften Datenfluss für die Entfernung von PII aus den Sensordaten;
    • 3 veranschaulicht einen beispielhaften Datenfluss für die Erzeugung von simulierten PII in Bezug auf Sensordaten von der Umgebung des Fahrzeugs;
    • 4 veranschaulicht einen beispielhaften Datenfluss für die Erzeugung von simulierten PII in Bezug auf Sensordaten von dem Innenraum des Fahrzeugs;
    • 5 veranschaulicht ein beispielhaftes Datenformat der aufbereiteten Sensordaten;
    • 6 veranschaulicht einen beispielhaften Prozess für die Erstellung von aufbereiteten Sensordaten;
    • 7 veranschaulicht einen beispielhaften Prozess für das Abfragen von aufbereiteten Sensordaten; und
    • 8 veranschaulicht ein Beispiel für eine Rechenvorrichtung für die Gewinnung und das Verarbeiten von PII- und Nicht-PII-Daten.
  • DETAILLIERTE BESCHREIBUNG
  • Nach Bedarf werden in dieser Schrift detaillierte Ausführungsformen der vorliegenden Erfindung offenbart; es versteht sich jedoch, dass die offenbarten Ausführungsformen lediglich beispielhaft für die Erfindung sind, die in verschiedenen und alternativen Formen umgesetzt werden kann. Die Figuren sind nicht unbedingt maßstabsgetreu; einige Merkmale können stark vergrößert oder verkleinert sein, um Details konkreter Komponenten zu zeigen. Daher sind in dieser Schrift offenbarte konkrete strukturelle und funktionelle Details nicht als einschränkend auszulegen, sondern lediglich als repräsentative Grundlage, um den Fachmann den vielfältigen Einsatz der vorliegenden Erfindung zu lehren.
  • Fahrzeugsensoren, wie etwa Kameras, können sowohl PII-Daten als auch Nicht-PII-Daten gewinnen. In einigen Fällen können Rohdaten als PII betrachtet werden, wohingegen aufbereitete Daten oder Metadaten als Nicht-PII betrachtet werden können. Zum Beispiel können Rohdaten von einem kapazitiven Berührungssensor an einem Lenkrad PII sein, da derartige Daten Herzschlagdaten (z. B. Herzfrequenz, Herzrhythmusstörungsinformationen) beinhalten können. Es ist jedoch möglich, dass auf Grundlage dieser Informationen bestimmte Attribute Nicht-PII sind. In anderen Fällen können Rohdaten keine PII sein, wohingegen die aufbereiteten Daten als PII betrachtet werden können. Zum Beispiel können Fahrereingaben in ein Fahrzeug (z. B. Fahrerverhalten) von mehreren Systemen verwendet werden, um einen Benutzer mit einem gewissen Grad an Genauigkeit zu identifizieren (wenn auch in einigen Fällen weniger genau als direkte Techniken, wie etwa Kamerabilder zum Überwachen eines Fahrerzustands oder Informationen zu einer Fahrzeug-Identifikationsnummer (FIN)). Diese Kombination der Sammlung von Interaktionen einer Mensch-Maschine-Schnittstelle (Human Machine Interface - HMI) kann PII sein, die dann Schritte zum Anonymisieren oder Verschleiern des Fahrerverhaltens erfordern kann, um eine Wahrscheinlichkeit eines Identifizierens eines Benutzers zu reduzieren.
  • In einem konkreten Beispiel werden Fahrzeuge zunehmend mit Kameras in einer Fahrgastzelle ausgestattet (z. B. zum Überwachen des Fahrerzustands). Diese Kameras können PII von Fahrzeuginsassen erfassen. In einem anderen Beispiel können Fahrzeuge externe Kameras beinhalten, um Daten für Fahrerassistenzsysteme oder Fahrzeugsysteme für autonomes Fahren bereitzustellen. Diese Kameras können PII von Fußgängern oder anderen Personen außerhalb des Fahrzeugs erfassen. Es ist zu beachten, dass Kamerabilder ein Beispiel sind und andere Daten verwendet werden können, wie etwa erfasster Ton, Standortinformationen, Datums- und Zeitinformationen, Fahrzeugsteuereingaben, Fahrzeuggeschwindigkeit oder andere Betriebsparameter usw.
  • Es kann nützlich sein, Daten zu sammeln, um Kunden Funktionen bereitzustellen, sowie um die Fahrerassistenzsysteme oder Fahrzeugsysteme für autonomes Fahren weiterzuentwickeln und Fehler daran zu entfernen. Bei einigen Ereignissen kann es hilfreich sein, wenn das Fahrzeug gesammelte Fahrzeugdaten mit einem Cloud-Dienst zum Bereitstellen von Funktionen oder zum Entfernen von Fehlern dieser Funktionen teilt. Jedoch kann dieses Teilen PII- und/oder Datenschutzprobleme aufwerfen. Zum Beispiel kann die Übertragung dieser Daten Auflagen in Bezug auf die Erfüllung der Datenschutz-Grundverordnung (DSGVO) oder andere Datenschutzbestimmungen zur Folge haben. Wenn die PII einfach aus den Bilddaten entfernt werden, wie etwa durch Verwischen oder Schwärzen, dann ist das Bild möglicherweise nicht mehr für Zwecke der Fehlerentfernung oder zum Bereitstellen von Mehrwert für Kunden nützlich.
  • Ein Generative Adversarial Network (GAN) kann verwendet werden, um Sensordaten zu erstellen, die sowohl menschlichen als auch maschinellen Betrachtern realistisch erscheinen. In einem Beispiel kann das GAN verwendet werden, um simulierte Gesichter in erfassten Bilddaten zu erzeugen. Zum Beispiel kann ein Gesicht so erzeugt werden, dass es realistisch erscheint, sich jedoch von dem Originalgesicht in den Daten unterscheidet. Das Gesicht kann so erzeugt werden, dass es mit dem Originalbild des Gesichts eines Fußgängers vergleichbar ist (z. B. gemäß Konfidenz eines Algorithmus zur Fußgängerermittlung eines neuronalen Faltungsnetzes (Convolutional Neural Network - CNN), Begrenzungsrahmen, Blickrichtung usw.). Diese simulierten Gesichter können verwendet werden, um die tatsächlich erfassten Gesichter in den Bildern zu ersetzen. Die durch das GAN erzeugten Gesichter können vergleichbar mit erfassten Bildern von echten Gesichtern aussehen, können jedoch computererzeugt und daher nicht echt sein. Da die erzeugten Gesichter nicht von echten Menschen stammen, identifizieren derartige Bilder keine Personen und sind daher keine PII. Darüber hinaus können derartige Bilder immer noch nützlich sein, um Kunden Funktionen bereitzustellen oder beim Weiterentwickeln und Entfernen von Fehlern der Fahrerassistenzsysteme oder Fahrzeugsysteme für autonomes Fahren, da die Bilder mit tatsächlichen Daten vergleichbar sein können. Gesichter sind ein Beispiel und das GAN kann verwendet werden, um andere PII-Datenelemente zu erzeugen, wie etwa Bilder von Kennzeichen.
  • Ein Kunde möchte möglicherweise die PII- und Nicht-PII-Daten, die in einer Cloud eines Erstausrüsters (Original Equipment Manufacturer - OEM) gespeichert sind, speichern und darauf zugreifen. Ein Kunde möchte möglicherweise auch anderen Zugriff gewähren. Es kann ferner wünschenswert sein, dass einige Benutzer Zugriff auf die Originaldaten, die die PII beinhalten, haben, während andere Benutzer stattdessen Zugriff auf die Nicht-PII mit den simulierten PII haben sollten. Eine Videodatenstruktur mit mehreren Strömen kann definiert werden, die Nicht-PII- und mehrere PII-Klassifizierungen mit separaten Verschlüsselungsschlüsseln enthält. Ein Schlüsselserver kann verwendet werden, um einen ordnungsgemäßen Zugriff auf die PII sicherzustellen. Dies kann die Möglichkeit einer PII-Weitergabe reduzieren. Weitere Aspekte der Offenbarung werden in dieser Schrift ausführlich erörtert.
  • 1 veranschaulicht ein beispielhaftes System 100 für die Gewinnung und das Verarbeiten von PII- und Nicht-PII-Daten. In einem derartigen System kann ein Fahrzeug 102 einen oder mehrere Sensoren 104 verwenden, um Sensordaten 106, die PII und Nicht-PII beinhalten, zu erfassen. Das Fahrzeug 102 kann einen Datenspeicher 108 beinhalten, der dazu konfiguriert ist, die Sensordaten 106 zu führen. Das Fahrzeug 102 kann zudem eine Telematiksteuereinheit (Telematics Control Unit - TCU) 110 beinhalten, die dazu konfiguriert ist, über ein Kommunikationsnetzwerk 112 mit einem Cloud-Server 114 zu kommunizieren. Der Cloud-Server 114 kann aufbereitete Sensordaten 116 sowie Zugriffsschlüssel 118 führen, um Client-Vorrichtungen 120 Zugriff auf Aspekte der aufbereiteten Sensordaten 116 zu gewähren. Es ist zu beachten, dass es sich bei dem System 100 nur um ein Beispiel handelt und Systeme 100, die mehr, weniger oder andere Komponenten aufweisen, verwendet werden können. Während zum Beispiel nur ein Fahrzeug 102 und eine Client-Vorrichtung 120 gezeigt sind, wird in Betracht gezogen, dass Systeme 100 viele Fahrzeuge 102 und/oder viele Client-Vorrichtungen 120 beinhalten könnten. Als ein anderes Beispiel ist zu beachten, dass, obwohl nur ein einzelner Cloud-Server 114 gezeigt ist, Umsetzungen mehr als einen Server zum Lastausgleich oder für andere Netzwerkzwecke beinhalten können. In noch einem weiteren Beispiel können anstelle eines Fahrzeugs 102 andere Vorrichtungen verwendet werden, die PII erfassen, zum Beispiel für Sicherheitssysteme im Allgemeinen oder für Kühlschränke oder andere Haushaltsvorrichtungen, die mit Kameras ausgestattet sind.
  • Das Fahrzeug 102 kann verschiedene Arten von Automobilen, Softroadern (Crossover Utility Vehicle - CUV), Geländelimousinen (Sport Utility Vehicle - SUV), Trucks, Wohnmobilen (Recreational Vehicle - RV), Booten, Jeepneys, Flugzeugen oder anderen mobilen Maschinen zum Befördern von Personen oder Transportieren von Gütern beinhalten. In vielen Fällen kann das Fahrzeug 102 durch eine Brennkraftmaschine mit Leistung versorgt werden. Als eine andere Möglichkeit kann das Fahrzeug 102 ein Batterieelektrofahrzeug (Battery Electric Vehicle - BEV) sein, das durch einen oder mehrere Elektromotoren mit Leistung versorgt wird. Als eine weitere Möglichkeit kann das Fahrzeug 102 ein Hybridelektrofahrzeug sein, das sowohl durch eine Brennkraftmaschine als auch einen oder mehrere Elektromotoren mit Leistung versorgt wird, wie etwa ein Serienhybrid-Elektrofahrzeug, ein Parallelhybrid-Elektrofahrzeug oder ein Parallel/Serienhybrid-Elektrofahrzeug. Da die Art und die Konfiguration des Fahrzeugs 102 variieren können, können dementsprechend auch die Eigenschaften des Fahrzeugs 102 variieren. Als einige andere Möglichkeiten können Fahrzeuge 102 unterschiedliche Eigenschaften in Bezug auf eine Fahrgastkapazität, eine Schleppfähigkeit und -kapazität und einen Stauraum aufweisen. Einige Fahrzeuge 102 können durch einen Bediener gesteuert werden, während andere Fahrzeuge 102 autonom oder halbautonom gesteuert sein können. Einige Fahrzeuge 102 können zudem Internet-of-Things(IOT)-Funktionen aufweisen, wie etwa einen ferngesteuerten Wächtermodus.
  • Die Sensoren 104 können verschiedene Vorrichtungen beinhalten, die dazu konfiguriert sind, Sensordaten 106 der Umgebung des Fahrzeugs 102 zu erfassen, da der Betrieb der autonomen, halbautonomen, IOT- und anderen Funktionen die Verwendung derartiger Sensordaten 106 erfordern kann. In einem Beispiel können die Sensoren 104 Kameras für sichtbares Licht oder Infrarotkameras beinhalten, die dazu konfiguriert sind, Standbilder und/oder Videodaten zu erfassen. In einem anderen Beispiel können die Sensoren 104 Sensoren beinhalten, die dazu konfiguriert sind, dreidimensionale (3D-)Informationen und/oder relative Geschwindigkeiten zu bestimmen, wie etwa RADAR-Sensoren oder LiDAR-Sensoren. In einem anderen Beispiel können die Sensoren 104 Sensoren beinhalten, die dazu konfiguriert sind, eine Kontaktkraft zu messen, wie etwa einen kapazitiven Berührungssensor. Es ist zu beachten, dass es auch andere Arten von Sensoren 104 geben kann, wie etwa Ortungsvorrichtungen des globalen Navigationssatellitensystems (GNSS), Audioaufnahmevorrichtungen usw. Die Sensordaten 106 können in einer Datenbank, einem Speicher oder einem anderen Datenspeicher 108 des Fahrzeugs 102 gespeichert sein. In einigen Fällen können die Sensordaten 106 als zeitlicher Schnappschuss gespeichert werden. In einigen Fällen können die Sensordaten 106 als Zeitreihendaten gespeichert werden. In einigen Fällen können die Sensoren 104 dazu konfiguriert sein, Sensordaten 106 der Umgebung des Fahrzeugs 102 zu erfassen. Zum Beispiel können die Sensoren 104 dazu konfiguriert sein, Sensordaten 106 der Fahrbahn, anderer Fahrzeuge 102, von Fußgängern oder von Hindernissen zu erzeugen. Diese Sensordaten 106 können für ein Fahrerassistenzsystem, für Systeme für autonomes Fahren, für eine Sicherheitskameravorrichtung, für Armaturenbrettkameraanwendungen und/oder zum Aufzeichnen von Fahrdaten für Freizeitzwecke (z. B. Trackdays, Aufnehmen eines Bildes, wie etwa eines Auto-Selfies) nützlich sein. Jedoch kann die Erfassung derartiger Sensordaten 106 die Erfassung von PII einschließen. Zum Beispiel können Kennzeichen anderer Fahrzeuge in den Sensordaten 106 erfasst werden. Als weiteres Beispiel können Gesichter von Fußgängern in den Sensordaten 106 erfasst werden. Wenn sie mit Datums-/Zeit- und Geolokalisierungsdaten kombiniert werden, können diese Sensordaten 106 besonders bedenklich sein, da sie sowohl eine Person als auch einen Ort, an dem sich die Person befand, und den jeweiligen Zeitpunkt identifizieren können.
  • Einige Sensoren 104 können zusätzlich oder alternativ dazu konfiguriert sein, Sensordaten 106 innerhalb des Fahrzeugs 102, wie etwa der Fahrgastzelle des Fahrzeugs 102, zu erfassen. Diese Sensordaten 106 können für Anwendungen nützlich sein, wie etwa Fahreraufmerksamkeitsverifizierung, Fahrzeugbelegungsermittlung, Vorfallanalyse, Videokonferenz, Mitfahrdienstanwendungen von autonomen Fahrzeugen oder um sicherzustellen, dass Kleinkinder oder Gegenstände nicht in dem Fahrzeug 102 zurückgelassen werden. Diese Sensordaten 106 können auch die Aufnahme von Gesichtern von Fahrzeuginsassen oder andere PII einschließen. Es ist zu beachten, dass dies nur ein Beispiel ist und die Sensordaten erfassten Ton, Standortinformationen, Datums- und Zeitinformationen, Fahrzeugsteuereingaben, Fahrzeuggeschwindigkeit oder andere Betriebsparameter usw. beinhalten können.
  • Die TCU 110 kann dazu konfiguriert sein, dem Fahrzeug 102 Telematikdienste bereitzustellen. Diese Dienste können als einige nicht einschränkende Möglichkeiten Navigation, Routenführungen, Fahrzeugdiagnoseberichte, lokale Unternehmenssuche, Unfallmeldungen und Freisprecheinrichtungen beinhalten. Dies kann auch andere in dieser Schrift erwähnte datengesteuerte Dienste beinhalten, wie etwa autonomes Fahren, halbautonomes Fahren usw. Die TCU 110 kann dementsprechend dazu konfiguriert sein, einen Sendeempfänger zu verwenden, um mit einem Kommunikationsnetzwerk 112 zu kommunizieren.
  • Das Kommunikationsnetzwerk 112 kann Vorrichtungen, die mit dem Kommunikationsnetzwerk 112 verbunden sind, Kommunikationsdienste bereitstellen, wie etwa paketvermittelte Netzwerkdienste (z. B. Internetzugang, Voice-over-Internet-Protocol(VoIP)-Kommunikationsdienste). Ein Beispiel für ein Kommunikationsnetzwerk 112 ist ein Mobilfunktelefonnetz. Beispielsweise kann die TCU 110 über eine Verbindung mit einem oder mehreren Mobilfunktürmen auf das Mobilfunknetz zugreifen. Um die Kommunikation über das Kommunikationsnetzwerk 112 zu erleichtern, kann die TCU 110 einzigartigen Vorrichtungskennungen (z. B. Nummern mobiler Vorrichtungen (Mobile Device Numbers - MDNs), Internetprotokoll(IP)-Adressen usw.) zugeordnet sein, um die Kommunikation der TCU 110 in dem Kommunikationsnetzwerk 112 als dem Fahrzeug 102 zugeordnet zu identifizieren.
  • Der Cloud-Server 114 kann eine Rechenvorrichtung sein, die dazu konfiguriert ist, mit den Fahrzeugen 102 über das Kommunikationsnetzwerk 112 zu kommunizieren. Der Cloud-Server 114 kann dazu konfiguriert sein, aufbereitete Sensordaten 116 von den Fahrzeugen 102 zu empfangen, sowie Zugriffsschlüssel 118 zu führen, die es den Client-Vorrichtungen 120 ermöglichen, auf die aufbereiteten Sensordaten 116 zuzugreifen. Die Zugriffsschlüssel 118 können dazu konfiguriert sein, Benutzern zu ermöglichen, Zugriff auf unterschiedliche Informationsebenen zu haben, die in den aufbereiteten Sensordaten 116 beinhaltet sind. Zum Beispiel kann ein erster Zugriffsschlüssel 118 dem Benutzer ermöglichen, Zugriff auf eine Teilmenge von PII-Informationen in den aufbereiteten Sensordaten 116, aber nicht auf andere PII-Informationen in den aufbereiteten Sensordaten 116 zu haben, während ein zweiter Zugriffsschlüssel 118 dem Benutzer ermöglichen kann, Zugriff auf eine andere Teilmenge von PII in den aufbereiteten Sensordaten 116 zu haben.
  • In einem Beispiel kann der Kunde, dessen PII erfasst werden, die Zugriffsschlüssel 118 für die höchste Zugriffsebene besitzen. Der Kunde kann zum Beispiel über die Zugriffsschlüssel 118 die Möglichkeit haben, seine eigenen PII oder die anderer Personen einzusehen, die von den Sensoren des Kunden erfasst wurden (z. B. für einen Wächtermodus), aber andere Parteien können möglicherweise nicht auf die PII zugreifen oder diese einer anderen Partei bereitstellen.
  • Kunden können davon profitieren, dass die Sensordaten 106 in dem Fahrzeug 102 oder dem Cloud-Server 114 gespeichert werden, möchten jedoch möglicherweise steuern, wer Zugriff auf die Daten erhält. Es kann auch ethische, rechtliche und behördliche Einschränkungen in Bezug auf die Daten geben. Zum Beispiel können einige Elemente und/oder Unterelemente der Sensordaten 106 für einen gegebenen Benutzer bei einem bestimmten Satz von Umständen zulässig oder nicht zulässig sein. Eine Steuerung der Sensordaten 106 in Bezug auf Funktionen und Kundendatenschutz ist daher wünschenswert.
  • 2 veranschaulicht einen beispielhaften Datenfluss 200 für die Entfernung von PII aus den Sensordaten 106. Wie gezeigt, beinhalten die Sensordaten 106 einen Originaldatenstrom von Sensordaten 106. In dem veranschaulichten Beispiel sind die Sensordaten 106 ein Videostream von einem Kamerasensor 104, der Bilddaten in Bezug auf eine Umgebung des Fahrzeugs 102 erfasst. Ein Fußgänger befindet sich in dem Videostream und insbesondere ist das Gesicht des Fußgängers in dem Videostream sichtbar. Dieses Bild des Gesichts ist bei 202 vergrößert gezeigt und stellt eine Instanz von PII in den Sensordaten 106 dar.
  • Bei Vorgang 204 werden PII in den Sensordaten 106 ermittelt. In einem Beispiel kann ein neuronales PII-Netzwerk 206, das dazu konfiguriert ist, Instanzen von PII in den Sensordaten 106 zu ermitteln, verwendet werden, um die PII-Bereiche zu ermitteln. Das neuronale PII-Netzwerk 206 kann dazu trainiert werden, verschiedene Aspekte von PII zu identifizieren. In einem Beispiel kann das neuronale PII-Netzwerk 206 dazu konfiguriert sein, Gesichter in den Sensordaten 106 zu erkennen. In einem weiteren Beispiel kann das neuronale PII-Netzwerk 206 dazu konfiguriert sein, Kennzeichen in den Sensordaten 106 zu erkennen. In noch weiteren Beispielen können andere Sensordaten (wie etwa Berührungssensordaten, Fahrzeugstandort usw.) allein oder in Kombination ermittelbare PII beinhalten. In einigen Beispielen kann ein anderes neuronales PII-Netzwerk 206 dazu trainiert werden, unterschiedliche Klassen von PII zu identifizieren. Unabhängig vom Ansatz kann das neuronale PII-Netzwerk 206 dazu trainiert werden, die PII unter Verwendung eines gekennzeichneten Datensatzes von Instanzen von PII in beispielhaften Sensordaten 106 zu identifizieren. Sobald es trainiert ist, kann das neuronale PII-Netzwerk 206 verwendet werden, um die Identifizierungsaufgabe durchzuführen.
  • Bei Vorgang 208 wird die Entfernung der PII an den Sensordaten 106 durchgeführt. Zum Beispiel können Instanzen von PII, die sich in den Sensordaten 106 befinden, verwischt, verdeckt oder anderweitig unkenntlich gemacht werden. Das Ergebnis der Entfernung der Instanzen von PII sind bereinigte Sensordaten 210, wie gezeigt. Während die bereinigten Sensordaten 210 eine Offenlegung der PII vermeiden, ist das resultierende Bild für einen Benutzer unansehnlich und störend und kann für maschinelles Lernen oder andere Anwendungen nicht nützlich sein.
  • Bei Vorgang 212 werden die bereinigten Sensordaten 210 einem GAN bereitgestellt. Die bereinigten Sensordaten 210 können zusammen mit anderen Merkmalen des Bildes bereitgestellt werden, die für eine Weiterentwicklung von Fahrzeugfunktionen nützlich sein können (z. B. eine Konfidenz der Fußgängerermittlung, Begrenzungsrahmen um Fußgänger oder andere ermittelte Objekte usw.). Im Allgemeinen sind GANs algorithmische Architekturen, die mehrere neuronale Netzwerke in Konkurrenz miteinander verwenden, um neue, künstliche Dateninstanzen zu erzeugen, die nicht von echten Daten unterschieden werden können. In dieser Anwendung kann das GAN dazu konfiguriert sein, erfundene PII zu erzeugen, die in der Lage sind, realistischere Daten zur Analyse bereitzustellen. Diese erfundenen PII können wieder in die bereinigten Sensordaten 210 eingefügt werden, um simulierte Sensordaten 214 zu erzeugen.
  • 3 veranschaulicht einen beispielhaften Datenfluss 300 für die Erzeugung von simulierten PII in Bezug auf Sensordaten 106 von der Umgebung des Fahrzeugs 102. Wie gezeigt, beinhaltet das GAN einen Generator 302 und einen Diskriminator 304. Der Generator 302 kann ein erstes neuronales Netzwerk sein, das dazu konfiguriert ist, neue Instanzen von simulierten PII 306 zu erzeugen. Um die Instanzen von simulierten Daten vom PII-Typ zu erstellen, kann der Generator 302 dazu konfiguriert sein, einen Zufallsrauschvektor 308 von einer Quelle für Zufallszahlen (z. B. aus einem Entropiepool gespeist) zu empfangen.
  • Der Diskriminator 304 kann ein zweites neuronales Netzwerk sein, das dazu konfiguriert ist, die durch den Generator 302 erzeugten Instanzen von simulierten PII 306 zu empfangen und diese Instanzen anhand von Trainings-PII-Bildern 310 aus einem PII-Trainingsdatensatz 312, der echte Bilder darstellt, zu bewerten. Auf Grundlage dieser Eingaben kann der Diskriminator 304 bestimmen, ob die simulierten PII 306 akzeptabel für die Verwendung sind. Wenn dies der Fall ist, gibt der Diskriminator 304 an, dass die simulierten PII 306 als echt 314 angegeben werden können. Wenn dies nicht der Fall ist, gibt der Diskriminator 304 an, dass die simulierten PII 306 als falsch 316 angegeben werden können. In einem Beispiel gibt der Diskriminator 304 Wahrscheinlichkeiten zurück (z. B. als eine Zahl zwischen 0 und 1, wobei 1 eine Authentizitätsvorhersage darstellt und 0 ein gefälschtes oder nicht authentisches Bild darstellt). Ein Schwellenwert kann dann auf die Ausgabe angewendet werden, um zu bestimmen, ob eine Instanz von simulierten PII 306 akzeptabel echt 314 ist.
  • In einigen Beispielen können dem Generator 302 zusätzliche Eingaben bereitgestellt werden. Zum Beispiel kann der Generator 302 PII-Bereiche 318 oder andere Informationen empfangen, die Positionen von PII innerhalb der bereinigten Sensordaten 210 angeben, in denen PII erzeugt werden sollen. Diese Informationen können durch das neuronale PII-Netzwerk 206 identifiziert werden, das dazu konfiguriert ist, Instanzen von PII in den Sensordaten 106 zu ermitteln. Die Verwendung der PII-Bereiche 318 kann es dem Generator 302 ermöglichen, leichter Instanzen von simulierten PII 306 zu erzeugen, die mit der Umgebung der bereinigten Sensordaten 210 konsistent sind. Andere Informationen können sowohl in den Generator 302 als auch in den Diskriminator 304 eingespeist werden, wie etwa die 3D-Begrenzungsrahmenausrichtung, sodass die erzeugte Ausgabe echter aussieht, wodurch ermöglicht wird, dass Algorithmen zum maschinellen Sehen oder andere Algorithmen zum maschinellen Lernen (ML) ähnliche Ausgabewerte sowohl aus echten als auch aus simulierten Ausgaben vorhersagen. Z. B. kann ein anderes Gesicht eines Fußgängers gezeigt werden, aber mit der gleichen Ausrichtung im 3D-Raum wie das tatsächliche Gesicht usw. Es ist auch zu beachten, dass zusätzliche Verlustfunktionen verwendet werden können, um zu vermeiden, dass PII erzeugt werden, die in Bezug auf die, die entfernt wurden, zu ähnlich aussehen.
  • 4 veranschaulicht einen beispielhaften Datenfluss 400 für die Erzeugung von neu erfundenen PII in Bezug auf Sensordaten 106 von dem Innenraum des Fahrzeugs 102. Ähnlich wie bei dem Datenfluss 300 werden in dem Datenfluss 400 Sensordaten 106 der Fahrgastzelle des Fahrzeugs 102 unter Verwendung der Sensoren 104 erfasst. Diese Sensordaten 106 können PII beinhalten, wie etwa die Gesichter von Insassen des Fahrzeugs 102.
  • Die Sensordaten 106 können einem neuronalen PII-Netzwerk 320 bereitgestellt werden, um PII-Bereiche 318 innerhalb der Sensordaten 106 zu identifizieren, wofür ein Beispiel gezeigt ist. Zusätzlich kann ein anwendungsfallspezifisches neuronales Netzwerk 402 verwendet werden, um Datenattribute 404 der Sensordaten 106 zu identifizieren. Zum Beispiel kann das anwendungsfallspezifische neuronale Netzwerk 402 für Gesichts-PII dazu konfiguriert sein, Informationen, wie etwa Blickwinkel, Kopfhaltung und Gestenerkennung, zu identifizieren.
  • Die PII-Bereiche 318 und die Datenattribute 404 können dem Generator 302 zusammen mit dem Zufallsrauschvektor 308 bereitgestellt werden, um die Erzeugung der simulierten PII 306 zu erleichtern. Die PII-Bereiche 318 können verwendet werden, um dem Generator 302 zu ermöglichen, die Bereiche zu bestimmen, in denen die simulierten PII 306 erzeugt werden sollen. Die Datenattribute 404 können ferner verwendet werden, um Aspekte der Erzeugung der simulierten PII 306 zu steuern. Wenn zum Beispiel die Sensordaten 106 angeben, dass ein Kopf auf eine bestimmte Weise geneigt ist und/oder Augen in eine bestimmte Richtung gerichtet sind, können diese Informationen dem Generator 302 bereitgestellt werden, um die Erzeugung von simulierten PII 306, die dieselben Datenattribute 404 aufweisen, zu erleichtern. Somit können, während die tatsächlichen PII neu erfunden und nicht echt sein können, dennoch Aspekte der zugrundeliegenden Sensordaten 106 aus den simulierten PII 306 abgeleitet werden.
  • Wie bei dem Datenfluss 300 können die simulierten PII 306 durch den Diskriminator 304 bewertet werden und, wenn sie bestehen, können sie der TCU 110 zum Senden über das Kommunikationsnetzwerk 112 an den Cloud-Server 114 zur Speicherung bereitgestellt werden.
  • In einem weiteren Beispiel für Kennzeichen-PII kann das anwendungsfallspezifische neuronale Netzwerk 402 dazu konfiguriert sein, Informationen, wie etwa für welchen Bundesstaat/welche Provinz/welches Land/usw. das Kennzeichen steht, zu identifizieren. In einem weiteren Beispiel für ein Kennzeichen kann ein Kennzeichen für den gleichen Bundesstaat wie die PII erzeugt werden, jedoch mit einer anderen Kennzeichennummer. In einem Beispiel kann eine zufällige Kennzeichennummer erzeugt werden. In einem weiteren Beispiel kann eine bekannte falsche Kennzeichennummer verwendet werden, da die zufällig erzeugte Nummer tatsächlich zu einem tatsächlichen Benutzer gehören kann. (Es ist zu beachten, dass dieser Ansatz auch zur Erzeugung von Gesichtern verwendet werden könnte, z. B. Erzeugen des gleichen Benutzergesichts im Gegensatz zu einem zufälligen Gesicht.)
  • 5 veranschaulicht ein beispielhaftes 500 Datenformat der aufbereiteten Sensordaten 116. Wie gezeigt, beinhalten die aufbereiteten Sensordaten 116 statische Nutzdaten 502, die Kopfdaten 504, Nicht-PII-Metadaten 508 und PII-Metadaten 506 beinhalten. Die aufbereiteten Sensordaten 116 beinhalten ferner zeitliche Nutzdaten 510, die Nicht-PII-Sensordaten 512, verschlüsselte PII 514 verschiedener Klassen und Verfolgungsdaten 516 beinhalten, die angeben, wo in den Nicht-PII-Sensordaten 512 die verschlüsselten PII 514 beinhaltet sein können.
  • Die Kopfdaten 504 können Informationen, wie etwa eine Angabe der Formatversion der aufbereiteten Sensordaten 116, beinhalten. Die PII-Metadaten 506 können Informationen beinhalten, die die tatsächlich aufbereiteten Sensordaten 116 beschreiben, wie etwa eine Kennung eines Benutzers des Fahrzeugs 102, als die aufbereiteten Sensordaten 116 erfasst wurden, eine Kennung des Fahrzeugs 102, als die aufbereiteten Sensordaten 116 erfasst wurden, einen Standort des Fahrzeugs 102, als die aufbereiteten Sensordaten 116 erfasst wurden, usw. Um den Datenschutz zu gewährleisten, können die PII-Metadaten 506 unter Verwendung der Zugriffsschlüssel 118 verschlüsselt werden. Die Nicht-PII-Metadaten 508 können Informationen beinhalten, die die Basisversion der aufbereiteten Sensordaten 116 ohne PII angeben. Dies kann zum Beispiel verallgemeinerte oder anderweitig bereinigte Metadaten aus den PII-Metadaten 506 beinhalten. Zum Beispiel können Standorte auf die nächstgelegene Meile oder Postleitzahl verallgemeinert werden, Fahrzeugkennungen können auf ein Fahrzeugmodell verallgemeinert werden usw.
  • Die Nicht-PII-Sensordaten 512 können eine Basisversion der aufbereiteten Sensordaten 116 ohne PII beinhalten. Auf die Nicht-PII-Sensordaten 512 kann mit einer niedrigsten Berechtigungsstufe zugegriffen werden. Die Nicht-PII-Sensordaten 512 können im Gegensatz zu den tatsächlichen PII die simulierten Sensordaten 214 beinhalten. Dies kann es einem Verbraucher der Nicht-PII-Sensordaten 512 ermöglichen, über eine Quelle von realistisch aussehenden Daten zu verfügen, ohne tatsächliche PII preiszugeben. Tatsächlich ist der Verbraucher (z. B. Software-in-the-Loop (SIL), Hardware-in-the-Loop (HIL), eine Person usw.) sich möglicherweise nicht einmal bewusst ist, dass die PII in den Nicht-PII-Sensordaten 512 mit erzeugtem Inhalt ersetzt wurden. In einem Beispiel können die Nicht-PII-Sensordaten 512 ohne Zugriffsschlüssel 118 zugänglich sein.
  • Die verschlüsselten PII 514 können die tatsächlichen PII beinhalten, die sich in den Originalsensordaten 106 befanden. Die verschlüsselten PII 514 können als eine Schicht geführt werden, die auf einen Teil der Nicht-PII-Sensordaten 512 gelegt werden kann, um die PII wieder in die Nicht-PII-Sensordaten 512 einzusetzen. In einem Beispiel kann jede Schicht durch die Verwendung eines anderen entsprechenden Zugriffsschlüssels 118 zugänglich sein. In einigen Umsetzungen können unterschiedliche Zugriffsschlüssel 118 verwendet werden, um unterschiedlichen Klassen von PII zu entsprechen. Zum Beispiel kann ein erster Zugriffsschlüssel 118 für Gesichts-PII verwendet werden, während ein zweiter Zugriffsschlüssel 118 für Kennzeichennummern verwendet werden kann. In einigen Umsetzungen können unterschiedliche Zugriffsschlüssel 118 für unterschiedliche Zeitsegmente der Nicht-PII-Sensordaten 512 oder für unterschiedliche spezifische Instanzen der Nicht-PII-Sensordaten 512 verwendet werden. Dies kann zum Beispiel erfolgen, wenn der Wunsch besteht, nur einen spezifischen Zeitrahmen der PII-Daten mit einem Anforderer zu teilen, aber nicht alle PII dieser bestimmten Klasse für die gesamte Datei der aufbereiteten Sensordaten 116. Gleichermaßen können die gleichen Zugriffsschlüssel 118, die zum Verschlüsseln der verschlüsselten PII 514 verwendet werden, auch verwendet werden, um die PII-Metadaten 506 zu verschlüsseln, die den verschlüsselten PII 514 zugeordnet sind.
  • Die Verfolgungsdaten 516 können Informationen beinhalten, die angeben, wo die verschlüsselten PII 514 wieder in die Nicht-PII-Sensordaten 512 eingesetzt werden sollen. Dies kann verwendet werden, um die Teile der PII wieder zu den Sensordaten 106 gemäß dem Zugriff zusammenzufügen, der dem Verbraucher über die von dem Verbraucher bereitgestellten Zugriffsschlüssel 118 gewährt wird.
  • 6 veranschaulicht einen beispielhaften Prozess 600 für die Erstellung von aufbereiteten Sensordaten 116. In einem Beispiel kann der Prozess 600 durch das Fahrzeug 102 im Rahmen des Systems 100 durchgeführt werden. Es ist zu beachten, dass, obwohl der Prozess 600 linear veranschaulicht ist, ein oder mehrere Vorgänge des Prozesses 600 gleichzeitig durchgeführt werden kann/können und der Prozess 600 kontinuierlich oder schleifenartig durchgeführt werden kann.
  • Bei Vorgang 602 erfasst das Fahrzeug 102 Sensordaten 106, die PII beinhalten. In einem Beispiel kann das Fahrzeug 102 Sensordaten 106 von den Sensoren 104 empfangen, die dazu konfiguriert sind, Sensordaten 106 der Fahrbahn, anderer Fahrzeuge 102, von Fußgängern oder von Hindernissen zu erzeugen. In einem anderen Beispiel können einige Sensoren 104 zusätzlich oder alternativ dazu konfiguriert sein, Sensordaten 106 innerhalb des Fahrzeugs 102, wie etwa der Fahrgastzelle des Fahrzeugs 102, zu erfassen.
  • Bei Vorgang 604 identifiziert das Fahrzeug 102 die PII in den Sensordaten 106. In einem Beispiel kann das Fahrzeug 102 ein oder mehrere neuronale PII-Netzwerke 320 verwenden, um PII in den Sensordaten 106 zu identifizieren. In einem Beispiel kann das neuronale PII-Netzwerk 320 dazu konfiguriert sein, Gesichter in den Sensordaten 106 zu erkennen. In einem weiteren Beispiel kann das neuronale PII-Netzwerk 320 dazu konfiguriert sein, Kennzeichen in den Sensordaten 106 zu erkennen. In einigen Beispielen kann ein anderes neuronales PII-Netzwerk 320 dazu trainiert werden, unterschiedliche Arten von PII zu identifizieren.
  • Bei Vorgang 606 identifiziert das Fahrzeug 102 Datenattribute 404 der PII. Zum Beispiel kann das anwendungsfallspezifische neuronale Netzwerk 402 für Gesichts-PII dazu konfiguriert sein, Informationen, wie etwa Blickwinkel, Kopfhaltung und Gestenerkennung, zu identifizieren. In einem weiteren Beispiel für Kennzeichen-PII kann das anwendungsfallspezifische neuronale Netzwerk 402 dazu konfiguriert sein, Informationen, wie etwa für welchen Bundesstaat das Kennzeichen steht, zu identifizieren.
  • Bei Vorgang 608 entfernt das Fahrzeug 102 die PII aus den Sensordaten 106. Zum Beispiel können die Instanzen von PII, die sich in den Sensordaten 106 in den PII-Bereichen 318 befinden, die unter Verwendung der neuronalen PII-Netzwerke 320 identifiziert wurden, verwischt, verdeckt oder anderweitig unkenntlich gemacht werden. Diese Entfernung kann in einigen Beispielen für einen Schnappschuss von den Sensordaten 106 erfolgen. In anderen Beispielen kann diese Entfernung über eine Zeitreihe von Sensordaten 106 erfolgen. Das Ergebnis der Entfernung der Instanzen von PII sind die bereinigten Sensordaten 210.
  • Bei Vorgang 610 erzeugt das Fahrzeug 102 simulierte Sensordaten 214 für die PII auf Grundlage der Datenattribute 404. Zum Beispiel kann das Fahrzeug 102 ein Gesicht unter Verwendung des gleichen Winkels und der gleichen Haltung wie ein Gesicht in den Sensordaten 106 erzeugen. In einem weiteren Beispiel kann das Fahrzeug 102 ein Kennzeichen mit einer anderen Nummer, aber demselben Bundesstaat wie ein Kennzeichen in den Sensordaten 106 erzeugen. In einem weiteren Beispiel kann das Fahrzeug 102 Zeitreihendaten eines kapazitiven Berührungssensors mit einer anderen Herzfrequenz, aber demselben Handdruck, der im Zeitverlauf auf das Lenkrad ausgeübt wird, in den Sensordaten 106 erzeugen. Diese simulierten PII 306 können wieder in die bereinigten Sensordaten 210 an den PII-Bereichen 318 integriert werden, an denen sich PII zuvor befanden, um die Nicht-PII-Sensordaten 512 zu erstellen.
  • Bei Vorgang 612 bildet das Fahrzeug 102 aufbereitete Sensordaten 116, die die simulierten Sensordaten 214 beinhalten, als eine Basisschicht mit den tatsächlichen PII in zusätzlichen Schichten. Zum Beispiel kann das Fahrzeug 102 Informationen der Kopfdaten 504 zu den aufbereiteten Sensordaten 116 hinzufügen, die eines oder mehrere von einer Formatversion der aufbereiteten Sensordaten 116, eine Kennung eines Benutzers des Fahrzeugs 102, als die aufbereiteten Sensordaten 116 erfasst wurden, eine Kennung des Fahrzeugs 102, als die aufbereiteten Sensordaten 116 erfasst wurden, einen Standort des Fahrzeugs 102, als die aufbereiteten Sensordaten 116 erfasst wurden, beinhalten. Das Fahrzeug 102 kann ferner die Nicht-PII-Sensordaten 512 als die Basisversion der aufbereiteten Sensordaten 116 beinhalten. Das Fahrzeug 102 kann zudem die tatsächlichen PII, die sich in den Originalsensordaten 106 befanden, als Schichten mit verschlüsselten PII 514 beinhalten, die auf die Nicht-PII-Sensordaten 512 gelegt werden können, um die PII wieder in die Nicht-PII-Sensordaten 512 einzusetzen. Die verschlüsselten PII 514 können unter Verwendung von Zugriffsschlüsseln 118 verschlüsselt werden, die unterschiedlichen Klassen von PII (z.B. Gesicht, Kennzeichen usw.), Instanzen von PII (z. B. einem Element von PII, einem Fahrzeug 102 in den aufbereiteten Sensordaten 116, einem Benutzer in den aufbereiteten Sensordaten 116) und/oder einem Zeitraum (z. B. einem Tag, einer Stunde, einem Schlüsselzyklus des Fahrzeugs 102) entsprechen. Das Fahrzeug 102 kann zudem Verfolgungsdaten 516 in den aufbereiteten Sensordaten 116 beinhalten, um Informationen zu führen, die angeben, wo die verschlüsselten PII 514 wieder in die Nicht-PII-Sensordaten 512 eingesetzt werden sollen. Dies kann verwendet werden, um die Teile der PII wieder zu den Sensordaten 106 gemäß dem Zugriff zusammenzufügen, der dem Verbraucher über die von dem Verbraucher bereitgestellten Zugriffsschlüssel 118 gewährt wird.
  • Bei Vorgang 614 sendet das Fahrzeug 102 die aufbereiteten Sensordaten 116 an den Cloud-Server 114. Der Cloud-Server 114 kann dementsprechend die aufbereiteten Sensordaten 116 zum Abfragen durch die Client-Vorrichtungen 120 verfügbar machen. Nach dem Vorgang 614 endet der Prozess 600. Es ist zu beachten, dass das Aufbereiten auf dem Fahrzeug 102 unbegrenzt im Hintergrund auf Datensegmenten ausgeführt werden kann, wenn sie erfasst werden (z. B. für den Wächtermodus).
  • 7 veranschaulicht einen beispielhaften Prozess 700 für das Abfragen von aufbereiteten Sensordaten 116. In einem Beispiel kann der Prozess 700 durch eine Client-Vorrichtung 120 im Rahmen des Systems 100 durchgeführt werden. Es ist zu beachten, dass, obwohl der Prozess 700 linear veranschaulicht ist, ein oder mehrere Vorgänge des Prozesses 700 gleichzeitig durchgeführt werden können und der Prozess 700 als Reaktion auf mehrere Anforderungen von Client-Vorrichtungen 120 gleichzeitig durchgeführt werden kann.
  • Bei Vorgang 702 empfängt der Cloud-Server 114 eine Anforderung für aufbereitete Sensordaten 116 von einer Client-Vorrichtung 120. In einem Beispiel kann die Client-Vorrichtung 120 eine Anforderung für Informationen in Bezug auf das Weiterentwickeln und Entfernen von Fehlern von Fahrerassistenzsystemen oder Fahrzeugsystemen für autonomes Fahren senden. In einem weiteren Beispiel kann die Client-Vorrichtung 120 eine Anforderung für Informationen in Bezug auf einen DTC senden. In einem weiteren Beispiel kann ein Fahrzeughalter oder Flottenbetreiber Videodaten von dem Fahrzeug anfordern, die durch den Cloud-Server 114 gestreamt würden.
  • Bei Vorgang 704 identifiziert der Cloud-Server 114 Zugriffsschlüssel 118 für die Anforderung. In einem Beispiel kann die Client-Vorrichtung 120 einen oder mehrere Zugriffsschlüssel 118 in die Anforderung einschließen, wobei die Zugriffsschlüssel 118 eine Berechtigung für Klassen von PII, die in dem Ergebnis beinhaltet sein sollen, und/oder Zeiten, für die die PII in dem Ergebnis beinhaltet sein sollen, bereitstellen. In einem anderen Beispiel können Zugriffsrechte für die Client-Vorrichtung 120 auf Grundlage von Rechten oder Privilegien eines Kontos der Client-Vorrichtung 120 bestimmt werden, unabhängig davon, ob Zugriffsschlüssel 118 in der Anforderung beinhaltet sind.
  • Bei Vorgang 706 bildet der Cloud-Server 114 ein Ergebnis gemäß den Zugriffsschlüsseln 118 unter Verwendung der aufbereiteten Sensordaten 116. In einem Beispiel kann der Cloud-Server 114 auf die aufbereiteten Sensordaten 116 zugreifen, um die Nicht-PII-Sensordaten 512 abzurufen, und kann dann unter Verwendung der Verfolgungsdaten 516 beliebige der verschlüsselten PII 514, die für den Benutzer gemäß den bei Vorgang 704 identifizierten Zugriffsschlüsseln 118 zugänglich sind, auf die Nicht-PII-Sensordaten 512 legen. In einigen Beispielen können die verschlüsselten PII 514 in dem Ergebnis entschlüsselt werden, während in anderen Beispielen die verschlüsselten PII 514 zur Entschlüsselung durch die Client-Vorrichtung 120 verschlüsselt bleiben können.
  • Bei Vorgang 708 sendet der Cloud-Server 114 das gebildete Ergebnis an die Client-Vorrichtung 120. Nach Vorgang 708 endet der Prozess 700. Dementsprechend kann die Client-Vorrichtung 120 unter Verwendung des Prozesses 700 eine Version der Sensordaten 106 empfangen, die alle PII, auf die die Client-Vorrichtung 120 Zugriff hat, und ersetzten erzeugten Inhalt für die PII beinhaltet, auf die die Client-Vorrichtung 120 keinen Zugriff hat. Für einige Arten von Daten, wie etwa Bildabschnitte, kann dies transparent erfolgen, sodass die Client-Vorrichtung 120 nicht weiß, welche Informationen neu erfunden sind und welche die wahren Daten sind. Darüber hinaus können, da die Datenattribute 404 verwendet werden, um die PII in anonymisierter Form, aber mit Schlüsselaspekten der tatsächlichen PII, neu zu erzeugen, die neu erfundenen Bilder dennoch für verschiedene Aufgaben nützlich sein, während die Daten des Benutzers dennoch geschützt werden.
  • 8 veranschaulicht ein Beispiel 800 für eine Rechenvorrichtung 802 für die Gewinnung und das Verarbeiten von PII- und Nicht-PII-Daten. Unter Bezugnahme auf 8 und in Bezug auf die 1-7 können die TCU 110, der Cloud-Server 114 und Client-Vorrichtungen 120 Beispiele für derartige Rechenvorrichtungen 802 sein. Wie gezeigt, beinhaltet die Rechenvorrichtung 802 einen Prozessor 804, der mit einem Datenspeicher 806, einer Netzwerkvorrichtung 808, einer Ausgabevorrichtung 810 und einer Eingabevorrichtung 812 wirkverbunden ist. Es ist zu beachten, dass dies lediglich ein Beispiel ist und Rechenvorrichtungen 802 mit mehr, weniger oder anderen Komponenten verwendet werden können.
  • Der Prozessor 804 kann eine oder mehrere integrierte Schaltungen beinhalten, welche die Funktionalität einer zentralen Verarbeitungseinheit (Central Processing Unit - CPU) und/oder Grafikverarbeitungseinheit (Graphics Processing Unit - GPU) umsetzen. In einigen Beispielen sind die Prozessoren 804 ein System auf einem Chip (System on a Chip - SoC), in das die Funktionalität der CPU und der GPU integriert sind. Das SoC kann gegebenenfalls andere Komponenten, wie zum Beispiel den Datenspeicher 806 und die Netzwerkvorrichtung 808 in einer einzigen integrierten Vorrichtung beinhalten. In anderen Beispielen sind die CPU und die GPU über eine Peripherie-Anschlussvorrichtung, wie etwa Peripheral Component Interconnect Express (PCI-Express) oder eine andere geeignete Peripherie-Datenverbindung, miteinander verbunden. In einem Beispiel handelt es sich bei der CPU um eine handelsübliche zentrale Verarbeitungsvorrichtung, die einen Anweisungssatz umsetzt, wie etwa einen der Anweisungssatzfamilien x86, ARM, Power oder Microprocessor without Interlocked Pipeline Stage (MIPS).
  • Unabhängig von den Einzelheiten führt der Prozessor 804 während des Betriebs gespeicherte Programmanweisungen aus, die aus dem Datenspeicher 806 abgerufen werden. Die gespeicherten Programmanweisungen beinhalten dementsprechend Software, die den Betrieb der Prozessoren 804 steuert, um die in dieser Schrift beschriebenen Vorgänge durchzuführen. Der Datenspeicher 806 kann sowohl nichtflüchtige Speichervorrichtungen als auch flüchtige Speichervorrichtungen beinhalten. Der nichtflüchtige Speicher beinhaltet Folgendes: Festkörperspeicher, wie etwa Not-AND-Flash-Speicher (NAND-Flash-Speicher), magnetische und optische Speichermedien oder eine beliebige andere geeignete Datenspeichervorrichtung, die Daten speichert, wenn das System ausgeschaltet wird oder dessen Stromversorgung unterbrochen ist. Der flüchtige Speicher beinhaltet einen statischen und dynamischen Direktzugriffsspeicher (Random-Access Memory - RAM), auf dem während des Betriebs des Systems 100 Programmanweisungen und Daten gespeichert werden.
  • Die GPU kann Hardware und Software zur Anzeige von mindestens zweidimensionalen (2D-) und gegebenenfalls 3D-Grafiken auf der Ausgabevorrichtung 810 beinhalten. Die Ausgabevorrichtung 810 kann eine grafische oder visuelle Anzeigevorrichtung, wie etwa einen elektronischen Anzeigebildschirm, einen Projektor, einen Drucker oder eine beliebige andere geeignete Vorrichtung, die eine grafische Anzeige wiedergibt, beinhalten. Als ein anderes Beispiel kann die Ausgabevorrichtung 810 eine Audiovorrichtung, wie etwa einen Lautsprecher oder einen Kopfhörer, beinhalten. Als noch ein weiteres Beispiel kann die Ausgabevorrichtung 810 eine taktile Vorrichtung, wie etwa eine mechanisch erhöhbare Vorrichtung, beinhalten, die in einem Beispiel dazu konfiguriert sein kann, Blindenschrift oder eine andere physische Ausgabe anzuzeigen, die berührt werden kann, um einem Benutzer Informationen bereitzustellen.
  • Die Eingabevorrichtung 812 kann eine beliebige von verschiedenen Vorrichtungen beinhalten, die es der Rechenvorrichtung 802 ermöglichen, Steuereingaben von Benutzern zu empfangen. Beispiele für geeignete Eingabevorrichtungen, die Eingaben über eine menschliche Schnittstelle empfangen, können Tastaturen, Mäuse, Trackballs, Touchscreens, Spracheingabevorrichtungen, Grafiktablets und dergleichen beinhalten.
  • Die Netzwerkvorrichtungen 808 können jeweils eine beliebige von verschiedenen Vorrichtungen beinhalten, die es der TCU 110, dem Cloud-Server 114 und Client-Vorrichtungen 120 ermöglichen, Daten von externen Vorrichtungen über Netzwerke zu senden und/oder zu empfangen. Beispiele für geeignete Netzwerkvorrichtungen 808 beinhalten eine Ethernet-Schnittstelle, einen Wi-Fi-Sendeempfänger, einen Mobilfunk-Sendeempfänger oder einen BLUETOOTH- oder BLUETOOTH-Low-Energy(BLE)-Sendeempfänger, einen Ultrabreitband(UWB)-Sendeempfänger oder einen anderen Netzwerkadapter oder eine andere Peripherie-Verbindungsvorrichtung, der/die Daten von einem anderen Computer oder einer externen Datenspeichervorrichtung empfängt, was zum Empfangen großer Datensätze auf effiziente Weise nützlich sein kann.
  • Die in dieser Schrift offenbarten Prozesse, Verfahren oder Algorithmen können einer Verarbeitungsvorrichtung, einer Steuerung oder einem Computer zuführbar sein/davon umgesetzt werden, die/der eine beliebige bestehende programmierbare elektronische Steuereinheit oder eine dedizierte elektronische Steuereinheit beinhalten kann. Gleichermaßen können die Prozesse, Verfahren oder Algorithmen als Daten und Anweisungen, die durch eine Steuerung oder einen Computer ausgeführt werden können, in vielen Formen, einschließlich unter anderem Informationen, die dauerhaft auf nicht beschreibbaren Speichermedien gespeichert sind, wie etwa Festwertspeichervorrichtungen (Read-Only Memory - ROM), und Informationen, die veränderbar auf beschreibbaren Speichermedien gespeichert sind, wie etwa Disketten, Magnetbändern, Compact Discs (CDs), RAM-Vorrichtungen und anderen magnetischen und optischen Medien, gespeichert sein. Die Prozesse, Verfahren oder Algorithmen können zudem in einem mit Software ausführbaren Objekt umgesetzt sein. Alternativ können die Prozesse, Verfahren oder Algorithmen ganz oder teilweise unter Verwendung geeigneter Hardwarekomponenten, wie etwa anwendungsspezifischer integrierter Schaltungen (Application Specific Integrated Circuits - ASICs), feldprogrammierbarer Gate-Arrays (FPGAs), Zustandsmaschinen, Steuerungen oder anderer Hardwarekomponenten oder -vorrichtungen oder einer Kombination aus Hardware-, Software- und Firmwarekomponenten, verwirklicht sein.
  • Wenngleich vorstehend beispielhafte Ausführungsformen beschrieben sind, sollen diese Ausführungsformen nicht alle möglichen Formen beschreiben, die durch die Patentansprüche eingeschlossen sind. Die in der Beschreibung verwendeten Ausdrücke sind vielmehr beschreibende Ausdrücke als einschränkende Ausdrücke und es versteht sich, dass verschiedene Änderungen vorgenommen werden können, ohne vom Wesen und Umfang der Offenbarung abzuweichen. Wie vorstehend beschrieben, können die Merkmale verschiedener Ausführungsformen kombiniert werden, um weitere Ausführungsformen der Erfindung zu bilden, die unter Umständen nicht ausdrücklich beschrieben oder veranschaulicht sind. Wenngleich verschiedene Ausführungsformen gegenüber anderen Ausführungsformen oder Umsetzungen nach dem Stand der Technik in Bezug auf eine oder mehrere gewünschte Eigenschaften als vorteilhaft oder bevorzugt beschrieben worden sein könnten, erkennt der Durchschnittsfachmann, dass bei einem/einer oder mehreren Merkmalen oder Eigenschaften Kompromisse eingegangen werden können, um die gewünschten Gesamtattribute des Systems zu erzielen, die von der konkreten Anwendung und Umsetzung abhängen. Diese Attribute können unter anderem Folgendes beinhalten: Kosten, Festigkeit, Haltbarkeit, Lebenszykluskosten, Marktfähigkeit, Erscheinungsbild, Verbauung, Größe, Wartbarkeit, Gewicht, Herstellbarkeit, Einfachheit der Montage usw. Soweit beliebige Ausführungsformen in Bezug auf eine oder mehrere Eigenschaften als weniger wünschenswert als andere Ausführungsformen oder Umsetzungen aus dem Stand der Technik beschrieben werden, liegen diese Ausführungsformen daher nicht außerhalb des Umfangs der Offenbarung und können für bestimmte Anwendungen wünschenswert sein.
  • Gemäß der vorliegenden Erfindung ist ein System zum Verarbeiten von personenbezogenen Informationen (PII) in Datenströmen bereitgestellt, das Folgendes aufweist: einen Sensor, der dazu konfiguriert ist, Rohsensordaten zu erfassen, wobei die Rohsensordaten erfasste PII und Nicht-PII beinhalten; und einen Prozessor, der dazu programmiert ist, die PII in den Rohsensordaten zu identifizieren, Datenattribute der erfassten PII zu identifizieren, simulierte PII für die erfassten PII auf Grundlage der Datenattribute unter Verwendung eines Generative Adversarial Network zu erzeugen, aufbereitete Sensordaten zu bilden, die die simulierten PII als eine Basisschicht und die erfassten PII als eine oder mehrere verschlüsselte zusätzliche Schichten beinhalten, und die aufbereiteten Sensordaten an einen entfernten Server zu senden.
  • Gemäß einer Ausführungsform ist der Prozessor ferner dazu programmiert, die erfassten PII unter Verwendung eines oder mehrerer neuronaler Netzwerke zu identifizieren, die dazu trainiert sind, die erfassten PII in den Rohsensordaten zu identifizieren.
  • Gemäß einer Ausführungsform beinhalten das eine oder die mehreren neuronalen Netzwerke ein neuronales Netzwerk, das dazu konfiguriert ist, Gesichter in den Rohsensordaten zu identifizieren.
  • Gemäß einer Ausführungsform beinhalten das eine oder die mehreren neuronalen Netzwerke ein neuronales Netzwerk, das dazu konfiguriert ist, Kennzeichen in den Rohsensordaten zu identifizieren.
  • Gemäß einer Ausführungsform ist der Prozessor ferner zu Folgendem programmiert: Identifizieren der Datenattribute in den erfassten PII unter Verwendung eines oder mehrerer anwendungsfallspezifischer neuronaler Netzwerke, die dazu konfiguriert sind, Attribute einer Klasse von PII unabhängig von einer Benutzeridentifikation zu identifizieren, und Verwenden der Attribute der Klasse von PII als Eingabe in das Generative Adversarial Network, um zu bewirken, dass das Generative Adversarial Network die simulierten PII als zufällig erzeugte Sensordaten erzeugt, die die identifizierten Attribute aufweisen.
  • Gemäß einer Ausführungsform beinhalten das eine oder die mehreren anwendungsfallspezifischen neuronalen Netzwerke ein anwendungsfallspezifisches neuronales Netzwerk, das dazu konfiguriert ist, einen Blickwinkel und eine Kopfposition von Gesichtern in den Rohsensordaten zu identifizieren.
  • Gemäß einer Ausführungsform beinhalten das eine oder die mehreren anwendungsfallspezifischen neuronalen Netzwerke ein anwendungsfallspezifisches neuronales Netzwerk, das dazu konfiguriert ist, eine Kommunalverwaltung, die Kennzeichen entspricht, in den Rohsensordaten zu identifizieren.
  • Gemäß einer Ausführungsform ist der Prozessor ferner zu Folgendem programmiert: Verschlüsseln eines ersten Zeitraums von erfassten PII unter Verwendung eines ersten Zugriffsschlüssels; und Verschlüsseln eines zweiten Zeitraums von erfassten PII unter Verwendung eines zweiten Zugriffsschlüssels.
  • Gemäß einer Ausführungsform ist der Prozessor ferner zu Folgendem programmiert: Verschlüsseln einer ersten Klasse von erfassten PII unter Verwendung eines ersten Zugriffsschlüssels; und Verschlüsseln einer zweiten Klasse von erfassten PII unter Verwendung eines zweiten Zugriffsschlüssels.
  • Gemäß einer Ausführungsform beinhalten die Rohsensordaten Bilder, die von einer Fahrgastzelle eines Fahrzeugs erfasst wurden.
  • Gemäß einer Ausführungsform beinhalten die Rohsensordaten Bilder, die von einer Umgebung, die ein Fahrzeug umgibt, erfasst wurden.
  • Gemäß der vorliegenden Erfindung ist ein System zum Verarbeiten von personenbezogenen Informationen (PII) in Datenströmen bereitgestellt, das Folgendes aufweist: einen Datenspeicher, der dazu konfiguriert ist, aufbereitete Sensordaten, die simulierte PII und eine oder mehrere Schichten von tatsächlichen PII beinhalten, die den simulierten PII entsprechen, zu führen; und einen Prozessor, der dazu programmiert ist, eine Anforderung von einer Client-Vorrichtung für einen Teil der aufbereiteten Sensordaten zu empfangen; Zugriffsschlüssel zu identifizieren, die der Anforderung entsprechen, ein Ergebnis gemäß den Zugriffsschlüsseln unter Verwendung der aufbereiteten Sensordaten zu bilden und das gebildete Ergebnis als Reaktion auf die Anforderung an die Client-Vorrichtung zu senden
  • Gemäß einer Ausführungsform beinhalten die Zugriffsschlüssel einen Zugriffsschlüssel, der Gesichtern von Personen in den aufbereiteten Sensordaten entspricht, und der Prozessor ist ferner zu Folgendem programmiert: Zugreifen auf die aufbereiteten Sensordaten, um die simulierten PII abzurufen, wobei die simulierten PII simulierte Gesichter der Personen beinhalten; Zugreifen auf die aufbereiteten Sensordaten, um eine Schicht der tatsächlichen PII abzurufen, die den Gesichtern der Personen in den aufbereiteten Sensordaten entsprechen; und Bilden des Ergebnisses, was ein Legen der Gesichter aus den tatsächlichen PII über die Gesichter aus den simulierten PII beinhaltet.
  • Gemäß einer Ausführungsform beinhalten die Zugriffsschlüssel einen Zugriffsschlüssel, der tatsächlichen Kennzeichen in den aufbereiteten Sensordaten entspricht, und der Prozessor ist ferner zu Folgendem programmiert: Zugreifen auf die aufbereiteten Sensordaten, um die simulierten PII abzurufen, wobei die simulierten PII simulierte Kennzeichenbilder beinhalten; Zugreifen auf die aufbereiteten Sensordaten, um eine Schicht der tatsächlichen PII abzurufen, die den tatsächlichen Kennzeichenbildern in den aufbereiteten Sensordaten entsprechen; und Bilden des Ergebnisses, was ein Legen der tatsächlichen Kennzeichenbilder über die simulierten Kennzeichenbilder beinhaltet.
  • Gemäß einer Ausführungsform entsprechen keine Zugriffsschlüssel der Anforderung und beinhaltet das Ergebnis nur die simulierten PII ohne beliebige der tatsächlichen PII.
  • Gemäß einer Ausführungsform sind die Zugriffsschlüssel in der Anforderung beinhaltet.
  • Gemäß einer Ausführungsform werden die Zugriffsschlüssel auf Grundlage von Rechten eines Kontos der Client-Vorrichtung, die die Anforderung sendet, bestimmt.
  • Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren zum Verarbeiten von personenbezogenen Informationen (PII) in Datenströmen Folgendes: Empfangen von aufbereiteten Sensordaten von einer Vielzahl von Fahrzeugen, die Sensoren beinhaltet, die Rohsensordaten erfassen, wobei die Rohsensordaten erfasste PII und Nicht-PII beinhalten, wobei die aufbereiteten Sensordaten Folgendes beinhalten: (i) eine Basisschicht, die die Nicht-PII und simulierte PII aufweist, die auf Grundlage der erfassten PII erstellt wurden, (ii) eine oder mehrere verschlüsselte zusätzliche Schichten der erfassten PII, die den simulierten PII entsprechen, (iii) Basismetadaten, die die Nicht-PII und die simulierten PII beschreiben, und (iv) verschlüsselte PII-Metadaten, die die erfassten PII beschreiben; Empfangen einer Anforderung von einer Client-Vorrichtung für einen Teil der aufbereiteten Sensordaten; Identifizieren von Zugriffsschlüsseln, die der Anforderung entsprechen; Bilden eines Ergebnisses gemäß den Zugriffsschlüsseln unter Verwendung der aufbereiteten Sensordaten; und Senden des gebildeten Ergebnisses an die Client-Vorrichtung als Reaktion auf die Anforderung.
  • In einem Aspekt der Erfindung beinhaltet das Verfahren Folgendes: Identifizieren der erfassten PII in den Rohsensordaten; Identifizieren von Datenattributen der erfassten PII; Erzeugen der simulierten PII für die erfassten PII auf Grundlage der Datenattribute unter Verwendung eines Generative Adversarial Network; und Bilden der aufbereiteten Sensordaten, die die simulierten PII in der Basisschicht beinhalten, wobei die erfassten PII mit den erfassten PII ersetzt werden, die in der einen oder den mehreren verschlüsselten zusätzlichen Schichten beinhaltet sind.
  • In einem Aspekt der Erfindung beinhaltet das Verfahren Folgendes: Identifizieren der erfassten PII unter Verwendung eines neuronalen Netzwerks, das dazu konfiguriert ist, Rohgesichter in den Rohsensordaten zu identifizieren; Verwenden eines anwendungsfallspezifischen neuronalen Netzwerks zum Identifizieren von Datenattributen, die einen Blickwinkel und eine Kopfposition der Rohgesichter in den Rohsensordaten beinhalten; Erzeugen von simulierten Gesichtern für die Rohgesichter unter Verwendung der Datenattribute als Eingabe in ein Generative Adversarial Network; Ersetzen der Rohgesichter mit den simulierten Gesichtern in den Rohsensordaten, um die Basisschicht auszubilden; und Verschlüsseln der Gesichter in den erfassten PII unter Verwendung eines Zugriffsschlüssels, der PII-Gesichtsdaten entspricht, um eine der einen oder mehreren verschlüsselten zusätzlichen Schichten auszubilden.
  • In einem Aspekt der Erfindung beinhaltet das Verfahren Folgendes: Identifizieren, dass einer der Zugriffsschlüssel, die der Anforderung entsprechen, der Zugriffsschlüssel ist, der den PII-Gesichtsdaten entspricht; Zugreifen auf die aufbereiteten Sensordaten, um die Basisschicht, die die Nicht-PII und die simulierten PII aufweist, abzurufen; Zugreifen auf die eine oder mehreren verschlüsselten zusätzlichen Schichten der erfassten PII, die den simulierten PII entsprechen; und Bilden des Ergebnisses, was ein Legen der Gesichter aus den erfassten PII über die Gesichter aus den simulierten PII beinhaltet.
  • In einem Aspekt der Erfindung beinhaltet das Verfahren Folgendes: Identifizieren, dass einer der Zugriffsschlüssel, die der Anforderung entsprechen, ein Zugriffsschlüssel ist, der einem Zeitraum entspricht; Zugreifen auf die aufbereiteten Sensordaten, um die Basisschicht, die die Nicht-PII und die simulierten PII aufweist, abzurufen; Zugreifen auf die eine oder mehreren verschlüsselten zusätzlichen Schichten der erfassten PII, die dem Zeitraum entsprechen; und Bilden des Ergebnisses, was ein Legen der erfassten PII über die simulierten PII für den Zeitraum beinhaltet.

Claims (15)

  1. System zum Verarbeiten von personenbezogenen Informationen (PII) in Datenströmen, das Folgendes umfasst: einen Sensor, der dazu konfiguriert ist, Rohsensordaten zu erfassen, wobei die Rohsensordaten erfasste PII und Nicht-PII beinhalten; und einen Prozessor, der zu Folgendem programmiert ist: Identifizieren der PII in den Rohsensordaten, Identifizieren von Datenattributen der erfassten PII, Erzeugen von simulierten PII für die erfassten PII auf Grundlage der Datenattribute unter Verwendung eines Generative Adversarial Network, Bilden von aufbereiteten Sensordaten, die die simulierten PII als eine Basisschicht und die erfassten PII als eine oder mehrere verschlüsselte zusätzliche Schichten beinhalten, und Senden der aufbereiteten Sensordaten an einen entfernten Server.
  2. System nach Anspruch 1, wobei der Prozessor ferner dazu programmiert ist, die erfassten PII unter Verwendung eines oder mehrerer neuronaler Netzwerke zu identifizieren, die dazu trainiert sind, die erfassten PII in den Rohsensordaten zu identifizieren.
  3. System nach Anspruch 2, wobei das eine oder die mehreren neuronalen Netzwerke ein neuronales Netzwerk beinhalten, das dazu konfiguriert ist, Gesichter in den Rohsensordaten zu identifizieren.
  4. System nach Anspruch 2, wobei das eine oder die mehreren neuronalen Netzwerke ein neuronales Netzwerk beinhalten, das dazu konfiguriert ist, Kennzeichen in den Rohsensordaten zu identifizieren.
  5. System nach Anspruch 1, wobei der Prozessor ferner zu Folgendem programmiert ist: Identifizieren der Datenattribute in den erfassten PII unter Verwendung eines oder mehrerer anwendungsfallspezifischer neuronaler Netzwerke, die dazu konfiguriert sind, Attribute einer Klasse von PII unabhängig von einer Benutzeridentifikation zu identifizieren, und Verwenden der Attribute der Klasse von PII als Eingabe in das Generative Adversarial Network, um zu bewirken, dass das Generative Adversarial Network die simulierten PII als zufällig erzeugte Sensordaten erzeugt, die die identifizierten Attribute aufweisen.
  6. System nach Anspruch 5, wobei das eine oder die mehreren anwendungsfallspezifischen neuronalen Netzwerke ein anwendungsfallspezifisches neuronales Netzwerk beinhalten, das dazu konfiguriert ist, einen Blickwinkel und eine Kopfposition von Gesichtern in den Rohsensordaten zu identifizieren.
  7. System nach Anspruch 5, wobei das eine oder die mehreren anwendungsfallspezifischen neuronalen Netzwerke ein anwendungsfallspezifisches neuronales Netzwerk beinhalten, das dazu konfiguriert ist, eine Kommunalverwaltung, die Kennzeichen entspricht, in den Rohsensordaten zu identifizieren.
  8. System nach Anspruch 1, wobei der Prozessor ferner zu Folgendem programmiert ist: Verschlüsseln eines ersten Zeitraums von erfassten PII unter Verwendung eines ersten Zugriffsschlüssels; und Verschlüsseln eines zweiten Zeitraums von erfassten PII unter Verwendung eines zweiten Zugriffsschlüssels.
  9. System nach Anspruch 1, wobei der Prozessor ferner zu Folgendem programmiert ist: Verschlüsseln einer ersten Klasse von erfassten PII unter Verwendung eines ersten Zugriffsschlüssels; und Verschlüsseln einer zweiten Klasse von erfassten PII unter Verwendung eines zweiten Zugriffsschlüssels.
  10. System nach Anspruch 1, wobei die Rohsensordaten Bilder beinhalten, die von einer Fahrgastzelle eines Fahrzeugs erfasst wurden.
  11. System nach Anspruch 1, wobei die Rohsensordaten Bilder beinhalten, die von einer Umgebung, die ein Fahrzeug umgibt, erfasst wurden.
  12. Verfahren zum Verarbeiten von personenbezogenen Informationen (PII) in Datenströmen, das Folgendes umfasst: Empfangen von aufbereiteten Sensordaten von einer Vielzahl von Fahrzeugen, die Sensoren beinhaltet, die Rohsensordaten erfassen, wobei die Rohsensordaten erfasste PII und Nicht-PII beinhalten, wobei die aufbereiteten Sensordaten Folgendes beinhalten: (i) eine Basisschicht, die die Nicht-PII und simulierte PII aufweist, die auf Grundlage der erfassten PII erstellt wurden, (ii) eine oder mehrere verschlüsselte zusätzliche Schichten der erfassten PII, die den simulierten PII entsprechen, (iii) Basismetadaten, die die Nicht-PII und die simulierten PII beschreiben, und (iv) verschlüsselte PII-Metadaten, die die erfassten PII beschreiben; Empfangen einer Anforderung von einer Client-Vorrichtung für einen Teil der aufbereiteten Sensordaten; Identifizieren von Zugriffsschlüsseln, die der Anforderung entsprechen; Bilden eines Ergebnisses gemäß den Zugriffsschlüsseln unter Verwendung der aufbereiteten Sensordaten; und Senden des gebildeten Ergebnisses an die Client-Vorrichtung als Reaktion auf die Anforderung.
  13. Verfahren nach Anspruch 12, das ferner Folgendes umfasst: Identifizieren der erfassten PII in den Rohsensordaten; Identifizieren von Datenattributen der erfassten PII; Erzeugen der simulierten PII für die erfassten PII auf Grundlage der Datenattribute unter Verwendung eines Generative Adversarial Network; und Bilden der aufbereiteten Sensordaten, die die simulierten PII in der Basisschicht beinhalten, wobei die erfassten PII mit den erfassten PII ersetzt werden, die in der einen oder den mehreren verschlüsselten zusätzlichen Schichten beinhaltet sind.
  14. Verfahren nach Anspruch 12, das ferner Folgendes umfasst: Identifizieren der erfassten PII unter Verwendung eines neuronalen Netzwerks, das dazu konfiguriert ist, Rohgesichter in den Rohsensordaten zu identifizieren; Verwenden eines anwendungsfallspezifischen neuronalen Netzwerks zum Identifizieren von Datenattributen, die einen Blickwinkel und eine Kopfposition der Rohgesichter in den Rohsensordaten beinhalten; Erzeugen von simulierten Gesichtern für die Rohgesichter unter Verwendung der Datenattribute als Eingabe in ein Generative Adversarial Network; Ersetzen der Rohgesichter mit den simulierten Gesichtern in den Rohsensordaten, um die Basisschicht auszubilden; und Verschlüsseln der Gesichter in den erfassten PII unter Verwendung eines Zugriffsschlüssels, der PII-Gesichtsdaten entspricht, um eine der einen oder mehreren verschlüsselten zusätzlichen Schichten auszubilden.
  15. Verfahren nach Anspruch 14, das ferner Folgendes umfasst: Identifizieren, dass einer der Zugriffsschlüssel, die der Anforderung entsprechen, der Zugriffsschlüssel ist, der den PII-Gesichtsdaten entspricht; Zugreifen auf die aufbereiteten Sensordaten, um die Basisschicht, die die Nicht-PII und die simulierten PII aufweist, abzurufen; Zugreifen auf die eine oder mehreren verschlüsselten zusätzlichen Schichten der erfassten PII, die den simulierten PII entsprechen; Bilden des Ergebnisses, was ein Legen der Gesichter aus den erfassten PII über die Gesichter aus den simulierten PII beinhaltet; Identifizieren, dass einer der Zugriffsschlüssel, die der Anforderung entsprechen, ein Zugriffsschlüssel ist, der einem Zeitraum entspricht; Zugreifen auf die aufbereiteten Sensordaten, um die Basisschicht, die die Nicht-PII und die simulierten PII aufweist, abzurufen; Zugreifen auf die eine oder mehreren verschlüsselten zusätzlichen Schichten der erfassten PII, die dem Zeitraum entsprechen; und Bilden des Ergebnisses, was ein Legen der erfassten PII über die simulierten PII für den Zeitraum beinhaltet.
DE102022107735.7A 2021-04-14 2022-03-31 Personenbezogene informationen in verschlüsselten datenströmen Pending DE102022107735A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/230,415 US11914745B2 (en) 2021-04-14 2021-04-14 Personally identifiable information in encrypted data streams
US17/230,415 2021-04-14

Publications (1)

Publication Number Publication Date
DE102022107735A1 true DE102022107735A1 (de) 2022-10-20

Family

ID=83447433

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022107735.7A Pending DE102022107735A1 (de) 2021-04-14 2022-03-31 Personenbezogene informationen in verschlüsselten datenströmen

Country Status (3)

Country Link
US (1) US11914745B2 (de)
CN (1) CN115203717A (de)
DE (1) DE102022107735A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT526321A1 (de) * 2022-11-21 2023-12-15 Avl List Gmbh Vorrichtung und Verfahren zur Erzeugung eines synthetischen Datensatzes eines Fahrszenarios
DE102023001761A1 (de) 2023-05-02 2024-04-18 Mercedes-Benz Group AG Verfahren zur Durchführung einer Videokonferenz in einem Fahrzeug

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220286438A1 (en) * 2021-03-08 2022-09-08 Adobe Inc. Machine learning techniques for mitigating aggregate exposure of identifying information
US11900534B2 (en) * 2021-07-30 2024-02-13 The Boeing Company Systems and methods for synthetic image generation

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8620038B2 (en) 2006-05-05 2013-12-31 Parham Aarabi Method, system and computer program product for automatic and semi-automatic modification of digital images of faces
US7724918B2 (en) 2006-11-22 2010-05-25 International Business Machines Corporation Data obfuscation of text data using entity detection and replacement
WO2009094661A1 (en) 2008-01-24 2009-07-30 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for swapping faces in images
TWI420405B (zh) 2010-10-20 2013-12-21 Hon Hai Prec Ind Co Ltd 人臉影像代換系統及方法
US9589190B2 (en) 2012-12-21 2017-03-07 Robert Bosch Gmbh System and method for detection of high-interest events in video data
EP3256981B1 (de) * 2015-01-14 2021-03-03 Hewlett-Packard Enterprise Development LP System, vorrichtung und verfahren zur anonymisierung von daten vor einer gefährdungserkennungsanalyse
US20160294781A1 (en) 2015-01-25 2016-10-06 Jennifer Kate Ninan Partial or complete image obfuscation and recovery for privacy protection
US9858696B2 (en) 2015-09-18 2018-01-02 International Business Machines Corporation Image anonymization using analytics tool
CA3002034A1 (en) * 2015-10-14 2017-04-20 Cambridge Blockchain, LLC Systems and methods for managing digital identities
CA3005476C (en) * 2015-11-20 2024-03-05 Genetec Inc. Secure layered encryption of data streams
US10846996B2 (en) * 2016-04-25 2020-11-24 Standard Cognition Corp. Registry verification for a mechanized store using radio frequency tags
US11010944B2 (en) 2017-12-28 2021-05-18 Facebook, Inc. Systems and methods for swapping faces and face components based on facial recognition
US11080423B1 (en) * 2018-04-13 2021-08-03 Datavant, Inc. System for simulating a de-identified healthcare data set and creating simulated personal data while retaining profile of authentic data
US10839104B2 (en) * 2018-06-08 2020-11-17 Microsoft Technology Licensing, Llc Obfuscating information related to personally identifiable information (PII)
US11157646B2 (en) * 2018-09-27 2021-10-26 Intel Corporation Systems and methods for processing and handling privacy-sensitive image data
WO2020148573A1 (en) * 2019-01-18 2020-07-23 Telefonaktiebolaget Lm Ericsson (Publ) Using generative adversarial networks (gans) to enable sharing of sensitive data
US20200285771A1 (en) * 2019-03-05 2020-09-10 Abhishek Dey System and method for removing personally identifiable information from medical data
US11386229B2 (en) * 2019-07-04 2022-07-12 Blackberry Limited Filtering personally identifiable information from vehicle data
US10990695B2 (en) * 2019-09-05 2021-04-27 Bank Of America Corporation Post-recording, pre-streaming, personally-identifiable information (“PII”) video filtering system
US20210097201A1 (en) * 2019-09-27 2021-04-01 AVAST Software s.r.o. Privacy personas using synthetic personally identifiable information
US11748510B1 (en) * 2019-10-29 2023-09-05 United Services Automobile Association (Usaa) Protection of personal data stored in vehicular computing systems
US11652804B2 (en) * 2020-07-20 2023-05-16 Robert Bosch Gmbh Data privacy system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT526321A1 (de) * 2022-11-21 2023-12-15 Avl List Gmbh Vorrichtung und Verfahren zur Erzeugung eines synthetischen Datensatzes eines Fahrszenarios
DE102023001761A1 (de) 2023-05-02 2024-04-18 Mercedes-Benz Group AG Verfahren zur Durchführung einer Videokonferenz in einem Fahrzeug

Also Published As

Publication number Publication date
US20220335153A1 (en) 2022-10-20
CN115203717A (zh) 2022-10-18
US11914745B2 (en) 2024-02-27

Similar Documents

Publication Publication Date Title
DE102022107735A1 (de) Personenbezogene informationen in verschlüsselten datenströmen
DE102014220302B4 (de) Verfahren zur Durchführung einer Aktions-Erkennung auf einem Bild eines Fahrers in einem Fahrzeug sowie entsprechendes Nichtflüchtiges, Computer-lesbares Speichermedium und Verfahren zum Lernen eines Random Forest Modells zur Aktionserkennung
DE112020001663T5 (de) Autonomes Fahrzeugsystem
DE112019000049T5 (de) Für autonomes fahren geeignete objekterfassung und erfassungssicherheit
DE102020102230A1 (de) Missbrauchsindex für erklärbare künstliche intelligenz in computerumgebungen
DE102019117618A1 (de) Fahrzeugklassifizierungssystem
DE102019120880A1 (de) End-to-end-deep-generative-modell für simultane lokalisierung und abbildung
DE102018121808A1 (de) Verfeinern von synthetischen daten mit einem generative adversarial network unter verwendung von hilfseingaben
JP7036493B2 (ja) 監視方法及び装置
CN110290945A (zh) 记录操作员和周围视场的视频
DE112017007252T5 (de) Fahrerüberwachungsvorrichtung, fahrerüberwachungsverfahren, lernvorrichtung und lernverfahren
DE102018102285A1 (de) System und verfahren zum beurteilen des innenraums eines autonomen fahrzeugs
KR20230125091A (ko) 승객 관련 물품 손실 완화
DE112012004778T5 (de) Universeller Bus im Auto
DE102021123159A1 (de) Adaptiver objektverfolgungsalgorithmus für autonome maschinenanwendungen
DE112019000749T5 (de) Ereignisbezogene automatisierte steuerung der durchlässigkeit für sichtbares licht durch fahrzeugfenster
WO2013072926A2 (en) A computing platform for development and deployment of sensor-driven vehicle telemetry applications and services
DE102013004612B4 (de) Verfahren zum Betreiben eines Infotainmentsystems
DE102020100685A1 (de) Vorhersage zeitlicher informationen in autonomenmaschinenanwendungen
DE102021211867A1 (de) Systeme und verfahren zum erkennen von krankheitssymptomen von nutzern
DE102021105245A1 (de) Verwenden von bildaugmentation mit simulierten objekten zum trainieren von maschinenlernmodellen in autonomen fahranwendungen
DE102022121251A1 (de) Kontextbasierte Zustandsschätzung
DE102022117298A1 (de) Zusammenfügungsqualitätsbewertung für rundumsichtsysteme
EP2813999B1 (de) Augmented-Reality-System und Verfahren zum Erzeugen und Anzeigen von Augmented-Reality-Objektdarstellungen für ein Fahrzeug
DE102021116309A1 (de) Assistenz für beeinträchtigte fahrer

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: BONSMANN - BONSMANN - FRANK PATENTANWAELTE, DE