-
GEBIET DER TECHNIK
-
Aspekte der Offenbarung betreffen im Allgemeinen das Entfernen von persönlich identifizierbaren Informationen (PII) aus Sensordaten unter Verwendung einer Privatbereichslogik.
-
ALLGEMEINER STAND DER TECHNIK
-
PII beinhalten viele Formen von Informationen, die einen Menschen oder ein Mitglied eines Haushalts identifizieren oder aufspüren könnten. PII können Textinformationen beinhalten, wie etwa Namen, Adressen und Geburtsdaten. PII können auch andere Informationen beinhalten, wie etwa Fotos von Personen, Wohnadressen, Nummernschilder oder Biometrik. Eine Datenanalytik kann die Verwendung großer Sätze von gesammelten Daten erfordern. Diese Datensätze können PII beinhalten.
-
KURZDARSTELLUNG
-
In einem oder mehreren veranschaulichenden Beispielen ist ein Fahrzeug zum Entfernen von PII bereitgestellt. Sensoren des Fahrzeugs sind dazu konfiguriert, Sensordaten zu erfassen. Eine oder mehrere Steuerungen des Fahrzeugs sind dazu konfiguriert, eine Objektdetektion an den Sensordaten durchzuführen, um eine semantische Kennzeichnung von Objekten in den Sensordaten zu erstellen, ein Modell zum Klassifizieren von Bereichen der Sensordaten mit einer öffentlichen oder privaten Kennzeichnung gemäß der semantischen Kennzeichnung und einen PII-Filter, der einer Gerichtsbarkeit eines aktuellen Standorts des Fahrzeugs entspricht, zu nutzen, und die Sensordaten gemäß der öffentlichen oder privaten Kennzeichnung zu nutzen.
-
In einem oder mehreren veranschaulichenden Beispielen ist ein Verfahren zum Entfernen von PII bereitgestellt. Sensordaten werden unter Verwendung von Sensoren eines Fahrzeugs erfasst. Eine Objektdetektion wird an den Sensordaten durchgeführt, um eine semantische Kennzeichnung von Objekten in den Sensordaten zu erstellen. Ein Modell wird zum Klassifizieren von Bereichen der Sensordaten mit einer öffentlichen oder privaten Kennzeichnung gemäß der semantischen Kennzeichnung genutzt, und ein PII-Filter, der einer Gerichtsbarkeit eines aktuellen Standorts des Fahrzeugs entspricht. Die Sensordaten werden gemäß der öffentlichen oder privaten Kennzeichnung genutzt.
-
In einem oder mehreren veranschaulichenden Beispielen beinhaltet ein nicht transitorisches computerlesbares Medium Anweisungen zum Entfernen von PII, die bei Ausführung durch eine oder mehrerer Steuerungen eines Fahrzeugs das Fahrzeug dazu veranlassen, Sensordaten unter Verwendung von Sensoren des Fahrzeugs zu erfassen; eine Objektdetektion an den Sensordaten durchzuführen, um eine semantische Kennzeichnung von Objekten in den Sensordaten zu erstellen; ein Modell zum Klassifizieren von Bereichen der Sensordaten mit einer öffentlichen oder privaten Kennzeichnung gemäß der semantischen Kennzeichnung und einen PII-Filter, der einer Gerichtsbarkeit eines aktuellen Standorts des Fahrzeugs entspricht, zu nutzen; und die Sensordaten gemäß der öffentlichen oder privaten Kennzeichnung zu nutzen.
-
Figurenliste
-
- 1 veranschaulicht ein beispielhaftes System zum Entfernen von PII auf Grundlage einer Privatbereichslogik;
- 2 veranschaulicht einen beispielhaften Prozess zum Entfernen von PII auf Grundlage der Privatbereichslogik, der unter Verwendung des Systems aus 1 durchgeführt werden kann;
- 3 veranschaulicht einen beispielhaften Datenfluss in Bezug auf den Betrieb des Prozesses aus 2;
- 4 veranschaulicht ein modulares Deep-Learning-Inferenzmodell zum Durchführen einer semantischen Segmentierung sowie einer PII-Filterung mit länderspezifischen Merkmalen; und
- 5 veranschaulicht ein beispielhaftes Rechensystem zum Entfernen von PII auf Grundlage einer Privatbereichslogik.
-
DETAILLIERTE BESCHREIBUNG
-
Detaillierte Ausführungsformen der vorliegenden Offenbarung werden hier nach Bedarf offenbart; dabei versteht es sich jedoch, dass die offenbarten Ausführungsformen für die Offenbarung, die in verschiedenen und alternativen Formen ausgeführt sein kann, lediglich beispielhaft sind. Die Figuren sind nicht zwingend maßstabsgetreu; einige Merkmale können stark vergrößert oder verkleinert sein, um Einzelheiten bestimmter Komponenten zu zeigen. Daher sind in dieser Schrift offenbarte konkrete strukturelle und funktionelle Details nicht als einschränkend auszulegen, sondern lediglich als repräsentative Grundlage, um den Fachmann den vielfältigen Einsatz der vorliegenden Offenbarung zu lehren.
-
Fahrzeughersteller fügen zunehmend vernetzte Merkmale hinzu (z. B. einen Wachmodus oder einen Fahrzeugüberwachungsmodus, in dem das Fahrzeug Daten über seine Umgebung erfasst usw.), die dem Kunden einen gewissen Wert bereitstellen, aber auch versehentlich sensible und/oder personenbezogene Informationen erfassen können. Diese Merkmale können Daten an Standorten erfassen, von denen erwartet werden kann, dass sie privat sind, wie etwa in Privatbesitz oder in einem abgeschiedenen Bereich. Zum Beispiel können Sensordaten Bilddaten erfassen, die in einen privaten Wohnsitz oder ein privates Eigentum schauen, wobei je nach den Datenschutzgesetzen der Gerichtsbarkeit die Definition von Privateigentum oder nicht öffentlich zugänglichem Eigentum variieren kann. Ferner können Bilddaten sowohl aus öffentlichen als auch privaten Bilddaten (z. B. Bereiche oder Teilmengen von Pixeln) bestehen, die auf Grundlage der Position des Fahrzeugs und der jeweiligen Position von statischen Objekten und oder mobilen Akteuren variieren können. In der Szene können Akteure erfasst werden, die einfach passierende Fußgänger von begrenzter Bedeutung sind, andere können dem Fahrzeug Probleme verursachen und von größerer Bedeutung sein. Einige Länder verfügen möglicherweise auch über spezifische Gesetze, welche die Bilderfassung geschützter Klassen, wie etwa Polizei- oder Militäreinrichtungen, verbieten. In einigen Ländern gelten strenge Einschränkungen für die Verwendung (sowohl öffentlich als auch privat) von Videoaufnahmen (z. B. öffentliche Bekanntgabe in sozialen Medien).
-
Dennoch kann ein Kunde erwarten, dass die Erfassungsmerkmale Funktionen in seinem eigenen privaten Wohnsitz oder in dem unmittelbaren Bereich in der Nähe seines Fahrzeugs, z. B. auf einer öffentlichen Straße, bereitstellen würden. Somit kann es wünschenswert sein, zulässige und verbotene Datensammlung intelligent von einem Fahrzeugsensor zu trennen. Eine derartige Funktionalität kann jedoch in Abhängigkeit von den erfassten Daten und den lokalen Datenschutzgesetzen und/oder Kundenbelästigung eine Haftbarkeit für den Fahrzeughersteller verursachen.
-
Die vorliegende Offenbarung stellt einen Ansatz zum Entfernen, Deidentifizieren oder Anonymisieren von Sensordaten (z. B. Kamerabildern) gemäß den Datenschutzgesetzen der Gerichtsbarkeit, in der sich das Fahrzeug befindet, bereit. Die Bilddaten können gefiltert werden, um private Daten zu entfernen oder zu anonymisieren, während Bilddaten aus öffentlich zugänglichen Bereichen des Bildes beibehalten werden. Der beschriebene Ansatz zur Linderung von Bedenken hinsichtlich Bilddaten eines privaten Standorts kann je nach Objekttyp und lokalen Datenschutzgesetzen variieren. Weitere Aspekte der Offenbarung sind in dieser Schrift ausführlich erörtert, es ist jedoch anzumerken, dass andere Verfahren, Ansätze und Variationen in Betracht gezogen werden.
-
1 veranschaulicht ein beispielhaftes System 100 zum Entfernen von PII auf Grundlage einer Privatbereichslogik. In einem derartigen System kann ein Fahrzeug 102 einen oder mehrere Sensoren 104 nutzen, um Sensordaten 106, die PII und Nicht-PII beinhalten, zu erfassen. Das Fahrzeug 102 kann einen Datenspeicher 108 beinhalten, der dazu konfiguriert ist, die Sensordaten 106 zu führen. Das Fahrzeug 102 kann zudem eine elektronische Steuereinheit (ECU) 110 beinhalten, die dazu konfiguriert ist, über ein Kommunikationsnetzwerk 112 mit einem Cloud-Server 116 zu kommunizieren. Der Cloud-Server 116 kann PII-Filter 118 in einem Datenspeicher 120 verwalten, der dazu genutzt werden kann, die Sensordaten 106 selektiv zu filtern. Es ist anzumerken, dass es sich bei dem System 100 um ein Beispiel handelt und Systeme 100, die mehr, weniger oder andere Elemente aufweisen, verwendet werden können. Während zum Beispiel ein Fahrzeug 102 gezeigt ist, wird in Betracht gezogen, dass Systeme 100 viele Fahrzeuge 102 beinhalten könnten. Als ein anderes Beispiel ist zu beachten, dass, obwohl ein einzelner Cloud-Server 116 gezeigt ist, Umsetzungen mehr als einen Server zum Lastausgleich oder für andere Netzwerkzwecke beinhalten können.
-
Das Fahrzeug 102 kann verschiedene Arten von Automobilen, Softroadern (Crossover Utility Vehicle - CUV), Geländelimousinen (Sport Utility Vehicle - SUV), Trucks, Jeepney, Wohnmobilen (Recreational Vehicle - RV), Booten, Flugzeugen oder anderen mobilen Maschinen zum Befördern von Personen oder Transportieren von Gütern beinhalten. In vielen Fällen kann das Fahrzeug 102 durch eine Brennkraftmaschine mit Leistung versorgt werden. Als eine andere Möglichkeit kann das Fahrzeug 102 ein Batterieelektrofahrzeug (Battery Electric Vehicle - BEV) sein, das durch einen oder mehrere Elektromotoren mit Leistung versorgt wird. Als eine weitere Möglichkeit kann das Fahrzeug 102 ein Hybridelektrofahrzeug sein, das sowohl durch eine Brennkraftmaschine als auch einen oder mehrere Elektromotoren mit Leistung versorgt wird, wie etwa ein Serienhybrid-Elektrofahrzeug, ein Parallelhybrid-Elektrofahrzeug oder ein Parallel/Serienhybrid-Elektrofahrzeug. Da die Art und die Konfiguration des Fahrzeugs 102 variieren können, können dementsprechend auch die Eigenschaften des Fahrzeugs 102 variieren. Als einige andere Möglichkeiten können Fahrzeuge 102 unterschiedliche Eigenschaften in Bezug auf eine Fahrgastkapazität, eine Schleppfähigkeit und -kapazität und einen Stauraum aufweisen. Die Sensoren 104 können verschiedene Vorrichtungen beinhalten, die dazu konfiguriert sind, Sensordaten 106 der Umgebung des Fahrzeugs 102 zu erfassen. In einem Beispiel können die Sensoren 104 Kameras für sichtbares Licht oder Infrarotkameras beinhalten, die dazu konfiguriert sind, Standbilder und/oder Videodaten zu erfassen. In einem weiteren Beispiel können die Sensoren 104 Sensoren beinhalten, die dazu konfiguriert sind, dreidimensionale (3D-)Informationen zu bestimmen, wie etwa Radarsensoren oder Lidarsensoren. In noch einem weiteren Beispiel können die Sensoren 104 Schallsensoren wie etwa Mikrofone beinhalten, die Sprachbefehle eines Benutzers und auch Hintergrundgespräche aufnehmen können. Die Sensordaten 106 können in einer Datenbank, einem Arbeitsspeicher oder einem anderen Datenspeicher 108 des Fahrzeugs 102 gespeichert werden.
-
Die Sensoren 104 können dazu konfiguriert sein, Sensordaten 106 der Umgebung des Fahrzeugs 102 zu erfassen. Zum Beispiel können die Sensoren 104 dazu konfiguriert sein, Sensordaten 106 der Fahrbahn, anderer Fahrzeuge 102, von Fußgängern oder von Hindernissen zu erzeugen. Diese Sensordaten 106 können für ein Fahrerassistenzsystem, für Systeme für autonomes Fahren, für eine Sicherheitskameravorrichtung, für Armaturenbrettkameraanwendungen und/oder zum Aufzeichnen von Fahrdaten für Freizeitzwecke (z. B. Trackdays) nützlich sein. Jedoch kann die Erfassung derartiger Sensordaten 106 die Erfassung von PII einschließen. Zum Beispiel können Kennzeichen anderer Fahrzeuge in den Sensordaten 106 erfasst werden. Als weiteres Beispiel können Gesichter von Fußgängern, Polizisten und anderen Personen in den Sensordaten 106 erfasst werden. Privateigentum, wie etwa die Innenräume von Gebäuden, können ebenfalls durch die Sensordaten 106 erfasst werden. Andere Bereiche, in denen eine angemessene Erwartung auf Privatsphäre besteht, können ebenfalls durch die Sensordaten 106 erfasst werden.
-
Die ECUs 110 können eine oder mehrere Steuerungen beinhalten, die dazu konfiguriert sind, dem Fahrzeug 102 Dienste bereitzustellen. Diese Dienste können als einige nicht einschränkende Möglichkeiten vernetzte Dienste wie etwa Navigation, Routenführungen, Fahrzeugdiagnoseberichte, lokale Unternehmenssuche, Unfallmeldungen und Freisprecheinrichtungen beinhalten. Die ECUs 110 können dementsprechend dazu konfiguriert sein, einen Sendeempfänger zu nutzen, um mit einem Kommunikationsnetzwerk 112 zu kommunizieren.
-
Als weiteres Beispiel können diese Dienste die Dienste eines fortschrittlichen Fahrerassistenzsystems (ADAS) beinhalten, wie etwa autonomes Bremsen, adaptive Geschwindigkeitsregelung, Fahrspurhilfe usw. Diese Dienste können in einigen Beispielen die Verwendung von Sensordaten 106 von den Sensoren 104 erfordern. Das Fahrzeug 102 kann auch High-Definition(HD)-Karten 114 zur Unterstützung der ADAS-Dienste führen. Diese HD-Karten 114 können zum Beispiel genaue Darstellungen von Fahrbahnmerkmalen auf Zentimeterebene bereitstellen, denen Informationen, wie etwa Spuren, Verkehrszeichen und Spurgeometrie, zugeordnet sind.
-
Das Kommunikationsnetzwerk 112 kann Vorrichtungen, die mit dem Kommunikationsnetzwerk 112 verbunden sind, Kommunikationsdienste bereitstellen, wie etwa paketvermittelte Netzwerkdienste (z. B. Internetzugang, Voice-over-Internet-Protocol(VoIP)-Kommunikationsdienste). Ein Beispiel für ein Kommunikationsnetzwerk 112 ist ein Mobilfunktelefonnetz. Beispielsweise kann die ECU 110 über eine Verbindung mit einem oder mehreren Mobilfunktürmen auf das Mobilfunknetz zugreifen. Um die Kommunikation über das Kommunikationsnetzwerk 112 zu erleichtern, kann die ECU 110 einzigartigen Vorrichtungskennungen (z. B. Nummern mobiler Vorrichtungen (Mobile Device Numbers - MDNs), Internetprotokoll(IP)-Adressen usw.) zugeordnet sein, um die Kommunikation der ECU 110 in dem Kommunikationsnetzwerk 112 als dem Fahrzeug 102 zugeordnet zu identifizieren.
-
Der Cloud-Server 116 kann eine Rechenvorrichtung sein, die dazu konfiguriert ist, mit den Fahrzeugen 102 über das Kommunikationsnetzwerk 112 zu kommunizieren. Der Cloud-Server 116 kann dazu konfiguriert sein, den Fahrzeugen 102 PII-Filter 118 auf Grundlage des Standorts des Fahrzeugs 102 bereitzustellen. Zum Beispiel kann ein Fahrzeug 102 seinen Standort bestimmen und diesen Standort an den Cloud-Server 116 senden, der wiederum einen PII-Filter 118 für den Standort an das Fahrzeug 102 zurücksenden kann. In einigen Beispielen kann das Fahrzeug 102 dazu konfiguriert sein, PII-Filter 118 zur wahrscheinlichen Verwendung, z.B. im Speicher 108 des Fahrzeugs 102, zwischenzuspeichern.1 Jeder PII-Filter 118 kann dazu konfiguriert sein, das Filtern von Sensordaten 106 gemäß den Gesetzen einer anderen Gerichtsbarkeit umzusetzen. Diese Filterung kann Faktoren wie etwa Zulässigkeit zum Aufzeichnen von Privateigentum, das von öffentlichem Eigentum aus sichtbar ist, Zulässigkeit der Bilderfassung von Gesichtern geschützter Klassen von Menschen, wie etwa Polizei, Militärstützpunkten, religiöse Einrichtungen usw., Zulässigkeit der Bilderfassung biometrischer Informationen, usw.
-
Das Fahrzeug 102 kann zudem eine Steuerung 122 eines globalen Navigationssatellitensystems (GNSS) beinhalten, die dazu konfiguriert ist, dem Fahrzeug 102 Geolokalisierungsdienste bereitzustellen. In einem Beispiel kann das Fahrzeug 102 die GNSS-Steuerung 122 nutzen, um zu bestimmen, welcher der PII-Filter 118 für den aktuellen Standort des Fahrzeugs 102 gilt.
-
2 veranschaulicht einen beispielhaftes Prozess 200 zum Entfernen von PII auf Grundlage einer Privatbereichslogik. In einem Beispiel kann der Prozess 200 durch das Fahrzeug 102 im Rahmen des vorstehend beschriebenen Systems 100 durchgeführt werden. Es ist anzumerken, dass bei Systemen wie etwa ADAS-Merkmalen derartige Systeme in vielen Fällen Sensordaten 106 erfassen können, ohne darauf zu warten, dass der Prozess 200 abgeschlossen ist. Der Prozess 200 kann jedoch für die Verarbeitung von Daten nützlich sein, bevor die Daten ruhen.
-
Bei Vorgang 202 erfasst das Fahrzeug 102 Sensordaten 106. In einem Beispiel kann die Erfassung der Sensordaten 106 durch das Fahrzeug 102 als Reaktion auf eine Benutzeranforderung (z. B. eine Anforderung, die Umgebung des Fahrzeugs 102 zu sehen, Aktivierung des Fahrzeugüberwachungsmodus, Remote-Streaming der Surround-View-Kamera des Fahrzeugs 102 über ein Cloud-System zur mobilen Vorrichtung des Benutzers usw.). In einem weiteren Beispiel kann die Erfassung der Sensordaten 106 durch das Fahrzeug 102 automatisch als Reaktion auf das Auftreten einer vordefinierten Bedingung, wie etwa einer Detektion einer sich nähernden Person durch das Fahrzeug 102, das Auftreten eines lauten Geräuschs oder einer Vibration usw., durchgeführt werden.
-
3 veranschaulicht einen beispielhaften Datenfluss 300 in Bezug auf den Betrieb des Prozesses 200. Unter Bezugnahme auf 3 und unter weiterer Bezugnahme auf 2 ist ein Beispiel für erfasste Sensordaten 106 gezeigt. In den Sensordaten 106 wird ein Bild eines Gebäudes entlang einer Fahrbahn erfasst.
-
Bei Vorgang 204 führt das Fahrzeug 102 eine Geolokalisierung 302 durch. In einem Beispiel benutzt das Fahrzeug 102 die GNSS-Steuerung 122, um den aktuellen Standort des Fahrzeugs 102 zu bestimmen. Zusätzlich oder alternativ dazu können zusätzliche Ortungstechniken durchgeführt werden. Zum Beispiel können Aspekte des Standorts des Fahrzeugs 102 auf Grundlage von Sensorinformationen bestimmt werden, wie etwa der Identifizierung von Orientierungspunkten in Bilddaten. In einem weiteren Beispiel kann die Stellung des Fahrzeugs 102 (z. B. Ausrichtung, Neigung, Höhe usw.) auf Grundlage von Sensordaten 106 von Sensoren 104 wie etwa Kameras, Beschleunigungsmessern, der GNSS-Steuerung 122 usw. bestimmt werden. In noch einem weiteren Beispiel kann das Fahrzeug 102 die Verwendung der HD-Karten 114 einbeziehen, um Sensordaten 106 zu referenzieren und somit die Ortung zu verbessern.
-
Bei Vorgang 206 identifiziert das Fahrzeug 102 die Gerichtsbarkeit des Fahrzeugs 102 gemäß der Geolokalisierung 302. Durch Identifizieren der Gerichtsbarkeit kann das Fahrzeug 102 in der Lage sein, die datenschutzrechtlichen Anforderungen für den Standort des Fahrzeugs 102 zu identifizieren. Ein derartiger Ansatz kann auf Länder und/oder Rechtspersonen anwendbar sein, bei denen einzelne Staaten unterschiedliche Datenschutzgesetze haben können (z. B. die Vereinigten Staaten, Australien, Deutschland, die Europäische Union (EU) usw.).
-
Je nachdem, wo das Fahrzeug 102 verkauft werden soll, kann der PII-Filter 118 in das Fahrzeug 102 kalibriert werden. Das Filtern kann an Bord des Fahrzeugs 102 durchgeführt werden, um die Anzeige, die lokale Speicherung und/oder die Übertragung von Daten vom Fahrzeug 102 weg zu schützen. Wenn jedoch der bei Vorgang 204 bestimmte Standort angibt, dass sich das Fahrzeug 102 aus einem Land/einer Gerichtsbarkeit in ein anderes mit anderen Datenschutzgesetzen bewegt hat als das, was in dem Fahrzeug 102 kalibriert ist, kann das Fahrzeug 102 dem Benutzer angeben, dass das Fahrzeug 102 möglicherweise auf einen PII-Filter 118 aktualisiert werden muss, der dem neuen Standort des Fahrzeugs 102 entspricht. In einigen Beispielen kann eine Zustimmung des Benutzers erforderlich sein, um den PII-Filter 118 zu aktualisieren, während das Fahrzeug 102 in anderen Fällen den PII-Filter 118 automatisch aktualisieren kann (z. B. aufgrund einer Änderung des Fahrzeugstandorts, aufgrund einer Gesetzesänderung für den gleichen Standort usw.).
-
Wenn eine Navigationsroute durch das Fahrzeug 102 verwendet wird, um zu einem Ziel zu navigieren, und wenn Gerichtsbarkeiten mit unterschiedlichen PII-Richtlinien auf der Route identifiziert werden, kann das Fahrzeug 102 dazu konfiguriert sein, die PII-Filter 118 für diese Gebiete im Voraus herunterzuladen und zu dem geeigneten PII-Filter 118 als Reaktion darauf zu wechseln, dass das Fahrzeug 102 in eine andere PII-Gerichtsbarkeit eintritt.
-
Bei Vorgang 208 wandelt das Fahrzeug 102 zweidimensionale (2D-) Sensordaten 106 in eine 3D-Schätzung der Sensordaten 106 um. Dies kann verwendet werden, um eine 3D-Tiefenzuordnung 306 zu erzeugen. In einem Beispiel können die Sensordaten 106 Bilddaten sein und die 3D-Schätzung kann eine Punktwolke sein. In einem Beispiel können die ECUs 110 Struktur aus Bewegung, monokulare Tiefenschätzung, Stereotiefenschätzung, Sensorfusion usw. verwenden, um das durch die Sensordaten 106 verkörperte 2D-Bild in die 3D-Schätzung für Pixel oder Pixelregionen (z. B. Stixel) umzuwandeln. Es ist anzumerken, dass einige Sensoren 104, wie etwa LiDAR- oder RADAR-Sensoren 104, Tiefen- oder Punktwolkendaten erzeugen können. Diese Daten können auf einen globalen Koordinatenraum relativ zur Sensorposition an dem Fahrzeug 102 und der Position des Fahrzeugs 102 in Beziehung gesetzt werden.
-
Bei Vorgang 210 führt das Fahrzeug 102 eine Objektdetektion durch. Spezifischer unter Bezugnahme auf 4, kann die ECU 110 ein modulares Deep-Learning-Inferenzmodell 400 zum Durchführen einer semantischen Segmentierung sowie einer PII-Filterung mit länderspezifischen Merkmalen nutzen. Die Ausgabe der semantischen Segmentierung kann eine semantische Kennzeichnung 304 sein, welche die unterschiedlichen Elemente in den Sensordaten 106 angibt. Die semantische Segmentierung bezieht sich auf eine Bildklassifizierung auf Pixelebene, bei der Pixel der Bildsensordaten 106 in eine von einem Satz von Klassenkennzeichnungen geclustert werden. Diese Kennzeichnungen könnten zum Beispiel das Fahrzeug 102, den Menschen, das Gebäude, die Fahrbahn, den Baum, die Verkehrssteuerung usw. beinhalten. Die semantische Segmentierung kann die eingegebenen Bildsensordaten 106 empfangen. Unter Verwendung der Eingabe kann das Modell eine Zuordnung von Pixeln der eingegebenen Bildsensordaten 106 zu Kategorien durchführen. In einem Beispiel kann das Modell zum Durchführen der semantischen Segmentierung ein tiefes neuronales Faltungsnetzwerk sein. In einigen Beispielen kann die Segmentierung pro Einzelbild durchgeführt werden. In anderen Beispielen kann die Segmentierung bildübergreifend durchgeführt werden, wie etwa zum Identifizieren von Bewegung (z. B. im Inneren eines Gebäudes) über mehrere Einzelbilder hinweg.
-
Bei Vorgang 212 führt das Fahrzeug 102 eine Datenfusion durch. In einem Beispiel fusioniert das Fahrzeug 102 die 3D-Schätzung, die Objektdetektion und die HD-Karten 114, um Sensordateneinheiten 106 als öffentlich oder privat zugänglich zu klassifizieren. Das Ergebnis dieser Fusion kann eine öffentlich-private Kennzeichnung 308 der Pixel der Bildsensordaten 106 sein. Zum Beispiel kann das Modell 400 das Äußere eines Gebäudes mit einer bestimmten Tiefe von dem Fahrzeug 102 in den Sensordaten 106 erkennen. Zusätzlich kann die Detektion des Modells 400 einzelne Fenster detektieren, in die das Fahrzeug 102 schauen kann. Als einige andere Beispiele können Regierungsgebäude oder Wehranlagen als privat zugänglich identifiziert werden, während andere Gebäude als öffentlich zugänglich identifiziert werden können. Variationen der Datenfusion sind möglich. In einem alternativen Beispiel kann ein neuronales Netzwerk dazu verwendet werden, Pixel auf Grundlage eines Trainings für unterschiedliche Arten von öffentlichen und privaten Bilddaten ohne Verwendung der HD-Karten 114 in der Datenfusion als öffentlich oder privat zugänglich zu identifizieren. Es ist auch anzumerken, dass die HD-Karten 114 eine andere Perspektive als die Sensordaten 106 aufweisen können, sodass Stellung, Ausrichtung, Standort usw. des Fahrzeugs verwendet werden können, um die Daten der HD-Karte 114 und die Bildsensordaten 106 zur Verarbeitung in ein gemeinsames Koordinatensystem zuzuordnen. Auf Grundlage der semantischen Segmentierung und der PII-Filter 118 kann die ECU 110 bestimmen, ob es Bereiche der Sensordaten 106 gibt, die PII involvieren. Aufgrund von Regeln in einer ersten Gerichtsbarkeit kann einer der PII-Filter 118 erachten, dass Fensterbereiche und Türbereiche PII involvieren, da derartige Bereiche den Innenraum von Gebäuden beinhalten können, der nicht öffentlich sichtbar sind. In einem weiteren Beispiel kann ein anderer PII-Filter 118 aufgrund von Regeln in einer zweiten Gerichtsbarkeit erachten, dass diese Bereiche keine PII involvieren. Nach Identifizierung als PII oder Nicht-PII gemäß dem verwendeten PII-Filter 118 kann die ECU 110 die Pixel der Sensordaten 106 entweder als PII oder als Nicht-PII klassifizieren. In einem weiteren Beispiel kann die ECU 110 die HD-Karten 114 nutzen, um Privateigentumsbereiche zu identifizieren. Unter Verwendung der Regeln des aktiven PII-Filters 118 können diese Privateigentumsbereiche auch als PII involvierend klassifiziert werden. In noch einem weiteren Beispiel können die Gesichter öffentlicher Akteure einer geschützten Klasse, wie etwa Polizei oder Clowns, als PII involvierend markiert werden.
-
Bei Vorgang 214 fordert das Fahrzeug 102 eine Kundenbescheinigung der identifizierten privat erfassten Region an. In einem Beispiel kann das Fahrzeug 102 den Benutzer auffordern, entweder die Verschleierung der Sensordaten 106 zu akzeptieren oder eine Bescheinigung bereitzustellen, dass die Daten nicht missbraucht werden und dass alle erfassten Datensubjekte ihre Einverständnis erklärt haben. Zum Beispiel kann der Kunde bestätigen, dass das Fahrzeug 102 auf dem Privatgelände des Besitzers, das im Eigentum des Besitzer steht, abgestellt ist und/oder dass der Benutzer ein vertretbares Anliegen hat, auf die nicht erfassten Sensordaten 106 zuzugreifen.
-
Bei Vorgang 216 verschleiert das Fahrzeug 102 die Sensordaten 106. In einem Beispiel kann das Fahrzeug 102 für diejenigen Bereiche, die PII und keine Abschwächung aufweisen, Vorgänge durchführen, einschließlich eines oder mehrerer von Entfernen, Desidentifizieren, Weichzeichnen oder anderweitigem Anonymisieren der jeweiligen Pixelbereiche, die als PII identifiziert wurden. In einem Beispiel kann das Fahrzeug 102 ein statisches Bild über die Privatbereiche der Einzelbilder legen. In einem weiteren Beispiel kann das Fahrzeug 102 die PII-Regionen der Einzelbilder weichzeichnen. In noch einem weiteren Beispiel kann der Video-Weichzeichnungsprozess umkehrbar sein und kann zum Beispiel Verschlüsselung nutzen, um eine gesicherte Kopie der PH-Informationen zu speichern, um ein späteres Entsperren auf Anforderung oder Autorisierung hin zu ermöglichen. In noch einem weiteren Beispiel, wenn die Sensordaten 106 zum Beispiel Ganginformationen beinhalten, könnte die Verschleierung ein Stummschalten oder Ändern der Ganginformationen beinhalten (z. B. wenn der Gang mit Ton erfasst wird, könnte das Audio stummgeschaltet oder geändert werden).
-
Dementsprechend kann diese Filterung die Verwendung der Bildsensordaten 106 für Zwecke verhindern, die gegen lokale PII-Regeln verstoßen. Zum Beispiel können die Sensordaten 106 gefiltert werden, bevor sie dem Cloud-Server 116 bereitgestellt werden. In einem weiteren Beispiel können lokale Gesetze eine Live-Anzeige, aber keine Speicherung ermöglichen. In noch einem weiteren Beispiel kann die Speicherung von Rohsensordaten 106 auf dem lokalen Speicher 108 erlaubt sein, aber die Speicherung auf dem Cloud-Server 116 kann die Verschleierung der Sensordaten 106 erfordern.
-
Bei Vorgang218 benutzt das Fahrzeug 102 die Sensordaten 106. Dies kann in einigen Beispielen beinhalten, die Sensordaten 106 zu übertragen, die Sensordaten 106 auf dem Speicher 108 zu speichern, die Sensordaten 106 auf dem Cloud-Server 116 zu speichern oder die Sensordaten 106 dem Benutzer anzuzeigen.
-
5 veranschaulicht ein beispielhaftes Rechensystem 500 zum Entfernen von PII auf Grundlage einer Privatbereichslogik. Die von den Sensoren 104, den ECUs 110, dem Cloud-Server 116 und der GNSS-Steuerung 122 durchgeführten Algorithmen und/oder Methoden können unter Verwendung derartiger Rechenvorrichtungen 500 umgesetzt werden. Die Rechenvorrichtung 500 kann einen Speicher 502, einen Prozessor 504, einen nichtflüchtigen Speicher 506, eine Netzwerkvorrichtung 508 (z. B. einen Mobilfunksendeempfänger usw.), eine Ausgabevorrichtung 510 (z. B. einen Bildschirm einer Mensch-Maschine-Schnittstelle (HMI), einen Lautsprecher, die Netzwerkvorrichtung 508 usw.) und eine Eingabevorrichtung 512 (z. B. den HMI-Bildschirm, ein Mikrofon, die Netzwerkvorrichtung 508 usw.) beinhalten. Der Prozessor 504 kann eine oder mehrere Vorrichtungen beinhalten, die ausgewählt sind aus Hochleistungsrechen(high performance computing - HPC)-Systemen mit Hochleistungskernen, Mikroprozessoren, Mikrocontrollern, digitalen Signalprozessoren, Mikrocomputern, Hauptprozessoren, feldprogrammierbaren Gate-Arrays, programmierbaren Logikvorrichtungen, Zustandsmaschinen, Logikschaltungen, analogen Schaltungen, digitalen Schaltungen oder beliebigen anderen Vorrichtungen, die (analoge oder digitale) Signale basierend auf computerausführbaren Anweisungen, die in dem Speicher 502 gespeichert sind, bearbeiten. Der Speicher 502 kann eine einzige Speichervorrichtung oder eine Reihe von Speichervorrichtungen beinhalten, einschließlich unter anderem eines Direktzugriffsspeichers (random access memory - RAM), flüchtigen Speichers, nichtflüchtigen Speichers, statischen Direktzugriffsspeichers (static random-access memory - SRAM), dynamischen Direktzugriffsspeichers (dynamic random access memory - DRAM), Flash-Speichers, Cache-Speichers und einer beliebigen anderen Vorrichtung, die zum Speichern von Informationen in der Lage ist. Der nichtflüchtige Datenspeicher 506 kann eine oder mehrere dauerhafte Datenspeichervorrichtungen, wie etwa ein Festplattenlaufwerk, ein optisches Laufwerk, ein Bandlaufwerk, Lochkarten, eine nichtflüchtige Halbleitervorrichtung, einen Cloud-Speicher oder eine beliebige andere Vorrichtung, die zum dauerhaften Speichern von Informationen in der Lage ist, beinhalten.
-
Der Prozessor 504 kann dazu konfiguriert sein, in den Speicher 502 einzulesen und computerausführbare Anweisungen auszuführen, die sich in dem nichtflüchtigen Datenspeichers 506 befinden und Algorithmen und/oder Methoden einer oder mehrerer Ausführungsformen umsetzen. Die Programmanweisungen können Betriebssysteme und Anwendungen beinhalten. Die Programmanweisungen können von Computerprogrammen zusammengestellt oder ausgewertet werden, die unter Verwendung einer Vielfalt von Programmiersprachen und/oder -technologien erstellt wurden.
-
Bei Ausführung durch den Prozessor 504 können die computerausführbaren Anweisungen die Rechenvorrichtung 500 dazu veranlassen, einen oder mehrere der in dieser Schrift offenbarten Algorithmen und/oder Methoden umzusetzen. Der nichtflüchtige Datenspeicher 506 kann zudem Daten beinhalten, welche die Funktionen, Merkmale und Prozesse der einen oder mehreren in dieser Schrift beschriebenen Ausführungsformen unterstützen. Diese Daten können als einige Beispiele die Sensordaten 106, die HD-Karten 114, die PII-Filter 118, die Geolokalisierung 302, die semantische Kennzeichnung 304, die 3D-Tiefenzuordnung 306, die öffentlich-private Kennzeichnung 308 und das Deep-Learning-Modell 400 beinhalten.
-
Hinsichtlich der in dieser Schrift beschriebenen Prozesse, Systeme, Verfahren, Heuristiken usw. versteht es sich, dass die Schritte derartiger Prozesse usw. zwar als gemäß einer bestimmten Reihenfolge erfolgend beschrieben worden sind, derartige Prozesse jedoch umgesetzt werden könnten, wobei die beschriebenen Schritte in einer Reihenfolge durchgeführt werden, die von der in dieser Schrift beschriebenen Reihenfolge abweicht. Ferner versteht es sich, dass bestimmte Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder bestimmte in dieser Schrift beschriebene Schritte weggelassen werden könnten. Anders ausgedrückt, dienen die Beschreibungen von Prozessen in dieser Schrift dem Zweck der Veranschaulichung bestimmter Ausführungsformen und sollten keinesfalls dahingehend ausgelegt werden, dass sie die Patentansprüche einschränken. Dementsprechend versteht es sich, dass die vorstehende Beschreibung veranschaulichend und nicht einschränkend sein soll. Aus der Lektüre der vorangehenden Beschreibung ergeben sich viele andere Ausführungsformen und Anwendungen als die aufgeführten Beispiele. Der Umfang sollte nicht unter Bezugnahme auf die vorstehende Beschreibung, sondern stattdessen unter Bezugnahme auf die beigefügten Patentansprüche bestimmt werden, zusammen mit der gesamten Bandbreite an Äquivalenten, zu denen diese Patentansprüche berechtigen. Es ist davon auszugehen und beabsichtigt, dass es zukünftige Entwicklungen im in dieser Schrift erörterten Stand der Technik geben wird und dass die offenbarten Systeme und Verfahren in derartige zukünftige Ausführungsformen aufgenommen werden. Insgesamt versteht es sich, dass die Anmeldung modifiziert und verändert werden kann.
-
Allen in den Patentansprüchen verwendeten Ausdrücken sollen deren umfassendste nachvollziehbare Konstruktionen und deren allgemeine Bedeutungen zugeordnet sein, wie sie den mit den hier beschriebenen Techniken vertrauten Fachleuten bekannt sind, sofern hier kein ausdrücklicher Hinweis auf das Gegenteil erfolgt. Insbesondere ist die Verwendung der Singularartikel, wie etwa „ein“, „eine“, „der“, „die“, „das“ usw., dahingehend zu verstehen, dass eines oder mehrere der angegebenen Elemente genannt werden, sofern ein Patentanspruch nicht eine ausdrückliche gegenteilige Einschränkung nennt.
-
Die Zusammenfassung der Offenbarung wird bereitgestellt, um dem Leser einen schnellen Überblick über den Charakter der technischen Offenbarung zu ermöglichen. Sie wird unter der Voraussetzung eingereicht, dass sie nicht zum Auslegen oder Einschränken des Umfangs oder der Bedeutung der Ansprüche verwendet wird. Des Weiteren geht aus der vorangehenden detaillierten Beschreibung hervor, dass zum Zwecke der vereinfachten Darstellung der Offenbarung verschiedene Merkmale in verschiedenen Ausführungsformen zu Gruppen zusammengefasst sind. Dieses Verfahren der Offenbarung ist nicht als Absicht zu verstehen, dass die beanspruchten Ausführungsformen mehr Merkmale erfordern sollen als jeweils in jedem Anspruch ausdrücklich genannt. Wie die folgenden Ansprüche widerspiegeln, liegt der Gegenstand der Erfindung vielmehr in weniger als allen Merkmalen einer einzelnen offenbarten Ausführungsform. Somit werden die folgenden Ansprüche hiermit in die detaillierte Beschreibung aufgenommen, wobei jeder Anspruch für sich als separat beanspruchter Gegenstand steht.
-
Während vorstehend beispielhafte Ausführungsformen beschrieben sind, ist nicht beabsichtigt, dass diese Ausführungsformen alle möglichen Formen der Offenbarung beschreiben. Stattdessen sind die in der Beschreibung verwendeten Ausdrücke eher beschreibender als einschränkender Natur und es versteht sich, dass verschiedene Änderungen vorgenommen werden können, ohne vom Wesen und Umfang der Offenbarung abzuweichen. Des Weiteren können die Merkmale verschiedener umsetzender Ausführungsformen kombiniert werden, um weitere Ausführungsformen der Offenbarung zu bilden.
-
Gemäß der vorliegenden Erfindung ist ein System zum Entfernen persönlich identifizierbarer Informationen (PII) bereitgestellt, das Folgendes aufweist: Sensoren, die dazu konfiguriert sind, Sensordaten zu erfassen; und eine oder mehrere Steuerungen, die dazu konfiguriert sind, eine Objektdetektion an den Sensordaten durchzuführen, um eine semantische Kennzeichnung von Objekten in den Sensordaten zu erstellen, ein Modell zum Klassifizieren von Bereichen der Sensordaten mit einer öffentlichen oder privaten Kennzeichnung gemäß der semantischen Kennzeichnung und einen PII-Filter, der einer Gerichtsbarkeit eines aktuellen Standorts des Fahrzeugs entspricht, zu nutzen, und die Sensordaten gemäß der öffentlichen oder privaten Kennzeichnung zu nutzen.
-
Gemäß einer Ausführungsform sind die eine oder die mehreren Steuerungen ferner dazu programmiert, die Bereiche der Sensordaten zu verschleiern, die in der öffentlichen oder privaten Kennzeichnung als privat gekennzeichnet sind.
-
Gemäß einer Ausführungsform sind die eine oder die mehreren Steuerungen ferner zu Folgendem programmiert: Anfordern einer Kundenbescheinigung der Bereiche der Sensordaten, die gemäß der öffentlichen oder privaten Kennzeichnung als privat angegeben sind; und Verschleiern der Bereiche der Sensordaten, die in der öffentlichen oder privaten Kennzeichnung als privat gekennzeichnet sind, für die keine Kundenbescheinigung empfangen wird.
-
Gemäß einer Ausführungsform beinhalten die Sensoren Bildsensoren, sind die Sensordaten Bilddaten und beinhalten die Bereiche der Sensordaten Pixel der Bilddaten.
-
Gemäß einer Ausführungsform sind die eine oder die mehreren Steuerungen ferner dazu programmiert, hochauflösende (HD-) Karten als eine Eingabe zu nutzen, um die Bereiche der Sensordaten mit der öffentlichen oder privaten Kennzeichnung zu klassifizieren.
-
Gemäß einer Ausführungsform sind die eine oder die mehreren Steuerungen ferner zu Folgendem programmiert: Erstellen einer dreidimensionalen (3D-) Tiefenzuordnung auf Grundlage der Sensordaten; und Nutzen der 3D-Tiefenzuordnung als eine Eingabe, um die Bereiche der Sensordaten mit der öffentlichen oder privaten Kennzeichnung zu klassifizieren. Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch einen Sendeempfänger, wobei die eine oder die mehreren Steuerungen ferner zu Folgendem programmiert sind: Identifizieren des aktuellen Standorts des Systems; Bestimmen der Gerichtsbarkeit gemäß dem aktuellen Standort; und Nutzen des Sendeempfängers, um den PII-Filter herunterzuladen, welcher der Gerichtsbarkeit entspricht.
-
Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren zum Entfernen persönlich identifizierbarer Informationen (PII) Folgendes: Erfassen von Sensordaten unter Verwendung von Sensoren eines Fahrzeugs; Durchführen einer Objektdetektion an den Sensordaten, um eine semantische Kennzeichnung von Objekten in den Sensordaten zu erstellen; Nutzen eines Modells zum Klassifizieren von Bereichen der Sensordaten mit einer öffentlichen oder privaten Kennzeichnung gemäß der semantischen Kennzeichnung und eines PII-Filters, der einer Gerichtsbarkeit eines aktuellen Standorts des Fahrzeugs entspricht; und Nutzen der Sensordaten gemäß der öffentlichen oder privaten Kennzeichnung.
-
In einem Aspekt der Erfindung beinhaltet das Verfahren Verschleiern der Bereiche der Sensordaten, die in der öffentlichen oder privaten Kennzeichnung als privat gekennzeichnet sind.
-
In einem Aspekt der Erfindung beinhaltet das Verfahren: Anfordern einer Kundenbescheinigung der Bereiche der Sensordaten, die gemäß der öffentlichen oder privaten Kennzeichnung als privat angegeben sind; und Verschleiern der Bereiche der Sensordaten, die in der öffentlichen oder privaten Kennzeichnung als privat gekennzeichnet sind, für die keine Kundenbescheinigung empfangen wird.
-
In einem Aspekt der Erfindung beinhalten die Sensoren Bildsensoren, sind die Sensordaten Bilddaten und beinhalten die Bereiche der Sensordaten Pixel der Bilddaten.
-
In einem Aspekt der Erfindung beinhaltet das Verfahren das Nutzen hochauflösender (HD-) Karten als eine Eingabe, um die Bereiche der Sensordaten mit der öffentlichen oder privaten Kennzeichnung zu klassifizieren.
-
In einem Aspekt der Erfindung beinhaltet das Verfahren: Erstellen einer dreidimensionalen (3D-) Tiefenzuordnung auf Grundlage der Sensordaten; und Nutzen der 3D-Tiefenzuordnung als eine Eingabe, um die Bereiche der Sensordaten mit der öffentlichen oder privaten Kennzeichnung zu klassifizieren.
-
In einem Aspekt der Erfindung beinhaltet das Verfahren: Identifizieren des aktuellen Standorts des Fahrzeugs; Bestimmen der Gerichtsbarkeit gemäß dem aktuellen Standort; und Nutzen eines Sendeempfängers zum Herunterladen des PII-Filters, welcher der Gerichtsbarkeit entspricht.
-
Gemäß der vorliegenden Erfindung ist ein nicht transitorisches computerlesbares Medium bereitgestellt, das Anweisungen zum Entfernen von persönlich identifizierbaren Informationen (PII) aufweist, die bei Ausführung durch eine oder mehrere Steuerungen eines Fahrzeugs das Fahrzeug zu Folgendem veranlassen: Erfassen von Sensordaten unter Verwendung von Sensoren des Fahrzeugs; Durchführen einer Objektdetektion an den Sensordaten, um eine semantische Kennzeichnung von Objekten in den Sensordaten zu erstellen; Nutzen eines Modells zum Klassifizieren von Bereichen der Sensordaten mit einer öffentlichen oder privaten Kennzeichnung gemäß der semantischen Kennzeichnung und eines PII-Filters, der einer Gerichtsbarkeit eines aktuellen Standorts des Fahrzeugs entspricht; und Nutzen der Sensordaten gemäß der öffentlichen oder privaten Kennzeichnung.
-
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Anweisungen, die bei Ausführung durch die eine oder die mehreren Steuerungen des Fahrzeugs das Fahrzeug zu einem oder mehreren des Folgenden veranlassen: Verschleiern der in der öffentlichen oder privaten Kennzeichnung als privat gekennzeichneten Bereiche der Sensordaten oder Verschleiern der in der öffentlichen oder privaten Kennzeichnung als privat gekennzeichneten Bereiche der Sensordaten, für die keine Kundenbescheinigung empfangen wird.
-
Gemäß einer Ausführungsform beinhalten die Sensoren Bildsensoren, sind die Sensordaten Bilddaten und beinhalten die Bereiche der Sensordaten Pixel der Bilddaten.
-
Gemäß einer Ausführungsform ist die Erfindung ferner durch Anweisungen gekennzeichnet, die bei Ausführung durch die eine oder die mehreren Steuerungen des Fahrzeugs das Fahrzeug dazu veranlassen, hochauflösende (HD-) Karten als eine Eingabe zu nutzen, um die Bereiche der Sensordaten mit der öffentlichen oder privaten Kennzeichnung zu klassifizieren. Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Anweisungen, die bei Ausführung durch die eine oder die mehreren Steuerungen des Fahrzeugs das Fahrzeug zu Folgendem veranlassen: Erstellen einer dreidimensionalen (3D-) Tiefenzuordnung auf Grundlage der Sensordaten; und Nutzen der 3D-Tiefenzuordnung als eine Eingabe, um die Bereiche der Sensordaten mit der öffentlichen oder privaten Kennzeichnung zu klassifizieren.
-
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Anweisungen, die bei Ausführung durch die eine oder die mehreren Steuerungen des Fahrzeugs das Fahrzeug zu Folgendem veranlassen: Identifizieren des aktuellen Standorts des Fahrzeugs; Bestimmen der Gerichtsbarkeit gemäß dem aktuellen Standort; und Nutzen eines Sendeempfängers, um den PII-Filter herunterzuladen, welcher der Gerichtsbarkeit entspricht.