DE102015217492A1 - Vorrichtung und Verfahren zum Erstellen oder Aktualisieren einer Umfeldkarte eines Kraftfahrzeugs - Google Patents

Vorrichtung und Verfahren zum Erstellen oder Aktualisieren einer Umfeldkarte eines Kraftfahrzeugs Download PDF

Info

Publication number
DE102015217492A1
DE102015217492A1 DE102015217492.1A DE102015217492A DE102015217492A1 DE 102015217492 A1 DE102015217492 A1 DE 102015217492A1 DE 102015217492 A DE102015217492 A DE 102015217492A DE 102015217492 A1 DE102015217492 A1 DE 102015217492A1
Authority
DE
Germany
Prior art keywords
images
memory
image processing
motor vehicle
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102015217492.1A
Other languages
English (en)
Inventor
Stephan Max
Franziska Pletat
Klaus Polochowitz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102015217492.1A priority Critical patent/DE102015217492A1/de
Publication of DE102015217492A1 publication Critical patent/DE102015217492A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60LPROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L2250/00Driver interactions
    • B60L2250/16Driver interactions by display

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft eine Vorrichtung (1) in einem Kraftfahrzeug (50) zum Erstellen oder Aktualisieren einer Umfeldkarte, umfassend mindestens eine Kamera (2) zum Erfassen von Abbildungen (16) eines Umfelds des Kraftfahrzeugs (50), eine Bildverarbeitungseinrichtung (3) zum Verarbeiten der erfassten Abbildungen (16), eine Merkmalserkennungseinrichtung (6), eine Steuerung (4) und mindestens einen Speicher (5) zum Speichern der von der Bildverarbeitungseinrichtung verarbeiteten Abbildungen des Umfeldes und der Umfeldkarte, wobei die Steuerung (4) derart ausgebildet ist, die verarbeiteten Abbildungen in dem Speicher (5) abzulegen, und wobei die Merkmalserkennungseinrichtung (6) ausgebildet ist, Merkmale in den in dem Speicher (5) abgelegten Abbildungen zu erkennen und die erkannten Merkmale in der Umfeldkarte an den mit den erkannten Merkmalen korrespondierenden Positionen zu hinterlegen oder aus den erkannten Merkmalen eine Umfeldkarte zu erstellen, und wobei die Steuerung (4) anschließend die abgelegten Abbildungen aus dem Speicher (5) löscht, wobei die Bildbearbeitungseinrichtung (3) derart ausgebildet ist, personenbezogene Daten (30) in den erfassten Abbildungen (16) zu erkennen und die personenbezogenen Merkmale in den erfassten Abbildungen (16) zu anonymisieren, wobei nur die derart erhaltenen anonymisierten Abbildungen (17) in dem mindestens einen Speicher (5) abgelegt werden. Ferner betrifft die Vorrichtung ein zugehöriges Verfahren.

Description

  • Die Erfindung betrifft eine Vorrichtung und ein Verfahren zum Erstellen oder Aktualisieren einer Umfeldkarte in einem Kraftfahrzeug.
  • Moderne Kraftfahrzeuge weisen eine Vielzahl von Assistenzsystemen auf, welche den Fahrer beim Führen des Fahrzeugs unterstützen. Vermehrt kommen dabei semi-autonome und autonome Systeme zum Einsatz, die eine semi- oder vollautomatische Steuerung des Kraftfahrzeugs erlauben.
  • Es ist bekannt, Kraftfahrzeuge mit Hilfe eines Assistenzsystems automatisiert auf Trajektorien fahren zu lassen. Beispielsweise können auf diese Weise Stellplätze in Garagen oder auf Parkplätzen automatisiert oder halb-automatisiert vom Kraftfahrzeug angesteuert werden. Dazu wird in der Regel das Umfeld des Kraftfahrzeugs von einer Sensorik erfasst und das Kraftfahrzeug mit Hilfe der von der Sensorik erzeugten Umfelddaten in einer Umfeldkarte lokalisiert. Erkennt das Kraftfahrzeug ein Umfeld, in dem eine Trajektorie hinterlegt ist, so wird dem Fahrer des Kraftfahrzeugs die hinterlegte Trajektorie angeboten. Die hinterlegte Trajektorie kann dann abgerufen werden und das Kraftfahrzeug wird von dem Assistenzsystem automatisiert oder halb-automatisiert auf der Trajektorie in den Parkplatz gesteuert.
  • Ferner ist bekannt, die oben beschriebene Sensorik als Kamera auszubilden. Die Kamera erfasst dabei in regelmäßigen Abständen Abbildungen von dem Umfeld des Kraftfahrzeugs, wobei die erfassten Abbildungen in einem Speicher hinterlegt werden. Um aus den erfassten Abbildungen eine Umfeldkarte zu erstellen, werden in den gespeicherten Abbildungen Merkmale erkannt und deren Positionen im Umfeld bestimmt. Dabei können das Erfassen der Abbildungen und die Merkmalserkennung zeitlich auseinanderliegen. Die Merkmalserkennung kann beispielsweise durchgeführt werden, wenn das Kraftfahrzeug sich in einem Ruhezustand auf einem Parkplatz befindet. Die erkannten Merkmale werden anschließend mit ihren bestimmten Positionen in der Umfeldkarte hinterlegt, so dass sie für eine spätere Lokalisierung des Kraftfahrzeugs im Umfeld zur Verfügung stehen, beispielsweise während einer automatisierten Fahrt.
  • Die von der Kamera erfassten Abbildungen des Umfeldes stellen Rohdaten dar, so dass in ihnen alles abgebildet ist, was visuell von der Kamera erfassbar ist. Darunter fallen auch personenbezogene Daten, wobei hier personenbezogene Daten nach § 3 (1) Bundesdatenschutzgesetz (BDSG) Einzelangaben über persönliche oder sachliche Verhältnisse einer bestimmten oder bestimmbaren natürlichen Person bezeichnen sollen. Personenbezogene Daten können beispielsweise Gesichter oder Kraftfahrzeuge mit eindeutigen Identifikationsmerkmalen sein. Ein dem Erfassen nachfolgendes Speichern der erfassten Abbildungen umfasst somit unter Umständen auch das Speichern dieser personenbezogenen Daten. Speichern soll dabei im Folgenden ein permanentes Vorhalten der erfassten Abbildungen für eine längere Zeitdauer bedeuten, so dass prinzipiell ein Zugriff auf die gespeicherten Abbildungen und somit ein Zugriff auf die personenbezogenen Daten möglich wäre. Speichern soll im Folgenden nicht das kurzzeitige Speichern in einem flüchtigen Arbeitsspeicher, beispielsweise einem Arbeitsspeicher einer Kamera, bezeichnen.
  • § 3a BDSG schreibt diesbezüglich vor:
    „Die Erhebung, Verarbeitung und Nutzung personenbezogener Daten und die Auswahl und Gestaltung von Datenverarbeitungssystemen sind an dem Ziel auszurichten, so wenig personenbezogene Daten wie möglich zu erheben, zu verarbeiten oder zu nutzen. Insbesondere sind personenbezogene Daten zu anonymisieren oder zu pseudonymisieren, soweit dies nach dem Verwendungszweck möglich ist und keinen im Verhältnis zu dem angestrebten Schutzzweck unverhältnismäßigen Aufwand erfordert.“
  • Der Erfindung liegt somit das technische Problem zu Grunde, eine Vorrichtung und ein Verfahren in einem Kraftfahrzeug zum Erstellen oder Aktualisieren einer Umfeldkarte zu schaffen, bei denen der Datenschutz weitgehender berücksichtigt wird.
  • Die technische Aufgabe wird erfindungsgemäß durch ein Vorrichtung mit den Merkmalen des Patentanspruchs 1 und ein Verfahren mit den Merkmalen des Patentanspruchs 6 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
  • Zur Lösung des technischen Problems wird eine Vorrichtung in einem Kraftfahrzeug zum Erstellen oder Aktualisieren einer Umfeldkarte geschaffen, umfassend mindestens eine Kamera zum Erfassen von Abbildungen eines Umfelds des Kraftfahrzeugs, eine Bildverarbeitungseinrichtung zum Verarbeiten der erfassten Abbildungen, eine Merkmalserkennungseinrichtung, eine Steuerung und mindestens einen Speicher zum Speichern der von der Bildverarbeitungseinrichtung verarbeiteten Abbildungen des Umfeldes und der Umfeldkarte, wobei die Steuerung derart ausgebildet ist, die verarbeiteten Abbildungen in dem Speicher abzulegen, und wobei die Merkmalserkennungseinrichtung ausgebildet ist, Merkmale in den in dem Speicher abgelegten Abbildungen zu erkennen und die erkannten Merkmale in der Umfeldkarte an den mit den erkannten Merkmalen korrespondierenden Positionen zu hinterlegen oder aus den erkannten Merkmalen eine Umfeldkarte zu erstellen, und wobei die Steuerung anschließend die abgelegten Abbildungen aus dem Speicher löscht, wobei die Bildbearbeitungseinrichtung derart ausgebildet ist, personenbezogene Daten in den erfassten Abbildungen zu erkennen und die personenbezogenen Merkmale in den erfassten Abbildungen zu anonymisieren, wobei nur die derart erhaltenen anonymisierten Abbildungen in dem mindestens einen Speicher abgelegt werden.
  • Die abgelegten Abbildungen und die Umfeldkarte können dabei gemeinsam in einem einzigen Speicher oder auch in mehreren getrennten Speichern hinterlegt sein.
  • Ist eine Umfeldkarte bereits in dem mindestens einen Speicher hinterlegt, so wird sie durch die erkannten Merkmale aktualisiert. Ist noch keine Umfeldkarte hinterlegt, so wird eine Umfeldkarte erst durch die erkannten Merkmale erstellt.
  • Ferner wird ein Verfahren in einem Kraftfahrzeug zum Erstellen oder Aktualisieren einer Umfeldkarte zur Verfügung gestellt, umfassend die folgenden Schritte: Erfassen von Abbildungen eines Umfeldes des Kraftfahrzeugs durch mindestens eine Kamera, Verarbeiten der erfassten Abbildungen in einer Bildverarbeitungseinrichtung, Speichern der verarbeiteten Abbildungen des Umfeldes in mindestens einem Speicher, Erkennen von Merkmalen in den gespeicherten Abbildungen durch eine Merkmalerkennungseinrichtung, Hinterlegen der erkannten Merkmale an den mit den erkannten Merkmalen korrespondierenden Positionen in der Umfeldkarte in dem mindestens einen Speicher oder Erstellen und Hinterlegen einer Umfeldkarte aus den erkannten Merkmalen in dem mindestens einen Speicher (5), Löschen der gespeicherten Abbildungen aus dem mindestens einen Speicher, wobei personenbezogene Daten in den erfassten Abbildungen durch die Bildverarbeitungseinrichtung anonymisiert werden, wobei nur die derart erhaltenen anonymisierten Abbildungen in dem mindestens einen Speicher abgelegt werden.
  • Die Grundidee der Erfindung ist, personenbezogene Daten in erfassten Abbildungen bereits vor einem Hinterlegen in einem Speicher zu anonymisieren. Dabei soll eine Anonymisierung bereits unmittelbar und direkt nach dem Erfassen der Abbildungen des Umfeldes in der Bildverarbeitungseinrichtung erfolgen. Dadurch kann vermieden werden, dass personenbezogene Daten gespeichert werden. Ein Anonymisieren soll hier analog zur Definition in § 3 (6) BDSG bedeuten, dass die personenbezogenen Daten derart verändert werden, dass die Einzelangaben über persönliche oder sachliche Verhältnisse nicht mehr oder nur mit einem unverhältnismäßig großen Aufwand an Zeit, Kosten und Arbeitskraft einer bestimmten oder bestimmbaren natürlichen Person zugeordnet werden können. Um dies zu erreichen, können Bereiche in den erfassten Abbildungen, welche personenbezogene Daten enthalten, beispielsweise geschwärzt, verpixelt, verfremdet oder gelöscht werden. Die auf diese Weise anonymisierten erfassten Abbildungen bleiben dann einer Merkmalserkennung weiterhin zugänglich und die Datenschutzrechte bleiben nach § 3a BDSG gewahrt.
  • In einer Ausführungsform der Erfindung ist vorgesehen, dass die Steuerung derart ausgebildet ist, einen Ruhezustand des Kraftfahrzeugs mittels einer vorgegebenen Stillstandszeit des Kraftfahrzeugs festzustellen, wobei die Merkmalserkennungseinrichtung derart ausgebildet ist, erst nach Feststellen eines Ruhezustandes durch die Steuerung mit einer Merkmalserkennung zu beginnen. Dadurch kann beispielsweise eine begrenzte Rechenleistung ausschließlich zum Erkennen der Merkmale in den gespeicherten Abbildungen verwendet werden. So kann beispielsweise eine Merkmalserkennung in einer komplett in die Kamera integrierten erfindungsgemäßen Vorrichtung auch bei geringer Rechenleistung realisiert werden. Eine auf diese Weise integrierte Kamera hat den Vorteil, dass Kosten gespart werden können.
  • Ebenfalls ist es möglich, zusätzlich eine Lokalisierungseinrichtung bereits in die Kamera oder ein Kameramodul zu integrieren, wobei die Lokalisierungseinrichtung dazu dient, das Kraftfahrzeug in der hinterlegten Umfeldkarte zu lokalisieren. Dies ermöglicht beispielsweise eine leichtere Nachrüstung älterer Kraftfahrzeuge.
  • Der Speicher kann beispielsweise als Ringspeicher ausgebildet sein. Ein solcher Ringspeicher speichert immer nur eine bestimmte Anzahl von erfassten Abbildungen. Ist der Ringspeicher voll, so werden zuerst die jeweils ältesten gespeicherten Abbildungen überschrieben (FIFO-Verfahren). Steht das Kraftfahrzeug beispielsweise auf einem Parkplatz und befindet sich somit im Ruhezustand, so befinden sich vor allem erfasste Abbildungen der Zeit unmittelbar vor dem Parken und während des Einparkens im Ringspeicher. Dadurch werden bei einem Erkennen von Merkmalen durch die Merkmalserkennungseinrichtung vor allem Merkmale des Umfeldes in der Nähe des Parkplatzes erkannt und in der Umfeldkarte hinterlegt. Dies ist von Vorteil, wenn später in den Parkplatz halb-automatisiert oder automatisiert eingeparkt werden soll und eine Lokalisierung des Kraftfahrzeugs entsprechend genau sein muss.
  • In einer weiteren Ausführungsform ist vorgesehen, dass die Bildverarbeitungseinrichtung eine Personenerkennungseinrichtung aufweist, welche derart ausgebildet ist, Personen in den erfassten Abbildungen zu erkennen und erkannte Personen in den erfassten Abbildungen zu anonymisieren, bevor die erfassten Abbildungen im Speicher hinterlegt werden. Dies hat den Vorteil, dass Personen als unmittelbare Träger personenbezogener Daten direkt erkannt werden können. Die zugehörigen Bereiche in der oder den entsprechenden erfassten Abbildungen können dann anonymisiert werden.
  • Die Personenerkennung in der Personenerkennungseinrichtung kann beispielsweise mit Hilfe eines neuronalen Netzes durchgeführt werden. Ein solches Neuronales Netz wird dann beispielsweise vorher durch in Abbildungen manuell markierte Bereiche, in denen sich Personen befinden, trainiert. Prinzipiell sind aber auch andere Mustererkennungsverfahren für die Personenerkennung geeignet.
  • In einer Ausführungsform ist vorgesehen, dass die Bildverarbeitungseinrichtung eine Fahrzeugerkennungseinrichtung aufweist, welche derart ausgebildet ist, Fahrzeuge in den erfassten Abbildungen zu erkennen und erkannte Fahrzeuge in den erfassten Abbildungen zu anonymisieren, bevor die erfassten Abbildungen im Speicher hinterlegt werden. Dies hat den Vorteil, dass Fahrzeuge, wie beispielsweise Kraftfahrzeuge oder Motorräder, direkt erkannt werden und dann in den erfassten Abbildungen anonymisiert werden können. Dabei kann sowohl der komplette Bereich, in dem sich das Fahrzeug in einer erfassten Abbildung befindet anonymisiert werden, oder aber auch nur einzelne Bereich des Fahrzeugs, wie beispielsweise ein Nummernschild. Das Erkennen der Fahrzeuge kann beispielsweise wieder über ein manuell trainiertes neuronales Netz oder über andere Mustererkennungsverfahren in der Fahrzeugerkennungseinrichtung erfolgen.
  • In einer weiteren Ausführungsform ist vorgesehen, dass die Bildverarbeitungseinrichtung eine Objektbewegungserkennungseinrichtung aufweist, welche derart ausgebildet ist, bewegte Objekte in den erfassten Abbildungen zu erkennen und erkannte bewegte Objekte aus den erfassten Abbildungen zu entfernen, bevor die erfassten Abbildungen im Speicher hinterlegt werden. Bewegte Objekte sind dabei nicht-ortsfeste Objekte in dem Umfeld des Kraftfahrzeugs. Dies können unter anderem auch Personen oder andere Kraftfahrzeuge sein, die sich gerade in Bewegung befinden. Die bewegten Objekte können beispielsweise durch Auswerten mehrerer der erfassten Abbildungen erkannt werden, wobei beispielsweise auch odometrische Daten des Kraftfahrzeugs beim Auswerten mitberücksichtigt werden können. Wird ein bewegtes Objekt erkannt, so wird es aus der erfassten Abbildung entfernt, beispielsweise durch Löschen des entsprechenden Bereiches in der erfassten Abbildung. Ebenso kann der gelöschte Bereich markiert werden, so dass er bei einer späteren Merkmalserkennung nicht berücksichtigt wird.
  • Teile der Vorrichtung können auch einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird.
  • Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:
  • 1 eine schematische Darstellung einer Ausführungsform der Vorrichtung in einem Kraftfahrzeug zum Erstellen einer Umfeldkarte;
  • 2a eine schematische Darstellung einer erfassten Abbildung;
  • 2b eine schematische Darstellung einer gespeicherten Abbildung korrespondierend mit der erfassten Abbildung aus 2a zur Erläuterung der Anonymisierung;
  • 3 ein schematisches Ablaufdiagramm des Verfahrens zum Erstellen einer Umfeldkarte.
  • In 1 ist eine schematische Darstellung einer erfindungsgemäßen Vorrichtung 1 in einem Kraftfahrzeug 50 zum Erstellen einer Umfeldkarte dargestellt. Die Vorrichtung 1 umfasst eine Kamera 2, eine Bildverarbeitungseinrichtung 3, eine Steuerung 4, einen Speicher 5 und eine Merkmalserkennungseinrichtung 6. Die Steuerung 4 kann auf den Speicher 5 zugreifen und die Merkmalserkennungseinrichtung 6 kann indirekt über die Steuerung 4 ebenfalls auf den Speicher 5 zugreifen. Vorzugsweise sind die Kamera 2 und die Bildverarbeitungseinrichtung 3 als ein integriertes Kameramodul 20 ausgebildet. Besonders bevorzugt sind die Kamera 2, die Bildverarbeitungseinrichtung 3, die Steuerung 4, der Speicher 5 und die Merkmalserkennungseinrichtung 6 als komplett integriertes Kameramodul 25 ausgebildet. Die Bildverarbeitungseinrichtung 3 umfasst beispielsweise eine Personenerkennungseinrichtung 7, eine Fahrzeugerkennungseinrichtung 8 und eine Objektbewegungserkennungseinrichtung 9. Der Speicher 5 ist beispielsweise als Ringspeicher ausgebildet.
  • Ein Umfeld des Kraftfahrzeugs 50 wird von der Kamera 2 erfasst, wobei die Kamera 2 in regelmäßigen Abständen Abbildungen des Umfeldes erfasst. Diese erfassten Abbildungen werden von der Kamera 2 an die Bildverarbeitungseinrichtung 3 weitergeleitet, welche die erfassten Abbildungen auf personenbezogene Daten hin analysiert. Dazu erkennt die Personenerkennungseinrichtung 7 in den erfassten Abbildungen Personen. Die Fahrzeugerkennungseinrichtung 8 erkennt in den erfassten Abbildungen Fahrzeuge. Hat die Personenerkennungseinrichtung 7 in einer der erfassten Abbildungen eine Person erkannt, so wird der Bereich der erfassten Abbildung, in dem sich die erkannte Person befindet, anonymisiert, beispielsweise, in dem der Bereich verpixelt, verzerrt, geschwärzt oder gelöscht wird. Der Bereich kann zusätzlich, beispielsweise durch Metadaten, für eine spätere Merkmalserkennung in der Merkmalserkennungseinrichtung markiert werden, so dass der markierte Bereich bei der Merkmalserkennung nicht berücksichtigt wird. Dementsprechend verfährt die Fahrzeugerkennungseinrichtung und verpixelt, verzerrt, schwärzt oder löscht in den erfassten Abbildungen erkannte Fahrzeuge bzw. Bereiche, welche bei Fahrzeugen personenbezogene Daten darstellen, beispielsweise deren Nummernschilder. Die Objektbewegungserkennungseinrichtung 9 erkennt bewegte Objekte und löscht diese aus den erfassten Abbildungen oder markiert die bewegten Objekte, so dass die Merkmalserkennungseinrichtung 6 die markierten Bereiche bei der Merkmalserkennung nicht berücksichtigt.
  • Die anonymisierten Abbildungen werden anschließend von der Steuerung 4 in dem Speicher 5 hinterlegt. Stellt die Steuerung 4 einen Ruhezustand des Kraftfahrzeugs 50 fest, beispielsweise weil das Kraftfahrzeug 50 gerade parkt und der Motor abgestellt ist, so gibt die Steuerung 4 ein entsprechendes Signal an die Merkmalserkennungseinrichtung 6 und aktiviert die Merkmalserkennung. Die Merkmalserkennungseinrichtung 6 erkennt nun Merkmale in den hinterlegten Abbildungen, bestimmt Positionen der erkannten Merkmale und trägt die erkannten Merkmale an den dazu bestimmten Positionen in eine Umfeldkarte ein. Wurde von einer in dem Speicher 5 hinterlegte Abbildung die Merkmalserkennung in der Merkmalserkennungseinrichtung 6 durchlaufen, so wird die hinterlegte Abbildung von der Steuerung 4 aus dem Speicher 5 gelöscht.
  • Der Vorteil der Vorrichtung 1 ist, dass nur anonymisierte Abbildungen in dem Speicher 5 hinterlegt werden. Auf diese Weise ist stets gewährleistet, dass der gesetzlich vorgeschriebene Datenschutz für personenbezogene Daten umfassend berücksichtigt wird.
  • In 2a ist eine schematische Darstellung einer erfassten Abbildung 16, aufgenommen beispielsweise über eine Frontkamera eines Kraftfahrzeugs, gezeigt. Auf einer Straße 10 befindet sich vor dem Kraftfahrzeug ein weiteres Kraftfahrzeug 51. Rechts neben der Straße 10 verläuft ein Fußgängerweg 11, auf dem ein Fußgänger 12 dem Kraftfahrzeug entgegenkommt. Auf der linken Seite der Straße 10 befindet sich ein Baum 13. Sowohl das weitere Kraftfahrzeug 51 als auch der Fußgänger 12 weisen personenbezogene Daten 30 auf. Das weitere Kraftfahrzeug 51 weist beispielsweise ein Nummernschild 52 auf, über das ein Fahrzeughalter des weiteren Kraftfahrzeugs 51 mittelbar identifiziert werden kann. Der Fußgänger 12 lässt sich hingegen unmittelbar durch sein Erscheinungsbild, vor allem durch sein Gesicht, identifizieren.
  • Direkt nach dem Erfassen erkennt eine Bildverarbeitungseinrichtung die personenbezogenen Daten 30 in der erfassten Abbildung 16 und anonymisiert diese. So wird beispielsweise der Fußgänger 12 durch eine Personenerkennungseinrichtung als Person 18 erkannt und entsprechend anonymisiert. Eine Fahrzeugerkennungseinrichtung erkennt das weitere Kraftfahrzeug 51 als Fahrzeug 19 und anonymisiert es.
  • In 2b ist eine schematische Darstellung der erfassten Abbildung 16 aus 2a dargestellt, nachdem die personenbezogenen Daten 30 anonymisiert wurden. In der anonymisierten Abbildung 17 wurde dort, wo sich das Nummernschild 52 des weiteren Kraftfahrzeugs 51 befindet, der Bereich 14 um das Nummernschild 52 herum durch die Bildverarbeitungseinrichtung verpixelt bzw. entfernt, so dass sich das Nummernschild 52 in der anonymisierten Abbildung 17 nicht mehr erkennen oder rekonstruieren lässt. Der Fahrzeughalter des weiteren Kraftfahrzeugs 51 kann somit nicht mehr identifiziert werden. Der Bereich 15, in dem sich der Fußgänger 12 befand, wurde von der Bildverarbeitungseinrichtung ebenfalls verpixelt, so dass der Fußgänger 12 nicht mehr zu erkennen ist und sich somit nicht mehr identifizieren lässt. Andere Objekte, welche bei einer Merkmalserkennung Merkmale liefern, sind hingegen weiterhin zugänglich, wie beispielsweise die Straße 10, der Fußgängerweg 11 oder der Baum 13. Nur die anonymisierte Abbildung 17 wird anschließend in einem Speicher hinterlegt.
  • Alternativ oder zusätzlich zu der Personenerkennungseinrichtung und der Fahrzeugerkennungseinrichtung erkennt eine Obejktbewegungserkennungseinrichtung bewegte Objekte 21 und entfernt diese. Die resultierende Abbildung 22 ist schematisch in 2c gezeigt. Das weitere Kraftfahrzeug 51 und der Fußgänger 12 wurden als bewegte Objekte 21 erkannt und von der Bildverarbeitungseinrichtung aus der erfassten Abbildung 16 entfernt. Da bewegte Objekte 21 oft Träger von personenbezogenen Daten 30 sind, kann durch ein Erkennen und Entfernen von den erkannten bewegten Objekten 21 auf einfache Weise eine Anonymisierung der erfassten Abbildung 16 durchgeführt werden. Ein weiterer Vorteil des Entfernens von bewegten Objekten 21 aus der erfassten Abbildung 16 ist, dass die bewegten Objekte 21 nicht mehr einer späteren Merkmalserkennung zugeführt werden. Bei einer solchen Merkmalserkennung könnten sonst Scheinmerkmale, hervorgerufen durch die bewegten Objekte 21, erkannt werden und in eine Umfeldkarte eingetragen werden. Solche Scheinmerkmale könnten dann eine spätere Lokalisierung des Kraftfahrzeugs in der Umfeldkarte erschweren oder behindern.
  • 3 zeigt ein schematisches Ablaufdiagramm des Verfahrens. Im ersten Verfahrensschritt werden Abbildungen von einem Umfeld eines Kraftfahrzeugs durch eine Kamera erfasst 101. Die erfassten Abbildungen werden noch in der Kamera von einer Bildverarbeitungseinrichtung verarbeitet 102. Teil dieser Verarbeitung ist das Erkennen und Anonymisieren 103 personenbezogener Daten in den erfassten Abbildungen. Das Erkennen kann beispielsweise ein Erkennen 104 von Personen durch eine Personenerkennungseinrichtung der Bildverarbeitungseinrichtung, ein Erkennen 105 von Fahrzeugen durch eine Fahrzeugerkennungseinrichtung und ein Erkennen und Entfernen 106 von bewegten Objekten durch eine Objektbewegungserkennungseinrichtung der Bildverarbeitungseinrichtung umfassen. Das Erkennen von Personen, Fahrzeugen und bewegten Objekten kann dabei beispielsweise durch ein Neuronales Netz, welches vorher manuell trainiert wurde, oder andere Mustererkennungsverfahren durchgeführt werden.
  • Erst nach dem Verarbeiten 102 und Anonymisieren 103 der erfassten Abbildungen werden diese in einem Speicher hinterlegt 107. Optional kann dann eine Überprüfung 108 erfolgen, bei der festgestellt wird, ob sich das Kraftfahrzeug in einem Ruhezustand befindet. Dazu kann beispielsweise eine Stillstandszeit durch eine Steuerung ausgewertet und mit einer vorgegebenen Stillstandszeit verglichen werden. Ist die vorgegebene Stillstandszeit erreicht, so beginnt das Erkennen 109 von Merkmalen in den hinterlegten Abbildungen durch eine Merkmalserkennungseinrichtung. Merkmale von Objekten in den erfassten Abbildungen werden dann erkannt, ihre Position bestimmt und die erkannten Merkmale an ihren Positionen in einer Umfeldkarte hinterlegt 110. Ist die Merkmalserkennung abgeschlossen, werden die gespeicherten Abbildungen aus dem Speicher gelöscht 111.
  • Bezugszeichenliste
  • 1
    Vorrichtung
    2
    Kamera
    3
    Bildverarbeitungseinrichtung
    4
    Steuerung
    5
    Speicher
    6
    Merkmalserkennungseinrichtung
    7
    Personenerkennungseinrichtung
    8
    Fahrzeugerkennungseinrichtung
    9
    Objektbewegungserkennungseinrichtung
    10
    Straße
    11
    Fußgängerweg
    12
    Fußgänger
    13
    Baum
    14
    Bereich
    15
    Bereich
    16
    erfassten Abbildung
    17
    anonymisierte Abbildung
    18
    Person
    19
    Fahrzeug
    20
    integriertes Kameramodul
    21
    bewegtes Objekt
    22
    resultierende Abbildung
    25
    komplett integriertes Kameramodul
    30
    personenbezogenen Daten
    50
    Kraftfahrzeug
    51
    weiteres Kraftfahrzeug
    52
    Nummernschild
    101–111
    Verfahrensschritte
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Nicht-Patentliteratur
    • § 3 (1) Bundesdatenschutzgesetz (BDSG) [0005]
    • § 3a BDSG [0006]
    • § 3 (6) BDSG [0013]
    • § 3a BDSG [0013]

Claims (10)

  1. Vorrichtung (1) in einem Kraftfahrzeug (50) zum Erstellen oder Aktualisieren einer Umfeldkarte, umfassend: mindestens eine Kamera (2) zum Erfassen von Abbildungen (16) eines Umfelds des Kraftfahrzeugs (50), eine Bildverarbeitungseinrichtung (3) zum Verarbeiten der erfassten Abbildungen (16), eine Merkmalserkennungseinrichtung (6), eine Steuerung (4) und mindestens einen Speicher (5) zum Speichern der von der Bildverarbeitungseinrichtung (3) verarbeiteten Abbildungen des Umfeldes und der Umfeldkarte, wobei die Steuerung (4) derart ausgebildet ist, die verarbeiteten Abbildungen in dem Speicher (5) abzulegen, und wobei die Merkmalserkennungseinrichtung (6) ausgebildet ist, Merkmale in den in dem Speicher (5) abgelegten Abbildungen zu erkennen und die erkannten Merkmale in der Umfeldkarte an den mit den erkannten Merkmalen korrespondierenden Positionen zu hinterlegen oder aus den erkannten Merkmalen eine Umfeldkarte zu erstellen, und wobei die Steuerung (4) anschließend die abgelegten Abbildungen aus dem Speicher (5) löscht, dadurch gekennzeichnet, dass die Bildbearbeitungseinrichtung (3) derart ausgebildet ist, personenbezogene Daten (30) in den erfassten Abbildungen (16) zu erkennen und die personenbezogenen Merkmale in den erfassten Abbildungen (16) zu anonymisieren, wobei nur die derart erhaltenen anonymisierten Abbildungen (17) in dem mindestens einen Speicher (5) abgelegt werden.
  2. Vorrichtung (1) nach Anspruch 1, dadurch gekennzeichnet, dass die Steuerung (4) derart ausgebildet ist, einen Ruhezustand des Kraftfahrzeugs (50) mittels einer vorgegebenen Stillstandszeit des Kraftfahrzeugs (50) festzustellen, und wobei die Merkmalserkennungseinrichtung (6) derart ausgebildet ist, erst nach Feststellen eines Ruhezustandes durch die Steuerung (4) mit einer Merkmalserkennung zu beginnen.
  3. Vorrichtung (1) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Bildverarbeitungseinrichtung (3) eine Personenerkennungseinrichtung (7) aufweist, welche derart ausgebildet ist, Personen (18) in den erfassten Abbildungen (16) zu erkennen und erkannte Personen (18) in den erfassten Abbildungen (16) zu anonymisieren, bevor die erfassten Abbildungen (16) im Speicher (5) hinterlegt werden.
  4. Vorrichtung (1) nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Bildverarbeitungseinrichtung (3) eine Fahrzeugerkennungseinrichtung (8) aufweist, welche derart ausgebildet ist, Fahrzeuge (19) in den erfassten Abbildungen (16) zu erkennen und erkannte Fahrzeuge (19) in den erfassten Abbildungen (16) zu anonymisieren, bevor die erfassten Abbildungen (16) im Speicher (5) hinterlegt werden.
  5. Vorrichtung (1) nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Bildverarbeitungseinrichtung (3) eine Objektbewegungserkennungseinrichtung (9) aufweist, welche derart ausgebildet ist, bewegte Objekte (21) in den erfassten Abbildungen (16) zu erkennen und erkannte bewegte Objekte (21) aus den erfassten Abbildungen (16) zu entfernen, bevor die erfassten Abbildungen (16) im Speicher (5) hinterlegt werden.
  6. Verfahren in einem Kraftfahrzeug (50) zum Erstellen oder Aktualisieren einer Umfeldkarte, umfassend die folgenden Schritte: Erfassen von Abbildungen eines Umfeldes des Kraftfahrzeugs (50) durch mindestens eine Kamera (2), Verarbeiten der erfassten Abbildungen (16) in einer Bildverarbeitungseinrichtung (3), Speichern der verarbeiteten Abbildungen des Umfeldes in mindestens einem Speicher (5), Erkennen von Merkmalen in den gespeicherten Abbildungen durch eine Merkmalerkennungseinrichtung (6), Hinterlegen der erkannten Merkmale an den mit den erkannten Merkmalen korrespondierenden Positionen in der Umfeldkarte in dem mindestens einen Speicher (5) oder Erstellen und Hinterlegen einer Umfeldkarte aus den erkannten Merkmalen in dem mindestens einen Speicher (5), Löschen der gespeicherten Abbildungen aus dem mindestens einen Speicher (5), dadurch gekennzeichnet, dass personenbezogene Daten (30) in den erfassten Abbildungen (16) durch die Bildverarbeitungseinrichtung (3) anonymisiert werden, wobei nur die derart erhaltenen anonymisierten Abbildungen (17) in dem mindestens einen Speicher (5) abgelegt werden.
  7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass ein Ruhezustand des Kraftfahrzeugs (50) über eine vorgegebene Stillstandszeit durch die Steuerung (4) festgestellt wird, und das Erkennen von Merkmalen durch die Merkmalserkennungseinrichtung (6) erst nach Feststellen des Ruhezustandes durchgeführt wird.
  8. Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass in den erfassten Abbildungen (16) Personen (18) von einer Personenerkennungseinrichtung (7) der Bildverarbeitungseinrichtung (3) erkannt werden und erkannte Personen (18) in den erfassten Abbildungen (16) anonymisiert werden, bevor die erfassten Abbildungen (16) in dem Speicher (5) hinterlegt werden.
  9. Verfahren nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass in den erfassten Abbildungen (16) Fahrzeuge (19) von einer Fahrzeugerkennungseinrichtung (8) der Bildverarbeitungseinrichtung (3) erkannt werden und erkannte Fahrzeuge (19) in den erfassten Abbildungen (16) anonymisiert werden, bevor die erfassten Abbildungen (16) in dem Speicher (5) hinterlegt werden.
  10. Verfahren nach einem der Ansprüche 6 bis 9, dadurch gekennzeichnet, dass in den erfassten Abbildungen (16) bewegte Objekte (21) von einer Objektbewegungserkennungseinrichtung (9) der Bildverarbeitungseinrichtung (3) erkannt werden und erkannte bewegte Objekte (21) aus den erfassten Abbildungen (16) entfernt werden, bevor die erfassten Abbildungen (16) in dem Speicher (5) hinterlegt werden.
DE102015217492.1A 2015-09-14 2015-09-14 Vorrichtung und Verfahren zum Erstellen oder Aktualisieren einer Umfeldkarte eines Kraftfahrzeugs Pending DE102015217492A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102015217492.1A DE102015217492A1 (de) 2015-09-14 2015-09-14 Vorrichtung und Verfahren zum Erstellen oder Aktualisieren einer Umfeldkarte eines Kraftfahrzeugs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015217492.1A DE102015217492A1 (de) 2015-09-14 2015-09-14 Vorrichtung und Verfahren zum Erstellen oder Aktualisieren einer Umfeldkarte eines Kraftfahrzeugs

Publications (1)

Publication Number Publication Date
DE102015217492A1 true DE102015217492A1 (de) 2017-03-16

Family

ID=58160558

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015217492.1A Pending DE102015217492A1 (de) 2015-09-14 2015-09-14 Vorrichtung und Verfahren zum Erstellen oder Aktualisieren einer Umfeldkarte eines Kraftfahrzeugs

Country Status (1)

Country Link
DE (1) DE102015217492A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018221093A1 (de) 2018-12-06 2020-06-10 Audi Ag Verfahren zum Verarbeiten von Umgebungsinformationen eines Kraftfahrzeugs, Computerprogrammprodukt sowie elektronisches Informationsverarbeitungssystem
EP3734557A1 (de) * 2019-04-30 2020-11-04 Siemens Mobility GmbH Verfahren zur bereitstellung von trainingsdaten für adaptierbare situationserkennungsalgorithmen sowie verfahren zur automatisierten situationserkennung von betriebssituationen eines fahrzeugs zur öffentlichen personenbeförderung
DE102021114825A1 (de) 2021-06-09 2022-12-15 Cariad Se Verfahren zum Bereitstellen einer autonomen Kraftfahrzeugsteuerung und Kraftfahrzeug mit einer Steuervorrichtung

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2208021B1 (de) * 2007-11-07 2011-01-26 Tele Atlas B.V. Verfahren und anordnung zur abbildung von entfernungssensordaten auf bildsensordaten
US20110211040A1 (en) * 2008-11-05 2011-09-01 Pierre-Alain Lindemann System and method for creating interactive panoramic walk-through applications
EP2327055B1 (de) * 2008-09-25 2012-08-22 TomTom Global Content B.V. Verfahren und anordnung zum verschleiern eines bildes
US8942415B1 (en) * 2011-09-19 2015-01-27 Google Inc. System and method of identifying advertisement in images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2208021B1 (de) * 2007-11-07 2011-01-26 Tele Atlas B.V. Verfahren und anordnung zur abbildung von entfernungssensordaten auf bildsensordaten
EP2327055B1 (de) * 2008-09-25 2012-08-22 TomTom Global Content B.V. Verfahren und anordnung zum verschleiern eines bildes
US20110211040A1 (en) * 2008-11-05 2011-09-01 Pierre-Alain Lindemann System and method for creating interactive panoramic walk-through applications
US8942415B1 (en) * 2011-09-19 2015-01-27 Google Inc. System and method of identifying advertisement in images

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
§ 3 (1) Bundesdatenschutzgesetz (BDSG)
§ 3 (6) BDSG
§ 3a BDSG

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018221093A1 (de) 2018-12-06 2020-06-10 Audi Ag Verfahren zum Verarbeiten von Umgebungsinformationen eines Kraftfahrzeugs, Computerprogrammprodukt sowie elektronisches Informationsverarbeitungssystem
WO2020114716A1 (de) 2018-12-06 2020-06-11 Audi Ag Verfahren zum verarbeiten von umgebungsinformationen eines kraftfahrzeugs, computerprogrammprodukt sowie elektronisches informationsverarbeitungssystem
CN112602123A (zh) * 2018-12-06 2021-04-02 奥迪股份公司 机动车环境信息的电子处理方法、计算机程序产品以及电子信息处理系统
CN112602123B (zh) * 2018-12-06 2021-11-05 奥迪股份公司 机动车环境信息的电子处理方法、计算机可读介质以及电子信息处理系统
US12046082B2 (en) 2018-12-06 2024-07-23 Audi Ag Method for processing surroundings information of a motor vehicle, computer program product and electronic information processing system
EP3734557A1 (de) * 2019-04-30 2020-11-04 Siemens Mobility GmbH Verfahren zur bereitstellung von trainingsdaten für adaptierbare situationserkennungsalgorithmen sowie verfahren zur automatisierten situationserkennung von betriebssituationen eines fahrzeugs zur öffentlichen personenbeförderung
DE102021114825A1 (de) 2021-06-09 2022-12-15 Cariad Se Verfahren zum Bereitstellen einer autonomen Kraftfahrzeugsteuerung und Kraftfahrzeug mit einer Steuervorrichtung
DE102021114825B4 (de) 2021-06-09 2023-12-21 Cariad Se Verfahren zum Bereitstellen einer autonomen Kraftfahrzeugsteuerung und Kraftfahrzeug mit einer Steuervorrichtung

Similar Documents

Publication Publication Date Title
DE102014008578B4 (de) Verfahren zur Ermittlung von Positionsdaten zur Nutzung beim Betrieb eines Fahrzeugsystems eines Kraftfahrzeugs und Positionsdatenermittlungs- und-verteilssystem
WO2020083446A1 (de) Verfahren zum steuern eines parkvorgangs
DE102016211182A1 (de) Verfahren, Vorrichtung und System zum Durchführen einer automatisierten Fahrt eines Fahrzeugs entlang einer aus einer Karte bereitgestellten Trajektorie
DE102014224079B4 (de) Verfahren und Vorrichtung zum Überwachen eines sich innerhalb eines Parkplatzes befindenden Fahrzeugs
DE102017216847A1 (de) Verfahren zur Führung eines Kraftfahrzeugs oder eines Benutzers zu einer Parkposition
DE102018126830A1 (de) Vorrichtung und Steuereinheit zur Automatisierung einer Zustandsänderung einer Fensterscheibe eines Fahrzeugs
DE102015217492A1 (de) Vorrichtung und Verfahren zum Erstellen oder Aktualisieren einer Umfeldkarte eines Kraftfahrzeugs
DE102016012345A1 (de) Verfahren zum Erkennen von Objekten
DE102017001814A1 (de) Verfahren zur Erkennung von Fahrspurmarkierungen
DE102017118741A1 (de) Verfahren zum Betreiben eines Kraftfahrzeugs in einer Umgebung mit beschränkten Zugriff auf ein Navigationssatellitensystem, Fahrerassistenzsystem sowie Kraftfahrzeug
DE112018005749T5 (de) Fahrbahnmarkierungsbestimmungsvorrichtung zum automatisierten Fahren
DE102015217485A1 (de) Vorrichtung und Verfahren zum automatisierten Fahren eines Kraftfahrzeugs
DE102015006569A1 (de) Verfahren zur bildbasierten Erkennung des Straßentyps
EP3599144B1 (de) Erkennung eines status eines garagentores beim autonomen einparken
DE102018210852A1 (de) Verfahren zum Ermitteln von rechtswidrigem Fahrverhalten durch ein Fahrzeug
DE102021100791A1 (de) Verfahren zum Bestimmen von Trainingsdaten für eine Modellverbesserung und Datenverarbeitungsvorrichtung
DE102017211887A1 (de) Verfahren und Vorrichtung zum Lokalisieren und automatisierten Betreiben eines Fahrzeugs
DE102017204347A1 (de) Verfahren und System zum Bestimmen einer kinematischen Eigenschaft eines Objekts, Verfahren zum Steuern eines Assistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug
DE102016224890A1 (de) Verfahren zum Bereitstellen einer Positionsinformation eines geparkten Kraftfahrzeugs sowie Steuerungsvorrichtung
DE102018008683A1 (de) Verfahren zum Ermöglichen der Identifizierung eines rücksichtslosen Fahrers eines Straßenfahrzeugs, System, Computerprogramm, computerlesbares Medium und Fahrzeug
DE19601831A1 (de) Verfahren zur Erkennung von relevanten Objekten
DE102018204538A1 (de) Verfahren und System zum Ermitteln einer Zugänglichkeit von Parkplätzen
DE102017209195A1 (de) Verfahren zur Dokumentation eines Fahrbetriebs eines Kraftfahrzeugs
DE102016214860A1 (de) Verfahren zur Überwachung zumindest eines Fahrzeugs mit mindestens einer Überwachungskamera, Überwachungskamera sowie Fahrzeug
DE102017216802A1 (de) Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: PATENTANWAELTE BRESSEL UND PARTNER MBB, DE

R083 Amendment of/additions to inventor(s)
R163 Identified publications notified
R012 Request for examination validly filed