-
Die Erfindung betrifft ein Verfahren zur Erfassung anonymisierter Bewegungsinformationen von Objekten aus Umgebungsbildern einer mit einer Kamera aufgenommenen Umgebung.
-
Die Erfindung betrifft weiterhin eine Datenverarbeitungsvorrichtung und eine Erfassungseinrichtung hierzu.
-
WO 2020/223577 A1 beschreibt ein Verfahren zum bildunterstützten Fahrzeugmanagement durch Detektion der Bewegung eines Objektes an einer ersten Position, die mit einem graphischen Bereich verknüpft ist, unter Verwendung eines Bewegungssensors. In Abhängigkeit von der Bewegungsdetektion mit dem Bewegungssensor werden mit mindestens einer Kamera Bilddaten erfasst, die mit der ersten Position verknüpft sind. Dabei wird ein maschinenlernbares Rechenmodell genutzt, um fahrzeugspezifische Parameter zu bestimmen, die das Fahrzeug identifizieren.
-
WO 2016/174670 A1 offenbart ein Verfahren zum automatischen Detektieren und Abbilden von Interessenpunkten, wie etwa Parkplätzen, und dementsprechend Lokalisieren und Anweisen von Fahrern auf verfügbare Parkplätze, die so nahe wie möglich an gewünschten Interessenpunkten (POI = „Point Of Interest“) und Orten sind. Hierzu wird ein Parkraumdetektionsmodul verwendet, das Maschinenlern- und Computervisionstechniken zum Lernen der Oberfläche des Parkplatzes, der unbelegten Dauer eines Parkplatzes, der Belebungsdauer des Parkplatzes, und zur Detektion von als Parksucher vermuteter Fahrzeuge verwendet, um unabhängig vorherzusagen, in welchem verfügbaren Parkplatz geparkt werden kann und einen Besucher in Echtzeit zu einem Parkplatz zu navigieren, der mit großer Wahrscheinlichkeit bis zur Ankunft des Benutzers frei bleibt.
-
US 2019/0035143 A1 offenbart ein System mit einer Datenbank, die Daten von verschiedenen Bildquellen mit einer Vielzahl von Bildmeterdatentypen und -qualitäten sammelt und Bilder georeferenziert durch kontinuierliche Verbesserung von Kameralösungen für jedes erhaltene Datenobjekt verwaltet.
-
US 11,481,577 B2 offenbart ein System und ein Verfahren für die Qualitätssicherung des maschinellen Lernens (ML) durch Trainieren einer Vielzahl von Agenten-ML-Annotationsmodell-Softwareanwendungen. Jedes Agenten-ML-Annotationsmodell wird mit einer entsprechenden Teilmenge an kommentierten Rohdatenbildern trainiert, die Annotationen enthalten, die eine die erste Form umgebende Grenze bilden. Ein Basislinien-ML-Annotationsmodell wird mit allen Teilmengen von annotierten Rohdatenbildern trainiert. Vorhergesagte Basislinienmodellbilder werden mit den vorhergesagten Bildern jedes Agentenmodells verglichen, um die Agentenmodellqualität zu bestimmten und problematische Rohdatenbilder für Umtrainingszwecke zu identifizieren.
-
Ausgehend hiervon ist es Aufgabe der Erfindung, ein verbessertes Verfahren zur Erfassung anonymisierter Bewegungsinformationen von Objekten und eine Erfassungseinheit sowie eine Datenverarbeitungsvorrichtung hierzu zu schaffen.
-
Die Aufgabe wird mit dem Verfahren mit den Merkmalen des Anspruches 1 sowie mit der Datenverarbeitungsvorrichtung mit den Merkmalen des Anspruches 9 und die Erfassungseinheit mit den Merkmalen des Anspruches 10 gelöst.
-
Vorteilhafte Ausführungen sind in den Unteransprüchen beschrieben.
-
Zur Erfassung anonymisierter Bewegungsinformationen von Objekten aus Umgebungsbildern einer von einer Kamera aufgenommenen Umgebung wird ein Verfahren mit folgenden Schritten vorgeschlagen:
- a) Erkennen von Bewegungen in einer Folge von Umgebungsbildern einer Umgebung
und
- b) Erkennen von Personen anhand der erkannten Bewegungen und für Personen charakteristische Bildeigenschaften;
sowie
- c1) Entfernen der aufgenommenen Darstellungen der erkannten Personen in den Umgebungsbildern
oder
- c2) Ersetzen der erfassten Darstellungen der erkannten Personen in den Umgebungsbildern durch unkenntliche Annotationen.
-
Damit kann vorzugsweise mit einem dezentralen Batch-Computer direkt nach dem Aufzeichnen eines Bildes oder einer Folge von Bildern (Videosequenz) ein anonymisierter Bilddatenstrom erzeugt werden. Dabei bleiben die Objekte in den Bildern erhalten und es werden lediglich die Personen entfernt oder durch Annotationen ersetzt.
-
Das Ersetzen der Personen durch Annotation hat den Vorteil, dass die Personen anhand der Annotationen bei der späteren Bildauswertung einfach und prozesssicher identifizierbar sind. Eine Identifizierung der Person ist hingegen durch die Vorverarbeitung nach dem Erkennen der Darstellung von Personen in dem aufgenommenen Bild nicht mehr möglich.
-
Es kann ein Entzerren der aufgenommenen Umgebungsbilder und Kalibrieren der entzerrten Umgebungsbilder vorgesehen sein. Mit einer solchen Rektifizierung lassen sich die aufgenommenen Kamerabilder an eine vorgegebene Perspektive anpassen, um bspw. eine Georeferenzierung vorzunehmen. Hierzu kann ein rektifiziertes Kamerabild z. B. an die Vogelperspektive oder ein 3D-Modell angepasst werden.
-
Es kann ein Kalibrieren der entzerrten Umgebungsbilder durch Analysieren von im entzerrten Umgebungsbild oder einem georeferenzierten Referenz-Umgebungsbild gleichermaßen vorhandenen Merkmale erfolgen. Hierzu können in den aufgenommenen Kamerabildern charakteristische Merkmale aus der Umgebung, wie insb. Fixpunkte, gesucht werden, die mit den entsprechenden Merkmalen in dem Referenz-Umgebungsbild in Übereinstimmung gebracht werden, um so die im aufgenommenen Kamerabild abgebildete Umgebung auf die im Referenz-Umgebungsbild definierten Georeferenzpunkte auszurichten.
-
Es kann en Rendern eines dreidimensionalen Umgebungsmodells und Kalibrieren der entzerrten Umgebungsbilder erfolgen. Hierzu kann ein Analysieren von Merkmalen erfolgen, die im entzerrten Umgebungsbild und dem gerenderten dreidimensionalen Umgebungsmodell gleichermaßen vorhanden sind.
-
Das Verfahren kann die weiteren Schritte haben von:
- - Aufnehmen der Umgebungsbilder zusammen mit Ortspositionen, an denen die Bildaufnahme erfolgt ist;
- - Kalibrieren der Umgebungsbilder anhand der Ortspositionen; und
- - Approximieren der 3D-Position von Objekten in den Umgebungsbildern durch Abschätzen der Tiefe von Merkmalen in den Umgebungsbildern.
-
Auf diese Weise lassen sich insbesondere Umgebungsbilder nutzen, die von einer sich bewegenden Kameraplattform aufgenommen wurden, deren Geoposition sich während der Aufnahme von Bildsequenzen ändert. So kann eine Kamera an Kraftfahrzeuge, Motorräder, Lastkraftwagen und insb. Rollstühle, Roller (z. B. E-Scooter), Fahrräder, Fahrradhelme oder Accessoires von Fußgängern (z. B. Kleidung, Taschen, Brillen) angebracht werden, um während der Bewegung die Umgebung zu erfassen und anonymisiert auszuwerten.
-
Vorteilhaft ist ein Erzeugen von Bild-Annotationen für in den Umgebungsbildern erkannte Objekte und Personen durch Trainieren eines Annotationsmodells mit Umgebungsdaten ohne Annotation, aus denen 3D-Darstellungen erzeugt werden, mit denen Umgebungsbilder aus weiteren Perspektiven generiert und zum Trainieren des Annotationsmodells verwendet werden. Damit lassen sich aus zunächst nicht annotierten Umgebungsbildern in einem ersten Schritt Annotationen festlegen und durch die Generierung weiterer Perspektiven zusätzliche Umgebungsbilder mit nunmehr bekanntem annotierten Bildinhalt erzeugen, die für den automatischen rechnergestützten Trainingsprozess des Annotationsmodells genutzt werden.
-
Durch Approximieren des Hintergrundes in den Umgebungsbildern in den Bildbereichen, in denen erkannte Personen entfernt wurden, kann die Bildqualität der anonymisierten Umgebungsbilder verbessert werden..
-
Es kann eine Auswertung der anonymisierten Umgebungsbilder durch mindestens eines der aus der folgenden Gruppe ausgewählten Schritte erfolgen:
- - Objekterkennung;
- - Semantisches Segmentieren;
- - Interpretieren von Szenen;
- - Erkennen von Aktionen in den Umgebungsbildern;
- - Bestimmen von Geschwindigkeiten von Objekten;
- - Bestimmen der Auswahl von Objekten und Personen in Bildbereichen.
-
Die anonymisierten Umgebungsbilder können somit für unterschiedliche automatisierte rechnergestützte Bildverarbeitungsverfahren einzeln oder in Kombination genutzt werden. Diesbezüglich sind beispielsweise die Objekterkennung, semantische Segmentierung, Instanzen-Segmentierung, Klassifikation, Pose-Estimation, Geschwindigkeitsbestimmung, Kennzeichenerkennung und Objekt-Zählung zu nennen.
-
Das Ergebnis, d. h. das Endergebnis oder Zwischenergebnisse, kann mittels einer Anwendungsschnittstelle (API) weitergegeben und in einem Bildschirm bspw. auf einer grafischen Benutzeroberfläche (z. B. Dashboard) angezeigt werden.
-
Die Erfindung wird nachfolgend anhand der beigefügten Zeichnungen anhand von Ausführungsbeispielen näher erläutert. Es zeigen:
- 1 - Blockdiagramm einer Erfassungseinheit mit Funktionsblöcken zur Durchführung des Erfassungsverfahrens;
- 2 - Blockdiagramm einer Erfassungseinheit mit Kameras am bewegten Objekt;
- 3 - Flussdiagramm eines Verfahrens zur automatischen Annotation.
-
1 zeigt ein Blockdiagramm einer Erfassungseinheit mit Funktionsblöcken zur Durchführung des Erfassungsverfahrens. Hierbei werden rechnergestützte Verfahren der Bilderkennung und Geodatenverarbeitung genutzt. Mit Hilfe von Methoden der computergestützten Visualisierung können Echtzeit-Videos aus kommerziell verfügbaren Kameras in Kombination mit Geodaten verarbeitet werden. Für einen datenschutzkonformen Umgang mit personenspezifischen Daten können Personen mittels Personen- und Bewegungserkennung aus den Echtzeit-Kamerabildern entfernt werden. Dies lässt sich sowohl auf stationäre als auch auf bewegte Kameras anwenden.
-
1 zeigt eine Erfassungseinheit mit stationären Kameras 1, wobei automatisch Verkehrskameras basierend auf georeferenzierten RGB-Luftbildaufnahmen oder fotorealistischen 3D-Stadtmodellen kalibriert werden. Damit ist es möglich die Ergebnisse einer Bilderkennung mit Geopositionsdaten (z. B. UTM-Koordinaten) zu verknüpfen. Auf das Ergebnis der Bilderkennung kann entweder direkt zugegriffen werden oder es kann für weitere Analysen wie Geschwindigkeitsbestimmung oder Verkehrsanalyse genutzt werden.
-
2 zeigt eine Erfassungseinheit mit bewegter Kamera 1, die an einer mobilen Plattform 2, z. B. an einem Auto oder an einem Rollstuhl, befestigt werden kann. Dabei kann der Standort von Objekten basierend auf z. B. satellitengestützter Ortung 2 (z. B. GPS, GLONASS etc.) und einem Echtzeit-Video ermittelt werden. Durch einen modularen Aufbau ist es für den Benutzer möglich, den Bildverarbeitungs-Stack anzupassen, indem Module mittels einer grafischen Benutzeroberfläche ausgewählt und kombiniert werden können.
-
In den 1 und 2 ist die konzeptionelle Aufteilung in folgende Module dargestellt.
- 1. Kalibrierungs-Modul C-M
- 2. Auswerte-Modul (Inferenz-Maschine) I-M
- 3. Anwendungsschnittstelle (API) und Benutzerschnittstelle (Frontend) MMI
-
Die Aufgabe des Kalibrierungs-Moduls C-M ist die Ermittlung einer Abbildung von den RGB-Kamerabildern zu UTM-Koordinaten. Das Auswerte-Modul I-M nutzt sowohl die RGB-Bilder als auch die UTM-Koordinaten für Computer Vision und Geodaten-Analyse Methoden. Eine grafische Benutzeroberfläche und eine API werden bereitgestellt, um auf die Analyse-Ergebnisse zuzugreifen. Der gesamte Technologie-Stack ist auf eine modulare Art entwickelt, so dass der Benutzer einzelne Module mittels der grafischen Benutzeroberfläche auswählen und kombinieren kann.
-
Das Kalibrierungs-Modul C-M erhält ein RGB-Kamerabild von einer der Verkehrskameras 1 sowie eine RGB-Luftbildaufnahme oder ein fotorealistisches 3D-Stadtmodell 3D-M von dem Standort der Kamera 1. Das RGB-Kamerabild wird rektifiziert und ein Bild aus der Vogelperspektive wird mittels des 3D-Modells gerendert. Als nächstes wird ein Merkmal-Abgleich („Feature-Matching“) durchgeführt, um die Kamera-Kalibrierung zu ermitteln. Falls georeferenzierte Luftbildaufnahmen verfügbar sind, kann der Rendering Schritt übersprungen werden. Falls weder georeferenzierte Luftbildaufnahmen noch ein fotorealistisches 3D-Stadtmodell 3D-M verfügbar sind, kann eine Kalibrierung manuell mittels der grafischen Benutzeroberfläche durchgeführt werden.
-
Das Auswerte-Modul I-M erhält ein RGB-Kamerabild von einer der Verkehrskameras 1 sowie die dazugehörige Kalibrierung vom Kalibrierungs-Modul C-M. Für die Datenanalyse können verschiedene Auswerteeinheiten genutzt werden. Einige davon sind: Objekterkennung, semantische Segmentierung, Instanzen Segmentierung, Klassifikation, Pose-Estimation, Geschwindigkeitsbestimmung, Kennzeichenerkennung und Objekt-Zählung. Einige Module können sinnvoll kombiniert werden. So kann zum Beispiel die Objekterkennung als Eingabe für die Geschwindigkeitsbestimmung genutzt werden. Alle Module sowie deren Verbindungen können mittels der grafischen Benutzeroberfläche konfiguriert werden. Das Ergebnis des Auswerte-Moduls I-M sowie Zwischenergebnisse können mittels der Anwendungsschnittstelle API weitergegeben werden, sowie in einem grafischen Benutzeroberfläche (Dashboard) auf einem Bildschirm angezeigt werden.
-
2 zeigt ein Beispiel, bei dem eine bewegte Kamera 1 genutzt wird, die auf einer mobilen Plattform 2 befestigt ist. Dann ist die in Verbindung mit 1 beschriebene Kalibrierung nicht mehr möglich. Stattdessen werden die intrinsischen und extrinsischen Eigenschaften der Kamera 1 a priori kalibriert. Um die 3D Position eines Objektes zu approximieren, wird dann eine Bild-Tiefenabschätzung („Depth-Estimation“) genutzt. Zusätzlich werden die GPS- und Kamerabild-Daten über mehrere Zeitschritte analysiert, um die Genauigkeit weiter zu verbessern.
-
Eine grafische Darstellung dieses Prozesses ist in 2 zu sehen. Durch den niedrigen Stromverbrauch der eingesetzten Edge-Devices 3 kann die Kamera 1 in vielen verschiedenen Umgebungen eingesetzt werden.
-
Außerdem können wegen der Modularität des Software-Stacks die meisten Technologien, die für den stationären Fall entwickelt wurden wiederverwendet werden.
-
Die Erzeugung der 3D-Darstellung wird anhand der nachfolgenden Erläuterung deutlicher verständlich.
-
Die Technik zur Erstellung der 3D-Darstellung kann in folgende Schritte unterteilt werden:
- 1. Aufzeichnung eines RGB-Kameravideos;
- 2. Segmentierung aller auf dem Video erkennbaren Personen;
- 3. Rekonstruktion auf Basis der Personensegmentierung;
- 4. Generierung der 3D-Darstellung auf Basis der anonymisierten Daten.
-
Im Folgenden werden die einzelnen Schritte im Detail beschrieben:
-
1. Aufzeichnung eines RGB-Kameravideos
-
Als Bildquelle können RGB-Videos von handelsüblichen monokularen Kameras verwendet werden. Für einen besonders sensiblen Umgang mit personenbezogenen Daten werden die Schritte 1 und 2 auf einem Edge Device durchgeführt. Das Kamerabild vor der Anonymisierung wird dann bei der Erfassung der Daten anonymisiert und zu keinem Zeitpunkt gespeichert.
-
2. Segmentierung aller auf dem Video erkennbaren Personen
-
Für die Segmentierung der Personen wird ein mehrstufiges Verfahren eingesetzt. Es basiert auf einem detaillierten Personendatensatz, der aus mehreren hunderttausend Bildern besteht, die bereits annotiert wurden.
-
Zunächst wird auf Basis dieses Datensatzes ein neuronales Netz trainiert, das jedem Pixel des Kamerabildes entweder eine „1“ (Person) oder eine „0“ (keine Person) zuordnet. Anschließend wird auf der Grundlage desselben Datensatzes ein zweites neuronales Netz trainiert, das lernt, wichtige Schlüsselpunkte der Personen zu erkennen. Beispiele für Schlüsselpunkte sind die Position des Ellenbogens oder des Handgelenks.
-
Um die Personen im Kamerabild in Echtzeit zu segmentieren, werden die beiden Netze parallel eingesetzt. Ein von uns entwickelter Algorithmus kombiniert dann die Ergebnisse der beiden Netze, wobei auch die zeitliche Entwicklung der Ergebnisse berücksichtigt wird. Damit ist es möglich, Personen auch dann zu anonymisieren, wenn sie von den neuronalen Netzen kurzzeitig nicht erkannt werden.
-
3. Rekonstruktion auf Basis der Personenseqmentierunq
-
Um die 3D-Darstellung zu erstellen, muss definiert werden, wie die Bereiche, in denen sich Personen befinden, behandelt werden. Hierzu werden die Bereiche, in denen die Bildmaske „1“ anzeigt, durch eine Prognose des tatsächlichen Hintergrunds ersetzt. Das resultierende Video sieht so aus, als wären keine Personen darauf zu sehen.
-
Eine hierzu einsetzbare Technologie funktioniert folgendermaßen:
- Zunächst wird ein generatives neuronales Netz auf der Grundlage eines vorhandenen Datensatzes von Bildern trainiert. Während des Trainings werden wiederholt zufällige Bereiche der Bilder entfernt. Das neuronale Netz lernt dann, die entfernten Bereiche so realistisch wie möglich zu ersetzen. In einem zweiten Schritt wird die Bewegung im Kamerabild ausgenutzt. Ein von uns entwickelter Algorithmus berücksichtigt diese und kann eine Person durch den Hintergrund ersetzen, wenn sie vorher sichtbar war. Ist dies nicht der Fall, wird das generative neuronale Netz zur Rekonstruktion des Hintergrunds verwendet.
-
4. Generierung der 3D-Darstellung auf Basis der anonymisierten Daten
-
Im Gegensatz zu photogrammetrischen Modellen basiert die vorteilhaft eingesetzte 3D-Darstellung auf einem neuronalen Netz, das anhand der Position und Orientierung der Kamera trainiert wird. Diese werden mittels Struktur-aus-Bewegung („Structure-from-Motion“) ermittelt.
-
Da es sich bei der 3D-Darstellung um ein neuronales Netz handelt, ist das trainierte Modell in der Lage, neue Ansichten zu generieren, die bei der Erstellung nicht verwendet wurden. Es ist auch möglich, Ray-Tracing-Methoden zu verwenden, um unterschiedliche Lichtverhältnisse zu simulieren.
-
Die vorstehend beschriebene Technologie ist in der Lage, 3D-Darstellungen einer Stationsumgebung zu erstellen, die keine personenspezifischen Merkmale enthalten. Insbesondere werden die Daten bereits bei der Erhebung anonymisiert. Es werden ausschließlich RGB-Bilder von handelsüblichen monokularen Kameras verwendet. Die erzeugten 3D-Darstellungen werden dann zur automatischen Annotation der Kamerabilder verwendet.
-
Das Verfahren basiert auf der Generierung einer 3D-Darstellung verschiedener Stationen und ihrer Umgebung basiert. Personen werden bereits bei der Datenerfassung anonymisiert. Die gesamte 3D-Szene wird ohne menschliche Hilfe automatisch annotiert, was zum Trainieren von Deep-Learning-Modelle genutzt wird.
-
Damit kann eine Zustandsüberwachung in einer Stationsumgebung, bspw. einer Bahnhofsumgebung, auf der Grundlage des RGB-Videos handelsüblicher monokularer Kameras realisiert werden. Darüber hinaus kann das Verfahren beispielsweise auch als Navigationsassistenzsystem für Sehbehinderte und dergleichen genutzt werden.
-
Mit dem Verfahren werden anonyme 3D-Darstellungen der Stationsumgebung erzeugt und mit den beschriebenen Bildverarbeitungsmethoden weiterverarbeitet. Die 3D-Darstellung dient als Grundlage für die Zustandsüberwachung. Darüber hinaus erfolgt eine automatische Generierung von auto-annotierten Daten, die ohne vorherige menschliche Annotation zur Posenerkennung von Objekten, die von Interesse sind („Points of Interest“), unter Verwendung der generierten 3D-Darstellung verwendet werden. Letztere kann für die Navigation in der Nähe von Bahnhöfen verwendet werden.
-
3 zeigt ein Verfahrensablauf für eine automatische Annotation.
-
Einige der eingesetzten rechnergestützten Lernmethoden („Machine-Learning“) für trainierbare automatische Bildauswerteeinheiten sind auf annotierte Daten angewiesen. Da die Beschaffung solcher Daten oft aufwändig und damit teuer ist, werden computergestützte Bildverarbeitungsverfahren genutzt, um so viel wie möglich von diesem Prozess zu automatisieren. Dies kann vollständig in einen Software-Stack integriert werden. Dabei können Online-Lernverfahren mit klassischen Computer Vision Methoden wie Bewegungserkennung, Farbsegmentierung oder Hintergrund-Subtraktion kombiniert werden, um so wenig manuelle Annotation wie möglich zu benötigen.
-
Der Trainingsvorgang für Methoden der künstlichen Intelligenz, wie bildgestützte trainierbare Entscheidungseinheiten (z. B. neuronale Netze) kann wie folgt ablaufen:
- Zuerst liegen nur Bilder bzw. Videos ohne Annotationen vor. Dann wird ein initialer Datensatz an Annotationen erzeugt. Dies wird entweder mittels einer der erwähnten klassischen Methoden, mittels öffentlich verfügbarer Daten oder von Hand durchgeführt. Anschließend wird Data-Augmentation genutzt, um die Menge an benötigten Daten noch weiter zu reduzieren. Mit Hilfe des initialen Datensatzes wird ein erstes Modell trainiert und validiert, welches bereits von dem Auswerte-Modul I-M genutzt werden kann. Es können also kontinuierlich neue Annotationen erzeugt werden indem die Bilderkennung auf das Kamerabild einer Verkehrskamera 1 angewendet wird. Das Ergebnis kann anhand von Bildverarbeitungs-Parametern, wie einer Erkennungswahrscheinlichkeit („Detection-Confidence“), analysiert und zurück in das automatische Annotations-Modul gegeben. Zusammen mit (falls notwendig) Annotation von Ausreißern, können die neuen Daten genutzt werden, um das Modell zu verbessern.
-
Ergänzend zu der vorher beschriebenen Trainings-Methode kann eine automatische Annotation basierend auf einem 3D-Modell durchgeführt werden. Aufbauend auf 3D-Modellen, 3D Rekonstruktionen oder NeRFs (Neural Radiance Fields) können automatisch Trainingsdaten erzeugt werden. Hierbei wird eine 3D-Darstellung erzeugt, um Bilder aus neuen Perspektiven zu generieren. Da die Pose der 3D-Darstellung bekannt ist, können auch die Annotationen automatisch erzeugt werden. Zusätzlich können Ray-Tracing Methoden genutzt werden, um z. B. neue Lichtverhältnisse zu simulieren.
-
Die 3D-Darstellung einer Stationsumgebung kann verwendet werden, um die für die Erstellung verwendeten Videos automatisch zu kommentieren und die Position und Ausrichtung der Kamera in neuen Bildern in Echtzeit zu bestimmen. Sie kann auch verwendet werden, um das allgemeine Konzept der Station zu erlernen und uns mit Details wie der Anzahl der Sitze in der Station usw. zu versorgen, Aufgaben, die vorher nicht ohne einen umfassenden und zeitaufwändigen menschlichen Annotationsschritt möglich waren.
-
Zu diesem Zweck werden auf unüberwachte Weise die Schlüsselpunkte des Standorts in der 3D-Darstellung bestimmt. Dies basiert auf der 3D-Struktur des Objekts und ist daher in der 2D-Ansicht nicht möglich.
-
Wenn die 3D-Volumendichte δ ∈ ℝ+ ist, dann werden mehrere Kamerapositionen Cpos ∈ ℝ3 und Kamerarichtungen Cdir ∈ ℂ2 abgetastet, um eine 2D-Ansicht des Objekts zu erzeugen. Um die 3D-Schlüsselpunkte der Station, wie bspw. eines Bahnhofs, bestimmen können, werden diese auf die 2D-Abtastung übertragen.
-
Durch die Erzeugung vieler verschiedener Ansichten und die Simulation neuer Lichtverhältnisse können automatisch kommentierte Datensätze erzeugt werden. Auf der Grundlage dieses Datensatzes werden Modelle für die gewünschten Anwendungsfälle trainiert.
-
Eine Anwendung der 3D-Darstellung ist die Bestimmung der Kameraposition relativ zur Umgebung z. B. eines Busbahnhofs. Mit Hilfe des generierten auto-annotierten Datensatzes kann ein neuronales Netz trainiert werden, um die Odometrie der Kamera anhand der Schlüsselpunkte („Keypoints“) zu bestimmen. Dies kann dann für die Navigation in der Umgebung von Haltestellen genutzt werden.
-
Es erfolgt eine Erstellung dieser automatisch beschrifteten Datensätze mit dem Ziel, dass das tiefe neuronale Netz interne Details des Bahnhofs lernt. In diesem Anwendungsfall werden nach dem Zufallsprinzip einige Eckpunkte des Bahnhofs ausgewählt, die von dem neuronalen Netz vorhergesagt werden sollen. So kann das neuronale Netzwerk bei einer neuen und unbekannten Station Details wie die Anzahl der Sitzplätze für die jeweilige Station korrekt vorhersagen.
-
Automatische Anonymisierung:
-
Mit einem weiteren Modul kann eine automatische Anonymisierung von Personen vorgenommen werden. Mithilfe einer Personenerkennung und Bewegungserkennung können Personen aus dem Echtzeit-Kamerabild entfernt werden. Optional kann eine Approximation des Hintergrundes computergestützt automatisiert vorgenommen und auf die anonymisierten Bereiche angewendet werden. Im resultierenden Video ist die Anonymisierung (bis auf die Abwesenheit von Personen) dann kaum zu erkennen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- WO 2020223577 A1 [0003]
- WO 2016174670 A1 [0004]
- US 20190035143 A1 [0005]
- US 11481577 B2 [0006]
