DE102020008165B3

DE102020008165B3 - Merkmalspunktdetektionsvorrichtung und -verfahren zur Detektion von Merkmalspunkten in Bilddaten

Info

Publication number: DE102020008165B3
Application number: DE102020008165.7A
Authority: DE
Inventors: Jens Dekarz
Original assignee: Basler AG
Current assignee: Basler AG
Priority date: 2020-02-12
Filing date: 2020-02-12
Publication date: 2023-02-16
Anticipated expiration: 2040-02-13

Abstract

Merkmalspunktdetektionsvorrichtung (1) zur Detektion von Merkmalspunkten (F) in Bilddaten (B), umfassend:- eine Bilddatenbereitstellungseinheit (2) zum Bereitstellen der Bilddaten (B);- eine Markante-Punkte-Bestimmungseinheit (4) zum Bestimmen markanter Punkte (K) in den Bilddaten (B);- eine Merkmalsbestimmungseinheit (5) zum Bestimmen von zu den markanten Punkten (K) zugehörigen Merkmalen (M), die jeweils eine lokale Umgebung (U) eines markanten Punktes (K) in den Bilddaten (B) beschreiben; und- eine Merkmalspunktbereitstellungseinheit (6) zum Bereitstellen der Merkmalspunkte (F), wobei ein Merkmalspunkt (F) durch die Position eines markanten Punktes (K) in den Bilddaten (B) und die zugehörigen Merkmale (M) repräsentiert wird,wobei die Bilddaten (B) Intensitätsdaten (I) und zugehörige Tiefendaten (D) umfassen und das Bestimmen der markanten Punkte (K) und der zugehörigen Merkmale (M) auf einer lokalen Analyse der Bilddaten (B) in Abhängigkeit von sowohl den Intensitätsdaten (I) als auch den Tiefendaten (D) basiert,wobei die Merkmalsbestimmungseinheit (5) angepasst ist, die Form und/oder Lage der durch die Merkmale (M) zu beschreibenden lokalen Umgebung (U) eines markanten Punktes (K) unter Verwendung der Tiefendaten (D) zu bestimmen,wobei ein von der Merkmalspunktbereitstellungseinheit (6) bereitgestellter Merkmalspunkt (F) zusätzlich durch die Form und/oder Lage der lokalen Umgebung (U) repräsentiert wird,wobei das Bestimmen der Form und/oder Lage der durch die Merkmale (M) zu beschreibenden lokalen Umgebung (U) des markanten Punktes (K) einen Vergleich des Tiefenwertes des markanten Punktes (K) gemäß den Tiefendaten (D) mit den Tiefenwerten von Punkten einer Nachbarschaftsumgebung des markanten Punktes (K) gemäß den Tiefendaten (D) umfasst.

Description

Die Erfindung betrifft eine Merkmalspunktdetektionsvorrichtung und ein Merkmalspunktdetektionsverfahren zur Detektion von Merkmalspunkten in Bilddaten. Die Erfindung betrifft des Weiteren ein Merkmalspunktdetektionssystem, das eine Tiefenkamera zur Aufnahme der Bilddaten und die Merkmalspunktdetektionsvorrichtung zur Detektion von Merkmalspunkten in Bilddaten umfasst, sowie ein Computerprogramm, das Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Merkmalspunktdetektionsverfahren zur Detektion von Merkmalspunkten in Bilddaten auszuführen.
HINTERGRUND DER ERFINDUNG
Verfahren zur Detektion von Merkmalspunkten in Bildern und zu ihrer Verfolgung über Sequenzen von Bildern sind etwa seit der Jahrtausendwende im Einsatz. Ein bekanntes Verfahren dieser Art, das auf der sogenannten Scale Invariant Feature Transform (SIFT) basiert, wird in David G. Lowe, „Object Recognition from Local Scale-Invariant Features“, ICCV, Corfu, Greece, September 1999, beschrieben. Wie die meisten anderen Verfahren auch, umfasst es drei wesentliche Verarbeitungsstufen. Zunächst werden markante Punkte (engl. „key points“) von Objekten in einem oder mehreren Bildern bestimmt. Solche markanten Punkte sind Punkte, die sich möglichst gut in anderen Bildern wiedererkennen lassen. Diese Punkte werden dann jeweils über einen Vektor lokaler Merkmale (engl. „features“) möglichst eindeutig beschrieben. Durch Vergleich der Merkmalsvektoren können in verschiedenen Bildern bestimmte markante Punkte einander zugeordnet bzw. wiedergefunden werden.
Die beschriebenen Verfahren spielen überall da eine große Rolle, wo Szenenpunkte in verschiedenen Bildern wiedergefunden werden müssen. Beispiele hierfür umfassen das bildgestützte Lokalisieren und Greifen von Gegenständen in der Robotik, die Navigation autonomer Fahrzeuge in Umgebungen mit Hindernissen, die Erkennung von Objekten, die Rekonstruktion von dreidimensionalen (3D) Szenen sowie verschiedene 3D Messaufgaben.
Nahezu alle bekannten Verfahren arbeiten auf Basis von einkanaligen Intensitätsbildern, also zum Beispiel auf Grauwertbildern oder auf der Intensitätskomponente von Farbbildern (z.B. dem V-Wert (engl. „value“) des HSV-Farbraums (engl. „hue / saturation / value“). Es existiert aber auch eine überschaubare Anzahl von Arbeiten, die sich mit einer Anwendung auf Farbbilder beschäftigen.
Moderne Time-of-Flight-, ToF, -Kameras (dt. manchmal auch „Lichtflugzeit-Kameras“) stellen neben dem Intensitäts- oder Farbbild zusätzlich Tiefendaten und ggf. weitere Daten wie etwa Konfidenzdaten oder dergleichen zur Verfügung. Diese Daten liefern weitere Informationen, die zur Verbesserung der Detektion und/oder der Verfolgung der Merkmalspunkte verwendet werden können.
Es wäre daher wünschenswert, ein Verfahren zur Detektion von Merkmalspunkten in Bildern und zu ihrer Verfolgung über Sequenzen von Bildern vorzusehen, das zusätzliche Daten, wie Tiefendaten und ggf. Konfidenzdaten, nutzt, um die Detektion und/oder die Verfolgung der Merkmalspunkte zu verbessern.
Luo C. et al., „Overview of Image Matching Based on ORB Algorithm“, in Journal of Physics: IOP Conference Series, Bd. 1237, 2019, offenbart, dass das ORB-Bildmatching von großer Bedeutung im Bereich der Bildverarbeitung ist, die vor allem in der Navigation, der Zielerkennung und -klassifizierung, dem Image Stitching und der Fernerkundungsregistrierung eingesetzt wird. Basierend auf der vorhandenen Literatur zur ORB-Algorithmus-Forschung wird zunächst der klassische ORB-Algorithmus vorgestellt. Dann werden die verschiedenen verbesserten Algorithmen von ORB erläutert und der Leistungsindex des Bildabgleichsalgorithmus auf der Basis von Merkmalspunkten vorgestellt. Abschließend werden die Mängel des ORB-Algorithmus aufgezeigt und die Entwicklungsrichtung des Algorithmus in Aussicht gestellt.
Iqbal M.Z. et al., „Adaptive Fusion-Based 3D Key Point Detection for RGB Point Clouds“, in IEEE International Conference on Image Processing, 2019, S. 3711-3715, offenbart einen neuartigen Merkmalspunkt-Detektor für 3D-RGB-Punktwolken (PC). Der vorgeschlagene Merkmalspunkt-Detektor nutzt sowohl die 3D-Struktur als auch die RGB-Informationen der PC-Daten aus. Merkmalspunkt-Kandidaten werden durch Berechnung der Eigenwerte der Kovarianzmatrix der PC-Strukturinformationen erzeugt. Zusätzlich werden aus den RGB-Informationen die markanten Punkte durch einen effizienten adaptiven Gauß-Differenz-Operator geschätzt. Schließlich werden die beiden resultierenden Sätze von markanten Punkten funsioniert, um die Wiederholbarkeit des 3D-Merkmalspunkt-Detektors zu verbessern.
Kehl W. et al., „Deep Learning of Local RGB-D Patches for 3D Object Detection and 6D Pose Estimation“, in European Conference on Computer Vision, 2016, S. 205-220, offenbart eine 3D-Objekterkennungsmethode, die regressierte Deskriptoren von lokal abgetasteten RGB-D-Feldern für 6D-Voting verwendet. Für die Regression wird ein Faltungs-Autocodierer verwendet, der auf einer großen Sammlung von zufälligen lokalen Flecken trainiert wurde. Beim Testen werden die Deskriptoren der Szenenpatches mit einer Datenbank synthetischer Modellansichts-Patches abgeglichen und 6D-Objektstimmen abgegeben, die anschließend zu verfeinerten Hypothesen gefiltert werden.
Zhao Y. et al., „Combing RGB and Depth Map Features for Human Activity Recognition“, in IEEE Asia Pacific Signal and Information Processing Association Annual Summit and Conference, 2012, S. 1-4, befasst sich mit dem Problem der menschlichen Aktivitätserkennung aus RGB-D-Sensoren, wenn die Skelette nicht verfügbar sind. Die Skelettverfolgung in Kinect SDK funktioniert gut, wenn das menschliche Subjekt der Kamera zugewandt ist und keine Verdeckungen vorhanden sind. In Überwachungsszenarien oder bei der Überwachung von Seniorenheimen ist die Kamera in der Regel höher angebracht als die menschliche Person und es kann zu Verdeckungen kommen. Folglich funktioniert die Skelettverfolgung nicht gut. Bei der RGB-Bild-basierten Aktivitätserkennung ist ein beliebter Ansatz, der mit unübersichtlichem Hintergrund und teilweiser Verdeckung umgehen kann, der interessenspunktbasierte Ansatz. Wenn sowohl RGB- als auch Tiefenkanäle verfügbar sind, kann man immer noch den interessenspunktbasierten Ansatz verwenden. Das Ziel des Artikels ist es, die Leistung verschiedener Methoden zur Extraktion von Interessenpunkten zu vergleichen.
Reynolds M. et al., „Capturing Time of-Flight Data with Confidence“, in IEEE Conference on Computer Vision and Pattern Recognition, 2011, S. 945-952, offenbart, dass Time-of-Flight-Kameras Tiefenmessungen mit hoher Bildrate innerhalb eines begrenzten Abstandsbereichs liefern. Diese Messwerte können extrem verrauscht sein und eindeutige Fehler aufweisen, z.B. wenn Szenen Tiefenunterbrechungen oder Materialien mit geringem Infrarot-Reflexionsvermögen enthalten. Frühere Arbeiten haben die Amplitude jedes Time-of-Flight-Samples als Maß für das Vertrauen behandelt. In dem Beitrag werden die Unzulänglichkeiten dieser gängigen Heuristik aufgezeigt und ein verbessertes Vertrauensmaß pro Pixel unter Verwendung eines mit realen Daten trainierten Random Forest Regressors vorgeschlagen.
Schwarz M. et al., „RGB-D Object Recognition and Pose Estimation Based on Pretrained Convolutional Neural Network Features“, in IEEE International Conference on Robotics and Automation, 2015, S. 1329-1335, offenbart, dass Objekterkennung und Posenschätzung aus RGB-D-Bildern wichtige Aufgaben für Manipulationsroboter sind, die aus Beispielen gelernt werden können. Das Erstellen und Annotieren von Datensätzen für das Lernen ist jedoch teuer. Der Beitrag adressiert dieses Problem mit Transfer-Lernen von tiefen Faltungsneuronalen Netzen (CNN), die für die Bildkategorisierung vortrainiert sind und einen reichhaltigen, semantisch sinnvollen Merkmalsatz liefern. Er bezieht Tiefeninformationen ein, mit denen das CNN nicht trainiert wurde, indem Objekte aus einer kanonischen Perspektive dargestellt und der Tiefenkanal entsprechend der Entfernung vom Objektzentrum eingefärbt wird.
ZUSAMMENFASSUNG DER ERFINDUNG
Der Erfindung liegt die Aufgabe zugrunde, eine Merkmalspunktdetektionsvorrichtung und ein Merkmalspunktdetektionsverfahren zur Detektion von Merkmalspunkten in Bilddaten vorzusehen, die zusätzliche Daten, wie Tiefendaten und ggf. Konfidenzdaten, nutzen, um die Detektion und/oder die Verfolgung der Merkmalspunkte zu verbessern. Des Weiteren liegt der Erfindung die Aufgabe zugrunde, ein Merkmalspunktdetektionssystem bereitzustellen, das eine Tiefenkamera zur Aufnahme der Bilddaten und die Merkmalspunktdetektionsvorrichtung zur Detektion von Merkmalspunkten in Bilddaten umfasst, sowie ein Computerprogramm, das Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Merkmalspunktdetektionsverfahren zur Detektion von Merkmalspunkten in Bilddaten auszuführen.
Gemäß einem ersten Aspekt der Erfindung wird eine Merkmalspunktdetektionsvorrichtung zur Detektion von Merkmalspunkten in Bilddaten vorgesehen, wobei die Merkmalspunktdetektionsvorrichtung umfasst:

- eine Bilddatenbereitstellungseinheit zum Bereitstellen der Bilddaten;
- eine Markante-Punkte-Bestimmungseinheit zum Bestimmen markanter Punkte in den Bilddaten;
- eine Merkmalsbestimmungseinheit zum Bestimmen von zu den markanten Punkten zugehörigen Merkmalen, die jeweils eine lokale Umgebung eines markanten Punktes in den Bilddaten beschreiben; und
- eine Merkmalspunktbereitstellungseinheit zum Bereitstellen der Merkmalspunkte, wobei ein Merkmalspunkt durch die Position eines markanten Punktes in den Bilddaten und die zugehörigen Merkmale repräsentiert wird,

Der Erfindung liegt die Erkenntnis des Erfinders zugrunde, dass die zu den Intensitätsdaten zugehörigen Tiefendaten ebenso wie die Intensitätsdaten strukturelle Informationen über die markanten Punkte und deren lokale Umgebungen enthalten. Diese zusätzlichen Strukturinformationen können vorteilhafterweise verwendet werden, um zum einen das Bestimmen der markanten Punkte robuster zu machen und zum anderen die Beschreibung der lokalen Umgebungen der markanten Punkte weniger verwechselbar zu gestalten.
Wie vorstehend angegeben, ist die Merkmalsbestimmungseinheit angepasst, die Form und/oder Lage der durch die Merkmale zu beschreibenden lokalen Umgebung eines markanten Punktes unter Verwendung der Tiefendaten zu bestimmen.
Bei den bekannten Verfahren zur Detektion von Merkmalspunkten in 2D Bilddaten wird als die durch die Merkmale zu beschreibende lokale Umgebung eines markanten Punktes typischerweise eine rechteckförmige bzw. quadratische Nachbarschaftsumgebung des markanten Punktes verwendet. Eine solche Nachbarschaftsumgebung kann neben Bereichen, die zu demselben Objekt gehören wie der markante Punkt, aber auch Bereiche von anderen Objekten im Hintergrund und/oder im Vordergrund umfassen. in beiden Fällen haben die umfassten Bereiche nichts mit dem Objekt des markanten Punktes zu tun und sollten daher von der Bestimmung der Merkmale ausgeschlossen werden. Daher ist es sinnvoll, die strukturellen Informationen der Tiefendaten zu nutzen, um die Form und/oder Lage der durch die Merkmale zu beschreibenden lokalen Umgebung eines markanten Punktes so zu bestimmen, dass sie möglichst nur Bereiche umfasst, die zu demselben Objekt gehören wie der markante Punkt. Dabei ist es weiterhin bevorzugt, dass ein von der Merkmalspunktbereitstellungseinheit bereitgestellter Merkmalspunkt zusätzlich durch die Form und/oder Lage der lokalen Umgebung repräsentiert wird.
Wie vorstehend angegeben, umfasst das Bestimmen der Form und/oder Lage der durch die Merkmale zu beschreibenden lokalen Umgebung des markanten Punktes einen Vergleich des Tiefwertes des markanten Punktes gemäß den Tiefendaten mit den Tiefenwerten von Punkten einer Nachbarschaftsumgebung des markanten Punktes gemäß den Tiefendaten. Überschreitet die Differenz zwischen dem Tiefenwert des markanten Punktes und dem Tiefenwert eines Punktes der Nachbarschaftsumgebung einen vorgegebenen Schwellenwert, so kann beispielsweise angenommen werden, dass der Punkt der Nachbarschaftsumgebung nicht zu demselben Objekt gehört wie der markante Punkt, so dass er von der Bestimmung der Merkmale ausgeschlossen werden sollte.
Es ist ferner bevorzugt, dass die Bilddaten des Weiteren zu den Tiefendaten zugehörige Konfidenzdaten umfassen, die eine Zuverlässigkeit der Tiefendaten angeben, wobei die Merkmalsbestimmungseinheit angepasst ist, eine Gewichtung der ersten Merkmale im Verhältnis zu den zweiten Merkmalen zu bestimmen, die von der zugehörigen lokalen Konfidenz der Tiefendaten abhängig ist, wobei ein von der Merkmalspunktbereitstellungseinheit bereitgestellter Merkmalspunkt zusätzlich durch die Gewichtung repräsentiert wird. Wie vorstehend beschrieben, geben die Konfidenzdaten eine Zuverlässigkeit der Tiefendaten an. Daher können sie verwendet werden, um die in den ersten Merkmalen und den zweiten Merkmalen enthaltenen Informationen möglichst optimal auszuwerten. Dabei ist es beispielsweise sinnvoll, die zweiten Merkmale stärker zu gewichten, wenn die zugehörigen lokalen Tiefendaten zuverlässig sind, und sie weniger stark zu gewichten, wenn die zugehörigen lokalen Tiefendaten weniger zuverlässig sind.
Es ist bevorzugt, dass die Bilddaten von einer Time-of-Flight-, ToF, -Kamera aufgenommen sind. Die Intensitätsdaten einer ToF-Kamera entsprechen prinzipiell denen einer gewöhnlichen 2D Kamera, beispielsweise dem Grauwertbild einer einkanaligen Kamera oder der Intensitätskomponente des Farbbildes einer mehrkanaligen Kamera, allerdings sind die aufgenommenen Bilddaten durch die kameraeigene Lichtquelle deutlich unabhängiger von den Umgebungsbedingungen. Bereits dies begünstigt eine im Vergleich zu 2D Kameras robustere Detektion der Merkmalspunkte in den Bilddaten sowie deren Zuordnung zu in anderen Bilddaten (z.B. Bilddaten einer Bildsequenz, die zu einem anderen Aufnahmezeitpunkt korrespondieren) detektierten Merkmalspunkten (siehe unten).
Es ist ferner bevorzugt, dass die Markante-Punkte-Bestimmungseinheit angepasst ist, die markanten Punkte in Mischdaten zu bestimmen, die auf einer Mischung der Intensitätsdaten und der Tiefendaten basieren. Dies hat den Vorteil, dass durch die Mischung die Strukturinformationen in den Intensitätsdaten und den Tiefendaten in einer gemeinsamen Größe verknüpft werden können, in der die markanten Punkte besser bestimmbar sind.
Es ist bevorzugt, dass die Bilddaten des Weiteren zu den Tiefendaten zugehörige Konfidenzdaten umfassen, die eine Zuverlässigkeit der Tiefendaten angeben, wobei bei der Mischung eine lokale Gewichtung der Tiefendaten im Verhältnis zu den Intensitätsdaten von der zugehörigen lokalen Konfidenz der Tiefendaten abhängig ist. Da die Konfidenzdaten die Zuverlässigkeit der Tiefendaten angeben, können diese verwendet werden, um die in den Intensitätsdaten und den Tiefendaten enthaltenden Strukturinformationen möglichst optimal auszuwerten. Dabei ist es beispielsweise sinnvoll, die Tiefendaten lokal stärker zu gewichten, wo sie zuverlässig sind, und sie weniger stark zu gewichten, wo sie weniger zuverlässig sind.
Es ist ferner bevorzugt, dass die Markante-Punkte-Bestimmungseinheit angepasst ist, die markanten Punkte in mehreren Auflösungsstufen der Mischdaten zu bestimmen. In vielen Fällen, in denen Verfahren zur Detektion von Merkmalspunkten in Bilddaten zum Einsatz kommen, ist es wünschenswert, dass sich die Merkmalspunkte auch über Sequenzen von Bilddaten mit sich ändernden Auflösungen robust verfolgen lassen. Dies kann in der Erfindung bevorzugt dadurch gewährleistet werden, dass die markanten Punkte in mehreren Auflösungsstufen der Mischdaten bestimmt werden und ggf. die zugehörigen Merkmale für jede dieser Auflösungsstufen bestimmt werden.
Es ist bevorzugt, dass die zu den markanten Punkten zugehörigen Merkmale erste Merkmale und zweite Merkmale umfassen, wobei die ersten Merkmale jeweils eine lokale Umgebung des markanten Punktes in den Intensitätsdaten beschreiben und die zweiten Merkmale jeweils eine lokale Umgebung des markanten Punktes in den Tiefendaten beschreiben. Wie vorstehend beschrieben, enthalten sowohl die Intensitätsdaten als auch die Tiefendaten strukturelle Informationen über die markanten Punkte. Aufgrund ihres unterschiedlichen physikalischen Ursprungs sind die Intensitätsdaten und die Tiefendaten jedoch nicht unmittelbar vergleichbar. Daher ist es sinnvoll, für beide Arten von Daten eigene Merkmale zu bestimmen, durch die die Beschreibung der lokalen Umgebungen der markanten Punkte insgesamt weniger verwechselbar gestaltet werden kann.
Es ist bevorzugt, dass die Merkmalspunktdetektionsvorrichtung des Weiteren eine Vorverarbeitungseinheit zum Vorverarbeiten der Bilddaten umfasst, wobei die Vorverarbeitungseinheit angepasst ist, unzuverlässige lokale Tiefendaten aus anderen lokalen Tiefendaten zu rekonstruieren. Dies kann nötig sein, wenn beispielsweise Bildpunkte des Sensors der ToF-Kamera vollständig gesättigt sind. Die rekonstruieren lokalen Tiefendaten können dann - ebenso wie die zuverlässigen lokalen Tiefendaten - bei der Verarbeitung zur Detektion der Merkmalspunkte in den Bilddaten verwendet werden. Welche lokalen Tiefendaten unzuverlässig sind, kann dabei vorteilhafterweise anhand der zugehörigen lokalen Konfidenzdaten bestimmt werden. Die Rekonstruktion der unzuverlässigen lokalen Tiefendaten kann z.B. durch Interpolation aus benachbarten, zuverlässigen lokalen Tiefendaten erfolgen.
Alternativ ist es bevorzugt, dass die Merkmalspunktdetektionsvorrichtung angepasst ist, unzuverlässige lokale Tiefendaten von der Verarbeitung zur Detektion der Merkmalspunkte in den Bilddaten auszuschließen.
Es ist bevorzugt, dass die Merkmalspunktdetektionsvorrichtung des Weiteren eine Zuordnungseinheit zum Zuordnen von Merkmalspunkten in den Bilddaten zu in anderen Bilddaten detektierten Merkmalspunkten umfasst, wobei die Zuordnung auf einem Vergleich der zu den Merkmalspunkten in den Bilddaten und in den anderen Bilddaten zugehörigen Merkmale sowie, optional, der Form und/oder Lage der lokalen Umgebungen, basiert.
Gemäß einem weiteren Aspekt der Erfindung wird ein Merkmalspunktdetektionssystem zur Detektion von Merkmalspunkten in Bilddaten vorgesehen, wobei das Merkmalspunktdetektionssystem umfasst:

- eine Tiefenkamera zum Aufnehmen der Bilddaten; und
- die Merkmalspunktdetektionsvorrichtung nach einem der Ansprüche 1 bis 10 zur Detektion der Merkmalspunkte in den Bilddaten.

Es ist bevorzugt, dass die Tiefenkamera eine Time-of-Flight-, ToF, -Kamera ist.
Gemäß einem weiteren Aspekt der Erfindung wird ein Merkmalspunktdetektionsverfahren zur Detektion von Merkmalspunkten in Bilddaten vorgesehen, wobei das Merkmalspunktdetektionsverfahren umfasst:

- Bereitstellen der Bilddaten, durch eine Bilddatenbereitstellungseinheit;
- Bestimmen markanter Punkte in den Bilddaten, durch eine Markante-Punkte-Bestimmungseinheit;
- Bestimmen von zu den markanten Punkten zugehörigen Merkmalen, die jeweils eine lokale Umgebung eines markanten Punktes in den Bilddaten beschreiben, durch eine Merkmalsbestimmungseinheit; und
- Bereitstellen der Merkmalspunkte, wobei ein Merkmalspunkt durch die Position eines markanten Punktes in den Bilddaten und die zugehörigen Merkmale repräsentiert wird, durch eine Merkmalspunktbereitstellungseinheit,

Gemäß einem weiteren Aspekt der Erfindung wird ein Computerprogramm vorgesehen, wobei das Computerprogramm Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Merkmalspunktdetektionsverfahren nach Anspruch 13 auszuführen.
Es versteht sich, dass die Merkmalspunktdetektionsvorrichtung nach Anspruch 1, das Merkmalspunktdetektionssystem nach Anspruch 11, das Merkmalspunktdetektionsverfahren nach Anspruch 13, und das Computerprogramm nach Anspruch 14 ähnliche und/oder identische bevorzugte Ausführungsformen, insbesondere wie in den abhängigen Ansprüchen definiert, haben.
Es versteht sich, dass eine bevorzugte Ausführungsform der Erfindung auch jede Kombination der abhängigen Ansprüche mit dem entsprechenden unabhängigen Anspruch sein kann.
Figurenliste
Bevorzugte Ausführungsformen der Erfindung werden im Folgenden unter Bezugnahme auf die beigefügten Figuren näher beschrieben, wobei

1 schematisch und exemplarisch eine Ausführungsform eines Merkmalspunktdetektionssystems zur Detektion von Merkmalspunkten in Bilddaten zeigt,
2 schematisch und exemplarisch die Eigenschaften der Markante-Punkte-Bestimmungseinheit zum Bestimmen der markanten Punkte in der Ausführungsform des Merkmalspunktdetektionssystems zeigt,
3 schematisch und exemplarisch die Eigenschaften der Merkmalsbestimmungseinheit zum Bestimmen der zu den markanten Punkten zugehörigen Merkmale in der Ausführungsform des Merkmalspunktdetektionssystems zeigt,
4 schematisch und exemplarisch die Eigenschaften der Zuordnungseinheit zum Zuordnen von Merkmalspunkten in den Bilddaten zu in anderen Bilddaten detektierten Merkmalspunkten in der Ausführungsform des Merkmalspunktdetektionssystems zeigt,
5 ein Flussdiagram zeigt, das eine Ausführungsform eines Merkmalspunktdetektionsverfahrens zur Detektion von Merkmalspunkten in Bilddaten illustriert.

In den Figuren sind gleiche bzw. sich entsprechende Elemente oder Einheiten jeweils mit gleichen bzw. sich entsprechenden Bezugszeichen versehen. Wenn ein Element oder eine Einheit bereits im Zusammenhang mit einer Figur beschrieben worden ist, wird ggf. im Zusammenhang mit einer anderen Figur auf eine ausführliche Darstellung verzichtet.
Eine Ausführungsform eines Merkmalspunktdetektionssystems 10 zur Detektion von Merkmalspunkten F in Bilddaten B ist schematisch und beispielhaft in 1 gezeigt. Das Merkmalspunktdetektionssystem 10 umfasst eine Tiefenkamera 8, in diesem Beispiel, eine Time-of-Flight-, ToF, -Kamera, zum Aufnehmen der Bilddaten B, wobei die Bilddaten B Intensitätsdaten I, zugehörige Tiefendaten D und, in dieser Ausführungsform, zugehörige Konfidenzdaten C umfassen, und eine Merkmalspunktdetektionsvorrichtung 1 zur Detektion der Merkmalspunkte F in den Bilddaten B.
Die ToF-Kamera 8 umfasst eine kameraeigene Lichtquelle (in der Figur nicht gezeigt), die zu einem Aufnahmezeitpunkt t₀ ein moduliertes Lichtsignal in Richtung einer aufzunehmenden räumlichen Szene 20 aussendet. Diese besteht, in dem gezeigten Beispiel, aus einem Szenenhintergrund (z.B. einer Wand) und zwei davor arrangierten Objekten (hier quaderförmig). Das modulierte Lichtsignal wird von der räumlichen Szene 20 reflektiert und von einem Sensor der ToF-Kamera 8 (in der Figur ebenfalls nicht gezeigt) erfasst. Aus der Laufzeit des ausgesendeten und erfassten modulierten Lichtsignals ermittelt die ToF-Kamera 8 die Tiefendaten D, die zu den Intensitätsdaten I zugehörig sind und die zusammen mit diesen sowie den zugehörigen Konfidenzdaten C ausgegeben werden. Die Konfidenzdaten C geben, wie vorstehend beschrieben, die Zuverlässigkeit der Tiefendaten D an. in der Figur repräsentieren die unterschiedlichen Schraffierungen in den Tiefendaten D unterschiedliche Tiefen der aufgenommenen räumlichen Szene 20.
Die Intensitätsdaten I der ToF-Kamera 8 entsprechen prinzipiell denen einer gewöhnlichen 2D Kamera, beispielsweise dem Grauwertbild einer einkanaligen Kamera oder der Intensitätskomponente des Farbbildes einer mehrkanaligen Kamera, allerdings sind die aufgenommenen Bilddaten B durch die kameraeigene Lichtquelle (nicht gezeigt) deutlich unabhängiger von den Umgebungsbedingungen. Bereits dies begünstigt eine im Vergleich zu 2D Kameras robustere Detektion der Merkmalspunkte F in den Bilddaten B sowie deren Zuordnung zu in anderen Bilddaten B' detektierten Merkmalspunkten F'.
Die Merkmalspunktdetektionsvorrichtung 1 umfasst eine Bilddatenbereitstellungseinheit 2 zum Bereitstellen der Bilddaten B, eine Vorverarbeitungseinheit 3 zum Vorverarbeiten der Bilddaten B, eine Markante-Punkte-Bestimmungseinheit 4 zum Bestimmen markanter Punkte K in den Bilddaten B, eine Merkmalsbestimmungseinheit 5 zum Bestimmen von zu den markanten Punkten K zugehörigen Merkmalen M, eine Merkmalspunktbereitstellungseinheit 6 zum Bereitstellen der Merkmalspunkte F, wobei ein Merkmalspunkt F durch die Position eines markanten Punktes K in den Bilddaten B und die zugehörigen Merkmale M repräsentiert wird, und eine Zuordnungseinheit 7 zum Zuordnen von Merkmalspunkten F in den Bilddaten B zu in anderen Bilddaten B' (z.B. Bilddaten B' einer Bildsequenz, die zu einem anderen Aufnahmezeitpunkt t₁ korrespondieren) detektierten Merkmalspunkten F'. Gemäß der Erfindung basiert das Bestimmen der markanten Punkte K und der zugehörigen Merkmale M auf einer lokalen Analyse der Bilddaten B in Abhängigkeit von sowohl den Intensitätsdaten I als auch den Tiefendaten D. Da die zu den Intensitätsdaten I zugehörigen Tiefendaten D ebenso wie die Intensitätsdaten I strukturelle Informationen über die markanten Punkte K und deren lokale Umgebungen enthalten, können diese zusätzlichen Strukturinformationen vorteilhafterweise verwendet werden, um zum einen das Bestimmen der markanten Punkte K robuster zu machen und zum anderen die Beschreibung der lokalen Umgebungen der markanten Punkte K weniger verwechselbar zu gestalten.
In dieser Ausführungsform ist die Bilddatenbereitstellungseinheit 2 eine Schnittstelle, die die Bilddaten B von der ToF-Kamera 8 empfängt und diese für die weitere Verarbeitung in den Einheiten 3 bis 7 der Merkmalspunktdetektionsvorrichtung 1 bereitstellt. Die Merkmale dieser Einheiten werden im Folgenden unter Bezugnahme auf die 2 bis 4 näher erläutert.
2 zeigt schematisch und exemplarisch die Eigenschaften der Markante-Punkte-Bestimmungseinheit 4 zum Bestimmen der markanten Punkte K in den Bilddaten B in der Ausführungsform des Merkmalspunktdetektionssystems 10. Die Markante-Punkte-Bestimmungseinheit 4 ist angepasst, die markanten Punkte K (in der Figur mit „x” markiert) in Mischdaten MIX zu bestimmen, die auf einer Mischung der Intensitätsdaten I und der Tiefendaten D basieren. Dies hat den Vorteil, dass durch die Mischung die Strukturinformationen in den Intensitätsdaten I und den Tiefendaten D in einer gemeinsamen Größe verknüpft werden können, in der die markanten Punkte K besser bestimmbar sind.
In dieser Ausführungsform ist bei der Mischung eine lokale Gewichtung der Tiefendaten D im Verhältnis zu den Intensitätsdaten I von der zugehörigen lokalen Konfidenz C der Tiefendaten D abhängig. Da die Konfidenzdaten C die Zuverlässigkeit der Tiefendaten D angeben, können diese verwendet werden, um die in den Intensitätsdaten I und den Tiefendaten D enthaltenden Strukturinformationen möglichst optimal auszuwerten. Dabei ist es beispielsweise sinnvoll, die Tiefendaten D lokal stärker zu gewichten, wo sie zuverlässig sind, und sie weniger stark zu gewichten, wo sie weniger zuverlässig sind.
In einer vorteilhaften Realisierung ergibt sich der Mischwert mix eines Bildpunktes in den Mischdaten MIX aus dem Intensitätswert i des Bildpunktes in den Intensitätsdaten I und dem zugehörigen Tiefenwert d des Bildpunktes in den Tiefendaten D wie folgt: $m i x = w_{i} \cdot | i | + w_{d} \cdot | d |$
wobei die Gewichte w_i und w_d den lokalen Signal-Rausch-Abstand (SNR) der Intensitätsdaten I und der Tiefendaten D beschreiben.
Der SNR wird für die Intensitätsdaten I hauptsächlich durch das Photonenrauschen bestimmt, so dass w_i vorteilhafterweise zu: $w_{i} ~ \sqrt{i}$
gesetzt werden kann. Im Gegensatz dazu folgt der SNR der Tiefendaten unmittelbar aus den Konfidenzdaten C, vorteilhafterweise zu: $w_{d} ~ c$
wobei c den Konfidenzwert des Bildpunktes in den Konfidenzdaten C angibt.
In einer Variante der Ausführungsform ist die Markante-Punkte-Bestimmungseinheit 4 angepasst, die markanten Punkte K in mehreren Auflösungsstufen der Mischdaten MIX zu bestimmen. In vielen Fällen, in denen Verfahren zur Detektion von Merkmalspunkten in Bilddaten zum Einsatz kommen, ist es wünschenswert, dass sich die Merkmalspunkte auch über Sequenzen von Bilddaten mit sich ändernden Auflösungen robust verfolgen lassen. Dies kann in der Erfindung bevorzugt dadurch gewährleistet werden, dass die markanten Punkte K in mehreren Auflösungsstufen der Mischdaten MIX bestimmt werden und ggf. die zugehörigen Merkmale M für jede dieser Auflösungsstufen bestimmt werden. Dazu wird z.B. ein sogenannter Skalenraum der Intensitätsdaten I, der Tiefendaten D und der Konfidenzdaten K bestimmt. Die Mischdaten MIX werden dann auf jeder Skalenstufe der Skalenräume gemäß den Gleichungen (1) bis (3) bestimmt.
In einer vorteilhaften Realisierung, die auf einer Abwandlung des SiFT-Verfahrens basiert (siehe David G. Lowe, 1999, ebd.), ist die Skalenraumdarstellung der Intensitätsdaten I und der Tiefendaten D zweiteilig und umfasst einen Gauß-Skalenraum und einen daraus abgeleiteten Differenz-von-Gauß-Skalenraum (engl. „difference of Gaussian“). Die Differenz-von-Gauß-Skalenräume der Intensitätsdaten I und der Tiefendaten D werden auf jeder Skalenstufe gemäß den Gleichungen (1) bis (3) verknüpft.
Die Bestimmung der markanten Punkte K kann dann analog zum SiFT-Verfahren erfolgen. Dazu werden z.B. auf jeder Auflösungsstufe der Mischdaten MIX die Maxima und Minima gesucht und deren Stärke sowie Vorzugsrichtung bestimmt. Letzteres kann beispielsweise dadurch erfolgen, dass die Orientierung der markanten Punkte K in einem Histogramm der lokalen Bildgradientenorientierungen bestimmt wird. Die Stärken der Maxima und Minima können in einem optionalen zusätzlichen Filterschritt dazu verwendet werden, die markanten Punkte K auf möglichst starke - und damit möglichst aussagekräftige - Maxima und Minima zu beschränken. Mit Hilfe einer geeigneten Interpolation kann dann die Position ggf. weiterer verbessert werden. Beispielsweise kann die Position eines auf einer niedrigen Auflösungsstufe der Mischdaten MIX gefundenen markanten Punktes K durch Interpolation mit Hilfe höherer Auflösungsstufen der Mischdaten MIX weiter verbessert werden.
3 zeigt schematisch und exemplarisch die Eigenschaften der Merkmalsbestimmungseinheit 5 zum Bestimmen der zu den markanten Punkten K zugehörigen Merkmale M in der Ausführungsform des Merkmalspunktdetektionssystems 10. in dieser Ausführungsform umfassen die zu den markanten Punkten K zugehörigen Merkmale M erste Merkmale M₁ und zweite Merkmale M₂, wobei die ersten Merkmale M₁ jeweils eine lokale Umgebung U des markanten Punktes K in den Intensitätsdaten I beschreiben und die zweiten Merkmale M₂ jeweils eine lokale Umgebung U des markanten Punktes K in den Tiefendaten D beschreiben. Wie vorstehend beschrieben, enthalten sowohl die Intensitätsdaten I als auch die Tiefendaten D strukturelle Informationen über die markanten Punkte K. Aufgrund ihres unterschiedlichen physikalischen Ursprungs sind die Intensitätsdaten I und die Tiefendaten D jedoch nicht unmittelbar vergleichbar. Daher ist es sinnvoll, für beide Arten von Daten eigene Merkmale M₁, M₂ zu bestimmen, durch die die Beschreibung der lokalen Umgebungen U der markanten Punkte K insgesamt weniger verwechselbar gestaltet werden kann.
Als die ersten und zweiten Merkmale M₁, M₂ können beispielsweise lokale Bildgradienten oder dergleichen verwendet werden. So wird etwa beim SIFT-Verfahren die lokale Umgebung U eines markanten Punktes K in 4x4 (insgesamt also 16) Teilfelder unterteilt und für jedes dieser Teilfelder wird die Richtung des Bildgradienten bestimmt. Die 16 Gradientenrichtungen werden dann in einem Merkmalsvektor zusammengefasst, der die lokale Umgebung U des markanten Punktes beschreibt. (Hierbei erfolgt in der Regel noch eine Gewichtung mit einer Gauß-Funktion, so dass Teilfelder, die näher an der Position des markanten Punktes K liegen, stärker gewichtet werden als weiter entfernte Teilfelder.) In der vorliegenden Erfindung kann eine solche beispielhafte Beschreibung der lokalen Umgebung U eines markanten Punktes K sowohl für die Intensitätsdaten I (Merkmale M₁) also auch für die Tiefendaten D (Merkmale M₂) vorgenommen werden.
In dieser Ausführungsform ist die Merkmalsbestimmungseinheit 5 angepasst, die Form der durch die Merkmale M zu beschreibenden lokalen Umgebung U eines markanten Punktes K unter Verwendung der Tiefendaten D zu bestimmen. Bei den bekannten Verfahren zur Detektion von Merkmalspunkten in 2D Bilddaten wird als die durch die Merkmale M zu beschreibende lokale Umgebung eines markanten Punktes K typischerweise eine rechteckförmige bzw. quadratische Nachbarschaftsumgebung N des markanten Punktes K - ggf. entsprechend der Orientierung des markanten Punktes K ausgerichtet - verwendet. Eine solche Nachbarschaftsumgebung N kann neben Bereichen, die zu demselben Objekt gehören wie der markante Punkt K (in der Figur das größere quaderförmige Objekt), aber auch Bereiche von anderen Objekten im Hintergrund (in der 1 die Wand) und/oder im Vordergrund umfassen. in beiden Fällen haben die umfassten Bereiche nichts mit dem Objekt des markanten Punktes K zu tun und sollten daher von der Bestimmung der Merkmale M ausgeschlossen werden. Daher ist es sinnvoll, die strukturellen Informationen der Tiefendaten D zu nutzen, um die Form der durch die Merkmale M zu beschreibenden lokalen Umgebung U eines markanten Punktes K so zu bestimmen, dass sie möglichst nur Bereiche umfasst, die zu demselben Objekt gehören wie der markante Punkt K (in der Figur der gepunktete Bereich der Nachbarschaftsumgebung N). Ein von der Merkmalspunktbereitstellungseinheit 6 bereitgestellter Merkmalspunkt F wird in dieser Ausführungsform zusätzlich durch die Form der lokalen Umgebung U repräsentiert.
In einer vorteilhaften Realisierung umfasst das Bestimmen der Form der durch die Merkmale M zu beschreibenden - ggf. entsprechend der Orientierung des markanten Punktes K ausgerichteten - lokalen Umgebung U des markanten Punktes K einen Vergleich des Tiefenwertes d_k des markanten Punktes K gemäß den Tiefendaten D mit den Tiefen d_n von Punkten n einer Nachbarschaftsumgebung N des markanten Punktes K gemäß den Tiefendaten D. Überschreitet der Betrag der Differenz zwischen dem Tiefenwert d_k des markanten Punktes K und dem Tiefenwert d_n eines Punktes n der Nachbarschaftsumgebung N einen vorgegebenen Schwellenwert T, so kann beispielsweise angenommen werden, dass der Punkt n der Nachbarschaftsumgebung N nicht zu demselben Objekt gehört wie der markante Punkt K, so dass er von der Bestimmung der Merkmale M ausgeschlossen werden sollte. Mathematisch kann man dies so ausdrücken, dass eine Maske M_n wie folgt bestimmt wird: $M_{n} = {\begin{matrix} | d_{k} - d_{n} | < T & ⋮ & 1 \\ sonst & ⋮ & 0 \end{matrix}$
Die Maske M_n sagt aus, ob ein Punkt n der Nachbarschaftsumgebung N für die Bestimmung der Merkmale M relevant ist oder nicht, und definiert somit die Form der lokalen Umgebung U. Der Schwellwert T legt dabei die Trennschärfe fest. Die Form der lokalen Umgebung U beschreibt eine weitere Eigenschaft des markanten Punktes K und repräsentiert damit zusätzlich den Merkmalspunkt F. Somit kann ein Merkmalspunkt F nun durch die Position eines markanten Punktes K in den Bilddaten B, die zugehörigen Merkmale M₁ (Intensitätsmerkmale) und M₂ (Tiefenmerkmale) sowie die Form der lokalen Umgebung U repräsentiert werden.
Wie vorstehend beschrieben, umfassen die Bilddaten B des Weiteren zu den Tiefendaten D zugehörige Konfidenzdaten C, die eine Zuverlässigkeit der Tiefendaten D angeben. Die Merkmalsbestimmungseinheit 4 ist in dieser Ausführungsform angepasst, eine Gewichtung der ersten Merkmale M₁ im Verhältnis zu den zweiten Merkmalen M₂ zu bestimmen, die von der zugehörigen lokalen Konfidenz C der Tiefendaten D abhängig ist, wobei ein von der Merkmalspunktbereitstellungseinheit 6 bereitgestellter Merkmalspunkt F zusätzlich durch die Gewichtung repräsentiert wird. Wie vorstehend beschrieben, geben die Konfidenzdaten C eine Zuverlässigkeit der Tiefendaten D an. Daher können sie verwendet werden, um die in den ersten Merkmalen M₁ und den zweiten Merkmalen M₂ enthaltenen Informationen möglichst optimal auszuwerten. Dabei ist es beispielsweise sinnvoll, die zweiten Merkmale M₂ stärker zu gewichten, wenn die zugehörigen lokalen Tiefendaten D zuverlässig sind, und sie weniger stark zu gewichten, wenn die zugehörigen lokalen Tiefendaten D weniger zuverlässig sind.
In einer vorteilhaften Realisierung ergeben sich das Gewicht w₁ der ersten Merkmale M₁ und das Gewicht w₂ der zweiten Merkmale analog zu den Gleichungen (1) und (2) wie folgt: $\begin{matrix} w_{1} = \sum \sqrt{i_{n}} & f \ddot{u} r n \in (M_{n} = 1) \end{matrix}$
$\begin{matrix} w_{2} = \sum c_{n} & f \ddot{u} r n \in (M_{n} = 1) \end{matrix}$
Auch der lokalen Umgebung U kann ein Gewicht w_u zugeordnet werden. Da die Maske M_n weitgehend rauschunempfindlich ist, kann hierfür das Gewicht als konstante Größe k angesetzt werden: $w_{u} = k$
Die Gesamtbeschreibung eines Merkmalspunkts F setzt sich nun aus den Merkmalen M₁ (Intensitätsmerkmale) und M₂ (Tiefenmerkmale) sowie der Form der lokalen Umgebung U und den Gewichten w₁, w₂ und w_u zusammen.
Unter Bezugnahme wieder auf 1, ist die Vorverarbeitungseinheit 3 angepasst, unzuverlässige lokale Tiefendaten D aus anderen lokalen Tiefendaten D zu rekonstruieren. Dies kann nötig sein, wenn beispielsweise Bildpunkte des Sensors der ToF-Kamera 8 vollständig gesättigt sind. Die rekonstruieren lokalen Tiefendaten D können dann - ebenso wie die zuverlässigen lokalen Tiefendaten D - bei der Verarbeitung zur Detektion der Merkmalspunkte F in den Bilddaten B verwendet werden. Welche lokalen Tiefendaten D unzuverlässig sind, kann dabei vorteilhafterweise anhand der zugehörigen lokalen Konfidenzdaten C bestimmt werden. Die Rekonstruktion der unzuverlässigen lokalen Tiefendaten D erfolgt hier durch Interpolation aus benachbarten, zuverlässigen lokalen Tiefendaten D.
Als Alternative zu der Rekonstruktion unzuverlässiger lokaler Tiefendaten D ist es in dieser Ausführungsform des Merkmalspunktdetektionssystems 10 aber auch möglich, unzuverlässige lokale Tiefendaten D von der Verarbeitung zur Detektion der Merkmalspunkte F in den Bilddaten B auszuschließen.
4 zeigt schematisch und exemplarisch die Eigenschaften der Zuordnungseinheit 7 zum Zuordnen von Merkmalspunkten F in den Bilddaten B zu in anderen Bilddaten B' (z.B. Bilddaten B' einer Bildsequenz, die zu einem anderen Aufnahmezeitpunkt t₁ korrespondieren; vgl. 1) detektierten Merkmalspunkten F' in der Ausführungsform des Merkmalspunktdetektionssystems 10. Die Zuordnung basiert auf einem Vergleich der zu den Merkmalspunkten F bzw. F' in den Bilddaten B und in den anderen Bilddaten B' zugehörigen Merkmale M bzw. M' sowie, optional, der Form der lokalen Umgebungen U bzw. U'.
In einer vorteilhaften Realisierung wird eine Kostenfunktion F bestimmt, die beispielsweise eine Summe der gewichteten euklidische Abstände der Merkmale M₁ und M₁ (Intensitätsmerkmale) sowie M₂ und M₂' (Tiefenmerkmale) und der lokalen Umgebungen U und U' umfasst: $E = \frac{w_{1} + w_{1}^{'}}{2} ‖ M_{1} - M_{1}^{'} ‖ + \frac{w_{2} + w_{2}^{'}}{2} ‖ M_{2} - M_{2}^{'} ‖ + \frac{w_{u} + w_{u}^{'}}{2} ‖ U - U' ‖$
Im Folgenden wird exemplarisch eine Ausführungsform eines Merkmalspunktdetektionsverfahrens zur Detektion von Merkmalspunkten F in Bilddaten B unter Bezugnahme auf ein Flussdiagramm beschrieben, das in 5 gezeigt ist. in dieser Ausführungsform wird das Merkmalspunktdetektionsverfahren mittels des schematisch und exemplarisch in der 1 gezeigten Merkmalspunktdetektionssystems 10, insbesondere, mittels der von diesem umfassten Merkmalspunktdetektionsvorrichtung 1 ausgeführt.
In Schritt S101 werden die Bilddaten B bereitgestellt, wobei die Bilddaten B Intensitätsdaten I und zugehörige Tiefendaten D umfassen. Dies geschieht in diesem Beispiel mittels der Bilddatenbereitstellungseinheit 2.
In Schritt S102 werden die Bilddaten B vorverarbeitet, wobei unzuverlässige lokale Tiefendaten D aus anderen lokalen Tiefendaten D rekonstruiert werden. Dies geschieht in diesem Beispiel mittels der Vorverarbeitungseinheit 3.
In Schritt S103 werden markante Punkte K in den Bilddaten B bestimmt. Dies geschieht in diesem Beispiel mittels der Markante-Punkte-Bestimmungseinheit 4.
In Schritt S104 werden zu den markanten Punkten K zugehörige Merkmale M bestimmt, die jeweils eine lokale Umgebung U eines markanten Punktes K in den Bilddaten B beschreiben. Dies geschieht in diesem Beispiel mittels der Merkmalsbestimmungseinheit 5.
In Schritt S105 werden die Merkmalspunkte F bereitgestellt, wobei ein Merkmalspunkt durch die Position eines markanten Punktes K in den Bilddaten B und die zugehörigen Merkmale M repräsentiert wird. Dies geschieht in diesem Beispiel mittels der Merkmalspunktbereitstellungseinheit 6.
In Schritt S106 werden Merkmalspunkte F in den Bilddaten B zu in anderen Bilddaten B' detektierten Merkmalspunkten F' zugeordnet, wobei die Zuordnung auf einem Vergleich der zu den Merkmalspunkten F, F' in den Bilddaten B und in den anderen Bilddaten B' zugehörigen Merkmale M, M' basiert. Dies geschieht in diesem Beispiel mittels der Zuordnungseinheit 7.
In den beiden Schritten S103 und S104 basiert das Bestimmen der markanten Punkte K und der zugehörigen Merkmale M auf einer lokalen Analyse der Bilddaten B in Abhängigkeit von sowohl den Intensitätsdaten I als auch den Tiefendaten D.
Vorgänge wie das Bereitstellen der Bilddaten, das Bestimmen markanter Punkte in den Bilddaten, das Bestimmen der zu den markanten Punkten zugehörigen Merkmale, et cetera, die von einer oder mehreren Einheiten oder Vorrichtungen durchgeführt werden, können auch von einer anderen Anzahl an Einheiten oder Vorrichtungen durchgeführt werden. Diese Vorgänge können als Programmcode eines Computerprogramms und/oder als entsprechende Hardware implementiert sein.
Ein Computerprogramm kann auf einem geeigneten Medium gespeichert und/oder verteilt werden, wie beispielsweise einem optischen Speichermedium oder einem Festkörperspeichermedium, das zusammen mit oder als Teil anderer Hardware vertrieben wird. Das Computerprogramm kann aber auch in anderen Formen vertrieben werden, beispielsweise über das Internet oder andere Telekommunikationssysteme.
Während die Bilddatenbereitstellungseinheit 2 in der in den 1 bis 4 gezeigten Ausführungsform des Merkmalspunktdetektionssystems 10 eine Schnittstelle ist, die die Bilddaten B von der ToF-Kamera 8 empfängt und diese für die weitere Verarbeitung in den Einheiten 3 bis 7 der Merkmalspunktdetektionsvorrichtung 1 bereitstellt, kann die Bilddatenbereitstellungseinheit 2 in anderen Ausführungsformen zusätzlich oder alternativ auch anders ausgestaltet sein. Beispielsweise kann die Bilddatenbereitstellungseinheit 2 eine Schnittstelle sein, die die Bilddaten B von einer Speichereinheit, z.B. einem nicht-flüchtigen Speicher wie etwa einer Festplatte, einem Festspeicher oder dergleichen, empfängt oder diese von einem Server über ein Netzwerk, z.B. ein lokales Netzwerk oder das Internet, erhält.
In der in den 1 bis 4 gezeigten Ausführungsform des Merkmalspunktdetektionssystems 10 werden die Bilddaten B, die die Intensitätsdaten I, die Tiefendaten D und die Konfidenzdaten C umfassen, mit der ToF-Kamera 8 aufgenommen. in anderen Ausführungsformen kann statt der ToF-Kamera 8 auch eine andere Art von Tiefenkamera, z.B. eine LIDAR-Kamera (engl. „light detection and ranging“), verwendet werden. Ferner ist es möglich, dass ein Teil der Bilddaten B oder alle Bilddaten B auf andere Weise erzeugt werden. Beispielsweise können die Intensitätsdaten I mit einer gewöhnlichen 2D Kamera, etwa als Grauwertbild einer einkanaligen Kamera oder als Intensitätskomponente des Farbbildes einer mehrkanaligen Kamera, aufgenommen werden und die Tiefendaten D können mit einem anderen Verfahren zur Tiefenerfassung, z.B. einem Structured Light-Verfahren, einem Stereo-Matching-Verfahren oder dergleichen, erzeugt werden. Die Intensitätsdaten I und die Tiefendaten D müssen also nicht notwendigerweise von einer einzigen Kamera bzw. einem einzigen Sensor stammen und die Tiefendaten D können in unterschiedlichen Formaten, z.B. als Tiefenbild, als 3D Punktwolke, in einer Gitternetzdarstellung oder dergleichen, vorliegen. Je nach Ausführung der Merkmalspunktdetektion kann es dann notwendig sein, die Tiefendaten D in bekannter Weise in ein anderes Format, z.B. ein Bildformat, umzuwandeln. Entsprechendes gilt auch für die Konfidenzdaten C. Während diese in der in den 1 bis 4 gezeigten Ausführungsform des Merkmalspunktdetektionssystems 10 direkt von der ToF-Kamera 8 geliefert werden, können sie in anderen Ausführungsformen beispielsweise auch aus den Intensitätsdaten I und/oder den Tiefendaten D geschätzt werden, z.B. durch eine Zeitreihenbetrachtung oder mit Hilfe von Wissen über die Funktionsweise und das Messprinzip, mit denen die Intensitätsdaten I und/oder die Tiefendaten D ermittelt werden.
In der in den 1 bis 4 gezeigten Ausführungsform des Merkmalspunktdetektionssystems 10 ist die Vorverarbeitungseinheit 3 angepasst, unzuverlässige lokale Tiefendaten D aus anderen lokalen Tiefendaten D zu rekonstruieren. Sie kann zusätzlich aber auch noch zur Ausführung anderer Vorverarbeitungsschritte angepasst sein. Hierzu zählen beispielsweise Schritte zur Beseitigung von Bildfehlern mit Hilfe einer Verzeichniskorrektur, einer Korrektur von Pixelfehlern, einer Rauschunterdrückung, einer Linearitätskorrektur, einer Normierung von Kontrast und Helligkeit oder dergleichen. in anderen Ausführungsformen kann die Vorverarbeitungseinheit 3 auch die Erzeugung der Intensitätsdaten aus Farbdaten umfassen, beispielsweise durch Transformation von Daten des RGB-Farbraums in den HSV-Farbraum. In diesem Fall können die Bilddatenbereitstellungseinheit 2 und die Vorverarbeitungseinheit 3 vorzugsweise in einer gemeinsamen Einheit ausgeführt sein.
In der in den 1 bis 4 gezeigten Ausführungsform des Merkmalspunktdetektionssystems 10 ist die Merkmalsbestimmungseinheit 5 angepasst, die Form der durch die Merkmale M zu beschreibenden lokalen Umgebung U eines markanten Punktes K unter Verwendung der Tiefendaten D zu bestimmen. in anderen Ausführungsformen kann die Merkmalsbestimmungseinheit 5 zusätzlich oder alternativ auch ausgestaltet sein, die Lage der durch die Merkmale M zu beschreibenden lokalen Umgebung U eines markanten Punktes K unter Verwendung der Tiefendaten D zu bestimmen. Beispielsweise kann die Form der lokalen Umgebung U immer gleich gewählt werden, aber ihre Lage relativ zu der Position des markanten Punktes K wird so gewählt, dass sie zu einen möglichst großen Teil auf dem Objekt des markanten Punktes K zu liegen kommt. in dem in der 3 gezeigten Beispiel könnte dies etwa dadurch erreicht werden, dass die Nachbarschaftsumgebung N als lokale Umgebung U so gelegt wird, dass sie mit ihrer linken oberen Ecke an dem markanten Punkt K zum Liegen kommt.
In der in den 1 bis 4 gezeigten Ausführungsform des Merkmalspunktdetektionssystems 10 werden die Eigenschaften der Markante-Punkte-Bestimmungs-einheit 4 und der Merkmalsbestimmungseinheit 5 für eine vorteilhafte Realisierung beschrieben, die auf einer Abwandlung des SiFT-Verfahrens (siehe David G. Lowe, 1999, ebd.) basiert. Andere vorteilhafte Realisierungen können auch auf Abwandlungen anderer bekannter Merkmalspunktdetektionsverfahren basieren, beispielsweise dem SURF-Verfahren (siehe Herbert Bay et al., „SURF: Speeded Up Robust Features“, ECCV, Graz, Austria, May 2006) oder dem ORB-Verfahren (siehe Chuan Luo et al., „Overview of Image Matching based on ORB Algorithm“, ICSP, Trondheim, Norway, Juli-August 2019), oder sie können auf bisher nicht bekannten Merkmalspunktverfahren basieren, in denen zusätzlich zu den Intensitätsdaten I Tiefendaten D und ggf. Konfidenzdaten C wie beschrieben zum Einsatz kommen.
Zusammengefasst wurde eine Merkmalspunktdetektionsvorrichtung zur Detektion von Merkmalspunkten in Bilddaten beschrieben. Die Merkmalspunktdetektionsvorrichtung umfasst: eine Bilddatenbereitstellungseinheit zum Bereitstellen der Bilddaten; eine Markante-Punkte-Bestimmungseinheit zum Bestimmen markanter Punkte in den Bilddaten; eine Merkmalsbestimmungseinheit zum Bestimmen von zu den markanten Punkten zugehörigen Merkmalen, die jeweils eine lokale Umgebung eines markanten Punktes in den Bilddaten beschreiben; und eine Merkmalspunktbereitstellungseinheit zum Bereitstellen der Merkmalspunkte, wobei ein Merkmalspunkt durch die Position eines markanten Punktes in den Bilddaten und die zugehörigen Merkmale repräsentiert wird. Die Bilddaten umfassen Intensitätsdaten und zugehörige Tiefendaten und das Bestimmen der markanten Punkte und der zugehörigen Merkmale basiert auf einer lokalen Analyse der Bilddaten in Abhängigkeit von sowohl den Intensitätsdaten als auch den Tiefendaten, wobei die Merkmalsbestimmungseinheit angepasst ist, die Form und/oder Lage der durch die Merkmale zu beschreibenden lokalen Umgebung eines markanten Punktes unter Verwendung der Tiefendaten zu bestimmen, wobei ein von der Merkmalspunktbereitstellungseinheit bereitgestellter Merkmalspunkt zusätzlich durch die Form und/oder Lage der lokalen Umgebung repräsentiert wird, wobei das Bestimmen der Form und/oder Lage der durch die Merkmale zu beschreibenden lokalen Umgebung des markanten Punktes einen Vergleich des Tiefenwertes des markanten Punktes gemäß den Tiefendaten mit den Tiefenwerten von Punkten einer Nachbarschaftsumgebung des markanten Punktes gemäß den Tiefendaten umfasst.

Claims

Merkmalspunktdetektionsvorrichtung (1) zur Detektion von Merkmalspunkten (F) in Bilddaten (B), umfassend: - eine Bilddatenbereitstellungseinheit (2) zum Bereitstellen der Bilddaten (B); - eine Markante-Punkte-Bestimmungseinheit (4) zum Bestimmen markanter Punkte (K) in den Bilddaten (B); - eine Merkmalsbestimmungseinheit (5) zum Bestimmen von zu den markanten Punkten (K) zugehörigen Merkmalen (M), die jeweils eine lokale Umgebung (U) eines markanten Punktes (K) in den Bilddaten (B) beschreiben; und - eine Merkmalspunktbereitstellungseinheit (6) zum Bereitstellen der Merkmalspunkte (F), wobei ein Merkmalspunkt (F) durch die Position eines markanten Punktes (K) in den Bilddaten (B) und die zugehörigen Merkmale (M) repräsentiert wird, wobei die Bilddaten (B) Intensitätsdaten (I) und zugehörige Tiefendaten (D) umfassen und das Bestimmen der markanten Punkte (K) und der zugehörigen Merkmale (M) auf einer lokalen Analyse der Bilddaten (B) in Abhängigkeit von sowohl den Intensitätsdaten (I) als auch den Tiefendaten (D) basiert, wobei die Merkmalsbestimmungseinheit (5) angepasst ist, die Form und/oder Lage der durch die Merkmale (M) zu beschreibenden lokalen Umgebung (U) eines markanten Punktes (K) unter Verwendung der Tiefendaten (D) zu bestimmen, wobei ein von der Merkmalspunktbereitstellungseinheit (6) bereitgestellter Merkmalspunkt (F) zusätzlich durch die Form und/oder Lage der lokalen Umgebung (U) repräsentiert wird, wobei das Bestimmen der Form und/oder Lage der durch die Merkmale (M) zu beschreibenden lokalen Umgebung (U) des markanten Punktes (K) einen Vergleich des Tiefenwertes des markanten Punktes (K) gemäß den Tiefendaten (D) mit den Tiefenwerten von Punkten einer Nachbarschaftsumgebung des markanten Punktes (K) gemäß den Tiefendaten (D) umfasst.
Merkmalspunktdetektionsvorrichtung (1) nach Anspruch 1, wobei die Bilddaten (B) von einer Time-of-Flight-, ToF, -Kamera (8) aufgenommen sind.
Merkmalspunktdetektionsvorrichtung (1) nach Anspruch 1 oder 2, wobei die Markante-Punkte-Bestimmungseinheit (4) angepasst ist, die markanten Punkte (K) in Mischdaten (MIX) zu bestimmen, die auf einer Mischung der Intensitätsdaten (I) und der Tiefendaten (D) basieren.
Merkmalspunktdetektionsvorrichtung (1) nach Anspruch 3, wobei die Bilddaten (B) des Weiteren zu den Tiefendaten (D) zugehörige Konfidenzdaten (C) umfassen, die eine Zuverlässigkeit der Tiefendaten (D) angeben, wobei bei der Mischung eine lokale Gewichtung der Tiefendaten (D) im Verhältnis zu den Intensitätsdaten (I) von der zugehörigen lokalen Konfidenz (C) der Tiefendaten (D) abhängig ist.
Merkmalspunktdetektionsvorrichtung (1) nach Anspruch 3 oder 4, wobei die Markante-Punkte-Bestimmungseinheit (4) angepasst ist, die markanten Punkte (K) in mehreren Auflösungsstufen der Mischdaten (MIX) zu bestimmen.
Merkmalspunktdetektionsvorrichtung (1) nach einem der Ansprüche 1 bis 5, wobei die zu den markanten Punkten (K) zugehörigen Merkmale (M) erste Merkmale (M₁) und zweite Merkmale (M₂) umfassen, wobei die ersten Merkmale (M₁) jeweils eine lokale Umgebung (U) des markanten Punktes (K) in den Intensitätsdaten (I) beschreiben und die zweiten Merkmale (M₂) jeweils eine lokale Umgebung (U) des markanten Punktes (K) in den Tiefendaten (D) beschreiben.
Merkmalspunktdetektionsvorrichtung (1) nach einem der Ansprüche 1 bis 6, wobei die Bilddaten (B) des Weiteren zu den Tiefendaten (D) zugehörige Konfidenzdaten (C) umfassen, die eine Zuverlässigkeit der Tiefendaten (D) angeben, wobei die Merkmalsbestimmungseinheit (5) angepasst ist, eine Gewichtung der ersten Merkmale (M₁) im Verhältnis zu den zweiten Merkmalen (M₂) zu bestimmen, die von der zugehörigen lokalen Konfidenz (C) der Tiefendaten (D) abhängig ist, wobei ein von der Merkmalspunktbereitstellungseinheit (6) bereitgestellter Merkmalspunkt (F) zusätzlich durch die Gewichtung repräsentiert wird.
Merkmalspunktdetektionsvorrichtung (1) nach einem der Ansprüche 1 bis 7, des Weiteren umfassend: - eine Vorverarbeitungseinheit (3) zum Vorverarbeiten der Bilddaten (B), wobei die Vorverarbeitungseinheit (3) angepasst ist, unzuverlässige lokale Tiefendaten (D) aus anderen lokalen Tiefendaten (D) zu rekonstruieren.
Merkmalspunktdetektionsvorrichtung (1) nach einem der Ansprüche 1 bis 8, wobei die Merkmalspunktdetektionsvorrichtung (1) angepasst ist, unzuverlässige lokale Tiefendaten (D) von der Verarbeitung zur Detektion der Merkmalspunkte (F) in den Bilddaten (B) auszuschließen.
Merkmalspunktdetektionsvorrichtung (1) nach einem der Ansprüche 1 bis 9, des Weiteren umfassend: - eine Zuordnungseinheit (7) zum Zuordnen von Merkmalspunkten (F) in den Bilddaten (B) zu in anderen Bilddaten (B') detektierten Merkmalspunkten (F'), wobei die Zuordnung auf einem Vergleich der zu den Merkmalspunkten (F, F') in den Bilddaten (B) und in den anderen Bilddaten (B') zugehörigen Merkmale (M, M') sowie, optional, der Form und/oder Lage der lokalen Umgebungen (U, U'), basiert.
Merkmalspunktdetektionssystem (10) zur Detektion von Merkmalspunkten (F) in Bilddaten (B), umfassend: - eine Tiefenkamera (8) zum Aufnehmen der Bilddaten (B); und - die Merkmalspunktdetektionsvorrichtung (1) nach einem der Ansprüche 1 bis 10 zur Detektion der Merkmalspunkte (F) in den Bilddaten (B).
Merkmalspunktdetektionssystem (10) nach Anspruch 11, wobei die Tiefenkamera (8) eine Time-of-Flight-, ToF, -Kamera ist.
Merkmalspunktdetektionsverfahren zur Detektion von Merkmalspunkten (F) in Bilddaten (B), umfassend: - Bereitstellen der Bilddaten (B), durch eine Bilddatenbereitstellungseinheit (2); - Bestimmen markanter Punkte (K) in den Bilddaten (B), durch eine Markante-Punkte-Bestimmungseinheit (4); - Bestimmen von zu den markanten Punkten (K) zugehörigen Merkmalen (M), die jeweils eine lokale Umgebung (U) eines markanten Punktes (K) in den Bilddaten (B) beschreiben, durch eine Merkmalsbestimmungseinheit (5); und - Bereitstellen der Merkmalspunkte (F), wobei ein Merkmalspunkt (F) durch die Position eines markanten Punktes (K) in den Bilddaten (B) und die zugehörigen Merkmale (M) repräsentiert wird, durch eine Merkmalspunktbereitstellungseinheit (6), wobei die Bilddaten (B) Intensitätsdaten (I) und zugehörige Tiefendaten (D) umfassen und das Bestimmen der markanten Punkte (K) und der zugehörigen Merkmale (M) auf einer lokalen Analyse der Bilddaten (B) in Abhängigkeit von sowohl den Intensitätsdaten (I) als auch den Tiefendaten (D) basiert, wobei die Form und/oder Lage der durch die Merkmale (M) zu beschreibenden lokalen Umgebung (U) eines markanten Punktes (K) unter Verwendung der Tiefendaten (D) bestimmt wird, wobei ein bereitgestellter Merkmalspunkt (F) zusätzlich durch die Form und/oder Lage der lokalen Umgebung (U) repräsentiert wird, wobei das Bestimmen der Form und/oder Lage der durch die Merkmale (M) zu beschreibenden lokalen Umgebung (U) des markanten Punktes (K) einen Vergleich des Tiefenwertes des markanten Punktes (K) gemäß den Tiefendaten (D) mit den Tiefenwerten von Punkten einer Nachbarschaftsumgebung des markanten Punktes (K) gemäß den Tiefendaten (D) umfasst.
Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Merkmalspunktdetektionsverfahren nach Anspruch 13 auszuführen.