DE102022122813A1

DE102022122813A1 - Posenbestimmungsvorrichtung und Posenbestimmungsverfahren zur modell-basierten Bestimmung der Pose eines vorbekannten Objekts

Info

Publication number: DE102022122813A1
Application number: DE102022122813.4A
Authority: DE
Inventors: Marvin Fürstenberg; Jens Dekarz
Original assignee: Basler AG
Current assignee: Basler AG
Priority date: 2022-09-08
Filing date: 2022-09-08
Publication date: 2024-03-14

Abstract

Die Erfindung betrifft eine Posenbestimmungsvorrichtung (1) zur modell-basierten Bestimmung der Pose (θ) eines vorbekannten Objekts (20). Die Posenbestimmungsvorrichtung umfasst: eine Bilddatenbereitstellungseinheit (2) zum Bereitstellen von dünn besetzten, verrauschten Tiefenbilddaten (5) und, optional, Oberflächenbilddaten (6), des vorbekannten Objekts (20); eine 3D-Modellbereitstellungseinheit (3) zum Bereitstellen eines 3D-Modells (7) des vorbekannten Objekts; und eine Anpassungseinheit (4) zum Durchführen einer kombinierten Modellanpassung auf der Basis einer Kombination (i) einer 3D-Anpassung des 3D-Modells an die dünn besetzten, verrauschten Tiefenbilddaten und (ii) einer 2D-Anpassung einer Abbildung des 3D-Modells an die Punkte in einer Bildebene der dünn besetzten, verrauschten Tiefenbilddaten und/oder an die Oberflächenbilddaten. Die Kombination der 3D-Anpassung und der 2D-Anpassung erfolgt in Abhängigkeit von dem Wert eines Tiefenungenauigkeitsparameters (ω), der eine Tiefenungenauigkeit der dünn besetzten, verrauschten Tiefenbilddaten angibt.

Description

Die Erfindung betrifft eine Posenbestimmungsvorrichtung und ein Posenbestimmungsverfahren zur modell-basierten Bestimmung der Pose eines vorbekannten Objekts. Die Erfindung betrifft des Weiteren ein Posenbestimmungssystem, das eine Tiefenkamera zum Erfassen von dünn besetzten, verrauschten Tiefenbilddaten und, optional, Oberflächenbilddaten, des vorbekannten Objekts und die Posenbestimmungsvorrichtung zur modell-basierten Bestimmung der Pose des vorbekannten Objekts umfasst, sowie ein Computerprogramm, das Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Posenbestimmungsverfahren zur modell-basierten Bestimmung der Pose eines vorbekannten Objekts auszuführen.
HINTERGRUND DER ERFINDUNG
Die Pose beschreibt im technischen Kontext die Position und Orientierung eines starren Objekts relativ zu einem gewählten Bezugssystem und ist für zahlreiche Anwendungsgebiete von zentraler Bedeutung. Beispielsweise wird in der robotergestützten Objektmanipulation die Pose eines Objekts relativ zum Roboterarm benötigt, damit sich dessen Greifbewegung berechnen lässt. In der Fahrzeuglokalisation und -navigation wird anhand bekannter Landmarken die Position und Orientierung eines Roboters in Bezug auf ein globales Koordinatensystem ermittelt. Weiterhin wird in der Medizintechnik die Pose einer Nadel zur Gewebeentnahme in Relation zum Patienten benötigt.
Insbesondere in industriellen Umgebungen ist es üblich, dass die Objekte in der Szene bekannt sind und als 3D-Modell, zum Beispiel als Computer Aided Design (CAD)-Modell, vorliegen. Dieses 3D-Modell wird in einem Bezugssystem über geometrische Merkmale wie Punkte, Linien oder Flächen beschrieben. Das Ziel der modellbasierten Posenbestimmung besteht dann darin, einer Verschiebung und Rotation zu ermitteln, durch welche das Modell und das Objekt beziehungsweise deren Bezugssysteme aufeinander abgebildet werden.
Um das Objekt im Rahmen einer Anwendung wahrzunehmen, werden in der Praxis vorzugsweise Tiefenkameras (3D-Kameras) eingesetzt, durch welche die Abstände (Tiefe) eines Objekts zur Kamera gemessen und in einem Bild angegeben werden. Mittels dieser Tiefenbilddaten lässt sich die drei-dimensionale Gestalt des Objekts und dessen geometrische Form rekonstruieren.
Alternativ werden gewöhnliche Farb- oder Helligkeits-Kameras (2D-Kameras) eingesetzt, durch welche das reale Objekt in einem zwei-dimensionalen Bild aufgenommen wird. Es lassen sich somit die Oberflächeninformationen, wie etwa die Reflektivität, die Farbe und die Textur, des Objekts messen, welche jedoch nicht im geometrischen Modell beschrieben werden. Solche Bilddaten werden im Folgenden als Oberflächenbilddaten bezeichnet.
In der Literatur existiert eine Vielzahl von Verfahren zur modell-basierten Posenbestimmung bekannter Objekte. Grundsätzlich kann hier zunächst unterscheiden werden zwischen:

a1) Klassischen Verfahren - aus mathematischen Modellen abgeleitete, spezialisierte Algorithmen wie z.B. das bekannte Iterative Closest Point (ICP)-Verfahren (P. J. Besl and N. D. McKay, „A method for registration of 3-D shapes," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 14, no. 2, pp. 239-256, Feb. 1992), und
b1) Künstlicher Intelligenz - meist auf neuronalen Netzen basierend wird ein Algorithmus für die Lösung der Aufgabe trainiert.

In Abhängigkeit davon, was für Bilddaten - Tiefenbilddaten oder Oberflächenbilddaten - zur Verfügung stehen, kann man aber auch unterscheiden zwischen:

a2) 2D-Verfahren, die eine 2D-Anpassung einer Abbildung des 3D-Modells an Oberflächenbilddaten des vorbekannten Objekts vornehmen, und
b2) 3D-Verfahren, die eine 3D-Anpassung des 3D-Modells an Tiefenbilddaten vornehmen.

Lösungen für die genannten Anwendungen (und viele weitere) müssen verlässlich, genau und mit geringem Zeit- und Ressourcenaufwand arbeiten. Gerade bei der Implementierung in einer Kamera oder auf kleinen eingebetteten Steuerungsrechnern sind daher die Verfahren gemäß b1 nach aktuellem Stand noch nachteilig, ebenso wie Verfahren gemäß a1, soweit sie auf komplexen und rechenaufwändigen Ansätzen beruhen, wie z.B. stochastischen Modelle und Optimierungsverfahren wie etwa das Coherent Point Drift (CPD)-Verfahren (A. Myronenko and X. Song, „Point Set Registration: Coherent Point Drift," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 32, no. 12, pp. 2262-2275, Dec. 2010).
Grundsätzlich besser geeignet sind klassische Ansätze geringer Komplexität. Für Low-Cost-Anwendungen bietet sich die Verwendung von gewöhnlichen 2D-Kameras an. Dagegen sind für High-End-Anwendungen, die eine hohe Genauigkeit, Zuverlässigkeit und Geschwindigkeit erfordern, 3D-Kameras sinnvoll.
Lösungen gemäß b2 sind durch den höheren Informationsgehalt der Messdaten den einfachen Lösungen gemäß a2 hinsichtlich Genauigkeit, Zuverlässigkeit und Geschwindigkeit deutlich überlegen, aber in der Regel durch die bisher verfügbare 3D-Kameratechnik auch um ein Vielfaches teurer.
Erst neuerdings zeichnen sich Möglichkeiten ab, sehr günstige 3D-Kameras zu realisieren. Diese liefern aber nur für einen Teil der Bildpunkte Tiefendaten. Die Abbildung in der Bildebene ist in der Regel pixelgenau, aber die Entfernungsinformation kann sehr ungenau sein (mehrere % Messfehler).
Beispielsweise stellt die Firma Basler eine günstige 3D-Kamera her, die neben einem gewöhnlichen Farbbild Tiefendaten an den Intensitätskanten liefert. Diese Kamera arbeitet nach dem Prinzip von Lichtfeldkameras und nutzt dazu winkelsensitive Pixel (A. Wang, P. Gill, and A. Molnar, „Light field image sensors based on the Talbot effect," in Applied Optics, vol. 48, no. 31, pp. 5897-5905, Nov. 2009).
Alternativ möglich ist die Verwendung von auf anderen Prinzipien, wie z.B. Time-of-Flight, Stereo, Tiefe-aus-Focus, Deflektometrie, strukturiertem Licht, Radar oder Ultraschall, basierenden Messverfahren, die analoge Eigenschaften aufweisen.
Da 3D-Kameras, die dünn besetzte, verrauschte Tiefenbilddaten liefern, eine neue Entwicklung darstellen, existieren in der Literatur keine Verfahren zur modell-basierten Bestimmung der Pose eines vorbekannten Objekts, die diese Daten adäquat nutzen könnten. Die bekannten 2D-Verfahren können keine Entfernungsinformation (Tiefe) auswerten und die 3D-Verfahren scheitern an der Tiefenungenauigkeit der Tiefenbilddaten.
Es wäre daher wünschenswert, ein Verfahren zur modell-basierten Bestimmung der Pose eines vorbekannten Objekts vorzusehen, dass besser geeignet ist, dünn besetzte, verrauschte Tiefenbilddaten zur Posenbestimmung zu nutzen.
ZUSAMMENFASSUNG DER ERFINDUNG
Der Erfindung liegt die Aufgabe zugrunde, eine Posenbestimmungsvorrichtung und ein Posenbestimmungsverfahren zur modell-basierten Bestimmung der Pose eines vorbekannten Objekts vorzusehen, die besser geeignet sind, dünn besetzte, verrauschte Tiefenbilddaten zur Posenbestimmung zu nutzen. Des Weiteren liegt der Erfindung die Aufgabe zugrunde, ein Posenbestimmungssystem bereitzustellen, das eine Tiefenkamera zum Erfassen von dünn besetzten, verrauschten Tiefenbilddaten und, optional, Oberflächenbilddaten, des vorbekannten Objekts und die Posenbestimmungsvorrichtung zur modell-basierten Bestimmung der Pose des vorbekannten Objekts umfasst, sowie ein Computerprogramm, das Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Posenbestimmungsverfahren zur modell-basierten Bestimmung der Pose eines vorbekannten Objekts auszuführen.
Gemäß einem ersten Aspekt der Erfindung wird eine Posenbestimmungsvorrichtung zur modell-basierten Bestimmung der Pose eines vorbekannten Objekts vorgesehen, wobei die Posenbestimmungsvorrichtung umfasst:

- eine Bilddatenbereitstellungseinheit zum Bereitstellen von dünn besetzten, verrauschten Tiefenbilddaten und, optional, Oberflächenbilddaten, des vorbekannten Objekts;
- eine 3D-Modellbereitstellungseinheit zum Bereitstellen eines 3D-Modells des vorbekannten Objekts, und;
- eine Anpassungseinheit zum Durchführen einer kombinierten Modellanpassung auf der Basis einer Kombination (i) einer 3D-Anpassung des 3D-Modells an die dünn besetzten, verrauschten Tiefenbilddaten und (ii) einer 2D-Anpassung einer Abbildung des 3D-Modells an Punkte in der Bildebene der dünn besetzten, verrauschten Tiefenbilddaten und/oder an die Oberflächenbilddaten,

Der Erfindung liegt die Erkenntnis der Erfinder zugrunde, dass die Tiefenungenauigkeit der dünn besetzten, verrauschten Tiefenbilddaten dadurch kompensiert werden kann, dass zusätzlich Punkte in der Bildebene der dünn besetzten, verrauschten Tiefenbilddaten oder Oberflächenbilddaten zur modell-basierten Bestimmung der Pose genutzt werden. Der Erfindung liegt dann weiter die Erkenntnis der Erfinder zugrunde, dass es vorteilhaft ist, wenn unterschiedliche Tiefenungenauigkeiten der dünn besetzten, verrauschten Tiefenbilddaten dadurch berücksichtigt werden, dass eine kombinierte Modellanpassung durchgeführt wird, die auf der Basis einer Kombination (i) einer 3D-Anpassung des 3D-Modells an die dünn besetzten, verrauschten Tiefenbilddaten und (ii) einer 2D-Anpassung einer Abbildung des 3D-Modells an Punkte in der Bildebene der dünn besetzten, verrauschten Tiefenbilddaten und/oder an die Oberflächenbilddaten in Abhängigkeit von dem Wert eines Tiefenungenauigkeitsparameters erfolgt, der eine Tiefenungenauigkeit der dünn besetzten, verrauschten Tiefenbilddaten angibt. Die erfindungsgemäße Posenbestimmung kann damit auf einfache und robuste Weise für die Nutzung von dünn besetzten, verrauschten Tiefenbilddaten unterschiedlicher Tiefenungenauigkeit angepasst werden.
Die optionalen Oberflächenbilddaten können unterschiedlich dicht besetzt sein als die dünn besetzten, verrauschten Tiefenbilddaten. Beispielsweise können sie, wie bei herkömmlichen Farb- oder Helligkeits-Kameras üblich, dicht besetzt sein, oder sie können weniger dünn besetzt sein als die dünn besetzten, verrauschten Tiefenbilddaten. Alternativ können die optionalen Oberflächenbilddaten aber auch genauso dünn besetzt sein wie die dünn besetzten, verrauschten Tiefenbilddaten.
Bei vielen Tiefenkameras ist die Tiefenungenauigkeit abhängig vom tatsächlichen Wert der Tiefe. Es kann daher sinnvoll sein, den Tiefenungenauigkeitsparameter als Funktion der Tiefe anzusetzen, z.B. als prozentualen Wert. Bei iterativen Verfahren (siehe unten) liegt dann in jeder Iteration die Posenbestimmung aus dem vorigen Schritt und damit für jeden Punkt individuell eine Schätzung der Tiefe vor, die zur Berechnung des Tiefenungenauigkeitsparameters verwendet werden kann.
Es ist bevorzugt, dass die Anpassungseinheit angepasst ist, die kombinierte Modellanpassung so durchzuführen, dass die Kombination eine Gewichtung der 3D-Anpassung und der 2D-Anpassung umfasst, wobei, wenn der Wert des Tiefenungenauigkeitsparameters eine größere Tiefenungenauigkeit angibt, der relative Anteil der 2D-Anpassung in der kombinierten Modellanpassung größer ist als wenn der Wert des Tiefenungenauigkeitsparameters eine geringere Tiefenungenauigkeit angibt. Auf diese Weise kann der relative Anteil der 2D-Anpassung bzw. der 3D-Anpassung in der kombinierten Modellanpassung in einfacher Weise in Abhängigkeit von dem Wert des Tiefenungenauigkeitsparameter angepasst werden.
Dabei ist es vorteilhaft, wenn die Tiefenungenauigkeit der dünn besetzten, verrauschten Tiefenbilddaten größer ist, den relativen Anteil der 2D-Anpassung zu erhöhen (und damit den relativen Anteil der 3D-Anpassung zu verringern), und, wenn die Tiefenungenauigkeit der dünn besetzten, verrauschten Tiefenbilddaten geringer ist, den relativen Anteil der 3D-Anpassung zu erhöhen (und damit den relative Anteil der 2D-Anpassung zu verringern).
Es ist bevorzugt, dass der Tiefenungenauigkeitsparameter Werte von einem ersten Grenzwert, der eine minimal angebbare Tiefenungenauigkeit angibt, bis zu einem zweiten Grenzwert, der eine maximal angebbare Tiefenungenauigkeit angibt, annehmen kann, die Anpassungseinheit angepasst ist, die kombinierte Modellanpassung so durchzuführen, dass, wenn der Tiefenungenauigkeitsparameter den ersten Grenzwert annimmt, die kombinierte Modellanpassung lediglich die 3D-Anpassung umfasst, und, wenn der Tiefenungenauigkeitsparameter den zweiten Grenzwert annimmt, die kombinierte Modellanpassung lediglich die 2D-Anpassung umfasst. Das Problem der Posenbestimmung lässt sich damit als Kontinuum über die Tiefenungenauigkeit der dünn besetzten, verrauschten Tiefenbilddaten betrachten: Ist die Entfernungsinformation genau, so stehen präzise 3D-Punkte zur Verfügung, die vorteilhafterweise mit einer 3D-Anpassung verarbeitet werden können. Sind die Abstandswerte rein zufällig, so tragen sie keine Information. Lediglich die Abbildung in die Bildebene ist genau. Daher ist es vorteilhaft, in diesem Fall eine 2D-Anpassung an die 2D-Punkte vorzunehmen. Die 2D-Anpassung und die 3D-Anpassung stehen also an den Grenzen des Kontinuums der Tiefenungenauigkeit, die mittels des Tiefenungenauigkeitsparameters angezeigt werden kann. Für Werte des Tiefenungenauigkeitsparameters zwischen dem ersten Grenzwert und dem zweiten Grenzwert umfasst die Kombination sowohl die 2D-Anpassung als auch die 3D-Anpassung.
Es ist bevorzugt, dass die kombinierte Modellanpassung eine kombinierte Kostenfunktion umfasst, die von einer Kombination der Kostenfunktionen der 3D-Anpassung und der 2D-Anpassung abhängig ist. Nach Erkenntnis der Erfinder liefert die Kombination der 3D-Anpassung und der 2D-Anpassung auf der Ebene der Kostenfunktionen bei der Nutzung von dünn besetzten, verrauschten Tiefenbilddaten eine deutliche Verbesserung der modell-basieren Bestimmung der Pose im Vergleich zu einer reinen 3D-Anpassung oder einer reinen 2D-Anpassung.
Es ist bevorzugt, dass die Anpassungseinheit angepasst ist, die kombinierte Modellanpassung so durchzuführen, dass die Kombination eine Gewichtung der Kostenfunktionen umfasst, wobei die Gewichtung eine lineare Kombination, eine einseitige Gewichtung, eine multiplikative Kombination oder eine logarithmische Kombination der Kostenfunktionen umfasst. Durch eine Gewichtung der Kostenfunktionen lassen sich diese auf einfache Weise kombinieren. Dabei stellt die lineare Kombination eine gut handhabbare, einfache Möglichkeit der Gewichtung dar. Die einseitige Gewichtung entspricht von den Eigenschaften her im Wesentlichen der linearen Kombination, verwendet aber nur eine Multiplikation und ist daher in der Berechnung effizienter. Schließlich ermöglichen die multiplikative Kombination und die logarithmische Kombination mittels eines Parameters eine Parametrisierung jeweils einer Schar von Funktionen einer Klasse. Beispiele hierfür finden sich in der nachfolgenden Figurenbeschreibung.
Es ist bevorzugt, dass die 3D-Anpassung und die 2D-Anpassung jeweils eine Abstandsfunktion umfassen, die den Abstand zwischen einem gemäß der Pose transformierten Punkt des 3D-Modells zu dem zugehörigen Punkt der Bilddaten angibt, und die Anpassungseinheit angepasst ist, die kombinierte Modellanpassung so durchzuführen, dass die kombinierte Modellanpassung eine kombinierte Abstandsfunktion umfasst, die von einer Kombination der Abstandsfunktionen der 3D-Anpassung und der 2D-Anpassung abhängig ist. Nach Erkenntnis der Erfinder liefert die Kombination der 3D-Anpassung und der 2D-Anpassung auf der Ebene der Abstandsfunktionen bei der Nutzung von dünn besetzten, verrauschten Tiefenbilddaten eine deutliche Verbesserung der modell-basieren Bestimmung der Pose im Vergleich zu einer reinen 3D-Anpassung oder einer reinen 2D-Anpassung.
Es ist bevorzugt, dass die Kombination eine Gewichtung der Abstandsfunktionen umfasst, wobei die Gewichtung eine lineare Kombination, eine einseitige Gewichtung, eine multiplikative Kombination oder eine logarithmische Kombination der Abstandsfunktionen umfasst. Durch eine Gewichtung der Abstandsfunktionen lassen sich diese auf einfache Weise kombinieren. Dabei stellt die lineare Kombination eine gut handhabbare, einfache Möglichkeit der Gewichtung dar. Die einseitige Gewichtung entspricht von den Eigenschaften her im Wesentlichen der linearen Kombination, verwendet aber nur eine Multiplikation und ist daher in der Berechnung effizienter. Schließlich ermöglichen die multiplikative Kombination und die logarithmische Kombination mittels eines Parameters eine Parametrisierung jeweils einer Schar von Funktionen einer Klasse. Beispiele hierfür finden sich in der nachfolgenden Figurenbeschreibung.
Es ist bevorzugt, dass die Anpassungseinheit angepasst ist, die kombinierte Modellanpassung so durchzuführen, dass sie:

(i) ein Bestimmen einer Zuordnung von Punkten des 3D-Modells zu zugehörigen Punkten der Bilddaten in Abhängigkeit von einer Abstandsfunktion, die den Abstand zwischen einem gemäß der Pose transformierten Punkt des 3D-Modells zu dem zugehörigen Punkt der Bilddaten angibt, und
(ii) ein Bestimmen der Pose des vorbekannten Objekts auf Basis der Zuordnung umfasst.

Es ist bevorzugt, dass die Anpassungseinheit angepasst ist, die kombinierte Modellanpassung so durchzuführen, dass sie iterativ erfolgt und die Zuordnung im Laufe der Iterationen aktualisiert wird.
Insbesondere ist es bevorzugt, dass die Anpassungseinheit angepasst ist, die kombinierte Modellanpassung so durchzuführen, dass:

- die Zuordnung harte Korrespondenzen zwischen den gemäß der Pose transformierten Punkten des 3D-Modells und den zugehörigen Punkten der Bilddaten gemäß dem geringsten Wert der kombinierten Abstandsfunktion umfasst, oder
- die Zuordnung eine Matrix umfasst, deren Koeffizienten weiche Korrespondenzen zwischen den gemäß der Pose transformierten Punkten des 3D-Modells und den zugehörigen Punkten der Bilddaten gemäß dem geringsten Wert der kombinierten Abstandsfunktion umfassen.

Eine Zuordnung mit harten Korrespondenzen ist effizient und lässt sich gut implementieren. Zuverlässiger sind jedoch weiche Korrespondenzen, bei denen die Koeffizienten der Matrix jeweils angeben, wie „gut“ die Zuordnung zwischen einem gemäß der Pose transformierten Punkt des 3D-Modells und dem zugehörigen Punkt der Bilddaten ist (S. Gold et al., „New algorithms for 2D and 3D point matching: pose estimation and correspondence", vol. 31, no. 8, pp. 1019-1031, Aug. 1998).
Es ist bevorzugt, dass die Anpassungseinheit angepasst ist, die kombinierte Modellanpassung so durchzuführen, dass sie iterativ erfolgt und der Wert des Tiefenungenauigkeitsparameters im Laufe der Iterationen zur Angabe einer größeren Tiefenungenauigkeit verändert wird. Die Heuristik hier ist, dass bei frühen Iterationen ungenaue Entfernungsinformation zur zunächst groben Bestimmung der Pose nützlich sein kann. Bei späteren Iterationen wird der Fehler in den Tiefenbilddaten eine genaue Bestimmung der finalen Pose eher behindern. Bei iterativen Verfahren macht es nach der Erkenntnis der Erfinder daher Sinn, den Wert des Tiefenungenauigkeitsparameters im Laufe der Iterationen anzupassen. Der Tiefenungenauigkeitsparameter beschreibt dann nicht mehr die absolute Ungenauigkeit der Tiefenbilddaten, sondern die Ungenauigkeit bezogen auf die für die jeweiligen Iteration erwartete Genauigkeit der aktuellen Posenbestimmung. Alternativ kann der Tiefenungenauigkeitsparameter als Grad der Nutzung der dünn besetzten, verrauschten Tiefenbilddaten in einer Iteration interpretiert werden.
Insbesondere ist es bevorzugt, dass die Anpassungseinheit angepasst ist, die kombinierte Modellanpassung so durchzuführen, dass:

- der Wert des Tiefenungenauigkeitsparameters bis zu einer p-ten Iteration gleich einem ersten Wert ist und ab der p-ten Iteration gleich einem zweiten Wert ist, wobei p eine ganze Zahl ist und der zweite Wert eine größere Tiefenungenauigkeit angibt als der erste Wert, oder
- der Wert des Tiefenungenauigkeitsparameters im Lauf der Iterationen in Abhängigkeit von einer kontinuierlichen Funktion angepasst wird.

Gemäß einem weiteren Aspekt der Erfindung wird ein Posenbestimmungssystem zur modell-basierten Bestimmung der Pose eines vorbekannten Objekts vorgesehen, wobei das Posenbestimmungssystem umfasst:

- eine Tiefenkamera zum Erfassen von dünn besetzten, verrauschten Tiefenbilddaten und, optional, Oberflächenbilddaten, des vorbekannten Objekts; und
- die Posenbestimmungsvorrichtung nach einem der Ansprüche 1 bis 12 zur modell-basierten Bestimmung der Pose des vorbekannten Objekts.

Es ist bevorzugt, dass die Tiefenkamera eine Time-of-Flight-, ToF, -Kamera oder eine Kamera, die winkelsensitive Pixel nutzt, ist.
Gemäß einem weiteren Aspekt der Erfindung wird ein Posenbestimmungsverfahren zur modell-basierten Bestimmung der Pose eines vorbekannten Objekts vorgesehen, umfassend:

- Bereitstellen von dünn besetzten, verrauschten Tiefenbilddaten und, optional, Oberflächenbilddaten, des vorbekannten Objekts, mittels einer Bilddatenbereitstellungseinheit;
- Bereitstellen eines 3D-Modells des vorbekannten Objekts, mittels einer 3D-Modellbereitstellungseinheit, und;
- Durchführen einer kombinierten Modellanpassung auf der Basis einer Kombination (i) einer 3D-Anpassung des 3D-Modells an die dünn besetzten, verrauschten Tiefenbilddaten und (ii) einer 2D-Anpassung einer Abbildung des 3D-Modells an Punkte in der Bildebene der dünn besetzten, verrauschten Tiefenbilddaten und/oder an die Oberflächenbilddaten, mittels einer Anpassungseinheit,

Gemäß einem weiteren Aspekt der Erfindung wird ein Computerprogramm vorgesehen, wobei das Computerprogramm Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Posenbestimmungsverfahren nach Anspruch 15 auszuführen.
Es versteht sich, dass die Posenbestimmungsvorrichtung nach Anspruch 1, das Posenbestimmungssystem nach Anspruch 13, das Posenbestimmungsverfahren nach Anspruch 15, und das Computerprogramm nach Anspruch 16 ähnliche und/oder identische bevorzugte Ausführungsformen, insbesondere wie in den abhängigen Ansprüchen definiert, haben.
Es versteht sich, dass eine bevorzugte Ausführungsform der Erfindung auch jede Kombination der abhängigen Ansprüche mit dem entsprechenden unabhängigen Anspruch sein kann.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Bevorzugte Ausführungsformen der Erfindung werden im Folgenden unter Bezugnahme auf die beigefügten Figuren näher beschrieben, wobei

1 schematisch und exemplarisch eine Ausführungsform eines Posenbestimmungssystems zur modell-basierten Bestimmung der Pose eines vorbekannten Objekts zeigt,
2 schematisch und exemplarisch eine kombinierte Abstandsfunktion zeigt,
3 schematisch und exemplarisch zwei dünn besetzte, verrauschte Tiefenbilddaten unterschiedlicher Tiefenungenauigkeit zeigt, und
4 ein Flussdiagram zeigt, das eine Ausführungsform eines Posenbestimmungsverfahrens zur modell-basierten Bestimmung der Pose eines vorbekannten Objekts illustriert.

In den Figuren sind gleiche bzw. sich entsprechende Elemente oder Einheiten jeweils mit gleichen bzw. sich entsprechenden Bezugszeichen versehen. Wenn ein Element oder eine Einheit bereits im Zusammenhang mit einer Figur beschrieben worden ist, wird ggf. im Zusammenhang mit einer anderen Figur auf eine ausführliche Darstellung verzichtet.
Eine Ausführungsform eines Posenbestimmungssystems 10 zur modell-basierten Bestimmung der Pose θ eines vorbekannten Objekts 20 ist schematisch und beispielhaft in 1 gezeigt. Das Posenbestimmungssystem 10 umfasst eine Tiefenkamera 8, in diesem Beispiel, eine Kamera, die winkelsensitive Pixel nutzt, zum Erfassen von dünn besetzten, verrauschten Tiefenbilddaten 5 und, optional, Oberflächenbilddaten 6, des vorbekannten Objekts 20, in diesem Beispiel, ein Würfel, und eine Posenbestimmungsvorrichtung 1 zur modell-basierten Bestimmung der Pose θ des vorbekannten Objekts 20.
Die Posenbestimmungsvorrichtung 1 umfasst eine Bilddatenbereitstellungseinheit 2 zum Bereitstellen der dünn besetzten, verrauschten Tiefenbilddaten 5 und, optional, der Oberflächenbilddaten 6, und eine 3D-Modellbereitstellungseinheit 3 zum Bereitstellen eines 3D-Modells 7 des vorbekannten Objekts 20. Gemäß der Erfindung umfasst die Posenbestimmungsvorrichtung 1 des Weiteren eine Anpassungseinheit 4 zum Durchführen einer kombinierten Modellanpassung auf der Basis einer Kombination (i) einer 3D-Anpassung des 3D-Modells 7 an die dünn besetzten, verrauschten Tiefenbilddaten 5 und (ii) einer 2D-Anpassung einer Abbildung des 3D-Modells 7 an Punkte in der Bildebene der dünn besetzten, verrauschten Tiefenbilddaten 5 und/oder an die Oberflächenbilddaten 6, wobei die Kombination der 2D-Anpassung und der 3D-Anpassung in Abhängigkeit von dem Wert eines Tiefenungenauigkeitsparameters ω erfolgt, der eine Tiefenungenauigkeit der dünn besetzten, verrauschten Tiefenbilddaten 5 angibt. Das modell-basierte Bestimmen der Pose θ kann damit allgemein als eine Funktion F in Abhängigkeit von dem Tiefenungenauigkeitsparameters ω verstanden werden: $V_{θ} = F (ω)$
In dieser Ausführungsform ist die Bilddatenbereitstellungseinheit 2 eine Schnittstelle, die die dünn besetzten, verrauschten Tiefenbilddaten 5 und, optional, die Oberflächenbilddaten 6, von der Tiefenkamera 8 empfängt und diese für die weitere Verarbeitung in den Einheiten 3 und 4 der Posenbestimmungsvorrichtung 1 bereitstellt. Die Merkmale dieser Einheiten werden im Folgenden näher erläutert.
Die 3D-Modellbereitstellungseinheit 3 ist angepasst, ein 3D-Modell 7 des vorbekannten Objekts 20 bereitzustellen. Das 3D-Model kann zum Beispiel als Computer Aided Design (CAD)-Modell, vorliegen, das in einem Bezugssystem über geometrische Merkmale wie Punkte, Linien oder Flächen beschrieben wird. Alternativ kann das 3D-Model auch STL-Datei, als Mesh-Modell, als Punktwolke odgl. vorliegen, wobei verschiedene Repräsentationen im Allgemeinen ineinander umgewandelt werden können. In dieser Ausführungsform ist die 3D-Modellbereitstellungseinheit 3 eine Schnittstelle, z.B. eine Schnittstelle zu einem CAD-System, die das 3D-Modell 7 empfängt und dieses bereitstellt. Im Prinzip wäre es aber auch möglich, dass das 3D-Modell 7 in der 3D-Modellbereitstellungseinheit 3 fest implementiert ist.
Die Anpassungseinheit 4 ist in dieser Ausführungsform angepasst, die kombinierte Modellanpassung so durchzuführen, dass die Kombination eine Gewichtung der 3D-Anpassung und der 2D-Anpassung umfasst, wobei, wenn der Wert des Tiefenungenauigkeitsparameters ω eine größere Tiefenungenauigkeit angibt, der relative Anteil der 2D-Anpassung in der kombinierten Modellanpassung größer ist als wenn der Wert des Tiefenungenauigkeitsparameters ω eine geringere Tiefenungenauigkeit angibt. Auf diese Weise kann der relative Anteil der 2D-Anpassung bzw. der 3D-Anpassung in der kombinierten Modellanpassung in einfacher Weise in Abhängigkeit von dem Wert des Tiefenungenauigkeitsparameters ω angepasst werden. Dabei ist es vorteilhaft, wenn die Tiefenungenauigkeit der dünn besetzten, verrauschten Tiefenbilddaten 5 größer ist, den relativen Anteil der 2D-Anpassung zu erhöhen (und damit den relativen Anteil der 3D-Anpassung zu verringern), und, wenn die Tiefenungenauigkeit der dünn besetzten, verrauschten Tiefenbilddaten 5 geringer ist, den relativen Anteil der 3D-Anpassung zu erhöhen (und damit den relative Anteil der 2D-Anpassung zu verringern).
In dieser Ausführungsform kann der Tiefenungenauigkeitsparameter ω Werte von einem ersten Grenzwert ω_min, der eine minimal angebbare Tiefenungenauigkeit angibt, bis zu einem zweiten Grenzwert ω_max, der eine maximal angebbare Tiefenungenauigkeit angibt, annehmen, und die Anpassungseinheit 4 ist angepasst, die kombinierte Modellanpassung so durchzuführen, dass, wenn der Tiefenungenauigkeitsparameter ω den ersten Grenzwert ω_min annimmt, sie lediglich die 3D-Anpassung umfasst, und, wenn der Tiefenungenauigkeitsparameter ω den zweiten Grenzwert ω_max annimmt, sie lediglich die 2D-Anpassung umfasst. Das Problem der Posenbestimmung lässt sich damit als Kontinuum über die Tiefenungenauigkeit der dünn besetzten, verrauschten Tiefenbilddaten 5 betrachten: Ist die Entfernungsinformation genau, so stehen präzise 3D-Punkte zur Verfügung, die vorteilhafterweise mit einer 3D-Anpassung verarbeitet werden können. Sind die Abstandswerte rein zufällig, so tragen sie keine Information. Lediglich die Abbildung in die Bildebene ist genau. Daher ist es vorteilhaft, in diesem Fall eine 2D-Anpassung an die 2D-Punkte vorzunehmen. Die 2D-Anpassung und die 3D-Anpassung stehen also an den Grenzen des Kontinuums der Tiefenungenauigkeit, die mittels des Tiefenungenauigkeitsparameters ω angezeigt werden kann. Für Werte des Tiefenungenauigkeitsparameters ω zwischen dem ersten Grenzwert ω_min und dem zweiten Grenzwert ω_max umfasst die Kombination sowohl die 2D-Anpassung als auch die 3D-Anpassung.
Die modell-basierte Bestimmung der Pose θ eines bekannten Objekts 20 wird in der Literatur in der Regel als Minimierungsaufgabe der Minimierung einer Kostenfunktion beschrieben, deren Lösung zwei Teilaufgaben umfasst:

i) Die Zuordnung von Punkten des 3D-Modells zu zugehörigen Punkten der Bilddaten (Korrespondenzproblem).
ii) Das Bestimmen der Pose (Verschiebung und Rotation) zwischen dem 3D-Modell und den Bilddaten (Posenbestimmungsproblem).

Da das 3D-Modell üblicherweise keine Oberflächeninformation enthält, ist eine einfache Zuordnung über Deskriptoren aus dem Bereich des Pattern Matching nicht anwendbar. Damit ist die eineindeutige Zuordnung der Punkte ein NP-schweres Problem (O. Enqvist, K. Josephson and F. Kahl, „Optimal correspondences from pairwise constraints," in 2009 IEEE 12th International Conference on Computer Vision, 2009, pp. 1295-1302). Aufgabe i) wird zusätzlich dadurch erschwert, dass die Punkte des 3D-Modells und die Punkte der Bilddaten selten auf denselben Stellen des bekannten Objekts liegen. Weiterhin können die Bilddaten falsche Punkte (Ausreißer) enthalten oder das bekannte Objekt kann teilweise verdeckt sein (durch andere Objekte oder sich selbst).
Die Bestimmung der Pose - Aufgabe ii) - ist oft nicht geschlossen möglich. Daher werden in der Praxis oft iterative, numerische Optimierungsansätze verfolgt.
In dieser Ausführungsform umfassen die 2D-Anpassung und die 3D-Anpassung jeweils eine Kostenfunktion c_3D und c_2D, und die Anpassungseinheit 4 ist angepasst, die kombinierte Modellanpassung so durchzuführen, dass sie eine kombinierte Kostenfunktion c_C umfasst, die von einer Kombination der Kostenfunktionen der 3D-Anpassung c_3D und der 2D-Anpassung c_2D abhängig ist. Die kombinierte Kostenfunktion c_C kann damit allgemein als eine Funktion F in Abhängigkeit von dem Tiefenungenauigkeitsparameter ω verstanden werden: $c_{c} = F (ω)$
bzw. speziell als Funktion F in Abhängigkeit von der Kostenfunktion der 3D-Anpassung c_3D, der Kostenfunktion der 2D-Anpassung c_2D und dem Tiefenungenauigkeitsparameter ω: $c_{c} = F (c_{3 D}, c_{2 D}, ω)$
Die Anpassungseinheit 4 ist in dieser Ausführungsform angepasst, die kombinierte Modellanpassung so durchzuführen, dass die Kombination eine Gewichtung der Kostenfunktionen c_3D und c_2D umfasst, wobei die Gewichtung eine lineare Kombination umfasst: $c_{c} = ω \cdot c_{2 D} + (1 - ω) \cdot c_{3 D} mit ω \in [0...1]$
In Variationen ist es aber auch möglich, dass die Gewichtung eine einseitige Gewichtung: $c_{c} = ω \cdot c_{2 D} + c_{3 D} mit ω \in [0... \infty [$
eine multiplikative Kombination: $c_{c} = c_{2 D}^{ω} \cdot c_{3 D}^{(k - ω)} mit ω \in [0... k]$
oder eine logarithmische Kombination: $c_{c} = k \cdot log c_{2 D} + ω \cdot log \frac{c_{2 D}}{c_{3 D}} mit ω \in [0... k]$
der Kostenfunktionen umfasst. Dabei stellt die lineare Kombination (Glg. (4)) eine gut handhabbare, einfache Möglichkeit der Gewichtung dar. Die einseitige Gewichtung (Glg. (5)) entspricht von den Eigenschaften her im Wesentlichen der linearen Kombination, verwendet aber nur eine Multiplikation und ist daher in der Berechnung effizienter. Schließlich ermöglichen die multiplikative Kombination (Glg. (6)) und die logarithmische Kombination (Glg. (7)) mittels eines Parameters keine Parametrisierung jeweils einer Schar von Funktionen einer Klasse. Die Wahl der Kombination und des Parameters k hat großen Einfluss auf die Anzahl der erforderlichen Iterationen, die Qualität der Ergebnisse und die Zuverlässigkeit des gesamten Verfahrens und hängt von der Definition der Kostenfunktionen und dem verwendeten Optimierungsverfahren ab.
Wie oben erläutert, erfordert die modell-basierte Bestimmung der Pose θ eines bekannten Objekts 20 die Zuordnung von Punkten des 3D-Modells 7 zu zugehörigen Punkten der Bilddaten 5 bzw. 6 - Aufgabe i). Dabei muss die korrekte Zuordnung y von Punkten ^wp_j des 3D-Modells 7 zu Punkten ^kp_i der Bilddaten 5 bzw. 6 gefunden werden, sodass jedes Punktepaar denselben Ort auf dem unbekannten Objekt 20 repräsentiert und aus diesen Paaren die korrekte Pose θ bestimmt werden kann.
Üblicherweise wird hierfür eine Kostenfunktion c über γ und θ definiert, in die die Abstände d zwischen jedem Punkt ^kp_i der Bilddaten 5 bzw. 6 und dem zugeordneten, mit der Pose θ transformierten Punkt ^wp_γ(i) des 3D-Modells 7 einfließen: $c = \sum_{i = 1}^{N} d (^{k} p_{i},^{w} p_{γ (i)})$
Damit ist für die Posenbestimmung das Optimierungsproblem: $\underset{θ, γ}{arg min} \sum_{i = 1}^{N} d (^{k} p_{i},^{w} p_{γ (i)})$
zu lösen.
Die Abstandsfunktion d beschreibt dabei den Abstand zwischen einem gemäß der Pose θ transformierten Punkt des 3D-Models 7 und dem zugehörigen Punkt der Bilddaten 5 bzw. 6.
In einer alternativen Ausführungsform umfassen die 3D-Anpassung und die 2D-Anpassung daher jeweils eine Abstandsfunktion d_3D und d_2D, die den Abstand zwischen einem gemäß der Pose θ transformierten Punkt des 3D-Modells zu dem zugehörigen Punkt der Bilddaten 5 bzw. 6 angibt, und die Anpassungseinheit 4 ist angepasst, die kombinierte Modellanpassung so durchzuführen, dass die kombinierte Modellanpassung eine kombinierte Abstandsfunktion d_C umfasst, die von einer Kombination der Abstandsfunktionen der 3D-Anpassung d_3D und der 2D-Anpassung d_2D abhängig ist. Die kombinierte Abstandsfunktion c_C kann damit allgemein als eine Funktion F in Abhängigkeit von dem Tiefenungenauigkeitsparameter ω verstanden werden: $d_{c} = F (ω)$
bzw. speziell als Funktion F in Abhängigkeit von der Abstandsfunktion der 3D-Anpassung d_3D, der Abstandsfunktion der 2D-Anpassung d_2D und dem Tiefenungenauigkeitsparameter ω: $d_{C} = F (d_{3 D}, d_{2 D}, ω)$
Die Anpassungseinheit 4 ist in dieser Ausführungsform angepasst, die kombinierte Modellanpassung so durchzuführen, dass die Kombination eine Gewichtung der Abstandsfunktionen d_3D und d_2D umfasst, wobei die Gewichtung eine lineare Kombination umfasst: $d_{C} = ω \cdot d_{2 D} + (1 - ω) \cdot d_{3 D} mit ω \in [0... 1]$
Dies ist schematisch und exemplarisch in der 2 gezeigt. Im Fall genauer Messungen der Entfernungsinformation kann d_3D im einfachsten Fall als der euklidische Abstand zwischen dem 3D-Punkt 14 und dem mit der Pose θ transformiertem Punkt 15 des 3D-Modells 7 angesetzt werden. Fehlt die Entfernungsinformation und jeder Punkt 13 besteht nur aus einer Abbildung in die Bildebene 12, so kann für d_2D der Abstand (z.B. der orthogonale Abstand) zwischen der Geraden durch den Punkt 13 und den Kamera-Ursprung 11 verwendet werden. Die kombinierte Abstandsfunktion d_C ergibt sich dann als der Abstand zwischen dem 3D-Punkt 14 und dem Schnittpunkt 16 der Orthogonalen durch den dem mit der Pose θ transformiertem Punkt 15 des 3D-Modells 7 mit der Geraden durch den Punkt 13 und den Kamera-Ursprung 11. (Ein weiteres Beispiel für eine Abstandsfunktion, die z. B. ohne die Entfernungsinformation der Messung auskommt, ist der Abstand zwischen dem Punkt 13 und der Abbildung des mit der Pose θ transformiertem Punkts 15 des 3D-Modells 7 in der Bildebene 12. Weitere Abstandsfunktionen sind denkbar.)
In Variationen ist es aber auch möglich, dass die Gewichtung eine einseitige Gewichtung: $d_{C} = ω \cdot d_{2 D} + d_{3 D} mit ω \in [0... \infty [$
eine multiplikative Kombination $d_{c} = k \cdot d_{2 D}^{ω} \cdot d_{3 D}^{(k - ω)} mit ω \in [0 \dots k]$
oder eine logarithmische Kombination der Abstandsfunktionen: $d_{c} = k \cdot log d_{2 D} + ω \cdot log \frac{d_{2 D}}{d_{3 D}} mit ω \in [0 \dots k]$
umfasst. Dabei stellt die lineare Kombination (Glg. (12)) eine gut handhabbare, einfache Möglichkeit der Gewichtung dar. Die einseitige Gewichtung (Glg. (13)) entspricht von den Eigenschaften her im Wesentlichen der linearen Kombination, verwendet aber nur eine Multiplikation und ist daher in der Berechnung effizienter. Schließlich ermöglichen die multiplikative Kombination (Glg. (14)) und die logarithmische Kombination (Glg. (15)) mittels eines Parameters keine Parametrisierung jeweils einer Schar von Funktionen einer Klasse. Die Wahl der Kombination und des Parameters k hat großen Einfluss auf die Anzahl der erforderlichen Iterationen, die Qualität der Ergebnisse und die Zuverlässigkeit des gesamten Verfahrens und hängt von der Definition der Abstandsfunktionen und dem verwendeten Optimierungsverfahren ab.
Es ist bevorzugt, dass die Anpassungseinheit 4 angepasst ist, die kombinierte Modellanpassung so durchzuführen, dass sie:

(i) ein Bestimmen einer Zuordnung von Punkten des 3D-Modells 7 zu zugehörigen Punkten der Bilddaten 5 bzw. 6 in Abhängigkeit von einer kombinierten Abstandsfunktion d_c, die den Abstand zwischen einem gemäß der Pose θ transformierten Punkt des 3D-Modells 7 zu dem zugehörigen Punkt der Bilddaten 5 bzw. 6 angibt, und
(ii) ein Bestimmen der Pose θ des vorbekannten Objekts 20 auf Basis der Zuordnung umfasst.

Es ist bevorzugt, dass die Anpassungseinheit 4 angepasst ist, die kombinierte Modellanpassung so durchzuführen, dass sie iterativ erfolgt und die Zuordnung im Laufe der Iterationen aktualisiert wird.
Insbesondere ist es bevorzugt, dass die Anpassungseinheit 4 angepasst ist, die kombinierte Modellanpassung so durchzuführen, dass die Zuordnung harte Korrespondenzen zwischen den gemäß der Pose θ transformierten Punkten des 3D-Modells 7 und den zugehörigen Punkten der Bilddaten 5 bzw. 6 gemäß dem geringsten Wert der kombinierten Abstandsfunktion d_C umfasst. Das für die Posenbestimmung zu lösende Optimierungsproblem entspricht damit der Glg. (9) und die eigentliche Bestimmung der Pose θ kann in jeder Iteration i aus den zugeordneten Punktepaaren ^kp_i und ^wp_i erfolgen: $θ = V (^{k} p,^{w} p)$
Alternativ ist es auch bevorzugt, dass die Zuordnung eine Matrix K (N × M) umfasst, deren Koeffizienten k_ij weiche Korrespondenzen zwischen den gemäß der Pose θ transformierten Punkten des 3D-Modells 7 und den zugehörigen Punkten der Bilddaten 5 bzw. 6 gemäß dem geringsten Wert der kombinierten Abstandsfunktion d_C umfassen. Für die Posenbestimmung ist dann das Optimierungsproblem: $\underset{θ, K}{argmin} \sum_{i = 1}^{N} \sum_{j = 1}^{M} k_{i j} d (^{k} p_{i},^{w} p_{j})$
zu lösen und die eigentliche Bestimmung der Pose θ wird wie folgt angepasst: $θ = V (^{k} p,^{w} p, K)$
Über die Iterationen kann die Matrix K so verändert werden, dass sie nur noch eindeutige (harte) Zuordnungen enthält (alles 0 bis auf je eine 1 pro Spalte und Zeile).
Wie vorstehend erläutert, gibt der Tiefenungenauigkeitsparameter ω eine Tiefenungenauigkeit der dünn besetzten, verrauschten Tiefenbilddaten 5 an. Gemäß der vorliegenden Erfindung kann er bei der modell-basierten Bestimmung der Pose θ des unbekannten Objekts 20 daher vorzugsweise auf einen konstanten Wert ω_k gesetzt werden, der passend zu der Tiefenungenauigkeit der dünn besetzten, verrauschten Tiefenbilddaten 5 ausgewählt wird: $ω = ω_{k}$
In diesem Zusammenhang zeigt 3 schematisch und exemplarisch zwei dünn besetzte, verrauschte Tiefenbilddaten 5 unterschiedlicher Tiefenungenauigkeit. In dem oberen Beispiel (a) haben die dünn besetzten, verrauschten Tiefenbilddaten 5 eine geringere Tiefenungenauigkeit, so dass der Tiefenungenauigkeitsparameter ω vorzugsweise auf einen Wert ω_k gesetzt wird, der diese geringere Tiefenungenauigkeit angibt. In dem unteren Beispiel (b) haben die dünn besetzten, verrauschten Tiefenbilddaten 5 eine größere Tiefenungenauigkeit, so dass der Tiefenungenauigkeitsparameter ω vorzugsweise auf einen Wert ω_k gesetzt wird, der diese größere Tiefenungenauigkeit angibt.
Alternativ ist es auch bevorzugt, dass die Anpassungseinheit 4 angepasst ist, die kombinierte Modellanpassung so durchzuführen, dass sie iterativ erfolgt und der Wert des Tiefenungenauigkeitsparameters ω im Laufe der Iterationen zur Angabe einer größeren Tiefenungenauigkeit verändert wird.
Insbesondere ist es bevorzugt, dass die Anpassungseinheit 4 angepasst ist, die kombinierte Modellanpassung so durchzuführen, dass der Wert des Tiefenungenauigkeitsparameters ω bis zu einer p-ten Iteration i_P gleich einem ersten Wert k₁ ist und ab der p-ten Iteration i_P gleich einem zweiten Wert ω₂ ist, wobei p eine ganze Zahl ist und der zweite Wert ω₂ eine größere Tiefenungenauigkeit angibt als der erste Wert ω₁: $ω = {\begin{matrix} i < i_{p} : & ω_{1} \\ sonst : & ω_{2} \end{matrix} mit ω_{1} < ω_{2}$
Oder der Wert des Tiefenungenauigkeitsparameters ω im Lauf der Iterationen i in Abhängigkeit von einer kontinuierlichen Funktion f(i) angepasst. Dabei ist z.B. eine lineare Nachführung mit den Parametern a und b möglich: $ω = a \cdot i + b$
oder es wird z.B. ein Polynom mit den Parametern a_k und k verwendet: $ω = \sum_{k = 0}^{n} a_{k} i^{k}$
oder man nutzt z.B. ein exponentielle Funktion mit den Parametern a, b und c: $ω = a \cdot e^{b \cdot i} + c$
Welche Charakteristik optimale Ergebnisse liefert hängt von der Wahl des Optimierungsverfahrens, der Kosten- bzw. Abstandsfunktion und den Eigenschaften der Mess- und Modelldaten ab. Die Wahl der Charakteristik kann ggf. einen signifikanten Einfluss auf Laufzeitverhalten, Genauigkeit und Zuverlässigkeit des Gesamtverfahrens haben.
Im Folgenden wird exemplarisch eine Ausführungsform eines Posenbestimmungsverfahrens zur modell-basierten Bestimmung der Pose θ eines vorbekannten Objekts 20 unter Bezugnahme auf ein Flussdiagramm beschrieben, das in 4 gezeigt ist. In dieser Ausführungsform wird das Posenbestimmungsverfahren mittels des schematisch und exemplarisch in der 1 gezeigten Posenbestimmungssystems 10, insbesondere, mittels der von diesem umfassten Posenbestimmungsvorrichtung 1 ausgeführt.
In Schritt S101 werden dünn besetzte, verrauschte Tiefenbilddaten 5 und, optional, Oberflächenbilddaten 6, des vorbekannten Objekts 20 bereitgestellt. Dies geschieht in diesem Beispiel mittels der Bilddatenbereitstellungseinheit 2.
In Schritt S102 wird ein 3D-Modell 7 des vorbekannten Objekts 20 bereitgestellt. Dies geschieht in diesem Beispiel mittels der 3D-Modellbereitstellungseinheit 3.
In Schritt S103 wird eine kombinierte Modellanpassung auf der Basis einer Kombination (i) einer 3D-Anpassung des 3D-Modells 7 an die dünn besetzten, verrauschten Tiefenbilddaten 5 und (ii) einer 2D-Anpassung einer Abbildung des 3D-Modells 7 an Punkte in der Bildebene der dünn besetzten, verrauschten Tiefenbilddaten 5 und/oder an die Oberflächenbilddaten 6 durchgeführt. Dies geschieht in diesem Beispiel mittels der Anpassungseinheit 4.
Die Kombination der 3D-Anpassung und der 2D-Anpassung erfolgt in Abhängigkeit von dem Wert eines Tiefenungenauigkeitsparameters ω, der eine Tiefenungenauigkeit der dünn besetzten, verrauschten Tiefenbilddaten 5 angibt.
In den Ansprüchen schließen die Wörter „aufweisen“ und „umfassen“ nicht andere Elemente oder Schritte aus und der unbestimmte Artikel „ein“ schließt eine Mehrzahl nicht aus.
Eine einzelne Einheit oder Vorrichtung kann die Funktionen mehrerer Elemente durchführen, die in den Ansprüchen aufgeführt sind. Die Tatsache, dass einzelne Funktionen und/oder Elemente in unterschiedlichen abhängigen Ansprüchen aufgeführt sind, bedeutet nicht, dass nicht auch eine Kombination dieser Funktionen und/oder Elemente vorteilhaft verwendet werden könnte.
Vorgänge wie das Bereitstellen von dünn besetzten, verrauschten Tiefenbilddaten 5 und, optional, Oberflächenbilddaten 6, des vorbekannten Objekts 20, das Bereitstellen eines 3D-Modells 7 des vorbekannten Objekts 20, und das Durchführen einer kombinierten Modellanpassung auf der Basis einer Kombination (i) einer 3D-Anpassung des 3D-Modells 7 an die dünn besetzten, verrauschten Tiefenbilddaten 5 und (ii) einer 2D-Anpassung einer Abbildung des 3D-Modells 7 an Punkte in der Bildebene der dünn besetzten, verrauschten Tiefenbilddaten 5 und/oder an die Oberflächenbilddaten 6, et cetera, die von einer oder mehreren Einheiten oder Vorrichtungen durchgeführt werden, können auch von einer anderen Anzahl an Einheiten oder Vorrichtungen durchgeführt werden. Diese Vorgänge können als Programmcode eines Computerprogramms und/oder als entsprechende Hardware implementiert sein.
Während vorstehend jeweils von einem vorbekannten Objekt 20 die Rede ist, können die Posenbestimmungsvorrichtung 1 und das Posenbestimmungsverfahren natürlich auch zur modell-basierten Bestimmung der Posen mehrerer vorbekannter Objekte 20 angepasst sein. Die 3D-Modellbereitstellungseinheit 3 ist in dem Fall vorzugsweise so angepasst, dass sie 3D-Modelle 7 der mehreren vorbekannten Objekte 20 bereitstellt.
Wie erläutert, gibt der Tiefenungenauigkeitsparameters ω eine Tiefenungenauigkeit der dünn besetzten, verrauschten Tiefenbilddaten 5 an. Diese Angabe kann beispielsweise so erfolgen, dass größere Werte des Tiefenungenauigkeitsparameters ω eine größere Tiefenungenauigkeit (geringere Tiefengenauigkeit) angeben und kleinere Werte des Tiefenungenauigkeitsparameters ω eine geringere Tiefenungenauigkeit (größere Tiefengenauigkeit) angeben. Es ist aber zum Beispiel auch möglich, dass größere Werte des Tiefenungenauigkeitsparameters ω eine geringere Tiefenungenauigkeit (größere Tiefengenauigkeit) angeben und kleinere Werte des Tiefenungenauigkeitsparameters ω eine größere Tiefenungenauigkeit (geringere Tiefengenauigkeit) angeben.
Zur 3D-Anpassung des 3D-Modells 7 an die dünn besetzten, verrauschten Tiefenbilddaten 5 und zur 2D-Anpassung einer Abbildung des 3D-Modells 7 an Punkte in der Bildebene der dünn besetzten, verrauschten Tiefenbilddaten 5 und/oder an die Oberflächenbilddaten 6 können die gleichen oder unterschiedliche Punkte des 3D-Modells 7 verwendet werden.
Ein Computerprogramm kann auf einem geeigneten Medium gespeichert und/oder verteilt werden, wie beispielsweise einem optischen Speichermedium oder einem Festkörperspeichermedium, das zusammen mit oder als Teil anderer Hardware vertrieben wird. Das Computerprogramm kann aber auch in anderen Formen vertrieben werden, beispielsweise über das Internet oder andere Telekommunikationssysteme.
Die Bezugszeichen in den Ansprüchen sind nicht derart zu verstehen, dass der Gegenstand und der Schutzbereich der Ansprüche durch diese Bezugszeichen eingeschränkt wären.
Zusammengefasst wurde eine Posenbestimmungsvorrichtung 1 zur modell-basierten Bestimmung der Pose eines vorbekannten Objekts beschrieben. Die Posenbestimmungsvorrichtung umfasst: eine Bilddatenbereitstellungseinheit zum Bereitstellen von dünn besetzten, verrauschten Tiefenbilddaten 5 und, optional, Oberflächenbilddaten 6, des vorbekannten Objekts 20; eine 3D-Modellbereitstellungseinheit zum Bereitstellen eines 3D-Modells 7 des vorbekannten Objekts; und eine Anpassungseinheit zum Durchführen einer kombinierten Modellanpassung auf der Basis einer Kombination (i) einer 3D-Anpassung des 3D-Modells 7 an die dünn besetzten, verrauschten Tiefenbilddaten 5 und (ii) einer 2D-Anpassung einer Abbildung des 3D-Modells 7 an Punkte in der Bildebene der dünn besetzten, verrauschten Tiefenbilddaten 5 und/oder an die Oberflächenbilddaten 6. Die Kombination der 3D-Anpassung und der 2D-Anpassung erfolgt in Abhängigkeit von dem Wert eines Tiefenungenauigkeitsparameters, der eine Tiefenungenauigkeit der dünn besetzten, verrauschten Tiefenbilddaten angibt.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

P. J. Besl and N. D. McKay, „A method for registration of 3-D shapes,“ in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 14, no. 2, pp. 239-256 [0006]
A. Myronenko and X. Song, „Point Set Registration: Coherent Point Drift,“ in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 32, no. 12, pp. 2262-2275 [0008]
A. Wang, P. Gill, and A. Molnar, „Light field image sensors based on the Talbot effect,“ in Applied Optics, vol. 48, no. 31, pp. 5897-5905 [0012]
S. Gold et al., „New algorithms for 2D and 3D point matching: pose estimation and correspondence“, vol. 31, no. 8, pp. 1019-1031 [0031]
O. Enqvist, K. Josephson and F. Kahl, „Optimal correspondences from pairwise constraints,“ in 2009 IEEE 12th International Conference on Computer Vision, 2009, pp. 1295-1302 [0049]

Claims

Posenbestimmungsvorrichtung (1) zur modell-basierten Bestimmung der Pose (θ) eines vorbekannten Objekts (20), umfassend: - eine Bilddatenbereitstellungseinheit (2) zum Bereitstellen von dünn besetzten, verrauschten Tiefenbilddaten (5) und, optional, Oberflächenbilddaten (6), des vorbekannten Objekts (20); - eine 3D-Modellbereitstellungseinheit (3) zum Bereitstellen eines 3D-Modells (7) des vorbekannten Objekts (20), und; - eine Anpassungseinheit (4) zum Durchführen einer kombinierten Modellanpassung auf der Basis einer Kombination (i) einer 3D-Anpassung des 3D-Modells (7) an die dünn besetzten, verrauschten Tiefenbilddaten (5) und (ii) einer 2D-Anpassung einer Abbildung des 3D-Modells (7) an Punkte in der Bildebene der dünn besetzten, verrauschten Tiefenbilddaten (5) und/oder an die Oberflächenbilddaten (6), wobei die Kombination der 3D-Anpassung und der 2D-Anpassung in Abhängigkeit von dem Wert eines Tiefenungenauigkeitsparameters (ω) erfolgt, der eine Tiefenungenauigkeit der dünn besetzten, verrauschten Tiefenbilddaten (5) angibt.
Posenbestimmungsvorrichtung (1) nach Anspruch 1, wobei die Anpassungseinheit (4) angepasst ist, die kombinierte Modellanpassung so durchzuführen, dass die Kombination eine Gewichtung der 3D-Anpassung und der 2D-Anpassung umfasst, wobei, wenn der Wert des Tiefenungenauigkeitsparameters (ω) eine größere Tiefenungenauigkeit angibt, der relative Anteil der 2D-Anpassung in der kombinierten Modellanpassung größer ist als wenn der Wert des Tiefenungenauigkeitsparameters (ω) eine geringere Tiefenungenauigkeit angibt.
Posenbestimmungsvorrichtung (1) nach Anspruch 1 oder 2, wobei der Tiefenungenauigkeitsparameter (ω) Werte von einem ersten Grenzwert (ω_min), der eine minimal angebbare Tiefenungenauigkeit angibt, bis zu einem zweiten Grenzwert (ω_max), der eine maximal angebbare Tiefenungenauigkeit angibt, annehmen kann, und die Anpassungseinheit (4) angepasst ist, die kombinierte Modellanpassung so durchzuführen, dass, wenn der Tiefenungenauigkeitsparameter (ω) den ersten Grenzwert (ω_min) annimmt, sie lediglich die 3D-Anpassung umfasst, und, wenn der Tiefenungenauigkeitsparameter (ω) den zweiten Grenzwert (ω_max) annimmt, sie lediglich die 2D-Anpassung umfasst.
Posenbestimmungsvorrichtung (1) nach einem der Ansprüche 1 bis 3, wobei die 3D-Anpassung und die 2D-Anpassung jeweils eine Kostenfunktion (c_3D, c_2D) umfassen, und die Anpassungseinheit (4) angepasst ist, die kombinierte Modellanpassung so durchzuführen, dass sie eine kombinierte Kostenfunktion (c_C) umfasst, die von einer Kombination der Kostenfunktionen der 3D-Anpassung (c_3D) und der 2D-Anpassung (c_2D) abhängig ist.
Posenbestimmungsvorrichtung (1) nach Anspruch 4, wobei die Anpassungseinheit (4) angepasst ist, die kombinierte Modellanpassung so durchzuführen, dass die Kombination eine Gewichtung der Kostenfunktionen (c_3D, c_2D) umfasst, wobei die Gewichtung eine lineare Kombination, eine einseitige Gewichtung, eine multiplikative Kombination oder eine logarithmische Kombination der Kostenfunktionen (c_3D, c_2D) umfasst.
Posenbestimmungsvorrichtung (1) nach einem der Ansprüche 1 bis 3, wobei die 3D-Anpassung und die 2D-Anpassung jeweils eine Abstandsfunktion (d_3D, d_2D) umfassen, die den Abstand zwischen einem gemäß der Pose (θ) transformierten Punkt des 3D-Modells (7) zu dem zugehörigen Punkt der Bilddaten (5, 6) angibt, und die Anpassungseinheit (4) angepasst ist, die kombinierte Modellanpassung so durchzuführen, dass sie eine kombinierte Abstandsfunktion (d_C) umfasst, die von einer Kombination der Abstandsfunktionen der 3D-Anpassung (d_3D) und der 2D-Anpassung (d_2D) abhängig ist.
Posenbestimmungsvorrichtung (1) nach Anspruch 6, wobei die Anpassungseinheit (4) angepasst ist, die kombinierte Modellanpassung so durchzuführen, dass die Kombination eine Gewichtung der Abstandsfunktionen (d_3D, d_2D) umfasst, wobei die Gewichtung eine lineare Kombination, eine einseitige Gewichtung, eine multiplikative Kombination oder eine logarithmische Kombination der Abstandsfunktionen (d_3D, d_2D) umfasst.
Posenbestimmungsvorrichtung (1) nach einem der Ansprüche 1 bis 7, wobei die Anpassungseinheit (4) angepasst ist, die kombinierte Modellanpassung so durchzuführen, dass sie: (i) ein Bestimmen einer Zuordnung von Punkten des 3D-Modells (7) zu zugehörigen Punkten der Bilddaten (5, 6) in Abhängigkeit von einer kombinierten Abstandsfunktion (d_C), die den Abstand zwischen einem gemäß der Pose (θ) transformierten Punkt des 3D-Modells (7) zu dem zugehörigen Punkt der Bilddaten (5, 6) angibt, und (ii) ein Bestimmen der Pose (θ) des vorbekannten Objekts (20) auf Basis der Zuordnung umfasst.
Posenbestimmungsvorrichtung (1) nach Anspruch 8, wobei die Anpassungseinheit (4) angepasst ist, die kombinierte Modellanpassung so durchzuführen, dass sie iterativ erfolgt und die Zuordnung im Laufe der Iterationen aktualisiert wird.
Posenbestimmungsvorrichtung (1) nach Anspruch 8 oder 9, wobei die Anpassungseinheit (4) angepasst ist, die kombinierte Modellanpassung so durchzuführen, dass: - die Zuordnung harte Korrespondenzen zwischen den gemäß der Pose (θ) transformierten Punkten des 3D-Modells (7) und den zugehörigen Punkten der Bilddaten (5, 6) gemäß dem geringsten Wert der kombinierten Abstandsfunktion (d_C) umfasst, oder - die Zuordnung eine Matrix (K) umfasst, deren Koeffizienten (k_ij) weiche Korrespondenzen zwischen den gemäß der Pose (θ) transformierten Punkten des 3D-Modells (7) und den zugehörigen Punkten der Bilddaten (5, 6) gemäß dem geringsten Wert der kombinierten Abstandsfunktion (d_C) umfassen.
Posenbestimmungsvorrichtung (1) nach einem der Ansprüche 1 bis 10, wobei die Anpassungseinheit (4) angepasst ist, die kombinierte Modellanpassung so durchzuführen, dass sie iterativ erfolgt und der Wert des Tiefenungenauigkeitsparameters (ω) im Laufe der Iterationen zur Angabe einer größeren Tiefenungenauigkeit verändert wird.
Posenbestimmungsvorrichtung (1) nach Anspruch 11, wobei die Anpassungseinheit (4) angepasst ist, die kombinierte Modellanpassung so durchzuführen, dass: - der Wert des Tiefenungenauigkeitsparameters (ω) bis zu einer p-ten Iteration (i_P) gleich einem ersten Wert (ω₁) ist und ab der p-ten Iteration (i_P) gleich einem zweiten Wert (ω₂) ist, wobei p eine ganze Zahl ist und der zweite Wert (ω₂) eine größere Tiefenungenauigkeit angibt als der erste Wert (ω₁), oder - der Wert des Tiefenungenauigkeitsparameters (ω) im Lauf der Iterationen (i) in Abhängigkeit von einer kontinuierlichen Funktion (f (i)) angepasst wird.
Posenbestimmungssystem (10) zur modell-basierten Bestimmung der Pose (θ) eines vorbekannten Objekts (20), umfassend: - eine Tiefenkamera (8) zum Erfassen von dünn besetzten, verrauschten Tiefenbilddaten (5) und, optional, Oberflächenbilddaten (6), des vorbekannten Objekts (20); und - die Posenbestimmungsvorrichtung (1) nach einem der Ansprüche 1 bis 12 zur modell-basierten Bestimmung der Pose (θ) des vorbekannten Objekts (20).
Posenbestimmungssystem (10) nach Anspruch 13, wobei die Tiefenkamera (8) eine Time-of-Flight-, ToF, -Kamera oder eine Kamera, die winkelsensitive Pixel nutzt, ist.
Posenbestimmungsverfahren (1) zur modell-basierten Bestimmung der Pose (θ) eines vorbekannten Objekts (20), umfassend: - Bereitstellen von dünn besetzten, verrauschten Tiefenbilddaten (5) und, optional, Oberflächenbilddaten (6), des vorbekannten Objekts (20), mittels einer Bilddatenbereitstellungseinheit (2); - Bereitstellen eines 3D-Modells (7) des vorbekannten Objekts (20), mittels einer 3D-Modellbereitstellungseinheit (3), und; - Durchführen einer kombinierten Modellanpassung auf der Basis einer Kombination (i) einer 3D-Anpassung des 3D-Modells (7) an die dünn besetzten, verrauschten Tiefenbilddaten (5) und (ii) einer 2D-Anpassung einer Abbildung des 3D-Modells (7) an Punkte in der Bildebene der dünn besetzten, verrauschten Tiefenbilddaten (5) und/oder an die Oberflächenbilddaten (6), mittels einer Anpassungseinheit (4), wobei die Kombination der 3D-Anpassung und der 2D-Anpassung in Abhängigkeit von dem Wert eines Tiefenungenauigkeitsparameters (ω) erfolgt, der eine Tiefenungenauigkeit der dünn besetzten, verrauschten Tiefenbilddaten (5) angibt.
Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Posenbestimmungsverfahren nach Anspruch 15 auszuführen.