DE102016003294A1

DE102016003294A1 - Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Speichermedium

Info

Publication number: DE102016003294A1
Application number: DE102016003294.4A
Authority: DE
Inventors: Yutaka NIWAYAMA
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-04-02
Filing date: 2016-03-17
Publication date: 2016-10-27
Also published as: US20160292889A1; JP6736257B2; US10332275B2; CN106052646B; CN106052646A; JP2016197287A

Abstract

Um auch ein einer Situation, in der Störungen vorhanden sind, zuverlässige Positions- und Orientierungsmessungen durchzuführen, wird ein durch eine Bildaufnahmevorrichtung aufgenommenes Bild erfasst, das ein Messzielobjekt enthält, ein Flag wird eingestellt, das anzeigt, ob eines von geometrischen Merkmalen, die ein dreidimensionales Modell des Messzielobjekts bilden, oder eines von mehreren im Bild nachgewiesenen Bildmerkmalen einem Schatten des Messzielobjekts entspricht, die mehreren geometrischen Merkmale und die mehreren im Bild nachgewiesenen Bildmerkmale werden einander basierend auf einer angenäherten Position und Orientierung des Messzielobjekts und dem Flag zugeordnet und eine Position und Orientierung des Messzielobjekts wird basierend auf einem Ergebnis der Zuordnung durch die Zuordnungseinrichtung abgeleitet.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf eine Technik zum Messen einer Position und Orientierung eines Objekts, dessen dreidimensionale Form schon bekannt ist.
Beschreibung des Standes der Technik
In Produktionsstätten wurde zur Verbesserung der Produktionseffizienz Roboterautomation eingeführt. Bei Montagearbeiten mittels Robotern muss ein Zielobjekt erkannt werden, um eine genaue Position und Orientierung zu erfassen. Als Verfahren zur Implementierung solcher Vorgänge wurde ein Verfahren entwickelt, das ein Graustufenbild und ein Abstandsbild verwendet, die durch Aufnehmen des Zielobjekts erhalten wurden. Durch verschiedene Einflüsse erzeugte Störungen sind dem Graustufenbild und dem Abstandsbild beigemischt. Daher besteht der Wunsch nach einem Verfahren mit hoher Stabilität gegenüber den Störungen.
Zum Beispiel ist ein Verfahren zum Messen einer Position und Orientierung einer Kamera bekannt, das ein Modellanpassverfahren zum Anpassen von aus einem Graustufenbild und einem Abstandsbild erhaltenen Messdaten an ein Formmodell verwendet, wobei das Graustufenbild und das Abstandsbild durch Aufnehmen eines Zielobjekts erhalten wurden. Ein spezielles Beispiel ist ein Verfahren zum Angeben einer angenäherten Position und Orientierung eines Zielobjekts und zum Optimieren der Position und Orientierung, sodass eine aus dem Graustufenbild extrahierte Kante und ein aus dem Abstandsbild erhaltener Abstandswert besser an ein Formmodell angepasst sind. Um die Messung der Position und Orientierung der Kamera zu stabilisieren, ist ein Verfahren bekannt, das mehrere angenäherte Positionen und Orientierungen mit vorbestimmten Abtastintervallen (Samplingintervallen) in einem möglichen Bereich der Position und Orientierung der Kamera erzeugt, wiederholte Berechnung zum Anpassen bei jeder der angenäherten Positionen und Orientierungen durchführt und ein bestes Anpassungsergebnis als das endgültige Anpassungsergebnis einstellt.
Ein Verfahren zum Stabilisieren eines Schattens, der im Graustufenbild und im Abstandsbild, die durch Aufnehmen des Zielobjekts erhalten wurden, vorhanden ist, ein Verfahren zum Durchführen von Verarbeitung, um, nachdem Information über einen Schattenbereich eines Zielobjekts in einem aufgenommenen Bild abgeschätzt wurde, nicht fehlerhaft einer falschen Kontur im Schattenbereich zuzuordnen, wurde vorgeschlagen. In der offengelegten japanischen Patentanmeldung Nr. 2012-42396 werden verschiedene Gewichtsfaktoren verwendet, nachdem ein Bereich als ein Schattenbereich bestimmt wurde, bei dem ein Abstandswert in einem Abstandsbild einen Mangel enthält, abhängig davon, ob einander zuzuordnende Punkte im Schattenbereich während der Optimierungsberechnung zum Anpassen vorhanden sind.
Ein in der offengelegten japanischen Patentanmeldung Nr. 2012-42396 diskutiertes Verfahren setzt voraus, dass ein Abschnitt, indem ein Schatten erzeugt wird, auf jeden Fall als ein Mangelbereich im Abstandsbild wiedergegeben wird, und kann nicht mit einem Schatten umgehen, der z. B. wegen sekundär reflektiertem Licht einen Abstandswert im Abstandsbild aufweist.
Zusammenfassung der Erfindung
Gemäß einem ersten Aspekt der vorliegenden Erfindung enthält eine Informationsverarbeitungsvorrichtung eine Erfassungseinrichtung konfiguriert zum Erfassen eines von einer Bildaufnahmevorrichtung aufgenommenen Bilds, das ein Messzielobjekt enthält, eine Speichereinrichtung konfiguriert zum Speichern von Information über mehrere geometrische Merkmale, die ein dreidimensionales Modell des Messzielobjekts bilden, eine Einstelleinrichtung konfiguriert zum Einstellen, falls die mehreren geometrischen Merkmale mehreren Bildmerkmalen in dem Bild zugeordnet sind, eines Flags für das geometrische Merkmal, das dem durch einen Schatten des Messzielobjekts verursachten Bildmerkmal entsprechen kann, eine Zuordnungseinrichtung konfiguriert zum Zuordnen der mehreren geometrischen Merkmale zu den mehreren im Bild nachgewiesenen Bildmerkmalen basierend auf einer angenäherten Position und Orientierung des Messzielobjekts und dem durch die Einstelleinrichtung eingestellten Flag und eine Ableiteinrichtung konfiguriert zum Ableiten einer Position und Orientierung des Messzielobjekts basierend auf einem Ergebnis der Zuordnung durch die Zuordnungseinrichtung.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung enthält eine Informationsverarbeitungsvorrichtung eine Erfassungseinrichtung konfiguriert zum Erfassen eines von einer Bildaufnahmevorrichtung aufgenommenen Bilds, das ein Messzielobjekt enthält, eine Speichereinrichtung konfiguriert zum Speichern von Information über mehrere geometrische Merkmale, die ein dreidimensionales Modell des Messzielobjekts bilden, eine Einstelleinrichtung konfiguriert zum Einstellen, unter im Bild nachgewiesenen mehreren Bildmerkmalen, eines Flags für das durch einen Schatten des Messzielobjekts verursachte Bildmerkmal, eine Zuordnungseinrichtung konfiguriert zum Zuordnen der mehreren geometrischen Merkmale zu den mehreren im Bild nachgewiesenen Bildmerkmalen basierend auf einer angenäherten Position und Orientierung des Messzielobjekts und dem Flag und eine Ableiteinrichtung konfiguriert zum Ableiten der Position und Orientierung des Messzielobjekts basierend auf einem Ergebnis der Zuordnung durch die Zuordnungseinrichtung.
Gemäß noch einem weiteren Aspekt der vorliegenden Erfindung enthält eine Informationsverarbeitungsvorrichtung eine Erfassungseinrichtung konfiguriert zum Erfassen eines von einer Bildaufnahmevorrichtung aufgenommenen Bilds, das ein Messzielobjekt enthält, eine Speichereinrichtung konfiguriert zum Speichern von Information über mehrere geometrische Merkmale, die ein dreidimensionales Modell des Messzielobjekts bilden, eine erste Einstelleinrichtung konfiguriert zum Einstellen, falls die mehreren geometrischen Merkmale mehreren Bildmerkmalen in dem Bild zugeordnet sind, eines ersten Flags für das geometrische Merkmal, das dem durch einen Schatten des Messzielobjekts verursachten Bildmerkmal entsprechen kann, eine zweite Einstelleinrichtung konfiguriert zum Einstellen, unter den im Bild nachgewiesenen mehreren Bildmerkmalen, eines zweiten Flags für das durch einen Schatten des Messzielobjekts verursachte Bildmerkmal, eine Zuordnungseinrichtung konfiguriert zum Zuordnen der mehreren geometrischen Merkmale zu den mehreren im Bild nachgewiesenen Bildmerkmalen basierend auf einer angenäherten Position und Orientierung des Messzielobjekts und dem ersten Flag und dem zweiten Flag und eine Ableiteinrichtung konfiguriert zum Ableiten einer Position und Orientierung des Messzielobjekts basierend auf einem Ergebnis der Zuordnung durch die Zuordnungseinrichtung.
Gemäß einer vorliegend beschriebenen Technik kann, auch wenn ein ein Objekt enthaltendes Bild einen Schatten enthält, eine Position und Orientierung des Objekts mit hoher Genauigkeit gemessen werden.
Weitere Merkmale der vorliegenden Erfindung werden anhand der folgenden Beschreibung von Ausführungsbeispielen unter Bezugnahme auf die beigefügten Zeichnungen deutlich.
Kurze Beschreibung der Zeichnungen
1 veranschaulicht eine Konfiguration eines Systems gemäß einem ersten bis dritten Ausführungsbeispiel.
2 ist ein Blockdiagramm, das eine Modulkonfiguration von jeweiligen Programmen gemäß dem ersten bis dritten Ausführungsbeispiel veranschaulicht.
3 ist ein Flussdiagramm, das ein Vorgehen bei einer Positions- und Orientierungsberechnungsverarbeitung gemäß dem ersten und zweiten Ausführungsbeispiel veranschaulicht.
4 ist ein Flussdiagramm, das ein spezifisches Vorgehen bei einer Verarbeitung zum Nachweis fehlerhafter Zuordnungspunkte gemäß dem ersten Ausführungsbeispiel veranschaulicht.
5 ist ein Flussdiagramm, das ein spezifisches Vorgehen bei der Positions- und Orientierungsberechnungsverarbeitung gemäß dem ersten und zweiten Ausführungsbeispiel veranschaulicht.
6A und 6B veranschaulichen ein Prinzip der Suche nach einem Entsprechungspunkt gemäß dem ersten bis dritten Ausführungsbeispiel.
7 veranschaulicht eine Beziehung zwischen einem projizierten Bild einer Kante und einer nachgewiesenen Kante gemäß dem ersten bis dritten Ausführungsbeispiel.
8 ist ein Flussdiagramm, das ein spezifisches Vorgehen bei einer Verarbeitung zum Nachweis fehlerhafter Zuordnungspunkte gemäß dem zweiten Ausführungsbeispiel veranschaulicht.
9A ist ein Konzeptdiagramm, das eine Beziehung zwischen einem durch Aufnehmen des Messzielobjekts erhaltenen Graustufenbild und dem Messzielobjekt gemäß dem zweiten Ausführungsbeispiel veranschaulicht, und 9B veranschaulicht einen Luminanzwert an jedem Pixel in der Nachbarschaft eines Kantenpunkts im Graustufenbild gemäß dem zweiten Ausführungsbeispiel.
10 ist ein Flussdiagramm, das ein Vorgehen bei einer Positions- und Orientierungsberechnungsverarbeitung gemäß dem dritten Ausführungsbeispiel veranschaulicht.
11 ist ein Flussdiagramm, das ein spezifisches Vorgehen bei einer Positions- und Orientierungsberechnungsverarbeitung gemäß dem dritten Ausführungsbeispiel veranschaulicht.
12 ist ein Flussdiagramm, das ein spezifisches Vorgehen bei einer Schattenrichtungsberechnungsverarbeitung gemäß dem zweiten Ausführungsbeispiel veranschaulicht.
13A und 13B veranschaulichen eine Beziehung in einem virtuellen Raum zwischen einer angenäherten Position und Orientierung eines dreidimensionalen Modells und einer Bildebene einer Bildaufnahmevorrichtung gemäß dem ersten Ausführungsbeispiel.
14 ist ein Flussdiagramm, das ein spezifisches Vorgehen bei der Positions- und Orientierungsberechnungsverarbeitung gemäß einem Abwandlungsbeispiel 2-1 veranschaulicht.
15 ist ein Blockdiagramm, das ein Beispiel einer Hardwarekonfiguration einer Informationsverarbeitungsvorrichtung gemäß dem ersten Ausführungsbeispiel der vorliegenden Erfindung veranschaulicht.
Beschreibung der Ausführungsformen
Im Folgenden werden unter Bezugnahme auf die begleitenden Zeichnungen Ausführungsbeispiele der vorliegenden Erfindung im Einzelnen beschrieben.
Im Folgenden wird eine Informationsverarbeitungsvorrichtung gemäß Ausführungsbeispielen der vorliegende Erfindung im Einzelnen beschrieben.
Eine Hardwarekonfiguration, auf die eine Informationsverarbeitungsvorrichtung gemäß jedem der Ausführungsbeispiele der vorliegende Erfindung aufsetzt, wird unter Bezug auf 15 vor der Beschreibung eines Ausführungsbeispiels beschrieben.
15 veranschaulicht eine Hardwarekonfiguration einer Informationsverarbeitungsvorrichtung 104 gemäß dem vorliegenden Ausführungsbeispiel. In der 15 steuert eine Hauptprozessoreinheit 1510 (CPU für engl. central processing unit) gänzlich miteinander über einen Bus 1500 verbundene Devices. Die CPU 1510 liest einen Verarbeitungsschritt oder ein Programm, welche in einem Festspeicher (ROM für engl. read only memory) gespeichert sind, aus und führt diese aus. Jedes der Verarbeitungsprogramme gemäß dem vorliegenden Ausführungsbeispiel, die ein Betriebssystem (OS für engl. operating system) und einen Devicetreiber enthalten und im ROM 1520 gespeichert sind, wird vorübergehend in einem Speicher mit wahlfreiem Zugriff 1530 (RAM für engl. random access memory) gespeichert und bedarfsweise von der CPU 1510 ausgeführt. Eine Eingabeschnittstelle 1540 (Eingabe-I/F; I/F für engl. interface) gibt ein Eingabesignal von der externen Vorrichtung (eine Bildaufnahmevorrichtung, eine Anzeigevorrichtung, eine Vorgangsvorrichtung usw.) in einer von einer Informationsverarbeitungsvorrichtung 104 verarbeitbaren Form ein. Eine Ausgabeschnittstelle 1550 (Ausgabe-I/F) gibt ein Ausgabesignal in einer von einer externen Vorrichtung verarbeitbaren Form an die externe Vorrichtung (eine Anzeigevorrichtung usw.) aus.
Punkte, die dazu neigen einander fehlerhaft zu entsprechen, werden gemäß einem ersten Ausführungsbeispiel für ein dreidimensionales Modell extrahiert. 1 ist ein schematisches Diagramm einer Systemkonfiguration, die die Informationsverarbeitungsvorrichtung 104 gemäß einem ersten Ausführungsbeispiel verwendet.
Ein Messzielobjekt 101 ist ein Objekt, dessen Position und Orientierung zu messen ist. Im vorliegenden Ausführungsbeispiel ist zur einfacheren Beschreibung lediglich ein als Positions- und Orientierungsmessziel dienendes Messzielobjekt der Messzielobjekte 101 an einer in 1 veranschaulichten Position platziert. Allerdings hängt die im Folgenden beschriebene Positions- und Orientierungsmessverarbeitung nicht stark von der Form, der Anzahl oder der Art der Platzierung der Messzielobjekte 101 ab. Das vorliegende Ausführungsbeispiel ist auch auf einen Fall anwendbar, bei dem mit mehreren z. B. gemischten und gestapelten Messzielobjekten, die jeweils unterschiedliche Formen aufweisen, eine Position und Orientierung eines gegebenen Messzielobjekts gemessen wird.
2 veranschaulicht eine Systemkonfiguration, die die Informationsverarbeitungsvorrichtung 104 gemäß dem ersten Ausführungsbeispiel verwendet.
Die Informationsverarbeitungsvorrichtung 104 ist mit einer Bildaufnahmevorrichtung 102 und einer Projektionsvorrichtung 103 verbunden und steuert die jeweiligen Vorgänge der Projektionsvorrichtung 103 und der Bildaufnahmevorrichtung 102 während des Erhaltens einer Position und Orientierung des Messzielobjekts 101 unter Verwendung eines aufgenommenen Bilds, das von der Bildaufnahmevorrichtung 102 erhalten wurde.
Die Bildaufnahmevorrichtung 102 nimmt ein Stehbild oder ein Bewegtbild in einem realen Raum auf und wird gemäß dem vorliegenden Ausführungsbeispiel zum Aufnehmen des Messzielobjekts 101, das mit Licht von der Projektionsvorrichtung 103 bestrahlt wird, verwendet. Die Bildaufnahmevorrichtung 102 übermittelt das aufgenommene Bild an die Informationsverarbeitungsvorrichtung 104. Intrinsische Parameter (eine Brennweite, eine Hauptpunktsposition und ein Linsenverzeichnungsparameter) der Bildaufnahmevorrichtung 102 sind z. B. unter Verwendung eines im Folgenden beschriebenen Zhang-Verfahrens vorkorrigiert.
Die Projektionsvorrichtung 103 wird zum Bestrahlen des Messzielobjekts 101 mit vorbestimmtem Licht verwendet. Die Projektionsvorrichtung 103 ist ein Flüssigkristallprojektor. Intrinsische Parameter (Brennweite, Hauptpunktsposition und Linsenverzeichnungsparameter) der Projektionsvorrichtung 102 sind z. B. unter Verwendung eines in einem Nichtpatentdokument (Z. Zhang, "A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, Ausgabe 22, Nr. 11, S. 1330–1334, 2000) diskutierten Zhang-Verfahrens vorkorrigiert. Eine von der Projektionsvorrichtung 103 verschiedene Vorrichtung kann verwendet werden, wenn sie Spaltlicht projizieren kann. Zum Beispiel kann ein ein DMD (Digital Mirror Device) oder ein LCOS (Liquid Crystal On Silicon) verwendender Projektor verwendet werden.
Ein Funktionskonfigurationsbeispiel der Informationsverarbeitungsvorrichtung 104 wird im Folgenden beschrieben. Eine Messinformationserfassungseinrichtung 201 trägt ein Graustufenbild und ein Abstandsbild, die von der Bildaufnahmevorrichtung 102 erfasst wurden, als Messinformation in die Informationsverarbeitungsvorrichtung 104 ein (Bilderfassung).
Eine Vorrichtungsinformationserfassungseinrichtung 202 erfasst Positionsbeziehungsinformation zwischen der Projektionsvorrichtung 103 und der Bildaufnahmevorrichtung 102 als Vorinformation. Die Positionsbeziehungsinformation zwischen der Projektionsvorrichtung 103 und der Bildaufnahmevorrichtung 102 wird erhalten, indem die Projektionsvorrichtung 102 Musterlicht emittiert und eine Kamera das projizierte Muster aufnimmt und anschließend z. B. ein in einem Dokument (M. Kimura, "Projector Calibration using Arbitrary Planes and Calibrated Camera", Computer Vision and Pattern Recognition, CVPR, 2007) diskutiertes Verfahren wie im Folgenden beschrieben verwendet wird.
Eine Erfassungseinrichtung für eine angenäherte Position und Orientierung 203 erfasst einen angenäherten Wert einer Position und Orientierung des Messzielobjekts 101 bezüglich der Bildaufnahmevorrichtung 102 (Erfassung einer angenäherten Position und Orientierung). Die eingegebene angenäherte Position und Orientierung ist als Startwert zur iterativen Berechnung zum Erhalten der Position und Orientierung des Messzielobjekts 101 gegeben. Im vorliegenden Ausführungsbeispiel verwendet die Informationsverarbeitungsvorrichtung 104 einen zuvor erhaltenen Messwert (zu einer früheren Zeit erhalten) als eine angenäherte Position und Orientierung unter der Annahme, dass die Messung kontinuierlich in einer Zeitachsenrichtung durchgeführt wird.
Allerdings ist ein Verfahren zum Eingeben des angenäherten Werts der Position und Orientierung nicht darauf beschränkt. Zum Beispiel kann die Geschwindigkeit und die Winkelgeschwindigkeit eines Objekts abgeschätzt werden, indem ein Zeitserienfilter basierend auf Messung der vergangenen Position und Orientierung verwendet wird, um die derzeitige Position und Orientierung aus der vergangenen Position und Orientierung und der abgeschätzten Geschwindigkeit und Winkelgeschwindigkeit vorherzusagen. Eine angenäherte Position und Orientierung des Messzielobjekts 101 kann jeweils durch Speichern von in verschiedenen Orientierungen aufgenommene Bildern eines Zielobjekts als Vorlagen und Durchführen eines Vorlagenabgleichs (Musterabgleich) bezüglich eines eingegebenen Bilds abgeschätzt werden. Alternativ kann, wenn ein anderer Sensor die Position und Orientierung des Messzielobjekts 101 messen kann, eine Ausgabe des Sensors als angenäherter Wert für die Position und Orientierung verwendet werden.
Der Sensor kann ein magnetischer Sensor sein, der eine Position und Orientierung durch Nachweis eines von einem Sender emittierten magnetischen Felds, z. B. unter Verwendung eines auf einem Objekt montierten Empfängers, misst. Alternative kann der Sensor ein optischer Sensor sein, der eine Position und Orientierung durch Aufnehmen einer an einem Objekt angeordneten Markierung mit einer auf ein Motiv fixierten Kamera misst. Zusätzlich kann der Sensor jeder Sensor sein, wenn dieser eine Position und Orientierung mit sechs Freiheitsgraden misst. Falls eine angenäherte Position und Orientierung, an der das Objekt platziert ist, zuvor gefunden wurde, kann deren Wert als der angenäherte Wert verwendet werden.
Eine Modellinformationserfassungseinrichtung 204 speichert dreidimensionale Modellinformation über das Messzielobjekt 101. Die dreidimensionale Modellinformation ist selbst ein CAD-Modell (CAD für engl. computer aided design), das von dreidimensionaler CAD-Software gehandhabt werden kann, oder mehrere im Computergraphikbereich verwendete Polygonelemente, in die ein dreidimensionales CAD-Modell umgewandelt wurde. Im vorliegenden Ausführungsbeispiel wird ein dreidimensionales geometrisches Modell verwendet, das eine Form des Messzielobjekts 101 nachahmt und aus Polygonelementen besteht. Allerdings ist ein Formmodell nicht darauf beschränkt. Das Formmodell kann jedes Modell sein, das eine eine Kante enthaltende Form darstellt.
Eine Kantennachweiseinrichtung 205 weist Kanteninformation zur Verwendung von einer Schattenrichtungsberechnungseinrichtung 206, einer Nachweiseinrichtung für einen fehlerhaften Zuordnungspunkt 207 und einer Positions- und Orientierungsberechnungseinrichtung 208 aus der erfassten Messinformation, Vorrichtungsinformation, angenäherten Positions- und Orientierungsinformation und Modellinformation nach, wie im Folgenden beschrieben wird. Nachzuweisende Kanteninformation enthält eine solche über ein dreidimensionales Modell und eine solche über ein Graustufenbild. Die nachzuweisende Kanteninformation enthält dreidimensionale Koordinaten eines Punktes auf einer Kante im dreidimensionalen Modell, zweidimensionale Koordinaten eines Kantenpunktes in einer virtuell eingestellten Bildebene und zweidimensionale Koordinaten eines. Kantenpunktes im Graustufenbild. Allerdings muss die nachzuweisende Kanteninformation nicht lediglich ein Punkt sein, sondern kann z. B. auch ein Vektor sein, der eine Richtung einer Kante, zu der jeder Kantenpunkt gehört darstellt (eine Richtung einer geraden Linie oder eine Richtung tangential zu einer Kurve).
Die Schattenrichtungsberechnungseinrichtung 206 berechnet eine Schattenrichtung für jede Kante im dreidimensionalen Modell, die durch die Kantennachweiseinrichtung 205 berechnet wurde, oder jeden auf die Kante eingestellten Punkt und fügt die berechnete Schattenrichtung bei. Die Schattenrichtung bedeutet eine Richtung eines Schattens, von dem angenommen wird, dass er in der Nachbarschaft einer gegebenen Kante des Messzielobjekt 101 erzeugt wird, wobei die Richtung mittels einer Relativpositionsbeziehung zwischen der Projektionsvorrichtung 103 und der Bildaufnahmevorrichtung 102 und einem dreidimensionalen Modell, dessen Position und Orientierung virtuell eingestellt wurde, berechnet wird. Im vorliegend Ausführungsbeispiel ist ein zu berechnender Schattenrichtungsvektor ein Vektor in einer zweidimensionalen Ebene. Beispiele für den Schattenrichtungsvektor enthalten einen solchen, der durch Projizieren eines von der Projektionsvorrichtung 103 auf ein dreidimensionales Modell mit einer virtuell eingestellten angenäherten Position und Orientierung gerichteten Richtungsvektors auf eine Bildebene der Bildaufnahmevorrichtung 102, wie im Folgenden beschriebenen Schritt S302, erhalten wird.
Allerdings ist der zu berechnende Schattenrichtungsvektor nicht darauf beschränkt. Zum Beispiel kann der Schattenrichtungsvektor ein Vektor mit drei Richtungen sein. Als ein Beispiel für den dreidimensionalen Vektor ist es nützlich einen von der Projektionsvorrichtung 103 auf jede Kante in einem dreidimensional Modell mit virtuell eingestellter angenäherter Position und Orientierung gerichteten Richtungsvektor selbst einzusetzen. Ein anzugebender Schattenrichtungsvektor wird für jeden Kantenpunkt in einem dreidimensionalen Modell berechnet, um im vorliegenden Ausführungsbeispiel Information über die genaueste Schattenerzeugungsrichtung zu erhalten. Wenn es mehrere Kantenpunkte auf einer geraden Linie oder einer gekrümmten Linie, die zu einer Kante gehören, gibt, können die Kantenpunkte zu einer Einheit gruppiert werden und einen typischen Schattenrichtungsvektor erhalten, um die Berechnungsverarbeitung zu vereinfachen. Alternativ können die Kantenpunkte in dem dreidimensionalen Modell einen typischen Schattenrichtungsvektor erhalten.
Die Nachweiseinrichtung für fehlerhafte Zuordnungspunkte 207 extrahiert einen fehlerhaften Zuordnungspunkt basierend auf Information über eine Schattenrichtung. Ein fehlerhafter Zuordnungspunkt bedeutet einen Abschnitt, der fehlerhaft einer aus einem Schatten während der Positions- und Orientierungsberechnung abgeleiteten Kante zugeordnet sein kann. Als ein zu extrahierender Abschnitt an einem auf die Kante im dreidimensionalen Modell eingestellten Punkt kann im vorliegenden Ausführungsbeispiel die oben beschriebene Kante, für die die Kantenpunkte gruppiert sind, extrahiert werden.
Die Positions- und Orientierungsberechnungseinrichtung 208 leitet die Position und Orientierung des Messzielobjekts 101 unter Verwendung von Information über den nachgewiesenen fehlerhaften Zuordnungspunkt zusätzlich zur erfassten Messinformation, Vorrichtungsinformation und Information über eine angenäherte Position und Orientierung ab (berechnet diese). Genauer gesagt berechnet, nachdem die Information über den fehlerhaften Zuordnungspunkt in Information über die Kante im dreidimensionalen Modell berücksichtigt ist, eine Zuordnungseinrichtung (nicht gezeigt) die Position und Orientierung des Messzielobjekts 101 durch Wiederholen einer Zuordnung der Kante im dreidimensionalen Modell und der Kante im Graustufenbild und Optimieren einer Berechnung unter Verwendung eines Verfahrens der kleinsten Quadrate für die Position und Orientierung, in dem die Summe von Abständen zwischen Entsprechungspunkten ein Minimum erreicht.
Eine Beispielkonfiguration der Informationsverarbeitungsvorrichtung 104 wurde vorstehend beschrieben.
Jede der funktionalen Einrichtungen, die die Informationsverarbeitungsvorrichtung 104 bilden ist implementiert, wenn die CPU 1510 das im ROM 1520 gespeicherte Programm in den RAM 1530 lädt und Verarbeitung gemäß jedem der im folgenden beschriebenen Ablaufdiagramme durchführt. Falls Hardware als Alternative zu Softwareverarbeitung unter Verwendung der CPU 1510 verwendet wird, kann, entsprechend der Verarbeitung jeder der funktionalen Einrichtungen, z. B. eine Berechnungseinrichtung oder eine Schaltung konfiguriert werden.
Ein Vorgehen zur Positions- und Orientierungsberechnungsverarbeitung gemäß dem vorliegenden Ausführungsbeispiel wird im Folgenden beschrieben. 3 ist ein Flussdiagramm, das das Vorgehen bei der Positions- und Orientierungsberechnungsverarbeitung gemäß dem vorliegenden Ausführungsbeispiel veranschaulicht.
In Schritt S301 wird zur späteren Positions- und Orientierungsberechnung benötigte Information erfasst. Genauer gesagt wird Messinformation, Vorrichtungsinformation, eine angenäherte Position und Orientierung und Modellinformation erfasst. Die Messinformationserfassungseinrichtung 201, die Vorrichtungsinformationserfassungseinrichtung 202, die Erfassungseinrichtung für angenäherte Position und Orientierung 203 und die Modellinformationserfassungseinrichtung 204 erfassen jeweils die Information. Die erfasste Information wird an die Kantennachweiseinrichtung 205 gesendet. Ein als Messinformation dienendes Graustufenbild ist ein durch Aufnehmen des Messzielobjekts 101 mittels der Bildaufnahmevorrichtung 102 erhaltenes Bild, wobei das Messzielobjekt unter Verwendung der Projektionsvorrichtung 103 mit Beleuchtung bestrahlt wird. Allerdings kann das Graustufenbild auch eines sein, das vorher im externen Speicher oder einem Netzwerk gespeichert wurde und von der Messinformationseingabeeinrichtung 201 gelesen wird. Die im Schritt S301 erfasste Information kann, abhängig von der Verarbeitungsgeschwindigkeit der Informationsverarbeitungsvorrichtung 104, gleichzeitig oder hintereinander erfasst werden oder kann in jeder Reihenfolge erfasst werden.
In Schritt S302 berechnet die Kantennachweiseinrichtung 205 Information über jeweilige Kanten für ein dreidimensionales Modell und ein Graustufenbild.
Im vorliegenden Ausführungsbeispiel werden die Kanten spezifisch in der folgenden Weise erhalten.
Für das dreidimensionale Modell wird ein Punkt auf der Kante im dreidimensionalen Modell erzeugt, um dreidimensionale Information über jeden Kantenpunkt (geometrisches Merkmal) zu erhalten. Ein Kantenpunkt im dreidimensionalen Modell bedeutet einen Abschnitt, der eine Kontur eines dreidimensionalen Modells in einer angenäherten Position und Orientierung bildet, wenn das dreidimensionale Modell auf einer virtuell eingestellten Bildebene der Bildaufnahmevorrichtung 102 betrachtet wird. Während ein Verfahren zum Erzeugen eines Punktes auf einer Kante ein Verfahren zum Erzeugen mehrerer Punkte enthält, die auf einer Kante eines in einem virtuellen dreidimensionalen Raum angeordneten dreidimensionalen Modells gleichmäßig beabstandet sind, muss dieses Verfahren nicht notwendigerweise verwendet werden. Zum Beispiel können dreidimensionale Koordinaten auf einer Kante in einem dreidimensionalen Modell in einer angenäherten Position und Orientierung durch Rückrechnung erzeugt werden, sodass Kantenpunkte in einer virtuell eingestellten Bildebene der Bildaufnahmevorrichtung 102 gleichmäßig beabstandet sind, wenn das dreidimensionale Modell in der Bildebene betrachtet wird. Wenn ein Vektor zwischen auf derselben Kante erzeugten Kantenpunkten berechnet wird, kann auch ein eine Richtung der Kante darstellender dreidimensionaler Vektor berechnet werden.
Wenn dann die Kantenpunkte im dreidimensionalen Modell in einer angenäherten Position und Orientierung auf eine virtuell eingestellte Bildebene der Bilderfassungsvorrichtung 102 projiziert werden, werden zweidimensionale Koordinaten des Kantenpunkts wie auf der Bildebene betrachtet erhalten. Die berechneten zweidimensionalen Koordinaten des Kantenpunkts werden in Verbindung mit Information über den entsprechenden Kantenpunkt im dreidimensionalen Modell gespeichert.
Für das Graustufenbild wird, um Information zu speichern, auf einen Luminanzwert im Graustufenbild Bezug genommen und zweidimensionale Koordinaten eines Pixels, an dem ein Luminanzwert einen Extremwert annimmt, werden als ein Kantenpunkt (Bildmerkmal) für Peripheriepixel in jeder Suchrichtung bestimmt. Ein Schwellenwert kann als ein Bestimmungskriterium für einen Kantenpunkt vorgesehen sein. Ein Pixel in einem Graustufenbild, an dem ein Luminanzwert oder ein Luminanzgradientenwert ein Schwellenwert oder größer ist und einen Extremwert annimmt, kann als Kantenpunkt bestimmt werden. Verarbeitung zum Durchführen einer Suche mit einem auf die Bildebene projizierten Kantenpunkt im dreidimensionalen Modell als Ausgangspunkt und zum Nachweis eines in seiner Nachbarschaft befindlichen Kantenpunkts im Graustufenbild kann, wie im Folgenden in Schritt S503 beschrieben, zuvor durchführt werden.
In Schritt S303 berechnet die Schattenrichtungsberechnungseinrichtung 206 eine Richtung, in der angenommen wird, dass ein Schatten für die Kante in der Modellinformation erzeugt wird, und fügt die Richtung der Modellinformation hinzu. Im vorliegenden Ausführungsbeispiel wird ein zu berechnender Schattenrichtungsvektor erhalten, indem ein von der Projektionsvorrichtung 103 auf das dreidimensionale Modell in der virtuell eingestellten angenäherten Position und Orientierung gerichteter Richtungsvektor auf die Bildebene der Bildaufnahmevorrichtung 102 projiziert wird.
Im vorliegenden Ausführungsbeispiel wird die Schattenrichtung spezifisch in der folgenden Weise erhalten.
Zuerst wird eine Projektionsmatrix P für die Projektion einer dreidimensionalen Position (Xo, Yo, Zo) eines Kantenpunkts in einer virtuell eingestellten angenäherten Position und Orientierung eines dreidimensionalen Modells und einer dreidimensionalen Position (Xp, Yp, Zp) der Projektionsvorrichtung 103 auf die Bildebene der Bildaufnahmevorrichtung 102 erhalten. Eine zu verwendende dreidimensionale Position eines dreidimensionalen Modells ist eine Ortskomponente einer angenäherten Position und Orientierung eines Messzielobjekts bezüglich einer Kamera. Die dreidimensionale Position der Projektionsvorrichtung 103 wird basierend auf einer angenäherten Position und Orientierung des dreidimensionalen Modells bezüglich der Bildaufnahmevorrichtung 102 und Information über eine Positionsbeziehung zwischen der Projektionsvorrichtung 103 und der Bildaufnahmevorrichtung 102 als Vorinformation erhalten. Die Projektionsmatrix P wird durch ein Produkt K × RT eines Kameraparameters K (Gleichung 1) und einer Umwandlungsmatrix RT (Gleichung 2) aus einem Weltkoordinatensystem in ein Kamerakoordinatensystem dargestellt:
Das Kamerakoordinatensystem wird als Weltkoordinatensystem eingestellt. Daher wird die Projektionsmatrix durch (Gleichung 3) ausgedrückt. Elemente a, b, c, d und e im Kameraparameter K sind kameraspezifische Parameter und werden zuvor wie oben beschrieben erhalten.
Eine Position (uo, vo) des dreidimensionalen Modells auf der Bildebene und eine Position (up, vp) der Projektionsvorrichtung 103 auf der Bildebene wird aus Relationsgleichungen (Gleichung 4) und (Gleichung 5) der Projektionsmatrix, homogenen Koordinaten (Xo, Yo, Zo, 1) einer dreidimensionalen Position des dreidimensionalen Modells, homogenen Koordinaten (Yp, Yp, Zp, 1) einer dreidimensionalen Position der Bildaufnahmevorrichtung 102 und entsprechenden homogenen Koordinaten (uo, vo, 1) und (up, vp, 1) von durch Projektion der dreidimensionalen Punkte auf die Bildebene erhaltenen Punkten erhalten. Ein Vektor r' = (up-uo, vp-vo) von der Position (uo, vo) des dreidimensionalen Modells auf der Bildebene zur Position (up, vp) der Projektionsvorrichtung 103 auf der Bildebene wird erhalten und weiterhin in einen Einheitsvektor r = r'/|r'| als eine Schattenrichtung umgewandelt:
Der Kantenpunkt im dreidimensionalen Modell auf der Bildebene wird dann der Schattenrichtung zugeordnet. Durch die Zuordnung kann ein fehlerhafter Zuordnungspunkt im nachfolgenden Schritt S304 extrahiert werden.
In Schritt S304 extrahiert die Nachweiseinrichtung für fehlerhafte Zuordnungspunkte 207 einen Kantenpunkt, der fehlerhaft einer von einem Schatten abgeleiteten Kante (eine durch einen Schatten verursachte Kante) zugeordnet sein könnte, als den fehlerhaften Zuordnungspunkt, basierend auf Information über die Schattenrichtung, die in Schritt S303 für jeden der Kantenpunkte im dreidimensionalen Modell berechnet wurde.
4 ist ein Flussdiagramm, das eine Verarbeitung gemäß dem vorliegenden Ausführungsbeispiel veranschaulicht. Schritte in Schritt S304 werden im Folgenden beschrieben.
Zuerst projiziert die Nachweiseinrichtung für fehlerhafte Zuordnungspunkte 207 jeden basierend auf einer angenäherten Position und Orientierung virtuell eingestellten Punkt in einer Ebene eines dreidimensionalen Modells auf die Bildebene der Bildaufnahmevorrichtung 102. Ein bevorzugtes Beispiel eines Verfahrens zum Einstellen von Punkten in der Ebene des dreidimensionalen Modells kann ein Verfahren zum Einstellen von in der Ebene gleichmäßig beabstandeten Punkten enthalten. Punkte in der Ebene des dreidimensionalen Modells können durch Rückrechnung als in der Bildebene, auf die die Punkte projiziert wurden, gleichmäßig beabstandet erhalten werden.
In Schritt S402 berechnet die Nachweiseinrichtung für fehlerhafte Zuordnungspunkte 207 dann einen Abstand von dem in der Bildebene eingestellten Punkt zu einem Entsprechungspunkt im dreidimensionalen Modell. Der Punkt, der Ziel einer Abstandberechnung sein soll, enthält sowohl einen der Ebene des dreidimensionalen Modells entsprechenden Punkt, der in Schritt S401 eingestellte wurde, als auch einen der Kante im dreidimensionalen Modell entsprechenden Punkt, der in Schritt S302 eingestellt wurde. Genauer gesagt wird in Schritt S402 Verarbeitung, die äquivalent zum Erfassen eines auf das dreidimensionale Modell in einem virtuell eingestellten Raum bezogenen Abstandsbilds ist, durchgeführt, sodass die Bildaufnahmevorrichtung 102 ein Abstandsbild für das Messzielobjekt 101 erfasst. Ein berechneter Abstandswert wird in Verbindung mit einem entsprechenden Punkt in der Bildebene gespeichert.
In Schritt S403 sucht die Nachweiseinrichtung für fehlerhafte Zuordnungspunkte 207 für den fokussierten Kantenpunkt nach einem Nachbarpunkt in der Bildebene in der Schattenrichtung in der Bildebene und erfasst einen entsprechenden Abstandswert. Der zu erfassende Abstandswert ist derjenige, der in Schritt S402 erhalten wurde.
13A und 13B sind jeweils Konzeptdiagramme, die für einen gegebenen Punkt auf einer Kante Beziehungen zwischen dem Punkt und einem Abstandswert veranschaulichen, wenn nach einem Nachbarpunkt in einer Bildebene in einer Schattenrichtung gesucht wird. 13A und 13B veranschaulichen jeweils verschiedene dreidimensionale Modelle. In den 13A und 13B sind Pa und Pb jeweils als fokussierte Kantenpunkte veranschaulicht. Abstandswerte, die jeweils den Punkten Pa und Pb entsprechen, sind als d_Pa und d_Pb angegeben. Weiterhin ist in 13B ein Abstandswert, der einem beim Durchführen der Suche in der Schattenrichtung erhaltenen Nachbarpunkt Pb + 1 entspricht, als d_Pb+1 angegeben.
In Schritt S404 bestimmt die Nachweiseinrichtung für fehlerhafte Zuordnungspunkte 207, ob für den fokussierten Kantenpunkt eine der beiden folgenden Bedingungen erfüllt ist. Unter dieser Bedingung wird bestimmt, ob es eine große Stufe in der Schattenrichtung mit dem fokussierten Kantenpunkt als Rand gibt. Mit anderen Worten, wenn bestimmt wird, ob ein Schatten in der Nachbarschaft des fokussierten Kantenpunkt in einem virtuell eingestellten Raum erzeugt sein kann, wird bei der im Folgenden beschriebenen Positions- und Orientierungsberechnungsverarbeitung das Bestehen oder Fehlen der Möglichkeit einer fehlerhaften Zuordnung bestimmt.
Bedingung A: Es gibt keinen benachbarten Punkt in einer Schattenrichtung
Bedingung B: Ein Unterschied zwischen einem einem fokussierten Kantenpunkt entsprechenden Abstandswert und einem einem Nachbarpunkt entsprechenden Abstandswert ist ein Schwellenwert oder größer
Wenn die Bedingung A erfüllt ist (wenn als Ergebnis der Suche in einem vorbestimmten Bereich in der Schattenrichtung ausgehend von einem projizierten Punkt Pa (ein fokussiertes geometrisches Merkmal) ein vom Punkt Pa verschiedener Kantenpunkt (vom fokussierten geometrischen Merkmal verschieden) nicht nachgewiesen wird), sehen der Punkt Pa und ein Hintergrund auf der Bildebene wie in Kontakt miteinander aus und ein Schatten kann in der Schattenrichtung wie vom Punkt Pa betrachtet erzeugt sein. 13A veranschaulicht ein Beispiel, bei dem Bedingung A erfüllt ist. Andererseits hat ein dreidimensionales Modell eine eine große Stufe aufweisende Form und ein Punkt Pb kann eine Kante der Stufe sein, wenn die Bedingung B erfüllt ist. Auch in diesem Fall kann ein Schatten in der Schattenrichtung wie von Punkt Pb betrachtet erzeugt sein. 13B veranschaulicht ein Beispiel, bei dem die Bedingung B erfüllt ist. In diesem Fall ist ein mit einem Schwellenwert zu vergleichender Wert ein Unterschied zwischen d_Pb+1, und d_Pb. Wenn die Bedingung A oder die Bedingung B erfüllt ist (Ja in Schritt S404) fährt die Verarbeitung mit Schritt S405 fort. Andernfalls (Nein in Schritt S404), fährt die Verarbeitung mit Schritt S406 fort.
Wenn die Bedingung A oder die Bedingung B erfüllt ist (Ja in Schritt S404), kann der Schatten in der Nachbarschaft des fokussierten Kantenpunkts (des fokussierten geometrischen Merkmals) erzeugt sein. Wenn die Position und Orientierung des Messzielobjekts 101 berechnet wird, könnte daher eine fehlerhafte Zuordnung durchgeführt werden. Entsprechend fügt in Schritt S405 die Nachweiseinrichtung für fehlerhafte Zuordnungspunkte 207 dem Kantenpunkt, der als fehlerhafter Zuordnungspunkt bestimmt sein kann, neu Flaginformation hinzu.
In Schritt S406 prüft die Nachweiseinrichtung für fehlerhafte Zuordnungspunkte 207, ob alle Kantenpunkt als fehlerhafte Zuordnungspunkte bestimmt wurden. Wenn alle Kantenpunkt als fehlerhafte Zuordnungspunkte bestimmt wurden (Ja in Schritt S406) endet die Verarbeitung in Schritt S304 und die Verarbeitung fährt mit Schritt S305 fort. Andererseits fährt die Verarbeitung mit Schritt S403 fort und die Verarbeitungen von Schritt S404 bis Schritt S406 werden wiederholt, wenn der Kantenpunkt, der bis jetzt noch nicht als fehlerhafter Zuordnungspunkt bestimmt wurde, existiert (Nein in Schritt S406).
Wenn die Verarbeitungen von Schritt S404 bis Schritt S405 ausgeführt werden, wird der fehlerhafte Zuordnungspunkt extrahiert.
In Schritt S305 berechnet die Nachweiseinrichtung für fehlerhafte Zuordnungspunkte 207 die Position und Orientierung des Messzielobjekts 101 durch im Folgenden beschriebene Verarbeitung unter Verwendung der Information über den in Schritt S304 extrahierten Kantenpunkt.
5 ist ein Flussdiagramm, das ein spezifisches Vorgehen bei der Positions- und Orientierungsberechnungsverarbeitung zur Berechnung einer Position und Orientierung durch Optimierungsrechnung unter Verwendung einer angenäherten Position und Orientierung, wie in Schritt S305 veranschaulicht, veranschaulicht.
Im vorliegenden Ausführungsbeispiel wird eine angenäherte Position und Orientierung der Position und Orientierung des Messzielobjekts (im Folgenden durch s angegeben) wiederholt durch einen iterativen Vorgang unter Verwendung eines Gauß-Newton-Verfahrens korrigiert, um die Position und Orientierung s zu berechnen. Die Position und Orientierung wird optimiert, sodass die Summe der Abstände zwischen einer im Graustufenbild nachgewiesenen Kante und einer basierend auf der abzuschätzenden Position und Orientierung auf das Bild projizierten Kante in einem dreidimensionalen Modell minimiert wird. Genauer gesagt wird die Position und Orientierung s des Messzielobjekts als (primäre) Funktion (engl. primary function) einer Minimalen Änderung in der Position und Orientierung s des Objekts durch einen mit Vorzeichen versehenen Abstand zwischen einem Punkt und einer geraden Linie im Graustufenbild und Taylorentwicklung erster Ordnung dargestellt. Die Position und Orientierung s wird wiederholt durch Lösen eines linearen Gleichungssystems, das sich auf die minimale Änderung der Position und Orientierung s derart bezieht, dass der mit Vorzeichen versehene Abstand zum Auffinden der minimalen Änderung der Position und Orientierung s des Objekts null wird, korrigiert.
In Schritt S501 führt die Positions- und Orientierungsberechnungseinrichtung 208 Initialisierung durch. Die angenäherte Position und Orientierung, die im Schritt S301 erfasst wurde, wird als die Position und Orientierung s des dreidimensionalen Modells eingestellt. Information über den Kantenpunkt im dreidimensionalen Modell, Information über den Kantenpunkt im Graustufenbild und Information über den fehlerhaften Zuordnungspunkt wird auch erfasst.
In Schritt S502 führt die Positions- und Orientierungsberechnungseinrichtung 208 Verarbeitung zur Berücksichtigung des als fehlerhafter Zuordnungspunkt bestimmten Kantenpunkts, der in Schritt S304 unter den Kantenpunkten des dreidimensionalen Modells extrahiert wurde, bei der folgenden Berechnung durch. Der Kantenpunkt kann leicht extrahiert werden, da diesem Flaginformation beigefügt ist. Als ein Berücksichtigungsverfahren wird im vorliegenden Ausführungsbeispiel der als fehlerhafter Zuordnungspunkt bestimmte Kantenpunkt deaktiviert und für die folgende Berechnung nicht verwendet. Deshalb wird in Schritt S503 eine Zuordnung für den Kantenpunkt mit beigefügter Flaginformation nicht durchgeführt. Allerdings wird der als fehlerhafter Zuordnungspunkt bestimmte Kantenpunkt nicht notwendigerweise deaktiviert. Als ein von der Deaktivierung verschiedenes Berücksichtigungsverfahren kann z. B. der als fehlerhafter Zuordnungspunkt bestimmte Kantenpunkt bei einem Wert eines Gewichtskoeffizienten zur Positions- und Orientierungsmessung in Schritt S503 wie im Folgenden beschrieben berücksichtigt werden. Genauer gesagt, kann der Beitrag des fehlerhaften Zuordnungspunkts zu einem Positions- und Orientierungsberechnungsergebnis reduziert werden, wenn der Wert des dem als fehlerhafter Zuordnungspunkt bestimmten Kantenpunkt entsprechenden Gewichtskoeffizienten kleiner eingestellt wird als ein Gewichtskoeffizient, der dem Kantenpunkt entspricht, der von dem als fehlerhafter Zuordnungspunkt bestimmten Kantenpunkt verschieden ist.
In Schritt S503 ordnet die Positions- und Orientierungsberechnungseinrichtung 208 die Kanten zu. 6A und 6B veranschaulichen ein Verfahren zur Zuordnung von Kanten. 6A ist eine Projektionsansicht einer Kante in einem dreidimensionalen Modell auf ein Graustufenbild. Zuerst wird eine Suchlinie 603 in einer Richtung senkrecht zu einer auf ein Bild (in ein Bild) projizierten Kante 601 für jeden der Steuerpunkte 602 auf der Kante 601 eingestellt. Eine eindimensionale Kante wird in einem vorbestimmten Bereich der Suchlinie 603 mit dem Steuerpunkt 602 als Ursprung nachgewiesen und ein dem Steuerpunkt 602 nächstgelegener Punkt in der nachgewiesenen Kante wird als Entsprechungspunkt 604 gespeichert. 6B ist ein Graph mit dem Steuerpunkt 602 als Ursprung und mit der Suchlinie 603 und einem Absolutwert eines Luminanzgradienten auf der Abszisse bzw. der Ordinate. Auf dem vorherigen Bild wird eine Kante als Extremwert des Absolutwerts des Luminanzgradienten an dem Pixel nachgewiesen. Der Punkt 604, dessen Extremwert des Absolutwerts des Luminanzgradienten größer als ein vorbestimmter Schwellenwert 605 ist und der dem Steuerpunkt 602 am nächsten ist, wird als der Entsprechungspunkt bestimmt.
Der Kantenpunkt im dreidimensionalen Modell, der in Schritt S502 als fehlerhafter Zuordnungspunkt bestimmt wurde, weist wie oben beschrieben ein Flag auf. Daher ist es möglich, Zuordnung für den Kantenpunkt mit dem Flag nicht durchzuführen. Sogar wenn Zuordnung für den Kantenpunkt durchgeführt wurde, kann ein Gewicht bei der im Folgenden beschriebenen Berechnung in Schritt S505 reduziert werden.
Im vorliegend Ausführungsbeispiel wird Zuordnung nicht nur für das Graustufenbild sondern auch für das erfasste Abstandsbild durchgeführt. Für die Zuordnung des Abstandsbilds wird irgendeine Anzahl an Punkten in einer Ebene des dreidimensionalen Modells extrahiert und basierend auf der angenäherten Position und Orientierung auf das Abstandsbild projiziert. Der projizierte Punkt kann einem Messpunkt in der Nachbarschaft des projizierten Punkts zugeordnet werden.
In Schritt S504 berechnet die Positions- und Orientierungsberechnungseinrichtung 208 eine Koeffizientenmatrix und einen Fehlervektor zur Lösung eines linearen Gleichungssystems. Jedes der Elemente der Koeffizientenmatrix ist eine erste partielle Ableitung bezüglich einer minimalen Änderung in einem abgeschätzten Wert einer Position und Orientierung und ist spezifisch eine erste partielle Ableitung von Bildkoordinaten. Der Fehlervektor ist ein Abstand auf einem Bild zwischen einer projizierten Kante und einer nachgewiesenen Kante.
7 veranschaulicht eine Beziehung zwischen einem projizierten Bild einer Kante und einer nachgewiesenen Kante. In 7 sind eine horizontale Richtung und eine vertikale Richtung eines Bilds jeweils eine u-Achse und eine v-Achse. Eine Position eines Steuerpunkts in einem Bild (ein Punkt zum gleichmäßigen Aufteilen jeder projizierten Kante in einem Bild) wird durch (u₀, v₀) dargestellt und eine Neigung der Kante in dem Bild, zu der der Steuerpunkt gehört, wird durch die Neigung θ bezüglich der u-Achse dargestellt. Die Neigung θ wird als Neigung einer geraden Linie berechnet, die die jeweiligen dreidimensional Koordinaten an beiden Enden der basierend auf einer Position und Orientierung s auf das Bild projizierten Kante verbindet. Ein Normalenvektor an das Bild der Kante ist (sinθ, –cosθ). Koordinaten eines Punkts in dem Bild, der dem Steuerpunkt entspricht, sind (u', v'). Ein Punkt (u, v) auf einer geraden Linie, die durch den Punkt (u', v') geht und eine Neigung θ (eine Konstante) aufweist, wird durch die folgende Gleichung ausgedrückt: usinθ – vcosθ = d (Gleichung 6) wobei d eine Konstante ist, die durch die folgende Gleichung ausgedrückt wird: d = u'sinθ – v'cosθ (Gleichung 7)
Eine Position des Steuerpunkts in dem Bild ändert sich abhängig von der Position und Orientierung s des Messzielobjekts 101. Die Freiheitsgrade der Position und Orientierung s des Messzielobjekts 101 sind sechs Freiheitsgrade. Das heißt, dass die Position und Orientierung s ein sechsdimensionaler Vektor ist und drei eine Position des Messzielobjekts 101 darstellende Elemente und drei eine Orientierung des Messzielobjekts 101 darstellende Elemente enthält. Die drei die Orientierung darstellenden Elemente werden z. B. durch einen Eulerwinkel dargestellt oder werden durch einen dreidimensionalen Vektor dargestellt, dessen Richtung eine Rotationsachse und dessen Größe einen Rotationswinkel darstellt. Koordinaten des sich abhängig von der Position und Orientierung s ändernden Steuerpunkts in dem Bild (u, v) können, wie durch (Gleichung 8) ausgedrückt, unter Verwendung einer Taylorentwicklung erster Ordnung in der Nachbarschaft der Koordinaten (u₀, v₀) genährt werden, wobei Δs_i (I = 1, 2, ..., 6) eine minimale Änderung jeder der Komponenten der Position und Orientierung s darstellt.
Für eine durch die korrekte Position und Orientierung s erhaltene Position des Steuerpunkts im Bild kann angenommen werden, dass diese sich auf einer durch (Gleichung 6) ausgedrückten geraden Linie befindet. Wenn u und v, die durch (Gleichung 8) genährt sind, in die (Gleichung 7) eingesetzt werden, wird (Gleichung 9) erhalten:
wobei r eine durch die folgende Gleichung ausgedrückte Konstante ist: r = u₀sinθ – v₀cosθ
Dreidimensionale Koordinaten in einem Koordinatensystem der Informationsverarbeitungsvorrichtung 1 können in dreidimensionale Koordinaten (x, y, z) in einem Modellkoordinatensystem vermittels der Position und Orientierung s des Messzielobjekts 101 umgewandelt werden. Ein Punkt wird in einen Punkt (x₀, y₀, z₀) in dem Modellkoordinatensystem unter Verwendung eines abschätzten Werts der Position und Orientierung s umgewandelt. Die dreidimensionalen Koordinaten (x, y, z) verändern sich abhängig von der Position und Orientierung s des Messzielobjekts 101 und können, wie durch (Gleichung 9) ausgedrückt, unter Verwendung einer Taylorentwicklung erster Ordnung in der Nachbarschaft des Punkts (x₀, y₀, z₀) genähert werden.
(Gleichung 9) gilt für alle Kanten, für die Zuordnung in Schritt S502 durchgeführt wurde. Daher ist ein wie durch (Gleichung 11) ausgedrücktes lineares Gleichungssystem bezüglich Δs_i erfüllt.
(Gleichung 11) wird durch (Gleichung 12) dargestellt. JΔs = E (Gleichung 12)
Eine partielle Ableitung zur Berechnung der Koeffizientenmatrix J im linearen Gleichungssystem (Gleichung 12) wird z. B. unter Verwendung eines in einem Dokument (V. Lepetit und P. Fua, "Keypoint recognition using randomized trees", IEEE Transactions an Pattern Analysis and Machine Intelligence, Ausgabe 28, Nr. 9, 2006) diskutieren Verfahrens berechnet.
In Schritt S505 erhält die Positions- und Orientierungsberechnungseinrichtung 208 basierend auf (Gleichung 12) unter Verwendung einer generalisierten inversen Matrix (J^T·J)^–1·J^T einer Matrix J einen Korrekturwert Δs.
Allerdings sind viele Kanten Ausreißer durch Fehlnachweis. Daher wird ein stabiles Abschätzverfahren wie im Folgenden beschrieben verwendet. Allgemein wächst ein Fehler d – r für die als Ausreißer dienende Kante. Daher wächst ein Beitragsverhältnis zum Gleichungssystem (Gleichung 11) und (Gleichung 12) und die Genauigkeit des als das Ergebnis erhaltenen Korrekturwerts Δs nimmt ab. Einen großen Fehler d – r aufweisenden Werten wird ein kleines Gewicht gegeben und einen kleinen Fehler d – r aufweisenden Werten wird ein großes Gewicht gegeben. Das Gewicht ist z. B. durch eine Turkey-Funktion wie in (Gleichung 13) ausgedrückt gegeben.
wobei c₁ und c₂ jeweils Konstanten sind. Eine ein Gewicht angebende Funktion muss nicht eine Turkey-Funktion sein, sondern kann jede Funktion zum Angeben eines kleinen Gewichts für einen großen Fehler aufweisende Werte und zum Angeben eines großen Gewichts für einen kleinen Fehler aufweisende Werte wie z. B. eine Huberfunktion sein.
Ein jedem Wert (Kante) entsprechendes Gewicht ist w_i. Eine Gewichtsmatrix W ist wie durch (Gleichung 14) ausgedrückt definiert.
Die Gewichtsmatrix W ist eine quadratische Matrix, bei der alle Komponenten außer einer diagonalen Komponente null sind und das Gewicht w_i in die diagonale Komponente eingesetzt ist. (Gleichung 11) wird unter Verwendung der Gewichtsmatrix in die (Gleichung 14) umgeformt. WJΔs = WE (Gleichung 15)
(Gleichung 15) wird gelöst, um den wie in (Gleichung 16) ausgedrückten Korrekturwert Δs zu erhalten. Δs = (J^TWJ)^–1J^TWE (Gleichung 16)
Wenn die oben beschriebene Rechnung auch für die in Schritt S504 erhaltene Zuordnung für das Abstandsbild durchgeführt wird, kann ein hochgradig genauer Korrekturwert unter Verwendung nicht nur des Graustufenbilds sondern auch des Abstandsbilds erhalten werden. Genauer gesagt kann der Verbesserungseffekt für die Berechnungsgenauigkeit der Position und Orientierung s unter gleichzeitiger Verwendung des Abstandsbilds nicht nur für eine ebene Richtung sondern auch für eine Tiefenrichtung erhalten werden.
In Schritt S506 aktualisiert die Positions- und Orientierungsberechnungseinrichtung 208 die Position und Orientierung s zu s + Δs unter Verwendung des Korrekturwerts Δs, der in Schritt S505 berechnet wurde.
In Schritt S507 bestimmt die Positions- und Orientierungsberechnungseinrichtung 208, ob die Position und Orientierung s konvergiert hat. Falls bestimmt wird, dass die Position und Orientierung s konvergiert hat (Ja in Schritt S507), wird die derzeitige Position und Orientierung s als ein Anpassungsergebnis eingestellt und die Verarbeitung endet. Falls bestimmt wird, dass die Position und Orientierung s nicht konvergiert hat (Nein in Schritt S507), werden die Verarbeitungen von Schritt S502 bis Schritt S506 wiederholt durchgeführt, bis die Position und Orientierung s konvergiert hat. Bei der Konvergenzbestimmung wird, falls bestimmt wird, dass der Korrekturwert Δs in Schritt S506 ein vorbestimmter Wert oder kleiner ist und sich kaum verändert, bestimmt, dass die Position und Orientierung s konvergiert hat. Ein Verfahren zur Konvergenzbestimmung ist nicht darauf beschränkt. Falls die Anzahl der Wiederholungen eine vorbestimmte Anzahl erreicht, kann bestimmt werden, dass die Position und Orientierung s konvergiert hat.
Wie oben beschrieben wird die Position und Orientierung s des Messzielobjekts 101 durch die Verarbeitungen von Schritt S501 bis Schritt S507 berechnet.
Während vorstehend eine dreidimensionale Position und Orientierung berechnet wurde, ist es möglich, vorstehend eine zweidimensionale Position und Orientierung zu berechnen. In diesem Fall ist ein Vektor s ein dreidimensionaler Vektor, der zwei eine Position darstellende Elemente und ein eine Orientierung darstellendes Element enthält.
Ein Verfahren zur Berechnung der Position und Orientierung des Messzielobjekt 101 ist im vorliegenden Ausführungsbeispiel nicht auf ein Gauß-Newton-Verfahren beschränkt. Zum Beispiel kann die Position und Orientierung unter Verwendung eines Levenberg-Marquardt-Verfahrens, bei dem die Rechnung stabiler ist, oder unter Verwendung eines Gradientenverfahrens, das als einfacheres Verfahren dient, berechnet werden. Ein anderes nichtlineares Optimierungsberechnungsverfahren wie das Verfahren der konjugierten Gradienten oder ein ICCG-Verfahren (ICCG für engl. incomplete Cholesky-conjugate gradient) kann verwendet werden.
(Abwandlung 1-1)
Als weitere Abwandlung des ersten Ausführungsbeispiels kann, als ein Verfahren zum Extrahieren eines fehlerhaften Zuordnungspunkts, der fehlerhafte Zuordnungspunkt extrahiert werden, indem vorher eine Schattenrichtung, in der ein Schatten erzeugt sein kann, für jeden der Kantenpunkte in einem dreidimensionalen Modell in einer angenäherten Position und Orientierung berechnet wird und die Schattenrichtung zusammen mit Information über die Schattenrichtung bestimmt wird.
Genauer gesagt berechnet die Schattenrichtungsberechnungseinrichtung 206 zuerst die Schattenrichtung.
Ein Verfahren zur Berechnung der Schattenrichtung ist dem des oben beschriebenen Schritts S303 ähnlich. Die Nachweiseinrichtung für fehlerhafte Zuordnungspunkte 207 berechnet dann eine Normalenrichtung zu einer Kantenrichtung für jeden der Kantenpunkte im dreidimensionalen Modell. Die Kantenrichtung bedeutet eine Ausbreitungsrichtung eines jeden der das dreidimensionale Modell bildenden Liniensegmente. Genauer gesagt wird jeder der Kantenpunkte des dreidimensionalen Modells auf eine zweidimensionale Ebene projiziert. Die Normalenrichtung zu der Kantenrichtung für jede der projizierten Kantenpunkte im dreidimensionalen Modell wird erfasst. Die Normalenrichtung zu der Kantenrichtung kann in eine Richtung auf das Innere des dreidimensionalen Modells und eine Richtung auf das Äußere des dreidimensionalen Modells eingeteilt werden. Allerdings wird in der Abwandlung die Normalenrichtung auf das Äußere als eine Richtung, in der ein Schatten erzeugt sein kann, berechnet. Dann wird für jeden der Kantenpunkte ein Skalarprodukt der Normalenrichtung und der Schattenrichtung berechnet, um zu bestimmen, ob der Kantenpunkt ein fehlerhafter Zuordnungspunkt ist. Es wird bestimmt, dass der Kantenpunkt, für den das Skalarprodukt ein vorbestimmter Wert oder größer ist, ein fehlerhafter Zuordnungspunkt ist. Wenn das Skalarprodukt größer ist, gibt es an, dass die Schattenrichtung und die Normalenrichtung näher beieinander liegen. Daher können die in diesen Richtungen einander zuzuordnenden Kantenpunkte einander fehlerhaft zugeordnet sein. In der Abwandlung ist das anschließende Verarbeitungsverfahren zu dem des ersten Ausführungsbeispiels ähnlich.
(Abwandlung 1-2)
Im ersten Ausführungsbeispiel wird angenommen, dass die Erfassungseinrichtung für eine angenäherte Position und Orientierung 203 jede angenäherte Position und Orientierung jedes Mal, wenn Berechnung zum Erhalten der Position und Orientierung des Messzielobjekt 101 durchgeführt wird, erfasst und die Schattenrichtungsberechnungseinrichtung 206 jedes Mal, wenn die Berechnung durchgeführt wird, die Schattenrichtung neuerlich berechnen muss. Andererseits können, wenn mehrere Positionen und Orientierungen des Messzielobjekt 101 abhängig von einer Form und einem Anordnungsverfahren des Messzielobjekts bestimmt sind, Kantenpunkte, die einander fehlerhaft zugeordnet sein können, für die zuvor angenommene angenäherte Position und Orientierung extrahiert werden.
Genauer gesagt werden die Schritte S301 bis S304 für zuvor angenommene angenäherte Positionen und Orientierungen wiederholt und die Information über einen fehlerhaften Zuordnungspunkt wird in Verbindung mit jeder der angenäherten Positionen und Orientierungen gespeichert. Dann wird Berechnungsverarbeitung (von Schritt S501 bis Schritt S506) zur Berechnung einer Position und Orientierung des Messzielobjekts 101 unter Verwendung eines von der Messinformationserfassungseinrichtung 201 erfassten Graustufenbilds und von Information über die angenäherte Position und Orientierung ausgeführt. Zu dieser Zeit werden die oben beschriebenen zuvor angenommenen Positionen und Orientierungen in Schritt S501 eingestellt und der fehlerhafte Zuordnungspunkt, der in Verbindung mit jeder der angenäherten Positionen und Orientierungen gespeichert ist, wird in Schritt S502 abgerufen. In dieser Abwandlung müssen die Verarbeitungen von Schritt S301 bis Schritt S304 nur einmal für jede der angenäherten Positionen und Orientierungen durchgeführt werden. Daher kann eine Zeitspanne für die Berechnungsverarbeitung kürzer gehalten werden, als wenn die Berechnung jedes Mal durchgeführt wird.
Im ersten Ausführungsbeispiel wird der fehlerhafte Zuordnungspunkt für den Kantenpunkt, der für das dreidimensionale Modell in Schritt S302 berechnet wurde, extrahiert.
Ein zweites Ausführungsbeispiel der vorliegend Erfindung unterscheidet sich vom ersten Ausführungsbeispiel dadurch, dass ein fehlerhafter Zuordnungspunkt für eine Kante extrahiert wird, die in Schritt S302 in einem Graustufenbild nachgewiesen wurde. Als Verfahren zum Extrahieren eines fehlerhaften Zuordnungspunkts, wird unter Verwendung des Kantenpunkts und von Information über einen Luminanzwert an einem Pixel in dessen Nachbarschaft bestimmt, ob ein Kantenpunkt ein fehlerhafter Zuordnungspunkt ist.
9A und 9B sind jeweils Konzeptdiagramme, die für ein durch Aufnehmen des Messzielobjekts 101 in einer Position und Orientierung erfasstes Graustufenbild eine Beziehung zwischen der Position und Orientierung des Messzielobjekt 101 und dem Aussehen des erfassten Graustufenbilds und eine Beziehung zwischen dem Graustufenbild und einem Luminanzwertprofil veranschaulichen. Wenn die Bildaufnahmevorrichtung 102 das Messzielobjekt 101 in dessen Position und Orientierung aufnimmt, wird, wie in 9A veranschaulicht, eine schattenbasierte Kante zusätzlich zu einer Kante des Messzielobjekt 101 in einem erfassten Graustufenbild wiedergegeben. In der Nachbarschaft der schattenbasierten Kante verringert sich ein Luminanzwert zunächst in einer Schattenrichtung und vergrößert sich dann.
Wenn ein Graustufenbild wie in 9B veranschaulicht erhalten wird und z. B. auf einen von einem Schatten abgeleiteten Kantenpunkt P unter den aus dem Graustufenbild extrahierten Kantenpunkten fokussiert wird, vergrößern sich in einer Schattenrichtung jeweilige Luminanzwerte L^P+1 und L^P-1 bei Pixeln P + 1 und P – 1 in dessen Nachbarschaft in der Schattenrichtung mit einem Luminanzwert L^P des Kantenpunkts P als Rand. Zu dieser Zeit verringern sich in der Schattenrichtung jeweilige Luminanzwerte L^P'+1 und L^P'-1 bei Pixeln P' + 1 und P' – 1 in der Nachbarschaft in der Schattenrichtung eines Kantenpunkts P', der vom Messzielobjekt 101 abgeleitet ist und in der Nachbarschaft des Kantenpunkts P existiert, mit einem Luminanzwert L^P' des Kantenpunkts P' als Rand. Wenn ein Abschnitt in der Nachbarschaft des Kantenpunkts P auf dem Graustufenbild betrachtet wird, scheint der Abschnitt sich in der Schattenrichtung in ”hell”, ”dunkel” und ”hell” in dieser Reihenfolge zu ändern. Spezifisch, wenn von Schritt S802 bis Schritt S805 auf die Veränderung im Luminanzwert in der Schattenrichtung in der Nachbarschaft des fokussierten Kantenpunkts im Graustufenbild Bezug genommen wird, kann bestimmt werden, ob der Kantenpunkt vom Schatten abgeleitet ist.
Ein Vorgehen zur Positions- und Orientierungsberechnungsverarbeitung im vorliegenden Ausführungsbeispiel wird im Folgenden beschrieben.
Während Messinformation, Vorrichtungsinformation, angenäherte Position und Orientierung und Modellinformation zuerst erfasst werden und eine Kante dann nachgewiesen wird, ist eine Abfolge von Verfahren ähnlich zu der gemäß dem ersten Ausführungsbeispiel und eine Beschreibung davon wird daher nicht wiederholt.
Eine Schattenrichtung wird dann berechnet. 12 ist ein Flussdiagramm, das ein Vorgehen bei einer Schattenrichtungsberechnungsverarbeitung gemäß dem vorliegenden Ausführungsbeispiel veranschaulicht. Jeder der in 12 veranschaulichten Schritte wird im Folgenden beschrieben.
In Schritt S1201 berechnet eine Schattenrichtungsberechnungseinrichtung 206 zunächst eine Schattenrichtung für einen Kantenpunkt in einem dreidimensionalen Modell. Ein Verfahren zur Berechnung der Schattenrichtung in Schritt S1202 ist ähnlich zu dem in Schritt S303 im ersten Ausführungsbeispiel. Die berechnete Schattenrichtung wird in Verbindung mit dem Kantenpunkt im dreidimensionalen Modell gespeichert.
In Schritt S1202 ordnet die Schattenrichtungsberechnungseinrichtung 206 dann dem Kantenpunkt im dreidimensionalen Modell, für den die Schattenrichtung berechnet wurde, einen Kantenpunkt in einem Graustufenbild zu. Ein Verfahren zur Zuordnung in Schritt S1202 ist ähnlich zu dem in Schritt S503 im ersten Ausführungsbeispiel.
In Schritt S1203 speichert die Schattenrichtungsberechnungseinrichtung 206 dann den Kantenpunkt im Graustufenbild, der in Schritt S1202 dem Kantenpunkt im dreidimensionalen Modell zugeordnet wurde, in Verbindung mit der in Schritt S1202 berechneten Schattenrichtung.
In Schritt S1204 überprüft die Schattenrichtungsberechnungseinrichtung 206 dann, ob die Verarbeitungen von Schritt S1201 bis Schritt S1203 für alle Kantenpunkte im dreidimensionalen Modell abgeschlossen sind. Wenn die Verarbeitungen für alle Kantenpunkte im dreidimensionalen Modell abgeschlossen sind (Ja in Schritt S1204), fährt die Verarbeitung mit Schritt S1205 fort. Andererseits werden die Verarbeitungen von Schritt S1201 bis Schritt S1204 wiederholt, falls es den bis jetzt noch nicht verarbeiteten Kantenpunkt im dreidimensionalen Modell gibt.
In Schritt S1205 bestimmt die Schattenrichtungsberechnungseinrichtung 206 dann, ob der Kantenpunkt im Graustufenbild verbleibt, der nicht dem Kantenpunkt im dreidimensionalen Modell zugeordnet wurde. Falls der Kantenpunkt nicht verbleibt (Nein in Schritt S1205) werden die nachfolgenden Verarbeitungen ausgelassen und die Verarbeitung zur Schattenberechnung endet. Falls der Kantenpunkt verbleibt (Ja in Schritt S1205), fährt die Verarbeitung mit Schritt S1206 fort.
In Schritt S1206 bestimmt die Schattenrichtungsberechnungseinrichtung 206 die Schattenrichtung des Kantenpunkts im Graustufenbild, der nicht dem Kantenpunkt im dreidimensionalen Modell zugeordnet wurde, mittels Bezugnahme auf Information über die Schattenrichtung des Kantenpunkts in dessen Nachbarschaft, der schon dem Kantenpunkt im dreidimensionalen Modell zugeordnet wurde. Als Verfahren zur Bestimmung der Schattenrichtung kann die Schattenrichtung z. B. als mit dem nächsten Kantenpunkt in der Nachbarschaft unter den Kantenpunkten, die schon den Kantenpunkten im dreidimensionalen Modell zugeordnet wurden, verbundene Schattenrichtung bestimmt werden. Wenn es mehrere Kantenpunkte, die Kantenpunkten im dreidimensionalen Modell zugeordnet wurden, in einem vorbestimmten Bereich in dessen Nachbarschaft gibt, kann die Schattenrichtung als ein Durchschnittswert der mit den Kantenpunkten verbundenen Schattenrichtungen bestimmt werden. Nachdem die Schattenrichtung in Schritt S1206 bestimmt wurde, kehrt die Verarbeitung zu Schritt S1205 zurück.
Die Schattenrichtungsberechnungseinrichtung 206 berechnet die Schattenrichtung durch Ausführen der oben beschriebenen Verarbeitungen.
Der fehlerhafte Zuordnungspunkt wird dann extrahiert. 8 ist ein Flussdiagramm, das ein Vorgehen bei einer Verarbeitung zum Extrahieren fehlerhafter Zuordnungspunkte gemäß dem vorliegenden Ausführungsbeispiel veranschaulicht. Jeder der in 8 veranschaulichten Schritte wird im Folgenden beschrieben.
In Schritt S801 sucht eine Nachweiseinrichtung für fehlerhafte Zuordnungspunkte 207 zunächst nach Pixeln in der Nachbarschaft (im Außenbereich) in einer Schattenrichtung eines fokussierten Kantenpunkts im Graustufenbild und erfasst deren Luminanzwerte (Pixelwerte). Das zu verwendende Graustufenbild kann dasselbe sein wie das, das zur Positions- und Orientierungsberechnung des dreidimensionalen Modells im ersten Ausführungsbeispiel verwendet wird.
In Schritt S802 bestimmt dann die Nachweiseinrichtung für fehlerhafte Zuordnungspunkte 207, ob sich der erfasste Luminanzwert in Schattenrichtung mit dem fokussierten Kantenpunkt als Rand erhöht. Spezifisch, wenn ein Luminanzprofil wie in 9B veranschaulicht erhalten wird, vergleicht die Nachweiseinrichtung für fehlerhafte Zuordnungspunkte 207 Luminanzwerte L^P+1 und L^P-1 miteinander, die Pixeln P + 1 und P – 1, welche in der Nachbarschaft in der Schattenrichtung eines fokussierten Kantenpunkts P existieren, entsprechen, und bestimmt ob die Luminanzwerte L^P+1 und L^P-1 eine Beziehung L^P+1 > L^P-1 aufweisen. Wenn sich der Luminanzwert als Ergebnis der Bestimmung erhöht (Ja in Schritt S802), wird der fokussierte Kantenpunkt P als Kandidat für einen fehlerhaften Zuordnungspunkt eingestellt und die Verarbeitung fährt mit Schritt S803 fort. Andernfalls (Nein in Schritt S802) werden die Verarbeitungen von Schritt S803 bis Schritt S806 ausgelassen und die Verarbeitung fährt mit Schritt S807 fort.
In Schritt S803 sucht die Nachweiseinrichtung für fehlerhafte Zuordnungspunkte 207 in einer der Schattenrichtung entgegengesetzten Richtung mit dem fokussierten Kantenpunkt als Ausgangspunkt nach einem weiteren Kantenpunkt und gibt das Ergebnis der Suche aus. Genauer gesagt sucht die Nachweiseinrichtung für fehlerhafte Zuordnungspunkte 207 in einer der Schattenrichtung entgegengesetzten Richtung mit dem in 9B veranschaulichten Kantenpunkt P als Ausgangspunkt nach dem weiteren Kantenpunkt und fügt, wenn der gesuchte Kantenpunkt ein Kantenpunkt P' ist, diesem neu Flaginformation bei und gibt den Kantenpunkt aus.
In Schritt S804 nimmt die Nachweiseinrichtung für fehlerhafte Zuordnungspunkte 207 auf ein Ergebnis der Suche in Schritt S803 Bezug und bestimmt, ob der weitere Kantenpunkt gefunden wurde. Wen bestimmt wird, dass der weitere Kantenpunkt gefunden wurde (Ja in Schritt S804), erfasst die Nachweiseinrichtung für fehlerhafte Zuordnungspunkte 207 einen Luminanzwert an einem Pixel in der Nachbarschaft in der Schattenrichtung des Kantenpunkts P' und die Verarbeitung fährt mit Schritt S805 fort. Wenn der weitere Kantenpunkt in der Nachbarschaft des Kantenpunkts P nicht gefunden wurde (Nein in Schritt S804), wird bestimmt, dass der fokussierte Kantenpunkt P als Kandidat für einen fehlerhaften Zuordnungspunkt ausscheidet. In diesem Fall werden die Verarbeitungen in Schritten S805 und S806 ausgelassen und die Verarbeitung fährt mit Schritt S807 fort.
In Schritt S805 bestimmt die Nachweiseinrichtung für fehlerhafte Zuordnungspunkte 207, ob sich der erfasste Luminanzwert in der Schattenrichtung mit dem in Schritt S803 gefundenen weiteren Kantenpunkt als Rand verringert. Spezifisch vergleicht die Nachweiseinrichtung für fehlerhafte Zuordnungspunkte 207 Luminanzwerte L^P'+1 und L^P'-1 miteinander, die Pixeln P' + 1 und P' – 1, welche, wie in 9B veranschaulicht, in der Nachbarschaft in der Schattenrichtung des Kantenpunkts P' existieren, entsprechen, und bestimmt, ob die Luminanzwerte L^P'+1 und L^P'-1 eine Beziehung L^P'+1 > L^P'-1 aufweisen. Wenn sich der Luminanzwert als Ergebnis der Bestimmung verringert (Ja in Schritt S805), wird der Kantenpunkt P' als ein fehlerhafter Zuordnungspunkt eingestellt und die Verarbeitung fährt mit Schritt S806 fort. Andernfalls (Nein in Schritt S805) wird bestimmt, dass der fokussierte Kantenpunkt P' als Kandidat für einen fehlerhaften Zuordnungspunkt ausscheidet und die Verarbeitung fährt mit Schritt S807 fort.
In Schritt S806 fügt die Nachweiseinrichtung für fehlerhafte Zuordnungspunkte 207 einem Kantenpunkt, der in Schritt S805 als fehlerhafter Zuordnungspunkt bestimmt wurde, neu Flaginformation bei. Ein Verarbeitungsinhalt in Schritt S806 ist dem in Schritt S405 im ersten Ausführungsbeispiel ähnlich.
In Schritt S807 prüft die Nachweiseinrichtung für fehlerhafte Zuordnungspunkte 207, ob alle die Kantenpunkte als fehlerhafte Zuordnungspunkte bestimmt wurden. Falls alle die Kantenpunkte als fehlerhafte Zuordnungspunkte bestimmt wurden (Ja in Schritt S807), beendet die Nachweiseinrichtung für fehlerhafte Zuordnungspunkte 207 die Verarbeitung zum Extrahieren falscher Zuordnungspunkte und fährt mit Verarbeitung zur Positions- und Orientierungsberechnung fort. Andererseits fährt die Verarbeitung mit Schritt S801 fort und die Verarbeitungen von Schritt S801 bis Schritt S807 werden wiederholt, wenn es den bis jetzt noch nicht bestimmten Kantenpunkt gibt (Nein in Schritt S807). Ein Verarbeitungsinhalt in Schritt S807 ist dem in Schritt S406 im ersten Ausführungsbeispiel ähnlich.
Wenn die oben beschriebenen Verarbeitungen ausgeführt werden, wird der fehlerhafte Zuordnungspunkt extrahiert.
Eine Position und Orientierung wird dann berechnet. Ein Verfahren zur Berechnung einer Position und Orientierung ist dem im ersten Ausführungsbeispiel veranschaulichten Verfahren ähnlich und eine Beschreibung davon wird daher nicht wiederholt.
Wenn die oben beschriebenen Verarbeitungen ausgeführt werden, kann die Position und Orientierung des Messzielobjekt 101 berechnet werden.
(Abwandlung 2-1)
Im vorliegend Ausführungsbeispiel wird bestimmt, ob ein Kantenpunkt in einem Graustufenbild, der einem Kantenpunkt in einem dreidimensionalen Modell zugeordnet ist, ein fehlerhafter Zuordnungspunkt ist. Wenn bestimmt wird, dass der Kantenpunkt im Graustufenbild der fehlerhafte Zuordnungspunkt ist, wird Verarbeitung zur Berücksichtigung des fehlerhaften Zuordnungspunkts bei nachfolgender Positions- und Orientierungsberechnung wie im ersten Ausführungsbeispiel durchgeführt. Als Abwandlung bei der Positions- und Orientierungsberechnung, kann ein Verfahren, das einen fehlerhaften Zuordnungspunkt in einem Graustufenbild nicht bei der nachfolgenden Berechnung berücksichtigt, sondern den fehlerhaften Zuordnungspunkt einem Kantenpunkt in einem dreidimensionalen Modell zuordnet und, wenn der fehlerhafte Zuordnungspunkt im Graustufenbild dem Kantenpunkt im dreidimensional Modell zugeordnet ist, den fehlerhaften Zuordnungspunkt durch einen andern Kantenpunkt in dessen Nachbarschaft ersetzt, verwendet werden.
14 ist ein Flussdiagramm, das ein Vorgehen bei der Positions- und Orientierungsberechnungsverarbeitung in dieser Abwandlung veranschaulicht. Während die jeweiliger Verarbeitungsinhalte der in 14 veranschaulichten Schritte S1401 und S1402 denen der Schritte S501 und S503 im ersten Ausführungsbeispiel und im zweiten Ausführungsbeispiel ähnlich sind, enthalten Kantenpunkte in einem Graustufenbild, die in Schritt S1402 Kantenpunkten in einem dreidimensionalen Modell zugeordnet werden, einen fehlerhaften Zuordnungspunkt. In Schritt S1403 wird bestimmt, ob der Kantenpunkt im Graustufenbild, der in Schritt S1402 dem Kantenpunkt im dreidimensionalen Modell zugeordnet wurde, der fehlerhafte Zuordnungspunkt ist. Wenn bestimmt wird, dass der Kantenpunkt der fehlerhafte Zuordnungspunkt ist (Ja in Schritt S1403), dann wird in Schritt S1404 der fehlerhafte Zuordnungspunkt durch einen Nachbarpunkt ersetzt.
Der Nachbarpunkt, durch den der fehlerhafte Zuordnungspunkt in Schritt S1404 ersetzt wird, muss ein vom fehlerhaften Zuordnungspunkt verschiedener Kantenpunkt sein. Ein spezifisches Beispiel ist bevorzugt ein Kantenpunkt, der in einer einer Schattenrichtung, in der in Schritt S803 gesucht wurde, entgegengesetzten Richtung existiert, da der Kantenpunkt ein Punkt sein kann, der von einer Kante des Messzielobjekt 101 abgeleitet ist.
Verarbeitungsinhalte in den nachfolgenden Schritten S1405 und S1408 sind denen von Schritt S504 bis Schritt S507 im ersten Ausführungsbeispiel und zweite Ausführungsbeispiel ähnlich. In dieser Abwandlung kann, wenn der zugeordnete fehlerhafte Zuordnungspunkt für die' nachfolgende Berechnung verwendet wird, nachdem dieser durch eine andere Kante, die vom Messzielobjekt 101 abgeleitet sein kann, ersetzt wurde, die fehlerhafte Zuordnung vermieden werden.
Im ersten Ausführungsbeispiel wird der fehlerhafte Zuordnungspunkt für einen Kantenpunkt im dreidimensionalen Modell extrahiert. Andererseits wird im zweiten Ausführungsbeispiel der fehlerhafte Zuordnungspunkt für einen Kantenpunkt im in der Messinformationserfassungseinrichtung 201 erfassten Graustufenbild extrahiert. Andererseits wird in einem dritten Ausführungsbeispiel der vorliegenden Erfindung Positions- und Orientierungsberechnung durchgeführt, nachdem ein fehlerhafter Zuordnungspunkt für jeden von einem Kantenpunkt in einem dreidimensionalen Modell und einem Kantenpunkt in einem Graustufenbild extrahiert wurde. Im vorliegenden Ausführungsbeispiel können jeweilige Probleme, die im ersten Ausführungsbeispiel und im zweiten Ausführungsbeispiel auftreten können, gegeneinander ausgeglichen werden, indem das erste und zweite Ausführungsbeispiel kombiniert werden.
Im ersten Ausführungsbeispiel wird der Punkt, der der vom Schatten abgeleiteten Kante fehlerhaft zugeordnet sein kann, für den Kantenpunkt im dreidimensionalen Modell extrahiert. In diesem Verfahren wird Berechnung unter der Voraussetzung durchgeführt, dass das Messzielobjekt 101 eine ideale Form wie das dreidimensionale Modell in einem virtuellen dreidimensionalen Raum hat und dass die relative Positionsbeziehung zwischen der Bildaufnahmevorrichtung 102 und der Projektionsvorrichtung 103 eine ideale Anordnung ist. Allerdings ist eine Situation, in der Bildaufnahme tatsächlich durchgeführt wird, nicht notwendigerweise ideal. Auch wenn der Kantenpunkt im dreidimensionalen Modell als der fehlerhafte Zuordnungspunkt extrahiert wird, kann es sein, dass die vom Schatten abgeleitete Kante wegen eines Formfehlers des Messzielobjekts 101 und einem Fehler der Positionsbeziehung zwischen der Bilderfassungsvorrichtung 102 und der Projektionsvorrichtung 103 nicht in der Nachbarschaft des dem fehlerhaften Zuordnungspunkt zugeordneten Kantenpunkts im Graustufenbild existiert. Genauer gesagt wird in so einem Fall ein Kantenpunkt, mit dem es sogar bei Verwendung zur Positions- und Orientierungsberechnung keine Probleme gibt, übermäßig ausgeschlossen. Entsprechend kann ein solches Problem gelöst werden, indem Verarbeitung neu hinzugefügt wird, die bestimmt, ob der für den Kantenpunkt im dreidimensionalen Modell extrahierte fehlerhafte Zuordnungspunkt in dem fehlerhaften Zuordnungspunkt enthalten ist, der aus Information über das durch tatsächliches Durchführen einer Bildaufnahme erfasste Graustufenbild extrahiert wurde.
Andererseits wird im zweiten Ausführungsbeispiel für den Kantenpunkt im Graustufenbild auf den Luminanzwert bezuggenommen und der vom Schatten abgeleitete Kantenpunkt extrahiert. In diesem Verfahren wird bestimmt, ob für jeden von allen extrahierten Kantenpunkten die Luminanz der Pixel in seiner Nachbarschaft eine Bedingung „hell, dunkel, hell” erfüllt. Daher kann es abhängig vom Material und der Form und der Position und Orientierung des Messzielobjekts 101 sein, dass auch der nicht vom Schatten abgeleitete Kantenpunkt deaktiviert wird. In diesem Fall wird die Anzahl der zur Positions- und Orientierungsberechnung verwendeten Kantenpunkte reduziert. Daher kann sich die Genauigkeit der Positions- und Orientierungsberechnung verschlechtern. Entsprechend kann ein solches Problem gelöst werden, indem Verarbeitung neu hinzugefügt wird, die bestimmt, ob der für den Kantenpunkt im Graustufenbild extrahierte fehlerhafte Zuordnungspunkt in den fehlerhaften Zuordnungspunkten enthalten ist, die aus dem dreidimensionalen Modell und Information über die angenäherte Position und Orientierung extrahiert wurden.
Ein Verfahren zur Positions- und Orientierungsberechnung gemäß dem dritten Ausführungsbeispiel wird im Folgenden beschrieben. 10 ist ein Flussdiagramm, das ein Vorgehen bei einer Positions- und Orientierungsberechnungsverarbeitung im vorliegenden Ausführungsbeispiel veranschaulicht. Beide Schritte S1003 und S1004 sind Schritte zum Extrahieren eines fehlerhaften Zuordnungspunkts und entsprechen dem Schritt S304 im ersten Ausführungsbeispiel, im zweiten Ausführungsbeispiel und deren Abwandlungen. Allerdings wird ein fehlerhafter Zuordnungspunkt für ein dreidimensionales Modell in Schritt S1003 extrahiert, während der fehlerhafte Zuordnungspunkt für ein Graustufenbild in Schritt S1004 extrahiert wird. Schritte S1003 und S1004 können parallel ausgeführt werden. Alternativ kann nachdem entweder Schritt S1003 oder S1004 ausgeführt wurde, der andere Schritt extrahiert werden. In Schritt S1005 wird die Positions- und Orientierungsberechnung durchgeführt, nachdem Information über den extrahierten fehlerhaften Zuordnungspunkt dabei berücksichtigt wurde. Allerdings unterscheidet sich das vorliegende Ausführungsbeispiel vom ersten und zweiten Ausführungsbeispiel dadurch, dass fehlerhafte Zuordnungspunkte, die jeweils aus einem Kantenpunkt im dreidimensionalen Modell und einem Kantenpunkt im Graustufenbild extrahiert wurden, verwendet werden.
11 ist ein Flussdiagramm, das ein Vorgehen für eine spezifische Verarbeitung von Schritt S1005 gemäß dem vorliegenden Ausführungsbeispiel veranschaulicht. In 11 veranschaulichte Schritte werden im Folgenden beschrieben.
In Schritt S1101 führt eine Positions- und Orientierungsberechnungseinrichtung 208 Initialisierung durch. Das vorliegende Ausführungsbeispiel ist dem ersten und zweiten Ausführungsbeispiel darin ähnlich, dass Information über eine angenäherte Position und Orientierung und Information über einen Kantenpunkt extrahiert wird. Allerdings unterscheidet sich das vorliegende Ausführungsbeispiel von den anderen Ausführungsbeispielen dahingehend, dass sowohl ein fehlerhafter Zuordnungspunkt, der für einen Kantenpunkt in einem dreidimensional Modell extrahiert wurde, als auch ein fehlerhafter Zuordnungspunkt, der für einen Kantenpunkt in einem Graustufenbild extrahiert wurde, erfasst wird.
In Schritt S1102 vergleicht die Positions- und Orientierungsberechnungseinrichtung 208 Positionen des fehlerhaften Zuordnungspunkts, der aus dem Kantenpunkt im dreidimensionalen Modell extrahiert wurde, und des fehlerhaften Zuordnungspunkts, der aus dem Kantenpunkt im Graustufenbild extrahiert wurde, und bestimmt, ob die Positionen der fehlerhaften Zuordnungspunkte in der Bildebene übereinstimmen. Auch wenn die Positionen der zwei Typen von fehlerhaften Zuordnungspunkten nicht vollständig übereinstimmen, können die Punkte als übereinstimmend angesehen werden, wenn ein Abstand zwischen den fokussierten Kantenpunkten innerhalb eines erlaubten Bereichs ist. In diesem Fall ist der erlaubte Bereich des Abstands zwischen den Kantenpunkten vorher einzustellen und ein Schritt zur Berechnung des Abstands zwischen den Kantenpunkten gesondert vorzusehen. Wenn bestimmt wird, dass die zwei Typen von fehlerhaften Zuordnungspunkten übereinstimmen (Ja in Schritt S1102), fährt die Verarbeitung mit Schritt S1103 fort. Andernfalls (Nein in Schritt S1102) wird bestimmt, dass der Kantenpunkt kein fehlerhafter Zuordnungspunkt ist und die Verarbeitung fährt mit Schritt S1104 fort.
In Schritt S1103 führt die Positions- und Orientierungsberechnungseinrichtung 208 Verarbeitung zur Berücksichtigung der fehlerhaften Zuordnungspunkte, die in Schritt S1102 übereinstimmten, bei der nachfolgenden Berechnung durch. Während die fehlerhaften Zuordnungspunkte sowohl für die Kantenpunkte im dreidimensionalen Modell als auf für die Kantenpunkte im Graustufenbild zu berücksichtigen sind, kann eine Verarbeitung zur Berücksichtigung der fehlerhaften Zuordnungspunkte lediglich einer der Kantenpunkte verwendet werden, wenn die Berücksichtigung lediglich einer der Kantenpunkte einen ausreichenden Effekt auf ein Ergebnis der Positions- und Orientierungsberechnung hat.
Verarbeitungen von Schritt S1104 bis Schritt S1108 sind ähnlich zu denen von Schritt S503 bis S507 im ersten und zweiten Ausführungsbeispiel und eine Beschreibung davon wird daher nicht wiederholt.
(Abwandlung 3-1)
Während der Nachweis des fehlerhaften Zuordnungspunkts für den Kantenpunkt im dreidimensionalen Modell und der Nachweis des fehlerhaften Zuordnungspunkts für den Kantenpunkt im Graustufenbild im vorliegenden Ausführungsbeispiel unabhängig durchgeführt werden, müssen die fehlerhaften Zuordnungspunkte zum Verkürzen der Verarbeitungszeit nicht notwendigerweise unabhängig nachgewiesen werden. Zum Beispiel wird Zuordnung durchgeführt, nachdem einer der fehlerhaften Zuordnungspunkte zuvor nachgewiesen wurde. Solange als Ergebnis der Zuordnung ein dem fehlerhaften Zuordnungspunkt zugeordneter Kantenpunkt existiert, kann bestimmt werden, ob der Kantenpunkt der fehlerhafte Zuordnungspunkt ist. In dieser Abwandlung muss nicht bestimmt werden, ob die zwei fehlerhaften Zuordnungspunkte übereinstimmen. Daher kann ein Effekt hinsichtlich einer verkürzten Verarbeitungszeit erwartet werden.
Wirkung von Jedem Ausführungsbeispiel
Im ersten Ausführungsbeispiel ist die Stabilität der Positions- und Orientierungsmessung verbessert, indem bestimmt wird, ob der Kantenpunkt im dreidimensionalen Modell der vom Schatten abgeleiteten Kante fehlerhaft zugeordnet sein kann, wobei die Information über die Richtung, in der der Schatten erzeugt wird, und die angenäherte Position und Orientierung verwendet werden und die Information über den fehlerhaften Zuordnungspunkt bei der Positions- und Orientierungsberechnung berücksichtigt wird, was eine hohe Stabilität der Positions- und Orientierungsmessung ermöglicht.
Im zweiten Ausführungsbeispiel ist die Stabilität der Positions- und Orientierungsmessung verbessert, indem bestimmt wird, ob der Kantenpunkt im Graustufenbild die vom Schatten abgeleiteten Kante ist, wobei die Information über die Richtung, in der der Schatten erzeugt wird, und der Luminanzwert verwendet werden und die Information über den fehlerhaften Zuordnungspunkt bei der Positions- und Orientierungsberechnung berücksichtigt wird, was eine hohe Stabilität einer Positions- und Orientierungsmessung ermöglicht.
Im dritten Ausführungsbeispiel ist die Stabilität der Positions- und Orientierungsmessung verbessert, indem bestimmt wird, ob die jeweils für den Kantenpunkt im dreidimensionalen Modell und für den Kantenpunkt im Graustufenbild extrahierten fehlerhaften Zuordnungspunkte übereinstimmen und die fehlerhaften Zuordnungspunkte bei der Positions- und Orientierungsberechnung berücksichtigt werden, was eine hohe Stabilität einer Positions- und Orientierungsmessung ermöglicht.
Weitere Ausführungsformen
Ausführungsformen) der vorliegenden Erfindung können auch durch einen Computer eines Systems oder einer Vorrichtung realisiert werden, der auf einem Speichermedium (das vollständiger auch als ein 'nicht-flüchtiges computerlesbares Speichermedium' bezeichnet werden kann) aufgezeichnete computerausführbare Anweisungen (z. B. ein oder mehrere Programme) ausliest und ausführt, um die Funktionen von einer oder mehr der oben beschriebenen Ausführungsformen) durchzuführen, und/oder der ein oder mehr Schaltungen (z. B. eine anwenderspezifisch-integrierte Schaltung (ASIC)) zum Durchführen der Funktionen von einer oder mehr der oben beschriebenen Ausführungsformen) beinhaltet, sowie durch ein durch den Computer des Systems oder der Vorrichtung durchgeführtes Verfahren, zum Beispiel, durch Auslesen und Ausführen der computerausführbaren Anweisungen von dem Speichermedium, um die Funktionen von einer oder mehr der oben beschriebenen Ausführungsformen) durchzuführen, und/oder Steuern der ein oder mehr Schaltungen, um die Funktionen von einer oder mehr der oben beschriebenen Ausführungsformen) durchzuführen. Der Computer kann einen oder mehrere Prozessoren (z. B. eine zentrale Verarbeitungseinheit (CPU), eine Mikroprozessoreinheit (MPU)) umfassen und kann ein Netzwerk von separaten Computern oder separaten Computerprozessoren enthalten, um die computerausführbaren Anweisungen auszulesen und auszuführen. Die computerausführbaren Anweisungen können dem Computer z. B. von einem Netzwerk oder einem Speichermedium bereitgestellt werden. Das Speichermedium kann z. B. eine oder mehrere Festplatten, einen RAM (random access memory), ein ROM (read only memory), einen Speicher aus verteilten Rechnersystemen, einen optischen Datenträger (wie eine CD (compact disc), DVD (digital versatile disc) oder eine BD (Blu-ray Disc)^TM), ein Flashspeichergerät, eine Speicherkarte oder ähnliches enthalten.
Gemäß der vorliegenden Beschreibung kann, auch wenn ein ein Objekt enthaltendes Bild einen Schatten enthält, eine Position und Orientierung des Objekts mit hoher Genauigkeit gemessen werden.
Obwohl die vorliegende Erfindung unter Bezugnahme auf Ausführungsbeispiele beschrieben worden ist, ist selbstverständlich, dass die Erfindung nicht auf die offenbarten Ausführungsbeispiele begrenzt ist. Dem Umfang der folgenden Ansprüche soll die weitestgehende Interpretation zugestanden werden, sodass all solche Modifikationen und äquivalenten Strukturen und Funktionen erfasst sind.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2012-42396 [0004, 0005]

Zitierte Nicht-Patentliteratur

Z. Zhang, ”A flexible new technique for camera calibration”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Ausgabe 22, Nr. 11, S. 1330–1334, 2000 [0035]
M. Kimura, ”Projector Calibration using Arbitrary Planes and Calibrated Camera”, Computer Vision and Pattern Recognition, CVPR, 2007 [0037]
V. Lepetit und P. Fua, ”Keypoint recognition using randomized trees”, IEEE Transactions an Pattern Analysis and Machine Intelligence, Ausgabe 28, Nr. 9, 2006 [0088]

Claims

Informationsverarbeitungsvorrichtung, umfassend: eine Erfassungseinrichtung konfiguriert zum Erfassen eines von einer Bildaufnahmevorrichtung aufgenommenen Bilds, das ein Messzielobjekt enthält; eine Speichereinrichtung konfiguriert zum Speichern von Information über mehrere geometrische Merkmale, die ein dreidimensionales Modell des Messzielobjekts bilden; eine Einstelleinrichtung konfiguriert zum Einstellen, wenn die mehreren geometrischen Merkmale mehreren Bildmerkmalen in dem Bild zugeordnet sind, eines Flags für das geometrische Merkmal, das dem durch einen Schatten des Messzielobjekts verursachten Bildmerkmal entsprechen kann; eine Zuordnungseinrichtung konfiguriert zum Zuordnen der mehreren geometrischen Merkmale zu den mehreren im Bild nachgewiesenen Bildmerkmalen basierend auf einer angenäherten Position und Orientierung des Messzielobjekts und dem durch die Einstelleinrichtung eingestellten Flag; und eine Ableiteinrichtung konfiguriert zum Ableiten einer Position und Orientierung des Messzielobjekts basierend auf einem Ergebnis der Zuordnung durch die Zuordnungseinrichtung.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Einstelleinrichtung unter den mehreren geometrischen Merkmalen das geometrische Merkmal, das dem durch den Schatten des Messzielobjekts verursachten Bildmerkmal entsprechen kann, basierend auf der angenäherten Position und Orientierung des Messzielobjekts bestimmt und das Flag für das geometrisch Merkmal einstellt, das dem durch den Schatten verursachten Bildmerkmal entsprechen kann.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Ableiteinrichtung die angenäherte Position und Orientierung aktualisiert, sodass ein Unterschied zwischen dem Bildmerkmal und dem geometrischen Merkmal, die einander zugeordnet sind, reduziert wird, um die Position und Orientierung des Messzielobjekts abzuleiten.
Informationsverarbeitungsvorrichtung nach Anspruch 1, weiterhin umfassend eine zweite Einstelleinrichtung konfiguriert zum Einstellen, unter den im Bild nachgewiesenen mehreren Bildmerkmalen, eines zweiten Flags für das Bildmerkmal, das durch den Schatten des Messzielobjekts verursacht sein kann, wobei die Zuordnungseinrichtung die mehreren geometrischen Merkmale und die mehreren Bildmerkmale einander ferner basierend auf dem zweiten Flag zuordnet.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Zuordnungseinrichtung das geometrische Merkmal, für das das Flag eingestellt ist, nicht dem Bildmerkmal zuordnet.
Informationsverarbeitungsvorrichtung nach Anspruch 1, weiterhin umfassend eine Abschätzeinrichtung konfiguriert zum Abschätzen einer Richtung des Schattens des Messzielobjekts in dem Bild basierend auf einer Position der Bildaufnahmevorrichtung und einer Position einer Projektionsvorrichtung, die Licht auf das Messzielobjekt projiziert, wobei die Einstelleinrichtung das Flag basierend auf der angenäherten Position und Orientierung des Messzielobjekts und der Richtung des Schattens einstellt.
Informationsverarbeitungsvorrichtung nach Anspruch 6, wobei die Einstelleinrichtung, um das Flag einzustellen, die mehreren geometrischen Merkmale basierend auf der angenäherten Position und Orientierung auf eine zweidimensionale Ebene projiziert, als ein Ergebnis einer Durchsuchung eines vorbestimmten Bereichs in der Richtung des Schattens, beginnend bei einem fokussieren geometrischen Merkmal unter den mehreren projizierten geometrischen Merkmalen, bestimmt, dass das fokussierte geometrische Merkmal dem durch den Schatten des Messzielobjekts verursachten Bildmerkmal entsprechen kann, wenn kein vom fokussierten geometrischen Merkmal verschiedenes geometrisches Merkmal nachgewiesen wird.
Informationsverarbeitungsvorrichtung nach Anspruch 6, wobei die Einstelleinrichtung, um das Flag einzustellen, die mehreren in einem dreidimensionalen Raum angeordneten geometrischen Merkmale basierend auf der angenäherten Position und Orientierung auf eine zweidimensionale Ebene projiziert, basierend auf einer Richtung des fokussierten geometrischen Merkmals unter den mehreren projizierten geometrischen Merkmalen und der Richtung des Schattens in der zweidimensionalen Ebene bestimmt, dass das fokussierte geometrische Merkmal dem durch den Schatten des Messzielobjekts verursachten Bildmerkmal entsprechen kann.
Informationsverarbeitungsvorrichtung, umfassend: eine Erfassungseinrichtung konfiguriert zum Erfassen eines von einer Bildaufnahmevorrichtung aufgenommenen Bilds, das ein Messzielobjekt enthält; eine Speichereinrichtung konfiguriert zum Speichern von Information über mehrere geometrische Merkmale, die ein dreidimensionales Modell des Messzielobjekts bilden; eine Einstelleinrichtung konfiguriert zum Einstellen, unter im Bild nachgewiesenen mehreren Bildmerkmalen, eines Flags für das Bildmerkmal, das durch einen Schatten des Messzielobjekts verursacht ist, eine Zuordnungseinrichtung konfiguriert zum Zuordnen der mehreren geometrischen Merkmale zu den mehreren im Bild nachgewiesenen Bildmerkmalen basierend auf einer angenäherten Position und Orientierung des Messzielobjekts und dem Flag; und eine Ableiteinrichtung konfiguriert zum Ableiten der Position und Orientierung des Messzielobjekts basierend auf einem Ergebnis der Zuordnung durch die Zuordnungseinrichtung.
Informationsverarbeitungsvorrichtung nach Anspruch 9, wobei die Ableiteinrichtung die angenäherte Position und Orientierung aktualisiert, sodass ein Unterschied zwischen dem Bildmerkmal und dem geometrischen Merkmal, die einander zugeordnet sind, reduziert wird, um eine Position und Orientierung des Messzielobjekts abzuleiten.
Informationsverarbeitungsvorrichtung nach Anspruch 9, wobei die Zuordnungseinrichtung das Bildmerkmal, für das das Flag eingestellt ist, nicht dem geometrischen Merkmal zuordnet.
Informationsverarbeitungsvorrichtung nach Anspruch 9, wobei, wenn das Flag für ein erstes dem geometrischen Merkmal zugeordnetes Bildmerkmal eingestellt ist, die Zuordnungseinrichtung dem geometrischen Merkmal ein zweites vom zugeordneten ersten Bildmerkmal verschiedenes Bildmerkmal zuordnet.
Informationsverarbeitungsvorrichtung nach Anspruch 9, wobei die Einstelleinrichtung für die mehreren nachgewiesenen geometrischen Merkmale basierend auf einem Pixelwert in der Nachbarschaft des Bildmerkmals bestimmt, ob das Bildmerkmal durch einen Schatten des Messzielobjekts verursacht ist, und, wenn bestimmt wird, dass das Bildmerkmal durch den Schatten verursacht ist, das Flag für das Bildmerkmal einstellt.
Informationsverarbeitungsvorrichtung, umfassend: eine Erfassungseinrichtung konfiguriert zum Erfassen eines von einer Bildaufnahmevorrichtung aufgenommenen Bilds, das ein Messzielobjekt enthält; eine Speichereinrichtung konfiguriert zum Speichern von Information über mehrere geometrische Merkmale, die ein dreidimensionales Modell des Messzielobjekts bilden; eine erste Einstelleinrichtung konfiguriert zum Einstellen, wenn die mehreren geometrischen Merkmale mehreren Bildmerkmalen in dem Bild zugeordnet sind, eines ersten Flags für das geometrische Merkmal, das dem durch einen Schatten des Messzielobjekts verursachten Bildmerkmal entsprechen kann; eine zweite Einstelleinrichtung konfiguriert zum Einstellen, unter den im Bild nachgewiesenen mehreren Bildmerkmalen, eines zweiten Flags für das Bildmerkmal, das durch einen Schatten des Messzielobjekts verursacht ist, eine Zuordnungseinrichtung konfiguriert zum Zuordnen der mehreren geometrischen Merkmale zu den mehreren im Bild nachgewiesenen Bildmerkmalen basierend auf einer angenäherten Position und Orientierung des Messzielobjekts und dem ersten Flag und dem zweiten Flag; und eine Ableiteinrichtung konfiguriert zum Ableiten einer Position und Orientierung des Messzielobjekts basierend auf einem Ergebnis der Zuordnung durch die Zuordnungseinrichtung.
Informationsverarbeitungsverfahren umfassend: Erfassen eines von einer Bildaufnahmevorrichtung aufgenommenen Bilds, das ein Messzielobjekt enthält; Einstellen, wenn mehrere geometrischen Merkmale, die ein dreidimensionales Modell des Messzielobjekts bilden, mehreren Bildmerkmalen in dem Bild zugeordnet sind, eines Flags für das geometrische Merkmal, das dem durch einen Schatten des Messzielobjekts verursachten Bildmerkmal entsprechen kann; Zuordnen der mehreren geometrischen Merkmale zu den mehreren im Bild nachgewiesenen Bildmerkmalen basierend auf einer angenäherten Position und Orientierung des Messzielobjekts und dem eingestellten Flag; und Ableiten einer Position und Orientierung des Messzielobjekts basierend auf einem Ergebnis der Zuordnung.
Informationsverarbeitungsverfahren umfassend: Erfassen eines von einer Bildaufnahmevorrichtung aufgenommenen Bilds, das ein Messzielobjekt enthält; Einstellen, unter im Bild nachgewiesenen mehreren Bildmerkmalen, eines Flags für das Bildmerkmal, das durch einen Schatten des Messzielobjekts verursacht ist, Zuordnen mehreren geometrischer Merkmale, die ein dreidimensionales Modell des Messzielobjekts bilden, zu den mehreren im Bild nachgewiesenen Bildmerkmalen basierend auf einer angenäherten Position und Orientierung des Messzielobjekts und dem Flag; und Ableiten einer Position und Orientierung des Messzielobjekts basierend auf einem Ergebnis der Zuordnung.
Informationsverarbeitungsverfahren umfassend: Erfassen eines von einer Bildaufnahmevorrichtung aufgenommenen Bilds, das ein Messzielobjekt enthält; Einstellen, wenn mehrere geometrischen Merkmale, die ein dreidimensionales Modell des Messzielobjekts bilden, mehreren Bildmerkmalen in dem Bild zugeordnet sind, eines ersten Flags für das geometrische Merkmal, das dem durch einen Schatten des Messzielobjekts verursachten Bildmerkmal entsprechen kann; Einstellen, unter den im Bild nachgewiesenen mehreren Bildmerkmalen, eines zweiten Flags für das Bildmerkmal, das durch den Schatten des Messzielobjekts verursacht ist, Zuordnen der mehreren geometrischen Merkmale zu den mehreren im Bild nachgewiesenen Bildmerkmalen basierend auf einer angenäherten Position und Orientierung des Messzielobjekts und dem ersten Flag und dem zweiten Flag; und Ableiten einer Position und Orientierung des Messzielobjekts basierend auf einem Ergebnis der Zuordnung.
Computerlesbares Speichermedium, das Befehle speichert, die, wenn sie durch einen Computer einer Informationsverarbeitungsvorrichtung ausgeführt werden, den Computer dazu veranlasst, ein Verfahren auszuführen, das umfasst: Erfassen eines von einer Bildaufnahmevorrichtung aufgenommenen Bilds, das ein Messzielobjekt enthält; Einstellen, wenn mehrere geometrischen Merkmale, die ein dreidimensionales Modell des Messzielobjekts bilden, mehreren Bildmerkmalen in dem Bild zugeordnet sind, eines Flags für das geometrische Merkmal, das dem durch einen Schatten des Messzielobjekts verursachten Bildmerkmal entsprechen kann; Zuordnen der mehreren geometrischen Merkmale zu den mehreren im Bild nachgewiesenen Bildmerkmalen basierend auf einer angenäherten Position und Orientierung des Messzielobjekts und dem eingestellten Flag; und Ableiten einer Position und Orientierung des Messzielobjekts basierend auf einem Ergebnis der Zuordnung.
Computerlesbares Speichermedium, das Befehle speichert, die, wenn sie durch einen Computer einer Informationsverarbeitungsvorrichtung ausgeführt werden, den Computer dazu veranlasst, ein Verfahren auszuführen, das umfasst: Erfassen eines von einer Bildaufnahmevorrichtung aufgenommenen Bilds, das ein Messzielobjekt enthält; Einstellen, unter im Bild nachgewiesenen mehreren Bildmerkmalen, eines Flags für das Bildmerkmal, das durch einen Schatten des Messzielobjekts verursacht ist, Zuordnen mehreren geometrischer Merkmale, die ein dreidimensionales Modell des Messzielobjekts bilden, zu den mehreren im Bild nachgewiesenen Bildmerkmalen basierend auf einer angenäherten Position und Orientierung des Messzielobjekts und dem Flag; und Ableiten einer Position und Orientierung des Messzielobjekts basierend auf einem Ergebnis der Zuordnung.
Computerlesbares Speichermedium, das Befehle speichert, die, wenn sie durch einen Computer einer Informationsverarbeitungsvorrichtung ausgeführt werden, den Computer dazu veranlasst, ein Verfahren auszuführen, das umfasst: Erfassen eines von einer Bildaufnahmevorrichtung aufgenommenen Bilds, das ein Messzielobjekt enthält; Einstellen, wenn mehrere geometrischen Merkmale, die ein dreidimensionales Modell des Messzielobjekts bilden, mehreren Bildmerkmalen in dem Bild zugeordnet sind, eines ersten Flags für das geometrische Merkmal, das dem durch einen Schatten des Messzielobjekts verursachten Bildmerkmal entsprechen kann; Einstellen, unter den im Bild nachgewiesenen mehreren Bildmerkmalen, eines zweiten Flags für das Bildmerkmal, das durch den Schatten des Messzielobjekts verursacht ist, Zuordnen der mehreren geometrischen Merkmale zu den mehreren im Bild nachgewiesenen Bildmerkmalen basierend auf einer angenäherten Position und Orientierung des Messzielobjekts und dem ersten Flag und dem zweiten Flag; und Ableiten einer Position und Orientierung des Messzielobjekts basierend auf einem Ergebnis der Zuordnung.