DE102017213752A1

DE102017213752A1 - Auswahl von ausgewogenen sondenstellen für 3-d ausrichtungsalgorithmen

Info

Publication number: DE102017213752A1
Application number: DE102017213752.5A
Authority: DE
Inventors: Simon Barker; Drew HOELSCHER
Original assignee: Cognex Corp
Current assignee: Cognex Corp
Priority date: 2016-08-09
Filing date: 2017-08-08
Publication date: 2018-02-15
Also published as: KR102204818B1; US20180046885A1; US10417533B2; JP2018055679A; JP6744847B2; CN107705328A; CN107705328B; KR20180103660A

Abstract

Techniken umfassen Systeme, computergestützte Verfahren und computerlesbare Medien zur Auswahl der Platzierung von dreidimensionalen (3D) Sonden, die zur Auswertung einer 3D-Ausrichtungspose eines Laufzeit-3D-Bildes in einem 3D-Ausrichtungssystem zur Abschätzung der Pose eines trainierten 3D-Modellbildes in jenem 3D-Laufzeit-Bild verwendet werden. Es wird eine Vielzahl von Merkmalen erzeugt, die mit einer ersten Vielzahl von Punkten von Interesse aus einem 3D-Bild assoziiert sind, wobei jedes Merkmal Daten enthält, die die 3D-Eigenschaften eines assoziierten Punktes aus der Vielzahl von Punkten von Interesse angeben. Eine zweite Vielzahl von Punkten von Interesse wird aus der ersten Vielzahl von Punkten von Interesse ausgewählt, basierend zumindest teilweise auf der Vielzahl von Merkmalen, die mit der ersten Vielzahl von Punkten von Interesse assoziiert sind. Platzierungen einer Vielzahl von 3D-Sonden werden basierend zumindest teilweise auf der zweiten Vielzahl von Punkten von Interesse bestimmt.

Description

TECHNISCHES GEBIET
Offenbarte Apparate, Systeme und Verfahren beziehen sich auf das Platzieren von Sonden auf einem Bild eines Musters für Bildverarbeitungsanwendungen.
HINTERGRUND
Digitale Bilder werden von vielen Geräten gemacht und für viele praktische Zwecke verwendet. Vorrichtungen umfassen Kameras mit Bildsensoren, die mit sichtbarem oder Infrarotlicht arbeiten, wie etwa ein ladungsgekoppeltes Halbleiterelement-(CCD)-Bildsensor oder ein komplementärer Metalloxid-Halbleiter-(CMOS)-Bildsensor, Zeilenscansensoren, fliegende Spot-Scanner, Elektronenmikroskope, Röntgengeräte einschließlich Computertomographie-(CT)-Scanner, Magnetresonanz-Bildaufnehmer und andere Geräte, die dem Fachmann bekannt sind. Praktische Anwendungen finden sich in der industriellen Automatisierung, medizinischen Diagnostik, Satelliten-Bildgebung für eine Vielzahl von militärischen, zivilen und wissenschaftlichen Zwecken, fotografischen Verarbeitung, Überwachung und Verkehrsüberwachung, Dokumentenverarbeitung und vielen anderen.
Um in diesen Anwendungen zu dienen, werden die von den verschiedenen Geräten gemachten Bilder durch maschinelle Sichtsysteme analysiert, um geeignete Informationen zu extrahieren. Eine Form von Analyse, die von beträchtlicher praktischer Bedeutung ist, bestimmt die Position, Orientierung und Größe von Mustern in einem Bild, das Objekten im Sichtfeld des Abbildungsgeräts entspricht. Mustererkennungsverfahren sind von besonderer Bedeutung für die industrielle Automatisierung, wo sie zur Führung von Robotern und anderen Automatisierungsgeräten in der Halbleiterfertigung, Elektronikmontage, Pharmaindustrie, Lebensmittelverarbeitung, Konsumgüterherstellung und vielen anderen eingesetzt werden.
In einigen Fällen können Mustererkennungsverfahren Muster mithilfe einer oder mehr Sonden modellieren. Eine Sonde kann sich auf eine Position in einem Bild beziehen, bei der die Mustererkennungsverfahren einen Gradientenvektor des Bildes untersuchen. Daher kann jede Sonde mit einem Positionsvektor und einem Orientierungsvektor assoziiert werden. Da Sonden die Position und Orientierung eines Musters in einem Bild effektiv angeben können, kann ein Bildverarbeitungssystem die Sonden verwenden, um die Position und Orientierung der Muster auszurichten.
ZUSAMMENFASSUNG
Einige Ausführungsformen umfassen ein System zum Auswählen der Platzierung von dreidimensionalen (3D) Sonden, die zum Auswerten einer 3D-Ausrichtungslage eines Laufzeit-3D-Bildes in einem 3D-Ausrichtungssystem zum Abschätzen der Lage eines trainierten 3D-Modellbildes in diesem 3D-Laufzeitbild verwendet werden. Das System enthält einen Prozessor, der mit einem Speicher kommuniziert, wobei der Prozessor konfiguriert ist, um ein in dem Speicher gespeichertes Computerprogramm auszuführen, das konfiguriert ist, um: eine Vielzahl von Merkmalen zu erzeugen, die mit einer ersten Vielzahl von Punkten von Interesse aus einem 3D-Bild assoziiert sind, wobei jedes Merkmal Daten umfasst, die die 3D-Eigenschaften eines assoziierten Punktes aus der Vielzahl von Punkten von Interesse anzeigen; eine zweite Vielzahl von Punkten von Interesse aus der ersten Vielzahl von Punkten von Interesse auszuwählen, basierend zumindest teilweise auf der Mehrzahl von Merkmalen, die mit der ersten Vielzahl von Punkten von Interesse assoziiert sind; und die Platzierung einer Vielzahl von 3D-Sonden zu bestimmen, die zumindest teilweise auf der zweiten Vielzahl von Punkten von Interesse basiert.
In einigen Ausführungsformen enthält jedes der Vielzahl von Merkmalen mindestens ein Maß der Nützlichkeit eines assoziierten Punktes aus der ersten Vielzahl von Punkten zur Ausrichtung in mindestens einem Translationsfreiheitsgrad. In einigen Ausführungsformen enthält jedes der Vielzahl von Merkmalen mindestens ein Maß der Nützlichkeit eines assoziierten Punktes aus der ersten Vielzahl von Punkten zur Ausrichtung in mindestens einem Rotationsfreiheitsgrad. In einigen Ausführungsformen stellt die Platzierung der Vielzahl von 3D-Sonden eine größere Gesamtausrichtungsfähigkeit in drei Translationsfreiheitsgraden bereit, als durch die Platzierung an jedem der ersten Vielzahl von Punkten von Interesse bereitgestellt wird. In einigen Ausführungsformen stellt die Platzierung der Vielzahl von 3D-Sonden eine größere Gesamtausrichtungsfähigkeit in drei Translationsfreiheitsgraden bereit, als durch die Platzierung an jedem der ersten Vielzahl von Punkten von Interesse bereitgestellt wird, wobei die größere Gesamtausrichtungsfähigkeit eine Erhöhung der Gesamtausrichtungsfähigkeit in einem am wenigsten repräsentierten Rotationsfreiheitsgrad der ersten Vielzahl von Punkten umfasst. In einigen Ausführungsformen stellt die Platzierung der Vielzahl von 3D-Sonden eine größere Gesamtausrichtungsfähigkeit in drei Rotationsfreiheitsgraden bereit, als durch die Platzierung an jedem der ersten Vielzahl von Punkten von Interesse bereitgestellt wird. In einigen Ausführungsformen stellt die Platzierung der Vielzahl von 3D-Sonden eine Erhöhung der Gesamtausrichtungsfähigkeit in einem am wenigsten repräsentierten Rotationsfreiheitsgrad der ersten Vielzahl von Punkten bereit.
In einigen Ausführungsformen werden ein Rotationszentrum und Rotationsachsen, die zu einer Untermenge der ersten Vielzahl von Punkten passen, so bestimmt, dass das Rotationszentrum und die Rotationsachsen mit rotationssymmetrischen Merkmalen eines Musters assoziiert sind. In einigen Ausführungsformen umfasst das Auffinden des Rotationszentrums und der Rotationsachsen aus einer Untermenge der ersten Vielzahl von Punkten das Verwenden einer RANSAC-Technik. In einigen Ausführungsformen umfasst die Vielzahl von Merkmalen eine Vielzahl von Oberflächen-Normalvektoren. In einigen Ausführungsformen umfasst die Vielzahl von Merkmalen eine Vielzahl von Kanten-Näherungsvektoren. In einigen Ausführungsformen umfasst die Vielzahl von Merkmalen eine Vielzahl von Kanten-Richtungsvektoren. In einigen Ausführungsformen umfasst die Vielzahl von Merkmalen eine Vielzahl von Oberflächen-Krümmungsvektoren.
In einigen Ausführungsformen umfasst das Auswählen einer zweiten Vielzahl von Punkten von Interesse aus der ersten Vielzahl von Punkten von Interesse, die zumindest teilweise auf der Mehrzahl von Merkmalen basieren, die mit der ersten Vielzahl von Punkten von Interesse assoziiert sind: Anpassen einer Wahrscheinlichkeitsverteilung an die erste Vielzahl von Punkten; Bestimmen einer Zielverteilung, wobei die Zielverteilung eine gewünschte Platzierung der Sonden an einem oder mehr der Interessepunkte anzeigt; Bestimmen von Platzierungen von Sonden zumindest teilweise durch Verwenden der relativen Wahrscheinlichkeiten der angepassten Verteilung und der Zielverteilung an vorgeschlagenen Sondenstellen. In einigen Ausführungsformen umfasst das Bestimmen der Interessepunktverteilung das Anpassen der Vielzahl von Interessepunkten an eine Wahrscheinlichkeitsverteilung, die ein Mischmodell umfasst, wobei die Wahrscheinlichkeitsverteilung mindestens eine Verteilung von an der Vielzahl von Interessepunkten gemessenen Orientierungen anzeigt. In einigen Ausführungsformen ist der Prozessor ferner konfiguriert, um eine Anzahl von Komponenten des Mischmodells der Interessepunktverteilung zu bestimmen, indem die Vielzahl von Punkten von Interesse in mindestens einer Gruppe gruppiert werden. In einigen Ausführungsformen ist der Prozessor ferner konfiguriert, um: einen oder mehr Horizontpunkte aus der ersten Vielzahl von Punkten von Interesse zu identifizieren; und den einen oder mehr Horizontpunkte aus der Betrachtung zu entfernen, so dass die zweite Mehrzahl von Interessepunkten den einen oder mehr Horizontpunkte nicht umfasst. In einigen Ausführungsformen umfasst das Auswählen der zweiten Vielzahl von Punkten von Interesse das Verwenden einer Monte-Carlo-Technik.
Einige Ausführungsformen umfassen ein Verfahren zum Auswählen der Platzierung von dreidimensionalen (3D) Sonden, die zum Auswerten einer 3D-Ausrichtungspose eines Laufzeit-3D-Bildes innerhalb eines 3D-Ausrichtungssystems zum Abschätzen der Pose eines trainierten 3D-Modellbildes in diesem 3D-Laufzeitbild verwendet werden. Das Verfahren umfasst: Erzeugen einer Vielzahl von Merkmalen, die mit einer ersten Vielzahl von Punkten von Interesse aus einem 3D-Bild assoziiert sind, wobei jedes Merkmal Daten umfasst, die 3D-Eigenschaften eines assoziierten Punkts aus der Vielzahl von Punkten von Interesse anzeigen; Auswählen einer zweiten Vielzahl von Punkten von Interesse aus der ersten Vielzahl von Punkten von Interesse, basierend zumindest teilweise auf der Mehrzahl von Merkmalen, die mit der ersten Vielzahl von Punkten von Interesse assoziiert sind; und Bestimmen von Platzierungen einer Vielzahl von 3D-Sonden, basierend zumindest teilweise auf der zweiten Vielzahl von Punkten von Interesse.
In einigen Ausführungsformen enthält jedes der Vielzahl von Merkmalen mindestens ein Maß der Nützlichkeit eines assoziierten Punktes aus der ersten Vielzahl von Punkten zur Ausrichtung in mindestens einem Translationsfreiheitsgrad. In einigen Ausführungsformen enthält jedes der Vielzahl von Merkmalen mindestens ein Maß der Nützlichkeit eines assoziierten Punktes aus der ersten Vielzahl von Punkten zur Ausrichtung in mindestens einem Rotationsfreiheitsgrad. In einigen Ausführungsformen stellt die Platzierung der Vielzahl von 3D-Sonden eine größere Gesamtausrichtungsfähigkeit in drei Translationsfreiheitsgraden bereit, als durch die Platzierung an jedem der ersten Vielzahl von Punkten von Interesse bereitgestellt wird. In einigen Ausführungsformen stellt die Platzierung der Vielzahl von 3D-Sonden eine größere Gesamtausrichtungsfähigkeit in drei Translationsfreiheitsgraden bereit, als durch die Platzierung an jedem der ersten Vielzahl von Punkten von Interesse bereitgestellt wird, wobei die größere Gesamtausrichtungsfähigkeit eine Erhöhung der Gesamtausrichtungsfähigkeit in einem am wenigsten repräsentieren Rotationsfreiheitsgrad der ersten Vielzahl von Punkten umfasst.
In einigen Ausführungsformen stellt die Platzierung der Vielzahl von 3D-Sonden eine größere Gesamtausrichtungsfähigkeit in drei Rotationsfreiheitsgraden bereit, als durch die Platzierung an jedem der ersten Vielzahl von Punkten von Interesse bereitgestellt wird. In einigen Ausführungsformen stellt die Platzierung der Vielzahl von 3D-Sonden eine Erhöhung der Gesamtausrichtungsfähigkeit in einem am wenigsten repräsentierten Rotationsfreiheitsgrad der ersten Vielzahl von Punkten bereit. In einigen Ausführungsformen werden ein Rotationszentrum und Rotationsachsen, die zu einer Untermenge der ersten Vielzahl von Punkten passen, so bestimmt, dass das Rotationszentrum und die Rotationsachsen mit rotationssymmetrischen Merkmalen eines Musters assoziiert sind. In einigen Ausführungsformen umfasst das Auffinden des Rotationszentrums und der Rotationsachsen aus einer Untermenge der ersten Vielzahl von Punkten das Verwenden einer RANSAC-Technik. In einigen Ausführungsformen umfasst die Vielzahl von Merkmalen eine Vielzahl von Oberflächen-Normalvektoren. In einigen Ausführungsformen umfasst die Vielzahl von Merkmalen eine Vielzahl von Kanten-Näherungsvektoren. In einigen Ausführungsformen umfasst die Vielzahl von Merkmalen eine Vielzahl von Kanten-Richtungsvektoren. In einigen Ausführungsformen umfasst die Vielzahl von Merkmalen eine Vielzahl von Oberflächen-Krümmungsvektoren.
In einigen Ausführungsformen umfasst das Auswählen einer zweiten Vielzahl von Punkten von Interesse aus der ersten Vielzahl von Punkten von Interesse basierend zumindest teilweise auf der Vielzahl von Merkmalen, die mit der ersten Vielzahl von Punkten von Interesse assoziiert sind: Anpassen einer Wahrscheinlichkeitsverteilung an die erste Vielzahl von Punkten; Bestimmen einer Zielverteilung, wobei die Zielverteilung eine gewünschte Platzierung der Sonden an einem oder mehr der Interessepunkte angibt; Bestimmen von Plazierungen von Sonden zumindest teilweise durch Verwendung der relativen Wahrscheinlichkeiten der angepassten Verteilung und Zielverteilung an vorgeschlagenen Sondenstellen. In einigen Ausführungsformen umfasst das Bestimmen der Interessepunktverteilung das Anpassen der Vielzahl von Interessepunkten an eine Wahrscheinlichkeitsverteilung, die ein Mischmodell umfasst, wobei die Wahrscheinlichkeitsverteilung mindestens eine Verteilung von an der Vielzahl von Interessepunkten gemessenen Orientierungen anzeigt. In einigen Ausführungsformen umfasst das Verfahren ferner das Bestimmen einer Anzahl von Komponenten des Mischmodells der Interesepunktverteilung durch Gruppieren der Vielzahl von Interessepunkten in mindestens einer Gruppe. In einigen Ausführungsformen umfasst das Verfahren ferner: Identifizieren eines oder mehr Horizontpunkte aus der ersten Vielzahl von Punkten von Interesse; und Entfernen des einen oder der mehr Horizontpunkte aus der Betrachtung, so dass die zweite Vielzahl von Punkten von Interesse nicht den einen oder mehrere Horizontpunkte umfasst. In einigen Ausführungsformen umfasst das Auswählen der zweiten Vielzahl von Punkten von Interesse das Verwenden einer Monte-Carlo-Technik.
Einige Ausführungsformen umfassen ein nicht-transientes computerlesbares Medium hat ausführbare Anweisungen, die mit einem System zur Auswahl der Platzierung von dreidimensionalen (3D) Sonden assoziiert sind, die zum Auswerten einer 3D-Ausrichtungspose eines Laufzeit-3D-Bildes in einem 3D-Ausrichtungssystem zum Abschätzen der Pose eines trainierten 3D-Modellbildes in diesem 3D-Laufzeitbild verwendet werden. Die ausführbaren Anweisungen sind operabel, das System zu verursachen: eine Vielzahl von Merkmalen zu erzeugen, die mit einer ersten Vielzahl von Punkten von Interesse aus einem 3D-Bild assoziiert sind, wobei jedes Merkmal Daten enthält, die 3D-Eigenschaften eines assoziierten Punktes aus der Vielzahl von Punkten von Interesse angeben; eine zweite Vielzahl von Punkten von Interesse aus der ersten Vielzahl von Punkten von Interesse auszuwählen, basierend zumindest teilweise auf der Vielzahl von Merkmalen, die mit der ersten Vielzahl von Punkten von Interesse assoziiert sind; und Platzierungen einer Vielzahl von 3D-Sonden zu bestimmen basierend zumindest teilweise auf der zweiten Vielzahl von Punkten von Interesse.
Es wurden eher breit die Merkmale des offenbarten Gegenstandes skizziert, damit die nachfolgende ausführliche Beschreibung besser verstanden werden kann und damit der vorliegende Beitrag zum Stand der Technik besser abgeschätzt werden kann. Es gibt selbstverständlich zusätzliche Merkmale des offenbarten Gegenstandes, die nachfolgend beschrieben werden und die den Gegenstand der beigefügten Ansprüche bilden. Es versteht sich, dass die hierin verwendete Phraseologie und Terminologie zum Zweck der Beschreibung dient und nicht als einschränkend angesehen werden sollte.
KURZE BESCHREIBUNG DER FIGUREN
Verschiedene Gegenstände, Merkmale und Vorteile des offenbarten Gegenstandes können unter Bezugnahme auf die folgende ausführliche Beschreibung des offenbarten Gegenstandes besser wertgeschätzt werden, in Verbindung mit den folgenden Zeichnungen, in denen gleiche Bezugszeichen gleiche Elemente bezeichnen.
1 veranschaulicht ein 2D-Muster mit einer länglichen rechteckigen Form, auf dem die Sonden gleichmäßig platziert sind.
2 veranschaulicht einen Prozess von hohem Niveau zur Platzierung von Sonden an Interessepunkten eines 2D-Bildes in Übereinstimmung mit einigen Ausführungsformen.
3 veranschaulicht das Ergebnis der Platzierung von Sonden durch Anpassen eines Histogramms senkechter Orientierungen an eine gleichmäßige Verteilung in Übereinstimmung mit einigen Ausführungsformen.
4 veranschaulicht ein Rechengerät, die ein Sondenplatzierungsmodul umfasst, in Übereinstimmung mit einigen Ausführungsformen.
5 veranschaulicht einen Prozess zum Bestimmen eines Histogramms vertikaler Orientierungen für Interessepunkte eines Bildes in Übereinstimmung mit einigen Ausführungsformen.
6A–6H veranschaulichen einen Prozess zur Erzeugung eines Histogramms vertikaler Orientierungen in Übereinstimmung mit einigen Ausführungsformen.
7 veranschaulicht einen Prozess zum Bestimmen von Sondenplatzierungen in Übereinstimmung mit einigen Ausführungsformen.
8 veranschaulicht das Skalieren von Aktlängen, die mit Interessepunkten eines 2D-Bildes assoziiert sind, in Übereinstimmung mit einigen Ausführungsformen.
9 veranschaulicht gleichmäßige Platzierung von Sonden an skalierten Interessepunkten in Übereinstimmung mit einigen Ausführungsformen.
10 veranschaulicht reverses Skalieren von skalierten Bogenlängen, die mit Interessepunkten assoziiert sind, in Übereinstimmung mit einigen Ausführungsformen.
11A–11B veranschaulichen Sondenbalancieren durch Abtasten von Sonden aus einer Zielverteilung in Übereinstimmung mit einigen Ausführungsformen.
12A veranschaulicht eine Beziehung zwischen einem Referenzvektor und einem Einheitsnormalvektor in Übereinstimmung mit einigen Ausführungsformen.
12B veranschaulicht eine Beziehung zwischen einem Positionsvektor ν_i und einem Einheitsrotationsvektor
in Übereinstimmung mit einigen Ausführungsformen.
13 fasst einen Prozess des Abtastens von Sonden in Übereinstimmung mit einigen Ausführungsformen zusammen.
14A veranschaulicht Platzierung von Sonden auf einem Rechteck unter Verwendung des in 13 veranschaulichten Prozesses in Übereinstimmung mit einigen Ausführungsformen.
14B veranschaulicht Platzieren von Sonden auf einem kreisförmigen Objekt mit einem Hebelarm unter Verwendung des in 13 veranschaulichten Prozesses in Übereinstimmung mit einigen Ausführungsformen.
15A veranschaulicht Platzierung von Sonden auf einem Rechteck unter Verwendung des in 13 veranschaulichten Prozesses in Übereinstimmung mit einigen Ausführungsformen.
15B veranschaulicht Platzieren von Sonden auf einem kreisförmigen Objekt mit einem Hebelarm unter Verwendung des in 13 veranschaulichten Prozesses in Übereinstimmung mit einigen Ausführungsformen.
16A–16B veranschaulichen Platzieren von Sonden auf Mustern mit einem Loch unter Verwendung des in 13 veranschaulichten Prozesses in Übereinstimmung mit einigen Ausführungsformen.
17A–17C veranschaulichen, wie die Darstellung der Rotationsvariablen θ die Sondenplatzierung in Übereinstimmung mit einigen Ausführungsformen ändert.
18A–18B veranschaulichen Platzieren von Sonden auf Mustern mit länglichen Armen unter Verwendung des in 13 veranschaulichten Prozesses in Übereinstimmung mit einigen Ausführungsformen.
19 veranschaulicht ein 3D-Muster mit einer länglichen und unregelmäßigen Röhrenform, auf dem die 3D-Sonden gleichmäßig platziert sind, in Übereinstimmung mit einigen Ausführungsformen.
20 veranschaulicht einen Prozess von hohem Niveau zur Platzierung von Sonden an Interessepunkten eines 3D-Bildes in Übereinstimmung mit einigen Ausführungsformen.
21 veranschaulicht einen Merkmalerzeugungsprozess in Übereinstimmung mit einigen Ausführungsformen.
22 veranschaulicht eine geregelte Pixelgitter-Tiefenkarte in Übereinstimmung mit einigen Ausführungsformen.
23A veranschaulicht eine bilineare Kartierung von einem Einheitsquadrat auf die nächsten vier umgebenden Punkte (willkürlich verteilt) und eine Inverse dieser Kartierung, wobei der Pixelgitter-Mittelpunkt in Übereinstimmung mit einigen Ausführungsformen im Einheitsquadrat platziert wird, und 23B veranschaulicht den Winkel der Hauptachsen in Übereinstimmung mit einigen Ausführungsformen.
24 veranschaulicht regelmäßig verteiltes Abtasten entlang Haupt- und Nebenachsen in Übereinstimmung mit einigen Ausführungsformen.
25 veranschaulicht die Ergebnisse eines Mustererzeugungsprozesses in Übereinstimmung mit einigen Ausführungsformen.
26 veranschaulicht den Punkt, der das Drehmoment aller Oberflächen-Normalvektoren in der Punktwolke, n_i minimiert, in Übereinstimmung mit einigen Ausführungsformen.
27 veranschaulicht ein Beispiel eines Objekts, in dem ein RANSAC-Algorithmus verwendet wird, um die Rotationsachsen zu finden, in Übereinstimmung mit einigen Ausführungsformen.
28A veranschaulicht Sondenplatzierung ohne Horizontpunktentfernung und 29B veranschaulicht Sondenplatzierung mit Horizontpunktentfernung in Übereinstimmung mit einigen Ausführungsformen.
29 zeigt die relevanten Vektoren für die Berechnung von θ_p ⁱ, das als der Betrag der Summe von Projektionen von u i / 0, u i / 1 und u i / 2 auf den Rotationseinheitsvektor
betrachtet werden kann, in Übereinstimmung mit einigen Ausführungsformen.
30A zeigt ein Beispiel von Sonden, wo keine Tendenz angewendet wird, 30B zeigt ein Beispiel von Sonden, wo räumliche Tendenz angewendet wird, und 30C zeigt ein Beispiel von Sonden, wo Drehtendenz angewendet wird, in Übereinstimmung mit einigen Ausführungsformen.
31A veranschaulicht ein Beispiel der Punkte und ihrer Auflösungskraft, 31B zeigt ein Beispiel des Ergebnisses der Sondenauswahl mit C_lim = 2, 31C zeigt ein Beispiel des Ergebnisses der Sondenauswahl mit C_lim = 4 und 31D zeigt ein Beispiel des Ergebnisses der Sondenauswahl mit C_lim = 8.
AUSFÜHRLICHE BESCHREIBUNG
In der folgenden Beschreibung werden zahlreiche spezifische Details in Bezug auf die Systeme und Verfahren des offenbarten Gegenstands und die Umgebung, in der solche Systeme und Verfahren arbeiten können, usw. dargelegt, um ein gründliches Verständnis des offenbarten Gegenstandes zu liefern. Es wird dem jedoch Fachmann offensichtlich sein, dass der offenbarte Gegenstand ohne solche spezifischen Details praktiziert werden kann und dass bestimmte Merkmale, die in der Technik gut bekannt sind, nicht im Detail beschrieben werden, um eine Komplikation des offenbarten Gegenstandes zu vermeiden. Darüber hinaus versteht es sich, dass die nachfolgenden Beispiele beispielhaft sind und dass es in Betracht gezogen wird, dass es andere Systeme und Verfahren gibt, die innerhalb des Umfangs des offenbarten Gegenstandes liegen.
Die Beschreibung ist allgemein in folgender Weise organisiert. Die Beschreibung beginnt mit Beschreiben von Ausführungsbeispielen, die sich im allgemeinen auf zweidimensionale Bilder beziehen. Manche beispielhaften zweidimensionalen Techniken werden, zum Beispiel, in U.S.-Patentanmeldung Nr. 14/603,969 mit dem Titel „Probe Placement for Image Processing” erläutert, eingereicht am 23. Januar 2015, dessen Inhalt hiermit durch Bezugnahme hierin eingegliedert ist. Die Beschreibung beschreibt dann beispielhafte Ausführungsformen, die allgemein dreidimensionale Bilder betreffen. Obwohl der erste Abschnitt allgemein beispielhafte Ausführungsformen mit zweidimensionalen Bildern betrifft und der zweite Abschnitt allgemein beispielhafte Ausführungsformen mit dreidimensionalen Bildern betrifft, wird der Fachmann erkennen, dass die Offenbarung in einem Abschnitt auf die Offenbarung in dem anderen Abschnitt anwendbar sein kann und umgekehrt. Darüber hinaus wird der Fachmann erkennen, dass einige beispielhafte Ausführungsformen auf den Lehren beider Teile beruhen. Beispielsweise verwenden Systeme und Verfahren in einigen beispielhaften Ausführungsformen sowohl zweidimensionale Bilder als auch dreidimensionale Bilder. Darüber hinaus wird der Fachmann erkennen, dass Lehren aus dem ersten Abschnitt, die auch auf den 3D-Fall anwendbar sind, nicht notwendigerweise vollständig im zweiten Abschnitt wiederholt werden, um unnötige Wiederholungen zu vermeiden, und umgekehrt. Mit anderen Worten, obwohl die Beschreibung im Allgemeinen für organisatorische Zwecke und zum erleichterten Verständnis in den zweidimensionalen und den dreidimensionalen Fall geteilt ist, ist diese Organisation nicht dazu gedacht, den Umfang der Offenbarung zu beschränken.
Im Folgenden werden beispielhafte Erklärungen von Begriffen gemäß einer oder mehr Ausführungsformen vorgestellt. Diese Erklärungen sollen nicht einschränkend sein.
Objekt – Jegliches physische oder simulierte Objekt, oder Teil davon, mit Eigenschaften, die durch ein Bilderzeugungsgerät gemessen oder durch ein Datenverarbeitungsgerät simuliert werden können.
Bild – Ein 2D-Bild ist eine zweidimensionale Funktion, deren Werte physikalischen Eigenschaften eines Objekts entsprechen, wie Helligkeit (Strahlungsenergie, reflektiert oder anderweitig), Farbe, Temperatur, Höhe über einer Referenzebene (z. B. Bereichsbild) usw., und gemessen durch jegliches Bilderzeugungsgerät, oder deren Werte simulierten Eigenschaften eines Objekts entsprechen, und erzeugt durch jegliches Datenverarbeitungsgerät. Ein 3D-Bild kann beispielsweise als Bereichsbild oder als Punktwolke dargestellt werden. Eine Punktwolke ist eine Sammlung von 3D-Punkten im Raum, wo jeder Punkt i als (x_i, y_i, z_i) dargestellt werden kann.
Grenze – Eine imaginärer Umriss, offen oder geschlossen, gerade oder gekrümmt, glatt oder scharf, entlang derer eine Diskontinuität der Bildhelligkeit bei einer bestimmten Granularität auftritt, wobei die Richtung der Diskontinuität an jede Punkt zu der Grenze normal ist.
Gradient – Ein Vektor an einem gegebenen Punkt in einem Bild, der die Richtung und die Größe der größten Änderung der Helligkeit bei einer bestimmten Granularität an diesem Punkt angibt.
Muster – Eine spezifische geometrische Anordnung von Umrissen, die in einer beschränkten Teilmenge der Ebene der Umrisse liegen, wobei die Umrisse die Grenzen eines idealisierten Bildes eines zu lokalisierenden und/oder zu untersuchenden Objekts darstellen. Ein 3D-Muster kann beispielsweise als Anordnung von Umrissen in einem Bereichsbild oder einer Punktwolke dargestellt werden.
Modell – Ein Datensatz, der Eigenschaften eines zu findenden Musters kodiert, zur Verwendung durch ein Musterfindeverfahren.
Training – Ein Prozess der Erzeugung eines Modells aus einem Bild eines Beispielobjekts oder aus einer geometrischen Beschreibung eines Objekts oder eines Musters.
Ein Bildverarbeitungssystem kann konfiguriert werden, um die Abwesenheit oder das Vorhandensein eines oder mehrerer Instanzen eines vorbestimmten Musters in einem Bild zu bestimmen und die Position jeder gefundenen Instanz zu bestimmen. Der Prozess der Ortung von Mustern in einem 2D-Bild erfolgt innerhalb eines mehrdimensionalen Raums, der die x-y-Position (auch Translation genannt), Orientierung und Größe umfassen kann, aber nicht darauf beschränkt ist. Für ein 3D-Bild kann die Lage beispielsweise die x-y-z-Position (auch Translation genannt), Neigung und Rotation (auch Rollen, Nicken und Gieren genannt) umfassen.
Um die Abwesenheit oder das Vorhandensein einer oder mehr Instanzen eines vorbestimmten Musters in einem Bild zu bestimmen, kann ein Bildverarbeitungssystem das zu findende Muster unter Verwendung eines Modells darstellen. Das Bildverarbeitungssystem kann ein Modell für ein Muster aus einem oder mehr Trainingsbildern oder einem oder mehr synthetisierten Bildern aus einer geometrischen Beschreibung erzeugen, die Beispiele des zu ortenden und/oder zu untersuchenden Musters enthalten. Sobald das Modell verfügbar ist, kann das Bildverarbeitungssystem das Modell mit einem Testbild an jeder eines geeigneten Satzes von Posen vergleichen, eine Übereinstimmungspunktzahl bei jeder Pose berechnen und Kandidatenposen bestimmen, die einem lokalen Maximum in der Übereinstimmungspunktzahl entsprechen. Das Bildverarbeitungssystem kann Kandidatenposen, deren Übereinstimmungspunktzahlen über einer geeigneten Schwelle liegen, als Instanzen des Musters im Bild betrachten.
Ein Modell kann einen Satz von Datenelementen enthalten, die als Sonden bezeichnet werden. Jede Sonde stellt eine relative Position dar, an der bestimmte Messungen und Tests in einem Bild bei einer gegebenen Pose vorzunehmen sind, wobei jeder solche Test einen Beweis dazu beiträgt, dass das Muster bei der assoziierten Pose existiert. Eine Sonde kann auf eine im Wesentlichen senkrechte Art zu einer Struktur (z. B. Grenze) des darunter liegenden Musters positioniert werden.
Während des Trainings platzieren die vorhandenen Bildverarbeitungssysteme die Sonden gleichmäßig auf der Grenze eines 2D-Musters. Beispielsweise platziert ein Bildverarbeitungssystem Sonden auf der Mustergrenze, so dass der Abstand zwischen benachbarten Sonden für alle Paare benachbarter Sonden grob identisch ist. Diese Strategie, die hier als „gleichmäßige Platzierungsstrategie” bezeichnet wird, kann bei der Modellierung von Mustern mit einem ausgeglichenen Orientierungsprofil (z. B. einem 2D-Muster mit einer Grenze, die in eine große Anzahl von Orientierungen weist, und die Anteile der Grenze, die in verschiedene Orientierungen weisen, sind ähnlich) wirksam sein. Zum Beispiel war die gleichmäßige Platzierungsstrategie bei der Modellierung von quadratischen Mustern nützlich, da die Anzahl der Sonden, die in unterschiedliche Orientierungen weisen (z. B. oben, unten, links und rechts), auf jeder Kante des Musters im 2D-Bild grob dieselbe ist, was zu genauen Informationen über die Lage und Orientierung des 2D-Musters führen kann.
Leider ist eine gleichmäßige Platzierungsstrategie bei der Modellierung von Mustern mit einem unausgeglichenen Orientierungsprofil (z. B. Muster mit variierenden Seitenlängen) oftmals ineffektiv. Zum Beispiel ist die gleichmäßige Platzierungsstrategie im Allgemeinen nicht so wirksam bei der Ausrichtung von 2D-Mustern mit einer langgestreckten rechteckigen Form. 1 veranschaulicht ein 2D-Muster mit einer langgestreckten rechteckigen Form, auf dem die Sonden gleichmäßig platziert sind. Da die Grenze 102 eine langgestreckte rechteckige Form aufweist, würden bei der gleichmäßigen Platzierungsstrategie die meisten Sonden 104 auf der langen Kante 106 der Grenze platziert, und nur eine kleine Anzahl von Sonden 104 würde auf der kurzen Kante 108 der Grenze platziert. Da die Anzahl der Sonden entlang der kurzen Kante 108 der Grenze klein ist, ist es schwierig, auf der Grundlage der Sonden zu bestimmen, ob die kurze Kante 108 existiert. Selbst wenn es möglich ist zu bestimmen, dass die kurze Kante 108 existiert, ist es schwierig, die Lage der kurzen Kante 108 genau zu bestimmen, da die Anzahl der Sonden 104, die die Lage der kurzen Kante 108 kodieren, klein ist. Dies kann zum Beispiel bei der horizontalen Ausrichtung der Grenze 102 an anderen 2D-Mustern problematisch sein.
Es gab Bemühungen, den Abstand zwischen benachbarten Sonden zu variieren, um Probleme anzugehen, die mit der gleichmäßigen Platzierungsstrategie verbunden sind. Allerdings waren die Bemühungen auf die manuelle Anpassung der Sondenpositionen beschränkt, was arbeitsintensiv und teuer sein kann.
Die hier beschriebenen Techniken stellen ein automatisiertes Sondenplatzierungsmodul zum Platzieren von Sonden auf einem Muster (sowohl 2D- als auch 3D-Muster) bereit. Das Sondenplatzierungsmodul ist konfiguriert, Sonden an Interessepunkten eines Bildes zu platzieren, so dass die Sonden ein in dem Bild abgebildetes Muster genau darstellen können. Das Sondenplatzierungsmodul kann konfiguriert werden, die Sonden so zu platzieren, dass die Sonden ausgewogene Informationen über alle Freiheitsgrade, die mit der Bewegung des Musters assoziiert sind, extrahieren können, was die Genauigkeit des von den Sonden erzeugten Modells verbessert. Wenn zum Beispiel bekannt ist, dass sich ein mit dem Muster assoziiertes Objekt in zwei Dimensionen bewegt (z. B. Translationsbewegung), kann das Sondenplatzierungsmodul die Sonden so platzieren, dass die Sonden in den beiden Dimensionen ausgeglichene Informationen extrahieren können (unter der Annahme eines 2D-Musters und -Bildes). Das Sondenplatzierungsmodul kann auch die Form des Musters berücksichtigen, so dass die Sonden ausgewogene Informationen extrahieren können, unabhängig von der Form des Musters. Dies steht im Gegensatz zu Techniken, die unausgewogene Informationen extrahieren, wie zum Beispiel das Extrahieren von mehr vertikaler Information im Vergleich zu horizontaler Information, wenn mehr Sonden entlang der langen Kante platziert sind, verglichen mit der kurzen Kante, wie in 1.
2 veranschaulicht einen Prozess von hohem Niveau zur Platzierung von Sonden an Interessepunkten eines 2D-Bildes in Übereinstimmung mit einigen Ausführungsformen. Interessepunkte können Kandidatenpositionen für Sonden angeben. Beispielsweise kann das Sondenplatzierungsmodul konfiguriert werden, eine Untermenge von Interessepunkten in einem Bild auszuwählen und Sonden auf der ausgewählten Untermenge von Interessepunkten zu platzieren.
In Schritt 202 kann das Sondenplatzierungsmodul konfiguriert sein, Informationen über die Position von Interessepunkten in einem 2D-Bild zu empfangen. Beispielsweise kann das Sondenplatzierungsmodul von einem Interessepunktdetektionsmodul eine Grenze eines 2D-Musters in einem 2D-Bild empfangen.
In Schritt 204 kann das Sondenplatzierungsmodul die Verteilung der Interessepunkte bestimmen. Beispielsweise kann das Sondenplatzierungsmodul jeden Interessepunkt unter Verwendung eines Merkmals (z. B. einer senkrechten Orientierung, gemessen am Interessepunkt) darstellen und eine Verteilung von mit den Interessepunkten assoziierten Merkmalen bestimmen.
In Schritt 206 kann das Sondenplatzierungsmodul die Zielverteilung der Sonden bestimmen. In manchen Fällen kann die Zielverteilung der Sonden basierend auf mit den Interessepunken assoziierten Merkmalen und/oder der Verteilung von in Schritt 204 bestimmten Interessepunkten bestimmt werden. Beispielsweise kann das Sondenplatzierungsmodul bestimmen, dass die Zielverteilung der Sonden die Inverse der Verteilung der in Schritt 204 bestimmten Interessepunkte ist. In Schritt 208 kann das Sondenplatzierungsmodul die Position der Sonden bestimmen, so dass die tatsächliche Verteilung der Sonden mit der Zielverteilung der Sonden übereinstimmt.
Der in 2 veranschaulichte allgemeine Rahmen kann beispielsweise unter Verwendung von mindestens zwei Mechanismen (z. B. entweder allein und/oder in Kombination miteinander) implementiert werden. In dem ersten Mechanismus kann das offenbarte Sondenplatzierungsmodul konfiguriert sein, die Sonden so platzieren, dass die Verteilung der senkrechten Orientierungen, gemessen an den Sondenpositionen, ausgewogen ist (z. B. ist das Histogramm der senkrechten Orientierungen an der Stelle der Sonden ungefähr gleichmäßig). Der erste Mechanismus kann besonders nützlich sein, um Muster mit zwei Freiheitsgraden zu modellieren (z. B. eine Translationsbewegung).
Beispielsweise kann in Schritt 204 das Sondenplatzierungsmodul das Histogramm senkrechter Orientierungen bestimmen, die an der Vielzahl von Interessepunkten in einem 2D-Bild gemessen werden. In Schritt 206 kann das Sondenplatzierungsmodul feststellen, dass die Zielverteilung der senkrechten Orientierungen, gemessen an den Sondenpositionen, eine gleichmäßige Verteilung ist. In Schritt 208 kann das Sondenplatzierungsmodul Sonden an einem oder mehr der Interessepunkte platzieren, so dass das Histogramm der senkrechten Orientierungen, gemessen durch die platzierten Sonden, nahe der gleichmäßigen Verteilung ist.
3 veranschaulicht das Ergebnis der Platzierung von Sonden durch Anpassen eines Histogramms senkrechter Orientierungen an eine gleichmäßige Verteilung in Übereinstimmung mit einigen Ausführungsformen. In diesem Beispiel können die Interessepunkte kollektiv eine Grenze 102 eines 2D-Musters bilden. Wenn die Grenze 102 eine langgestreckte rechteckige Form aufweist, kann das Sondenplatzierungsmodul die Anzahl der Sonden 104 auf der langen Kante 106 verringern und die Anzahl der Sonden auf der kurzen Kante 108 erhöhen, so dass die Anzahl der Sonden an der langen Kante 106 ungefähr gleicht ist im Vergleich zu der Anzahl der Sonden auf der kurzen Kante 108. Auf diese Weise kann die Orientierungsverteilung der platzierten Sonden 104 ausgeglichen werden. Das Sondenplatzierungsmodul, das den ersten Mechanismus implementiert, wird in der gesamten Beschreibung diskutiert, insbesondere in Bezug auf 5–10.
Unter dem zweiten Mechanismus kann das Sondenplatzierungsmodul die Position der Sonden bestimmen, so dass die Verteilung der Sonden im Wesentlichen ähnlich zur Zielverteilung ist. In Schritt 204 kann das Sondenplatzierungsmodul Interessepunkte unter Verwendung von Variablen darstellen, die dem Freiheitsgrad des Musters entsprechen. Wenn zum Beispiel bekannt ist, dass sich ein mit dem 2D-Muster assoziiertes Objekt in zwei Dimensionen bewegt, kann das Sondenplatzierungsmodul einen Interessepunkt unter Verwendung eines zweidimensionalen Gradientenvektors am Interessepunkt darstellen. Dann kann das Sondenplatzierungsmodul die Verteilung von Interessepunkten bestimmen, indem es die Verteilung der mit den Interessepunkten assoziierten senkrechten Orientierungen modelliert.
In Schritt 206 kann das Sondenplatzierungsmodul die gewünschte Zielverteilung basierend auf mit den Zinspunkten assoziierten Merkmalen bestimmen. Beispielsweise kann das Sondenplatzierungsmodul die gewünschte Zielverteilung basierend auf den an der Vielzahl von Interessepunkten gemessenen senkrechten Orientierungen bestimmen. Insbesondere kann das Sondenplatzierungsmodul die gewünschte Zielverteilung als einen Kehrwert der Verteilung der an den Interessepunkten gemessenen senkrechten Orientierungen bestimmen. Ähnlich kann das Sondenplatzierungsmodul die Rotationsvektoren und die Größeninformation berücksichtigen, die an den Interessepunkten gemessen wurden, um die Zielverteilung zu bestimmen. Anschließend kann in Schritt 208 das Sondenplatzierungsmodul die Sonden an einem oder mehr Interessepunkten durch Abtasten aus der Zielverteilung platzieren. Der zweite Mechanismus wird in der gesamten Beschreibung diskutiert, und insbesondere in Bezug auf die 11–18.
4 veranschaulicht ein Rechengerät, die ein Sondenplatzierungsmodul umfasst, in Übereinstimmung mit einigen Ausführungsformen. Das Rechengerät 400 kann einen Prozessor 402, einen Speicher 404, ein Interessepunkt-Detektions-(IPD-)Modul 406, Ein Sondenplatzierungsmodul 408 und eine Schnittstelle 410 umfassen.
In einigen Ausführungsformen kann der Prozessor 402 Befehle und eine oder mehr Speichervorrichtungen 404 zum Speichern von Befehlen und/oder Daten ausführen. Die Speichervorrichtung 404 kann ein nicht-transientes computerlesbares Medium sein, wie etwa ein dynamischer Speicher mit wahlfreiem Zugriff (DRAM), ein statischer Speicher mit wahlfreiem Zugriff (SRAM), ein Flash-Speicher, ein Magnetplattenlaufwerk, ein optisches Laufwerk, ein programmierbarer Nur-Lese-Speicher (PROM), ein Nur-Lese-Speicher (ROM) oder ein anderer Speicher oder eine Kombination von Speichern. Die Speichervorrichtung 404 kann verwendet werden, um Daten vorübergehend zu speichern. Die Speichervorrichtung 404 kann auch für die langfristige Speicherung von Daten verwendet werden. Der Prozessor 402 und die Speichervorrichtung 404 können durch eine spezielle Logikschaltung ergänzt und/oder in diese integriert werden.
In einigen Ausführungsformen kann das IPD-Modul 406 konfiguriert sein, Interessepunkte aus einem Eingangsbild zu detektieren. Beispielsweise kann das IPD-Modul 406 über eine Schnittstelle 410 ein Bild von einem anderen Gerät, wie etwa einem Kameramodul oder einem anderen Rechengerät, das mit dem IPD-Modul 406 kommuniziert, empfangen.
Anschließend kann das IPD-Modul 406 Bildverarbeitungsoperationen durchführen, um Interessenspunkte erkennen.
In einigen Ausführungsformen können Interessepunkte eine Kante eines 2D-Musters, eine Grenze (z. B. eine Kette von Kanten) eines 2D-Musters, eine Texturgrenze, ein Pixel mit einer großen Gradientengröße, ein Pixel mit einem großen Intensitätsunterschied zu benachbarten Pixeln, ein Pixel mit einem großen Farbunterschied zu benachbarten Pixeln, einen skaleninvariante Merkmalsumwandlungs-(SIFT)-Merkmalspunkt, jelgiches Pixel, das sich von benachbarten Pixeln unterscheidet, oder irgendwelche Kombinationen davon umfassen. Daher kann das IPD-Modul 406 konfiguriert sein, eine Kantenerfassungsoperation zum Bestimmen eines Satzes von Kanten, die eine Grenze eines 2D-Musters bilden, eine Differenzierungsoperation zum Detektieren eines Pixels mit einer großen Gradientengröße, einen SIFT-Operator zum Detektieren von SIFT-Merkmalspunkten, oder irgendwelche Kombinationen davon durchzuführen.
In einigen Ausführungsformen kann das IPD-Modul 406 konfiguriert sein, die Orientierung senkrecht zu Strukturen (nachfolgend als senkrechte Orientierung bezeichnet) zu bestimmen, die den Interessepunkten zugrunde liegt. In einigen Fällen kann die senkrechte Orientierung durch Bestimmung einer Gradientenorientierung der zugrunde liegenden Struktur bestimmt werden. Beispielsweise kann ein Gradientenvektor des zugrunde liegenden Musters am Interessepunkt bestimmt werden und eine mit dem Gradientenvektor assoziierte Orientierung kann bestimmt werden. In anderen Fällen kann die senkrechte Orientierung durch einfache Berechnung bestimmt werden. Zum Beispiel können zwei Punkte auf einer Grenze der Struktur genommen werden und eine Linie kann bestimmt werden, die die beiden Punkte verbindet. Die Orientierung senkrecht zur Linie kann als senkrechte Orientierung bestimmt werden. In anderen Fällen kann die senkrechte Orientierung einer Struktur auf der Grundlage von Informationen bestimmt werden, die von anderen Rechenmodulen empfangen werden, beispielsweise einem Modellierungsmodul für computergestütztes Design (CAD).
In einigen Ausführungsformen kann das Sondenplatzierungsmodul 408 konfiguriert sein, die Position von Sonden basierend auf Interessepunkten in einem Bild zu bestimmen. Das Sondenplatzierungsmodul 408 kann ein Zielverteilungs-Berechnungs-(TDC-)Modul 412, ein Merkmalsverteilungs-Berechnungs-(FDC-)Modul 414 und ein Sondenverteilungs-Abgleichmodul-(PDM-)Modul 416 umfassen. Das TDC-Modul 412 kann eine Zielverteilung von Sonden bestimmen, die an einen oder mehr Interessepunkten zu pkatzieren sind; das FDC-Modul 414 kann die Verteilung von Interessepunkten in einem Bild bestimmen; und das PDM-Modul 416 kann die Position der Sonden bestimmen, so dass die Verteilung der Sonden und die Zielverteilung der Sonden im Wesentlichen übereinstimmen. Wie nachfolgend erörtert wird, kann, wenn das TDC-Modul 412 nur ein Histogramm von senkrechten Orientierungen behandelt, die Zielverteilung eine gleichmäßige Verteilung sein. In anderen Ausführungsformen kann das Sondenplatzierungsmodul 408 einen anderen Satz von Modulen umfassen, um im Wesentlichen ähnliche Operationen durchzuführen.
In einigen Ausführungsformen kann die Schnittstelle 410 in Hardware implementiert sein, um Signale in einer Vielzahl von Medien, wie optisch, Kupfer und drahtlos, und in einer Anzahl von verschiedenen Protokollen, von denen einige nicht-transient sein können, zu senden und zu empfangen.
In einigen Ausführungsformen kann eines oder mehr der Module 406, 408, 412, 414, 416 unter Verwendung des Speichers 404 in Software implementiert werden. Die Software kann auf einem Prozessor 402 laufen, der in der Lage ist, Computeranweisungen oder Computercode auszuführen. Der Prozessor 402 ist in Hardware implementiert, unter Verwendung eines anwendungsspezifischen integrierten Schaltkreises (ASIC), eines programmierbaren Logikarrays (PLA), eines digitalen Signalprozessors (DSP), eines feldprogrammierbaren Gate-Arrays (FPGA) oder irgendeiner anderen integrierten Schaltung. Der Prozessor 402, der für die Ausführung eines Computerprogramms geeignet ist, umfasst beispielsweise sowohl allgemeine als auch spezielle Mikroprozessoren, digitale Signalprozessoren und jeglichen einen oder mehr Prozessoren jeglicher Art von digitalem Computer. Im Allgemeinen empfängt der Prozessor 402 Befehle und Daten von einem Nur-Lese-Speicher oder einem Speicher mit wahlfreiem Zugriff oder beides.
In einigen Ausführungsformen können offenbarte Verfahrensschritte von einem oder mehr Prozessoren 402 ausgeführt werden, die ein Computerprogramm ausführen, um Funktionen der Erfindung durch Operieren auf Eingangsdaten und/oder Erzeugen von Ausgangsdaten auszuführen. Ein oder mehr der Module (z. B. Module 406, 408, 412, 414, 416) können in Hardware unter Verwendung eines ASIC (anwendungsspezifische integrierte Schaltung), PLA (programmierbares Logikarray), DSP (digitaler Signalprozessor), FPGA (feldprogrammierbarer Gate-Array) oder einer anderen integrierten Schaltung implementiert sein. In einigen Ausführungsformen können zwei oder mehr Module 406, 408, 412, 414, 416 in derselben integrierten Schaltung implementiert werden, wie beispielsweise ASIC, PLA, DSP oder FPGA, wodurch ein System auf einem Chip gebildet wird. Subroutinen kann sich auf Teile des Computerprogramms und/oder des Prozessors/der Spezialschaltkreise beziehen, die eine oder mehr Funktionen implementieren.
Die Module 406, 408, 412, 414, 416 können in digitalen elektronischen Schaltungen oder in Computerhardware, -firmware, -software oder in Kombinationen davon implementiert sein. Die Implementierung kann als ein Computerprogrammprodukt geschehen, z. B. ein Computerprogramm, das in einem maschinenlesbaren Speichergerät greifbar verkörpert ist, zur Ausführung durch ein, oder zur Kontrolle des Betriebs eines, Datenverarbeitungsgeräts, z. B. eines programmierbaren Prozessors, eines Computers, und/oder mehrerer Computer. Ein Computerprogramm kann in jeglicher Art von Computer- oder Programmiersprache geschrieben werden, einschließlich Quellcode, kompiliertem Code, interpretiertem Code und/oder Maschinencode, und das Computerprogramm kann in jeglicher Form eingesetzt werden, einschließlich als eigenständiges Programm oder als eine Subroutine, ein Element oder eine andere Einheit, die zur Verwendung in einer Computerumgebung geeignet ist. Ein Computerprogramm kann ausgerichtet sein, auf einem Computer oder auf mehreren Computern an einer oder mehreren Standorten ausgeführt zu werden.
Das Rechengerät 400 kann mit externen Geräten, z. B. Fabrikautomations- oder Logistikausrüstung, oder mit einem Kommunikationsnetzwerk, z. B. einem Fabrikautomations- oder Logistiknetzwerk, operativ gekoppelt sein, um Anweisungen und/oder Daten von der Ausrüstung oder dem Netzwerk zu empfangen und/oder Anweisungen und/oder Daten an die Ausrüstung oder das Netzwerk zu übermitteln. Computerlesbare Speichervorrichtungen, die zum Ausführen von Computerprogrammanweisungen und Daten geeignet sind, umfassen alle Formen von flüchtigem und nicht-flüchtigem Speicher, einschließlich beispielsweise Halbleiterspeichergeräte, z. B. DRAM-, SRAM-, EPROM-, EEPROM- und Flash-Speichergeräte; Magnetplatten, z. B. interne Festplatten oder entfernbare Platten; magnetoptische Platten; und optische Platten, z. B. CD-, DVD-, HD-DVD- und Blu-ray-Platten.
In einigen Ausführungsformen kann das Rechengerät 400 Benutzerausrüstung umfassen. Die Benutzerausrüstung kann mit einem oder mehr Funkzugangsnetzen und mit drahtgebundenen Kommunikationsnetzen kommunizieren. Die Benutzerausrüstung kann ein Mobiltelefon sein. Die Benutzerausrüstung kann auch ein Smartphone sein, das Dienste wie Textverarbeitung, Netz-Browsing, Spiele, E-Book-Funktionen, ein Betriebssystem und eine vollständige Tastatur bereitstellt. Die Benutzerausrüstung kann auch ein Tablet-Computer sein, der Netzwerkzugang und die meisten Dienste bereitstellt, die von einem Smartphone bereitgestellt werden. Die Benutzerausrüstung arbeitet mit einem Betriebssystem wie Symbian OS, iPhone OS, RIM Blackberry, Windows Mobile, Linux, HP WebOS und Android. Der Bildschirm kann ein Touchscreen sein, der verwendet wird, um Daten in das mobile Gerät einzugeben. In diesem Fall kann der Bildschirm anstelle der vollständigen Tastatur verwendet werden. Die Benutzerausrüstung kann auch globale Positionsskoordinaten, Profilinformationen oder andere Standortinformationen aufbewahren.
In einigen Ausführungsformen kann das Rechengerät 400 einen Server umfassen. Der Server kann mit einer Betriebssystem-(OS-)Siftware betrieben werden. In einigen Ausführungsformen basiert die OS-Software auf einem Linux-Software-Kernel und führt spezifische Anwendungen im Server aus, wie z. B. Überwachung von Aufgaben und Bereitstellen von Protokollstacks. Die OS-Software ermöglicht es, Serverressourcen separat Steuer- und Datenpfaden zuzuordnen. Zum Beispiel sind bestimmte Paketbeschleunigerkarten und Paketdienstekarten für die Durchführung von Routing- oder Sicherheitssteuerungsfunktionen vorgesehen, während andere Paketbeschleunigerkarten/Paketdienstekarten für die Verarbeitung von Nutzer-Sitzungsverkehr bestimmt sind. Wenn sich die Netzanforderungen ändern, können die Hardwareressourcen in einigen Ausführungsformen dynamisch eingesetzt werden, um die Anforderungen zu erfüllen.
Erster Sondenplatzierungsmechanismus – Ausgleichen senkrechter Orientierungen von Sonden
In einigen Ausführungsformen kann das Sondenplatzierungsmodul 408 konfiguriert sein, Sonden zu platzieren, um die an den Sondenpositionen gemessenen senkrechten Orientierungen auszugleichen. Genauer kann das Sondenplatzierungsmodul 408 so konfiguriert sein, dass es Sonden an einem oder mehr Interessepunkten in einem 2D-Bild so platziert, dass das Histogramm senkrechter Orientierungen, wie an der Stelle der Sonden gemessen, grob gleichmäßig ist. Dieser Betriebsmodus kann es dem Sondenplatzierungsmodul 408 ermöglichen, die Genauigkeit eines Modells für Objekte mit zwei Freiheitsgraden zu verbessern.
In einigen Ausführungsformen kann das Histogramm senkrechter Orientierungen eine Vielzahl von Orientierungsbins umfassen. Jeder Orientierungsbehälter kann einem vorgegebenen Bereich von Orientierungen entsprechen. Beispielsweise kann das Histogramm der senkrechten Orientierungen 180 Bins umfassen, wobei jedes Orientierungsbin den Bereich von 2 Grad eines Winkels abdecken kann. Daher kann das Histogramm der senkrechten Orientierungen ein Profil von senkrechten Orientierungen wie an Interessepunkten gemessen angeben. In einigen Ausführungsformen kann das Histogramm senkrechter Orientierungen als eine kontinuierliche Verteilung dargestellt werden.
In einigen Ausführungsformen kann das Sondenplatzierungsmodul 408 konfiguriert sein, das Histogramm mit Interessepunkten assoziierter senkrechter Orientierungen zu bestimmen. Zu diesem Zweck kann das Sondenplatzierungsmodul 408 jeweils eine senkrechte Orientierung bestimmen, die mit jedem der Interessepunkte assoziiert ist. Beispielsweise kann das Sondenplatzierungsmodul 408 vom IPD-Modul 406 Modul Informationen empfangen, die für die senkrechte Orientierung an jedem der Interessepunkte repräsentativ sind. Als weiteres Beispiel kann das Sondenplatzierungsmodul 408 die mit jedem der Interessepunkte assoziierte senkrechte Orientierung berechnen. Anschließend kann das Sondenplatzierungsmodul 408 ein Histogramm der an der Vielzahl von Interessepunkten gemessenen senkrechten Orientierungen bestimmen.
5 veranschaulicht einen Prozess zum Bestimmen eines Histogramms vertikaler Orientierungen für Interessepunkte eines Bildes in Übereinstimmung mit einigen Ausführungsformen.
In Schritt 502 kann das IPD-Modul 406 Interessepunkte in einem Bild bestimmen. In einigen Ausführungsformen können die Interessepunkte eine Grenze eines in einem Bild dargestellten 2D-Musters umfassen. In einigen Fällen kann das IPD-Modul 406 die Grenze eines 2D-Musters unter Verwendung einer Kantenerfassungstechnik identifizieren. Beispielsweise kann das IPD-Modul 406 eine Kantenerfassungsoperation durchführen, um einen Satz von Kantenpunkten zu identifizieren, von denen angenommen wird, dass sie einer Kante entsprechen. Jeder Punkt kann mit einem Positionsvektor und einem senkrechten Vektor assoziiert sein, der senkrecht zu einer zugrunde liegenden Struktur ist. Anschließend kann das IPD-Modul 406 die Kantenpunkte verketten, um eine kohärente Grenze eines 2D-Musters zu bilden. Die Kantenerfassungstechnik kann beispielsweise eine Canny-Kantenerfassungstechnik oder eine Hough-Transformationstechnik umfassen. Die Kantenerfassungstechnik kann einen oder mehr Kantenerfassungsoperatoren verwenden, einschließlich beispielsweise einen Sobel-Operator, einen Kirsch-Operator, einen Prewitt-Operator, einen Gabor-Filter, einen Haar-Wavelet-Filter, jegliche andere Filter, die eine Änderung in einem Pixelwert in einem Bild (z. B. einer Hochfrequenzkomponente eines Bildes) erkennen können, und/oder jegliche Kombinationen davon.
In anderen Ausführungsformen können die Interessepunkte SIFT-Merkmalspunkte umfassen. In solchen Fällen kann das IPD-Modul 406 SIFT-Operationen durchführen, um SIFT-Merkmalspunkte zu identifizieren.
In einigen Ausführungsformen können die Interessepunkte gleichmäßig auf die Grenze eines Musters gesetzt werden. Beispielsweise kann der Abstand zwischen zwei benachbarten Interessepunkten im Wesentlichen identisch sein. In diesem Fall kann man jeden Interessepunkt als mit der gleichen Bogenlänge der Grenze assoziiert betrachten.
Sobald mindestens ein Interessepunkt verfügbar ist, kann das FDC-Modul 414 vom IPD-Modul 406 die Position des mindestens einen Interessepunktes empfangen. Dann kann das FDC-Modul 414 die Schritte 504–508 iterieren, um ein Histogramm von an dem mindestens einen Interessepunkt gemessenen senkrechten Orientierungen zu erzeugen.
In Schritt 504 kann das FDC-Modul 414 einen der mindestens ein Interessepunkte auswählen und eine senkrechte Orientierung an dem ausgewählten Interessepunkt bestimmen. In einigen Ausführungsformen kann das FDC-Modul 414 Informationen über die senkrechte Orientierung vom IPD-Modul 406 empfangen. In anderen Ausführungsformen kann das FDC-Modul 414 selbst die senkrechte Orientierung an dem ausgewählten Interessepunkt bestimmen. Beispielsweise konvolviert das FDC-Modul 414 einen Gradientenoperator mit dem Interessepunkt, um eine senkrechte Orientierung zu bestimmen. Der Gradientenoperator kann ein Gabor-Filter, ein Haar-Wavelet-Filter, ein lenkbarer Filter, ein x-Richtungs-Gradientenfilter [–1, 0, 1], ein y-Richtungs-Gradientenfilter [–1, 0, 1] T und/oder jegliche Kombinationen davon sein. Als weiteres Beispiel berechnet das FDC-Modul 414 die mit jedem der Interessepunkte assoziierte senkrechte Orientierung, beispielsweise durch Bestimmen eines Gradientenvektors einer den Interessepunktgen zugrunde liegenden Struktur oder Bestimmen einer Orientierung einer Linie, die zwei benachbarte Punkte an der Grenze der Struktur verbindet.
In Schritt 506 kann das FDC-Modul 414 einen Beitrag der senkrechten Orientierung an dem ausgewählten Interessepunkt zu dem Histogramm von senkrechten Orientierungen hinzufügen. Zu diesem Zweck kann das FDC-Modul 414 ein Orientierungsbin im Histogramm entsprechend der in Schritt 504 bestimmten senkrechten Orientierung bestimmen. Wenn beispielsweise die senkrechte Orientierung 3-Grad in Bezug auf die x-Achse ist, kann das FDC-Modul 414 feststellen, dass die senkrechte Orientierung mit einem Orientierungsbin #1 verbunden ist, der die Orientierung zwischen 2-Grad und 4-Grad in Bezug auf die x-Achse abdeckt. Anschließend kann das FDC-Modul 414 dem der senkrechten Orientierung zugeordneten Orientierungsbin eine Stimme hinzufügen. Beispielsweise kann das FDC-Modul 414 den Wert des Orientierungsbins um eins erhöhen. Als weiteres Beispiel kann das FDC-Modul 414 einen Wert des Orientierungsbins um eine Gewichtung erhöhen. Die Gewichtung kann von dem mit dem Interessepunkt assoziierten Gradientenvektor abhängen. Beispielsweise kann die Gewichtung von einer Größe des Gradientenvektors abhängen.
In Schritt 508 kann das FDC-Modul 414 bestimmen, ob es irgendeinen Interessepunkt gibt, den das FDC-Modul 414 für das Histogramm senkrechter Orientierungen nicht berücksichtigt hat. Wenn dies der Fall ist, kann das FDC-Modul 414 zu Schritt 504 zurückkehren und die Schritte 504–508 iterieren, bis alle Interessepunkte von dem FDC-Modul 414 berücksichtigt wurden. Wenn das FDC-Modul 414 alle Interessepunkte berücksichtigt hat, kann das FDC-Modul 414 das Histogramm senkrechter Orientierungen ausgeben.
6A–6H veranschaulichen einen Prozess zur Erzeugung eines Histogramms vertikaler Orientierungen in Übereinstimmung mit einigen Ausführungsformen. In dieser Darstellung kann die Mitte jedes Pfeils 602 als einem Interessepunkt entsprechend betrachtet werden, und der Satz aller Interessepunkte kann als eine Grenze 102 umfassend betrachtet werden. Wie in 6A veranschaulicht, kann das FDC-Modul 414 bestimmen, dass der erste Interessepunkt 602A mit einem Orientierungsbin assoziiert ist, der einen Bereich von 0 und umfasst. Daher kann das FDC-Modul 414 einen mit dem Orientierungsbin assoziierten Wert um eins erhöhen. Wie in den 6B–6H kann das FDC-Modul 414 diesen Vorgang für jeden Interessepunkt 602 an der Grenze 102 ausführen und ein entsprechendes Histogramm senkrechten Orientierungen 604 erzeugen.
In einigen Ausführungsformen kann das TDC-Modul 412 konfiguriert sein, eine Zielverteilung von Sonden zu erzeugen. Die Zielverteilung von Sonden kann eine gewünschte Platzierung von Sonden an einem oder mehr Interessepunkten angeben. In einigen Ausführungsformen kann die Zielverteilung eine Vielzahl von Orientierungsbins umfassen, wobei jeder Orientierungsbin mit einem Wert assoziiert ist. In einigen Fällen kann die Zielverteilung eine gleichmäßige Verteilung sein. Im Wesentlichen gibt die gleichmäßige Zielverteilung an, dass die Anzahl der Sonden auf in eine bestimmte Richtung zeigenden Interessepunkten dieselbe sein sollte wie die Anzahl der Sonden auf in eine andere Richtung zeigenden Interessepunkten. Auf diese Weise kann das Sondenplatzierungsmodul 408 die Anzahl der Sonden, die in unterschiedliche Richtungen zeigen, ausgleichen.
In einigen Fällen kann die Zielverteilung eine teilweise gleichmäßige Verteilung sein. Zum Beispiel können einige der Orientierungsbins in der Zielverteilung einen Wert von Null haben und die verbleibenden Orientierungsbins können denselben Wert haben. In solchen Fällen kann der Orientierungsbin der Zielverteilung einen Wert von Null haben, wenn das entsprechende Orientierungsbin im Histogramm senkrechter Orientierungen 604 einen Wert von Null hat.
Sobald das FDC-Modul 414 das Histogramm senkrechter Orientierungen bestimmt und das TDC-Modul 412 die Zielverteilung bestimmt, kann das PDM-Modul 416 die Position der Sonden bestimmen, so dass die Verteilung der Sonden an einem oder mehr Interessepunkten mit der Zielverteilung übereinstimmt.
7 veranschaulicht einen Prozess zum Bestimmen von Sondenplatzierungen in Übereinstimmung mit einigen Ausführungsformen. In Schritt 702 kann das PDM-Modul 416 das Histogramm senkrechter Orientierungen verwenden, um zu bestimmen, welcher Teil von Interessepunkten auf einer Struktur ist, die in eine bestimmte Orientierung zeigt. Wenn zum Beispiel das Histogramm 180 Orientierungsbins aufweist, kann das PDM-Modul 416 das Histogramm verwenden, um mit einer 2-Grad-Auflösung einen Anteil von Interessepunkten zu bestimmen, die in eine bestimmte Orientierung zeigen. Anschließend kann das PDM-Modul 416 die Bogenlängen des Interessepunktes basierend auf dem Wert des dem Interessepunkt entsprechenden Histogrammbins skalieren. Insbesondere kann das PDM-Modul 416 die Bogenlänge eines einzelnen Interessepunktes in einer Weise anpassen, die umgekehrt proportional zu dem Wert des Histogrammbins ist, der mit dem individuellen Interessepunkt assoziiert ist.
Beispielsweise kann unter Bezugnahme auf ein in 3 veranschaulichtes Beispiel die Anzahl der Interessepunkte entlang der kurzen Kante 104 klein sein, verglichen mit der Anzahl der Interessepunkte entlang der langen Kante 106. Daher kann der Wert eines der kurzen Kante 104 entsprechenden Bins in dem Histogramm kleiner als der Wert eines der langen Kante 106 entsprechenden Bins sein. Auf dieser Grundlage kann das PDM-Modul 416 die Bogenlänge von Interessepunkten (z. B. einen Grenzabschnitt) entlang der kurzen Kante 104 erhöhen und die Bogenlängen von Interessepunkten entlang der langen Kante 106 verkleinern (oder unverändert lassen).
8 veranschaulicht das Skalieren von Bogenlängen von Interessepunkten für eine Grenze, in Übereinstimmung mit einigen Ausführungsformen. Da das Histogramm angibt, dass die Anzahl der Interessepunkte auf einer vertikalen Kante kleiner als die Anzahl der Interessepunkte auf einer horizontalen Kante ist, kann das PDM-Modul 416 die Bogenlänge der Interessepunkte auf der vertikalen Kante erhöhen. Es kann angenommen werden, dass die erhöhte Bogenlänge von Interessepunkten eine Länge der Grenze entlang der vertikalen Kante erhöht, wie durch den Pfeil 802 dargestellt.
In Schritt 704 kann das PDM-Modul 416 Sonden auf der skalierten Grenze in einer gleichmäßigen Weise platzieren. 9 veranschaulicht eine gleichmäßige Platzierung von Sonden auf einer skalierten Grenze in Übereinstimmung mit einigen Ausführungsformen. Da die vertikale Kante der Grenze skaliert worden ist, kann die gleichmäßige Platzierung von Sonden 104 auf der skalierten vertikalen Kante zu grob der gleichen Anzahl von Sonden 104 auf vertikalen Kanten und horizontalen Kanten führen.
In einigen Ausführungsformen kann das PDM-Modul 416 Sonden auf der skalierten Grenze nacheinander gleichmäßig platzieren. Beispielsweise startet das PDM-Modul 416 an einem anfänglichen Interessepunkt (der willkürlich ausgewählt werden kann) und platziert eine erste Sonde am anfänglichen Interessepunkt. Anschließend kann das PDM-Modul 416 die zweite Sonde an einem Interessepunkt platzieren, der um den vorbestimmten Abstand von der ersten Sonde getrennt ist. Dieser Vorgang kann iteriert werden, bis das PDM-Modul 416 all die Vielzahl von Interessepunkten berücksichtigt hat.
In Schritt 706 kann das PDM-Modul 416 die Skalierungsoperation von Schritt 702 umkehren, wodurch auch der Abstand zwischen gleichmäßig platzierten Sonden angepasst wird. 10 veranschaulicht ein reverses Skalieren der skalierten Grenze in Übereinstimmung mit einigen Ausführungsformen. Neben der reversen Skalierung der Grenze wird auch der Abstand zwischen zwei benachbarten Sonden 104 entsprechend skaliert. Daher wird die Dichte der Sonden entlang der vertikalen Kante im Vergleich zu der Dichte der Sonden entlang der horizontalen Kante höher. Auf diese Weise kann, wie durch die Verteilung 1002 gezeigt, das PDM-Modul 416 das Histogramm der an den Sondenpositionen gemessenen senkrechten Orientierungen ausgleichen. Das ausgewogene Histogramm senkrechter Orientierungen 1002 gibt allgemein an, dass die von den Sonden 104 abgeleitete Richtungsinformation ebenfalls ausgewogen ist.
In einigen Ausführungsformen kann das PDM-Modul 416 konfiguriert sein, um die Bogenlängenskalierung und die reverse Skalierung durchzuführen, ohne die Bogenlänge von Interessepunkten (z. B. Grenzabschnitten) tatsächlich graphisch zu dehnen. Beispielsweise kann das PDM-Modul 416 konfiguriert sein, die Auflösung des zugrunde liegenden Koordinatensystems um den Interessepunkt herum zu erhöhen oder zu verringern, um die Bogenlänge des Interessepunktes effektiv zu skalieren.
In einigen Ausführungsformen kann das PDM-Modul 416 die Schritte 704 und 706 durch sequentielles Platzieren von Sonden zusammenführen. Beispielsweise kann das PDM-Modul 416 den gleichmäßigen Abstand bestimmen, der zwei Sonden trennen sollte. Dann startet das PDM-Modul 416 an einem anfänglichen Interessepunkt (der willkürlich ausgewählt werden kann) und platziert eine erste Sonde am anfänglichen Interessepunkt. Anschließend kann das PDM-Modul 416 die mit dem anfänglichen Interessepunkt assoziierte Bogenlänge bestimmen, basierend auf dem Histogramms senkrechter Orientierungen. Dann kann das PDM-Modul 416 den gleichmäßigen Abstand als eine Funktion der Bogenlänge skalieren, um den skalierten Abstand zwischen der ersten Sonde und einer zweiten Sonde zu bestimmen, die benachbart zur ersten Sonde platziert werden soll. Anschließend kann das PDM-Modul 416 die zweite Sonde an einem Interessepunkt platzieren, der durch den skalierten Abstand von der ersten Sonde getrennt ist. Dieser Vorgang kann iteriert werden, bis das PDM-Modul 416 all die Vielzahl von Interessepunkten berücksichtigt hat. Auf diese Weise kann das PDM-Modul 416 die Schritte 704 und 706 durchführen, ohne die Grenze eines Musters graphisch zu skalieren.
In einigen Ausführungsformen kann das FDC-Modul 414 eine Tiefpassfilterungsoperation an dem Histogramm senkrechter Orientierungen durchführen, vor dem Skalieren der Bogenlänge von Interessepunkten in Schritt 702. Die Durchführung einer Tiefpassfilterungoperation vor Skalierung der Bogenlänge der Interessepunkte kann mehrere Vorteile haben. Erstens kann die Tiefpassfilterungoperation dem Sondenplatzierungsmodul erlauben, Rauschen aus dem Histogramm senkrechter Orientierungen zu entfernen.
Zweitens kann die Tiefpassfilterung das Problem des Teilens durch Null angehen. Das PDM-Modul 416, das die Bogenlängenskalierung durchführt, wird oft den Wert eines Orientierungsbins im Histogramm senkrechter Orientierungen als einen Nenner verwenden. Jedoch kann es einige Orientierungsbins mit dem Wert 0 geben, was das Problem des Teilens durch Null verursachen kann. Die Tiefpassfilterungoperation kann dieses Problem lösen, indem sie Orientierungsbins mit einem Wert von Null effektiv eliminiert.
Drittens kann die Tiefpassfilterungoperation dem Sondenplatzierungsmodul erlauben, ein bestimmtes Orientierungsbin auszuschließen, das grob unterrepräsentiert ist, wenn die benachbarten Orientierungsbins gut repräsentiert sind. Zum Beispiel kann das Histogramm senkrechter Orientierungen angeben, dass das Muster 100 Interessepunkte auf einer Struktur mit einer senkrechten Orientierung von 89 Grad, 100 Interessepunkte auf einer Struktur mit einer senkrechten Orientierung von 91 Grad, aber nur 1 Interessepunkt auf einer Struktur mit einer senkrechten Orientierung von 90 Grad aufweist. Ohne Tiefpassfilterung würde das PDM-Modul 416 wahrscheinlich die Anzahl von Sonden um den Interessepunkt mit einer senkrechten Orientierung von 90 Grad erhöhen, während die Anzahl der Sonden um die Interessepunkte mit einer senkrechten Orientierung von 89 oder 91 Grad begrenzt würden. Eine solch drastische Maßnahme, um das Histogramm der senkrechten Orientierungen auszugleichen, kann bei der Erfassung ausgewogener Informationen von Sonden unwirksam sein, da ähnliche Orientierungen ähnliche Informationen erfassen können. Mit anderen Worten können Sonden, die in eine senkrechte Orientierung von 89 oder 91 Grad zeigen, im Wesentlichen ähnliche Informationen erfassen wie Sonden, die in eine senkrechte Orientierung von 90 Grad zeigen. Daher kann die Erhöhung der Anzahl von Sonden, die in eine senkrechte Orientierung von 90 Grad zeigen, bei der Erfassung ausgewogener Informationen über den gesamten Bereich von Winkeln unwirksam sein, insbesondere wenn die Gesamtzahl der Sonden begrenzt ist.
Die Tiefpassfilterung kann dieses Problem lösen, da durch Tiefpassfilterung des Histogramms senkrechter Orientierungen der Wert des Orientierungsbins für 90 Grad mit den Werten der Orientierungsbins für 89 Grad und 91 Grad geglättet (z. B. gemittelt) werden kann. Daher kann die Tiefpassfilterungoperation den Wert des Orientierungsbins für 90 Grad wesentlich erhöhen. Auf diese Weise kann das PDM-Modul 416 erkennen, dass die Information um die senkrechten Orientierungen von 90 Grad gut durch Sonden erfasst wird, die auf 89 Grad und 91 Grad zeigen. Daher würde das PDM-Modul 416 die Anzahl der Sonden, die auf 90 Grad zeigen, nicht drastisch erhöhen.
In einigen Ausführungsformen kann das FDC-Modul 414 die Tiefpassfilterungoperation durch Konvolution des Histogramms mit einem Kernel durchführen. In einigen Fällen kann das FDC-Modul 414 konfiguriert sein, eine zirkuläre Konvolution durchzuführen. Beispielsweise kann das FDC-Modul 414 unter der zirkulären Konvolution den Kernel um die Grenzen der Orientierungsdomäne (z. B. 0 – 2π) des Histogramms hüllen. Der Kernel für die Tiefpassfilterung kann einen erhöhten Kosinuskernel, einen Kosinusquadratkernel oder jegliche anderen Kreisfunktionen umfassen, die das Histogramm glätten können. Das FDC-Modul 414 kann die Breite des Kernels kontrollieren, um das Ausmaß an Glättung zu kontrollieren, die am Histogramm durchgeführt werden soll. Beispielsweise kann die Breite des Kernels 2π/N abdecken, wobei N jegliche ganze Zahl sein kann.
In einigen Ausführungsformen kann anstelle der Erhöhung der Dichte der Sonden entlang der kürzeren Kante wie in 10 das PDM-Modul 416 konfiguriert sein, Sonden an Interessepunkten zu initialisieren und die mit den initialisierten Sonden assoziierten Gewichtungen zu bestimmen. Wenn beispielsweise eine Sonde mit einer kurzen Kante assoziiert ist (z. B. wird die Sonde auf einer Kante platziert, die einem Orientierungsbin mit einem niedrigen Wert entspricht), kann das PDM-Modul 416 die mit der Sonde asspziierte Gewichtung erhöhen; wenn eine Sonde mit einer langen Kante assoziiert ist (z. B. wird die Sonde auf einer Kante platziert, die einem Orientierungsbin mit einem hohen Wert entspricht), kann das PDM-Modul 416 die mit der Sonde assoziierte Gewichtung verringern. Anschließend können die Gewichtungen verwendet werden, um den Beitrag der Sonden für verschiedene Anwendungen zu variieren, z. B. die Ausrichtung der Grenze. Unter Verwendung dieser Technik kann das PDM-Modul 416 die Rechenleistung verringern, die erforderlich ist, um (1) die Dichte der Sonden entlang der kurzen Kante zu erhöhen und (2) die erhöhte Anzahl von Sonden während der Ausrichtung anzupassen. Jedoch kann das PDM-Modul 416 die Auflösung der Sonden verglichen mit der Verwendung des Verfahrens in 7 verringern.
Zweiter Sondenplatzierungsmechanismus – Abtasten von Sonden aus einer Verteilung
In einigen Ausführungsformen kann das Sondenplatzierungsmodul 408 konfiguriert sein, Sonden an einem oder mehr Interessepunkten durch Abtasten von Sonden aus einer Zielverteilung von Sonden zu platzieren. Die Zielverteilung von Sonden kann zufällige Variablen enthalten, die den mit dem Muster assoziierten Freiheitsgraden entsprechen. Wenn zum Beispiel ein mit dem Muster assoziiertes Objekt sich in zwei Dimensionen bewegen darf (z. B. Translationsbewegung), kann die Zielverteilung zwei zufällige Variablen haben: x-Koordinate und y-Koordinate (oder andere äquivalente Darstellungen). Als ein weiteres Beispiel, wenn ein mit dem Muster assoziiertes Objekt eine Translationsbewegung und eine Rotationsbewegung machen darf, kann die Zielverteilung drei zufällige Variablen haben: x-Koordinate, y-Koordinate und einen Rotationsvektor (z. B. eine Orientierung). Als ein weiteres Beispiel, wenn ein mit dem Muster assoziiertes Objekt eine Translationsbewegung, eine Rotationsbewegung und eine Skalierungsbewegung (z. B. eine Bewegung weg von oder zu einer Abbildungsvorrichtung hin) machen darf, kann die Zielverteilung vier zufällige Variablen umfassen: x-Koordinate, y-Koordinate, Drehung, und Skalierung.
In einigen Ausführungsformen kann das Sondenplatzierungsmodul 408 die Zielverteilung als nichtparametrische Verteilung darstellen. Beispielsweise kann das Sondenplatzierungsmodul 408 die Domäne jeder zufälligen Variablen in eine Vielzahl von Bins quantifizieren und einfach die Anzahl der Interessepunkte zählen, die in entsprechende Bins fallen. In anderen Ausführungsformen kann das Sondenplatzierungsmodul 408 die Zielverteilung als eine parametrische Verteilung darstellen.
In einigen Ausführungsformen kann das Sondenplatzierungsmodul 408 die Zielverteilung unter Verwendung eines TDC-Moduls 412 bestimmen. Das TDC-Modul 412 kann konfiguriert sein, die Zielverteilung von Sonden basierend auf mit den Interessepunkten assoziierten Merkmalen zu bestimmen. Beispielsweise kann das TDC-Modul 412 die Zielverteilung basierend auf einer oder mehr von beispielsweise der Koordinate der Interessepunkte, der mit den Interessepunkten assoziierten senkrechten Orientierung, die Drehung der Interessepunkte oder der Skalierung der Interessepunkte bestimmen.
In einigen Ausführungsformen ist das TDC-Modul 412 konfiguriert, die Zielverteilung so zu bestimmen, dass die Verteilung der senkrechten Ausrichtungen, die von der Zielverteilung abgetastet werden, im Wesentlichen ausgewogen ist. Beispielsweise angenommen, das Muster von Interesse sei ein horizontales Rechteck, wie in 1 gezeigt. Ein solches Muster kann mit einem Modell assoziiert werden, das eine Gradientenvektorverteilung aufweist wie in 11A gezeigt. Wie in 11A gezeigt, gibt es beträchtlich mehr Kanten mit einer großen y-Richtungskomponente im Vergleich zu Kanten mit einer großen x-Richtungsomponente. Daher sollte die Zielverteilung für das Muster in 1 so sein, dass die aus der Zielverteilung gezogene Sonden eine ausgewogene Gradientenverteilung aufweisen, wie in 11B gezeigt.
In einigen Ausführungsformen ist das TDC-Modul 412 konfiguriert, die Zielverteilung so zu bestimmen, dass die Zielverteilung eine ähnliche Unterstützung hat wie die Verteilung von Interessepunkten. Dies ist wichtig, da bei diesen Ausführungsformen das Sondenplatzierungsmodul 408 konfiguriert ist, die Sonden durch erneutes Abtasten (z. B. Wichtigkeitsabtastung) aus dem vorhandenen Satz von Interessepunkten abzutasten. Zu diesem Zweck ist das TDC-Modul 412 konfiguriert, ein Mischmodell sowohl für die Interessepunktverteilung als auch für die Zielverteilung zu verwenden, wie nachfolgend erörtert wird.
In einigen Ausführungsformen stellt das TDC-Modul 412 die Zielverteilung dem PDM-Modul 414 bereit, und das PDM-Modul 414 ist konfiguriert, Proben aus der Zielverteilung zu ziehen, um die Position der Sonden zu bestimmen.
In einigen Ausführungsformen kann das PDM-Modul 414 eine Wichtigkeitsbtasttechnik verwenden, um Proben aus der Zielverteilung zu ziehen. In anderen Ausführungsformen kann das PDM-Modul 414 konfiguriert sein, eine Grenze eines Musters zu bestimmen und Sondenproben entlang der Grenze eines Musters zu erzeugen. Diese Technik kann beim Zihene nur einer kleinen Anzahl von Sonden aus der Zielverteilung nützlich sein. Diese Technik hat den Vorteil, dass der durch die Abtastung erzeugte Satz von Sonden nicht durch zufällige Schwankungen im Wiederabtastprozess beeinflusst werden kann und kann garantieren, dass die Sonden über die gesamte geometrische Ausdehnung der Grenze des Musters verteilt sind.
Zielverteilungsberechnung
Wenn ein Muster zwei Freiheitsgrade hat (z. B. Translationsbewegung), kann das TDC-Modul 412 eine Gewichtungsfunktion f(x, y) bestimmen, die die folgenden Beziehungen erfüllt:
und:
wobei i den i-ten Interessepunkt indiziert. Das Ziel dieser Optimierungsroutine ist, eine Funktion f(x, y) zu identifizieren, die (1) die gewichtete Summe der an den Interessepunkten gemessenen x-Komponenten der Gradientenvektoren und (2) die gewichtete Summe der an den Interessepunkten gemessenen y-Komponenten der Gradientenvektoren gleichsetzt. In einigen Fällen kann das TDC-Modul 412 nur den Betrag der Gradientenvektoren ausgleichen. Daher kann sich x_i auf den absoluten Wert der am i-ten Interessepunkt gemessenen x-Komponente des Gradientenvektors beziehen; und y_i kann sich auf den absoluten Wert der am i-ten Interessepunkt gemessenen y-Komponente des Gradientenvektors beziehen.
Sobald das TDC-Modul 412 die Gewichtungsfunktion f(x, y) bestimmt, kann das TDC-Modul 412 die Gewichtungsfunktion f(x, y) dem PDM-Modul 416 bereitstellen. In einigen Ausführungsformen kann die Gewichtungsfunktion die Form einer Wahrscheinlichkeitsverteilung annehmen, die das PDM-Modul 416 verwenden kann, um die Sonden an einem oder mehr Interessepunkten zu platzieren. Da das PDM-Modul 416 in diesem Fall die Gewichtungsfunktion f(x, y) als eine Wahrscheinlichkeitsverteilung verwendet, von der aus Sonden abgetastet werden sollen, muss sie als nicht negativ eingeschränkt sein und kann zumindest für einige Gradientenkomponenten (x, y) positiv sein. Bei solchen Ausführungsformen wird der Begriff „Zielverteilung” verwendet werden, um auf die hier mit f(x, y) bezeichnete Wahrscheinlichkeitsverteilung zu verweisen.
In einigen Ausführungsformen wird die Gewichtungsfunktion verwendet, um einen vorhandenen Satz von Sonden, die auf irgendeine andere Weise ausgewählt wurden, zu gewichten, um ihre relative Bedeutung auf eine Weise zu beeinflussen, dass:
minimiert werden, und:
Wenn ein Muster drei Freiheitsgrade hat (z. B. Translationsbewegung und Rotationsbewegung), kann das TDC-Modul 412 in die Zielverteilung eine Rotationsvariable θ einfügen, die einer Rotationsbewegung entspricht. Das TDC-Modul 412 kann die Rotationsvariable θ in Bezug auf einen Ursprung definieren.
In einigen Ausführungsformen kann der Ursprung der Schwerpunkt der Vielzahl von Interessepunkten sein. In einigen Ausführungsformen kann der Ursprung der Drehpunkt sein. Der Drehpunkt kann der Punkt sein, um den das Drehmoment minimiert ist. Der Drehpunkt entspricht einem eindeutigen globalen Minimum und ist unabhängig von der Wahl der Basisvektoren (z. B. eines Koordinatensystems). Daher ist der Drehpunkt eine geometrische Größe, die der Vielzahl von Interessepunkten innewohnt. Der Drehpunkt kann wie folgt berechnet werden:
wobei p ein Referenzvektor bezüglich eines Referenzpunktes (der willkürlich sein kann) ist, u ein Einheitsnormalvektor an einem bestimmten Interesspunkt ist, und X eine Kreuzprodukt-Matrix ist. 11 veranschaulicht die Beziehung zwischen dem Referenzvektor p und dem Einheitsnormalvektor u in Übereinstimmung mit einigen Ausführungsformen. In einer orthonormalen Basis gilt X = ( 0 / –11 / 0) . Für Berechnungszwecke kann der Drehpunkt in einem Koordinatensystem mit orthonormaler Basis wie folgt berechnet werden:
wobei die Indizes x und y sich auf die x- und y-Komponenten des entsprechenden Vektors beziehen.
Sobald der Ursprung bestimmt ist, kann das TDC-Modul 412 die Rotationsvariable θ unter Verwendung eines Positionsvektors ν_i des i-ten Interessepunkts, der ein Vektor vom Ursprung zum Zentrum des i-ten Interessepunkts ist, und eines Rotationseinheitsvektor
in der Mitte von des i-ten Interessepunkt bestimmen. 12 veranschaulicht die Beziehung zwischen einem Positionsvektor ν_i und einem Einheitsrotationsvektor
in Übereinstimmung mit einigen Ausführungsformen.
In einigen Ausführungsformen kann die Rotationsvariable θ_i von der Norm des Positionsvektors ν_i unabhängig sein. Die Rotationsvariable θ_i, die von der Norm des Positionsvektors ν_i unabhängig ist, kann eine Zielverteilung bereitstellen, die Sondenpositionen nicht auf Grund der Norm des Positionsvektors ν_i unterscheiden würde. Zum Beispiel kann das TDC-Modul 412 die Rotationsvariable θ_i für den i-ten Interessepunkt wie folgt definieren:
Diese Darstellung der Rotationsvariablen θ_i kann nützlich sein, um Formen mit großen Winkelschrittgrößen ω auszurichten.
In einigen Ausführungsformen kann die Rotationsvariable θ_i die Norm des Positionsvektors ν_i berücksichtigen. Da
kann das TDC-Modul 412 den Beitrag der Interessepunkte, die vom Ursprung weiter entfernt sind, betonen, um die Winkelgenauigkeit zu erhöhen. Zum Beispiel kann das TDC-Modul 412 die Rotationsvariable θ_i für den i-ten Interessepunkt wie folgt definieren:
Die Rotationsvariable θ_i, die von der Norm des Positionsvektors ν_i abhängt, kann eine Zielverteilung bereitstellen, die das Platzieren von Sonden an Positionen weiter entfernt vom Ursprung bevorzugen würde. Auf diese Weise kann die Zielverteilung dazu führen, dass mehr Sonden an Interessepunkten weiter entfernt vom Ursprung abgetastet werden.
In einigen Ausführungsformen kann das TDC-Modul 412 die Darstellung für die Rotationsvariable θ_iauf Grund der Form des Musters bestimmen. Beispielsweise kann das TDC-Modul 412 feststellen, dass das Muster einen Hebelarm umfasst. In diesem Fall kann das TDC-Modul 412 den Hebelarm bei der Bestimmung, welche der Darstellungen für die Rotationsvariable θ_i verwendet werden soll, berücksichtigen. Als weiteres Beispiel kann das TDC-Modul 412 feststellen, dass das Muster konzentrische Kreise oder eine Mutter innerhalb einer anderen Mutter enthält. In diesem Fall kann das TDC-Modul 412 die konzentrischen Kreise oder eine Mutter innerhalb einer anderen Mutter bei der Bestimmung, welche der Darstellungen für die Rotationsvariable θ_i verwendet werden soll, berücksichtigen.
Sobald das TDC-Modul 412 die Darstellung für die Rotationsvariable bestimmt, kann das TDC-Modul 412 die bestimmte Darstellung verwenden, um jeden der Interessepunkte darzustellen. Anschließend kann das TDC-Modul 412 konfiguriert werden, die Zielverteilung basierend auf der Darstellung der Interessepunkte zu bestimmen, indem eine Gewichtungsfunktion f(x, y, θ) gefunden wird, die die folgenden Beziehungen erfüllt:
mit den Einschränkungen, dass:
wobei i den i-ten Interessepunkt indiziert.
Sobald das TDC-Modul 412 die Zielverteilung f(x, y, θ) bestimmt, kann das TDC-Modul 412 die Zielverteilung f(x, y, θ) dem PDM-Modul 416 bereitstellen. Anschließend kann das PDM-Modul 416 die Zielverteilung f(x, y, θ) als eine Wahrscheinlichkeitsverteilung verwenden, um Sonden auf einem Muster abzutasten.
Um den obigen Optimierungsprozess zu erleichtern, kann das Sondenplatzierungsmodul 408 eine funktionale Form für Zielverteilung f(x, y, θ) annehmen.
In einigen Ausführungsformen kann das Sondenplatzierungsmodul 408 annehmen, dass die Zielverteilung f(x, y, θ) eine lineare Form hat. Obwohl eine lineare Funktion negativ werden kann, kann die Einschränkung f(x_i, y_i, θ) ≥ 0, ∀i die Zielverteilung zwingen, an allen Interessepunkten positiv zu sein. Wenn die Zielverteilung f(x, y, θ) eine lineare Form hat, kann die Optimierungsroutine zum Auffinden der Zielverteilung einfach sein. Da jedoch der Raum der linearen Funktionen begrenzt ist, kann es schwierig sein, eine lineare Funktion zu finden, die alle Einschränkungen erfüllt.
In einigen Ausführungsformen kann das Sondenplatzierungsmodul 408 annehmen, dass die Zielverteilung f(x, y, θ) eine nichtlineare Form hat. Wenn die Zielverteilung f(x, y, θ) eine nichtlineare Form hat, kann die Optimierungsroutine zum Auffinden der Zielverteilung komplex sein. Da jedoch der Raum der nichtlinearen Funktionen weit ist, kann es leichter sein, eine nichtlineare Funktion zu finden, die alle Einschränkungen erfüllt.
In einigen Ausführungsformen kann das TDC-Modul 412 die Zielverteilung f(x, y, θ) als einen Kehrwert der Interessepunktverteilung p_pf(x, y, θ|Parameter) setzen. In diesem Fall kann das TDC-Modul 412 vom FDC-Modul 414 die Interessepunktverteilung p_pf(x, y, θ) empfangen, und indirekt die Zielverteilung f(x, y, θ) durch Berechnen eines Kehrwerts bestimmen:
Wenn die Zielverteilung f(x, y, θ) als ein Kehrwert der Interessepunktverteilung p_p(x, y, θ) definiert ist, wird die Zielverteilung f(x, y, θ) mehr Sonden an Positionen mit Interessepunkten abtasten lassen, die im Vergleich zum Rest der Interessepunkte relativ unähnlich sind.
Das FDC-Modul 414 kann die Interessepunktverteilung p_pf(x, y, θ) als ein Mischmodell modellieren. In einigen Ausführungsformen kann das Mischmodell ein Gauß'sches Mischmodell (GMM) umfassen:
Das GMM hat vier Parameter: Die Anzahl Gauß'scher Verteilungen N, die Gewichtung α_k der k-ten Gauß'schen Verteilung, den Durchschnittsvektor μ _k der k-ten Gauß'schen Verteilung und die Kovarianzmatrix Σ _k der k-ten Gauß'schen Verteilung. In anderen Ausführungsformen kann das Mischmodell ein Gemisch triangulärer Verteilungen umfassen. Das Gemisch triangulärer Verteilungen kann schneller zu berechnen sein und kann eine ähnliche gewünschte Eigenschaft des Bereitstellens einer weichen Gruppierung von Interessepunkten bieten.
In einigen Ausführungsformen kann das FDC-Modul 414 die Anzahl der Gauß'schen Verteilungen N für das GMM durch Gruppieren der Interessepunkte und die Bestimmung der Anzahl von Gruppen, die am besten zu den Interessepunkten passen, abschätzen. Beispielsweise kann das FDC-Modul 414 eine k-Mittel-Gruppierungsoperation an den Interessepunkten durchführen, um die Anzahl der Gauß'schen Verteilungen N abzuschätzen.
Der verbleibende Satz von Parametern {α_k, μ _k, Σ _k}, k = 1, ... N kann durch Maximieren der Wahrscheinlichkeit von Parametern bei gegebenen Interessepunkten bestimmt werden. In einigen Ausführungsformen kann das FDC-Modul 414 die Wahrscheinlichkeit der Parameter bei gegebenen Interessepunkten unter Verwendung einer Erwartungsmaximierungstechnik maximieren. Um eine Erwartungsmaximierung durchzuführen, kann das FDC-Modul 414 den Satz von Parametern {α_k, μ _k, Σ _k}, k = 1, ... N unter Verwendung des Ergebnisses aus dem Gruppierungsschritt initialisieren.
Wie oben diskutiert, kann das TDC-Modul 412 die Zielverteilung f(x, y, θ) durch einfaches Invertieren der Interessepunktverteilung p_p(x, y, θ) bestimmen. Diese Zielverteilung f(x, y, θ) kann jedoch dazu führen, dass die meisten Sonden auf Kanten mit den wenigsten gemeinsamen senkrechten Orientierungen platziert werden. Wenn zum Beispiel ein Muster nur 2D-Translationsbewegungen ausführen kann und das Muster eine rechteckige Grenze mit abgerundeten Ecken aufweist, kann diese Zielverteilung f(x, y) dazu führen, dass das PDM-Modul 416 hauptsächlich um die Eckorte abtastet.
Um solche Probleme anzugehen, kann in einigen Ausführungsformen das TDC-Modul 412 die Interessepunktverteilung p_p(x, y, θ) transformieren und die transformierte Interessepunktverteilung
(x, y, θ) invertieren, um die Zielverteilung f(x, y, θ) zu bestimmen.
In dem zuvor beschriebenen „ersten Sondenplatzierungsmechanismus” nimmt diese Transformation die Form des Anwendens eines Glättungskerns an p_p(x, y, θ) an.
In einigen Fällen kann das TDC-Modul 412 die Zielverteilung durch Transformieren der Interessepunktverteilung auf andere Weise als durch Ausführen einer Inversion bestimmen. Eine solche Ausführungsform transformiert die Interessepunktverteilung p_p(x_i, y_i, θ_i|{α_k, μ _k, Σ _k}, k = 1, ... N) durch das Auffinden neuer Gewichtungen α_k, die bestimmte Bedingungen erfüllen. Bei der Abschätzung des Parametersatzes {α_k, μ _k, Σ _k} hat das TDC-Modul 412 effektiv eine weiche Gruppierung von Interessepunkten (z. B. weiche Gruppierung in Gauß'sche Verteilungen) durchgeführt. Nachdem nun das TDC-Modul 412 diese Gruppierungen hat, kann das TDC-Modul 412 konfiguriert werden, die neue Gewichtung
zu finden, um jede Gruppe (z. B. jede Gauß'sche Verteilung) individuell neu zu gewichten.
Zum Beispiel kann das TDC-Modul 412
notieren. In dieser Darstellung kann das TDC-Modul 412 konfiguriert sein, die Gewichtungen
zu finden, die die folgende Beziehung minimieren:
mit der Einschränkung:
Mittels eines Langrange-Multiplikators kann das TDC-Modul 412 dieses Problem als einen Satz linearer Gleichungen reduzieren:
für k = 1 ... N und
Das TDC-Modul 412 könnte diesen Satz linearer Gleichungen mit Bezug auf
lösen, aber das TDC-Modul 412 ist zusätzlichen Einschränkungen unterworfen. Der obige Satz linearer Gleichungen verhindert nicht, dass die transformierten Gewichtungen
negativ werden, oder dass eine große Gewichtung
Gauß'schen Verteilungen zugeordnet wird, die aus kleinen Gruppen von Interessepunkten bestimmt wurden (z. B. deren ursprüngliche Gewichtungen α_k in der Interessepunktverteilung p_p(x, y, θ) klein war). Das TDC-Modul 412 kann diese Einschränkungen programmatisch anwenden.
Auch ist das TDC-Modul 412 konfiguriert, die minimale Sondenentfernung zwischen benachbarten Sonden durchzusetzen durch das Erfordernis, dass
größer ist als der vorbestimmte Wert:
wobei α_k das Gewicht der k-ten Gauß'schen Verteilung in der Interessepunktverteilung p_p(x, y, θ) ist; N_Kanten die Anzahl der zur Bestimmung der Gewichte von α_k verwendeten Interessepunkte in der Interessepunktverteilung p_p(x, y, θ) ist; N_Sonden die Zielanzahl an Sonden ist (z. B. 64); und d_max die maximale erlaubte Entfernung zwischen Sonden in Einheiten von Interessepunkten oder vorbestimmten Einheiten ist. Die obige Gleichung kann wie folgt umgestellt werden:
Diese neue Beziehung veranschaulicht, dass das Verhältnis der Anzahl der Kanten zur Anzahl der Sonden für die Mischungskomponente k durch d_max Einheiten und 1 Einheit begrenzt wird. Daher können benachbarte Sonden in Haufen k nicht weiter auseinander als d_max Einheiten und nicht näher als 1 Einheit platziert werden.
Wenn der Satz linearer Gleichungen ein Ergebnis erzeugt, bei dem mindestens eine Gewichtung α_k eine Einschränkung verletzt, kann das TDC-Modul 412 über alle möglichen Kombinationen von Grenzfällen iterieren, die optimalen Restgewichtungen berechnen und das eingeschränkte Minimum auswählen.
Beispielsweise kann das TDC-Modul 412 alle möglichen Sätze von Randbedingungen bestimmen (z. B. {α nidrig / 0}, {α hoch / 0}, {α nidrig / 0, α nidrig / 1}, {α hoch / 0, α nidrig / 1}, ...) für die linearen Gleichungen bestimmen. Jeder Satz von Randbedingungen kann Randbedingungen für eine Teilmenge von transformierten Gewichtungen α_k enthalten. Anschließend kann das TDC-Modul 412 für jeden Satz von Randbedingungen den Wert einer Teilmenge von Gewichtungen α_k als den Wert der entsprechenden Randbedingungen festlegen und den Satz linearer Gleichungen für die verbleibenden freien Gewichtungen
ohne Randbedingungen lösen. Auf diese Weise kann das TDC-Modul 412 die globale Lösung des Satzes linearer Gleichungen unter Berücksichtigung der Einschränkungen durch Auswählen der Lösung mit der minimalen Punktzahl unter den Lösungen unter allen möglichen Sätzen von Randbedingungen bestimmen.
In einigen Fällen, wenn die Anzahl der Gauß'schen Verteilungen im GMM größer ist als die Anzahl der Dimensionen, in denen die Interessepunkte liegen, können einige der Parameter im GMM linear abhängig sein. Zum Beispiel können mittlere Vektoren Gauß'scher Verteilungen linear abhängig werden, wenn die Anzahl Gauß'scher Verteilungen größer ist als die Anzahl der Dimensionen, in denen die Interessepunkte liegen.
Um dieses Problem anzugehen, kann das TDC-Modul 412 konfiguriert sein, die Parameter für das GMM regularisieren, z. B. unter Verwendung einer Tichonow-Regularisierung. Zu diesem Zweck kann das TDC-Modul 412 das Optimierungsproblem umformulieren, um die folgende Beziehung zu minimieren:
Die neue Lagrange-Formulierung beabsichtigt, die Veränderung der transformierten Gewichtungen α ~_k zwischen der Interessepunktverteilung p_p(x, y, θ) und der Zielverteilung
(x, y, θ) zu quantifizieren, unter den Einschränkungen, dass die (x, y, θ)-Komponenten der mittleren Vektoren ausgewogen sind und die Summe der transformierten Gewichtungen 1 ist.
Das TDC-Modul 412 könnte direkt die Gewichtungen finden, die die obige Lagrange-Beziehung erfüllen. Allerdings verhindert diese Beziehung, wie früher, nicht, dass die Gewichtungen
negativ werden, oder dass eine große Gewichtung
Gauß'schen Verteilungen zugewiesen wird, die aus kleinen Gruppen von Interessenpunkten geschätzt wurden (z. B. deren ursprüngliche Gewichtungen
in der Interessepunktverteilung p_p(x, y, θ) klein waren). Das TDC-Modul 412 kann diese Einschränkungen programmatisch anwenden, wie oben veranschaulicht. Dies ist mathematisch zulässig, weil die obige Lagrange-Beziehung in
quadratisch ist, so dass wenn eine der Gewichtungen
negativ ist, dann der optimale Wert auf einer (oder mehr der Randbedingungen liegen sollte.
Zusammengefasst kann das TDC-Modul 412, um die Parameter für die Zielverteilung
(x, y, θ) basierend auf Parametern der Interessepunktverteilung p_p(x, y, θ) zu identifizieren, das folgende Verfahren anwenden:

1. Definiere δ (xy) / k = μ (x) / k – μ (y) / k, δ (xθ) / k = μ (x) / k – μ (θ) / k und δ (yθ) / k = μ (y) / k – μ (θ) / k .
2. Falls N <= N_Dim wobei N_Dim die Dimension der zu Grunde liegenden Daten ist, verwende die folgende Gleichung, um nach α_k, {k = 1 ... N} aufzulösen:
Falls dieses System singulär ist, kann das TDC-Modul 412 Regularisierung verwenden, um dieses System zu lösen. Wenn zum Beispiel das TDC-Modul 412 die Matrixgleichung ΔA = b zu lösen versucht, aber Δ singulär ist, dann kann das TDC-Modul 412 stattdessen
lösen. Auf diese Weise kann das TDC-Modul 412 die Summe der L₂-Norm des Lösungsvektors minimieren, was wiederum Lösungen mit großen positiven und negativen α_k verhindern kann (Summieren zur Einheit).
3. Falls N > N_Dim, verwende die folgende Gleichung, um nach α_k, {k = 1 ... N} aufzulösen:
4. Überprüfe die Lösungen aus Schritt 2 oder Schritt 3 auf die folgenden Einschränkungen:
5. Falls die Lösungen außerhalb des gültigen Bereichs für Gewichtungen
fallen, dann verwende für alle möglichen Sätze von Grenzbedingungen (z. B. Einschränkungen) modifizierte Versionen der Schritte 2 oder 3, um Lösungsvektoren für nicht eingeschränkte
zu finden. Während der gesamten Suche kann das TDC-Modul 412 die Minimalwerte von
als 0 ist, dann kann das TDC-Modul 412 die erstere Beziehung verwenden, um den Lösungsvektor für
zu finden. Wenn die erstere Beziehung nicht größer als 0 ist, dann kann das TDC-Modul 412 die letztere Beziehung verwenden, um den Lösungsvektor für
zu finden.

Abtasten von Sonden aus Zielverteilungen
Sobald das TDC-Modul 412 die transformierte Interessepunktverteilung
(x, y, θ) bestimmt, kann das TDC-Modul 412 die transformierte Interessepunktverteilung
(x, y, θ) (oder einen Kehrwert der transformierten Interessepunktverteilung) dem PDM-Modul 416 bereitstellen. Anschließend kann das PDM-Modul 416 aus dem Kehrwert der transformierten Interessepunktverteilung abtasten, um die Lage von Sonden an einem oder mehr Interessepunkten in einem Bild zu bestimmen.
Intuitiv gesprochen ist das TDC-Modul 412 konfiguriert, die transformierte Interessepunktverteilung so zu wählen, dass der erwartete Wert von x, y und θ bezüglich der transformierten Interessepunktverteilung
(x, y, θ) so ähnlich wie möglich sind:
Bedeutungsabtastung erlaubt es dem PDM-Modul 416, Proben aus einer Zielverteilung zu ziehen durch Gewichten von aus einer anderen verschiedenen Verteilung gezogenen Proben unter der Bedingung, dass die Proben eine ähnliche Unterstützung haben. In anderen Worten:
wobei S_Sonden der Satz von Sonden ist und S_IP ein Satz von Interessepunkten ist. Daher kann das PDM-Modul 416 diese Beziehung verwenden, um aus der Interessepunktverteilung p_p(s|{α_k, μ _k, Σ _k}, k = 1 ... N) gezogene Proben zu gewichten mit:
Daher kann, wenn das PDM-Modul 416 Sonden zieht durch Platzieren von Sonden an jedem Interessepunkt entlang einer Grenze eines Musters, das PDM-Modul 416 dann die Sonden mit dem obigen Verhältnis
gewichten. In einigen Ausführungsformen kann das PDM-Modul 416 ähnliche Effekte erzielen, indem (1) Verteilen der benachbarten Sonden mit einem Abstand, der der Kehrwert des obigen Verhältnisses ist, entlang der Mustergrenze, und (2) Kompensieren für die gewünschte Anzahl von Sonden und die Anzahl von anfänglichen Kanten.
Daher kann in einigen Ausführungsformen Abtasten vom Kehrwert der transformierten Interessepunktverteilung
äquivalent sein zum Erfordernis, dass benachbarte Sonden mit dem folgenden Abstand verteilt werden:
wobei N_Kanten eine Anzahl der zur Bestimmung von Parametern der Interessepunktverteilung p_p(x, y, θ|{α_k, μ _k, Σ _k}, k = 1 ... N) verwendeten Interessepunkte angibt und N_Sonden eine Zielanzahl von Sonden angibt.
Um zu verlangen, dass die benachbarten Sonden als solche beabstandet sind, kann das PDM-Modul 416 Sonden auf einen oder mehr Interessepunkten sequentiell platzieren. Zum Beispiel beginnt das PDM-Modul 416 an einem anfänglichen Interessepunkt (der willkürlich gewählt sein kann) und platziert eine erste Sonde am anfänglichen Interessepunkt. Dann kann das PDM-Modul 416 die obige Beziehung verwenden, um den Abstand zwischen der ersten Sonde und einer zweiten Sonde zu bestimmen, die angrenzend an die erste Sonde platziert werden soll. Anschließend kann das PDM-Modul 416 die zweite Sonde an einem Interessepunkt platzieren, der durch den bestimmten Abstand von der ersten Sonde getrennt ist. Dieser Vorgang kann wiederholt werden, bis das PDM-Modul 416 die ganze Vielzahl von Interessepunkten berücksichtigt hat, die bei der Bestimmung der Interessepunktverteilung p_p(x, y, θ|{α_k, μ _k, Σ _k}, k = 1 ... N) verwendet werden.
Das Erfordernis, dass benachbarte Sonden mit einen bestimmten Abstand platziert werden, kann als Modifizieren (z. B. Strecken) der Bogenlänge von benachbarten Interessepunkten interpretiert werden. Wie zuvor beschrieben, kann ein Interessepunkt als eine Darstellung einer initialisierten Sonde betrachtet werden, die in der Mitte des Interessepunktes platziert ist. Daher kann das Erfordernis, dass benachbarte Sonden mit einen bestimmten Abstand platziert werden, als Modifizieren der Bogenlänge zwischen den Zentren benachbarter Interessepunkte interpretiert werden. Somit hat der erste Mechanismus zum Anordnen von Sonden (veranschaulicht mit Bezug auf die 5–10) und der zweite Mechanismus zum Platzieren von Sonden (veranschaulicht mit Bezug auf die 11–12) ähnliche Konsequenzen.
Während ein Großteil der Diskussion hierin auf einen Fall fokussiert war, in dem der durch das Mischmodell aufgespannte Wahrscheinlichkeitsraum eine x-Richtungskomponente, eine y-Richtungskomponente und einen Rotationsvektor enthielt, kann die offenbarte Technik erweitert werden, um die Dimensionalität des durch das Mischmodell aufgespannten Wahrscheinlichkeitsraums zu erhöhen. Beispielsweise kann das Sondenplatzierungsmodul 408 konfiguriert sein, um Informationen in einem vierdimensionalen Raum auszugleichen:

wobei ϕ die Skala bezeichnet. Während der Optimierungsschritt ein bisschen komplizierter sein kann, kann das Sondenplatzierungsmodul 408 dieselbe Technik wie im Szenario mit dreidimensionalem Raum verwenden. Zum Beispiel kann das Sondenplatzierungsmodul 408 konfiguriert sein, um
zu minimieren, mit der Einschränkung:
unter Verwendung eines Lagrange-Multiplikators, um zu einem Satz linearer Gleichungen zu reduzieren (wie vorher). Das Sondenplatzierungsmodul 408 kann konfiguriert sein, sicherzustellen, dass die Gewichtungen
nicht negativ werden oder die Sonden sich an einigen Randpositionen stark konzentrieren lassen. Zu diesem Zweck kann, wie in dem Szenario mit dreidimensionalem Raums, das Sondenplatzierungsmodul 408 konfiguriert sein, Grenzeinschränkungen programmatisch anzuwenden.
Wie im Szenario mit dreidimensionalem Raums kann das Sondenplatzierungsmodul 408 eine Tichonow-Regularisierung anwenden, wenn der mittlere Vektorsatz nicht linear unabhängig ist und wenn die Anzahl der Komponenten im Mischmodell (N) die Anzahl der Dimensionen (jetzt 4) übersteigt:
13 fasst den Prozess des Abtastens von Sonden an einem oder mehr Interessepunkten eines Musters in Übereinstimmung mit einigen Ausführungsformen zusammen. In 13 stellt das Sondenplatzierungsmodul 408 die Zielverteilung als eine parametrische Verteilung dar. Der Fachmann kann jedoch den Prozess von 13 modifizieren, um einen Fall zu berücksichtigen, in dem das Sondenplatzierungsmodul 408 die Zielverteilung als eine nichtparametrische Verteilung darstellt.
In Schritt 1302 kann das IPD-Modul 406 Interessepunkte in einem Bild bestimmen. In einigen Fällen kann das IPD-Modul 406 eine Kantenerfassungstechnik verwenden, um die Interessepunkte zu identifizieren. Die Kantenerfassungstechnik kann beispielsweise eine Canny-Kantenerfassungstechnik oder eine Hough-Transformationstechnik umfassen. Die Kantenerfassungstechnik kann einen oder mehr Kantenerfassungsoperatoren verwenden, einschließlich beispielsweise einen Sobel-Operator, einen Kirsch-Operator, einen Prewitt-Operator, einen Gabor-Filter, einen Haar-Wavelet-Filter, jegliche anderen Filter, die eine Änderung in einem Pixelwert in einem Bild (z. B. einer Hochfrequenzkomponente eines Bildes) erkennen können, und/oder jegliche Kombinationen davon.
In einigen Ausführungsformen kann das IPD-Modul 406 die Ortsinformation von Interessepunkten dem FDC-Modul 414 bereitstellen. Das FDC-Modul 414 kann jeden Interessepunkt unter Verwendung von Variablen darstellen, die die mit dem Interessepunkt assoziierten Freiheitsgrade darstellen. Wenn beispielsweise bekannt ist, dass sich ein Interessepunkt in zwei Dimensionen bewegt, kann ein Interessepunkt als ein zweidimensionaler Vektor dargestellt werden, der (x, y)-Gradientenkomponenten des Interessepunktes entspricht. Als ein anderes Beispiel kann, wenn bekannt ist, dass sich ein Interessepunkt in drei Dimensionen bewegt, ein Interessepunkt als ein dreidimensionaler Vektor dargestellt werden, der den (x, y)-Gradientenkomponenten des Interessepunktes und einer Rotationsorientierung des Interessepunktes (oder einer Funktion davon) entspricht.
In Schritt 1304 kann das FDC-Modul 414 konfiguriert sein, die Interessepunkte zu gruppieren. Beispielsweise kann das FDC-Modul 414 die Interessepunkte durch Gruppieren von Interessepunkten, die in der Euklidischen Entfernung in ihren Darstellungen nahe beieinander liegen, gruppieren. In einigen Ausführungsformen kann das FDC-Modul 414 eine K-Mittel-Gruppierungstechnik, eine Mittelverschiebungs-Gruppierungstechnik, eine „ausgewogene iterative Reduzierung und Gruppierung unter Verwendung von Hierarchien” (BIRCH)-Gruppierungstechnik oder jegliche anderen geeigneten Gruppierungstechniken verwenden, die in der Lage sind, zu Interessepunkte mit ähnlichen Merkmalen zu gruppieren.
In Schritt 1306 kann das FDC-Modul 414 die Interessepunktverteilung basierend auf den Gruppen aus Schritt 1304 bestimmen. Beispielsweise kann das FDC-Modul 414 konfiguriert sein, die Interessepunktverteilung unter Verwendung eines Gauß'schen Mischmodells darzustellen. In diesem Fall kann das FDC-Modul 414 konfiguriert sein, die Anzahl der Gauß'schen Verteilungen für das Gauß'sche Mischmodell unter Verwendung der Anzahl von Gruppen aus dem Gruppierungsschritt zu bestimmen. Außerdem kann das FDC-Modul 414 konfiguriert sein, eine Erwartungs-Maximierungs-Operation durchzuführen, um die Schätzungen der maximalen Wahrscheinlichkeit des Satzes von Parametern für das Gauß'sche Mischmodell zu bestimmen. Auf diese Weise kann das FDC-Modul 414 die Interessepunktverteilung p_p(x, y, θ|{α_k, μ _k, Σ _k}, k = 1 ... N) . bestimmen. Das FDC-Modul 414 kann die Interessepunktverteilung p_p(x, y, θ|{α_k, μ _k, Σ _k}, k = 1 ... N) . dem TDC-Modul 412 bereitstellen.
In Schritt 1308 kann das TDC-Modul 412 die transformierte Interessepunktverteilung
aus der Interessepunktverteilung p_p(x, y, θ|{α_k, μ _k, Σ _k}, k = 1 ... N) bestimmen. Zu diesem Zweck kann das TDC-Modul 412 eine eingeschränkte Optimierung durchführen, wie oben diskutiert, um die transformierten Gewichtungen α ~_k für die transformierte Interessepunktverteilung neu zu berechnen. In einigen Fällen kann das TDC-Modul 412 die Zielsondenverteilung durch Invertieren der transformierten Interessepunktverteilung
berechnen. Anschließend kann das TDC-Modul 412 die transformierte Interessepunktverteilung (oder den Kehrwert der transformierten Interessepunktverteilung) dem PDM-Modul 416 bereitstellen.
In Schritt 1310 ist das PDM-Modul 416 konfiguriert, die Zielverteilung abzutasten (z. B. den Kehrwert der transformierten Interessepunktverteilung), um die Position von Sonden an einem oder mehr Interessepunkten zu bestimmen. In einigen Fällen kann das PDM-Modul 416 die folgende Beziehung zur Bestimmung des Abstandes zwischen zwei benachbarten Sonden verwenden:
Das PDM-Modul 416 kann die obige Beziehung verwenden, um den Abstand zwischen den Zentren aller benachbarten Interessepunkte (oder zwischen Zentren einer Untermenge benachbarter Interessepunkte) zu bestimmen oder zu modifizieren.
14A veranschaulicht das Platzieren von Sonden auf einem Rechteck unter Verwendung des in 13 veranschaulichten Prozesses, gemäß einigen Ausführungsformen. Es wird angenommen, dass das Rechteck zwei Freiheitsgrade hat (z. B. wird angenommen, dass das Rechteck nur Translationsbewegungen macht). In diesem Fall erhöhte das PDM-Modul 416 die Dichte der Sonden entlang der kurzen Kante des Rechtecks im Vergleich zur langen Kante des Rechtecks. Dieses Ergebnis ähnelt dem Ergebnis des Ausgleichens des Histogramms senkrechter Orientierungen, wie mit Bezug auf 5–10 diskutiert.
14B veranschaulicht das Platzieren von Sonden auf einem kreisförmigen Gegenstand mit einem Hebelarm unter Verwendung des in 13 veranschaulichten Prozesses, gemäß einigen Ausführungsformen. Es wird angenommen, dass das Muster zwei Freiheitsgrade aufweist (z. B. wird angenommen, dass das Muster nur Translationsbewegungen ausführt). In diesem Fall kompensiert das PDM-Modul 416 die zusätzlichen x-direktionalen Sonden auf dem Hebelarm, indem es etwas mehr y-Richtungssonden auf dem Kreis erhöht.
15A veranschaulicht das Platzieren von Sonden auf einem Rechteck unter Verwendung des in 13 veranschaulichten Prozesses, gemäß einigen Ausführungsformen. Es wird angenommen, dass das Rechteck drei Freiheitsgrade aufweist (z. B. wird angenommen, dass das Rechteck Translationsbewegungen und eine Rotationsbewegung ausführt) und der Rotationsvektor durch
gegeben ist. In diesem Fall erhöhte das PDM-Modul 416 die Dichte der Sonden entlang der kurzen Kante des Rechtecks im Vergleich zur langen Kante des Rechtecks, wie in 14A. Jedoch modifizierte das PDM-Modul 416 auch den Abstand der Sonden entlang der langen Kante, wodurch die Anzahl der Sonden weiter weg von dem Ursprung des Rechtecks (z. B. der Schwerpunkt des Rechtecks) erhöht wurde. Dies ist so, weil die Rotationsvariable B vom Abstand zwischen dem Ursprung des Rechtecks und der Sonde abhängig war.
15B veranschaulicht das Platzieren von Sonden auf einem kreisförmigen Gegenstand mit einem Hebelarm unter Verwendung des in 13 veranschaulichten Prozesses, gemäß einigen Ausführungsformen. Es wird angenommen, dass das Muster drei Freiheitsgrade aufweist (z. B. wird angenommen, dass das Muster Translationsbewegungen und eine Rotationsbewegung ausführt). In diesem Fall erhöhte das PDM-Modul 416 die Dichte der Sonden entlang des Hebels, weil die Rotationsvariable θ vom Abstand zwischen dem Ursprung des Rechtecks und der Sonde abhängig war. Jedoch verringerte das PDM-Modul 416 die Anzahl der Sonden, die um die kreisförmige Grenze herum platziert waren. Insbesondere verringerte das PDM-Modul 416 die Anzahl der Sonden entlang der Grenze nahe der horizontalen Achse. In diesem Fall umfassen die Hebelarmkanten alle Ausrichtungsinformationen des Rotationsfreiheitsgrads und erhalten daher viel mehr Sonden. Diese Sonden sind auch nützlich für die Ausrichtung in der x-Richtung, aber haben keinerlei y-direktionale Information. Daher fügt das PDM-Modul 416 mehr Sonden an der Oberseite und die Unterseite als die linke und die rechte Seite des Kreises hinzu, um y-Richtungsinformation ins Modell einzuführen.
16A–16B veranschaulichen das Platzieren von Sonden auf Mustern mit einem Loch unter Verwendung des in 13 veranschaulichten Prozesses, gemäß einigen Ausführungsformen. Wenn eine Grenze ganz innerhalb einer anderen Grenze liegt (z. B. konzentrische Kreise oder eine Mutter in einer anderen Mutter), kann das Sondenplatzierungsmodul 408 steuern, ob einer der Grenzen mehr Vorzug für die Platzierung von Sonden gegeben werden sollte, und wenn ja, welcher der Grenzen mehr Vorzug gegeben werden sollte. In einigen Ausführungsformen kann das Sondenplatzierungsmodul 408 eine solche Präferenz in der Rotationsvariablen θ kodieren.
17A–17C veranschaulichen, wie die Darstellung der Rotationsvariablen θ die Sondenplatzierung ändert, gemäß einigen Ausführungsformen. 17A entspricht der Sondenplatzierung, wenn die Rotationsvariable θ unabhängig von der Norm des Positionsvektors
17B entspricht der Sondenplatzierung wenn die Rotationsvariable von der Norm des Positionsvektors ||ν_i|| wie folgt abhängt:
was den Radius auf lineare Weise enthält, um eine Größe zu modellieren, die als Drehimpuls gedacht werden könnte; und 17C entspricht der Sondenplatzierung, wenn die Rotationsvariable θ von der Norm des Positionsvektors ||ν_i|| wie folgt abhängt:
was das Quadrat verwendet, um eine Größe zu bilden, die dem Winkelmoment der Trägheit entspricht. Je nach Anwendung kann eine dieser Formulierungen bevorzugt sein. Die Zunahme in der Potenz des Radius-Termes neigt dazu, die Sonden, deren Winkelkomponente am höchsten ist, zu den äußersten Bereichen des Musters zu schieben. Dies hat Auswirkungen auf die Auswahl eines Abstandes, über den die Sonden bei der Suche nach dem Muster in einem Bild anzuwenden sind. Es hat auch Auswirkungen auf die Genauigkeit der Winkelausrichtung.
18A–18B veranschaulichen das Platzieren von Sonden auf Mustern mit langgestreckten Armen unter Verwendung des in 13 veranschaulichten Prozesses, gemäß einigen Ausführungsformen. In 18A nimmt das Sondenplatzierungsmodul 408 an, dass das Muster drei Freiheitsgrade aufweist (z. B. wird angenommen, dass das Muster Translationsbewegungen und eine Rotationsbewegung ausführt); in 18B nimmt das Sondenplatzierungsmodul 408 an, dass das Muster vier Freiheitsgrade aufweist (z. B. wird angenommen, dass das Muster Translationsbewegungen, eine Rotationsbewegung und eine Bewegung in Richtung zu/weg von der Abbildungsvorrichtung ausführt).
Diese Figuren veranschaulichen einen interessanten Fall, weil die vier Gauß'schen Verteilungen in der Interessenpunktverteilung abhängige mittlere Vektoren haben:

In diesem Fall kann die nicht regularisierte Optimierung eine Lösung liefern, in der die Gewichtungen hohe Beträge haben (z. B. α₀ ≅ +groß, α₁ ≅ –groß, α₂ ≅ +groß, α₃ ≅ –groß), aber in der Summe eins ergeben. Um solche Singularitäten anzugehen, kann das TDC-Modul 412 das Optimierungsproblem regularisieren.
Das Sondenplatzierungsmodul 408 kann in einer Vielzahl von Anwendungen verwendet werden. Zum Beispiel kann das Sondenplatzierungsmodul 408 zum Ausrichten und Untersuchen von Mustern, wie etwa elektronischen Vorrichtungen, nützlich sein. Auch kann das Sondenplatzierungsmodul 408 bei der Roboterführung nützlich sein. Wenn zum Beispiel ein Roboter konfiguriert ist, eine lange, dünne Batterie aufzuheben, kann das Sondenplatzierungsmodul 408 konfiguriert sein, Sonden zu platzieren, um die Genauigkeit des Modells zu verbessern, das die dünne Batterie darstellt.
Ein Maschinensichtsystem kann auch konfiguriert sein, die Abwesenheit oder das Vorhandensein eines oder mehrerer Instanzen eines vorbestimmten Musters in einem 3D-Bild zu bestimmen und die Position jeder gefundenen Instanz zu bestimmen. Diese Informationen können in nachfolgenden Untersuchungs-(oder anderen)Operationen verwendet werden, um nach Mängeln zu suchen und/oder andere Operationen durchzuführen, wie etwa das Aussondern von Teilen.
3D-Bilder werden mit 3D-Kameras aufgenommen, die auf einer Vielzahl von Technologien basieren können – zum Beispiel einem Laser-Wegsensor (Profiler), einer Stereoskopkamera, einer Sonar-, Laser- oder LIDAR-Entfernungsmesskamera und einer Vielzahl anderer passiver oder aktiver Entfernungswahrnehmungs-Technologien. Solche Kameras können ein Abtsandsbild erzeugen, bei dem eine Anordnung von Bildpixeln (typischerweise als Positionen entlang orthogonaler x- und y-Achsen gekennzeichnet) erzeugt wird, die auch eine dritte (Höhen-)Dimension für jedes Pixel enthalten (typischerweise entlang einer z-Achse senkrecht zur x-y-Ebene gekennzeichnet). Alternativ können solche Kameras beispielsweise eine Punktwolken-Darstellung eines abgebildeten Objekts erzeugen. Eine Punktwolke ist eine Sammlung von 3D-Punkten im Raum, in denen jeder Punkt i beispielsweise als (x_i y_i, z_i) dargestellt werden kann. Eine Punktwolke kann ein komplettes 3D-Objekt einschließlich dem Rücken und den Seiten, der Oberseite und der Unterseite des Objekts darstellen. 3D-Punkte (x_i, y_i, z_i) können Orte im Raum darstellen, in denen das Objekt für die Kamera sichtbar ist. In dieser Darstellung kann leerer Raum durch das Fehlen von Punkten dargestellt werden.
Zum Vergleich ist bei einigen Ausführungsformen eine 3D-Abstandsbilddarstellung Z(x, y) analog zu einer 2D-Bilddarstellung I(x, y), wobei die Tiefe oder Höhe Z ersetzt, was die Helligkeit/Intensität I an einer Position (x, y) in einem Bild wäre. In einigen Ausführungsformen kann ein Abstandsbild ausschließlich die Vorderseite eines Objekts darstellen, das einer Kamera direkt gegenüberliegt, da jeglicher Punktposition (x, y) nur eine einzige Tiefe zugeordnet ist. Das Abstandsbild stellt typischerweise nicht den Rücken oder die Seiten, die Oberseite oder die Unterseite eines Objekts dar, obwohl es in einigen Ausführungsformen den Rücken oder die Seiten, die Oberseite oder die Unterseite eines Objekts darstellen kann. Ein Abstandsbild hat typischerweise Daten an jeder Position (x, y), auch wenn die Kamera an solchen Positionen frei von Informationen ist, es ist aber auch möglich, das Fehlen von Daten an jeglicher Position (x, y) darzustellen. Es ist möglich, ein Abstandsbild in eine 3D-Punktwolke in einer Weise umzuwandeln, die dem Fachmann klar ist.
Um die Abwesenheit oder das Vorhandensein einer oder mehrerer Instanzen eines vorbestimmten 3D-Musters in einem 3D-Bild zu bestimmen, kann ein Maschinensichtsystem das 3D-Muster darstellen, das mittels eines Modells zu finden ist. Das Maschinensichtsystem kann ein Modell für ein 3D-Muster erzeugen, aus einem oder mehr 3D-Trainingsbildern oder einem oder mehr synthetischen 3D-Bildern aus einer geometrischen Beschreibung, die Beispiele für das zu lokalisierende und/oder zu untersuchende 3D-Muster enthalten. Sobald das Modell verfügbar ist, kann das Maschinensichtsystem das Modell mit einem Test-3D-Bild bei jeder eines geeigneten Satzes von Posen vergleichen, einen Übereinstimmungswert bei jeder Pose berechnen und Kandidatenposen bestimmen, die einem lokalen Maximum im Übereinstimmungswert entsprechen. Das Maschinensichtsystem kann Kandidatenposen berücksichtigen, deren Übereinstimmungswerte über einer geeigneten Schwelle liegen, um Instanzen des 3D-Musters im 3D-Bild zu sein.
Der Prozess der Ortung von 3D-Mustern erfolgt in einem multidimensionalen Raum, der umfassen kann, aber nicht eingeschränkt ist auf, x-y-z-Position (auch translational genannt), Ort, Orientierung, Größe und/oder Rotationsfreiheitsgrade (z. B. Rollen, Nicken und Gieren).
Ein Modell kann einen Satz von Datenelementen namens 3D-Sonden enthalten. Jede 3D-Sonde stellt eine relative Position dar, an der bestimmte Messungen und Tests in einem 3D-Bild bei einer gegebenen Pose gemacht werden sollen, wobei jeder Test Beweise dafür liefert, dass das 3D-Muster an der assoziierten Pose vorliegt. Eine 3D-Sonde kann in einer Weise platziert werden, die im Wesentlichen normal zu einer Struktur (z. B. Oberfläche) des darunter liegenden 3D-Musters ist.
Während des Trainingsstadiums können Maschinensichtsysteme die 3D-Sonden gleichmäßig auf der Oberfläche eines 3D-Musters platzieren. Beispielsweise kann in einigen Ausführungsformen ein Maschinensichtsystem konfiguriert sein, 3D-Sonden so auf der 3D-Musteroberfläche zu platzieren, dass der Abstand zwischen benachbarten 3D-Sonden für alle Paare von benachbarten 3D-Sonden ungefähr identisch ist. Diese Strategie, die hier als „gleichmäßige Platzierungsstrategie” bezeichnet wird, kann bei der Modellierung von 3D-Mustern mit einem ausgewogen Orientierungsprofil (z. B. einem 3D-Muster mit orthogonalen Oberflächen, wobei die Anteile der Oberflächen, die in verschiedene Orientierungen zeigen, ähnlich sind) wirksam sein. Zum Beispiel kann die einheitliche Platzierungsstrategie bei der Modellierung kubischer 3D-Muster nützlich sein, da die Anzahl der 3D-Sonden, die in unterschiedliche Orientierungen (z. B. oben, unten, links und rechts) zeigen, auf jeder Kante des 3D-Musters im 3D-Bild ungefähr gleich ist, was zu genauen Informationen über die Position und Orientierung des 3D-Musters führen kann.
Leider kann eine einheitliche Plazierungsstrategie bei der Modellierung von 3D-Mustern mit einem unausgewogenen Orientierungsprofil unwirksam sein (z. B. Mustern, deren Oberflächennormalen keine Ausrichtungsinformation in allen betrachteten Freiheitsgraden bereitstellen). Zum Beispiel ist die einheitliche Platzierungsstrategie im Allgemeinen nicht so wirksam bei der Ausrichtung von 3D-Mustern mit einer langgestreckten und unregelmäßigen Rohrform. 19 zeigt ein 3D-Muster mit einer langgestreckten und unregelmäßigen Rohrform und die 3D-Sonden, die gleichmäßig auf dem 3D-Muster platziert sind. Da die Grenze 1902 eine langgestreckte und unregelmäßige Rohrform aufweist, würden unter der einheitlichen Platzierungsstrategie die meisten 3D-Sonden 1904 auf der Oberfläche des langen Rohres 1906 platziert. Nur eine kleine Anzahl von 3D-Sonden 1904 würde auf dem kurzen Rohr 1910 platziert. Auch würden wenige Sonden nahe der Enden des langen Rohres platziert. Da die Anzahl der 3D-Sonden nahe dem Ende des langen Rohres 1908 klein ist, ist es schwierig, auf der Grundlage der 3D-Sonden die Position des langen Rohres entlang seiner zentralen Achse zu bestimmen. Weiterhin ist es schwierig, den Drehwinkel um diese Achse zu bestimmen, da die Anzahl der Sonden auf der Oberfläche des schneidenden kurzen Rohrs 1910 relativ klein ist. Wenn darüber hinaus 3D-Sonden gleichmäßig über die Oberfläche eines Objekts platziert werden, dann wird die Fähigkeit, das Objekt in allen Freiheitsgraden auszurichten, nicht gleich sein. Die gleichmäßige Verteilung der 3D-Sonden 1904 über das Rohr in 19 ergibt zum Beispiel vergleichsweise weniger Information in der Längsrichtung und in der Drehrichtung um die zentrale Achse des Zylinders. Dies kann einen Ausrichtungsalgorithmus fehleranfälliger machen, wenn die Menge an Informationen, die verfügbar ist, um einen bestimmten Freiheitsgrad auszurichten, vergleichsweise klein ist.
Die hierin beschriebenen Techniken können ein automatisiertes Sondenplatzierungsmodul bereitstellen, um 3D-Sonden auf einem 3D-Muster in drei Dimensionen zu platzieren. In einigen Ausführungsformen können Sondenplatzierungen verteilt werden, um ihre Fähigkeit, in x, y und z aufzulösen, auszugleichen. In einigen Ausführungsformen werden die 3 translatorischen Freiheitsgrade gemeinsam mit den drei Rotationsfreiheitsgraden ausgeglichen. Zusätzlich werden in einigen Ausführungsformen x, y und z ausgeglichen, während die kleinste Rotationskomponente maximiert wird. Das Sondenplatzierungsmodul ist konfiguriert, 3D-Sonden an Interessepunkten eines 3D-Bildes zu platzieren, so dass die 3D-Sonden ein im 3D-Bild abgebildetes 3D-Muster genau darstellen können. Das Sondenplatzierungsmodul kann konfiguriert werden, die 3D-Sonden so zu platzieren, dass die 3D-Sonden ausgewogene Informationen über alle Freiheitsgrade, die mit der Bewegung des 3D-Musters assoziiert sind, extrahieren können, was die Genauigkeit des von den 3D-Sonden erzeugten Modells verbessert. Wenn zum Beispiel bekannt ist, dass sich ein mit dem 3D-Muster assoziiertes Objekt in drei Dimensionen bewegt, kann das Sondenplatzierungsmodul die 3D-Sonden so platzieren, dass die 3D-Sonden in den drei Dimensionen ausgewogene Informationen extrahieren können. Das Sondenplatzierungsmodul kann auch die Form des 3D-Musters berücksichtigen, so dass die 3D-Sonden ausgewogene Informationen unabhängig von der Form des 3D-Musters extrahieren können. Dies steht im Gegensatz zu Techniken, die unausgewogene Informationen extrahieren können, wie zum Beispiel das Extrahieren von mehr Information in den Freiheitsgraden, die orthogonal zur Längsachse sind, im Vergleich zu entlang dieser Achse, wenn 3D-Sonden gleichmäßig über die Oberfläche des in 19 gezeigten 3D-Musters verteilt sind. Verschiedene beispielhafte Figuren und Beispiele werden in Verbindung mit der folgenden Beschreibung verwendet (z. B. basierend auf dem in 19 gezeigten 3D-Muster). Ein Fachmann wird erkennen, dass dies für Zwecke des Beispiels erfolgt und dass jedes 3D-Muster unter Verwendung der hier beschriebenen Techniken verarbeitet werden kann.
20 veranschaulicht einen Prozess von hohem Niveau zum Platzieren von 3D-Sonden auf Interessepunkte in einem 3D-Bild, gemäß einigen Ausführungsformen. Interessepunkte können Kandidatenpositionen für 3D-Sonden angeben. Zum Beispiel kann das Sondenplatzierungsmodul 408 konfiguriert sein, eine Untermenge von Interessepunkten in einem Bild auszuwählen und 3D-Sonden auf der ausgewählten Untermenge von Interessepunkten zu platzieren.
In Schritt 2001 kann das Sondenplatzierungsmodul 408 konfiguriert sein, eine Vielzahl von Merkmalen zu erzeugen, die mit einer ersten Vielzahl von Punkten von Interesse aus einem 3D-Bild assoziiert sind. Zum Beispiel kann das Sondenplatzierungsmodul 408 von einem Interessepunkt-Erfassungsmodul 406 die Oberfläche eines 3D-Musters in einem 3D-Bild empfangen, das durch eine erste Vielzahl von Punkten von Interesse dargestellt wird. Das Sondenplatzierungsmodul 408 kann dann eine Vielzahl von Merkmalen erzeugen, die mit der ersten Vielzahl von Punkten von Interesse aus einem 3D-Bild assoziiert sind.
In Schritt 2002 kann das Sondenplatzierungsmodul 408 eine zweite Vielzahl von Punkten von Interesse aus der ersten Vielzahl von Punkten von Interesse auswählen, zumindest teilweise basierend auf der Vielzahl von Merkmalen. In einigen Ausführungsformen ist ein Ziel des Auswahlprozesses, dass die zweite Vielzahl von Punkten von Interesse eine gewisse erwünschte Gesamteigenschaft in Bezug auf ein 3D-Ausrichtungssystem zeigen. In einigen Ausführungsformen kann das Sondenplatzierungsmodul 408 eine zweite Vielzahl von Punkten unter Verwendung der statistischen Modellanpassungs- und Monte-Carlo-Abtasttechniken auswählen, die hierin ausführlicher beschrieben werden. Es können jedoch auch andere Selektionstechniken verwendet werden, zum Beispiel die Sortierung der ersten Vielzahl von Punkten in Bins, die ihre Merkmale betreffen, dann die gleichmäßige Auswahl von Punkten aus diesen Bins.
In Schritt 2003 kann das Sondenplatzierungsmodul 408 Platzierungen einer Vielzahl von 3D-Sonden zumindest teilweise basierend auf der zweiten Vielzahl von Punkten von Interesse bestimmen. Zum Beispiel kann das Sondenplatzierungsmodul 408 Sonden auf jedem der zweiten Vielzahl von Punkten von Interesse platzieren. Alternativ kann in einer weiteren Ausführungsform das Sondenplatzierungsmodell Sonden zum Beispiel durch Interpolieren zwischen benachbarten Punkten von Interesse aus der zweiten Vielzahl von Punkten von Interesse platzieren.
In einigen Ausführungsformen können, um dem Punktauswahlprozess in Schritt 2002 zu ermöglichen, eine zweite Vielzahl von Punkten von Interesse auszuwählen, die eine gewünschte Gesamteigenschaft erzielen, in Schritt 2001 erzeugte Merkmale verwendet werden. In einigen Ausführungsformen sollten für jeden Punkt von Interesse seine Merkmale seinen Beitrag zu der gewünschten Gesamteigenschaft beschreiben. Wenn zum Beispiel der Algorithmus versucht, die Fähigkeit abzuwägen, das 3D-Muster in jedem der drei Translationsfreiheitsgrade auszurichten, dann könnte der Merkmalsvektor für jeden Punkt drei Komponenten haben, von denen jede Komponente den Beitrag des Punktes zu einer Fähigkeit des Ausrichtungsalgorithmus angeben würde, das 3D-Muster nach jedem der drei Translationsfreiheitsgrade aufzulösen. In einem anderen Beispiel könnte die gewünschte Gesamteigenschaft sein, die Fähigkeit, nach einem einzigen bestimmten Rotationsfreiheitsgrad aufzulösen, zu maximieren, während gleichzeitig die Fähigkeit, in jedem der Translationsfreiheitsgrade auszurichten, erhalten wird. In diesem Fall werden die Merkmale auch Informationen enthalten, die den Beitrag jedes Punktes zur Auflösungsfähigkeit in dem bestimmten Rotationsfreiheitgrad beschreiben.
In einigen Ausführungsformen kann der Merkmalserzeugungsschritt 2001 aus 20 gemäß einem Verfahren durchgeführt werden, das die in 21a veranschaulichten Schritte umfasst. In einigen Ausführungsformen werden in Abhängigkeit von der Auswahl der gewünschten Gesamteigenschaft die in Schritt 2001 berechneten ausgewählten Merkmale variieren. Darüber hinaus können diese Merkmale auf viele verschiedene Arten quantifiziert und mittels vieler verschiedener Verfahren berechnet werden.
Zum Beispiel kann in einigen Ausführungsformen der Merkmalserzeugungsprozess die Positions- und/oder Oberflächen-Normalrichtung eines Punktes von Interesse verwenden, um seinen Beitrag zu einer Gesamteigenschaft zu quantifizieren. In einer besonderen Ausführungsform könnte die Gesamteigenschaft sein, sicherzustellen, dass die Ausrichtungsfähigkeit in den 3 Translationsfreiheitsgraden identisch ist. Um dies zu erreichen, würde in einigen Ausführungsformen Schritt 2004 das Berechnen der Flächennormalen für jeden Punkt umfassen, Schritt 2005 würde diese Merkmalsvektoren nehmen und eine Rotation des euklidischen Koordinatensystems berechnen (möglicherweise mittels Hauptkomponentenanalyse), und Schritt 2006 würde die Vielzahl von Flächennormalen auf die Einheitsvektoren projizieren, die das neue Koordinatensystem definieren, um die Werte für die Vielzahl von Merkmalsvektoren zu erzeugen.
In einer anderen Ausführungsform könnte die Gesamteigenschaft gewählt werden, um sicherzustellen, dass der Unterschied in der Ausrichtungsfähigkeit zwischen jedem der drei Rotationskoordinatensysteme minimiert wurde. Um dies zu erreichen, können die Merkmalsvektoren 3 Komponenten umfassen, von denen jede gleich der Projektion der Oberflächennormale des Punktes von Interesse auf einen der Rotationseinheitsvektoren gesetzt würde, die durch das Rotationskoordinatensystem des 3D-Musters definiert sind. Somit würde in diesem Beispiel Schritt 2005 das Berechnen des Rotationszentrums des 3D-Musters und der Rotationsachsen umfassen.
In einer weiteren Ausführungsform kann es nützlich sein, den Beitrag eines Punktes in Richtungen zu quantifizieren, die orthogonal zur Oberflächennormalrichtung sind. Dies kann die vergleichende Nützlichkeit von Sondenplätzen nahe dem Rand einer Ebene (im Gegensatz zu jenen in ihrer Mitte) ermöglichen, wenn in Richtungen parallel zu dieser zu quantifizierenden Ebene ausgerichtet wird. Im Gegensatz dazu liefert bei einigen Ausführungsformen die einfache Verwendung der Oberflächennormalvektoren keine Information zur Ausrichtung in den Freiheitsgraden parallel zur Oberfläche der Ebene. In einem weiteren Beispiel wird die Platzierung von Sonden am Ende des in 19 gezeigten Rohres Ausrichtung in der Richtung entlang der Längsachse ermöglichen, aber die in der Mitte platzierte Sonden könnten in dieser Richtung keine Information geben, so dass in diesem Fall der Merkmalserzeugungsprozess die Nähe eines Punktes zum Ende des Rohres und die Richtung zum nächsten Rand oder Ende quantifizieren wollen könnte. Zu diesem Zweck kann in einigen Ausführungsformen der Merkmalserzeugungsschritt 2001 gemäß den als 21b gezeigten Schritten durchgeführt werden.
In Schritt 2101 ortet das Sondenplatzierungsmodul 408 an jedem Punkt von Interesse alle benachbarten Punkte innerhalb eines N × N × N-Bereichs, der auf diesem Punkt zentriert ist. Zum Beispiel könnte ein Punkt p_Mitte vier Punkte p1, p2, p3 und p4 innerhalb eines N × N × N-Bereichs haben, der auf dem Punkt p_Mitte zentriert ist.
In Schritt 2102 projiziert das Sondenplatzierungsmodul 408 diese benachbarten Punkte auf die Oberflächenebene, die zur Oberflächennormalen für den Punkt orthogonal ist. Zum Beispiel können die Punkte p1, p2, p3 und p4 innerhalb eines N × N × N-Bereichs, der auf dem Punkt p_Mitte zentriert ist, auf die Oberflächenebene projiziert werden, die zur Oberflächennormalen für den Punkt orthogonal ist.
In Schritt 2103 regularisiert das Sondenplatzierungsmodul 408 die Oberflächenebene in ein Pixelgitter, so dass der Wert jedes Pixels der Oberflächentiefe von der Ebene an der Pixelmitte gleich ist. Um dies zu tun, findet das Sondenplatzierungsmodul 408 eine bilineare 2D-Abbildung aus dem Einheitsquadrat auf die nächstgelegenen vier umgebenden projizierten Punkte (mit willkürlichem Abstand) und verwendet dann den Kehrwert dieser Abbildung, um den Pixelgitter-Mittelpunkt in dem Einheitsquadrat zu platzieren, wie in 23A dargestellt. Zu diesem Zeitpunkt kann die bilineare Interpolation unter Verwendung dieses invers zugeordneten Mittelpunkts verwendet werden, um den Tiefenwert für die Pixelgitterposition zu finden. Wie in 23A gezeigt, werden die Punkte p_Mitte ^t, p1^t, p2^t, p3^t und p4^t durch eine bilineare Interpolation an dem abgebildeten Mittelpunkt der Punkte p_Mitte, p1, p2, p3 und p4 erhalten. Insbesondere kann, wenn p_i = (x_i, y_i) gilt, die Kartierung parametrisiert werden als Ausdruck von acht Koeffizienten,
a₁, a₂, a₃, a₄, b₁, b₂, b₃, b₄: x_i = a₁ + a₂u₁ + a₃ν_i + a₄u_iν_i y_i = b₁ + b₂u_i + b₃ν_i + b₄u_iν_i wobei u und v die Komponenten von p_i ^t = (u_i, v_i) sind. In Matrixform:
Es gibt zwei Sätze linearer Gleichungen, die nach den Kartierungsparametern auflösbar sind. Sobald die Kartierung vom Einheitsquadrat zum Satz von Punkten erhalten wurde, wird die umgekehrte Kartierung berechnet, um die Position des in das Einheitsquadrat kartierten Pixelgitter-Mittelpunkts zu finden. Die umgekehrte Kartierung ist nichtlinear, definiere zuerst:
Es wird mit Schritt 2103 fortgefahren, nachdem die Position von p_Mitte ^t erhalten wurde. Die Position kann jetzt verwendet werden, um eine bilineare Interpolation zwischen den Tiefenwerten an jeder der vier Stellen p1, p2, p3 und p4 durchzuführen, um einen Tiefenwert für den Pixelgitter-Mittelpunkt zu erhalten.
Wenn in Schritt 2103 ein umgebender Punkt nicht verfügbar ist (z. B. weil der Punkt an der Kante der Oberfläche liegen könnte), dann kann ein Tiefenwert gleich N verwendet werden.
So kann Schritt 2103 eine regularisierte Pixelgitter-Tiefenkarte liefern. Zum Beispiel kann die in 22 gezeigte Tiefenkarte 2201 unter Verwendung der hierin beschriebenen Techniken für einen Bereich 2202 nahe dem Sichthorizont eines Zylinders 2203 erzeugt werden.
In Schritt 2104 extrahiert das Sondenplatzierungsmodul 408 Richtungsinformation aus der Tiefenkarte. Das Sondenplatzierungsmodul 408 kann diesen Schritt durch Finden des Winkels der Hauptachsen 2301 (z. B. wie in 23B gezeigt) unter Verwendung der Trägheitsmomente durchführen, die gegeben sind durch: δ_i,j = N – d_i,j I_XX = Σ_i,jδ_i,jx 2 / i,j I_YY = Σ_i,jδ_i,jy 2 / i,j I_XY = Σ_i,jδ_i,jx_i,jy_i,j θ = atan2(2I_XY, I_YY – I_XX)
In Schritt 2105 führt das Sondenplatzierungsmodul 408, nachdem die Hauptachsen (z. B. die in 23B gezeigten Hauptachsen 2301) erhalten wurden, eine regelmäßig beabstandete Abtastung entlang jeder Achse durch, wie in 24 veranschaulicht. 24 zeigt die interpolierte Tiefe entlang der Hauptachse mit der Linie 2401 und entlang der Nebenachse mit der Linie 2402. Die Abtastung wird dann mit einer Ad-hoc-Formel bewertet, um einen numerischen Wert zu liefern, um das Auflösungsvermögen entlang der Achsen zu quantifizieren (wobei das Auflösungsvermögen sich auf den Betrag der Ausrichtungsinformation in dieser Richtung beziehen kann, z. B. hat ein Punkt in der Mitte einer flachen Oberfläche keine nützliche Ausrichtungsinformation in irgendeiner Richtung, die in der Tangentialebene enthalten ist, ein Punkt am Rand einer Oberfläche liefert viel Information in der Richtung senkrecht zur Kante). Zum Beispiel wird, in Fortsetzung des zuvor beschriebenen Beispiels (in Schritt 2103), die Hauptachse von links nach rechts orientiert sein. Abtastwerte entlang dieser Achse werden eine große Divergenz von der Tangentialebene zur linken Seite hin zeigen, was auf eine Randposition hinweist. Um das Auflösungsvermögen in diesem Beispiel zu bewerten, kann das Sondenplatzierungsmodul 408 konfiguriert sein, das Maximum des Mittelwerts der absoluten Tiefenwerte links vom Mittelpunkt und den Mittelwert der Tiefenwerte rechts vom Mittelpunkt auszuwählen. Wenn wir also die interpolierten absoluten Tiefen entlang einer der Achsen betrachten, d. h. d_i, ∀i = –N → + N, dann definieren wir das Auflösungsvermögen in der Richtung der betrachteten Achse als
In Schritt 2106 kartiert das Sondenplatzierungsmodul 408 die 2-d-Einheitsvektoren (in den Richtungen der Hauptachsen) zurück in die 3-d-Domäne. Das Sondenplatzierungsmodul 408 kann konfiguriert sein, diesen Schritt zunächst durch Skalieren dieser Vektoren mit den im vorherigen Schritt 2016 berechneten Auflösungsvermögen durchzuführen (z. B. Multiplizieren der 2-d-Einheitsvektoren mit ihren jeweiligen Auflösungsvermögen). Die Endergebnisse für dieses Beispiel sind in 25 gezeigt, wo es an jedem Punkt 2501 eine Linie 2502, die einen Oberflächennormalvektor bezeichnet, und zwei orthogonale Linien 2503 in der Tangentialebene gibt, deren Länge die Haupt- und Sekundärkomponenten des Auflösungsvermögens angibt.
In Fortsetzung des obigen Verfahrens gibt es für jeden Punkt nun drei Vektoren u₀, u₁ und u₂, deren Größen den Beitrag des Punktes angeben, das Objekt im Raum auflösen zu können. Das Gesamtziel des Prozesses in diesem Beispiel besteht darin, eine Teilmenge dieser Punkte auszuwählen, die es einem Registrierungsprozess ermöglichen, das 3D-Objekt mit gleicher Bestimmung und Robustheit in jedem der Translationsfreiheitsgrade und/oder Rotationsfreiheitsgrade aufzulösen. Um dies zu tun, kann das Sondenplatzierungsmodul 408 konfiguriert sein, zwei Wahrscheinlichkeitsverteilungen zu erzeugen. Die erste ist an den Satz von Punkten angepasst und gibt ihre relative Häufigkeit im Datensatz an. Die zweite „Ziel”-Verteilung ist so aufgebaut, dass sie die relative Häufigkeit eines Satzes von Punkten mit der gewünschten Eigenschaft modelliert. Diese Eigenschaft könnte zum Beispiel sein, dass der Satz von Punkten, wenn kombiniert, gleiches Auflösungsvermögen in den drei Translationsfreiheitsgraden ergeben würde. In einer anderen Ausführungsform könnte die Eigenschaft sein, dass die Fähigkeit, in den Rotationsfreiheitsgraden aufzulösen, verbessert wird, während gleichzeitig die Unterschiede zwischen den Auflösungsvermögen in den Translationsfreiheitsgraden minimiert werden.
Abtasten von Sonden aus einer Verteilung
In einigen Ausführungsformen kann das Sondenplatzierungsmodul 408 konfiguriert sein, Sonden an einem oder mehr Interessepunkten durch Abtasten von Sonden von einer Zielverteilung von Sonden zu platzieren. Die Zielverteilung der Sonden kann zufällige Variablen enthalten, die mit dem Muster assoziierten Freiheitsgraden entsprechen. Wenn zum Beispiel ein mit dem Muster assoziiertes Objekt sich in drei Dimensionen bewegen kann (z. B. Translationsbewegung), kann die Zielverteilung drei zufällige Variablen haben: x-Koordinate, y-Koordinate und z-Koordinate (oder andere äquivalente Darstellungen). Als ein anderes Beispiel wird, wenn ein mit dem Muster assoziiertes 3D-Objekt eine Translationsbewegung und eine Rotationsbewegung machen kann, die Zielverteilung sechs zufällige Variablen haben: x-Koordinate, y-Koordinate, z-Koordinate und drei für die Rotation (z. B. Nicken θ_p, Rollen θ_r und Gieren θ_y).
In einigen Ausführungsformen kann das Sondenplatzierungsmodul 408 die Zielverteilung unter Verwendung eines TDC-Moduls 412 bestimmen. Das TDC-Modul 412 kann konfiguriert sein, die Zielverteilung von Sonden basierend auf mit den Interessepunkten assoziierten Merkmalen zu bestimmen. Zum Beispiel kann das TDC-Modul 412 die Zielverteilung basierend auf einem oder mehr von, zum Beispiel, der Koordinate der Interessepunkte, der mit den Interessepunkten assoziierten senkrechten Orientierung und/oder der Rotation der Interessepunkte bestimmen.
In einigen Ausführungsformen ist das TDC-Modul 412 konfiguriert, die Zielverteilung so zu bestimmen, dass die Verteilung der aus der Zielverteilung abgetasteten senkrechten Ausrichtungen im Wesentlichen ausgewogen ist. Angenommen beispielsweise, das Objekt von Interesse sei ein dünnes Rohr. Ein auf der Oberfläche eines solchen Objekts gleichmäßig verteilter Satz von Punkten enthält weit mehr Auflösungsinformation in der Ebene seines Querschnitts im Gegensatz zu der Längsrichtung (z. B. entlang der Mittelachse). Daher sollte die Zielverteilung für das Objekt so sein, dass der aus der Zielverteilung gezogene Satz von Sonden in Kombination eine gleichere Auflösungsinformation in der Querschnittsrichtung als in der Längsrichtung aufweist. Die Mehrzahl der Sondenpositionen in einem solchen Satz würde zu den beiden Enden des Rohres hin positioniert werden.
In einigen Ausführungsformen ist das TDC-Modul 412 konfiguriert, die Zielverteilung so zu bestimmen, dass die Zielverteilung eine ähnliche Unterstützung wie die Verteilung von Interessepunkten aufweist. Dies kann wichtig sein, weil z. B. in diesen Ausführungsformen das Sondenplatzierungsmodul 408 konfiguriert sein kann, die Sonden durch erneutes Abtasten (z. B. Wichtigkeitsabtastung) aus dem vorhandenen Satz von Interessepunkten abzutasten. Zu diesem Zweck kann das TDC-Modul 412 so konfiguriert sein, dass es ein Mischmodell sowohl für die Interessepunktverteilung als auch für die Zielverteilung verwendet, wie nachfolgend erörtert wird.
In einigen Ausführungsformen stellt das TDC-Modul 412 die Zielverteilung dem PDM-Modul 416 bereit, und das PDM-Modul 416 ist konfiguriert, Proben aus der Zielverteilung zu ziehen, um die Position von Sonden zu bestimmen.
In einigen Ausführungsformen ist das FDC 414-Modul konfiguriert, die x-, y-, z-Zufallsvariablen in einen neuen Koordinatenraum umzuwandeln. Zu diesem Zweck findet in einigen Ausführungsformen das FDC 414 die Haupt-3D-Raumachsen unter Verwendung von PCA ohne Mittelzentrierung. Dies bestimmt das 3D-Raumkoordinatensystem für den Rest des Prozesses in diesem Beispiel. Das Koordinatensystem in diesem Beispiel wird mit (x, y, z) bezeichnet, wobei es sich um eine Rotation des ursprünglichen, als (x, y, z) bezeichneten kartesischen Koordinatensystems handelt, so dass die Einheitsvektoren für das neue Koordinatensystem in kartesischen Koordinaten x ^, y ^, z ^ sind. In diesem Beispiel mag das FDC 414 nicht konfiguriert sein, Mittelzentrierung zu verwenden, da es nicht notwendig sein mag, die Achsen in Richtungen der maximalen Abweichung des Auflösungsvermögens auszuwählen. Vielmehr kann es in einigen Ausführungsformen wünschenswert sein, die Achsen in den Richtungen des maximalen und minimalen Auflösungsvermögens auszurichten (z. B. um später einen ausgeglichenen Satz von Sonden zu wählen). Mit anderen Worten, das FDC 414 in diesem Beispiel kann konfiguriert sein, die Drehung des Koordinatensystems zu finden, dessen erste Achse in Richtung des maximalen Auflösungsvermögens für das Objekt (Hauptrichtung) orientiert ist. Definitionsgemäß wird eine der beiden anderen Achsen in der Richtung des minimalen Auflösungsvermögens sein, und so wird das Sondenplatzierungsmodul 408 später in der Lage sein, Sondenstellen zu wählen, die dazu neigen, das Gesamtauflösungsvermögen in dieser Richtung zu erhöhen (z. B. auf Kosten der Auflösung in der Hauptrichtung). In einigen anderen Ausführungsformen kann dieses Verfahren auch mit Mittelzentrierung durchgeführt werden.
In einigen Ausführungsformen projiziert, sobald das Sondenplatzierungsmodul 408 die Achsen bestimmt, die die Wahrscheinlichkeitsverteilung definieren, das Sondenplatzierungsmodul 408 Punkte auf diesen Raum hinaus, bevor an eine Verteilung angepasst wird. Zum Beispiel könnte für einen einzigen Punkt sein Merkmalsvektor sein:
Zur Konsistenz mit den oben diskutierten 2D-Beispielen kann x_i als ein Maß für den Beitrag des Punktes zur Fähigkeit, das Objekt in der x-Richtung aufzulösen, betrachtet werden, y_i ist das Maß in der y-Richtung und z_i das Maß in der z-Richtung.
Zielverteilungsberechnung
In einigen Ausführungsformen kann, wenn ein Objekt unter Verwendung von drei Freiheitsgraden (z. B. Translationsbewegung in drei Dimensionen) ausgerichtet werden soll, es erwünscht sein, dass das TDC-Modul 412 eine Gewichtungsfunktion f(x, y, z) bestimmt, die die folgenden Beziehungen erfüllt:
und:
wobei i den i-ten Interessepunkt indiziert. Ziel dieser Optimierungsroutine ist es, eine Funktion f(x, y, z) zu identifizieren, die (1) die gewichtete Summierung der an den Interessepunkten gemessenen x-Komponenten von Merkmalsvektoren und (2) die gewichtete Summierung der an den Interessepunkten gemessenen y-Komponenten von Merkmalsvektoren und (3) die gewichtete Summierung der an den Interessepunkten gemessenen z-Komponenten von Merkmalsvektoren gleichsetzt.
In einigen Ausführungsformen kann das TDC-Modul 412, wenn das TDC-Modul 412 die Gewichtungsfunktion f(x, y, z) bestimmt, die Gewichtungsfunktion f(x, y, z) dem PDM-Modul 416 bereitstellen. In einigen Ausführungsformen kann die Gewichtungsfunktion die Form einer Wahrscheinlichkeitsverteilung annehmen, die das PDM-Modul 416 verwenden kann, um die Sonden an einem oder mehr Interessepunkten zu platzieren. Da das PDM-Modul 416 in diesem Fall die Gewichtungsfunktion f(x, y, z) als Wahrscheinlichkeitsverteilung verwendet, aus der Sonden abgetastet werden sollen, muss sie als nicht negativ eingeschränkt sein und kann zumindest für einen Teil der unterstützten Domäne positiv sein. Die Zielverteilung kann die Wahrscheinlichkeitsverteilung sein, die hier mit f(x, y, z) bezeichnet wird.
In einigen Ausführungsformen wird die Gewichtungsfunktion verwendet, um einen existierenden Satz von Sonden, die mittels irgendeines anderen Mittels ausgewählt wurden, zu gewichten, um ihre relative Bedeutung so zu beeinflussen, dass
minimiert wird, und:
In einigen Ausführungsformen kann, wenn ein Muster sechs Freiheitsgrade hat (z. B. Translationsbewegung und Rotationsbewegung in drei Dimensionen), das TDC-Modul 412 in die Zielverteilung drei Rotationsvariablen θ_p, θ_r und θ_y, die einer Rotationsbewegung entsprechen, eingliedern. Das TDC-Modul 412 kann die Rotationsvariablen θ_p, θ_r und θ_y in Bezug auf einen Ursprung und einen Satz von Achsen definieren.
In einigen Ausführungsformen werden, um eine Ausgleichstechnik auf die drei Rotationsfreiheitsgrade anzuwenden, das Zentrum und die Rotationsachsen gefunden. Zum Beispiel kann das Sondenplatzierungsmodul 408 konfiguriert sein, den Drehpunkt zu finden, indem es den Punkt findet, der die Summe der Rotationsmomente der Normalvektoren minimiert, und dann die einzelnen Achsen unter Verwendung der gleichen Kriterien findet.
Um zum Beispiel, wie in 26 veranschaulicht, in einigen Ausführungsformen den Drehpunkt c zu finden, findet das Sondenplatzierungsmodul 408 den Punkt, der das Rotationsmoment aller Oberflächennormalvektoren in der Punktwolke n_i minimiert. Das Rotationsmoment um einen Punkt c für einen einzelnen Normalvektor n_i ist gegeben durch: [n_i × (p_i – c)]
Um daher den Drehpunkt zu finden, können die Techniken
minimieren, mit dem Ansatz:
Die vorherige Gleichung kann umgeschrieben werden:
Was nach Ableitung nach c und Gleichsetzung mit Null die folgende Lösung für den Drehpunkt ergibt:
Jetzt, mit dem Drehpunkt c, wird das Moment des Normalvektors n_i um die durch a = bt + c gegebene Rotationsachse angegeben durch: b·[n_i × (p_i – c)]
Die Rotationsachsen können daher gefunden werden durch Finden des Nullraums der durch
gegebenen symmetrischen Matrix.
Es kann jedoch der Fall sein, dass es Objekte gibt, die weitgehend rotationssymmetrisch sind (z. B. das Bild in 19). In solchen Fällen kann der Sondenauswahlprozess Sonden an Punkte vergeben, die diese Symmetrie brechen. In einigen Ausführungsformen ist es daher im ersten Beispiel wünschenswert, dass die Hauptrotationsachse durch die Mitte des Rohres platziert wird und nicht in Richtung der äußeren Merkmale des schneidenden Elements verlagert ist. In einigen Ausführungsformen kann ein RANSAC-Algorithmus verwendet werden, um die Rotationsachsen zu finden (aber basierend auf dem gleichen Kriteriums wie zuvor beschrieben), wie es dem Fachmann bekannt ist. In anderen Ausführungsformen können zum Beispiel Monte-Carlo-Techniken mit dem Drehpunkt verwendet werden, und die Achsenschätzung wird als ein Bayes-Parameter-Schätzproblem dargestellt.
27 veranschaulicht ein Beispiel eines Objekts, bei dem ein RANSAC-Algorithmus verwendet wird, um die Rotationsachsen 2703 zu finden. 27 zeigt Sonden 2701 und Punkte 2702. Jede Iteration des RANSAC-Algorithmus wählt zufällig eine Teilmenge von 4 Punkten aus. Diese Punkte werden verwendet, um einen vorgeschlagenes Drehpunkt und einen Satz von Rotationsachsen zu berechnen. Wenn der Drehpunkt außerhalb des Begrenzungsrahmens der Punkte liegt, erweitert 1x, dann wird der Vorschlag abgelehnt. Innenliegende können durch einen Schwellenwert des normalisierten Punktproduktes
erkannt werden, wobei a_i auf einer vorgeschlagenen Hauptrotationsachse liegt (wie in 26 veranschaulicht). Sobald der Satz von Innenliegenden erhalten wurde, kann ein neuer Drehpunkt und Satz von Rotationsachsen erzeugt und verwendet werden, um sie an das Modell anzupassen. Die Anpassung an das Modell kann berechnet werden durch Summieren des obigen normalisierten Punktprodukts für alle Kandidaten und innenliegenden Punkte.
In Anwendungen, wo ein Ausrichtungsmodell aus einem Bild geschult wird, das aus einem einzigen Sichtfeld aufgenommen wurde, können gekrümmte Oberflächen Horizontpunkte aufweisen, die für die Bildgebungsvorrichtung sichtbar sind. Zum Beispiel kann nur ein Bruchteil einer Zylinderoberfläche für eine Kamera sichtbar sein. Das Platzieren von Sonden in der Nähe dieser Horizontränder ist nicht sehr wünschenswert. Wenn zum Beispiel der Zylinder um seine zentrale Achse gedreht wird, werden alle Sonden entlang einer unteren Kante aus der Sicht verschwinden. Da ein Ausrichtungsalgorithmus wahrscheinlich sowohl über Rotations- als auch Translationsfreiheitsgrade hinweg suchen wird, kann es in einigen Ausführungsformen wünschenswert sein, dass so viele der Sondenpositionen über den gesamten Suchbereich wie möglich sichtbar sind.
In einigen Ausführungsformen können Horizontpunkte bei der Auswahl von Sondenpositionen aus der Betrachtung entfernt werden. In einigen Ausführungsformen können eine oder beide von zwei Bedingungen verwendet werden, um zu bestimmen, ob ein Punkt tatsächlich ein Horizontpunkt ist. Zum Beispiel ist mit Bezug auf 26 die erste Bedingung dafür, dass der Punkt p_i ein Horizontpunkt ist, dass das Punktprodukt seiner Oberflächennormalen mit einem der Rotationseinheitsvektoren kleiner als ein vordefinierter Schwellenwert sein muss, z. B. cos(85,0). Mit anderen Worten würden in diesem Beispiel nur Punkte berücksichtigt, deren Oberflächennormalen grob parallel zu [p_i – a_i] in 19 sind. Unter Fortsetzung dieses Beispiels ist die zweite Bedingung, dass der Punkt in der Drehrichtung, z. B. u_rot, nahe der Kante der Oberfläche sein muss. Um dies sicherzustellen, können für jeden potentiellen Horizontpunkt (z. B. diejenigen, die die erste Bedingung erfüllen) die Schritte 2001–2003 angewendet werden, um ein regularisiertes Gitter von Oberflächentiefenwerten an der Tangentialebene am Punkt p_i zu erhalten. Eine bilineare Kartierung kann verwendet werden, um eine Abtastung mit regelmäßigen Abständen entlang der Richtung u_rot durchzuführen. Dies ähnelt der in Schritt 2005 durchgeführten Abtastung, wobei der Unterschied die Richtung ist.
Durch Anwenden einer Schwelle auf das 1-d-Signal kann eine Bestimmung durchgeführt werden, ob p_i nahe an der Kante einer sichtbaren Oberfläche liegt. Die Schwelle wird von den für die fehlenden Pixelwerte verwendeten Werten abhängen, aber wenn wir N verwenden (wie in Schritt 2003 vorgeschlagen), dann wäre 0,9 N in diesem Beispiel vernünftig. In weiteren Ausführungsformen könnten andere Werte verwendet werden. Zum Beispiel könnte die Schwelle zwischen 0,7 N und N und bevorzugter zwischen 0,85 N und 0,95 N liegen. In noch weiteren Ausführungsformen können andere Schwellenwerte verwendet werden.
28A und 28B zeigen Beispiele der Sondenplatzierung mit und ohne Horizontpunktentfernung gemäß einigen Ausführungsformen. Insbesondere veranschaulicht 28A die Sondenplatzierung ohne Horizontpunktentfernung und 288 veranschaulicht die Sondenplatzierung mit Horizontpunktentfernung gemäß einigen Ausführungsformen. 28A und 28B zeigen Sonden 2801 und Punkte 2802. Beachte, dass 28B beispielsweise nicht die Horizontpunkte 2803 in 28A enthält.
In einigen Ausführungsformen kann, sobald der Drehpunkt c und Rotationsachsen bestimmt sind
das TDC-Modul 412 die Rotationsvariablen θ_p, θ_r und θ_y unter Verwendung eines Positionsvektors p_i des i-ten Interessepunktes, der ein Vektor ist vom Ursprung zur Mitte des i-ten Interessepunktes, und der vorher berechneten Auflösungsvermögenvektoren u i / 0, u i / 1 und u i / 2 bestimmen.
29 zeigt die relevanten Vektoren für die Berechnung von θ_p ⁱ, was als der Betrag der Summe von Projektionen von u i / 0, u i / 1 und u i / 2 auf den Rotationseinheitsvektor
betrachtet werden kann.
In einigen Ausführungsformen kann die Rotationsvariable θ_p ⁱ, die Norm der Entfernung zwischen dem Punkt und den Rotationsachsen, d. h. Vektor
, berücksichtigen. Da
kann das TDC-Modul 412 den Beitrag von Interessepunkten betonen, die vom Ursprung weiter entfernt sind, um die Winkelgenauigkeit zu erhöhen. Zum Beispiel kann das TDC-Modul 412 die Rotationsvariable θ_p ⁱ für den i-ten Interessepunkt wie folgt definieren:
oder
Die Rotationsvariable θ_p ⁱ, die von der Norm de Positionsvektors ν_i abhängt, kann eine Zielverteilung liefern, die das Platzieren von Sonden an von den Rotationsachsen weiter entfernten Positionen bevorzugen würde. Auf diese Weise kann die Zielverteilung dazu führen, dass mehr Sonden an vom Drehpunkt weiter entfernten Interessepunkten abgetastet werden.
In einigen Ausführungsformen kann, sobald das TDC-Modul 412 die Darstellung für die Rotationsvariable bestimmt, das TDC.Modul 412 die bestimmte Darstellung verwenden, um jeden der Interessepunkte darzustellen. Anschließend kann das TDC-Modul 412 konfiguriert werden, die Zielverteilung basierend auf der Darstellung der Interessepunkte zu bestimmen, indem eine Gewichtungsfunktion f(x, y, z, θ_p, θ_r, θ_y) gefunden wird, die die folgenden Beziehungen erfüllt:
mit den Einschränkungen, dass:
wobei i den i-ten Interessepunkt indiziert. Dies kann die Wirkung haben, dass die Fähigkeit, den Teil sowohl in Translations- als auch Rotationsfreiheitsgraden aufzulösen, gemeinsam ausgeglichen wird.
In einigen Ausführungsformen kann das TDC-Modul 412 konfiguriert sein, die Zielverteilung basierend auf der Darstellung der Interessepunkte zu bestimmen, indem es eine Gewichtungsfunktion f(x, y, z, θ_p, θ_r, θ_y) findet, die gemeinsam das Auflösungsvermögen in den Translationsfreiheitsgraden ausgleicht, während das Auflösungsvermögen im Rotationsfreiheitsgrad maximiert wird, von dem gefunden wird, dass er am wenigsten auflösende Information unter Verwendung des vollen Satzes von Interessepunkten hat, d. h. Nicken falls Σ_iθ i / p > Σ_iθ i / r und Σ_iθ i / p > Σ_iθ i / y, Gieren falls Σ_iθ i / y > Σ_iθ i / r und Σ_iθ i / y > Σ_iθ i / p und sonst Rollen. Dies kann unter Bedingungen vorteilhaft sein, unter denen beispielsweise eine Rotationsvariable klein ist, wodurch die zuvor beschriebene Optimierung die Diskrepanz zwischen den drei Rotationsvariablen durch Minimierung der Beiträge der anderen beiden verringert. Dies kann die unerwünschte Wirkung haben, die meisten Sonden in der Nähe des Drehpunkts zu platzieren.
In einigen Ausführungsformen kann das TDC-Modul 412 konfiguriert sein, eine Gewichtungsfunktion f(x, y, z, θ_p, θ_r, θ_y) zu bestimmen, die das Auflösungsvermögen in den Translationsfreiheitsgraden ausgleicht, während das Auflösungsvermögen im Rotationsfreiheitsgrad durch Ausführen der folgenden Optimierung maximiert wird:
mit den Einschränkungen, dass:
und wobei die Parameter w_S uns w_R eine relative Verstärkung in der Optimierung zwischen der Minimierung der Differenz zwischen den Translationskomponenten und der Maximierung der kleinsten Rotationskomponente vorschreiben.
In einigen Ausführungsformen kann, sobald das TDC-Modul 412 die Zielverteilung f(x, y, z, θ_p, θ_r, θ_y) bestimmt, das TDC-Modul 412 die Zielverteilung f(x, y, z, θ_p, θ_r, θ_y) dem PDM-Modul 416 bereitstellen. Anschließend kann das PDM-Modul 416 die Zielverteilung f(x, y, z, θ_p, θ_r, θ_y) als eine Wahrscheinlichkeitsverteilung verwenden, um Sonden auf dem Muster abzutasten.
In einigen Ausführungsformen kann, um den obigen Optimierungsprozess zu erleichtern, das Sondenplatzierungsmodul 408 eine funktionale Form für die Zielverteilung f(x, y, z, θ_p, θ_r, θ_y) annehmen.
In einigen Ausführungsformen kann das Sondenplatzierungsmodul 408 annehmen, dass die Zielverteilung f(x, y, z, θ_p, θ_r, θ_y) eine lineare Form hat. Obwohl eine lineare Funktion negativ werden kann, kann die Einschränkung f(x_i, y_i, z_i, θ i / p, θ i / r, θ i / y) ≥ 0, ∀i die Zielverteilung zwingen, an allen Interessepunkten positiv zu sein. Wenn die Zielverteilung f(x, y, z, θ_p, θ_r, θ_y) eine lineare Form hat, kann die Optimierungsroutine zum Finden der Zielverteilung konfiguriert werden, die lineare Form zu verwenden. Da jedoch der Raum der linearen Funktionen begrenzt ist, kann es schwierig sein, eine lineare Funktion zu finden, die alle Einschränkungen erfüllt.
In einigen Ausführungsformen kann das Sondenplatzierungsmodul 408 annehmen, dass die Zielverteilung f(x, y, z, θ_p, θ_r, θ_y) eine nichtlineare Form hat. Wenn die Zielverteilung f(x, y, z, θ_p, θ_r, θ_y) eine nichtlineare Form hat, kann die Optimierungsroutine zum Finden der Zielverteilung unterschiedlich konfiguriert werden, um die nichtlineare Form zu verwenden. Da jedoch der Raum der nichtlinearen Funktionen breit ist, kann es leichter sein, eine nichtlineare Funktion zu finden, die alle Einschränkungen erfüllt.
In einigen Ausführungsformen kann das TDC-Modul 412 die Zielverteilung f(x, y, z, θ_p, θ_r, θ_y) als einen Kehrwert einer Interessepunktverteilung p_p(x, y, θ|Parameter) setzen. In diesem Fall kann das TDC-Modul 412 von dem FDC-Modul 414 die Interessepunktverteilung p_p(x, y, z, θ_p, θ_r, θ_y) empfangen und indirekt die Zielverteilung f(x, y, z, θ_p, θ_r, θ_y) durch Berechnen eines Kehrwerts bestimmen:

Wenn zum Beispiel die Zielverteilung f(x, y, z, θ_p, θ_r, θ_y), die als ein Kehrwert einer Interessepunktverteilung p_p(x, y, z, θ_p, θ_r, θ_y) definiert ist, wird die Zielverteilung f(x, y, z, θ_p, θ_r, θ_y) dazu führen, dass mehr Sonden an Positionen mit Interessepunkten abgetastet werden, die relativ unähnlich verglichen mit dem Rest der Interessepunkte sind.
In einigen Ausführungsformen kann das FDC-Modul 414 die Interessepunktverteilung p_p(x, y, z, θ_p, θ_r, θ_y) als ein Mischmodell modellieren. In einigen Ausführungsformen kann das Mischmodell ein Gauß'sches Mischmodell (GMM) umfassen:
Das GMM hat vier Parameter: die Anzahl Gauß'scher Verteilungen N, die Gewichtung α_k der k-ten Gauß'schen Verteilung, den mittleren Vektor μ _k der k-ten Gauß'schen Verteilung und die Kovarianzmatrix Σ _k der k-ten Gauß'schen Verteilung. In anderen Ausführungsformen kann das Mischmodell eine Mischung triangulärer Verteilungen umfassen. In einigen Ausführungsformen kann die Mischung triangulärer Verteilungen schneller zu berechnen sein und kann eine ähnliche erwünschte Eigenschaft bieten, eine weiche Gruppierung von Interessepunkten bereitzustellen.
In einigen Ausführungsformen kann das FDC-Modul 414 die Anzahl Gauß'scher Verteilungen N für das GMM durch Gruppieren der Interessepunkte und Bestimmen der Anzahl von Gruppen, die am besten zu den Interessepunkten passen, abschätzen. Zum Beispiel kann das FDC-Modul 414 eine k-Mittel-Gruppierungsoperation an den Interessepunkten durchführen, um die Anzahl Gauß'scher Verteilungen abzuschätzen.
Der verbleibende Satz von Parametern {α_k, μ _k, Σ _k}, k = 1, ... N kann durch Maximieren der Wahrscheinlichkeit von Parametern unter Berücksichtigung der Interessepunkte bestimmt werden. In einigen Ausführungsformen kann das FDC-Modul 414 die Wahrscheinlichkeit der Parameter unter Berücksichtigung der Interessepunkte unter Verwendung einer Erwartungsmaximierungstechnik maximieren. Um Erwartungsmaximierung durchzuführen, kann das FDC-Modul 414 den Satz von Parametern {α_k, μ _k, Σ _k}, k = 1, ... N unter Verwendung des Ergebnisses aus dem Gruppierungsschritt initialisieren.
Wie oben diskutiert, kann das TDC-Modul 412 die Zielverteilung f(x, y, z, θ_p, θ_r, θ_y) durch einfaches Invertieren der Interessepunktverteilung p_p(x, y, z, θ_p, θ_r, θ_y) bestimmen. Diese Zielverteilung f(x, y, z, θ_p, θ_r, θ_y) kann jedoch dazu führen, dass die meisten Sonden an Kanten mit den wenigsten gemeinsamen Werten von x, y, z, θ_p, θ_r, θ_p platziert werden. Wenn zum Beispiel ein Objekt nur 3D-Translationsbewegungen ausführen kann und das Objekt kastenförmig mit abgerundeten Ecken ist, kann diese Zielverteilung f(x, y, z) dazu führen, dass das PDM-Modul 416 hauptsächlich um die Eckpositionen abtastet. In solchen Szenarien wird ein Ausrichtungsmodell mit nur an den Eckpositionen platzierten Sonden anfällig für Okklusion und Rauschen sein.
Um solche Probleme anzugehen, kann in einigen Ausführungsformen das TDC-Modul 412 die Interessepunktverteilung p_p(x, y, z, θ_p, θ_r, θ_y) transformieren und die transformierte Interessepunktverteilung invertieren, um die Zielverteilung f(x, y, z, θ_p, θ_r, θ_y) zu bestimmen. Diese Transformation kann die Form der Anwendung eines Glättungskerns auf p_p(x, y, z, θ_p, θ_r, θ_y) annehmen.
In einigen Ausführungsformen kann das TDC-Modul 412 die Zielverteilung durch Transformieren der Interessepunktverteilung auf andere Art als durch Durchführung einer Inversion bestimmen. Eine solche Ausführungsform transformiert die Interessepunktverteilung p_p(x, y, z, θ_p, θ_r, θ_y|{α_k, μ _k, Σ _k}, k = 1, ... N durch Auffinden neuer Gewichtungen
, die bestimmte Bedingungen erfüllen. Beim Abschätzen des Satzes von Parametern {α_k, μ _k, Σ _k} kann das TDC-Modul 412 eine weiche Gruppierung von Interessepunkten (z. B. weiche Gruppierung in Gauß'sche Verteilungen) durchführen. Sobald das TDC-Modul 412 diese Gruppierungen durchgeführt hat, kann das TDC-Modul 412 konfiguriert werden, die neuen Gewichtungen α ~_k aufzufinden, um jede Gruppe (z. B. jede Gauß'sche Verteilung) neu zu gewichten.
Zum Beispiel kann das TDC-Modul 412 notieren:
In dieser Darstellung kann das TDC-Modul 412 konfiguriert werden, die Gewichtungen
aufzufinden, die die folgende Bedingung minimieren:
mit der Einschränkung:
Die Minimierung kann zu einem linearen Programmierungsproblem reduzieren, durch die Verwendung eines Lagrange-Multiplikators ϕ, um diese Lagrange-Funktion zu bilden:
In einigen Ausführungsformen kann die relative Gewichtung zwischen Translations- und Rotationskomponenten der Optimierung unter Verwendung eines einzelnen Parameters R_VERSTÄRKUNGund der Verwendung der folgenden Formeln für die Gewichtungen gesetzt werden:
und
Die Wirkung von variierendem R_VERSTÄRKUNG auf die Sondenplatzierung ist in den in 30A bis 30C gezeigten Beispielen veranschaulicht. 30A zeigt ein Beispiel, bei dem keine Verstärkung angewendet wird, 30B zeigt ein Beispiel, bei dem eine Translationsverstärkung angewendet wird, und 30C zeigt ein Beispiel, bei dem eine Rotationsverstärkung auf die Platzierung von Sonden 3001 an Punkten 3002 angewendet wird. Im Vergleich zu 30A enthält 30B mehr Sonden in der Nähe der Enden 3003 und Bereiche 3004, die das Auflösungsvermögen des Modells in der Richtung parallel zur zentralen Achse des Rohres erhöhen. Im Vergleich zu 30A enthält 30C mehr Sonden an der Oberseite des kleinen sich schneidenden Rohrs 3010. Diese Sondenpositionen erhöhen die Fähigkeit des Modells, in dem Rotationsfreiheitsgrad um die zentrale Achse des Hauptrohres aufzulösen.
In einigen Ausführungsformen könnte das TDC-Modul 412 die Minimierung in Bezug auf
unter Verwendung zusätzlicher Einschränkungen lösen. Zum Beispiel verhindert die oben beschriebene Technik nicht, dass die transformierten Gewichtungen α ~_k negativ werden, oder verhindern nicht, dass eine große Gewichtung
Gauß'schen Verteilungen zugewiesen wird, die aus kleinen Gruppen von Interessepunkten abgeschätzt wurden (z. B. deren ursprüngliche Gewichtungen α_k in der Interessepunktverteilung p_p(x, y, z, θ_p, θ_r, θ_y) klein war). Das TDC-Modul 412 kann diese und/oder andere Einschränkungen programmatisch anwenden.
Auch ist in einigen Ausführungsformen das TDC-Modul 412 konfiguriert, das Ausmaß zu begrenzen, in dem eine einzelne Gruppe in dem endgültigen Satz von Sonden über- oder unterrepräsentiert sein darf. Dies kann durch Hinzufügen eines Satzes von Einschränkungen erreicht werden:
wobei C_lim eine Konstante ist, die den Begrenzungsfaktor liefert.
Beispiele für die Effekte des Variierens des Begrenzungsfaktors sind in den 31A bis 31D veranschaulicht. 31A veranschaulicht ein Beispiel der Punkte 3103 mit Auflösungsvermögen. Der Detailbereich 3104 zeigt das zunehmende auflösende Rotationsauflösungsvermögen um Rohrzentralachse, wenn die Punkte sich dem sichtbaren Horizont nähern; Diese „Horizontpunkte” werden bei der Auswahl von Sondenpositionen aus der Betrachtung entfernt werden. Der zweite Detailbereich 3105 zeigt die Zunahme des Auflösungsvermögens parallel zu den Rohrzentralachsen, wenn sich die Interessepunkte der Enden des Rohrs nähern. 31B zeigt ein Beispiel für das Ergebnis der Sondenauswahl mit C_lim = 1,2; Dieser Sondensatz ist nur etwas ausgewogener als ein zufällig ausgewählter Satz von Sonden. 31C zeigt ein Beispiel für das Ergebnis der Sondenauswahl mit C_lim = 4; Wir können sehen, dass die Sondenstellen mehr zu den Enden und den Seiten des Rohrs hin gewichtet sind. 31D zeigt ein Beispiel des Ergebnisses der Sondenauswahl mit C_lim = 10 auf Sonden 3101 und Punkten 3102; Hier befindet sich die große Mehrheit der Sondenstellen an den Enden des Rohrs. Wie aus 31A–31D ersichtlich, führt die Erhöhung des Begrenzungsfaktors dazu, dass die Sondenstellen stärker zu den Enden des Rohrs hin konzentriert sind. Obwohl die Erhöhung des Begrenzungsfaktors einen Satz von Sonden erzeugt, der ausgewogener ist, kann die Robustheit des Modells anfälliger für Okklusionsregionen werden (zum Beispiel könnte eines der Rohrenden während der Laufzeit verdeckt sein.
In einigen Ausführungsformen kann, wenn der Satz linearer Gleichungen (z. B. durch Differenzieren der Lagrange-Funktion und Gleichsetzen mit null gebildet) ein Ergebnis mit mindestens einer Gewichtung α_k liefert, die eine Einschränkung verletzt, das TDC-Modul 412 konfiguriert sein, über alle möglichen Kombinationen von Grenzfällen zu iterieren, die optimalen verbleibenden Gewichtungen zu berechnen und das eingeschränkte Minimum auszuwählen.
Zum Beispiel kann das TDC-Modul 412 alle möglichen Sätze von Randbedingungen (z. B. {α low / 0}, {α high / 0}, {α low / 0, α low / 1}, {α high / 0, α low / 1}, ...) für die linearen Gleichungen bestimmen. Jeder Satz von Randbedingungen kann Randbedingungen für eine Teilmenge von transformierten Gewichtungen
enthalten. Anschließend kann für jeden Satz von Randbedingungen das TDC-Modul 412 kann den Wert einer Teilmenge von Gewichtungen
als den Wert der entsprechenden Randbedingungen festlegen und den Satz linearer Gleichungen nach den verbleibenden freien Gewichtungen
ohne Randbedingungen auflösen. Auf diese Weise kann das TDC-Modul 412 die globale Lösung des Satzes linearer Gleichungen unter den Einschränkungen durch Auswählen, unter den Lösungen unter allen möglichen Sätzen von Randbedingungen, der Lösung mit der minimalen Wert bestimmen.
In einigen Fällen können, wenn die Anzahl Gauß'scher Verteilungen im GMM größer ist als die Anzahl der Dimensionen, in denen die Interessepunkte liegen, einige der Parameter im GMM linear abhängig sein. Zum Beispiel können mittlere Vektoren Gauß'scher Verteilungen linear abhängig werden, wenn die Anzahl Gauß'scher Verteilungen größer ist als die Anzahl der Dimensionen, in denen die Interessepunkte liegen.
Um dieses Problem anzugehen, kann das TDC-Modul 412 konfiguriert sein, die Parameter für das GMM zu regularisieren, zum Beispiel unter Verwendung von Tichonow-Regularisierung. Sollte ein solcher Ansatz fehlschlagen, kann das TDC-Modul 412 das Optimierungsproblem umformulieren, um die folgende Funktion zu minimieren:
Diese neue Lagrange-Formulierung versucht, das Auflösungsvermögen im Rotationsfreiheitsgrad mit dem kleinsten angepassten Auflösungsvermögen zu maximieren, während die Lösung so eingeschränkt wird, dass sie in den Translationsfreiheitsgraden perfekt ausgewogen ist und die Summe der transformierten Gewichtungen 1 ist.
In einigen Ausführungsformen kann das TDC-Modul 412 direkt die Gewichtungen finden, die die oben angegebene Lagrange-Beziehung erfüllen. Diese Beziehung kann jedoch nicht verhindern, dass die Gewichtungen α ~_k negativ werden, oder nicht verhindern, dass eine große Gewichtung Gauß'schen Verteilungen zugewiesen wird, die aus kleinen Gruppen von Interessepunkten abgeschätzt wurden (z. B. deren ursprüngliche Gewichtungen α_k in der Interessepunktverteilung p_p(x, y, z, θ_p, θ_r, θ_y) klein war). Das TDC-Modul 412 kann diese Einschränkungen programmatisch anwenden, wie oben veranschaulicht. Dies ist mathematisch gültig, weil die obige Lagrange-Beziehung in
quadratisch ist, so dass wenn eine der Gewichtungen
negativ ist, dann der optimale Wert auf einer (oder mehr) der Randbedingungen liegen sollte.
Zusammengefasst kann in einigen beispielhaften Ausführungsformen das TDC-Modul 412, um Parameter für die Zielverteilung
(x, y, z, θ_p, θ_r, θ_y) basierend auf Parametern der Interessepunktverteilung p_p(x, y, z, θ_p, θ_r, θ_y) zu identifizieren, folgendes Verfahren anwenden:

1. Löse das lineare Gleichungssystem, das durch Differenzieren der Lagrange-Funktion und Gleichsetzen mit null gebildet wird:
2. Falls dieses System singulär ist, kann das TDC-Modul 412 Regularisierung verwenden, um dieses System zu lösen. Falls zum Beispiel das TDC-Modul 412 versucht, die Matrixgleichung ΔA = b zu lösen, aber Δ singulär ist, dann kann das TDC-Modul 412 stattdessen [Δ ^T Δ – kl]A = Δ ^T b lösen. Auf diese Weise kann das TDC-Modul 412 die Summe der L₂-Norm des Lösungsvektors minimieren, was wiederum Lösungen mit großen positiven und negativen α_k's (Summieren zur Einheit) verhindern kann.
3. Falls Schritt 2 fehlschlägt, löse das lineare Gleichungssystem, das durch Differenzieren der alternativen Lagrange-Funktion und Gleichsetzen mit null gebildet wird:
4. Überprüfe die Lösung von Schritt 2 oder Schritt 3 an den Einschränkungen:
5. Falls die Lösung außerhalb des gültigen Bereichs von Gewichtungen
fällt, dann verwende für alle möglichen Sätze von Randbedingungen (z. B. Einschränkungen) modifizierte Versionen von Schritten 2 und 3, um Lösungsvektoren für nicht eingeschränkte
zu finden. Während der Suche kann das TDC-Modul 412 die minimalen Werte von
und
verfolgen. Falls die erstere Beziehung größer als null ist, dann kann das TDC-Modul 412 die erstere Beziehung verwenden, um den Lösungsvektor für
auszuwählen. Falls die erstere Beziehung nicht größer als null ist, kann das TDC-Modul 412 die letztere Beziehung verwenden, um den Lösungsvektor für
auszuwählen.

Abtasten von Sonden aus Zielverteilungen
Sobald das TDC-Modul 412 die transformierte Interessepunktverteilung
(x, y, z, θ_p, θ_r, θ_y) bestimmt, kann das TDC-Modul 412 die transformierte Interessepunktverteilung
(x, y, z, θ_p, θ_r, θ_y) (oder einen Kehrwert der transformierten Interessepunktverteilung) dem PDM-Modul 416 bereitstellen. Anschließend kann das PDM-Modul 416 aus dem Kehrwert der transformierten Interesseunktverteilung
(x, y, z, θ_p, θ_r, θ_y) abtasten, um die Position von Sonden an einem oder mehr Interessepunkten in einem Bild zu bestimmen.
Das TDC-Modul 412 kann konfiguriert sein, die transformierte Interesseunktverteilung
(x, y, z, θ_p, θ_r, θ_y) so zu wählen, dass der erwartete Wert von x, y und z in Bezug auf die transformierte Interessepunktverteilung
(x, y, z, θ_p, θ_r, θ_y) so ähnlich wie möglich sind:
Wichtigkeitsabtastung kann verwendet werden, um es dem PDM-Modul 416 zu ermöglichen, Proben aus einer Zielverteilung zu ziehen, durch Gewichten von Proben, die aus einer anderen anderen Verteilung gezogen wurden, unter der Bedingung, dass die Proben eine ähnliche Unterstützung haben. Mit anderen Worten:
wobei S_Sonden der Satz von Sonden ist und S_IP ein Satz von Interessepunkten ist. Daher kann das PDM-Modul 416 diese Beziehung verwenden, um aus der Interessepunktverteilung p_p(s|{α_k, μ _k, Σ _k), k = 1 ... N) gezogene Proben zu gewichten mit:
Es versteht sich, dass der offenbarte Gegenstand in seiner Anwendung nicht auf die Einzelheiten des Aufbaus und auf die Anordnungen der Komponenten, die in der nachfolgenden Beschreibung dargelegt oder in den Zeichnungen veranschaulicht sind, beschränkt ist. Der offenbarte Gegenstand ist zu anderen Ausführungsformen fähig und kann auf verschiedene Weise praktiziert und durchgeführt werden. Auch ist zu verstehen, dass die hier verwendete Phraseologie und Terminologie dem Zweck der Beschreibung dienen und nicht als einschränkend angesehen werden sollten.
An sich werden Fachleute erkennen, dass die Konzeption, auf der diese Offenbarung beruht, ohne weiteres als eine Grundlage für die Gestaltung anderer Strukturen, Verfahren und Apparate zur Durchführung der verschiedenen Zwecke des offenbarten Gegenstands verwendet werden kann. Es ist daher wichtig, dass die Ansprüche als solche äquivalente Konstruktionen umfassend betrachtet werden, sofern sie nicht vom Geist und Umfang des offenbarten Gegenstandes abweichen. Zum Beispiel betreffen einige der offenbarten Ausführungsformen eine oder mehr Variablen. Diese Beziehung kann mit einer mathematischen Gleichung ausgedrückt werden. Jedoch kann der Fachmann die gleiche Beziehung zwischen der einen oder mehr Variablen auch unter Verwendung einer anderen mathematischen Gleichung ausdrücken, durch Transformieren der offenbarten mathematische Gleichung. Es ist wichtig, dass die Ansprüche als solche äquivalente Beziehungen zwischen der einen oder mehr Variablen umfassend betrachtet werden.
Obwohl der offenbarte Gegenstand in den vorstehenden beispielhaften Ausführungsformen beschrieben und veranschaulicht worden ist, versteht es sich, dass die vorliegende Offenbarung nur als Beispiel gemacht worden ist und dass zahlreiche Änderungen in den Details der Implementierung des offenbarten Gegenstands ohne Abweichung vom Geist und Umfang des offenbarten Gegenstandes gemacht werden können.

Claims

Ein System zum Auswählen der Platzierung von dreidimensionalen (3D) Sonden, die zur Auswertung einer 3D-Ausrichtungspose eines Laufzeit-3D-Bildes in einem 3D-Ausrichtungssystem zur Abschätzung der Pose eines trainierten 3D-Modellbildes in jenem 3D-Laufzeit-Bild verwendet werden, umfassend: einen Prozessor in Kommunikation mit einem Speicher, wobei der Prozessor konfiguriert ist, ein im Speicher gespeichertes Computerprogramm laufen zu lassen, das konfiguriert ist: eine Vielzahl von Merkmalen, die mit einer ersten Vielzahl von Punkten von Interesse aus einem 3D-Bild assoziiert sind, zu erzeugen, wobei jedes Merkmal Daten umfasst, die 3D-Eigenschaften eines assoziierten Punktes aus der Vielzahl von Punkten von Interesse angeben; eine zweite Vielzahl von Punkten von Interesse aus der ersten Vielzahl von Punkten von Interesse auszuwählen, basierend zumindest teilweise auf der Vielzahl von Merkmalen, die mit der ersten Vielzahl von Punkten von Interesse assoziiert sind; und Platzierungen von einer Vielzahl von 3D-Sonden zu bestimmen, basierend zumindest teilweise auf der zweiten Vielzahl von Punkten von Interesse.
Das System von Anspruch 1, wobei jedes der Vielzahl von Merkmalen mindestens ein Maß der Nützlichkeit eines assoziierten Punktes aus der ersten Vielzahl von Punkten für Ausrichtung in mindestens einem Translationsfreiheitsgrad umfasst.
Das System von Anspruch 1, wobei jedes der Vielzahl von Merkmalen mindestens ein Maß der Nützlichkeit eines assoziierten Punktes aus der ersten Vielzahl von Punkten für Ausrichtung in mindestens einem Rotationsfreiheitsgrad umfasst.
Das System von Anspruch 1, wobei die Platzierung der Vielzahl von 3D-Sonden ein größeres Gesamtausrichtungsvermögen in drei Translationsfreiheitsgraden bereitstellt, als die Platzierung an jedem der ersten Vielzahl von Punkten von Interesse bereitstellt.
Das System von Anspruch 1, wobei die Platzierung der Vielzahl von 3D-Sonden ein größeres Gesamtausrichtungsvermögen in drei Translationsfreiheitsgraden bereitstellt, als die Platzierung an jedem der ersten Vielzahl von Punkten von Interesse bereitstellt, wobei das größere Gesamtausrichtungsvermögen eine Erhöhung des Gesamtausrichtungsvermögens in einem am wenigsten repräsentierten Rotationsfreiheitsgrad der ersten Vielzahl von Punkten bereitstellt.
Das System von Anspruch 1, wobei die Platzierung der Vielzahl von 3D-Sonden ein größeres Gesamtausrichtungsvermögen in drei Rotationsfreiheitsgraden bereitstellt, als die Platzierung an jedem der ersten Vielzahl von Punkten von Interesse bereitstellt.
Das System von Anspruch 1, wobei das größere Gesamtausrichtungsvermögen eine Erhöhung des Gesamtausrichtungsvermögens in einem am wenigsten repräsentierten Rotationsfreiheitsgrad der ersten Vielzahl von Punkten bereitstellt.
Das System von Anspruch 1, wobei ein Drehpunkt und Rotationsachsen, die zu einer Teilmenge der ersten Vielzahl von Punkten passen, so bestimmt werden, dass der Drehpunkt und Rotationsachsen mit rotationssymmetrischen Merkmalen eines Musters assoziiert sind.
Das System aus Anspruch 8, wobei das Auffinden des Drehpunkts und der Rotationsachsen aus der Teilmenge der ersten Vielzahl von Punkten das Verwenden einer RANSAC-Technik umfasst.
Das System von Anspruch 1, wobei die Vielzahl von Merkmalen eine Vielzahl von Oberflächennormalvektoren umfasst.
Das System von Anspruch 1, wobei die Vielzahl von Merkmalen eine Vielzahl von Kantennäherungsvektoren umfasst.
Das System von Anspruch 1, wobei die Vielzahl von Merkmalen eine Vielzahl von Kantenrichtungssvektoren umfasst.
Das System von Anspruch 1, wobei die Vielzahl von Merkmalen eine Vielzahl von Oberflächenkrümmungsvektoren umfasst.
Das System von Anspruch 1, wobei das Auswählen einer zweiten Vielzahl von Punkten von Interesse aus der ersten Vielzahl von Punkten von Interesse basierend zumindest teilweise auf der Vielzahl von Merkmalen, die mit der ersten Vielzahl von Punkten von Interesse assoziiert sind, Folgendes umfasst: Anpassen einer Wahrscheinlichkeitsverteilung an die erste Vielzahl von Punkten; Bestimmen einer Zielverteilung, wobei die Zielverteilung eine gewünschte Platzierung von Sonden auf einem oder mehr Punkten von Interesse angibt; Bestimmen von Platzierungen von Sonden zumindest teilweise durch Verwenden der relativen Wahrscheinlichkeiten der angepassten Verteilung und Zielverteilung an den vorgeschlagenen Sondenstellen.
Das System von Anspruch 14, wobei das Bestimmen der Interessepunktverteilung das Anpassen der Vielzahl von Interessepunkten an eine Wahrscheinlichkeitsverteilung umfasst, die ein Mischmodell umfasst, wobei die Wahrscheinlichkeitsverteilung zumindest eine Verteilung von an der Vielzahl von Interessepunkten gemessenen Orientierungen angibt.
Das System von Anspruch 14, wobei der Prozessor weiter konfiguriert ist, eine Anzahl von Komponenten des Mischmodells der Interessepunktverteilung durch Gruppieren der Vielzahl von Interessepunkten in mindestens eine Gruppe zu bestimmen.
Das System von Anspruch 1, wobei der Prozessor weiter konfiguriert ist: einen oder mehr Horizontpunkte aus der ersten Vielzahl von Interessepunkten zu identifizieren; und den einen oder mehr Horizontpunkte aus der Betrachtung zu entfernen, so dass die zweite Vielzahl von Interessepunkten den einen oder mehr Horizontpunkte nicht umfasst.
Das System von Anspruch 1, wobei das Auswählen der zweiten Vielzahl von Punkten von Interesse das Verwenden einer Monte-Carlo-Technik umfasst.
Ein Verfahren zum Auswählen der Platzierung von dreidimensionalen (3D) Sonden, die zur Auswertung einer 3D-Ausrichtungspose eines Laufzeit-3D-Bildes in einem 3D-Ausrichtungssystem zur Abschätzung der Pose eines trainierten 3D-Modellbildes in jenem 3D-Laufzeit-Bild verwendet werden, das Verfahren umfassend: Erzeugen einer Vielzahl von Merkmalen, die mit einer ersten Vielzahl von Punkten von Interesse aus einem 3D-Bild assoziiert sind, wobei jedes Merkmal Daten umfasst, die 3D-Eigenschaften eines assoziierten Punktes aus der Vielzahl von Punkten von Interesse angeben; Auswählen einer zweiten Vielzahl von Punkten von Interesse aus der ersten Vielzahl von Punkten von Interesse, basierend zumindest teilweise auf der Vielzahl von Merkmalen, die mit der ersten Vielzahl von Punkten von Interesse assoziiert sind; und Bestimmen von Platzierungen von einer Vielzahl von 3D-Sonden basierend zumindest teilweise auf der zweiten Vielzahl von Punkten von Interesse.
Das Verfahren von Anspruch 19, wobei jedes der Vielzahl von Merkmalen mindestens ein Maß der Nützlichkeit eines assoziierten Punktes aus der ersten Vielzahl von Punkten für Ausrichtung in mindestens einem Translationsfreiheitsgrad umfasst.
Das Verfahren von Anspruch 19, wobei jedes der Vielzahl von Merkmalen mindestens ein Maß der Nützlichkeit eines assoziierten Punktes aus der ersten Vielzahl von Punkten für Ausrichtung in mindestens einem Rotationsfreiheitsgrad umfasst.
Das Verfahren von Anspruch 19, wobei die Platzierung der Vielzahl von 3D-Sonden ein größeres Gesamtausrichtungsvermögen in drei Translationsfreiheitsgraden bereitstellt, als die Platzierung an jedem der ersten Vielzahl von Punkten von Interesse bereitstellt.
Das Verfahren von Anspruch 19, wobei die Platzierung der Vielzahl von 3D-Sonden ein größeres Gesamtausrichtungsvermögen in drei Translationsfreiheitsgraden bereitstellt, als die Platzierung an jedem der ersten Vielzahl von Punkten von Interesse bereitstellt, wobei das größere Gesamtausrichtungsvermögen eine Erhöhung des Gesamtausrichtungsvermögens in einem am wenigsten repräsentierten Rotationsfreiheitsgrad der ersten Vielzahl von Punkten bereitstellt.
Das Verfahren von Anspruch 19, wobei die Platzierung der Vielzahl von 3D-Sonden ein größeres Gesamtausrichtungsvermögen in drei Rotationsfreiheitsgraden bereitstellt, als die Platzierung an jedem der ersten Vielzahl von Punkten von Interesse bereitstellt.
Das Verfahren von Anspruch 19, wobei das größere Gesamtausrichtungsvermögen eine Erhöhung des Gesamtausrichtungsvermögens in einem am wenigsten repräsentierten Rotationsfreiheitsgrad der ersten Vielzahl von Punkten bereitstellt.
Das Verfahren von Anspruch 19, wobei ein Drehpunkt und Rotationsachsen, die zu einer Teilmenge der ersten Vielzahl von Punkten passen, so bestimmt werden, dass der Drehpunkt und Rotationsachsen mit rotationssymmetrischen Merkmalen eines Musters assoziiert sind.
Das Verfahren aus Anspruch 26, wobei das Auffinden des Drehpunkts und der Rotationsachsen aus der Teilmenge der ersten Vielzahl von Punkten das Verwenden einer RANSAC-Technik umfasst.
Das Verfahren von Anspruch 19, wobei die Vielzahl von Merkmalen eine Vielzahl von Oberflächennormalvektoren umfasst.
Das Verfahren von Anspruch 19, wobei die Vielzahl von Merkmalen eine Vielzahl von Kantennäherungsvektoren umfasst.
Das Verfahren von Anspruch 19, wobei die Vielzahl von Merkmalen eine Vielzahl von Kantenrichtungssvektoren umfasst.
Das Verfahren von Anspruch 19, wobei die Vielzahl von Merkmalen eine Vielzahl von Oberflächenkrümmungsvektoren umfasst.
Das Verfahren von Anspruch 19, wobei das Auswählen einer zweiten Vielzahl von Punkten von Interesse aus der ersten Vielzahl von Punkten von Interesse basierend zumindest teilweise auf der Vielzahl von Merkmalen, die mit der ersten Vielzahl von Punkten von Interesse assoziiert sind, Folgendes umfasst: Anpassen einer Wahrscheinlichkeitsverteilung an die erste Vielzahl von Punkten; Bestimmen einer Zielverteilung, wobei die Zielverteilung eine gewünschte Platzierung von Sonden auf einem oder mehr Punkten von Interesse angibt; Bestimmen von Platzierungen von Sonden zumindest teilweise durch Verwenden der relativen Wahrscheinlichkeiten der angepassten Verteilung und Zielverteilung an den vorgeschlagenen Sondenstellen.
Das Verfahren von Anspruch 32, wobei das Bestimmen der Interessepunktverteilung das Anpassen der Vielzahl von Interessepunkten an eine Wahrscheinlichkeitsverteilung umfasst, die ein Mischmodell umfasst, wobei die Wahrscheinlichkeitsverteilung zumindest eine Verteilung von an der Vielzahl von Interessepunkten gemessenen Orientierungen angibt.
Das Verfahren von Anspruch 32, weiter umfassend Bestimmen einer Anzahl von Komponenten des Mischmodells der Interessepunktverteilung durch Gruppieren der Vielzahl von Interessepunkten in mindestens eine Gruppe.
Das Verfahren von Anspruch 19, weiter umfassend: Identifizieren von einem oder mehr Horizontpunkten aus der ersten Vielzahl von Interessepunkten; und Entfernen der ein oder mehr Horizontpunkte aus der Betrachtung, so dass die zweite Vielzahl von Interessepunkten den einen oder mehr Horizontpunkte nicht umfasst.
Das Verfahren von Anspruch 19, wobei das Auswählen der zweiten Vielzahl von Punkten von Interesse das Verwenden einer Monte-Carlo-Technik umfasst.
Ein nicht-transientes computerlesbares Medium mit ausführbaren Anweisungen, die mit einem System zum Auswählen der Platzierung von dreidimensionalen (3D) Sonden, die zur Auswertung einer 3D-Ausrichtungspose eines Laufzeit-3D-Bildes in einem 3D-Ausrichtungssystem zur Abschätzung der Pose eines trainierten 3D-Modellbildes in jenem 3D-Laufzeit-Bild verwendet werden, assoziiert sind und das System veranlassen können: eine Vielzahl von Merkmalen, die mit einer ersten Vielzahl von Punkten von Interesse aus einem 3D-Bild assoziiert sind, zu erzeugen, wobei jedes Merkmal Daten umfasst, die 3D-Eigenschaften eines assoziierten Punktes aus der Vielzahl von Punkten von Interesse angeben; eine zweite Vielzahl von Punkten von Interesse aus der ersten Vielzahl von Punkten von Interesse auszuwählen, basierend zumindest teilweise auf der Vielzahl von Merkmalen, die mit der ersten Vielzahl von Punkten von Interesse assoziiert sind; und Platzierungen von einer Vielzahl von 3D-Sonden zu bestimmen, basierend zumindest teilweise auf der zweiten Vielzahl von Punkten von Interesse.