DE102017011604A1

DE102017011604A1 - Verfahren und System zum Erstellen eines Modells

Info

Publication number: DE102017011604A1
Application number: DE102017011604.0A
Authority: DE
Inventors: Kirill Safronov; Christian Weiglein
Original assignee: KUKA Deutschland GmbH
Current assignee: KUKA Deutschland GmbH
Priority date: 2017-12-14
Filing date: 2017-12-14
Publication date: 2019-06-19
Also published as: WO2019115198A1

Abstract

Zum Erstellen eines Modells eines Objekts werden charakteristische Strukturen (z.B. Kanten) des Objekts auf Basis eines Teilbereichs einer 2D-Darstellung (z.B. 2D-Bild) des Objekts mit dessen Umgebung ermittelt. Dieser Teilbereich entspricht einer 3D-Darstellung (z.B. Punktewolke) des Objekts, die aus der Subtraktion einer 3D-Darstellung des Objekts mit dessen Umgebung und einer 3D-Darstellung der Umgebung ohne dieses Objekt hervorgeht.

Description

Die vorliegende Erfindung betrifft ein Verfahren und ein System zum Erstellen eines Modells eines Objekts sowie ein Computerprogrammprodukt zur Durchführung des Verfahrens.
Um ein Objekt zu detektieren oder lokalisieren, kann eine 2D-Objekterkennungsmethode verwendet werden. Solche Erkennungsmethoden finden beispielsweise im Zusammenhang mit Robotern Anwendung, ist aber nicht auf dieses Anwendungsgebiet beschränkt. Mit Hilfe einer solchen Methode wird es einem Roboter ermöglicht oder zumindest erleichtert, Objekte und deren Position, Ausrichtung usw. zu erkennen, was für das Manipulieren, insbesondere Greifen, des Objekts nötig sein kann.
Zum Durchführen einer 2D-Objekterkennungsmethode wird normalerweise ein 2D-Modell des gesuchten Objekts benötigt. Ein aus dem Stand der Technik bekannter Ansatz sieht zum Erstellen eines 2D-Modells eines Objekts folgende Schritte vor:

1. Das Objekt wird in einer Umgebung platziert, zum Beispiel auf einer Ebene.
2. Es wird ein 2D-Bild des Objekts mit bzw. in seiner Umgebung aufgenommen.
3. Wenn die Objekterkennungsmethode beispielsweise kantenbasiert ist, werden anhand dieses Bildes Kanten eingelernt bzw. vorgegeben. Dies kann manuell durchgeführt werden. Es sind aber auch automatische Methoden bekannt, in denen die Kanten automatisch erkannt werden.
4. Die Kanten werden als 2D-Modell in einer Datenbank gespeichert.

Eine automatische Kantenerkennungsmethode ist im Allgemeinen weniger personal- und zeitaufwändig als eine Methode, bei der die Kanten manuell eingelernt oder vorgegeben werden. Die Erfinder der vorliegenden Erfindung haben jedoch erkannt, dass auch bei einer automatischen Methode verschiedene Probleme auftreten können. So kann diese Methode umgebungsabhängig, insbesondere sehr umgebungsabhängig, sein. Beispielsweise können störende Einflüsse, wie Fremdlicht, Schatten oder Störkonturen, das Erkennen von Kanten beeinträchtigen. Insbesondere können Dinge als Kanten erkannt werden, die nicht Kanten des Objekts sind und demnach nicht zu dem (gewünschten) Modell des Objekts gehören. Andererseits könnten auch tatsächlich vorhandene Kanten des Objekts nicht als solche erkannt werden, so dass dem Modell Kanten fehlen könnten (z.B. wenn Schwellenwerte zum Erkennen von Kanten relativ hoch angesetzt werden, um zu vermeiden, dass Dinge fälschlicherweise als Kanten des Objekts erkannt werden, die nicht zu dem Modell des Objekts gehören).
Den Erfindern sind wiederum verschiedene Lösungsansätze bekannt, die nach Erkenntnis der Erfinder aber wiederum ihre eigenen Probleme mit sich bringen können:

1. Es kann manuell eine Maske eingegeben werden, um einen bestimmten Bereich (Region of Interest, ROI) vorzugeben. Dieser Bereich definiert normalerweise den Bereich, in dem sich das Objekt befindet.
2. Das automatisch erstellte Modell kann manuell überprüft werden, wobei gegebenenfalls manuell Kanten, die nicht zu dem Modell gehören, weggefiltert werden bzw. fehlende Kanten manuell hinzugefügt werden.
3. Es wird ein erstes Bild aufgenommen, bei dem das Objekt sich in einer Umgebung (beispielsweise auf einer Ebene) befindet. Es wird auch ein zweites Bild dieser Umgebung, aber ohne das Objekt, aufgenommen. Anschließend wird ein Differenzbild berechnet und in diesem Differenzbild werden die Kanten automatisch erkannt, die sich dann nur auf die Kanten des Objekts beschränken sollen (siehe US 7,031,525 und US 5,748,775 ). Bei diesem Verfahren können allerdings immer noch Dinge als Kanten erkannt werden, die nicht zu dem Modell gehören. So kann beispielsweise ein Schatten, den das Objekt auf die Umgebung wirft, in das Differenzbild übernommen werden und dann als vermeintliche Kante des Objekts interpretiert werden.
4. Um zu vermeiden, dass Dinge als Kanten interpretiert werden, die keine Kanten des Objekts sind, kann die Umgebung komplett homogen gestaltet werden, indem beispielsweise die Umgebung lediglich eine einfarbige, flache, texturfreie Ebene ist, auf der das Objekt platziert wird. Dies ist aber nicht (immer) praktikabel. Außerdem könnten weiterhin Schatten, die das Objekt auf die Ebene wirft, das Ergebnis verfälschen.
5. Gemäß US 2003/0071810 kann ein 3D-Modell eines Objekts erstellt werden und auf eine Ebene projiziert werden. In diesem Fall können aber nur geometrische Merkmale des Objekts extrahiert werden. Manche Objekte haben aber nicht nur geometrische Merkmale (Kanten, Löcher, ...) sondern auch Beschriftung, Farbverläufe, Aufkleber, etc., diese werden im 3D-Modell nicht sichtbar, weil sie auf einer Ebene liegen. Beim Projizieren des 3D-Modells auf eine 2D-Ebene bleiben diese also unberücksichtigt.

Diese Methoden sind unter Umständen sehr aufwändig, insbesondere kostspielig und zeitaufwändig. Zumindest manche müssen wenigstens teilweise manuell durchgeführt werden bzw. manuell überprüft werden. In vielen Fällen ist hierzu ausgebildetes Personal (Fachkräfte) nötig.
Aufgabe der vorliegenden Erfindung ist es, das Erstellen eines Modells eines Objekts zu verbessern.
Diese Aufgabe wird durch Verfahren und Systeme mit den Merkmalen der unabhängigen Ansprüche gelöst. Anspruch 12 stellt ein Computerprogrammprodukt zur Durchführung eines hier beschriebenen Verfahrens unter Schutz. Die Unteransprüche betreffen vorteilhafte Weiterbildungen.
Nach einer Ausführung der vorliegenden Erfindung weist ein Verfahren zum Erstellen eines Modells eines Objekts die folgenden Schritte auf:

Bereitstellen einer ersten Menge an 3D-Informationen, wobei die erste Menge 3D-Informationen des Objekts und einer Umgebung, in der sich das Objekt befindet, aufweist;
Bereitstellen einer zweiten Menge an 2D-Informationen, wobei die zweite Menge 2D-Informationen des Objekts und dieser Umgebung aufweist;
Bereitstellen einer dritten Menge an 3D-Informationen, wobei die dritte Menge 3D-Informationen dieser Umgebung ohne das Objekt aufweist;
Erzeugen einer vierten Menge an 3D-Informationen auf Basis der ersten und der dritten Menge, wobei die vierte Menge 3D-Informationen des Objekts aufweist und im Wesentlichen keine 3D-Informationen dieser Umgebung aufweist; und
Ermitteln von charakteristischen Strukturen des Objekts auf Basis eines Teilbereichs der zweiten Menge, der der vierten Menge entspricht, um das Modell des Objekts zu erstellen.

Hierdurch kann das Ermitteln von charakteristischen Strukturen des Objekts, um das Modell des Objekts zu erstellen, im Wesentlichen auf die Bereiche beschränkt werden, in denen sich das Objekt befindet. Die Umgebung wird somit durch das Verfahren „ausgeblendet“, so dass das unerwünschte Aufnehmen von Merkmalen der Umgebung in das Modell des Objekts reduziert oder vermieden werden kann.
In einer Ausführungsform bezieht sich dieser Teilbereich der zweiten Menge auf räumliche Bereiche, in denen sich das Objekt befindet, insbesondere im Wesentlichen nur auf solche räumlichen Bereiche, in denen sich das Objekt befindet. Das Verfahren sorgt also dafür, dass charakteristische Strukturen nur für solche räumlichen Bereiche ermittelt werden, in denen sich das Objekt befindet.
In einer Ausführungsform wird die vierte Menge an 3D-Informationen auf die zweite Menge an 2D-Informationen gemappt. Daraus ergibt sich der Teilbereich der zweiten Menge. Das an sich bekannte Mappen kann also dazu benutzt werden, den relevanten Teilbereich der zweiten Menge zu definieren.
In einer Ausführungsform werden bzw. wurden einerseits die zweite Menge an 2D-Informationen und andererseits die erste und/oder dritte Menge an 3D-Informationen aus einem ähnlichen, bevorzugt aus dem gleichen, Blickwinkel erstellt, weiter bevorzugt in eine ähnliche, insbesondere gleiche, Blickrichtung. Dies macht das Mappen der vierten Menge an 3D-Informationen (die aus der ersten und dritten Menge an 3D-Informationen hervorgeht) auf die zweite Menge an 2D-Informationen einfacher bzw. zuverlässiger. Vorzugsweise werden einerseits die zweite Menge an 2D-Informationen und andererseits die erste und/oder dritte Menge an 3D-Informationen durch eine zumindest teilweise gemeinsame optische Vorrichtung, vorzugsweise eine (optische) Linse, erstellt. Dies kann das Erstellen der ersten, zweiten und/oder dritten Menge an 2D- bzw. 3D-Informationen vereinfachen.
In einer Ausführungsform wird die dritte Menge an 3D-Informationen mit der ersten Menge an 3D-Informationen registriert/gematched. Hierdurch kann sichergestellt werden, dass Fehler beim Erzeugen der vierten Menge an 3D-Informationen auf Basis der ersten und der dritten Menge reduziert werden können, selbst wenn der Blickwinkel oder die Blickrichtung beim Erstellen der ersten und dritten Menge an 3D-Informationen nicht exakt gleich waren.
In einer Ausführungsform können die Mengen an 3D-Informationen Punktewolken des Objekts bzw. der Umgebung, insbesondere deren Oberflächen, sein. Punktewolken sind dem Fachmann bekannt, um 3D-Objekte darzustellen.
In einer Ausführungsform weist das Erzeugen der vierten Menge ein Entfernen von Punkten aus der zu der ersten Menge gehörenden Punktewolke, die auch in der zu der dritten Menge gehörenden Punktewolke enthalten sind, auf. So können Punktewolken als relativ einfaches Hilfsmittel dazu benutzt werden, die 3D-Informationen, die sich (nur) auf die Umgebung beziehen, „herauszufiltern“.
In einer Ausführungsform weist das Verfahren das Ermitteln von Teilen eines dreidimensionalen Raumes, die von dem Objekt bzw. der Umgebung eingenommen werden, auf. Weiterhin kann das Erzeugen der vierten Menge das Subtrahieren der Teile des dreidimensionalen Raumes, die von der Umgebung eingenommen werden, von den Teilen des dreidimensionalen Raumes, die zusammen von dem Objekt und der Umgebung eingenommen werden, aufweisen. So kann das Ermitteln von Teilen des dreidimensionalen Raumes, die von der Umgebung mit und ohne dem Objekt eingenommen werden, dazu benutzt werden, um die Teile des dreidimensionalen Raumes, die nur von dem Objekt eingenommen werden, zu bestimmen.
In einer Ausführungsform sind die charakteristischen Strukturen des Objekts Kanten des Objekts. Dies hat den Vorteil, dass an sich bekannte Kantenerkennungsverfahren, die hier nicht näher erläutert werden, bei dem Erstellen des Modells des Objekts benutzt werden können. Es ist aber auch denkbar, dass die charakteristischen Strukturen von anderer Art sind, beispielsweise Spitzen oder Ecken des Objekts oder Bereiche mit Krümmungsradius unter einem bestimmten Wert. In anderen Ausführungsformen sind die charakteristischen Strukturen des Objekts nicht (nur) geometrische Merkmale (wie z.B. Kanten, Löcher, ...) des Objekts, sondern können auch Merkmale sein, die man als „nichtgeometrisch“ ansehen kann (wie z.B. Beschriftung, Farbverläufe, Aufkleber, ...).
Gemäß einem zweiten Aspekt der vorliegenden Erfindung weist ein Verfahren zum Erstellen eines Modells eines Objekts das Ermitteln von charakteristischen Strukturen des Objekts auf Basis eines Teilbereichs einer 2D-Darstellung des Objekts mit dessen Umgebung, der einer 3D-Darstellung des Objekts entspricht, die aus der Subtraktion einer 3D-Darstellung des Objekts mit dessen Umgebung und einer 3D-Darstellung der Umgebung ohne dieses Objekt hervorgeht, auf.
Auch gemäß diesem Aspekt kann das Ermitteln von charakteristischen Strukturen des Objekts auf solche Teilbereiche der 2D-Darstellung des Objekts beschränkt werden, die (nur) von dem Objekt eingenommen werden.
Gemäß einem dritten Aspekt der vorliegenden Erfindung weist ein System zum Erstellen eines Modells eines Objekts auf:
Entweder:
A)
Mittel zum Bereitstellen einer ersten Menge an 3D-Informationen, wobei die erste Menge 3D-Informationen des Objekts und einer Umgebung, in der sich das Objekt befindet, aufweist;
Mittel zum Bereitstellen einer zweiten Menge an 2D-Informationen, wobei die zweite Menge 2D-Informationen des Objekts und dieser Umgebung aufweist;
Mittel zum Bereitstellen einer dritten Menge an 3D-Informationen, wobei die dritte Menge 3D-Informationen dieser Umgebung ohne das Objekt aufweist;
Mittel zum Erzeugen einer vierten Menge an 3D-Informationen auf Basis der ersten und der dritten Menge, wobei die vierte Menge 3D-Informationen des Objekts aufweist und im Wesentlichen keine 3D-Informationen dieser Umgebung aufweist; und
Mittel zum Ermitteln von charakteristischen Strukturen des Objekts auf Basis eines Teilbereichs der zweiten Menge, der der vierten Menge entspricht, um das Modell des Objekts zu erstellen;
oder
B)
Mittel zum Ermitteln von charakteristischen Strukturen des Objekts auf Basis eines Teilbereichs einer 2D-Darstellung des Objekts mit dessen Umgebung, der einer 3D-Darstellung des Objekts entspricht, die aus der Subtraktion einer 3D-Darstellung des Objekts mit dessen Umgebung und einer 3D-Darstellung der Umgebung ohne dieses Objekt hervorgeht.
Gemäß einem fünften Aspekt der vorliegenden Erfindung wird ein Computerprogrammprodukt mit einem Programmcode bereitgestellt, der auf einem von einem Computer lesbaren Medium gespeichert ist, zur Durchführung eines der oben beschriebenen Verfahren.
Bei dem oben genannten Objekt kann es sich typischerweise um Gegenstände handeln. Die Erfindung findet aber auch dann Anwendung, wenn es sich bei dem Objekt um Personen oder Tiere handelt. Des Weiteren kann es sich bei dem Objekt auch um Teile von Gegenständen, Personen oder Tieren handeln.
Weitere Vorteile und Merkmale ergeben sich aus den Unteransprüchen und den Ausführungsbeispielen. Hierzu zeigt, teilweise schematisiert:

1 ein System zum Aufnehmen, Speichern und Verarbeiten von 2D- bzw. 3D-Informationen;
2 eine Anordnung zum Aufnehmen von 3D-Informationen einer Umwelt mit einem Objekt;
3 3D-Informationen bezüglich der Anordnung der 2;
4 2D-Informationen bezüglich der Anordnung der 2;
5 eine Anordnung zum Aufnehmen von 2D- und 3D-Informationen einer Umwelt (ohne) Objekt;
6 3D-Informationen bezüglich der Anordnung der 5;
7 das Resultat eines Matchens der 3D-Informationen aus den 3 und 6;
8 3D-Informationen bezüglich des in 2 gezeigten Objekts;
9 das Mapping der 3D-Informationen der 8 auf die 2D-Informationen der 4;
10 2D-Informationen bezüglich des in 2 gezeigten Objekts; und
11 ein Flussdiagramm eines Verfahrens nach einer Ausführung der vorliegenden Erfindung.

1 zeigt ein System 1 zum Aufnehmen von 2D- und 3D-Informationen. Das System 1 weist eine Datenverarbeitungsanlage 10 auf, die in diesem Beispiel einen Prozessor (CPU) 11 aufweist, der mit einem Speicher 12 und einer Ein- und/oder Ausgabeschnittstelle 13 kommunizieren kann. Schnittstelle 13 kann mit anderen Entitäten (nicht dargestellt) kommunizieren, zum Beispiel, um 2D- und/oder 3D-Informationen zu empfangen und/oder auszugeben. Die Datenverarbeitungsanlage 10 ist mit einer Aufnahmeeinrichtung oder einem Sensor 14 verbunden. Die Aufnahmeeinrichtung 14 kann ein optisches System aufweisen, von dem nur eine Linse 15 dargestellt ist. In dem hier vorgestellten Beispiel dient die Aufnahmeeinrichtung 14 sowohl zur Aufnahme von 2D-Informationen als auch zur Aufnahme von 3D-Informationen. Die 2D-Informationen können Bildinformationen, wie sie beispielsweise durch eine herkömmliche digitale Kamera aufgenommen werden, ähneln. Die 3D-Informationen können verschiedene Formate annehmen. Ein Beispiel eines solchen Formats ist als Punktewolke bekannt. Dieses Beispiel wird benutzt, um Ausführungsbeispiele der vorliegenden Erfindung zu beschreiben.
Als Variante zu der in 1 gezeigten Anordnung könnten auch zwei oder mehrere Aufnahmeeinrichtungen statt einer einzigen Aufnahmeeinrichtung 14 vorhanden sein, wobei zumindest eine dieser Einrichtungen 2D-Informationen aufnehmen kann und zumindest eine andere Einrichtung 3D-Informationen aufnehmen kann. Bevorzugt ist in jedem Fall, dass die 2D- und 3D-Informationen aus einem ähnlichen, insbesondere gleichen, Blickwinkel und in eine ähnliche, insbesondere gleiche, Blickrichtung aufgenommen werden. Es ist somit zweckmäßig, dass das Licht (oder andere elektromagnetische Strahlung), welches zum Aufnehmen der 2D- und 3D-Informationen detektiert wird, durch ein und dieselbe Linse 15 hindurchtritt, auch wenn das Licht o.Ä. nach dem Durchtreten durch die gemeinsame Linse 15 beim Aufnehmen der 2D- bzw. 3D-Informationen verschiedenen optischen Wegen folgt.
Es werden nachfolgend verschiedene Schritte eines Verfahrens anhand von Ausführungsbeispielen beschrieben. Hierbei wird gleichzeitig auf eine der 2 bis 10, die die einzelnen Schritte darstellen, als auch auf die 11, die das gesamte Verfahren als Flussdiagramm darstellt, Bezug genommen.
2 zeigt von der in 1 dargestellten Anordnung lediglich die Aufnahmeeinrichtung 14. Der Rest der Anordnung 1 ist zum Zweck der besseren Übersicht nicht dargestellt. Außerdem zeigt 2 eine „Umwelt“ 20, hier bestehend aus einer Ebene 21 und einer quaderförmigen Struktur 22. Die Form der Umwelt 20 und die Abmessungen, Farbe usw. der Teile dieser Umwelt ist jedoch unerheblich.
Die in 2 gezeigte Anordnung enthält außerdem ein Objekt 25, für welches gemäß der Erfindung ein Modell erstellt werden soll. Objekt 25 - hier ein zylinderförmiger Gegenstand - befindet sich auf der quaderförmigen Struktur 22.
Nach dem Start 100 des Verfahrens werden in einem Schritt 101 3D-Informationen des Objekts 25 und der Umgebung 20 durch die Aufnahmeeinrichtung 14 aufgenommen. Zu diesem Zeitpunkt kann das erfindungsgemäße System im allgemeinen noch nicht zwischen dem Objekt 25 und seiner Umgebung 20 unterscheiden, so dass es zu diesem Zeitpunkt noch nicht viel Sinn machen würde, durch die Datenverarbeitungsanlage 10 Kanten oder andere charakteristische Strukturen erkennen zu lassen.
Eine beispielhafte Darstellung der im Schritt 101 aufgenommenen 3D-Informationen ist in 3 gezeigt. 3 zeigt einen Teil einer Punktewolke 30, die die Position von Oberflächenpunkten des Gesamtsystems „Objekt und Umwelt“ darstellt. Hierbei ist zu beachten, dass in dem Beispiel in 3 nur Punkte dargestellt werden, die sich auf einer Ebene befinden, die parallel zu der Vorderseite des Quaders 22 verläuft und das Objekt 25 mittig schneidet. Tatsächlich besteht die Punktewolke aus weiteren Punkten auf anderen Ebenen, die wiederum parallel zu der Vorderseite des Quaders 22 verlaufen können und das Objekt 25 an anderer Stelle schneiden oder nur die Umwelt 20, nicht aber das Objekt 25 schneiden. Zusammen ergibt sich also eine Punktewolke, wobei auch zu beachten ist, dass ein wie in 3 gezeigter Ausschnitt 30 dieser Punktewolke durch optisches Abtasten in irgendeiner Ebene entstehen kann, die nicht parallel zu der Vorderseite des Quaders 22 sein muss. Die verschiedenen Ebenen müssen auch nicht zueinander parallel sein. Des Weiteren müssen die Punkte, die die Punktwolke bilden, nicht Ebenen-weise erstellt worden sein, sondern können auch beispielsweise durch optisches Abtasten in einer radialen Richtung oder durch optisches Abtasten entlang den Richtungen eines Polarkoordinatensystems entstanden sein. Auch können die Punkte durch Abtasten an zufällig verteilten Orten entstehen. Letztendlich gibt aber die Punktewolke einen Aufschluss darüber, wo sich das Objekt 25 und dessen Umgebung 20 im dreidimensionalen Raum befindet.
Wie in 4 dargestellt, werden im Schritt 102 2D-Informationen des Objekts 25 und seiner Umwelt 20 durch die Aufnahmeeinrichtung 14 aufgenommen. Diese Informationen 40 können ein 2D-Bild im herkömmlichen Sinn darstellen. Gemäß 4 weist dieses Bild einen Außenbereich 210, der der Ebene 21 entspricht, einen zentralen Bereich 250, der dem Objekt 25 entspricht, und einem dazwischenliegenden Bereich 220, der dem Quader 22 entspricht, auf. Auch in dieser Darstellung macht es noch wenig Sinn, Kanten automatisch erkennen zu lassen, weil nicht nur die Kante am Umfang des Bereichs 250, sondern auch die Kante am Umfang des Bereichs 220 als Kante erkannt würde.
Wie in 5 dargestellt, werden im Schritt 103 auch 3D-Informationen durch die Aufnahmeeinrichtung 14 aufgenommen, die nur die Umwelt 20 betreffen. Zu diesem Zweck wurde vorher das Objekt 25 entfernt. Es entsteht somit eine Aufnahme der Umwelt 20. Diese kann im vorliegenden Beispiel wiederum die Form einer Punktewolke annehmen, wobei 6 einen Teil dieser Punktewolke 35 zeigt. Diese stellt somit eine Referenzpunktewolke 35 dar.
Es ist zu beachten, dass die 3D-Informationen der Umwelt 20 mit bzw. ohne Objekt 25 und die 2D-Informationen der Umwelt 20 mit Objekt 25 auch in einer anderen Reihenfolge erstellt werden können, also beispielsweise zunächst nur Umwelt und anschließend Umwelt mit Objekt. Als weitere Variante ist es möglich, dass die 2D- und/oder 3D-Informationen der Umwelt mit und/oder ohne Objekt auch „offline“, also nicht unbedingt vor Ort, erstellt werden können. So können diese Informationen oder ein Teil dieser Informationen auch bereits vorab erstellt worden sein und über die Kommunikationsschnittstelle 13 dem Datenverarbeitungsgerät 10 zugeführt worden sein.
Die Informationen können in dem Speicher 12 gespeichert werden.
Nachdem die 2D-Informationen von Objekt 25 und Umwelt 20 und die 3D-Informationen der Umwelt 20 mit und ohne Objekt 25 bereitgestellt wurden (entweder durch Aufnahme durch die Aufnahmeeinrichtung 14 oder über Schnittstelle 13), können 3D-Informationen ermittelt oder erzeugt werden, die sich nur oder zumindest im Wesentlichen nur auf das Objekt 25 beziehen. Dies geschieht auf Basis der 3D-Informationen der Umwelt 20 mit und ohne Objekt 25. Unter Umständen ist hierzu ein Matchen oder Registrieren der 3D-Informationen mit bzw. ohne Objekt 25 (3 bzw. 6) nötig, damit sich die Bereiche der 3D-Informationen decken, die sich nur auf die Umwelt 20 beziehen. Das Ergebnis dieses Matchens ist in 7 dargestellt (wiederum als Punktewolke 36 oder Teil einer Punktewolke). Falls die 3D-Informationen der Umwelt 20 mit und ohne Objekt 25 aus exakt dem gleichen Blickwinkel und in der exakt gleichen Blickrichtung erstellt wurden und sich in der Umwelt 20 außer dem Hinzufügen oder Wegnehmen des Objekts 25 nichts geändert hat, könnte unter Umständen auf das Matchen verzichtet werden.
Algorithmen zum Ausführen eines Matchens von zwei Punktewolken sind im Stand der Technik bekannt.
Es kann nun in einem Schritt 104 eine vierte Menge an 3D-Informationen auf Basis der ersten und der dritten Menge an 3D-Informationen erzeugt werden. Hierzu werden ausgehend von der Punktewolke 30 (Umgebung und Objekt) diejenigen Punkte entfernt, die auch in der Punktewolke 35 (Umgebung ohne Objekt) vorhanden sind. Als Ergebnis erhält man die in 8 dargestellte Punktewolke 37, die im Wesentlichen nur Punkte des Objekts, nicht aber der Umgebung, aufweist. Effektiv findet also eine Art Subtraktion der Punktewolken 30 und 35 statt.
Je nach Implementierung können die Punktewolken vor dieser „Subtraktion“ weiterverarbeitet bzw. aufbereitet werden. Es kann beispielsweise anhand der Punktewolken 30 und 35 wenigstens näherungsweise bestimmt/berechnet werden, wo sich (Ober-)Flächen der Umgebung bzw. der Gesamtheit von Umgebung und Objekt befinden. Verfahren zum mathematischen Anpassen von Flächen auf Punktewolken sind im Stand der Technik bekannt. In dem nachfolgenden Subtraktionsschritt können dann die Flächen der Umgebung von den Flächen der Gesamtheit von Objekt und Umgebung entfernt werden.
Wenn nun 3D-Informationen des Objekts bekannt sind (Punktewolke 37 oder ein entsprechendes Oberflächenmodell des Objekts oder ähnliches) können diese Informationen in einem Schritt 105 auf die zweite Menge an 2D-Informationen 40 gemappt werden. Hierzu kann anhand der Punktewolke 37 des Objekts ermittelt werden, in welchem Bereich einer 2D-Darstellung 40 (4) das Objekt 25 sich befindet. Dieser Bereich ist in 9 als Bereich 38 angedeutet, wobei dieser zur Verdeutlichung separat in der oberen Bildhälfte gezeigt ist. Im Verhältnis zu dem 2D-Bild 40 von Objekt und Umgebung befindet sich dieser Bereich 38 natürlich nicht außerhalb des 2D-Bildes 40. Die eigentliche Position des Bereichs 38 wird schematisch durch den Pfeil in 9 dargestellt, d.h. der Bereich 38, in dem sich - ermittelt aufgrund der Punktewolken von Umgebung mit und ohne Objekt - das Objekt befindet, ist der in 9 gezeigte zentrale Bereich, in dem sich tatsächlich die 2D-Abbildung des Objekts 25 befindet.
Durch die bisher beschriebenen Verfahrensschritte kann also automatisch bestimmt werden, in welchem Bereich einer 2D-Darstellung eines Objekts 25 und seiner Umwelt 20 das Objekt 25 sich befindet.
Nach Ermittlung des Bereichs 38 können nun in einem Verfahrensschritt 106 charakteristische Strukturen des Objekts 25 (wie zum Beispiel Kanten oder ähnliches) ermittelt werden. Die Ermittlung von Kanten beschränkt sich hierbei auf den Bereich 38, so dass Kanten der Umwelt nicht fälschlicherweise als Kanten des Objekts erkannt werden. 10 zeigt die ermittelten Kanten 250 des Objekts 25.
Obwohl gemäß dem obigen Ausführungsbeispiel die 3D-Darstellung des Objekts 25 (also in dem oben beschriebenen Ausführungsbeispiel die Punktewolke 37 des Objekts 25) nach dem Erstellen des 2D-Modells (Kanten 250) nicht mehr benötigt wird, kann gemäß einer Variante diese 3D-Darstellung des Objekts 25 weiterbenutzt werden, entweder im Zusammenhang mit dem 2D-Modell oder unabhängig von diesem.
In einer weiteren Ausführungsform der vorliegenden Erfindung ist ein System zum Erstellen eines Modells eines Objekts vorgesehen. Dieses System - bereits in 1 schematisch dargestellt - weist einen 2D-/3D-Sensor (Aufnahmeeinrichtung) 14 und eine Datenverarbeitungsanlage 10 auf, um die vorangehend beschriebenen Verfahrensschritte durchzuführen. Um Wiederholungen zu vermeiden, werden diese Schritte nicht noch einmal beschrieben.
In einer weiteren Ausführungsform ist ein Computerprogrammprodukt mit einem Programmcode vorgesehen. Dieser Programmcode, der auf einem von einem Computer lesbaren Medium gespeichert ist, kann beispielsweise durch die Datenverarbeitungsanlage 10 geladen werden, um das vorbeschriebene Verfahren durchzuführen.
Obwohl vorangehend beschrieben wurde, dass sich das Objekt 25 in einer Umgebung 20 befindet, wird darauf hingewiesen, dass das Objekt 25 sich auch beispielsweise auf der Umgebung befinden kann. So kann das Objekt beispielsweise auf einem Tisch oder ähnlichem positioniert sein, wie es tatsächlich auch in den Figuren gezeigt ist. Der Ausdruck „in der Umgebung“ ist also nicht hinsichtlich der Position des Objekts relativ zu seiner Umwelt eingeschränkt.
Es wurde bereits erwähnt, dass die erste, zweite und dritte Menge an 2D- bzw. 3D-Informationen bevorzugt aus dem gleichen (oder zumindest ähnlichen) Blickwinkel und in die gleiche (oder zumindest in eine ähnliche) Blickrichtung erstellt werden. Weichen die Blickwinkel oder Blickrichtungen voneinander ab, können unter Umständen Korrekturen oder Näherungsverfahren durchgeführt werden, damit das Verfahren dennoch brauchbare Ergebnisse liefert.
Gemäß einem der oben beschriebenen Verfahren werden (Ober-)Flächen der Umgebung mit und ohne Objekt 25 ermittelt und anschließend die (Ober-)Flächen der Umwelt entfernt, um (Ober-)Flächen des Objekts zu ermitteln. Stattdessen kann in ähnlicher Weise der dreidimensionale Raum, der durch die Umwelt 20 mit bzw. ohne Objekt 25 eingenommen wird, ermittelt werden. Nach entsprechender Subtraktion ergibt sich dann der dreidimensionale Raum, der (nur) von dem Objekt 25 eingenommen wird, was dann, wie vorangehend beschrieben, bei dem Mapping gemäß Schritt 105 (9) angewendet werden kann.
Obwohl in der vorhergehenden Beschreibung exemplarische Ausführungen erläutert wurden, sei darauf hingewiesen, dass eine Vielzahl von Abwandlungen möglich ist. Außerdem sei darauf hingewiesen, dass es sich bei den exemplarischen Ausführungen lediglich um Beispiele handelt, die den Schutzbereich, die Anwendungen und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die Umsetzung von mindestens einer exemplarischen Ausführung gegeben, wobei diverse Änderungen, insbesondere in Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten Merkmalskombinationen ergibt.
Bezugszeichenliste

1: System zum Ermitteln von 2D-/3D-Informationen
10: Datenverarbeitungsanlage
11: Prozessor
12: Speicher
13: Kommunikationsschnittstelle
14: Aufnahmeeinrichtung / Sensor
15: Optische Linse
20: Umwelt
21: Ebene der Umwelt
22: Quaderförmige Struktur der Umwelt
25: Objekt
30: Punktewolke (Umwelt und Objekt)
35: (Referenz-)Punktewolke (Umwelt)
36: Gematchte Punktewolke
37: Punktewolke (Objekt)
38: Durch Objekt eingenommener Bereich
40: 2D-Bild (Objekt und Umwelt)
210: 2D-Darstellung der Ebene 21
220: 2D-Darstellung der quaderförmigen Struktur 22
250: 2D-Darstellung des Objekts 25

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 7031525 [0005]
US 5748775 [0005]
US 2003/0071810 [0005]

Claims

Verfahren zum Erstellen eines Modells eines Objekts (25), aufweisend: Bereitstellen einer ersten Menge (30) an 3D-Informationen, wobei die erste Menge 3D-Informationen des Objekts und einer Umgebung (20), in der sich das Objekt befindet, aufweist; Bereitstellen einer zweiten Menge (40) an 2D-Informationen, wobei die zweite Menge 2D-Informationen des Objekts und dieser Umgebung aufweist; Bereitstellen einer dritten Menge (35) an 3D-Informationen, wobei die dritte Menge 3D-Informationen dieser Umgebung ohne das Objekt aufweist; Erzeugen einer vierten Menge (37) an 3D-Informationen auf Basis der ersten und der dritten Menge, wobei die vierte Menge 3D-Informationen des Objekts aufweist und im Wesentlichen keine 3D-Informationen dieser Umgebung aufweist; und Ermitteln von charakteristischen Strukturen des Objekts auf Basis eines Teilbereichs (250) der zweiten Menge, der der vierten Menge entspricht, um das Modell des Objekts zu erstellen.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass dieser Teilbereich der zweiten Menge sich auf räumliche Bereiche bezieht, in denen sich das Objekt befindet, insbesondere im Wesentlichen nur auf solche räumlichen Bereiche, in denen sich das Objekt befindet.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die vierte Menge an 3D-Informationen auf die zweite Menge an 2D-Informationen gemappt wird, woraus sich dieser Teilbereich der zweiten Menge ergibt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass einerseits die zweite Menge an 2D-Informationen und andererseits die erste und/oder dritte Menge an 3D-Informationen aus einem ähnlichen, bevorzugt aus dem gleichen Blickwinkel erstellt werden bzw. wurden, insbesondere durch eine zumindest teilweise gemeinsame optische Vorrichtung, vorzugsweise eine Linse (15), und weiter bevorzugt in eine ähnliche, insbesondere gleiche Blickrichtung.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die dritte Menge an 3D-Informationen mit der ersten Menge an 3D-Informationen registriert/gematcht wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Mengen an 3D-Informationen Punktewolken des Objekts bzw. der Umgebung, insbesondere deren Oberflächen sind.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das Erzeugen der vierten Menge ein Entfernen von Punkten aus der zu der ersten Menge gehörenden Punktewolke aufweist, die auch in der zu der dritten Menge gehörenden Punktewolke enthalten sind.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren das Ermitteln von Teilen eines dreidimensionalen Raumes, die von dem Objekt bzw. der Umgebung eingenommen werden, aufweist.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass das Erzeugen der vierten Menge das Subtrahieren der Teile des dreidimensionalen Raumes, die von der Umgebung eingenommen werden, von den Teilen des dreidimensionalen Raumes, die zusammen von dem Objekt und der Umgebung eingenommen werden, aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die charakteristischen Strukturen des Objekts Kanten des Objekts sind.
Verfahren zum Erstellen eines Modells eines Objekts (25), aufweisend: Ermitteln von charakteristischen Strukturen des Objekts auf Basis eines Teilbereichs (250) einer 2D-Darstellung (40) des Objekts mit dessen Umgebung (20), der einer 3D-Darstellung (37) des Objekts entspricht, die aus der Subtraktion einer 3D-Darstellung (30) des Objekts mit dessen Umgebung und einer 3D-Darstellung (35) der Umgebung ohne dieses Objekt hervorgeht.
System (1) zum Erstellen eines Modells eines Objekts (25), wobei das System aufweist: A) Mittel (14) zum Bereitstellen einer ersten Menge (30) an 3D-Informationen, wobei die erste Menge 3D-Informationen des Objekts (25) und einer Umgebung (20), in der sich das Objekt befindet, aufweist; Mittel (14) zum Bereitstellen einer zweiten Menge (40) an 2D-Informationen, wobei die zweite Menge 2D-Informationen des Objekts und dieser Umgebung aufweist; Mittel zum Bereitstellen einer dritten Menge (35) an 3D-Informationen, wobei die dritte Menge 3D-Informationen dieser Umgebung ohne das Objekt aufweist; Mittel (10) zum Erzeugen einer vierten Menge (37) an 3D-Informationen auf Basis der ersten und der dritten Menge, wobei die vierte Menge 3D-Informationen des Objekts aufweist und im Wesentlichen keine 3D-Informationen dieser Umgebung aufweist; und Mittel (10) zum Ermitteln von charakteristischen Strukturen des Objekts auf Basis eines Teilbereichs (38) der zweiten Menge, der der vierten Menge entspricht, um das Modell des Objekts zu erstellen; oder B) Mittel zum Ermitteln von charakteristischen Strukturen des Objekts (25) auf Basis eines Teilbereichs (38) einer 2D-Darstellung (40) des Objekts mit dessen Umgebung (20), der einer 3D-Darstellung (37) des Objekts entspricht, die aus der Subtraktion einer 3D-Darstellung (30) des Objekts mit dessen Umgebung und einer 3D-Darstellung (35) der Umgebung ohne dieses Objekt hervorgeht.
Computerprogrammprodukt mit einem Programmcode, der auf einem von einem Computer lesbaren Medium gespeichert ist, zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 11.