-
Die vorliegende Erfindung betrifft ein Verfahren und ein System zur Bestimmung eines kollisionsfreien dreidimensionalen Raumvolumens entlang eines Bewegungspfades gegenüber einer realen Umgebung. Ein solches Verfahren und System wird insbesondere zur Bestimmung eines dreidimensionalen Raumvolumens in Abhängigkeit eines festgelegten Bewegungspfades gegenüber einer möglichen realen Kollisionsumgebung eingesetzt. Ein solcher Bewegungspfad befindet sich beispielsweise in einer Produktionsanlage zur Herstellung von Produktionsgütern.
-
Bei einer solchen Produktionsanlage handelt es sich beispielsweise um eine bereits existierende Produktionsanlage, um Maschinen, beispielsweise in Form von Fahrzeugen oder dergleichen, herzustellen. In der Praxis ist es dabei häufig der Fall, dass etwa bei einer Produktumstellung für eine bestehende Produktionsstrasse eruiert werden muss, ob ein neues Modell, beispielsweise in Form einer neuen Fahrzeugkarosserie, in der bestehenden Produktionsstrasse ohne Kollision verarbeitet werden kann. In einem solchen Fall ist es notwendig, im Vorfeld der Produktumstellung einen dreidimensionalen Raum zu bestimmen, der entlang der bestehenden Produktionsstrasse kollisionsfrei bewegt werden kann. Anhand des so bestimmten dreidimensionalen Raumes kann festgestellt werden, ob das neue Produkt ohne Änderung der Produktionsstrasse in der bestehenden Anlage verarbeitet werden kann.
-
Bisher existierende Messverfahren zur Bestimmung eines solchen dreidimensionalen Raumes basieren beispielsweise auf Lasermessung, wobei bei einem solchen Messverfahren die Laufzeit des Lichtes zur Bestimmung der Distanz zu einem realen Raumpunkt genutzt wird. Dazu ist es notwendig, eine Laservorrichtung entlang der Produktionsstrasse zu bewegen und für jeden möglichen Kollisionspunkt die entsprechende Lasermessung durchzuführen. Andere bekannte Messverfahren verwenden beispielsweise Inertialsensoren oder sogenannte magnetische Trackingverfahren. Wiederum andere Messverfahren sehen den Einsatz realer, materieller Volumenkörper vor, welche durch den jeweiligen Prozess geführt und an den auftretenden Kollisionspunkten angepasst werden.
-
Nachteilig an derartigen manuellen Messverfahren sowie an den oben genannten Messverfahren unter Verwendung eines Sensors sind der vergleichsweise hohe Berechnungsaufwand und Zeitaufwand zur Durchführung der Berechnung. Insbesondere entsteht ein erheblicher zeitlicher Aufwand zum Durchlauf des gesamten Prozesses. Daraus resultiert eine vergleichsweise lange Störung der laufenden Produktionsprozesse durch solche Untersuchungen. Weiterhin nachteilig an manuellen Messerverfahren sind die tatsächlich auftretenden Kollisionen unter Benutzung von realen Volumenkörpern. Ferner besteht ein relativ hoher Aufwand zur Aufbereitung der Messdaten. Bei Lasermessverfahren steht der Präzision der jeweiligen Messung vor allem die Masse an Messpunkten gegenüber, wobei insbesondere Hinterschneidungen (bekannt als sogenanntes „Line-of-Sight”-Problem) mit einer kollidierenden realen Umgebung nur schlecht oder gar nicht vermessen werden können.
-
Manuell ist es nur in sehr begrenztem Rahmen möglich, ein abstraktes Volumen mit Hinterschneidungen oder unterschiedlich ausgeprägten Oberflächen zu bestimmen, mit welchem eine Kollision gegenüber beliebigen Geometrien grundsätzlich abgesichert werden kann. Mit steigender Komplexität der möglichen Kollisionsumgebung steigt der Messaufwand, die Messzeit und die Zeit zur Datenaufbereitung. Weiterhin gehen bisherige Messverfahren meist von gegebenen Geometrien aus, welche gegenüber der möglichen Kollisionsumgebung abgesichert werden müssen. Von Interesse sind jedoch meist nur die Maximalabmessungen des Raumes, welcher einen Bewegungspfad kollisionsfrei durchläuft. Je früher solche Abmessungen bekannt sind, umso besser können etwaige Kollisionen bereits während der Entwicklung der neuen Produktion vermieden werden, Maßnahmen frühzeitig geplant bzw. konkrete Aussagen in Entscheidungsfindungsprozessen getroffen werden.
-
Die Druckschrift
DE 10 2004 016 331 A1 betrifft eine Vorrichtung und ein Verfahren zur gleichzeitigen Darstellung virtueller und realer Umgebungsinformationen. Das Ziel der darin beschriebenen Lehre ist dabei, ein Verfahren zur Darstellung von Informationen, insbesondere Augmented-Reality-Informationen, für einen Anwender anzugeben, das bei reduziertem Zeit- und Kostenaufwand eine Planung neuer Anlagen bzw. eine Erweiterung bestehender Anlagen in einer aktuell existierenden Umgebung ermöglicht. Insbesondere soll mit einem solchen Verfahren beantwortet werden, ob durch bewegte Maschinenteile und Menschen Kollisionen entstehen können. In einem konkreten Anwendungsszenario werden dazu ein dreidimensionales Flächenmodell eines Förderbandes und ein dreidimensionales Simulationsmodell eines virtuellen Roboters in einem gemeinsamen Koordinatensystem dargestellt. Innerhalb dieses Koordinatensystems berechnet die Verarbeitungseinheit Verdeckungen des virtuellen Roboters, die durch das Förderband hervorgerufen werden. Als Raumerfassungsvorrichtung wird beispielsweise ein Radarsystem, ein Ultraschallsystem, ein Lasersystem oder ein Stereokamerasystem verwendet, um entsprechende Tiefeninformationen zu erhalten.
-
In
US 6,113,644 A ist ein Verfahren und ein System zum Entwurf eines Fahrzeugs beschrieben, das Zonen benutzt, die in Reichweite eines Fahrzeuginsassen liegen. Hierbei wird der Fahrzeuginsasse als elektronisches Modell in Bezug zu einem dreidimensionalen elektronischen Modell eines Teils des Fahrzeugs gesetzt. Hierbei wird kein unbekannter dreidimensionaler Raum bestimmt, vielmehr ist der Raum dreidimensional konstruiert und bekannt.
-
In
US 5,822,450 A ist ein Verfahren zur Überwachung von einem Status von Equipment mittels verteilter Messdaten beschrieben. Hierbei wird optisches Tracking eingesetzt, welches dazu dient, Messdaten mit der Realität zu überlagern.
-
In
US 2002/0151999 A1 ist ein System beschrieben, bei dem Überschneidungen bei der Planung eines automatischen Bewegungspfades entfernt werden. Hierbei wird eine Komponente einer Anordnung entfernt, wo die Komponente sich mit anderen Komponenten einer Umgebung überschneidet. Hierbei wird ein rein digitaler und datentechnischer Ablauf durchgeführt, wobei der dreidimensionale Raum rein virtuell ohne Bezug zur realen Umgebung verarbeitet wird.
-
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Bestimmung eines kollisionsfreien dreidimensionalen Raumvolumens entlang eines Bewegungspfades gegenüber einer realen Umgebung anzugeben, welches geeignet ist, eine vergleichsweise genaue Bestimmung des dreidimensionalen Raumvolumens in vergleichsweise schneller Prozesszeit vorzunehmen, v. a. wenn die Kollisionsobjekte zueinander bewegt werden. Weiterhin ist es Aufgabe der Erfindung, ein entsprechendes System bereitzustellen.
-
Diese Aufgabe wird durch ein Verfahren zur Bestimmung eines kollisionsfreien dreidimensionalen Raumvolumens entlang eines Bewegungspfades gegenüber einer realen Umgebung gemäß den Merkmalen des Patentanspruchs 1 gelöst. Weiterhin betrifft die Erfindung ein System zur Bestimmung eines dreidimensionalen Raumvolumens gegenüber einer realen Umgebung gemäß den Merkmalen des Patentanspruchs 17. Ausführungsformen und Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben.
-
Das erfindungsgemäße Verfahren zur Bestimmung eines dreidimensionalen Raumvolumens gegenüber einer realen Umgebung sieht dabei die folgenden Schritte vor: Es wird wenigstens eine Kontur der realen Umgebung in Form eines ersten virtuellen Modells beschrieben sowie das erste virtuelle Modell in Bezug auf die Kontur der realen Umgebung angeordnet. Eine Beschreibung des dreidimensionalen Raumes erfolgt in Form eines zweiten virtuellen Modells, wobei eine Ausgangsform des zweiten virtuellen Modells gegenüber dem ersten virtuellen Modell angeordnet wird. Es wird eine räumliche Position des zweiten virtuellen Modells gegenüber dem ersten virtuellen Modell bestimmt. Weiterhin erfolgt eine Bestimmung eines modifizierten zweiten virtuellen Modells auf Grundlage der bestimmten Position des zweiten virtuellen Modells, wobei der dreidimensionale Raum auf Grundlage des modifizierten zweiten virtuellen Modells bestimmt wird.
-
Mit Hilfe der Erfindung kann durch den Einsatz einer virtuellen Messgeometrie in Form des zweiten virtuellen Modells die dreidimensionale Kontur und Gestalt eines maximal möglichen Raumes bestimmt werden, welcher gegenüber einer realen Umgebung angeordnet wird und sich beispielsweise zusätzlich entlang eines festgelegten Bewegungspfades kollisionsfrei gegenüber einer realen Kollisionsumgebung bewegt. Ein Beispiel für die Messgeometrie in Form des zweiten virtuellen Modells ist ein Quader, der gegenüber dem ersten virtuellen Modell zur Nachbildung einer realen Kollisionsumgebung, wie beispielsweise einer abstrakten Säule, angeordnet und bewegt wird. Als Kollision gilt dabei die Durchdringung des zweiten virtuellen Modells mit dem ersten virtuellen Modell. Mit dieser Eigenschaft stellt die Erfindung einen Bereich der sogenannten Augmented Reality Technologie dar, in der reale Rahmenbedingungen bzw. die reale Umgebung mit virtuellen Informationen in Form von virtuellen Datenmodellen angereichert werden.
-
Das entsprechende erfindungsgemäße System weist eine entsprechende Einrichtung zur Festlegung des ersten und zweiten virtuellen Modells auf sowie eine entsprechende Bestimmungseinrichtung zur Bestimmung einer räumlichen Position des zweiten virtuellen Modells gegenüber dem ersten virtuellen Modell. Insbesondere umfasst eine solche Bestimmungseinrichtung beispielsweise eine Kamera und eine daran angeschlossene Computereinrichtung, mit welchen die Position der jeweiligen virtuellen Modelle anhand der realen Umgebung zunächst festgelegt und im weiteren Prozess bei einer Bewegung des zweiten virtuellen Modells in der Relation zu der realen Umgebung bestimmt werden kann. Hierbei erlaubt ein Augmented Reality System die Überlagerung der realen Umgebung mit computergenerierten, virtuellen Modellen. Hierzu werden die Seheindrücke der realen Welt, wie beispielsweise die digitale Aufnahme einer Kamera, mit virtuellen Informationen gemischt. Die Ausprägung virtueller Informationen kann dabei Kontext-abhängig sein, d. h. sie sind angepasst und abgeleitet von der jeweilig abgebildeten realen Umgebung. Beispielsweise wird eine dreidimensionale Geometrie zur Beschreibung eines dreidimensionalen Raumes im Raum der realen Umgebung perspektivisch korrekt positioniert.
-
Dokumentierte Anwendungen der Technologie sehen bereits einen Einsatz in der Produktion, im Service und in der Entwicklung komplexer Produkte vor. Beispielsweise sind in den Druckschriften
DE 198 32 974 A1 und
DE 101 28 015 A1 Augmented Reality Technologien in Produktionsumgebungen beschrieben.
-
In Augmented Reality Anwendungen kommen meist bekannte optische Messverfahren wie markerbasiertes Tracking, markerloses Tracking oder Infrarot-Tracking zum Einsatz. Sie basieren auf dem Verfahren, dass in ihren Abmessungen definierte Referenzgeometrien von einem Kamerasystem erfasst und vom Augmented Reality System weiterverarbeitet werden. Dieses nähert aus der Orientierung im Raum und anhand von kalibrierten Kameraparametern die Position der Referenzgeometrie in allen sechs Freiheitsgraden (drei translatorische und drei rotatorische Freiheitsgrade) numerisch an, und liefert im Ergebnis ein Koordinatensystem, über das dem Benutzer virtuelle Informationen perspektivisch korrekt im Raum dargestellt werden können. Das Koordinatensystem ist dabei in einem festen Bezug zur Referenzgeometrie. Damit werden in einem Augmented Reality System gewissermaßen Koordinatensysteme getrackt, d. h. kontinuierlich nachverfolgt, um die virtuelle Information auch bei einer geänderten Position und/oder bei einer geänderten Orientierung der Kamera bzw. des entsprechenden realen Objekts an der korrekten Position darzustellen. Eine solche Technologie wird auch für die vorliegende Erfindung eingesetzt.
-
Gemäß der Erfindung wird dementsprechend im realen Raum in Bezug auf die Kontur der realen Umgebung ein erstes Koordinatensystem festgelegt, sowie in Bezug auf das zweite virtuelle Modell ein zweites Koordinatensystem. Es erfolgt dabei eine Bestimmung der Position des zweiten virtuellen Modells gegenüber dem ersten virtuellen Modell durch Bestimmung einer jeweiligen Position des ersten und zweiten Koordinatensystems. Damit kann der räumliche Abstand zwischen dem ersten Koordinatensystem und dem zweiten Koordinatensystem berechnet werden. Da die Position des ersten virtuellen Modells zum ersten Koordinatensystem bekannt ist, kann damit die Position des ersten virtuellen Modells zu dem zweiten Koordinatensystem bestimmt werden. Die Position des zweiten virtuellen Modells wiederum ist bezüglich des zweiten Koordinatensystems bekannt, so dass insgesamt die Bestimmung der Position des zweiten virtuellen Modells gegenüber dem ersten virtuellen Modell und somit die Bestimmung eines modifizierten zweiten virtuellen Modells durchgeführt werden kann.
-
Somit lässt sich in vorteilhafter Weise zur Bestimmung des dreidimensionalen Raumes ein optisches Trackingsystem eines Augmented Reality Systems verwenden. Dies ist insbesondere dann von Vorteil, wenn das zweite virtuelle Modell in der Relation zu der Kontur der realen Umgebung bewegt wird, so dass das zweite Koordinatensystem vom optischen Trackingsystem verfolgt werden kann. Es sind jedoch auch beliebig andere Trackingsysteme verwendbar, mit denen eine Bewegung bzw. Position insbesondere des zweiten Koordinatensystems verfolgt werden kann. Hierbei wird das erste Koordinatensystem vorteilhaft in Bezug auf die Kontur der realen Umgebung in einem festen Bezug definiert, so dass das erste Koordinatensystem in einem festen Bezug zu einer interessierenden Kontur der realen Umgebung festgelegt ist.
-
In Abhängigkeit der geforderten Genauigkeit und etwaiger Abweichungen eines Bewegungspfades, entlang welchem das zweite virtuelle Modell in Form der Messgeometrie bewegt wird und verschiedene Positionen einnimmt, sind hierfür weniger oder mehr diskrete Messungen der Position der Messgeometrie gegenüber dem virtuellen Modell der realen Umgebung, im Folgenden als Kollisionsgeometrie bezeichnet, oder Interpolationen zwischen den Messungen notwendig. Die abstrakte Messgeometrie als Ergebnis kann nach Bedarf bei Änderung der äußeren Rahmenbedingungen wiederholt verwendet oder bei gleichbleibenden Rahmenbedingungen als Vorlage für weitere Verfahren verwendet werden.
-
Zur Bestimmung der Messgeometrie gegenüber einer Kollisionsgeometrie, d. h. generell zur Bestimmung des zweiten virtuellen Modells gegenüber dem ersten virtuellen Modell, können drei miteinander verwandte Variationen beschrieben werden. Hierbei ändern sich der Bewegungspfad und die Kollisionsgeometrie in ihren realen Abmessungen nicht, nur die Messgeometrie, d. h. das zweite virtuelle Modell ist variabel.
-
Gemäß einer ersten Variante erfolgt die Bestimmung des modifizierten zweiten virtuellen Modells, d. h. der modifizierten Messgeometrie, durch Beschneidung derselben. Das bedeutet, die Messgeometrie wird mit der Kollisionsgeometrie verschnitten. Das die Kollisionsgeometrie durchdringende Volumen kann vermessen oder berechnet werden, und wird in der Folge von der Messgeometrie entfernt. Voraussetzung hierfür ist, dass für die betrachtete Messung die Messgeometrie zu Beginn entsprechend überdimensioniert gegenüber den Kollisionsgeometrien ist oder mit dem ersten Messschritt festgelegt wird.
-
Gemäß einer weiteren Variante erfolgt die Bestimmung des modifizierten zweiten virtuellen Modells, d. h. die Bestimmung der modifizierten Messgeometrie durch Extrusion derselben. Das heißt für den gegebenen Anwendungsfall, dass die Messgeometrie in diskreten Zwischenschritten jeweils bis zu der Kollisionsgeometrie extrudiert wird. An jeder Messstelle wird die Messgeometrie in ihren Abmessungen bis zur Kollision mit dem virtuellen Modell der realen Umgebung (Kollisionsgeometrie) vergrößert. Tritt hierbei keine Kollision ein, wird die Ausprägung ins Unendliche oder bis zu betrachteten Abmaßen angenommen. Voraussetzung hierfür ist, dass für die betrachtete Messung die Messgeometrie zu Beginn entsprechend unterdimensioniert gegenüber den Kollisionsgeometrien ist oder mit dem ersten Messschritt festgelegt wird. Das Verfahren gleicht hierbei der oben genannten ersten Variante, jedoch wird die Messung in der Richtung umgekehrt.
-
In einer weiteren Variante erfolgt die Beschreibung des zu bestimmenden dreidimensionalen Raumes, mithin der virtuellen Messgeometrie, in einer Ausgangsform durch ein virtuelles Modell eines realen Objekts, das beispielsweise durch eine Produktionsstrasse befördert werden soll. Die so bestimmte Messgeometrie wird hierbei gegenüber der virtuellen Kollisionsgeometrie auf Kollision überprüft. Je nach Anwendung reicht es aus, dass die Kollision der Messgeometrie gegenüber der Kollisionsgeometrie abgesichert wird. Dementsprechend werden nur Kollisionsfälle oder Abstandmessungen zwischen Messgeometrie und Kollisionsgeometrie betrachtet. Voraussetzung hierfür ist, dass für die betrachtete Messung die Messgeometrie zu Beginn entsprechend sinnvoll dimensioniert gegenüber den Kollisionsgeometrien festgelegt ist oder das virtuelle Modell einer bestimmten Geometrie oder Produktes ist, welches genau untersucht werden soll. Das Verfahren gleicht hierbei der oben genannten ersten Variante, jedoch wird zur Messung statt einem überdimensionierten virtuellen Modell ein am realen Objekt orientiertes virtuelles Modell verwendet.
-
In der oben genannten ersten und zweiten Variante kann jeweils zwischen zwei Vorgehensweisen unterschieden werden: bei beiden Varianten wird das zweite virtuelle Modell in Form der Messgeometrie in Relation zu der interessierenden Kontur der realen Umgebung bewegt, wobei die Schritte der Bestimmung der Position des zweiten virtuellen Modells gegenüber dem ersten virtuellen Modell der realen Umgebung und der Bestimmung des modifizierten zweiten virtuellen Modells für mehrere unterschiedliche Positionen des zweiten virtuellen Modells durchgeführt werden.
-
In einer ersten Vorgehensweise wird das zweite virtuelle Modell in Form der Messgeometrie parallel verarbeitet. Das heißt, die Messgeometrie nimmt in Relation zu der Kontur der realen Umgebung in jeweiligen Messschritten i unterschiedliche Positionen ein. Für jeden Messschritt i wird eine Position der Messgeometrie gegenüber dem virtuellen Modell der realen Umgebung bestimmt. Für jeden Messschritt i wird eine modifizierte Messgeometrie bestimmt. Dies bedeutet, dass im Messschritt i die Messgeometrie gemäß der oben genannten ersten Variante beschnitten bzw. gemäß der oben genannten zweiten Variante extrudiert wird, um als Messgeometrie i im darauffolgenden Messschritt i + 1 direkt weiterverarbeitet zu werden.
-
Gemäß einer zweiten Vorgehensweise nimmt das zweite virtuelle Modell in Form der Messgeometrie in Relation zu der interessierenden Kontur der realen Umgebung und damit in Relation zum virtuellen Modell der realen Umgebung in jeweiligen Messschritten ebenfalls unterschiedliche Positionen ein. Für jeden Messschritt wird eine Position der Messgeometrie gegenüber dem virtuellen Modell der realen Umgebung bestimmt, und nach Ablauf von mehreren der Messschritte wird eine modifizierte Messgeometrie auf Grundlage der jeweiligen bestimmten Positionen der Messgeometrie an den einzelnen Messschritten bestimmt. Das heißt, gemäß dieser Vorgehensweise wird die Messgeometrie seriell erst nach Beenden z. B. aller Messungen verarbeitet. Dies bedeutet, dass der Messgeometrie die virtuellen Kollisionsgeometrien der realen Umgebung aus allen Schritten i von 1 bis n (n: Anzahl der Messungen) in den gemessenen Positionen gegenübergestellt werden, wobei gemäß der oben genannten ersten Variante die Messgeometrie entsprechend beschnitten und gemäß der oben genannten zweiten Variante die Messgeometrie entsprechend extrudiert wird. Ebenso ist es möglich, sich bei der Auswertung der Messdaten nur auf in Frage kommende Minima und Maxima von Kollisionen zu konzentrieren.
-
Gemäß einer vorteilhaften Ausprägung des erfindungsgemäßen Verfahrens wird als Kontur der realen Umgebung wenigstens ein Element eines Körpers, einer Ebene und/oder einer Fläche bestimmt, welches in Bezug auf übrige Elemente des Körpers, der Ebene bzw. der Fläche einen geringeren Abstand zum Bewegungspfad aufweist, entlang welchem die Messgeometrie bewegt wird. Damit ist ein Element der realen Umgebung bestimmt, welches am wahrscheinlichsten mit einem späteren Produkt, das entlang des Bewegungspfads bewegt wird, kollidiert. Die modifizierte Messgeometrie wird gemäß einer Ausführungsform dann derart bestimmt, dass diese bei erneutem Durchfahren des Bewegungspfades in Bezug auf das virtuelle Modell der realen Umgebung in einem bestimmten Abstand angeordnet ist, insbesondere mit diesem nicht in Berührung kommt. Als geforderter Abstand wird z. B. bei Berührung 0 mm oder eine Sicherheit von 10 mm definiert. Damit können bestimmte (Sicherheits-)Abstände eingehalten werden.
-
Als Kontur der realen Umgebung kann ein Teil eines Körpers, einer Ebene und/oder einer Fläche verwendet werden. Dabei ist die Kontur der realen Umgebung beispielsweise an einer engen Stelle des Bewegungspfades angeordnet. Die Kontur der realen Umgebung kann gemäß einer Ausführungsform durch ein einfaches geometrisches virtuelles Modell angenähert werden, beispielsweise durch einen einfachen geometrischen Körper und/oder durch eine einfache geometrische Fläche oder Ebene. En solcher einfacher geometrischer Körper kann insbesondere durch einen Quader, eine Kugel oder einen Zylinder beschrieben werden. Es sind in diesem Zusammenhang jedoch auch andere geometrische Formen denkbar.
-
Weitere vorteilhafte Aus- und Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben.
-
Die Erfindung wird im Folgenden anhand der in der Zeichnung dargestellten Figuren, die Ausführungsbeispiele zur vorliegenden Erfindung angeben, näher erläutert. Es zeigen:
-
1 Übersichtsdarstellungen einer Anordnung zur Bestimmung eines dreidimensionalen Raumes in Form einer virtuellen Messgeometrie, die gegenüber einer realen Umgebung entlang eines Bewegungspfads bewegt wird, gemäß einer Ausführungsform der Erfindung in einer jeweiligen schematischen Draufsicht unter Verdeutlichung der vorzunehmenden Berechnungsschritte,
-
2 ein erstes Flussdiagramm eines Berechnungsprozesses zur Bestimmung eines dreidimensionalen Raumes gegenüber einer realen Umgebung gemäß einer Ausführungsform der Erfindung,
-
3 ein zweites Flussdiagramm eines Berechnungsprozesses zur Bestimmung eines dreidimensionalen Raumes gegenüber einer realen Umgebung gemäß einer weiteren Ausführungsform der Erfindung,
-
4 eine weitere Übersichtsdarstellung einer Anordnung zur Bestimmung eines dreidimensionalen Raumes in Form einer virtuellen Messgeometrie, die gegenüber einer realen Umgebung entlang eines Bewegungspfads bewegt wird, in einer teilweisen perspektivischen Draufsicht,
-
5 Teile der Anordnung gemäß 4 in einer Seitenansicht,
-
6 jeweilige Draufsichten und korrespondierende Seitenansichten in diskreten Messpunkten von Teilen der Anordnung gemäß 4 und 5, und
-
7 eine Draufsicht und korrespondierende Seitenansichten des bestimmten dreidimensionalen Raumes in Form der verbleibenden Messgeometrie unter Entfernung von Überschneidungen mit virtuellen Kollisionsgeometrien.
-
In 1 sind mehrere Übersichtsdarstellungen einer Anordnung gezeigt, in der ein dreidimensionaler Raum in Form einer virtuellen Messgeometrie gegenüber einer realen Umgebung bestimmt wird. Eine mögliche Anwendung des erfindungsgemäßen Verfahrens ist beispielsweise in der Fertigungsindustrie gegeben. Hier soll beispielsweise für eine bestehende Produktionsstrasse überprüft werden, ob ein neues Produkt dort ohne Kollision mit bestehenden Produktionseinrichtungen verarbeitet werden kann. Beispielsweise liegt ein solches neues Produkt bisher nur in Form eines virtuellen Modells vor. Da für viele Produktionsstrassen keine vollständigen und korrekten Modelle existieren, ist ein auf visueller Informationsanreicherung basierendes Augmented Reality System für solch eine Überprüfung gut geeignet.
-
In 1 ist beispielsweise eine bestehende Produktionsstrasse durch einen Bewegungspfad 42 gekennzeichnet. Hierbei findet der Materialfluss entlang des Bewegungspfads 42 statt. Dazu dient beispielsweise ein Ladungsträger, der entlang des Bewegungspfads 42 bewegt wird. Weiterhin werden Elemente der realen Umgebung entlang des Bewegungspfads 42 identifiziert, die mit dem späteren neuen Produkt kollidieren könnten. Hierzu werden Engstellen im Produktionsfluss identifiziert, im vorliegenden Ausführungsbeispiel etwa eine Kontur der realen Umgebung 23 in der Nähe des Bewegungspfads 42. Hierbei kann als Kontur der realen Umgebung 23 ein Element eines Körpers, einer Ebene und/oder einer Fläche bestimmt werden, welches einen geringsten Abstand zum Bewegungspfad 42 aufweist. Eine derartige beispielhafte Kontur der realen Umgebung ist in 1a) in stark vereinfachter Form dargestellt und mit Bezugszeichen 23 bezeichnet. Konturen wie die Kontur der realen Umgebung 23 gemäß 1a) können auch als Störstellen bezeichnet werden, da sie diejenigen Stellen repräsentieren, welche mit einem vorbeifahrenden Objekt als Erstes kollidieren.
-
Weiterhin wird in Bezug auf die Kontur der realen Umgebung 23 ein erstes Koordinatensystem 10 im realen Raum festgelegt, das in einem festen Bezug zur Kontur der realen Umgebung 23 festgelegt ist. In einer beispielhaften Ausführungsform wird dazu eine erste Markierung an der Stelle angebracht, welche das erste Koordinatensystem 10 definieren soll. Mit Anbringung einer solchen Markierung ist die Ermittlung der Position der realen Umgebung 23 in dem ersten Koordinatensystem 10 ermöglicht.
-
Hierzu zeigt 2 ein Flussdiagramm einer ersten Ausführungsform eines Berechnungsprozesses, mit welchem ein dreidimensionaler Raum gegenüber der realen Umgebung 23 bestimmt werden kann. Im Folgenden soll die Anordnung gemäß 1 im Zusammenhang mit dem Flussdiagramm nach 2 näher erläutert werden.
-
Im Schritt 101 wurde das Raumkoordinatensystem 10 definiert, wie oben bereits beschrieben, wobei das Raumkoordinatensystem 10 einen festen Bezug zu der realen Umgebung 23 aufweist. Gemäß einem nächsten Schritt 102 wird die reale Umgebung 23 mittels einer virtuellen Geometrie 21 und einer virtuellen Ebene 22 beschrieben. Ziel ist es hierbei, die interessierende Kontur der realen Umgebung 23 in Form eines ersten virtuellen Modells 20 zu beschreiben, das sich aus mehreren einfachen geometrischen Körpern 21 bzw. Ebenen 22 oder Flächen zusammensetzen kann. Ein solches virtuelles Modell 20 ist in 1b) dargestellt. In gleicher Weise wird ein zu bestimmender dreidimensionaler Raum in Form eines zweiten virtuellen Modells 50 beschrieben, das im Folgenden vermessen werden soll. Das zweite virtuelle Modell 50 wird deshalb im Folgenden auch als Messgeometrie bezeichnet. Diese virtuelle Messgeometrie 50 wird in ihrer Ausgangsform gegenüber dem virtuellen Modell 20 der realen Umgebung 23 räumlich auf dem Bewegungspfad 42 angeordnet. Weiterhin wird ein zweites Koordinatensystem 40 im realen Raum in Bezug auf die Messgeometrie 50 festgelegt. Hierzu wird beispielsweise ein Ladungsträger im Materialfluss mit einer entsprechenden Markierung versehen, die das zweite Koordinatensystem 40 festlegt. Im weiteren Prozess, wie anhand der 1c) bis 1d) dargestellt, wird der Ladungsträger entlang des Bewegungspfads 42 verfahren, bis die Engstelle der realen Umgebung 23 auftritt bzw. passiert wird.
-
Wie anhand von 4 schematisch dargestellt, wird zur Positionsbestimmung in diesem Prozess und zur Bestimmung des dreidimensionalen Raumes ein Augmented Reality System verwendet, das als Hauptkomponenten eine Kamera 80 und eine Datenverarbeitungseinheit 90 aufweist, in welcher die genannten und im Folgenden noch beschriebenen Prozessschritte durchgeführt werden. Dem virtuellen Modell 20 der realen Umgebung (virtuelle Kollisionsgeometrie) wird beispielsweise die erste Markierung 12 zugeordnet zur Definition des Koordinatensystems 10. Der Messgeometrie 50 wird eine zweite Markierung 43 zur Definition des Koordinatensystems 40 zugeordnet, die beispielsweise an dem Ladungsträger angeordnet ist, der sich entlang des Bewegungspfads 42 bewegt. Beide Markierungen 12 und 43 werden durch ein Trackingsystem, das in dem Augmented Reality System implementiert ist, erfasst. In diesem Zusammenhang ist zu erwähnen, dass neben dem beschriebenen markerbasierten Tracking auch markerloses Tracking, Infrarot-Tracking oder andere Trackingverfahren zum Einsatz kommen können. Der Ladungsträger, an dem der Marker 43 angebracht ist, wird auch später das reale Bauteil durch die Produktionsstrasse entlang des Bewegungspfads 42 transportieren. Die Kamera 80 des Augmented Reality Systems macht im folgenden Prozess durch Videoaufnahme oder durch Fotografieren in differentiell kleinen Zeitabständen Bildaufnahmen. In jedem Bild sind sowohl die Markierung 12 als auch Markierung 43 sichtbar.
-
Durch das Augmented Reality System wird eine Position 11 des ersten Koordinatensystems 10 in Bezug auf das virtuelle Modell 20 der realen Umgebung bestimmt. Diese Position 11 ist durch einen Vektor 30 definiert, der sechs räumliche Freiheitsgrade definiert in Form von drei translatorischen und drei rotatorischen Freiheitsgraden. Mit Bestimmung des Vektors 30 (1b)) ist der Schritt 102 gemäß 2 abgeschlossen. Damit ist die räumliche Position der virtuellen Kollisionsgeometrie gegenüber dem Koordinatensystem 10 definiert. Somit besitzt die betreffende Engstelle ein oder mehrere virtuelle Körper, Ebenen und/oder Flächen mit definierter Position und spezifischen Geometriedaten.
-
Im weiteren Verlauf wird für jeden Zeitpunkt t (i) im Messpunkt i das zweite Koordinatensystem 40 der Messgeometrie 50 erfasst, im vorliegenden Ausführungsbeispiel also der Marker 43, der das Koordinatensystem 40 festlegt. Damit sind die Vektoren 60-1 und 60-2 gemäß 1c) und 1d) für unterschiedliche Positionen entlang des Bewegungspfads 42 definiert (Schritt 103 gemäß 2). Die Vektoren 60-1 und 60-2 dienen dabei zur Bestimmung einer jeweiligen Position 41 des zweiten Koordinatensystems 40 in Bezug auf das erste Koordinatensystem 10. Mit den Vektoren 60-1, 60-2 ist das Koordinatensystem 40 gegenüber dem Koordinatensystem 10 als jeweiliger Vektor in allen sechs Freiheitsgraden definiert.
-
Im Schritt 104 gemäß 2 wird der Bezug zwischen dem zweiten Koordinatensystem 40 und dem virtuellen Modell 20 der realen Umgebung bestimmt. Hierzu dient ein dritter Vektor 70-1 bzw. 70-2, wie in 1c) bis 1e) dargestellt. Der dritte Vektor 70-1 ergibt sich dabei aus der Addition des ersten Vektors 30 und des zweiten Vektors 60-1, während sich der dritte Vektor 70-2 aus der Addition des ersten Vektors 30 und des zweiten Vektors 60-2 bestimmt. Damit lässt sich für jede Position 41 des Koordinatensystems 40 im Messpunkt i der der Bezug zwischen dem Koordinatensystem 40 und dem virtuellen Modell 20 der realen Umgebung bestimmen. Daraus lässt sich die räumliche Position der Messgeometrie 50 gegenüber dem virtuellen Modell 20 der realen Umgebung bestimmen. Dem System sind damit für jede Bildaufnahme die relativen Positionen zwischen Messgeometrie und virtueller Kollisionsgeometrie der realen Umgebung sowie die Geometriedaten der Kollisionsgeometrie bekannt.
-
Im Schritt 105 gemäß 2 wird dabei für jeden Messschritt i eine modifizierte Messgeometrie 50 bestimmt, insbesondere werden gemäß dem vorliegenden Ausführungsbeispiel Durchdringungen 51 der jeweiligen Kollisionsgeometrie 20 von der Messgeometrie 50 abgezogen. Hierbei wird die Kollisionsgeometrie für jeden Messpunkt i entsprechend dem jeweiligen Bezug (Vektoren 70-1 und 70-2) von der Messgeometrie abgezogen. Die Schritte 103 bis 105 werden dabei so lange wiederholt, bis alle Messpunkte i entlang des Bewegungspfads 42 abgefahren sind. Am Ende des Prozesses erhält man im Schritt 106 als Ergebnis die verbleibende Messgeometrie 52, wie beispielsweise anhand von 7 in unterschiedlichen Ansichten näher dargestellt.
-
In 3 ist ein Flussdiagramm gemäß einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens dargestellt. Die Berechnungsschritte 201 bis 205 entsprechen dabei jeweils den entsprechenden Schritten 101 bis 105. Jedoch besteht ein Unterschied hinsichtlich der Verarbeitungsreihenfolge im Hinblick auf die einzelnen Messschritte i:
Wiederum wird die Messgeometrie 50 in Relation zu der realen Umgebung 23 in jeweiligen Messschritten i unterschiedlich positioniert. Hierbei werden die Vektoren 70-1 bzw. 70-2 für jeden Messpunkt i für unterschiedliche Positionen 41 des Koordinatensystems 40 berechnet, wobei das jeweilige Ergebnis gespeichert wird. Die Schritte 203 und 204 werden so lange wiederholt, bis alle im Materialfluss auftretenden Engstellen abgefahren sind. Für jeden Messschritt i ist somit die Position des Koordinatensystems 40 und somit der Messgeometrie 50 gegenüber der virtuellen Kollisionsgeometrie 20 bestimmt. Erst nach Ablauf von mehreren der Messschritte, im vorliegenden Ausführungsbeispiel nach Ablauf aller Messschritte i, wird die modifizierte Messgeometrie 52 bestimmt. Dies kann in einem externen Arbeitsschritt 205 durchgeführt werden, in welchem erst dem Koordinatensystem 40 die virtuelle Messgeometrie 50 mit begrenzten Abmaßen zugewiesen wird.
-
Ein solcher Arbeitsschritt ist beispielsweise in 1e) repräsentiert. Der so bestimmten Ausgangsform der Messgeometrie 50 werden die Kollisionsgeometrien aus allen Schritten i von 1 bis n (n: Anzahl der Messungen) in den gemessenen Positionen anhand der Vektoren 70-1 und 70-2 gegenübergestellt. Als Kollision gilt hierbei die Durchdringung 51 der Messgeometrie 50 mit dem virtuellen Modell 20 der realen Umgebung. Wie in 1f) dargestellt, wird zum Erhalt der modifizierten Messgeometrie 52 die jeweilige Durchdringung 51 von der Ausgangsform der Messgeometrie 50 abgezogen. Mit anderen Worten, wird jeder durchdringende Körper des virtuellen Modells 20 der realen Umgebung entsprechend seiner zugehörigen relativen Position an jedem Messpunkt i aus der Ausgangsform der Messgeometrie 50 ausgeschnitten. Der verbleibende dreidimensionale Raum in Form der modifizierten Messgeometrie 52 stellt das Volumenmodell dar, welches im gesamten Materialfluss mit keinem Körper der realen Umgebung kollidieren würde.
-
Das anhand von 1 bis 3 beschriebene erfindungsgemäße Verfahren kann im weiteren Verlauf auch für jede weitere Engstelle im Produktionsfluss entlang des Bewegungspfads 42 durchgeführt werden.
-
In 6 ist anhand jeweiliger Darstellungen an den einzelnen Messpunkten i der zuvor beschriebene Prozess zur Berechnung des dreidimensionalen Raumes in Form der Messgeometrie 50 nochmals anhand konkreter geometrischer Formen dargestellt. Hierbei zeigt beispielsweise 6a) eine Draufsicht auf die beschriebene Anordnung, während 6b) eine korrespondierende Seitenansicht der Anordnung zeigt. Entsprechendes gilt für die nachfolgenden Darstellungen gemäß 6c) bis 6n). Die aus der Messgeometrie 50 ausgeschnitten Volumenteile sind entsprechend der Darstellung nach 1e) mit 51 bezeichnet.
-
In 7 ist das Ergebnis des bestimmten dreidimensionalen Raumes in Form der modifizierten Messgeometrie 52 anhand einer Ausführungsform dargestellt. Bei 7a) handelt es sich um eine Draufsicht, während 7b) und 7c) jeweilige Seitenansichten des bestimmten dreidimensionalen Raumes 52 zeigen. Anhand der gestrichelt dargestellten Konturen an den Stellen 51 ist verdeutlicht, dass es sich hierbei um ein diskretes Berechnungsverfahren handelt, wobei die einzelnen Berechnungsschritte entsprechend den diskreten Messschritten i anhand der gestrichelten Konturen sichtbar sind. Es ist jedoch auch möglich, in einer Ausführungsform der Erfindung den dreidimensionalen Raum 52 zwischen den einzelnen Messschritten durch Interpolation zu bestimmen, so dass sich insgesamt eine kontinuierliche Struktur des bestimmten dreidimensionalen Raumes ergibt.
-
Gemäß weiteren Ausführungsformen der Erfindung kann alternativ zu den Schritten 102 bzw. 202 gemäß 2 und 3 die reale Umgebung mit Verfahren der Rückdigitalisierung als virtuelles Modell gewonnen werden. Ferner ist es in Abhängigkeit des gewählten Trackingsystems ebenso möglich, dass das virtuelle Datenmodell der realen Umgebung durch entsprechende Vorbereitung der zu modellierenden realen Umgebung aus Trackingdaten rückdigitalisiert werden kann.
-
Ob sich das Koordinatensystem 10 gegenüber dem Koordinatensystem 40 im Bezug (Vektoren 70-1, 70-2) auf dem Bewegungspfad 42 bewegt oder umgekehrt, oder sich beide relativ zueinander bewegen, ist für das Ergebnis der Messung nicht von Bedeutung. Je nach geforderter Genauigkeit ist es möglich, für den Messpunkt i dem Ergebnis der Messgeometrie die Sicherheit des verwendeten Messverfahrens aufzuprägen, um im Anschluss Aussagen über die Zuverlässigkeit der beschriebenen Geometrie treffen zu können. Der Übergang von diskreten Zwischenschritten i zu hochgenauen Abläufen durch Erhöhung der Anzahl der Messpunkte oder durch Spline-Interpolation ist ebenso eine Frage der geforderten Genauigkeit, wie die Weiterverarbeitung der Messgeometrie.
-
Es ist für die Messung nicht relevant, wie komplex eine reale Kollisionsgeometrie (reale Umgebung) ist, da sie sich durch mehrere in einem Koordinatensystem 10 verknüpfte virtuelle Geometrien 21 und Ebenen 22 beschreiben lässt.
-
Das erfindungsgemäße Verfahren weist insbesondere die folgenden Vorteile auf:
Mit dem beschriebenen Verfahren ist es möglich, Messungen an beliebigen Raumpunkten durchzuführen, die mit manuellen Methoden nur schwer zu erfassen sind. Im Vergleich zu einer reinen 3D-Lasermessung ist es möglich, Hinterschneidungen aus der Bewegung der Messgeometrie zu modellieren, die wegen des „Line-of-Sight”-Problems eines Lasers nicht beschrieben werden können. Ferner besteht bezüglich der Messung des Raumvolumens kein eingeschränktes Sichtfeld („Field of View”) auf die Messgeometrie und Kollisionsgeometrie der realen Umgebung.
-
Ein großer Vorteil besteht in der kurzen Zeitspanne zwischen der Vermessung und den ersten Aussagen zum Messergebnis. Da gemäß einer Variante des beschriebenen Verfahrens die Messung des resultierenden Vektors 70-1, 70-2 nahezu parallel zur Auswertung erfolgt, wird je Messpunkt i bereits ein Zwischenergebnis generiert. Das Endergebnis in Form des modifizierten virtuellen Modells des realen Raums liegt bereits zum Ende der Messung vor und kann noch vor Ort verifiziert werden.
-
Ferner lassen sich Kollisionsgeometrien einfach beschreiben, entweder als vordefiniertes virtuelles Modell, rückdigitalisiert oder als abstrakte Geometrie etwa in Form einer Ebene, die für die Kollision relevant ist.
-
Die Messgenauigkeit hängt im wesentlichen nur von der Auflösung des verwendeten Trackingsystems ab, da die Geometrien aus allen weiteren Daten, wie beschrieben, berechnet werden.
