DE102018207128A1

DE102018207128A1 - Verfahren zum automatischen Platzieren eines ersten Gegenstands auf einem zweiten Gegenstand

Info

Publication number: DE102018207128A1
Application number: DE102018207128.4A
Authority: DE
Inventors: Jochen Björn Suessmuth; Jens Raab
Original assignee: Adidas AG
Current assignee: Adidas AG
Priority date: 2018-05-08
Filing date: 2018-05-08
Publication date: 2019-11-14
Also published as: WO2019215180A1

Abstract

Die vorliegende Erfindung bezieht sich auf ein Verfahren zum automatischen Platzieren eines ersten Gegenstands auf einem zweiten Gegenstand durch eine Maschine, das die folgenden Schritte umfasst: Erfassen einer digitalen Darstellung des zweiten Gegenstands; Feststellen einer Verformung des zweiten Gegenstands auf der Grundlage der digitalen Darstellung und eines digitalen Modells des zweiten Gegenstands; Bestimmen einer zweiten Position des ersten Gegenstands auf dem zweiten Gegenstand auf der Grundlage einer ersten Position des ersten Gegenstands auf dem digitalen Modell und der Verformung; und Platzieren des ersten Gegenstands an der zweiten Position auf dem zweiten Gegenstand.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf ein Verfahren zum automatischen Platzieren eines ersten Gegenstands auf einem zweiten Gegenstand.
Stand der Technik
Heute werden viele Produkte voll- oder zumindest teilautomatisiert hergestellt. Oftmals erfordert dies, dass ein Gegenstand von einer Maschine ohne menschliches Eingreifen auf einem anderen Gegenstand platziert wird, beispielsweise um den ersten Gegenstand dauerhaft an dem zweiten Gegenstand anzubringen. Bei der Massenproduktion ist es sehr wünschenswert, dass der erste Gegenstand immer genau an derselben Stelle auf dem zweiten Gegenstand platziert wird, damit die Fertigungstoleranzen zugunsten hoher Produktqualität und niedriger Ausschussquoten so gering wie möglich bleiben.
Der zweite Gegenstand befindet sich unter Umständen nicht immer an derselben Stelle, wenn der erste Gegenstand darauf platziert wird. Dies kann durch Toleranzen beim Fließbandmechanismus bedingt sein, der zum Bewegen des zweiten Gegenstands verwendet wird. Wird derselbe Gegenstand mehrere Male automatisch platziert, sind die Positionen des Gegenstands vielmehr mit einer gewissen Abweichung um die gewünschte Position herum verteilt. Außerdem weicht die Ausrichtung des Gegenstands unter Umständen auch von einer gewünschten Ausrichtung ab.
Es ist bekannt, Abweichungen bei der Position und Ausrichtung eines Gegenstands zu berücksichtigen, indem ein optisches Erkennungssystem dazu verwendet wird, die Translation und Rotation des Gegenstands im Verhältnis zur gewünschten Position und Ausrichtung festzustellen und um Abweichungen bei der Translation und Rotation des Gegenstands auszugleichen, wenn ein anderer Gegenstand darauf platziert wird. Auf diese Weise können ungewollte Abweichungen in gewissem Maße ausgeglichen und Fertigungstoleranzen verbessert werden.
Doch die bekannten Verfahren versagen bei verformbaren oder nichtstarren Gegenständen wie beispielsweise Textilien. Im Gegensatz zu starren Gegenständen weisen verformbare oder nichtstarre Gegenstände zusätzlich zu Translation und Rotation weitere Freiheitsgrade auf. Beispielsweise können sie sich in der Größe verändern, verbiegen, verwinden und/oder scheren etc. Der Ausgleich von Translation und Rotation allein reicht nicht aus, um die korrekte Position des ersten Gegenstands auf dem zweiten Gegenstand zu bestimmen. In manchen Situationen zeigen bekannte Verfahren keinerlei Verbesserung bei verformbaren oder nichtstarren Gegenständen, und der erste Gegenstand wird meistens an der falschen Stelle auf dem zweiten Gegenstand platziert. Dies führt zu höheren Fertigungstoleranzen und einer höheren Ausschussquote.
Angesichts dieser Nachteile ist es die der vorliegenden Erfindung zugrundeliegende Aufgabe, ein Verfahren zum automatischen Platzieren eines ersten Gegenstands auf einem zweiten Gegenstand bereitzustellen, das die Fertigungstoleranzen und die Ausschussquote selbst bei verformbaren und nichtstarren Gegenständen verbessert.
Zusammenfassung der Erfindung
Diese Aufgabe wird gelöst durch ein Verfahren zum automatischen Platzieren eines ersten Gegenstands auf einem zweiten Gegenstand durch eine Maschine, das die folgenden Schritte umfasst: Erfassen einer digitalen Darstellung des zweiten Gegenstands; Feststellen einer Verformung des zweiten Gegenstands auf der Grundlage der digitalen Darstellung und eines digitalen Modells des zweiten Gegenstands; Bestimmen einer zweiten Position des ersten Gegenstands auf dem zweiten Gegenstand auf der Grundlage einer ersten Position des ersten Gegenstands auf dem digitalen Modell und der Verformung; und Platzieren des ersten Gegenstands an der zweiten Position auf dem zweiten Gegenstand.
Das Verfahren kann durch jede beliebige Maschine durchgeführt werden, die in der Lage ist, einen ersten Gegenstand automatisch auf einem zweiten Gegenstand zu platzieren, wie beispielsweise ein Roboter im weitesten Sinne. Das Verfahren gemäß der Erfindung berücksichtigt die vom zweiten Gegenstand erfahrene Verformung auf vorteilhafte Weise. Eine solche Verformung kann, wie erläutert, bei verformbaren oder nichtstarren Gegenständen auftreten. Die Verformung bezieht sich auf eine „ideale“, nicht verformte, Form des Gegenstands, die durch ein digitales Modell des Gegenstands vorgegeben ist. Die Verformung wird auf der Grundlage einer digitalen Darstellung des eigentlichen Gegenstands, wie er zum Beispiel auf ein Fließband platziert ist, und seines digitalen („idealen“) Modells feststellt. Aufgrund der Verformungen weicht die digitale Darstellung des Gegenstands vom digitalen Modell ab. Anders als im Stand der Technik beruhen diese Abweichungen nicht nur auf der Translation und Rotation, sondern berücksichtigen auch Abweichungen wegen Verformungen, die bei verformbaren, nichtstarren Gegenständen vorkommen.
Gemäß dem Verfahren der Erfindung ist die „ideale“ (erste) Position des ersten Gegenstands auf dem zweiten Gegenstand bekannt. Würde der erste Gegenstand jedoch ohne Berücksichtigung der Verformungen einfach an dieser ersten Position platziert, wäre die tatsächliche Position falsch, was im schlimmsten Fall zu einem nicht spezifikationsgerechten Produkt führen würde. Daher werden die Verformungen derart berücksichtigt, dass eine zweite (aktualisierte) Position auf der Grundlage der gewünschten (ersten) Position und der festgestellten Verformungen des zweiten Gegenstands berechnet wird. Anschließend wird der erste Gegenstand auf dem zweiten Gegenstand platziert.
Auf diese Weise wird die Streuung bei der Position des ersten Gegenstands auf dem zweiten Gegenstand erheblich verringert. Im Ergebnis werden Fertigungstoleranzen verringert, was zu einer höheren Produktqualität führt. Da weniger Produkte bei nachfolgenden Qualitätskontrollen durchfallen, wird außerdem auch die Ausschussquote verringert.
Zusätzlich zur Position des ersten Gegenstands kann auch seine Ausrichtung auf der Grundlage seiner Ausrichtung im digitalen Modell und der festgestellten Verformung bestimmt werden.
Das Erfassen der digitalen Darstellung des zweiten Gegenstands kann optische Mittel beinhalten. Insbesondere kann das Erfassen der digitalen Darstellung des zweiten Gegenstands das Aufnehmen eines Fotos des zweiten Gegenstands umfassen. Das Aufnehmen eines Fotos ist sehr geeignet, um die digitale Darstellung zu erhalten, da Digitalkameras für Industrieanwendungen ohne Weiteres verfügbar sind. Außerdem verfügen solche Kameras gegebenenfalls über eine hohe Auflösung, sodass die digitale Darstellung sehr genau sein kann.
Das Foto kann mit einer kalibrierten Kamera aufgenommen werden, um vom zweiten Gegenstand ein entzerrtes Bild zu erhalten. Dadurch ist es möglich, das Bild zu entzerren, um jegliche Verzerrung der Kamera zu korrigieren und die tatsächliche Position und Form des zweiten Gegenstands nachzuvollziehen.
Das Verfahren kann weiterhin den Schritt des Umwandelns des Bildes in einen metrischen Raum unter Verwendung der Kalibrierungsdaten der Kamera umfassen. Bei einem solchen metrischen Raum entspricht jeder Pixel einer klar definierten Entfernung, z. B. 1 mm. Zusätzlich können die Winkel korrigiert werden, sodass rechte Winkel im entzerrten Foto mit 90° erscheinen. Deshalb kommt die digitale Darstellung des Gegenstands im metrischen Raum der tatsächlichen Position und Form des Gegenstands im physikalischen Raum sehr nahe.
Der Schritt des Feststellens der Verformung des zweiten Gegenstands kann das Erfassen des Unterschieds zwischen einem Vergleichsfoto und dem Foto des zweiten Gegenstands umfassen. Das Erfassen des Unterschieds ist recht leicht umsetzbar, und dennoch sehr zuverlässig beim Erkennen jedweder Verformung des zweiten Gegenstands. Das Vergleichsfoto kann die Stelle zeigen, an welcher der zweite Gegenstand zu platzieren ist, beispielsweise ein Fließband, jedoch ohne den zweiten Gegenstand.
Der Schritt des Bestimmens der zweiten Position des ersten Gegenstands auf dem zweiten Gegenstand umfasst gegebenenfalls die Anwendung einer Funktion, welche die erste Position auf die zweite Position abbildet. Die Funktion kann auf der festgestellten Verformung beruhen. Die Funktion kann also eine Abbildung ℝ² → ℝ² definieren, welche die Verformung des zweiten Gegenstands berücksichtigt, und die korrigierte Position des ersten Gegenstands kann einfach durch Anwendung der Funktion auf die ursprüngliche Position im digitalen Modell des zweiten Gegenstands erhalten werden.
Der Schritt des Feststellens der Verformung des zweiten Gegenstands kann das Freistellen eines Umrisses des zweiten Gegenstands umfassen. Der Umriss eines Gegenstands kann gegen einen Hintergrund in einer anderen Farbe ermittelt werden. Außerdem bietet der Umriss alle Informationen, die notwendig sind, um die Verformung des Gegenstands festzustellen.
Der Schritt des Feststellens der Verformung des zweiten Gegenstands kann das Erkennen einer ersten Vielzahl von Merkmalen in der digitalen Darstellung umfassen. Merkmale sind als ausgeprägte „Orientierungspunkte“ zu verstehen, die leicht erkannt werden können, beispielsweise scharfe Ecken, Vertiefungen, Zacken etc. Die Merkmale können also charakteristische Merkmale des Umrisses sein. Bei einem weiteren Beispiel können die Merkmale absichtlich auf den zweiten Gegenstand aufgebracht sein. Zum Beispiel können charakteristische Symbole auf dem zweiten Gegenstand aufgedruckt sein. Die Symbole können Teil des allgemeinen Designs des Gegenstands sein. Die Merkmale oder Symbole sind also von einem Algorithmus leicht erkennbar, wohingegen ein Mensch die Merkmale oder Symbole unter Umständen nicht als „Orientierungspunkte“ wahrnimmt.
Der Schritt des Feststellens der Verformung des zweiten Gegenstands kann das Ermitteln einer zweiten Vielzahl von Merkmalen im digitalen Modell, die der ersten Vielzahl von Merkmalen entspricht, umfassen. Auf diese Weise kann ein Abbilden der Merkmale des digitalen Modells des „idealen“ Gegenstands auf die Merkmale in der digitalen Darstellung des tatsächlichen Gegenstands erhalten werden, um zum Bestimmen der Funktion beizutragen.
Der Schritt des Feststellens der Verformung des zweiten Gegenstands kann das Feststellen einer ersten Vielzahl von Punkten in der digitalen Darstellung auf der Grundlage der ersten Vielzahl von Merkmalen sowie das Feststellen einer zweiten Vielzahl von Punkten im digitalen Modell auf der Grundlage der zweiten Vielzahl von Merkmalen umfassen. Auf diese Weise kann eine „dünn besetzte“ Darstellung von Merkmalen durch eine „dicht besetzt“ Darstellung von Punkten aufgestockt werden. Die Punkte können beispielsweise dicht auf dem Umriss des Gegenstands liegen.
Der Schritt des Feststellens der Verformung des zweiten Gegenstands kann das gleichmäßige Abtasten eines ersten Wegs zwischen mindestens zwei aneinander angrenzenden Merkmalen der ersten Vielzahl von Merkmalen mit einer vorbestimmten Anzahl von Punkten umfassen, um die erste Vielzahl von Punkten zu erhalten, und das gleichmäßige Abtasten eines zweiten Wegs zwischen mindestens zwei aneinander angrenzenden Merkmalen der zweiten Vielzahl von Merkmalen mit der vorbestimmten Anzahl von Punkten umfassen, um die zweite Vielzahl von Punkten zu erhalten. Dadurch ist es möglich, eine dicht besetzte Darstellung von Punkten sowohl im digitalen Modell als auch in der digitalen Darstellung des tatsächlichen Gegenstands, die einander entsprechen, zu erhalten.
Das Verfahren kann ferner das Bestimmen der Funktion umfassen, sodass sie die erste Vielzahl von Punkten auf die zweite Vielzahl von Punkten abbildet. Auf diese Weise wird mithilfe der Vielzahl von Punkten eine Abbildung ℝ² → ℝ² erhalten. Die Vielzahl von Punkten sowohl im digitalen Modell als auch in der digitalen Darstellung dient dem Bestimmen der Funktion - womöglich unter einigen zusätzlichen Annahmen.
Das Bestimmen der Funktion kann folgendes umfassen: Das Eingrenzen der zweiten Vielzahl von Punkten in einem gleichmäßigen Gitter; das Ausdrücken der Koordinaten eines jeden Punktes der zweiten Vielzahl von Punkten als Linearkombination von ersten Gitterpunkten; und das Auflösen nach zweiten Gitterpunkten, sodass jeder Punkt der ersten Vielzahl von Punkten bei erneuter Berechnung unter Verwendung der entsprechenden Linearkombination von zweiten Gitterpunkten mit einem entsprechenden Punkt der zweiten Vielzahl von Punkten übereinstimmt. Das Übereinstimmen muss in diesem Zusammenhang nicht exakt sein. Es ist vielmehr ausreichend, wenn die Punkte bis auf einen kleinen Abstand miteinander übereinstimmen. Das Eingrenzen des Gegenstands in einem Gitter ermöglicht das Bestimmen der Funktion überall auf dem Gegenstand. Wenn der Umriss des Gegenstands zum Beispiel verwendet wird, um die Verformung festzustellen, ist es mithilfe des Gitters möglich, die Funktion auch an Punkten zu berechnen, die vom Umriss beabstandet sind.
Es sei angemerkt, dass das im vorliegenden Dokument beschriebene Verfahren nicht auf das Anpassen einer Funktion beschränkt ist, die auf einem strukturierten/unstrukturierten Gitter bzw. durch ein strukturiertes/unstrukturiertes Gitter definiert wird. Stattdessen könnte jeder andere geeignete Funktionstyp (z. B. ein Polynom, das beispielsweise als radiale Basisfunktion definiert ist), der zur Beschreibung von Verformungen verwendet werden kann, angepasst werden.
Der Schritt des Auflösens kann das Lösen einer Kleinste-Quadrate-Aufgabe unter Einbeziehung einer Energiefunktion umfassen. Wie bereits erläutert braucht die Übereinstimmung zwischen den Punkten im digitalen Modell und der digitalen Darstellung nicht exakt zu sein, sondern kann im Sinne von kleinsten Quadraten sein. Die Verwendung einer Energiefunktion ermöglicht es, Verformungen aufgrund der starren Beschaffenheit des Gegenstands zu berücksichtigen, und hilft dabei, den Gegenstand so starr wie möglich als Modell abzubilden. Die übrigen Verformungen, die nicht durch starre Transformationen (Translation und Rotation) zu erklären sind, haben ihren Ursprung in nichtstarren Verformungen, aufgrund derer der Gegenstand sich in der Größe verändert, verbiegt, verwindet, schert etc.
Die Energiefunktion kann die Plausibilität der Verformung des zweiten Gegenstands unter der Annahme, dass der zweite Gegenstand so starr wie möglich ist, messen. Die Energie, die durch diese Annahme nicht zu erklären ist, hat ihren Ursprung also in nichtstarren Verformungen.
Der erste Gegenstand kann ein Patch, eine Verstärkung oder ein Logo sein. Die vorliegende Erfindung kann bei dieser Art von Gegenständen vorteilhaft angewendet werden, da jegliche falsche Positionierung solcher Gegenstände selbst für das bloße Auge sofort ersichtlich ist.
Der zweite Gegenstand kann ein Schuhoberteil sein. Schuhoberteile sind üblicherweise recht flexibel und können leicht verformt werden, da sie von einer flachen Ausgestaltung in eine dreidimensionale Ausgestaltung umgeformt werden, was nicht ohne Verformung möglich ist. Somit sind Schuhoberteile also besonders anfällig für die oben skizzierten Probleme. Deshalb ist die Anwendung der Erfindung bei Schuhoberteilen besonders vorteilhaft.
Das digitale Modell des zweiten Gegenstands kann ein CAD-Modell (CAD = computer-aided design) sein. Durch die Verwendung von geeigneter CAD-Software kann der zweite Gegenstand, wie zum Beispiel ein Schuhoberteil, von einem Designer entwickelt werden. Ein CAD-Modell ist sehr präzise und kann mithilfe von elektronischen Mitteln mit anderen Designern oder mit den für die Herstellung Verantwortlichen ausgetauscht werden. Außerdem ermöglicht CAD die recht schnelle Einarbeitung von Aktualisierungen oder Änderungen des Modells.
Das Verfahren kann weiterhin den Schritt der Wärme- und/oder Druckanwendung zum Anbringen des ersten Gegenstands an dem zweiten Gegenstand umfassen. Auf diese Weise kann der erste Gegenstand fest mit dem zweiten Gegenstand verbunden werden. Dank der Erfindung kann auf eine Sichtkontrolle der Position des ersten Gegenstands, bevor dieser dauerhaft angebracht wird, verzichtet werden, da die Erfindung sicherstellt, dass die Position selbst bei Vorliegen von Verformungen die korrekte Position ist.
Ein weiterer Aspekt der vorliegenden Erfindung ist auf ein Computerprogramm gerichtet, das Anweisungen umfasst, die bewirken, dass ein Computer ein Verfahren gemäß der im vorliegenden Dokument beschriebenen Erfindung ausführt. Ein solches Computerprogramm kann zur Steuerung wie im vorliegenden Dokument beschrieben einer zugehörigen Produktionsmaschine zur Verfügung gestellt werden.
Ein weiterer Aspekt der vorliegenden Erfindung ist auf einen Sportartikel gerichtet, der gemäß einem Verfahren nach einem der vorhergehenden Ansprüche hergestellt wird. Dank der Erfindung sind die Fertigungstoleranzen eines solchen Sportartikels sehr gering. Außerdem ist die Ausschussquote gering, sodass der Sportartikel zu niedrigeren Kosten hergestellt werden kann. Bei dem Sportartikel kann es sich um einen Sportschuh handeln.
Figurenliste
Nachfolgend werden beispielhafte Ausführungsformen der Erfindung unter Bezugnahme auf die Figuren beschrieben. Die Figuren zeigen:

1A-C sind eine Abbildung der der vorliegenden Erfindung zugrundeliegenden Aufgabe;
2 ist ein Flussdiagramm einer beispielhaften Ausführungsform des erfindungsgemäßen Verfahrens;
3A ist ein Foto eines tatsächlichen, verformten Schuhoberteils, das mit einer kalibrierten Kamera aufgenommen wurde;
3B zeigt ausgeprägte Merkmale auf dem Umriss des Schuhoberteils aus 3A; und
4A und 4B sind eine Abbildung eines Aspekts der vorliegenden Erfindung.

Detaillierte Beschreibung bevorzugter Ausführungsformen
Die der vorliegenden Erfindung zugrundeliegende Aufgabe wird durch 1A, 1B und 1C veranschaulicht. In 1A ist der Umriss 11a eines Oberteils 10 für einen Schuh abgebildet. Ein solches Schuhoberteil besteht üblicherweise aus einem Textilmaterial, wie zum Beispiel einem Gewebe, Gestrick oder Gewirk, Mesh etc. In den 1A, 1B und 1C ist das Oberteil 10 in einer flachen (2D-)Ausgestaltung dargestellt. Wenn das Oberteil 10 schlussendlich in einen Schuh, wie zum Beispiel einen Sportschuh, eingearbeitet wird, wird das Oberteil 10 in eine dreidimensionale Form gebracht, beispielsweise durch Nähen, Kleben und/oder Aufleisten des Oberteils 10. Außerdem kann das Oberteil 10 mit Wärme und/oder Druck behandelt werden, sodass das Oberteil 10 seine dreidimensionale Form beibehält.
Im Beispiel der 1A, 1B und 1C ist eine Zunge 12 mit dem Oberteil verbunden. Die Zunge 12 wird im Vorgang später vom Rest des Oberteils abgetrennt und in den Mittelfußbereich des Oberteils 10 genäht oder geklebt. Außerdem ist ein Patch 13 dargestellt, der während der Herstellung auf dem Oberteil platziert wird. In diesem Beispiel wird der Patch 13 in einem Fersenbereich des Oberteils 10 platziert. Der Patch kann beispielsweise aus Polyurethan (PU), wie zum Beispiel thermoplastischem Polyurethan (TPU), gemacht sein. Der Patch 13 wird vollautomatisiert auf dem Oberteil 10 platziert, wie nachstehend genauer beschrieben wird.
1A zeigt ein CAD-Modell (CAD = computer-aided design) des Oberteils 10 wie es zum Beispiel durch eine CAD-Software, die auf einem Computer ausgeführt wird, entsteht. Das CAD-Modell dient als digitales Modell des Oberteils 10 und stellt das Oberteil 10 so dar, wie es idealerweise aus dem Herstellungsvorgang hervorgehen sollte.
In 1B ist der CAD-Umriss 11a des Oberteils 10 aus 1A dargestellt. Außerdem ist in 1B der Patch 13 an seiner vorgesehenen Position auf dem Oberteil 10, also gemäß dem CAD-Modell der 1A, dargestellt. Zudem ist in 1B der Umriss 11b des Oberteils 10 gezeigt, nachdem ein Patch 13 in einem echten Herstellungsvorgang platziert wurde. Wie in 1B gezeigt ist, ist der Umriss 11b in Bezug auf den Idealumriss 11a des digitalen Modells des Oberteils 10 verformt. Diese Verformung ist auf die nichtstarre Beschaffenheit des Textilmaterials des Oberteils 10 zurückzuführen. Das Material kann sich in der Größe verändern, verbiegen, verwinden, scheren etc., wenn es beispielsweise auf einem Fließband platziert wird.
Wenn der Patch 13 nun jedoch an der durch das digitale Modell, also das CAD-Modell, vorgegebenen Position auf dem verformten Oberteil 10 platziert wird, wird er sich letztendlich an der falschen Position auf dem Oberteil 10 befinden, wie in 1C gezeigt. Diese Figur zeigt den tatsächlichen Umriss 11b des verzerrten Oberteils 10 mit dem platzierten Patch 13. Wie durch einen Vergleich von 1A und 1C ersichtlich wird, befindet sich der Patch nicht an der Position gemäß dem CAD-Modell. Die Abstände des Patchs 13 zum Umriss 11b sind ganz anders als im Modell der 1A.
Die Aufgabe wurde im Hinblick auf das Platzieren eines Patchs 13 auf dem Schuhoberteil 10 beschrieben, doch das Problem besteht grundsätzlich, wenn ein erster Gegenstand automatisch auf einem nichtstarren zweiten Gegenstand platziert wird. Die durch die vorliegende Erfindung zur Verfügung gestellte Lösung ist also nicht auf Schuhoberteile beschränkt, sondern kann auf beliebige Sportartikel, Modeartikel, Produkte für die Automobilindustrie, Möbelindustrie etc. angewendet werden. Der erste Gegenstand kann außerdem ein Patch, eine Verstärkung, ein Logo, ein Aufdruck etc. sein.
2 stellt das Verfahren 20 gemäß der vorliegenden Erfindung mittels eines Flussdiagramms dar. Wieder wurde das Platzieren eines Patchs 13 auf einem Schuhoberteil 10 als zugrundeliegendes Beispiel verwendet. Wie oben kurz dargestellt, ist die vorliegende Erfindung jedoch nicht auf dieses Beispiel beschränkt. Daher ist die Erfindung allgemein auf ein Verfahren zum automatischen Platzieren eines ersten Gegenstands auf einem zweiten Gegenstand durch eine Maschine gerichtet. Eine solche Maschine kann beispielsweise ein Roboter im weitesten Sinne sein.
Nach dem beispielhaften Verfahren 20 wird in Schritt 21 ein Foto eines vorliegenden Oberteils (wie zum Beispiel Oberteil 10) aufgenommen. Das vorliegende Oberteil ist das Oberteil, das gerade beispielsweise auf einem Fließband platziert wurde. Dieses Oberteil soll im Beispiel aus 2 mit einem Patch versehen werden. Das Foto kann mit einer Kamera aufgenommen werden, die für Industrieanwendungen geeignet ist. Beispielsweise kann die Kamera kalibriert sein, um kalibrierte und entzerrte Bilder zu liefern, in welchen Bildverzerrung beseitigt oder erheblich vermindert wurde.
In einem Schritt 22 wird die Verformung des vorliegenden Oberteils auf der Grundlage des im vorhergehenden Schritt aufgenommenen Fotos und der CAD-Daten analysiert. Im Allgemeinen kann diese Analyse von einem geeigneten Computer, wie zum Beispiel einem integrierten Computer durchgeführt werden. Der Computer kann mit einem Grafikprozessor (GPU - graphics processing unit) und/oder einer anwendungsspezifischen integrierten Schaltung (ASIC - application-specific integrated circuit) ausgestattet sein, was die gemäß dem Verfahren der vorliegenden Erfindung durchgeführten Berechnungen beschleunigen kann. Das im vorliegenden Dokument beschriebene Verfahren kann in einem Computerprogramm ausgestaltet sein, das Anweisungen umfasst, die bewirken, dass der Computer das Verfahren ausführt. Ein solches Computerprogramm kann auf einem Speichermedium, wie zum Beispiel einem USB-Stick, einer CD-ROM etc. gespeichert oder drahtlos oder drahtgebunden übertragen werden. Im Computer kann das Programm in einem RAM- oder ROM-Speicher gespeichert werden.
Die erwähnten CAD-Daten sind ein digitales Modell des Oberteils und definieren wie ein ideales Oberteil aussehen sollte, wenn es zum Beispiel auf einem Fließband platziert wird. Wie in Bezug auf 1A, 1B und 1C kurz dargestellt wurde, kann das vorliegende Oberteil aufgrund von Verformungen der nichtstarren Materialien des Oberteils vom CAD-Modell abweichen.
Das Ergebnis von Schritt 22 ist also eine Feststellung der Verformung des Oberteils auf der Grundlage der digitalen Darstellung, d.h. des entzerrten Fotos, und des CAD-Modells des Oberteils. Eine detaillierte Beschreibung dieser Feststellung wird in Bezug auf 3A, 3B, 4A und 4B erfolgen.
In Schritt 23 wird die Position des Patchs gemäß der berechneten Verformung aktualisiert. Anstatt den Patch einfach an der vom CAD-Modell definierten Position zu platzieren, wird also die Verformung des Oberteils berücksichtigt und die Position des Patchs auf dem vorliegenden Oberteil wird aktualisiert. Zu diesem Zweck werden die Position des Patchs im CAD-Modell (erste Position) und die Verformung berücksichtigt.
Schlussendlich wird der Patch in Verfahrensschritt 24 an der aktualisierten Position auf dem vorliegenden Oberteil platziert. Der Patch kann mittels Roboterarm platziert werden, der von dem Computer gesteuert wird, der zuvor die aktualisierte Position berechnet hatte. Alternativ wird die aktualisierte Position einer separaten Steuerungseinheit des Roboterarms zur Verfügung gestellt, welche die aktualisierte Position in ihren programmierten Routinen verwendet und den Roboterarm entsprechend steuert.
3A zeigt ein beispielhaftes Foto eines tatsächlichen Oberteils 10, das mit einer kalibrierten Kamera aufgenommen wurde, um ein entzerrtes Bild des Oberteils 10 zu erhalten. Die Form oder der Umriss des Oberteils 10 setzt sich vom helleren Hintergrund 31 ab, sodass die Form bzw. der Umriss des Oberteils 10, beispielsweise durch einen nachfolgenden Kantendetektionsvorgang, freigestellt werden kann.
Um das entzerrte Bild in einem metrischen Raum zu erhalten, werden Kalibrierungsinformationen der Kamera verwendet. Bei einem solchen metrischen Raum entspricht jeder Pixel einer klar definierten Entfernung, z. B. 1 mm. Zusätzlich werden die Winkel üblicherweise korrigiert, sodass rechte Winkel im entzerrten Foto mit 90° erscheinen. Deshalb kommt die digitale Darstellung des Gegenstands im metrischen Raum der tatsächlichen Position und Form des Gegenstands im physikalischen Raum sehr nahe.
In einer bevorzugten Ausführungsform der Erfindung wird der Umriss des Oberteils 10 zum Feststellen seiner Verformung verwendet. Zu diesem Zweck wird der Unterschied zwischen einem Vergleichsfoto und dem tatsächlichen Foto des Oberteils, wie zum Beispiel dem Foto in 3A, erfasst. Das Vergleichsfoto kann zum Beispiel nur die Stelle, an der das Oberteil 10 platziert werden soll, beispielsweise ein Fließband, zeigen. Das Erfassen des Unterschieds geschieht dann Pixel für Pixel mit Pixelwerten nahe null dort, wo das Foto nur den Hintergrund aufweist, und Pixelwerten ungleich null im Bereich des Oberteils 10. Dieses Differenzbild kann dann einem vorbekannten Kantendetektionsvorgang zugeführt werden, damit der Umriss des Oberteils 10 freigestellt werden kann.
Ein Beispiel eines auf diese Weise freigestellten Umrisses 11b eines Oberteils 10 ist in 3B dargestellt. Diese Figur zeigt auch eine Vielzahl von Merkmalen des Umrisses 11b. Drei dieser Merkmale wurden mit dem Bezugszeichen 32 gekennzeichnet. Die Merkmale 32 sind ausgeprägte „Orientierungspunkte“, die leicht erkannt werden können, beispielsweise scharfe Ecken, Vertiefungen, Zacken, Umkehrpunkte von Krümmungen etc. Die Merkmale 32 sind also charakteristische Merkmale des Umrisses 11b. Doch die Merkmale können auch absichtlich auf das Oberteil 10 aufgebracht sein. Zum Beispiel können charakteristische Symbole beispielsweise durch Siebdruck auf dem Oberteil 10 aufgedruckt sein. Die Symbole können Teil des wie im CAD-Modell definierten allgemeinen Designs des Oberteils 10 sein.
Es werden nicht nur in der digitalen Darstellung des vorliegenden Oberteils 10, d.h. im entzerrten Foto der 3A, Merkmale ermittelt, sondern auch im CAD-Modell. Die Merkmale im CAD-Modell entsprechen den im Foto freigestellten Merkmalen, d.h. es besteht eine Eins-zu-eins-Abbildung zwischen beiden Vielzahlen von Merkmalen. Im Allgemeinen ist es jedoch ausreichend, wenn im Foto und im CAD-Modell ein paar übereinstimmende Merkmale ermittelt werden, d. h. es kann im Foto und/oder im CAD-Modell einige Merkmale geben, für die kein entsprechendes Merkmal existiert.
Die Merkmale stellen eine dünn besetzte Übereinstimmung zwischen den Merkmalen im Foto und im CAD-Modell dar. Um eine dicht besetzte Übereinstimmung zu erhalten, wird ein Weg zwischen zwei aneinander angrenzenden Merkmalen mit einer vorbestimmten Anzahl von Punkten sowohl bezüglich der CAD-Daten als auch des Umrisses des Oberteils 10 im Foto gleichmäßig abgetastet. Dies führt zu einem dicht besetzten Satz von Übereinstimmungen (c_i ∈ ℝ², p_i ∈ ℝ²), wobei c_i die 2D-Positionen im CAD-Modell angibt und p_i die entsprechenden 2D-Positionen auf dem verzerrten Oberteil 10 angibt. Insofern wird der dicht besetzte Satz durch die dünn besetzten Merkmale und die gleichmäßig abgetasteten Punkte dazwischen definiert.
Die auf diese Weise erhaltenen Punkte können zum Bestimmen einer Funktion f : ℝ² → ℝ² verwendet werden, welche die Merkmale derart aufeinander abbildet, dass f(c_i) = p_i ∀ i = 0 ... n. Um die Funktion f an die tatsächliche Verteilung anzupassen, wird eine Annahme getroffen. Die Funktion f sollte physikalisch plausible Verformungen bevorzugen, da das Oberteil aus echtem Material gefertigt ist und einer echten Verformung gemäß den Gesetzen der Physik unterliegt. In der beispielhaften Ausführungsform wird eine möglichst starre (ARAP - as rigid as possible) Verformung angenommen, die ein plausibles physikalisches Verhalten aufweist.
Um die Funktion f tatsächlich anzupassen, wird die Quellgeometrie, d.h. die Punkte im CAD-Modell, in einem gleichmäßigen Gitter eingegrenzt. Die Koordinate eines jeden Punkts der dicht besetzten Darstellung des Umrisses wird anschließend als Linearkombination von Gitterpunkten ausgedrückt. Dies wird hinsichtlich der Punkte auf dem Umriss im CAD-Modell durchgeführt.
4A zeigt dem Umriss 11a des Oberteils 10 laut CAD-Modell und ein gleichmäßiges Gitter, welches das Oberteil 10 eingrenzt. Außerdem ist der verformte Umriss 11b des Oberteils 10 dargestellt, der das „Ziel“ der Funktion f festlegt, welches durch die Anpassung erreicht werden soll.
Anschließend wird nach den Gitterpunkten im entzerrten Foto aufgelöst, sodass jeder Punkt auf dem Umriss im CAD-Modell bei erneuter Berechnung unter Verwendung der entsprechenden Linearkombination von Gitterpunkten mit einem entsprechenden Punkt auf dem Umriss im Foto übereinstimmt. Das Übereinstimmen muss in diesem Zusammenhang nicht exakt sein. Es ist vielmehr ausreichend, wenn die Punkte bis auf einen kleinen Abstand miteinander übereinstimmen. Das Eingrenzen des Oberteils in einem Gitter ermöglicht das Bestimmen der Funktion nicht nur auf dem Umriss, sondern überall auf dem Gegenstand.
In der beispielhaften Ausführungsform umfasst der Schritt des Auflösens nach den Gitterpunkten im Foto das Lösen einer Kleinste-Quadrate-Aufgabe unter Einbeziehung einer Energiefunktion. Wie bereits erläutert braucht die Übereinstimmung zwischen den Punkten im digitalen Modell und der digitalen Darstellung nicht exakt zu sein, sondern kann im Sinne von kleinsten Quadraten sein. Die Verwendung einer Energiefunktion ermöglicht es, Verformungen aufgrund der starren Beschaffenheit des Gegenstands zu berücksichtigen, und hilft dabei, den Gegenstand so starr wie möglich als Modell abzubilden. Die übrigen Verformungen, die nicht durch starre Transformationen (Translation und Rotation) zu erklären sind, haben ihren Ursprung in nichtstarren Verformungen, aufgrund derer der Gegenstand sich in der Größe verändert, verbiegt, verwindet, schert etc.
Es sei angemerkt, dass das im vorliegenden Dokument beschriebene Verfahren nicht auf das Anpassen einer Funktion beschränkt ist, die auf einem strukturierten/unstrukturierten Gitter bzw. durch ein strukturiertes/unstrukturiertes Gitter definiert wird. Stattdessen könnte jeder andere geeignete Funktionstyp (z. B. ein Polynom, das beispielsweise als radiale Basisfunktion definiert ist), der zur Beschreibung von Verformungen verwendet werden kann, angepasst werden.
Die Energiefunktion misst die Plausibilität der Verformung des Oberteils unter der Annahme, dass das Oberteil möglichst starr ist. Die Energie, die durch diese Annahme nicht zu erklären ist, hat ihren Ursprung also in nichtstarren Verformungen.
4B zeigt die berechnete Raumverformung. Das gleichmäßige Gitter aus 4A wird in ein verwundenes Gitter umgeformt, das durch die Verformung des Oberteils 10 definiert ist. Außerdem sind der CAD-Umriss 11a aus 4A nach der Anwendung der Raumverformung und der Umriss 11b gemäß dem entzerrten Foto, also dem vorliegenden verformten Oberteil 10 dargestellt. Die beiden Umrisse stimmen sehr gut überein.
Durch Anwendung der vorstehend beschriebenen Vorgehensweise kann die Funktion f schließlich auf der Grundlage der Anpassung bestimmt werden. Die Funktion f ist durch das verzerrte Gitter definiert und bildet beliebige Punkte des zweidimensionalen CAD-Modells auf dem entzerrten Foto des verzerrten Oberteils 10 ab.
Anstatt einfach einen Patch 13 unter Verwendung der im CAD-Modell definierten Position und Ausrichtung zu platzieren, werden in Verfahrensschritt 24 also sowohl die Position als auch die Ausrichtung durch Anwendung der Verformung darauf aktualisiert. Anstatt den Patch 13 an der Position v zu platzieren, wird der Patch 13 an der Position f (v) platziert.
Anstatt nur die Position und/oder Ausrichtung des Patchs zu aktualisieren, könnte in anderen Ausführungsformen die gesamte Form aktualisiert werden. Im Fall des Aufdruckens auf das Oberteil 10 (oder einen beliebigen anderen Gegenstand) könnte eine verzerrte Form aufgedruckt werden, die sich in die gewünschte Form bringt, sobald das Oberteil 10 nicht mehr gespannt ist. Dies könnte erreicht werden, indem anstatt nur die eine Einzelposition der gesamte Werkzeugweg verwunden wird.
Die vorstehend beschriebene Vorgehensweise zum Bestimmen der Funktion f ist teilweise in Zollhöfer et al., „GPU based ARAP Deformation using Volumetric Lattices“ beschrieben. In dieser Abhandlung wird eine möglichst starre Transformation basierend auf einem Gitter auf ein Spielzeugmodell angewendet.
In der beispielhaften Ausführungsform der Erfindung, die auf ein Schuhoberteil 10 angewendet wird, wird Wärme und/oder Druck aufgebracht, um den Patch 13 an dem Oberteil 10 anzubringen. Auf diese Weise wird der Patch 13 fest mit dem Oberteil 10 verbunden.

Claims

Verfahren zum automatischen Platzieren eines ersten Gegenstands auf einem zweiten Gegenstand durch eine Maschine, wobei das Verfahren die folgenden Schritte umfasst: a. Erfassen einer digitalen Darstellung des zweiten Gegenstands; b. Feststellen einer Verformung des zweiten Gegenstands auf der Grundlage der digitalen Darstellung und eines digitalen Modells des zweiten Gegenstands; c. Bestimmen einer zweiten Position des ersten Gegenstands auf dem zweiten Gegenstand auf der Grundlage einer ersten Position des ersten Gegenstands auf dem digitalen Modell und der Verformung; und d. Platzieren des ersten Gegenstands an der zweiten Position auf dem zweiten Gegenstand.
Das Verfahren nach dem vorhergehenden Anspruch, wobei das Erfassen der digitalen Darstellung des zweiten Gegenstands das Aufnehmen eines Fotos des zweiten Gegenstands umfasst.
Das Verfahren nach dem vorhergehenden Anspruch, wobei das Foto mit einer kalibrierten Kamera aufgenommen wird, um vom zweiten Gegenstand ein entzerrtes Bild zu erhalten.
Das Verfahren nach dem vorhergehenden Anspruch, das weiterhin den Schritt des Transformierens des Bildes in einen metrischen Raum unter Verwendung der Kalibrierungsdaten der Kamera umfasst.
Das Verfahren nach einem der Ansprüche 2 bis 4, wobei der Schritt des Feststellens der Verformung des zweiten Gegenstands das Erfassen des Unterschieds zwischen einem Vergleichsfoto und dem Foto des zweiten Gegenstands umfasst.
Das Verfahren nach einem der vorhergehenden Ansprüche, wobei der Schritt des Bestimmens der zweiten Position des ersten Gegenstands auf dem zweiten Gegenstand die Anwendung einer Funktion umfasst, welche die erste Position auf die zweiten Position abbildet.
Das Verfahren nach dem vorhergehenden Anspruch, wobei die Funktion auf der festgestellten Verformung basiert.
Das Verfahren nach einem der vorhergehenden Ansprüche, wobei der Schritt des Feststellens der Verformung des zweiten Gegenstands das Extrahieren eines Umrisses des zweiten Gegenstands umfasst.
Das Verfahren nach dem vorhergehenden Anspruch, wobei der Schritt des Feststellens der Verformung des zweiten Gegenstands das Erkennen einer ersten Vielzahl von Merkmalen in der digitalen Darstellung umfasst.
Das Verfahren nach einem der Ansprüche 8 oder 9, wobei die Merkmale charakteristische Merkmale des Umrisses sind.
Das Verfahren nach einem der Ansprüche 9 oder 10, wobei der Schritt des Feststellens der Verformung des zweiten Gegenstands das Ermitteln einer zweiten Vielzahl von Merkmalen im digitalen Modell, die der ersten Vielzahl von Merkmalen entspricht, umfasst.
Das Verfahren nach dem vorhergehenden Anspruch, wobei der Schritt des Feststellens der Verformung des zweiten Gegenstands das Feststellen einer ersten Vielzahl von Punkten in der digitalen Darstellung auf der Grundlage der ersten Vielzahl von Merkmalen sowie das Feststellen einer zweiten Vielzahl von Punkten im digitalen Modell auf der Grundlage der zweiten Vielzahl von Merkmalen umfasst.
Das Verfahren nach dem vorhergehenden Anspruch, wobei der Schritt des Feststellens der Verformung des zweiten Gegenstands das gleichmäßige Abtasten eines ersten Wegs zwischen mindestens zwei aneinander angrenzenden Merkmalen der ersten Vielzahl von Merkmalen mit einer vorbestimmten Anzahl von Punkten umfasst, um die erste Vielzahl von Punkten zu erhalten, und das gleichmäßige Abtasten eines zweiten Wegs zwischen mindestens zwei aneinander angrenzenden Merkmalen der zweiten Vielzahl von Merkmalen mit der vorbestimmten Anzahl von Punkten umfasst, um die zweite Vielzahl von Punkten zu erhalten.
Das Verfahren nach einem der Ansprüche 6 bis 13, weiter aufweisend das Ermitteln der Funktion, sodass die erste Vielzahl von Punkten auf die zweite Vielzahl von Punkten abgebildet wird.
Das Verfahren nach dem vorhergehenden Anspruch, wobei das Ermitteln der Funktion Folgendes umfasst: Eingrenzen der zweiten Vielzahl von Punkten in einem gleichmäßigen Gitter; Ausdrücken der Koordinaten eines jeden Punktes der zweiten Vielzahl von Punkten als Linearkombination von ersten Gitterpunkten; und Auflösen nach zweiten Gitterpunkten, sodass jeder Punkt der ersten Vielzahl von Punkten bei erneuter Berechnung unter Verwendung der entsprechenden Linearkombination von zweiten Gitterpunkten mit einem entsprechenden Punkt der zweiten Vielzahl von Punkten übereinstimmt.
Das Verfahren nach dem vorhergehenden Anspruch, wobei der Schritt des Auflösens das Lösen einer Kleinste-Quadrate-Aufgabe unter Einbeziehung einer Energiefunktion umfasst.
Das Verfahren nach dem vorhergehenden Anspruch, wobei die Energiefunktion die Plausibilität der Verformung des zweiten Gegenstands unter der Annahme, dass der zweite Gegenstand so starr wie möglich ist, misst.
Das Verfahren nach einem der vorhergehenden Ansprüche, wobei der erste Gegenstand ein Patch, eine Verstärkung oder ein Logo ist.
Das Verfahren nach einem der vorhergehenden Ansprüche, wobei der zweite Gegenstand ein Schuhoberteil ist.
Das Verfahren nach einem der vorhergehenden Ansprüche, wobei das digitale Modell des zweiten Gegenstands ein CAD-Modell (CAD = computer-aided design) ist.
Das Verfahren nach einem der vorhergehenden Ansprüche, das weiterhin den Schritt der Wärme- und/oder Druckanwendung zum Anbringen des ersten Gegenstands an dem zweiten Gegenstand umfasst.
Ein Computerprogramm, das Anweisungen umfasst, die bewirken, dass ein Computer ein Verfahren nach einem der vorhergehenden Ansprüche ausführt.
Ein Sportartikel, der gemäß einem Verfahren nach einem der vorhergehenden Ansprüche hergestellt wird.
Der Sportartikel nach dem vorhergehenden Anspruch, wobei der Sportartikel ein Sportschuh ist.