DE112007001964T5 - Verfahren zur Bestätigung von dreidimensionalen Modelldaten und Vorrichtung zur Bestätigung von dreidimensionalen Modelldaten - Google Patents

Verfahren zur Bestätigung von dreidimensionalen Modelldaten und Vorrichtung zur Bestätigung von dreidimensionalen Modelldaten Download PDF

Info

Publication number
DE112007001964T5
DE112007001964T5 DE112007001964T DE112007001964T DE112007001964T5 DE 112007001964 T5 DE112007001964 T5 DE 112007001964T5 DE 112007001964 T DE112007001964 T DE 112007001964T DE 112007001964 T DE112007001964 T DE 112007001964T DE 112007001964 T5 DE112007001964 T5 DE 112007001964T5
Authority
DE
Germany
Prior art keywords
image data
data
dimensional
machine tool
attached
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE112007001964T
Other languages
English (en)
Other versions
DE112007001964B4 (de
Inventor
Xiaodong Davis Tian
Makoto Fujishima
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DMG Mori Co Ltd
Intelligent Manufacturing Systems International Inc
Original Assignee
Mori Seiki Co Ltd
Intelligent Manufacturing Systems International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mori Seiki Co Ltd, Intelligent Manufacturing Systems International Inc filed Critical Mori Seiki Co Ltd
Publication of DE112007001964T5 publication Critical patent/DE112007001964T5/de
Application granted granted Critical
Publication of DE112007001964B4 publication Critical patent/DE112007001964B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/35Nc in input of data, input till input file format
    • G05B2219/35074Display object, recognition of geometric forms
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/35Nc in input of data, input till input file format
    • G05B2219/35493Display workpiece and tool data together
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37563Ccd, tv camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Abstract

Verfahren zum Bestätigen dreidimensionaler Modelldaten, das bestätigt, ob zuvor erzeugte Daten, die mit einem dreidimensionalen Modell zusammenhängen, welches ein an einer Werkzeugmaschine angebrachtes Objekt und mindestens einen Teil der Werkzeugmaschine umfasst, korrekt sind, wobei die Modelldaten mindestens Formdaten aufweisen, die Formen der Werkzeugmaschine und des angebrachten Objekts angeben,
wobei das Verfahren aufweist:
einen Prozess zum Erzeugen tatsächlicher Bilddaten, bei dem ein an der Werkzeugmaschine tatsächlich angebrachtes Objekt von einer Bildkamera von einem oder mehreren zuvor eingestellten Blickpunkten aus aufgenommen wird, um zweidimensionale Bilddaten zu erzeugen;
einen Prozess zum Erzeugen virtueller Bilddaten, um durch einen Computerprozess zweidimensionale Daten des angebrachten Objekts basierend auf den zuvor erzeugten Modelldaten, die das angebrachte Objekt und den mindestens einen Teil der Werkzeugmaschine umfassen, zu erzeugen, wobei der Prozess einen dreidimensionaler Raum virtuell bereitstellt, wobei das dreidimensionale Modell, das angebrachte Objekt und den mindestens einen Teil der Werkzeugmaschine innerhalb des Raumes umfasst, und...

Description

  • Technisches Gebiet
  • Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bestätigung dreidimensionaler Modelldaten, die bestätigen, ob zuvor erzeugte Modelldaten korrekt sind, wobei die dreidimensionalen Modelldaten ein befestigtes Objekt mit einem Werkstück, einer Aufspannvorrichtung zum Befestigen des Werkstücks und dergleichen, das an einer Werkzeugmaschine befestigt ist, und mindestens einen Teil der Werkzeugmaschine umfassen.
  • Allgemeiner Stand der Technik
  • Eine Werkzeugmaschine wird beispielsweise durch Folgendes ausgebildet:
    einen Tisch mit einem Werkstück, dass durch die Aufspannvorrichtung zum Befestigen des Werkstücks auf seiner Oberseite aufgespannt und fixiert ist; eine Hauptspindel zum Halten eines Werkzeugs; einen Antriebsmechanismus zum Bewegen des Tischs und der Hauptspindel (Werkstück und Werkzeug) relativ zueinander; eine Steuerungsvorrichtung zum Steuern des Antriebsmechanismus basierend auf einem zuvor erstellen NC-Programm; und andere Komponenten.
  • Das NC-Programm wird von einer Bedienperson, einer Programmiervorrichtung oder dergleichen erstellt. Falls jedoch ein Fehler vorliegt, besteht die Möglichkeit, dass ein Unfall eintritt, bei dem das Werkzeug und das Werkstück oder die Aufspannvorrichtung zum Befestigen des Werkzeugs einander stören. Um dies zu verhindern, wird, wie in der japanischen ungeprüften Patentanmeldungsschrift 2006-004128 offenbart, eine Störungssimulation mit dreidimensionalen Modelldaten einer Werkzeugmaschine auf einem Computer ausgeführt, um zu prüfen, ob das NC-Programm einen Fehler aufweist.
    • Patentschrift 1: Japanische ungeprüfte veröffentlichte Patentanmeldungsschrift 2006-004128
  • Offenbarung der Erfindung
  • Von der Erfindung zu lösende Aufgabe
  • Wenn übrigens bei der Störungssimulation mit den dreidimensionalen Modelldaten ein der Bearbeitung unterzogenes Werkstück (das heißt, ein Werkstück auf dem Tisch) oder eine Aufspannvorrichtung zum Befestigen des Werkstücks gewechselt wird, muss mindestens ein Werkstückabschnitt bzw. ein Aufspannvorrichtungsabschnitt der dreidimensionalen Modelldaten der Werkzeugmaschine korrigiert und aktualisiert werden, um sich dem Wechsel anzupassen.
  • Es wird jedoch manchmal bewirkt, dass die dreidimensionalen Modelldaten des Werkstücks bzw. der Aufspannvorrichtung (des befestigten Objekts), die für die Korrektur und Aktualisierung verwendet werden, sich von ihren echten Formen unterscheiden, beispielsweise durch einen Fehler einer Bedienperson, die die Daten erstellt, eine Konstruktionsänderung, nachdem die dreidimensionalen Modelldaten des angebrachten Objekts erstellt wurden, oder aus anderen Gründen. In diesem Fall kann keine korrekte Störungssimulation ausgeführt werden. Es gibt einen anderen Fall, in dem sich ein Befestigungszustand des befestigten Objekts in einem dreidimensionalen Modell der Werkzeugmaschine und ein echter Befestigungszustand unterscheiden, und in diesem Fall kann ebenfalls keine korrekte Störungssimulation ausgeführt werden.
  • Es ist daher praktisch, wenn es möglich ist, einfach und effizient zu bestätigen, ob die dreidimensionalen Modelldaten der Werkzeugmaschine mit dem befestigten Objekt korrekt sind, das heißt, ob die dreidimensionalen Modelldaten mit einem echten Zustand der Werkzeugmaschine übereinstimmen.
  • Die vorliegende Erfindung wurde unter den vorangehend erwähnten Umständen ausgeführt und eine Aufgabe derselben besteht darin, ein Verfahren und eine Vorrichtung zum Bestätigen dreidimensionaler Modelldaten bereitzustellen, die in der Lage sind, einfach, effizient und genau zu bestätigen, ob dreidimensionale Modelldaten, die ein befestigtes Objekt, das an einer Werkzeugmaschine befestigt ist, und mindestens einen Teil der Werkzeugmaschine umfassen und die zuvor erzeugt wurden, korrekt sind.
  • Mittel zum Lösen der Aufgabe
  • Um die vorangehend erwähnte Aufgabe zu lösen, handelt es sich bei der vorliegenden Erfindung um Folgendes:
    Verfahren zum Bestätigen, ob zuvor erzeugte Daten, die mit einem dreidimensionalen Modell zusammenhängen, das ein befestigtes Objekt, das an einer Werkzeugmaschine befestigt ist, und mindestens einen Teil der Werkzeugmaschine umfasst, korrekt sind, wobei die Modelldaten Formdaten umfassen, die Formen der Werkzeugmaschine und des befestigten Objekts definieren, das umfasst:
    ein Verfahren zum Erzeugen echter Bilddaten, bei dem ein echtes befestigtes Objekt, das an der Werkzeugmaschine befestigt ist, von einer Bildkamera von einem oder mehreren zuvor eingestellten Blickpunkten abgebildet wird, um zweidimensionale Bilddaten zu erzeugen;
    ein Verfahren zum Erzeugen virtueller Bilddaten, um durch ein Computerverfahren zweidimensionale Daten des befestigten Objekts basierend auf den zuvor erzeugten Modelldaten, die das befestigte Objekt und den mindestens einen Teil der Werkzeugmaschine umfassen, zu erzeugen, das Mitte, in dem ein dreidimensionaler Raum virtuell eingestellt wird, wobei das dreidimensionale Modell, das das befestigte Objekt und den mindestens einen Teil der Werkzeugmaschine umfasst, in dem Raum angeordnet ist, und eine Kamera in dem gleichen Zustand wie dem der Bildkamera virtuell eingestellt und angeordnet ist, wodurch die zweidimensionalen Bilddaten erzeugt werden, von denen geschätzt wird, dass sie erhalten werden, wenn das befestigte Objekt, das mit dem dreidimensionalen Modell sowie dem echten befestigten Objekt zusammenhängt, von der Kamera abgebildet wird, die vom selben Blickpunkt wie dem zuvor eingestellten Blickpunkt virtuell eingestellt und angeordnet ist; und
    ein Verfahren zum Vergleichen von Bilddaten, um durch ein Computerverfahren die im Verfahren zum Erzeugen echter Bilddaten erzeugten zweidimensionalen Bilddaten, die mit dem echten befestigten Objekt zusammenhängen, und die im Verfahren zum Erzeugen virtueller Bilddaten erzeugten zweidimensionalen Bilddaten des befestigten Objekts, die mit dem dreidimensionalen Modell zusammenhängen, zu vergleichen und festzustellen, ob diese zweidimensionalen Bilddaten übereinstimmen.
  • Das Verfahren zum Bestätigen von Modelldaten kann vorzugsweise durch eine folgende Vorrichtung zum Bestätigen von Modelldaten implementiert werden:
    Das heißt, bei der Vorrichtung zum Bestätigen von Modelldaten handelt es sich um Folgendes:
    Vorrichtung zum Bestätigen dreidimensionaler Modelldaten, die bestätigt, ob zuvor erzeugte Daten, die mit einem dreidimensionalen Modell zusammenhängen, das ein befestigtes Objekt, das an der Werkzeugmaschine befestigt ist, und mindestens einen Teil der Werkzeugmaschine umfasst, korrekt sind, wobei die Modelldaten mindestens Formdaten umfassen, die Formen der Werkzeugmaschine und des befestigen Objekts definieren, wobei die Vorrichtung Folgendes umfasst:
    eine Bildkamera zum Abbilden eines echten befestigten Objekts, das an der Werkzeugmaschine befestigt ist, von einem oder mehreren zuvor eingestellten Blickpunkten, um zweidimensionale Bilddaten zu erzeugen; und
    einen Computer, mit dem die Bildkamera verbunden ist, wobei
    der Computer dazu konfiguriert ist, um als Folgendes zu dienen:
    Mittel zum Speichern von Modelldaten zum Speichern der zuvor erzeugten Modelldaten, die das befestigte Objekt und den mindestens einen Teil der Werkzeugmaschine umfassen;
    Mittel zum Erzeugen virtueller Bilddaten zum Erzeugen zweidimensionaler Daten des befestigten Objekts basierend auf den im Mittel zum Speichern von Modelldaten gespeicherten Modelldaten, dem Mittel, in dem ein dreidimensionaler Raum virtuell eingestellt ist, wobei das dreidimensionale Modell, das das befestigte Objekt und den mindestens einen Teil der Werkzeugmaschine umfasst, in dem Raum angeordnet ist und eine Kamera in dem gleichen Zustand wie dem der Bildkamera virtuell eingestellt und angeordnet ist, wodurch die zweidimensionalen Bilddaten erzeugt werden, von denen geschätzt wird, dass sie erhalten werden, wenn das befestigte Objekt, das mit dem dreidimensionalen Modell sowie dem echten befestigten Objekt zusammenhängt, von der Kamera abgebildet wird, die vom selben Blickpunkt wie dem zuvor eingestellten Blickpunkt virtuell eingestellt und angeordnet ist; und
    Mittel zum Vergleichen von Bilddaten zum Vergleichen der von der Bildkamera erzeugten zweidimensionalen Bilddaten, die mit dem echten Werkstück zusammenhängen, und der mit dem Mittel zum Erzeugen virtueller Bilddaten erzeugten zweidimensionalen Bilddaten des befestigten Objekts, die mit dem dreidimensionalen Modell zusammenhängen, um festzustellen, ob diese Bilddaten übereinstimmen.
  • Gemäß der Vorrichtung zum Bestätigen dreidimensionaler Modelldaten werden die Modelldaten (dreidimensionale Modelldaten), die das befestigte Objekt, das an der Werkzeugmaschine befestigt ist, und mindestens den Teil der Werkzeugmaschine (beispielsweise Modelldaten eines Bearbeitungszentrums mit mindestens einem Tisch, auf dem das Werkstück aufgespannt ist, oder Modelldaten einer Drehmaschine mit mindestens einer Hauptspindel zum Halten des Werkstücks) umfassen, zuvor erzeugt und die erzeugen Modelldaten werden im Mittel zum Speichern von Modelldaten gespeichert. Es wird darauf hingewiesen, dass in der vorliegenden Erfindung eine Auffassung des Werkstücks eine Aufspannvorrichtung zum Befestigen des Werkstücks an der Werkzeugmaschine umfasst. Des Weiteren kann das zu befestigende Objekt beispielsweise insbesondere ein Werkstück, eine Aufspannvorrichtung zum Befestigen des Werkstücks oder dergleichen umfassen. Wenn es sich bei dem zu befestigenden Objekt um das Werkstück oder die Aufspannvorrichtung handelt, werden Modelldaten, die das an der Werkzeugmaschine befestigte Werkstück und mindestens einen Teil der Werkzeugmaschine umfassen, oder Modelldaten, die die an der Werkzeugmaschine befestigte Aufspannvorrichtung und mindestens einen Teil der Werkzeugmaschine umfassen, oder Modelldaten, die das an der Werkzeugmaschine befestigte Werkstück, die Aufspannvorrichtung und mindestens einen Teil der Werkzeugmaschine umfassen, im Mittel zum Speichern von Modelldaten gespeichert.
  • Anschließend wird das echte befestigte Objekt, an der Werkzeugmaschine befestigt ist, von der Bildkamera abgebildet, wodurch zweidimensionale Bilddaten des echten befestigten Objekts erzeugt werden und außerdem werden zweidimensionale Daten befestigten Objekts von dem Mittel zum Erzeugen virtueller Bilddaten, basierend auf den im Mittel zum Speichern von Modelldaten gespeicherten Daten erzeugt. Bei den zweidimensionalen Bilddaten handelt es sich um zweidimensionale Bilddaten, von denen geschätzt wird, dass sie wie folgt erhalten werden: Ein dreidimensionaler Raum wird virtuell eingestellt; die dreidimensionalen Modelldaten, die das befestigte Objekt und mindestens den Teil der Werkzeugmaschine umfassen, werden in dem Raum angeordnet und eine Kamera in dem gleichen Zustand (was bedeutet, dass die Parameter die gleichen sind, wie beispielsweise eine Brennweite, ein Koordinatenwert des Hauptpunkts, ein Mittenkoordinatenwert einer Bildaufnahmefläche, ein Abweichungsbetrag zwischen dem Mittenkoordinatenwert der Bildaufnahmefläche und dem Koordinatenwert des Hauptpunkts, ein Radialverzerrungs-Korrekturkoeffizient, ein Tangentialverzerrungs-Korrekturkoeffizient) wie dem der Bildkamera wird virtuell eingestellt und angeordnet; und das befestigte Objekt, das mit dem dreidimensionalen Modell sowie dem echten befestigten Objekt zusammenhängt, wird von der virtuell eingestellten und angeordneten Kamera vom selben Blickpunkt wie dem zuvor eingestellten Blickpunkt abgebildet.
  • Danach werden die von der Bildkamera erzeugten zweidimensionalen Bilddaten (echtes Bild des befestigten Objekts), die mit dem echten befestigten Objekt zusammenhängen, und die vom Mittel zum Erzeugen virtueller Bilddaten erzeugten zweidimensionalen Bilddaten (virtuelles Bild des befestigten Objekts) des befestigten Objekts, das mit dem dreidimensionalen Modell zusammenhängt, vom Mittel zum Vergleichen von Bilddaten verglichen, um festzustellen, ob diese Bilddaten übereinstimmen. Die Feststellung kann erfolgen, indem bestätigt wird, ob Graustufenwerte jedes Pixels in den von der Bildkamera und dem Mittel zum Erzeugen virtueller Bilddaten jeweils erzeugten zweidimensionalen Bilddaten gleich sind, oder kann erfolgen, indem Ränder des befestigten Objekts aus den jeweiligen echten Bilddaten erkannt werden, um zu bestätigen, ob Positionen und Langen der erkannten Ränder gleich sind und so weiter.
  • Wenn das echte Bild und das virtuelle Bild übereinstimmen, wird festgestellt, dass die dreidimensionalen Modelldaten, die das befestigte Objekt und mindestens einen Teil der Werkzeugmaschine umfassen, korrekt sind, das heißt, es wird festgestellt, dass eine Form des befestigten Objekts, eine Aufspannposition desselben und eine Aufspannlage desselben mit der des echten befestigten Objekts übereinstimmen. Wenn die echten Bilddaten und die virtuellen Bilddaten nicht übereinstimmen, wird festgestellt, dass die dreidimensionalen Modelldaten, die das befestigte Objekt und mindestens einen Teil der Werkzeugmaschine umfassen, falsch sind, das heißt, es wird festgestellt, dass die Form des befestigten Objekts, die Aufspannposition desselben und die Aufspannlage desselben nicht mit der des echten befestigten Objekts übereinstimmen. Wenn festgestellt wird, dass die dreidimensionalen Modelldaten falsch sind, wird eine diesbezügliche Nachricht auf einem Bildschirm angezeigt oder es werden Maßnahmen zum Verhindern eines Beginns der Bearbeitung ergriffen.
  • So werden gemäß dem Verfahren und der Vorrichtung zum Bestätigen dreidimensionaler Modelldaten gemäß der vorliegenden Erfindung das durch die Bildkamera enthaltene echte Bild des befestigten Objekts und das virtuelle Bild des befestigten Objekts, das basierend auf den dreidimensionalen Modelldaten, die das befestigte Objekt und mindestens den Teil der Werkzeugmaschine umfassen, erzeugt wurde, verglichen, um festzustellen, ob die dreidimensionalen Modelldaten, die das befestigte Objekt und mindestens den Teil der Werkzeugmaschine umfassen, einem echten Zustand der Werkzeugmaschine entsprechen. Daher ist es möglich, einfach, effizient und genau zu bestätigen, ob die dreidimensionalen Modelldaten, die das befestigte Objekt und mindestens den Teil der Werkzeugmaschine umfassen, korrekt sind.
  • Des Weiteren ist es möglich, eine Störungssimulation zu verhindern, in der beispielsweise inkorrekte dreidimensionale Modelldaten verwendet werden, oder es ist möglich, einen Fall zu verhindern, in dem von der Störungssimulation, die die falschen dreidimensionalen Modelldaten verwendet, festgestellt wird, dass kein Fehler in einem NC-Programm vorliegt, und eine Bearbeitung gemäß einem derartigen NC-Programm ausgeführt wird.
  • Des Weiteren kann der Computer dazu konfiguriert werden, weiter als Mittel zum Aktualisieren von Modelldaten zu dienen, um die Modelldaten zu aktualisieren, die mit mindestens einem Teil der Werkzeugmaschine zusammenhängen, um mit einem echten Betrieb der Werkzeugmaschine übereinzustimmeng.
  • Im Verfahren und in der Vorrichtung zum Bestätigen von Modelldaten, die vorangehend beschrieben wurden, kann das befestigte Objekt von einem oder mehreren Blickpunkten aus abgebildet werden. Wenn das befestigte Objekt beispielsweise von zwei Blickpunkten aus abgebildet wird, wird ein echtes befestigtes Objekt, das an der Werkzeugmaschine befestigt ist, von einer Bildkamera von einem ersten Blickpunkt und einem vom ersten Blickpunkt beabstandeten zweiten Blickpunkt aus abgebildet, um zweidimensionale Bilddaten in jedem Blickpunkt zu erzeugen. Darüber hinaus werden basierend auf den dreidimensionalen Modelldaten, die das befestigte Objekt und mindestens einen Teil der Werkzeugmaschine umfassen, zweidimensionale Bilddaten, von denen geschätzt wird, dass sie erhalten werden, wenn das befestigte Objekt, das mit dem dreidimensionalen Modell zusammenhängt, von den selben Blickpunkten abgebildet wird wie die des ersten und des zweiten Blickpunkts, von dem Mittel zum Erzeugen virtueller Bilddaten erzeugt. Des Weiteren werden die von der Bildkamera erzeugten zweidimensionalen Bilddaten vom ersten Blickpunkt und die vom Mittel zum Erzeugen virtueller Bilddaten erzeugten zweidimensionalen Bilddaten vom ersten Blickpunkt sowie die von der Bildkamera erzeugten zweidimensionalen Bilddaten vom zweiten Blickpunkt und die vom Mittel zum Erzeugen virtueller Bilddaten erzeugten zweidimensionalen Bilddaten vom zweiten Blickpunkt jeweils verglichen, um festzustellen, ob diese Bilddaten übereinstimmen.
  • Auswirkungen der Erfindung:
  • So ist es gemäß einem Verfahren und einer Vorrichtung zum Bestätigen dreidimensionaler Modelldaten gemäß der vorliegenden Erfindung möglich, einfach und genau zu bestätigen, ob dreidimensionale Modelldaten, die ein befestigtes Objekt, das an einer Werkzeugmaschine befestigt ist, und mindestens einen Teil der Werkzeugmaschine umfassen, korrekt und daher effizient sind.
  • Kurze Beschreibung der Zeichnungen
  • 1 ist ein Blockdiagramm, das eine schematische Ausbildung einer Vorrichtung zum Bestätigen dreidimensionaler Modelldaten oder dergleichen gemäß einer Ausführungsform der vorliegenden Erfindung zeigt;
  • 2 ist eine perspektivische Ansicht, die die Vorrichtung zum Bestätigen dreidimensionaler Modelldaten gemäß der Ausführungsform und eine Werkzeugmaschine, in der die Vorrichtung angeordnet ist, zeigt;
  • 3 ist ein Ablaufdiagramm, das eine Folge von Verfahren in einem Abschnitt zum Erzeugen virtueller Bilddaten der Ausführungsform zeigt;
  • 4 ist ein Ablaufdiagramm, das eine Folge von Verfahren in dem Abschnitt zum Erzeugen virtueller Bilddaten der Ausführungsform zeigt;
  • 5 ist ein erläuterndes Schema zum Erläutern der Erzeugung virtueller Bilddaten eines Werkstücks;
  • 6 ist ein erläuterndes Schema zum Erläutern der Erzeugung virtueller Bilddaten eines Werkstücks; und
  • 7 ist ein Ablaufdiagramm, das eine Folge von Verfahren in einem Abschnitt zum Vergleichen von Bilddaten der Ausführungsform zeigt;
  • Beste Ausführungsform
  • Nachfolgend wird hierin eine spezielle Ausführungsform der vorliegenden Erfindung unter Verweis auf die beiliegenden Zeichnungen beschrieben. 1 ist ein Blockdiagramm, das eine schematische Ausbildung einer Vorrichtung zum Bestätigen dreidimensionaler Modelldaten oder dergleichen gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
  • Wie in 1 gezeigt, ist eine Vorrichtung 1 zum Bestätigen dreidimensionaler Modelldaten dieser Ausführungsform durch Folgendes ausgebildet: einen Computer 10, eine erste CCD-Kamera 13 und eine zweite CCD-Kamera 14, die an eine in 2 gezeigte Werkzeugmaschine 30 angebaut sind. Der Computer 10 ist mit einer Eingabevorrichtung 11, wie beispielsweise einer Maus 11a, einer Tastatur 11b oder dergleichen und einer Bildschirmanzeigevorrichtung 12 ausgestattet. Der Computer 10 dient als Folgendes: ein Abschnitt zum Speichern echter Bilddaten 15; ein Abschnitt zum Speichern von Kameraparametern 16; ein Abschnitt zum Speichern von Modelldaten 17; ein Abschnitt zum Aktualisieren von Modelldaten 18; ein Abschnitt zum Erzeugen virtueller Bilddaten 19; ein Abschnitt zum Speichern virtueller Bilddaten 20; und ein Abschnitt zum Vergleichen von Bilddaten 21.
  • Als Erstes wird die Werkzeugmaschine 30 beschrieben.
  • Wie in 1 und 2 gezeigt, ist die Werkzeugmaschine von einem Typ, der vertikales Bearbeitungszentrum genannt wird, und ist mit Folgendem ausgestattet: einem Bett 31; einem ersten Sattel 36, der auf dem Bett 31 angeordnet ist und sich ungehindert in einer Richtung von vorne nach hinten (Y-Achsenrichtung) bewegt; einem zweiten Sattel 37, der auf dem ersten Sattel 36 angeordnet ist und sich ungehindert in einer Richtung von Seite zu Seite (X-Achsenrichtung) bewegt; einem Spindelkopf 38, der auf dem zweiten Sattel 37 angeordnet ist und sich ungehindert in einer vertikalen Richtung (Z-Achsenrichtung) bewegt; einer Hauptspindel 39, die vom Spindelkopf 38 getragen wird, um um eine Achse drehbar zu sein und die ein Werkzeug T hält; einem Tisch 40, der auf dem Bett 31 angeordnet ist und an dessen Oberseite ein Werkzeug aufgespannt und fixiert ist; sowie weiteren Komponenten. Der Tisch 40 ist so ausgebildet, dass ein Aufspannabschnitt 40a, an dem das Werkstück W aufgespannt und fixiert ist, sich ungehindert um eine Rotationsmittelachse (in einer C-Achsenrichtung) parallel zu einer Z-Achse drehen kann.
  • Die Werkzeugmaschine 30 ist weiter mit Folgendem ausgestattet: einem Y-Achsen-Zufuhrmechanismus 41 zum Bewegen (linearen Bewegen) des ersten Sattels 36 in der Y-Achsenrichtung; einem X-Achsen-Zufuhrmechanismus 42 zum Bewegen (linearen Bewegen) des zweiten Sattels 37 in der X-Achsenrichtung; einem Z-Achsen- Vorschubmechanismus 43 zum Bewegen (linearen Bewegen) des Spindelkopfs 38 in der Z-Achsenrichtung; einem Hauptspindel-Drehantriebsmechanismus 44 zum Drehen der Hauptspindel 39 um ihre Achse; und einem Tischdrehantriebsmechanismus 45 zum Drehen (drehenden Bewegen) des Aufspannabschnitts 40a auf dem Tisch 40 in der C-Achsenrichtung, um zu einer vorherbestimmten Drehwinkelposition indexiert zu werden; einer Steuerungsvorrichtung 46 zum Steuern von Abläufen des Y-Achsen-Zufuhrmechanismus 41, des X-Achsen-Zufuhrmechanismus 42, des Z-Achsen-Zufuhrmechanismus 43, des Hauptspindel-Drehantriebsmechanismus 44 und des Tischdrehantriebsmechanismus 45; sowie einer Bedienungskonsole 47, die mit der Steuerungsvorrichtung 46 verbunden ist.
  • Das Bett 31 ist durch Folgendes ausgebildet: einen Sockel 32, der, wenn in der Draufsicht betrachtet, rechteckig ist; Seitenwände 33 und 34 (linke Seitenwand 33 und rechte Seitenwand 34), die aufrecht an der rechten und der linken Seite des Sockels 32 angeordnet sind; und eine Seitenwand (Rückwand) 35, die aufrecht an einer Rückseite des Sockels 32 angeordnet ist und die zwischen den Seitenwänden 33 und 34 auf sowohl der rechten als auch der linken Seite angeordnet ist. Der Tisch 40 ist an der Vorderseite der Rückwand 35 angeordnet und ist in einem von den jeweiligen Seitenwänden 33, 34 und 35 umgebenen Raum angeordnet.
  • Der erste Sattel 36 wird von der linken Seitenwand 33 und der rechten Seitenwand 34 getragen, um in der Y-Achsenrichtung beweglich zu sein. Der zweite Sattel 37 wird vom ersten Sattel 36 getragen, um in der X-Achsenrichtung beweglich zu sein. Der Spindelkopf 38 wird vom zweiten Sattel 37 getragen, um in der Z-Achsenrichtung beweglich zu sein. Die Hauptspindel 39 ist so angeordnet, dass ihre Achse parallel zur Z-Achse über der Oberseite des Tischs 40 verläuft, und wird von einem unteren Ende des Spindelkopfs 38 getragen, um um die Achse drehbar zu sein.
  • Die Bedienungskonsole 47 ist durch Folgendes ausgebildet: eine Eingabevorrichtung (ein Bedienungsschlüssel, eine Tastatur, einen manuellen Impulsgenerator oder dergleichen) (nicht abgebildet) zum Eingeben verschiedener Signale in die Steuerungsvorrichtung 46; und eine Bildschirmanzeigevorrichtung (nicht abgebildet) zum Anzeigen eines Steuerungszustands oder dergleichen durch die Steuerungsvorrichtung 46 auf einem Bildschirm.
  • Die Steuerungsvorrichtung 46 ist mit einem Programmspeicherabschnitt 46a ausgestattet, in dem ein zuvor erzeugtes NC-Programm gespeichert ist, und steuert basierend auf dem NC-Programm die Zufuhrmechanismen 41, 42 und 43 und die Drehantriebsmechanismen 44 und 45. Insbesondere extrahiert die Steuerungsvorrichtung 46 aus dem NC-Programm Bewegungsbefehle zu Bewegungspositionen und Zufuhrgeschwindigkeiten des ersten Sattels 36, des zweiten Sattels 37 und des Spindelkopfs 38, einer Drehgeschwindigkeit der Hauptspindel 39, einer Drehwinkelposition des Tischs 40 (Aufspannabschnitt 40a) oder dergleichen, um Steuerung basierend auf den extrahierten Bewegungsbefehlen, von den Zufuhrmechanismen 41, 42 und 43 zurückgemeldeten aktuellen Positionsdaten, vom Hauptspindel-Drehantriebsmechanismus 44 zurückgemeldeten aktuellen Drehgeschwindigkeitsdaten und vom Tischdrehantriebsmechanismus 45 zurückgemeldeten aktuellen Drehwinkel-Positionsdaten auszuführen.
  • Die Steuerungsvorrichtung 46 empfängt ein von der Eingabevorrichtung (nicht abgebildet) der Bedienungskonsole 47 aus eingegebenes Betriebssignal (Signal, dass mit dem Bewegungsbefehl zusammenhängt) und steuert basierend auf dem empfangenen Betriebssignal die Zufuhrmechanismen 41, 42 und 43 und die Drehantriebsmechanismen 44 und 45.
  • Die Steuerungsvorrichtung 46 führt des Weiteren ein Verfahren zum Übertragen der aus dem NC-Programm extrahierten Bewegungsbefehle, des von der Eingabevorrichtung (nicht abgebildet) der Bedienungskonsole 47 aus eingegebenen Betriebssignals und der von den Zufuhrmechanismen 41, 42 und 43 zurückgemeldeten aktuellen Positionsdaten oder der vom Tischdrehantriebsmechanismus 45 zurückgemeldeten aktuellen Drehwinkel-Positionsdaten an den Abschnitt zum Aktualisieren der Modelldaten 18.
  • Nachfolgend wird die Vorrichtung 1 zum Bestätigen dreidimensionaler Modelldaten beschrieben.
  • Wie vorangehend beschrieben, ist die Vorrichtung 1 zum Bestätigen dreidimensionaler Modelldaten mit Folgendem ausgestattet: der ersten CCD-Kamera 13; der zweiten CCD-Kamera 14; dem Abschnitt zum Speichern echter Bilddaten 15; dem Abschnitt zum Speichern von Kameraparametern 16; dem Abschnitt zum Speichern von Modelldaten 17; dem Abschnitt zum Aktualisieren von Modelldaten 18; dem Abschnitt zum Erzeugen virtueller Bilddaten 19; dem Abschnitt zum Speichern virtueller Bilddaten 20; und dem Abschnitt zum Vergleichen von Bilddaten 21.
  • Die erste CCD-Kamera 13 und die zweite CCD-Kamera 14 sind in einer von der linken Seitenwand 33 und der Rückwand 35 des Betts 31 gebildeten Ecke angeordnet und über eine Halterung 24 in einem oberen Bereich angebracht, der von der linken Seitenwand 33 und der Rückwand 35 gebildet wird. Die erste CCD-Kamera 13 und die zweite CCD-Kamera 14 neigen ihre optische Achse in einer diagonalen Richtung nach unten, um das echte Werkstück W abzubilden, das auf der Oberseite des Tischs 40 (Aufspannabschnitt 40a) aufgespannt und fixiert ist. Die zweite CCD-Kamera 14 ist so angeordnet, dass ihre optische Achse parallel zu der der ersten CCD-Kamera 13 ist, ihre Bildaufnahmefläche ist koplanar zu der der ersten CCD-Kamera 13 positioniert und sie ist um einen bestimmten Abstand von der ersten CCD-Kamera 13 beabstandet. Wenn das Werkstück W abgebildet wird, wird nicht nur das Werkstück W, sondern auch ein Teil des Tischs 40 abgebildet.
  • Die CCD-Kameras 13 und 14 sind jeweils mit einer Vielzahl von photoelektrischen Wandlern ausgestattet, die zweidimensional in einem mehrreihigen, mehrzeiligen Muster angeordnet sind, digitalisieren Spannungssignale, die von den jeweiligen photoelektrischen Wandlern gemäß einer Intensität von empfangenem Licht ausgegeben werden, wandeln die digitalisierten Signale in Graustufenwerte um und geben diese Werte als zweidimensionale Graustufen-Bilddaten aus, die auf die gleiche Weise ausgerichtet sind wie diejenigen der photoelektrischen Wandler. Der Abschnitt zum Speichern echter Bilddaten 15 speichert die zweidimensionalen Graustufen-Bilddaten (echte Bilddaten des Werkstücks W), die jeweils von der CCD-Kamera 13 bzw. 14 ausgegeben werden.
  • Der Abschnitt zum Speichern von Kameraparametern 16 speichert interne Parameter (zum Beispiel eine Brennweite, einen Koordinatenwert eines Hauptpunkts, einen Mittenkoordinatenwert der Bildaufnahmefläche, einen Abweichungsbetrag zwischen dem Mittenkoordinatenwert der Bildaufnahmefläche und dem Koordinatenwert des Hauptpunkts, einen Radialverzerrungs-Korrekturkoeffizienten, einen Tangentialverzerrungs-Korrekturkoeffizienten), bei denen es sich um für die CCD-Kameras 13 und 14 spezifische Parameter handelt, und externe Parameter (zum Beispiel eine Drehmatrix und einen Translationsvektor), die Positionen und Lagen der CCD- Kameras 13 und 14 in einem Koordinatensystem der Werkzeugmaschine 30 angeben. Diese Parameter werden zuvor, beispielsweise durch eine Kalibrationsverarbeitung, berechnet, um gespeichert zu werden.
  • Der Abschnitt zum Speichern von Modelldaten 17 speichert mit einem dreidimensionalen Modell einer Gesamtheit der Werkzeugmaschine 30, einschließlich des auf dem Tisch 40 (Aufspannabschnitt 40a) aufgespannten und fixierten Werkstücks W, zusammenhängende Daten, wobei die Modelldaten mindestens Formdaten umfassen, die eine Form der Gesamtheit der Werkzeugmaschine 30 definieren (in dieser Ausführungsform umfassen die dreidimensionalen Modelldaten Hauptbestandteile der Werkzeugmaschine 30 und das Werkstück W mit Ausnahme einer Abdeckung, einer Tür oder dergleichen der Werkzeugmaschine 30). Die Modelldaten werden zuvor von einer Bedienperson, einer Modelldaten-Erzeugungsvorrichtung oder dergleichen erzeugt. Die Modelldaten der Gesamtheit der Werkzeugmaschine 30 sind so konfiguriert, dass verschiedene Modelldaten, die beispielsweise mit Bestandteilen der Werkzeugmaschine 30, wie dem Bett 31, dem ersten Sattel 36, dem zweiten Sattel 37, dem Spindelkopf 38, der Hauptspindel 39 (einschließlich des Werkzeugs T) und dem Tisch 40 zusammenhängen; und dem Werkstück W jeweils zueinander korreliert sind. Die Modelldaten der Gesamtheit der Werkzeugmaschine 30 sind so eingestellt, dass ihr Koordinatensystem gleich demjenigen der echten Werkzeugmaschine 30 ist.
  • Beim Empfangen des Bewegungsbefehls, des Betriebsignals, der aktuellen Positionsdaten oder der aktuellen Drehwinkel-Positionsdaten empfängt, die von der Steuerungsvorrichtung 46 übertragen werden, liest der Abschnitt zur Aktualisierung von Modelldaten 18 die im Abschnitt zum Speichern von Modelldaten 17 gespeicherten Modelldaten der Gesamtheit der Werkzeugmaschine 30 aus und aktualisiert basierend auf dem Bewegungsbefehl, Betriebssignal, aktuellen Positionsdaten oder aktuellen Drehwinkel-Positionsdaten, die empfangen werden, und den ausgelesenen Modelldaten die Modelldaten der Gesamtheit der Werkzeugmaschine 30 derart, dass der erste Sattel 36, der zweite Sattel 37, der Spindelkopf 38 und der Aufspannabschnitt 40a des Tischs 40 in einem Zustand sind, in dem sie sich gemäß dem Bewegungsbefehl oder dem Betriebssignal bewegt (linear bewegt oder drehend bewegt) haben, oder in einem Zustand, in dem sie sich in eine mit den aktuellen Positionsdaten bzw. den aktuellen Drehwinkel-Positionsdaten zusammenhängende Position bewegt (linear bewegt oder drehend bewegt) haben. Danach speichert der Abschnitt zum Aktualisieren von Modelldaten 18 die aktualisierten Modelldaten im Abschnitt zum Speichern von Modelldaten 17 und überschreibt die ursprünglichen Modelldaten mit den aktualisierten Modelldaten.
  • Der Abschnitt zum Erzeugen virtueller Bilddaten 19 führt eine Folge von Verfahren aus, die in 3 gezeigt sind, und erzeugt basierend auf den im Abschnitt zum Speichern von Kameraparametern 16 gespeicherten externen Parameter (Parameter, die Positionen und Lagen der CCD-Kameras 13 und 14 angeben) der CCD-Kameras 13 und 14, den internen Parameter (Parameter, die die Brennweite, den Koordinatenwert des Hauptpunkts, den Mittenkoordinatenwert der Bildaufnahmefläche, den Abweichungsbetrag zwischen dem Mittenkoordinatenwert der Bildaufnahmefläche und dem Koordinatenwert des Hauptpunkts, den Radialverzerrungs-Korrekturkoeffizienten, den Tangentialverzerrungs-Korrekturkoeffizienten angeben) und den im Abschnitt zum Speichern von Modelldaten 17 gespeicherten Modelldaten zweidimensionale Daten des Werkstücks W (virtuelle Bilddaten des Werkstücks W, wie später beschrieben).
  • Die Erzeugung eines virtuellen Bilds, das der ersten CCD-Kamera 13 entspricht, und die eines virtuellen Bilds, das der zweiten CCD-Kamera 14 entspricht, erfolgen auf ähnliche Weise. Daher enthält die nachfolgende Beschreibung hauptsächlich eine Beschreibung der Erzeugung des virtuellen Bilds, das der ersten CCD-Kamera 13 entspricht, und die des virtuellen Bilds, das der zweiten CCD-Kamera 14 entspricht, wird ausgelassen.
  • Der Abschnitt zum Erzeugen virtueller Bilddaten 19 liest zuerst die jeweiligen, im Abschnitt zum Speichern von Kameraparametern 16 gespeicherten Parameter aus (Schritt S1) und liest dann die im Abschnitt zum Speichern von Modelldaten 17 gespeicherten Modelldaten der Gesamtheit der Werkzeugmaschine 30 aus (Schritt S2).
  • Basierend auf den jeweiligen Parameter und den ausgelesenen Modelldaten wandelt der Abschnitt zum Erzeugen virtueller Bilddaten 19 ein Koordinatensystem der Modelldaten der Gesamtheit der Werkzeugmaschine 30 in das selbe Koordinatensystem wie das auf die CCD-Kamera 13 (14) eingestellte (Schritt S3) um. Insbesondere wird die Umwandlung unter Anwendung des folgenden Ausdrucks (Ausdruck 1) ausgeführt. Im nachfolgenden Ausdruck bezeichnen R und T einen Parameter zum Umwandeln des Koordinatensystems der Werkzeugmaschine 30 in das der CCD-Kamera 13 (14), R bezeichnet eine Drehmatrix, die die Lage der CCD-Kamera 13 (14) angibt und T bezeichnet einen Translationsvektor, der die Position der CCD-Kamera 13 (14) angibt. Dadurch wird, wie beispielsweise in 5 gezeigt, ein bestimmter Punkt auf dem Werkstück W von einem Koordinatenwert Ps(Psx, Psy, Psz) im Koordinatensystem der Werkzeugmaschine 30 in einen Koordinatenwert PC(Pcx, Pcy, Pcz) im Koordinatensystem der CCD-Kamera 13 (14) umgewandelt und als Folge werden die Modelldaten der Gesamtheit der Werkzeugmaschine 30 im selben Koordinatensystem wie dem der CCD-Kamera 13 (14) erkannt.
  • [Ausdruck 1]
    • Pc = R·Ps + T
  • Das Verfahren in Schritt S3 dient dazu, virtuell einen dreidimensionalen Raum einzustellen, in dem das dreidimensionale Modell der Gesamtheit der Werkzeugmaschine 30 angeordnet ist; und virtuell eine erste CCD-Kamera 19a und eine zweite CCD-Kamera 19b einzustellen und anzuordnen, die jeweils in der Lage sind, von den selben Blickpunkten abzubilden wie denjenigen der CCD-Kameras 13 und 14.
  • Anschließend projiziert der Abschnitt zum Erzeugen virtueller Bilddaten 19 unter Verwendung des nachfolgenden Ausdrucks (Ausdruck 2) eine durch die Modelldaten, in die das Koordinatensystem umgewandelt wurde, vorgegebene Form eines Umrissabschnitts des Werkstücks W auf eine Bildaufnahmefläche 19c der CCD-Kamera 19a (oder eine Bildaufnahmefläche 19d der CCD-Kamera 19b), das heißt, das mit dem dreidimensionalen Modell zusammenhängende Werkstück W wird von der CCD-Kamera 19a (19b) abgebildet (Schritt S4). Als Folge wird, wie in 6 gezeigt, beispielsweise der Koordinatenwert Pc(Pcx, Pcy, Pcz) im dreidimensionalen Raum in einen Koordinatenwert Pip(Pipx, Pipy) in der Bildaufnahmefläche 19c (19d) umgewandelt, wodurch zweidimensionale Graustufen-Bilddaten erzeugt werden. Es ist zu beachten, dass 6 einfach ein Prinzipschema zeigt, in dem die Abbildung des Werkstücks W durch die CCD-Kamera 19a veranschaulicht wird. [Ausdruck 2]
    Figure 00220001
  • Anschließend führt der Abschnitt zum Erzeugen virtueller Bilddaten 19 ein Verfahren zum Verzerren der auf die Bildaufnahmefläche 19c (19d) projizierten Form (das heißt, des zweidimensionalen Bilds) aus (Schritt S5). Der Grund für das Ausführen dieses Verfahrens besteht darin, dass, da das von der CCD-Kamera 13 (14) erzeugte echte Bild verzerrt ist, das virtuelle Bild ebenso wie das echte Bild verzerrt werden muss. Insbesondere wird das virtuelle Bild unter Anwendung des folgenden Ausdrucks (Ausdruck 3) verzerrt. In dem Ausdruck bezeichnen K1 und K2 die Radialverzerrungs-Korrekturkoeffizienten der CCD-Kamera 13 (14) und P1 und P2 bezeichnen die Tangentialverzerrungs-Korrekturkoeffizienten der CCD-Kamera 13 (14). Dadurch wird der bestimmte Koordinatenwert Pip(Pipx, Pipy) in einen Koordinatenwert Pipd(Pipdx, Pipdy) umgewandelt. [Ausdruck 3]
    Figure 00220002
  • Danach wird unter Verwendung des nachfolgenden Ausdrucks (Ausdruck 4) der Koordinatenwert Pipd(Pipdx, Pipdy) auf der Bildaufnahmefläche 19c (19d) der verzerrten Form als eine Pixelposition Pis(Pisx, Pisy) berechnet (Schritt S6). Im nachfolgenden Ausdruck bezeichnet uo einen Abweichungsbetrag in der X-Achsenrichtung zwischen dem Mittenkoordinatenwert der Bildaufnahmefläche der CCD-Kamera 13 (14) und dem Koordinatenwert des Hauptpunkts; vo bezeichnet einen Abweichungsbetrag in der Y-Achsenrichtung zwischen dem Mittenkoordinatenwert der Bildaufnahmefläche der CCD-Kamera 13 (14) und dem Koordinatenwert des Hauptpunkts; fx bezeichnet eine Brennweite in der X-Achsenrichtung der CCD-Kamera 13 (14); und fy bezeichnet eine Brennweite in der Y-Achsenrichtung der CCD-Kamera 13 (14). [Ausdruck 4]
    Figure 00230001
  • Die Verfahren in Schritt S5 und S6 dienen dazu, einen Zustand der virtuellen CCD-Kamera 19a (19b) und einen Zustand der echten CCD-Kamera 13 (14) aneinander anzupassen.
  • Auf diese Weise wird, wenn die Verfahren der Schritte S1 bis S6 ausgeführt werden, der dreidimensionale Raum virtuell eingestellt und das dreidimensionale Modell der Gesamtheit der Werkzeugmaschine 30 wird in dem Raum angeordnet und die Kamera 19a (19b) in dem gleichen Zustand wie dem der CCD-Kamera 13 (14) virtuell eingestellt und angeordnet. Folglich werden die zweidimensionalen Graustufen-Bilddaten (die zweidimensionalen Graustufen-Bilddaten des Werkstücks W, einschließlich eines Teils des Tischs 40), von denen geschätzt wird, dass sie erhalten werden, wenn das Werkstück W, das mit dem dreidimensionalen Modell sowie dem tatsächlichen Werkstück W zusammenhängt, vom selben Blickpunkt aus abgebildet wird wie dem der CCD-Kamera 13 (14), von der Kamera 19a (19b) erzeugt. Die erzeugten zweidimensionalen Graustufen-Bilddaten werden dann im Abschnitt zum Speichern virtueller Bilddaten 20 als die virtuellen Bilddaten des Werkstücks W gespeichert (Schritt S7) und die Folge von Verfahren ist abgeschlossen. Im Abschnitt zum Speichern virtueller Bilddaten 20 werden jeweils die virtuellen Bilddaten, die der ersten CCD-Kamera 13 entsprechen, und die virtuellen Bilddaten, die der zweiten CCD-Kamera 14 entsprechen, gespeichert.
  • Der Abschnitt zum Erzeugen virtueller Bilddaten 19 kann Verfahren in Schritt S5' und S6' ausführen, wie nachfolgend beschrieben, statt der Verfahren in Schritt S5 und Schritt S6 (siehe 4). Das heißt, in Schritt S5' wird unter Verwendung des nachfolgenden Ausdrucks (Ausdruck 5) der Koordinatenwert Pip(Pipx, Pipy) der projizierten Form (zweidimensionales Bild) auf der Bildaufnahmefläche 19c (19d) als eine Pixelposition Pv(Pvx, Pvy) berechnet. Im nachfolgenden Ausdruck bezeichnet f eine Brennweite der CCD-Kamera 13 (14); Cx bezeichnet einen X-Achsen-Koordinatenwert eines Pixels in der Mitte der Bildaufnahmefläche der CCD-Kamera 13 (14); und Cy bezeichnet einen Y-Achsen-Koordinatenwert eines Pixels in der Mitte der Bildaufnahmefläche der CCD-Kamera 13 (14). [Ausdruck 5]
    Figure 00250001
  • Andererseits wird in Schritt S6' unter Verwendung des folgenden Ausdrucks (Ausdruck 6), der durch Kombinieren von Ausdruck 4 und Ausdruck 5 erhalten wird, die in Schritt S5' erhaltene Form (zweidimensionales Bild) verschoben und vergrößert. Dadurch wird die in Schritt S5' erhaltene Pixelposition Pv(Pvx, Pxy) in eine neue Pixelposition Pis(Pisx, Pisy) umgewandelt. Im nachfolgenden Ausdruck sind die oberen Komponenten (in Bezug auf die X-Achse) ganze Zahlen und die unteren Komponenten (in Bezug auf die y-Achse) sind Dezimalzahlen. Daher kann mit diesem Zustand jedoch die Pixelposition in der Y-Achsenrichtung nicht ausgewertet werden und so wird in Bezug auf die Pixelposition in der Y-Achsenrichtung eine Interpolation erster Ordnung ausgeführt, um einen ganzzahligen Wert zu erhalten (um einen Dezimalabschnitt zu eliminieren). [Ausdruck 6]
    Figure 00250002
  • Der Abschnitt zum Vergleichen von Bilddaten 21 führt eine Folge von Verfahren aus, die in 7 gezeigt sind, und bestätigt basierend auf den internen Parameter (Parameter, die die Brennweite, den Koordinatenwert des Hauptpunkts, den Mittenkoordinatenwert der Bildaufnahmefläche, den Abweichungsbetrag zwischen dem Mittenkoordinatenwert der Bildaufnahmefläche und dem Koordinatenwert des Hauptpunkts, den Radialverzerrungs-Korrekturkoeffizienten und den Tangentialverzerrungs-Korrekturkoeffizienten angeben) der CCD-Kameras 13 und 14, die jeweils im Abschnitt zum Speichern von Kameraparametern 16 gespeichert sind; den mit dem echten Werkstück W (echtes Bild des Werkstücks W) zusammenhängenden zweidimensionalen Bilddaten, die im Abschnitt zum Speichern echter Bilddaten 15 gespeichert sind; und den mit dem dreidimensionalen Modell zusammenhängenden zweidimensionalen Graustufen-Bilddaten (virtuelles Bild des Werkstücks W) des Werkstücks W, die im Abschnitt zum Speichern virtueller Bilddaten 20 gespeichert sind, ob die Modelldaten der Gesamtheit der Werkzeugmaschine 30, einschließlich des Werkstücks W, korrekt sind.
  • Das heißt, der Abschnitt zum Vergleichen von Bilddaten 21 liest die internen Parameter der CCD-Kameras 13 und 14, die jeweils im Abschnitt zum Speichern von Kameraparametern 16 gespeichert sind, aus (Schritt S11) und liest dann die echten Bilddaten (echte Bilddaten, die von den CCD-Kameras 13 bzw. 14 erhalten wurden) des Werkstücks W aus, die jeweils im Abschnitt zum Speichern echter Bilddaten 15 gespeichert sind (Schritt S12).
  • Anschließend wird basierend auf den ausgelesenen internen Parameter und den jeweiligen echten Bilddaten die Verzerrung jedes echten Bilds eliminiert (Schritt 13) und außerdem wird eine Abweichung jedes echten Bilds entfernt (Schritt S14). Der Grund für diese Schritte besteht darin, dass die Bilder durch Objektive der CCD-Kameras 13 und 14 verzerrt werden, bzw. der Hauptpunkt und die Mitte der Bildaufnahmefläche abweichend sind. Die Verzerrung des echten Bilds kann beispielsweise basierend auf dem Radialverzerrungs-Korrekturkoeffizienten und dem Tangentialverzerrungs-Korrekturkoeffizienten eliminiert werden. Die Abweichung des echten Bilds kann beispielsweise basierend auf einem Abweichungsbetrag des Hauptpunkts entfernt werden.
  • Anschließend werden die jeweils im Abschnitt zum Speichern virtueller Bilddaten 20 gespeicherten virtuellen Bilddaten (virtuelle Bilddaten, die erzeugt werden, um den CCD-Kameras 13 und 14 zu entsprechen) des Werkstücks W ausgelesen (Schritt S15), und basierend auf den jeweils ausgelesenen virtuellen Bilddaten und den in Schritt S11 ausgelesen internen Parameter wird eine Verzerrung jedes virtuellen Bilds sowie des echten Bilds eliminiert (Schritt S16) und außerdem wird eine Abweichung jedes virtuellen Bilds ebenfalls entfernt (Schritt S17).
  • Falls in den Verfahren des Abschnitts zum Erzeugen virtueller Bilddaten 19 die Verfahren in den Schritten S5' und S6' statt die Verfahren in den Schritten S5 und S6 ausgeführt werden, kann das Verfahren in Schritt 516 ausgelassen werden.
  • Anschließend werden die durch die erste CCD-Kamera 13 erhaltenen echten Bilddaten und die virtuellen Bilddaten, die erzeugt wurden, um der ersten CCD-Kamera 13 zu entsprechen, sowie die durch die zweite CCD-Kamera 14 erhaltenen echten Bilddaten und die virtuellen Bilddaten, die erzeugt wurden, um der zweiten CCD-Kamera 14 zu entsprechen, miteinander verglichen, um festzustellen, ob diese Bilddaten übereinstimmen (Schritt S18).
  • Insbesondere erfolgt die Feststellung beispielsweise, indem bestätigt wird, ob der Graustufenwert jedes Pixels in den echten Bilddaten der gleiche ist wie der jedes Pixels in den virtuellen Bilddaten, indem Ränder des Werkstücks W aus den echten Bilddaten und den virtuellen Bilddaten erkannt werden, um zu bestätigen, ob Positionen und Längen der erkannten Ränder gleich sind und so weiter. Falls der Graustufenwert jedes Pixels der echten Bilddaten und der der virtuellen Bilddaten der gleiche ist bzw. falls die von den echten Bilddaten erkannten Positionen und die Längen und die der virtuellen Bilddaten gleich sind, wird festgestellt, dass die echten Bilddaten und die virtuellen Bilddaten übereinstimmen. Um zuzugeben, dass die echten Bilddaten und die virtuellen Bilddaten übereinstimmen, müssen von zwei Paaren echter Bilddaten und virtueller Bilddaten jeweils zwei Paare, aber nicht eines der beiden Paare übereinstimmen.
  • Wenn die echten Bilddaten und die virtuellen Bilddaten übereinstimmen, wird festgestellt, dass die dreidimensionalen Modelldaten der Gesamtheit der Werkzeugmaschine 30 korrekt sind, das heißt, die Form des Werkstücks W, die Aufspannposition desselben und die Aufspannlage desselben stimmen mit denen des echten Werkstücks W überein (Schritt S18). Dann ist die Folge von Verfahren abgeschlossen. Wenn andererseits die echten Bilddaten und die virtuellen Bilddaten nicht übereinstimmen, wird festgestellt, dass die dreidimensionalen Modelldaten der Gesamtheit der Werkzeugmaschine 30 falsch sind, das heißt, die Form des Werkstücks W, die Aufspannposition desselben und die Aufspannlage desselben stimmen nicht mit denen des echten Werkstücks W überein (Schritt S18), eine diesbezügliche Nachricht wird auf der Bildschirmanzeigevorrichtung (nicht abgebildet) der Bedienungskonsole 47 oder auf der Bildschirmanzeigevorrichtung 12 des Computers 10 angezeigt (Schritt S19). Dann ist die Folge von Verfahren abgeschlossen.
  • Gemäß der derartig konfigurierten Vorrichtung 1 zum Bestätigen dreidimensionaler Modelldaten der Ausführungsform werden die internen Parameter und die externen Parameter der CCD-Kameras 13 und 14 zuvor im Abschnitt zum Speichern von Kameraparametern 16 gespeichert und die Modelldaten der Gesamtheit der Werkzeugmaschine 30, einschließlich des Werkstücks W, werden im Abschnitt zum Speichern von Modelldaten 17 gespeichert. Die im Abschnitt zum Speichern von Modelldaten 17 gespeicherten Modelldaten werden nach Bedarf, basierend auf dem Bewegungsbefehl, dem Betriebssignal, den aktuellen Positionsdaten und den aktuellen Drehwinkel-Positionsdaten, die von der Steuerungsvorrichtung 46 übertragen werden, vom Abschnitt zum Aktualisieren von Modelldaten 18 aktualisiert.
  • Wenn das echte Werkstück W auf dem Tisch 40 von den CCD-Kameras 13 und 14 abgebildet wird, werden die echten Bilddaten des Werkstücks W, einschließlich eines Teils des Tischs 40, erzeugt und die erzeugten Daten werden im Abschnitt zum Speichern echter Bilddaten 15 gespeichert.
  • Basierend auf den im Abschnitt zum Speichern von Kameraparametern 16 gespeicherten externen Parameter und internen Parameter der CCD-Kameras 13 und 14 und den im Abschnitt zum Speichern von Modelldaten 17 gespeicherten Modelldaten, werden die virtuellen Bilddaten des Werkstücks W, von denen abgeschätzt wird, dass sie erhalten werden, wenn das mit dem dreidimensionalen Modell zusammenhängende Werkstück W von den selben Blickpunkten aus abgebildet wird wie denjenigen der CCD-Kamera 13 bzw. 14, vom Abschnitt zum Erzeugen virtueller Bilddaten 19 erzeugt. Die erzeugten Daten werden im Abschnitt zum Speichern virtueller Bilddaten 20 gespeichert.
  • Danach wird basierend auf den im Abschnitt zum Speichern von Kameraparametern 16 gespeicherten internen Parameter der CCD-Kameras 13 und 14, den im Abschnitt zum Speichern echter Bilddaten 15 gespeicherten echten Bilddaten des Werkstücks W und den im Abschnitt zum Speichern virtueller Bilddaten 20 gespeicherten virtuellen Bilddaten des Werkstücks W vom Abschnitt zum Vergleichen von Bilddaten 21 festgestellt, ob die Modelldaten der Gesamtheit der Werkzeugmaschine, einschließlich des Werkstücks W, korrekt sind. Falls festgestellt wird, dass die Modelldaten falsch sind, wird beispielsweise die diesbezügliche Nachricht auf der Bildschirmanzeigevorrichtung (nicht abgebildet) der Bedienungskonsole 47 oder auf der Bildschirmanzeigevorrichtung 12 des Computers 10 angezeigt.
  • Auf diese Weise werden gemäß der Vorrichtung 1 zum Bestätigen dreidimensionaler Modelldaten der Ausführungsform das durch die CCD-Kameras 13 und 14 erhaltene echte Bild des Werkstücks W und das basierend auf den dreidimensionalen Modelldaten der Gesamtheit der Werkzeugmaschine 30 erhaltene virtuelle Bild des Werkstücks W miteinander verglichen, um festzustellen, ob die dreidimensionalen Modelldaten der Gesamtheit der Werkzeugmaschine 30, einschließlich des Werkstücks W, mit dem echten Zustand der Werkzeugmaschine 30 übereinstimmen. Es ist daher möglich, einfach, effizient und genau zu bestätigen, ob die dreidimensionalen Modelldaten der Gesamtheit der Werkzeugmaschine 30 korrekt sind.
  • Des Weiteren ist es möglich, die Störungssimulation zu verhindern, in der beispielsweise inkorrekte dreidimensionale Modelldaten verwendet werden, oder es ist möglich, einen Fall zu verhindern, in dem von der Störungssimulation, die die falschen dreidimensionalen Modelldaten verwendet, festgestellt wird, dass kein Fehler im NC-Programm vorliegt und die Bearbeitung gemäß einem derartigen NC-Programm ausgeführt wird.
  • So wurde eine Ausführungsform der vorliegenden Erfindung vorangehend beschrieben. Es versteht sich, dass spezielle Ausführungsformen, in denen die vorliegende Erfindung ausgeführt werden kann, nicht darauf beschränkt sind.
  • In der vorangehend beschriebenen Ausführungsform ist die vorliegende Erfindung ausgelegt, um zu bestätigen, ob die dreidimensionalen Modelldaten der Gesamtheit der Werkzeugmaschine 30, einschließlich des Werkstücks W, auf dem Tisch 40, korrekt sind. Da jedoch allgemein eine Aufspannvorrichtung verwendet wird, um das Werkstück W auf dem Tisch 40 zu fixieren, kam es möglich sein zu bestätigen, ob die dreidimensionalen Modelldaten der Gesamtheit der Werkzeugmaschine 30, einschließlich des Werkstücks W und der Aufspannvorrichtung, zum Fixieren des Werkstücks W korrekt sind. Des Weiteren kann es außerdem möglich sein zu bestätigen, ob die dreidimensionalen Modelldaten der Gesamtheit der Werkzeugmaschine 30, einschließlich der Aufspannvorrichtung, korrekt sind.
  • Im Fall der Bestätigung, ob die dreidimensionalen Modelldaten der Gesamtheit der Werkzeugmaschine 30, einschließlich des Werkstücks W und der Aufspannvorrichtung, korrekt sind, werden die dreidimensionalen Modelldaten der Gesamtheit der Werkzeugmaschine 30, einschließlich des Werkstücks W und der Aufspannvorrichtung, im Abschnitt zum Speichern von Modelldaten 17 gespeichert, das Werkstück W und die Aufspannvorrichtung werden von den CCD-Kameras 13 und 14 abgebildet, um die echten Bilddaten zu erzeugen, gleichzeitig werden virtuelle Bilddaten des Werkstücks W und der Aufspannvorrichtung vom Abschnitt zum Erzeugen virtueller Bilddaten 19 erzeugt und die echten Bilddaten und die virtuellen Bilddaten werden vom Abschnitt zum Vergleichen von Bilddaten 21 verglichen, wodurch festgestellt wird, ob die dreidimensionalen Modelldaten der Gesamtheit der Werkzeugmaschine 30, einschließlich des Werkstücks W und der Aufspannvorrichtung, korrekt sind. Andererseits werden im Fall der Bestätigung, ob die dreidimensionalen Modelldaten der Gesamtheit der Werkzeugmaschine 30, einschließlich der Aufspannvorrichtung, korrekt sind, die dreidimensionalen Modelldaten der Gesamtheit der Werkzeugmaschine 30, einschließlich der Aufspannvorrichtung, im Abschnitt zum Speichern von Modelldaten 17 gespeichert, die Aufspannvorrichtung wird von den CCD-Kameras 13 und 14 abgebildet, um die echten Bilddaten zu erzeugen, gleichzeitig werden virtuelle Bilddaten der Aufspannvorrichtung vom Abschnitt zum Erzeugen virtueller Bilddaten 19 erzeugt und die echten Bilddaten und die virtuellen Bilddaten werden vom Abschnitt zum Vergleichen von Bilddaten 21 verglichen, wodurch festgestellt wird, ob die dreidimensionalen Modelldaten der Gesamtheit der Werkzeugmaschine 30, einschließlich der Aufspannvorrichtung, korrekt sind.
  • Die Reihenfolge, in der die Verfahren zum Abbilden des echten Werkstücks W von den CCD-Kameras 13 und 14 zum Erzeugen der echten Bilddaten und das Verfahren zum Erzeugen der virtuellen Bilddaten des Werkstücks W vom Abschnitt zum Erzeugen virtueller Bilddaten 19 ausgeführt werden, ist nicht speziell beschränkt. Ein beliebiges der Verfahren kann zuerst ausgeführt werden.
  • Wenn der Aufspannabschnitt 40a des Tischs 40 in einer C-Achsenrichtung gedreht wird, um das Werkstück W aus einer Vielzahl von Drehwinkelpositionen abzubilden, und das resultierende echte Bild, das von jeder Drehwinkelposition abgebildet wurde, und das virtuelle Bild verglichen werden, wird es möglich genauer festzustellen, ob die Modelldaten der Gesamtheit der Werkzeugmaschine 30 korrekt sind.
  • Des Weiteren ist nicht speziell beschränkt, in welchen Fällen bestätigt wird, ob die Modelldaten der Gesamtheit der Werkzeugmaschine 30 korrekt sind. Beispielsweise kann die Bestätigung ausgeführt werden, wenn eine auf der Bedienungskonsole 47 vorgesehene Bearbeitungsstarttaste von einer Bedienperson gedrückt wird. In diesem Fall wird ein Bestätigungsverfahren ausgeführt, bevor ein Bearbeitungsvorgang ausgeführt wird, und wenn festgestellt wird, dass die Modelldaten der Gesamtheit der Werkzeugmaschine 30 falsch sind, wird ein Alarm ausgegeben, um den Bearbeitungsvorgang anzuhalten. Außerdem kann die Bestätigung auch dann ausgeführt werden, wenn die Bedienperson eine Bearbeitungsvorbereitung fertig stellt und dann eine auf der Bedienungskonsole 47 vorgesehene Bestätigungstaste drückt.
  • Es ist nicht immer notwendig, dass zwei CCD-Kameras 13 und 14 angeordnet sind, und die zweite CCD-Kamera 14 kann weggelassen werden. In diesem Fall werden die von der ersten CCD-Kamera 13 erhaltenen echten Bilddaten und die virtuellen Bilddaten, die erzeugt wurden, um der ersten CCD-Kamera 13 zu entsprechen, miteinander verglichen, wodurch festgestellt wird, ob die Modelldaten der Gesamtheit der Werkzeugmaschine 30 korrekt sind. Wenn das Werkstück W in einer Position abgebildet wird, die einer Position entspricht, in der die erste CCD-Kamera 13 angeordnet ist, und in einer Position, die einer Position entspricht, in der die zweite CCD-Kamera 14 angeordnet ist, wird es außerdem, ähnlich wie im vorangehenden Fall, möglich, basierend auf dem zweidimensionalen Graustufenbild zwei verschiedener Blickpunkte festzustellen, ob die Modelldaten der Gesamtheit der Werkzeugmaschine 30 korrekt sind.
  • Die Werkzeugmaschine 30, in der die Vorrichtung 1 zum Bestätigen dreidimensionaler Modelldaten vorgesehen ist, ist nicht beschränkt und es kann jede beliebige Werkzeugmaschine 30 möglich sein. Beispielsweise kann die Werkzeugmaschine 30 nicht nur wie in der Ausführungsform im vertikalen Bearbeitungszentrum angeordnet sein, sondern auch in einer Drehmaschine oder dergleichen.
  • Des Weiteren können die CCD-Kameras 13 und 14 dazu konfiguriert sein, um nicht die zweidimensionalen Graustufen-Bilddaten auszugeben, sondern zweidimensionale Farbbilder auszugeben, und der Abschnitt zum Erzeugen virtueller Bilddaten 19 kann dazu konfiguriert sein, um nicht die zweidimensionalen Graustufen-Bilddaten zu erzeugen, sondern um zweidimensionale Farbbilder zu erzeugen, um basierend auf den Farbbildern festzustellen, ob die Modelldaten der Gesamtheit der Werkzeugmaschine 30, einschließlich des Werkstücks W, korrekt sind.
  • Gewerbliche Anwendbarkeit
  • Wie vorangehend ausführlich beschrieben, ist die vorliegende Erfindung anwendbar auf ein Verfahren und eine Vorrichtung zum Bestätigen dreidimensionaler Modelldaten, die bestätigen, ob zuvor erzeugte Modelldaten korrekt sind, wobei die dreidimensionalen Modelldaten ein befestigtes Objekt, das an einer Werkzeugmaschine befestigt ist, und mindestens einen Teil der Werkzeugmaschine umfassen.
  • ZUSAMMENFASSUNG
  • Die vorliegende Erfindung betrifft eine Vorrichtung zum Bestätigen dreidimensionaler Modelldaten oder dergleichen und ist in der Lage, einfach, effizient und genau zu bestätigen, ob dreidimensionale Modelldaten, die ein befestigtes Objekt, das an einer Werkzeugmaschine befestigt ist, und mindestens einen Teil der Werkzeugmaschine umfassen, korrekt sind. Eine Vorrichtung 1 zum Bestätigen dreidimensionaler Modelldaten ist mit Folgendem ausgestattet: CCD-Kameras 13 und 14 zum Abbilden eines echten befestigten Objekts, das an einer Werkzeugmaschine 30 befestigt ist, um echte Bilddaten des befestigen Objekts zu erzeugen; einem Abschnitt zum Speichern von Modelldaten 17, um im Voraus Modelldaten zu speichern, die das befestigte Objekt, das an der Werkzeugmaschine 30 befestigt ist, und mindestens einen Teil der Werkzeugmaschine 30 umfassen und die zuvor erzeugt werden; einem Abschnitt zum Erzeugen virtueller Bilddaten 19 zum Erzeugen zweidimensionaler Bilddaten durch ein Computerverfahren, bei denen es sich um virtuelle Bilddaten des befestigten Objekts handelt, basierend auf den im Abschnitt zum Speichern von Modelldaten 17 gespeicherten Modelldaten; und einem Abschnitt zum Vergleichen von Bilddaten 21 zum Vergleichen der echten Bilddaten des befestigten Objekts und der virtuellen Bilddaten desselben durch ein Computerverfahren, um festzustellen, ob diese Bilddaten übereinstimmen.
  • 1
    Vorrichtung zum Bestätigen dreidimensionaler Modelldaten
    10
    Computer
    11
    Eingabevorrichtung
    12
    Bildschirmanzeigevorrichtung
    13
    Erste CCD-Kamera
    14
    Zweite CCD-Kamera
    15
    Abschnitt zum Speichern echter Bilddaten
    16
    Abschnitt zum Speichern von Kameraparametern
    17
    Abschnitt zum Speichern von Modelldaten
    18
    Abschnitt zum Aktualisieren von Modelldaten
    19
    Abschnitt zum Erzeugen virtueller Bilddaten
    20
    Abschnitt zum Speichern virtueller Bilddaten
    21
    Abschnitt zum Vergleichen von Bilddaten
    30
    Werkzeugmaschine
    31
    Bett
    32
    Sockel
    33
    Linke Seitenwand
    34
    Rechte Seitenwand
    35
    Rückwand
    36
    Erster Sattel
    37
    Zweiter Sattel
    38
    Spindelkopf
    39
    Hauptspindel
    40
    Tisch
    T
    Werkzeug
    W
    Werkstück
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • - JP 2006-004128 [0003, 0003]

Claims (4)

  1. Verfahren zum Bestätigen dreidimensionaler Modelldaten, das bestätigt, ob zuvor erzeugte Daten, die mit einem dreidimensionalen Modell zusammenhängen, welches ein an einer Werkzeugmaschine angebrachtes Objekt und mindestens einen Teil der Werkzeugmaschine umfasst, korrekt sind, wobei die Modelldaten mindestens Formdaten aufweisen, die Formen der Werkzeugmaschine und des angebrachten Objekts angeben, wobei das Verfahren aufweist: einen Prozess zum Erzeugen tatsächlicher Bilddaten, bei dem ein an der Werkzeugmaschine tatsächlich angebrachtes Objekt von einer Bildkamera von einem oder mehreren zuvor eingestellten Blickpunkten aus aufgenommen wird, um zweidimensionale Bilddaten zu erzeugen; einen Prozess zum Erzeugen virtueller Bilddaten, um durch einen Computerprozess zweidimensionale Daten des angebrachten Objekts basierend auf den zuvor erzeugten Modelldaten, die das angebrachte Objekt und den mindestens einen Teil der Werkzeugmaschine umfassen, zu erzeugen, wobei der Prozess einen dreidimensionaler Raum virtuell bereitstellt, wobei das dreidimensionale Modell, das angebrachte Objekt und den mindestens einen Teil der Werkzeugmaschine innerhalb des Raumes umfasst, und wobei eine Kamera in dem gleichen Zustand wie die Bildkamera virtuell eingestellt und angeordnet wird, wodurch die zweidimensionalen Bilddaten derart geschätzt werden, als ob das in Bezug auf das dreidimensionale Modell angebrachte Objekt sowie das angebrachte tatsächliche Objekt von der virtuell eingestellten und angeordneten Kamera von dem selben Blickpunkt wie dem zuvor eingestellten Blickpunkt aus aufgenommen wird; und; einen Prozess zum Vergleichen von Bilddaten, um durch einen Computerprozess die in dem Prozess zum Erzeugen tatsächlicher Bilddaten erzeugten zweidimensionalen Bilddaten, die mit dem tatsächlich angebrachten Objekt zusammenhängen, und die in dem Prozess zum Erzeugen virtueller Bilddaten erzeugten zweidimensionalen Bilddaten des angebrachten Objekts, die mit dem dreidimensionalen Modell zusammenhängen, zu vergleichen und um festzustellen, ob diese zweidimensionalen Bilddaten übereinstimmen.
  2. Vorrichtung zum Bestätigen dreidimensionaler Modelldaten, die bestätigt, ob zuvor erzeugte Daten, die mit einem dreidimensionalen Modell zusammenhängen, das ein angebrachtes Objekt, das an der Werkzeugmaschine befestigt ist, und mindestens einen Teil der Werkzeugmaschine umfasst, korrekt sind, wobei die Modelldaten mindestens Formdaten aufweisen, die Formen der Werkzeugmaschine und des befestigen Objekts definieren, wobei die Vorrichtung aufweist: eine Bildkamera zum Aufnehmen eines tatsächlich angebrachten Objekts, das an der Werkzeugmaschine angebracht ist, von einem oder mehreren zuvor eingestellten Blickpunkten aus, um zweidimensionale Bilddaten zu erzeugen; und einen Computer, mit dem die Bildkamera verbunden ist, wobei der Computer derart konfiguriert ist, dass er: Mittel zum Speichern von Modelldaten bildet, die zum Speichern der zuvor erzeugten Modelldaten, die das angebrachte Objekt und den mindestens einen Teil der Werkzeugmaschine umfassen, vorgesehen sind; Mittel zum Erzeugen virtueller Bilddaten zum Erzeugen zweidimensionaler Daten des angebrachten Objekts basierend auf den in dem Mittel zum Speichern von Modelldaten gespeicherten Modelldaten, dem Mittel, in dem ein dreidimensionaler Raum virtuell bereitgestellt ist, wobei das dreidimensionale Modell das angebrachte Objekt und den mindestens einen Teil der Werkzeugmaschine innerhalb des Raumes umfasst, und wobei eine Kamera in dem gleichen Zustand wie die Bildkamera virtuell eingestellt und angeordnet ist, wodurch die zweidimensionalen Bilddaten derart geschätzt werden, als ob das in Bezug auf das dreidimensionale Modell sowie das tatsächlich angebrachte Objekt von der virtuell eingestellten und angeordneten Kamera von dem selben Blickpunkt wie dem zuvor eingestellten Blickpunkt aus aufgenommen wird; und Mittel zum Vergleichen von Bilddaten bildet, welche die von der Bildkamera erzeugten zweidimensionalen Bilddaten, die mit dem tatsächlich angebrachten Objekt zusammenhängen, und die mit dem Mittel zum Erzeugen virtueller Bilddaten erzeugten zweidimensionalen Bilddaten des angebrachten Objekts, die mit dem dreidimensionalen Modell zusammenhängen vergleichen, um festzustellen, ob diese Bilddaten übereinstimmen.
  3. Vorrichtung zum Bestätigen dreidimensionaler Modelldaten, die in einer Werkzeugmaschine angeordnet ist und die aufweist: ein Bauteil, das bewegbar konfiguriert ist und an dem ein angebrachtes Objekt angebracht ist; Antriebsmittel zum Antreiben des Bauteils; und ein Steuerungsmittel, das einen Betrieb der Antriebsmittel basierend auf einem Bewegungsbefehl des Bauteils steuert, um eine Bewegung des Bauteils zu steuern, wobei die Vorrichtung vorgesehen ist, um zu bestätigen, ob zuvor erzeugte Daten, die mit einem dreidimensionalen Modell, das ein angebrachtes Objekt, das an der Werkzeugmaschine angebracht ist, und mindestens einen Teil der Werkzeugmaschine umfasst, zusammenhängen, korrekt sind, wobei die Modelldaten mindestens Formdaten umfassen, die Formen der Werkzeugmaschine und des angebrachten Objekts definieren, wobei die Vorrichtung aufweist: eine Bildkamera zum Aufnehmen eines tatsächlich befestigten Objekts, das an der Werkzeugmaschine angebracht ist, von einem oder mehreren zuvor eingestellten Blickpunkten aus, um zweidimensionale Bilddaten zu erzeugen; und einen Computer, mit dem die Bildkamera verbunden ist, wobei der Computer derart konfiguriert ist, dass er: Mittel zum Speichern von Modelldaten bildet, die zum Speichern der zuvor erzeugten Modelldaten, die das angebrachte Objekt und den mindestens einen Teil der Werkzeugmaschine umfassen, vorgesehen sind; Mittel zum Aktualisieren von Modelldaten, das von dem Steuerungsmittel den Bewegungsbefehl oder Positionsinformationen des Bauteils empfängt und basierend auf dem empfangenen Bewegungsbefehl beziehungsweise den empfangenen Positionsinformationen und den im Mittel zum Speichern von Modelldaten gespeicherten Modelldaten die mit dem mindestens einen Teil der Werkzeugmaschine zusammenhängenden Modelldaten aktualisiert, so dass das Bauteil in einem Zustand ist, in dem es sich gemäß dem Bewegungsbefehl bewegt hat, oder das Bauteil in einem Zustand ist, in dem es sich zu einer Position gemäß den Positionsinformationen bewegt hat; Mittel zum Erzeugen virtueller Bilddaten, die zum Erzeugen zweidimensionaler Daten des befestigten Objekts basierend auf den im Mittel zum Aktualisieren von Modelldaten aktualisierten Modelldaten vorgesehen sind, dem Mittel, in dem ein dreidimensionaler Raum virtuell bereitgestellt ist, wobei das dreidimensionale Modell, das angebrachte Objekt und den mindestens einen Teil der Werkzeugmaschine innerhalb des Raumes umfasst und wobei eine Kamera in dem gleichen Zustand wie die Bildkamera virtuell eingestellt und angeordnet ist, wodurch die zweidimensionalen Bilddaten derart geschätzt werden, als ob das in Bezug auf das dreidimensionalen Modell sowie das tatsächlich angebrachte Objekt von der virtuell eingestellten und angeordneten Kamera von dem selben Blickpunkt wie dem zuvor eingestellten Blickpunkt aus aufgenommen wird; und Mittel zum Vergleichen von Bilddaten bildet, welche die von der Bildkamera erzeugten zweidimensionalen Bilddaten, die mit dem tatsächlich angebrachten Objekt zusammenhängen, und die mit dem Mittel zum Erzeugen virtueller Bilddaten erzeugten zweidimensionalen Bilddaten des angebrachten Objekts, die mit dem dreidimensionalen Modell zusammenhängen, vergleichen, um festzustellen, ob diese Bilddaten übereinstimmen.
  4. Vorrichtung zum Bestätigen dreidimensionaler Modelldaten nach Anspruch 2 oder 3, wobei das Mittel zum Vergleichen von Bilddaten einen Graustufenwert jedes Pixels in den von der Bildkamera erzeugten zweidimensionalen Bilddaten und einen Graustufenwert jedes Pixels in den vom Mittel zum Erzeugen virtueller Bilddaten erzeugten zweidimensionalen Bilddaten vergleicht, um festzustellen, ob diese Graustufenwerte übereinstimmen.
DE112007001964.6T 2006-09-01 2007-08-31 Verfahren zur Bestätigung von dreidimensionalen Modelldaten und Vorrichtung zur Bestätigung von dreidimensionalen Modelldaten Active DE112007001964B4 (de)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US82428506P 2006-09-01 2006-09-01
US60/824,285 2006-09-01
US86310706P 2006-10-26 2006-10-26
US60/863,107 2006-10-26
PCT/JP2007/066988 WO2008026723A1 (fr) 2006-09-01 2007-08-31 Procédé de confirmation de données de modèle tridimensionnel, et appareil de confirmation de données de modèle tridimensionnel

Publications (2)

Publication Number Publication Date
DE112007001964T5 true DE112007001964T5 (de) 2009-09-10
DE112007001964B4 DE112007001964B4 (de) 2016-06-02

Family

ID=39136004

Family Applications (2)

Application Number Title Priority Date Filing Date
DE112007001964.6T Active DE112007001964B4 (de) 2006-09-01 2007-08-31 Verfahren zur Bestätigung von dreidimensionalen Modelldaten und Vorrichtung zur Bestätigung von dreidimensionalen Modelldaten
DE112007001977T Withdrawn DE112007001977T5 (de) 2006-09-01 2007-08-31 Verfahren zur Generierung dreidimensionaler Modelldaten und Vorrichtung zur Generierung dreidimensionaler Modelldaten

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE112007001977T Withdrawn DE112007001977T5 (de) 2006-09-01 2007-08-31 Verfahren zur Generierung dreidimensionaler Modelldaten und Vorrichtung zur Generierung dreidimensionaler Modelldaten

Country Status (4)

Country Link
US (2) US8335666B2 (de)
JP (2) JP5049976B2 (de)
DE (2) DE112007001964B4 (de)
WO (2) WO2008026723A1 (de)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112007001964B4 (de) * 2006-09-01 2016-06-02 Dmg Mori Seiki Co., Ltd. Verfahren zur Bestätigung von dreidimensionalen Modelldaten und Vorrichtung zur Bestätigung von dreidimensionalen Modelldaten
JP5384178B2 (ja) * 2008-04-21 2014-01-08 株式会社森精機製作所 加工シミュレーション方法及び加工シミュレーション装置
JP5399824B2 (ja) * 2008-09-05 2014-01-29 株式会社森精機製作所 加工状況監視方法及び加工状況監視装置
DE102009029061A1 (de) * 2008-09-05 2010-03-11 Mori Seiki Co., Ltd., Yamatokoriyama-shi Verfahren und Vorrichtung zur Bearbeitungszustandsprüfung
DE102008048776B4 (de) * 2008-09-24 2020-12-17 E. Zoller GmbH & Co. KG Einstell- und Messgeräte Mess- und/oder Einstellgerät mit einer Messvorrichtung und mit einer Steuer- und/oder Programmiervorrichtung zur Simulation eines Messablaufs
US8310539B2 (en) * 2009-05-29 2012-11-13 Mori Seiki Co., Ltd Calibration method and calibration device
JP5393318B2 (ja) * 2009-07-28 2014-01-22 キヤノン株式会社 位置姿勢計測方法及び装置
US20110295408A1 (en) * 2010-05-27 2011-12-01 Toyota Motor Engineering & Manufacturing North America, Inc. Process for positioning a workpiece
JP2012053508A (ja) * 2010-08-31 2012-03-15 Mitsubishi Heavy Ind Ltd 数値制御工作機械
US9204823B2 (en) * 2010-09-23 2015-12-08 Stryker Corporation Video monitoring system
JP5547601B2 (ja) * 2010-10-07 2014-07-16 オークマ株式会社 数値制御装置
DE102011002625A1 (de) 2011-01-13 2012-07-19 Dr. Johannes Heidenhain Gmbh Vorrichtung und Verfahren zum Erfassen der Lage eines Objekts in einer Werkzeugmaschine
US9026242B2 (en) 2011-05-19 2015-05-05 Taktia Llc Automatically guided tools
US9160979B1 (en) * 2011-05-27 2015-10-13 Trimble Navigation Limited Determining camera position for a photograph having a displaced center of projection
US20130278725A1 (en) * 2012-04-24 2013-10-24 Connecticut Center for Advanced Technology, Inc. Integrated Structured Light 3D Scanner
EP2852868B1 (de) 2012-04-26 2021-12-01 Shaper Tools, Inc. Systeme und verfahren zum ausführen einer aufgabe an einem werkstoff oder zur ermittlung der position einer vorrichtung relativ zur oberfläche des werkstoffs
DE102012211734A1 (de) 2012-07-05 2014-01-23 Dr. Johannes Heidenhain Gmbh Verfahren und Vorrichtung zum Erfassen der Lage eines Objekts in einer Werkzeugmaschine
JP6044293B2 (ja) * 2012-11-19 2016-12-14 株式会社Ihi 3次元物体認識装置および3次元物体認識方法
JP6043234B2 (ja) * 2013-04-15 2016-12-14 オークマ株式会社 数値制御装置
JP6329419B2 (ja) * 2014-04-14 2018-05-23 中村留精密工業株式会社 複数の主軸を備えた複合旋盤の機械状態表示装置
CN105303384A (zh) * 2014-07-21 2016-02-03 上海羽舟网络科技有限公司 一种产品的3d展示方法及系统
US11144041B2 (en) * 2014-11-05 2021-10-12 The Boeing Company 3D visualizations of in-process products based on machine tool input
CN104460525B (zh) * 2014-11-11 2017-07-14 Abb技术有限公司 用于构建零件加工方法的方法和系统
JP6375920B2 (ja) * 2014-12-11 2018-08-22 富士通株式会社 ベッド領域抽出方法、ベッド領域抽出装置及びベッド領域抽出プログラム
JP6501529B2 (ja) * 2015-01-16 2019-04-17 Dmg森精機株式会社 工作機械を用いたワークの加工方法及び工作機械
JP6968700B2 (ja) 2015-05-13 2021-11-17 シェイパー ツールズ, インク.Shaper Tools, Inc. 案内工具用のシステム、方法、および装置
US11054802B2 (en) 2015-10-21 2021-07-06 Mitsubishi Electric Research Laboratories, Inc. System and method for performing operations of numerical control machines
RU2748005C2 (ru) 2016-08-19 2021-05-18 Шапер Тулс, Инк. Системы, способы и устройство для совместного использования данных об изготовлении инструмента и конструктивных данных
DE102017211038A1 (de) * 2017-06-29 2019-01-03 Robert Bosch Gmbh Verfahren zum Einstellen einer Kamera
JP6570592B2 (ja) 2017-09-29 2019-09-04 株式会社牧野フライス製作所 工作機械の機上測定方法および制御装置
JP2019125202A (ja) * 2018-01-17 2019-07-25 日本電信電話株式会社 検出装置、検出方法およびプログラム
JP6697501B2 (ja) * 2018-03-26 2020-05-20 ファナック株式会社 工作システム
CN112805746A (zh) * 2018-08-28 2021-05-14 株式会社OPTiM 计算机系统、动作验证方法及程序
US20220141445A1 (en) * 2018-08-30 2022-05-05 Gene Malkin Calibration of depth-sensing computer vision systems
WO2020065854A1 (ja) * 2018-09-27 2020-04-02 株式会社牧野フライス製作所 ワーク位置検出方法及び工作機械
JP7120894B2 (ja) * 2018-11-21 2022-08-17 ファナック株式会社 3次元モデル作成装置、加工シミュレーション装置、工具経路自動生成装置
US11100704B2 (en) * 2018-12-14 2021-08-24 Hover Inc. Generating and validating a virtual 3D representation of a real-world structure

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006004128A (ja) 2004-06-17 2006-01-05 Mori Seiki Co Ltd 干渉確認装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1284383C (en) * 1986-08-04 1991-05-21 Fmc Corporation Computer integrated gaging system
WO1995017995A1 (fr) 1993-12-28 1995-07-06 Hitachi, Ltd. Procede et appareil de detection de position et d'orientation et systeme de production flexible utilisant ledit appareil
JPH07237158A (ja) * 1993-12-28 1995-09-12 Hitachi Ltd 位置・姿勢検出方法及びその装置並びにフレキシブル生産システム
JPH09212219A (ja) 1996-01-31 1997-08-15 Fuji Facom Corp 三次元仮想モデル作成装置及び制御対象物の監視制御装置
JP3104638B2 (ja) * 1996-03-25 2000-10-30 株式会社日立製作所 3次元画像作成装置
US6046745A (en) * 1996-03-25 2000-04-04 Hitachi, Ltd. Three-dimensional model making device and its method
US5969753A (en) * 1998-04-24 1999-10-19 Medar, Inc. Method and system for detecting errors in a sample image
JP2001154715A (ja) * 1999-11-25 2001-06-08 Toshiba Corp 3次元cad装置、3次元cam装置及び記憶媒体
JP4329248B2 (ja) * 2000-09-05 2009-09-09 株式会社森精機製作所 Nc加工シミュレーション装置
DE10044306A1 (de) * 2000-09-07 2002-04-04 Juergen Roeders Werkzeugmaschine
JP4083554B2 (ja) * 2002-11-29 2008-04-30 株式会社森精機製作所 3次元モデルデータ生成装置
JP4352214B2 (ja) * 2003-04-23 2009-10-28 清水建設株式会社 3次元位置姿勢の画像推定方法
JP2005078441A (ja) * 2003-09-01 2005-03-24 Mitsubishi Electric Engineering Co Ltd 比較検定装置
DE112007001964B4 (de) * 2006-09-01 2016-06-02 Dmg Mori Seiki Co., Ltd. Verfahren zur Bestätigung von dreidimensionalen Modelldaten und Vorrichtung zur Bestätigung von dreidimensionalen Modelldaten
US8487927B2 (en) * 2008-05-19 2013-07-16 Microsoft Corporation Validating user generated three-dimensional models

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006004128A (ja) 2004-06-17 2006-01-05 Mori Seiki Co Ltd 干渉確認装置

Also Published As

Publication number Publication date
US20090015668A1 (en) 2009-01-15
JPWO2008026722A1 (ja) 2010-01-21
US20090070077A1 (en) 2009-03-12
US8310534B2 (en) 2012-11-13
US8335666B2 (en) 2012-12-18
DE112007001964B4 (de) 2016-06-02
DE112007001977T5 (de) 2009-07-23
JPWO2008026723A1 (ja) 2010-01-21
JP5049975B2 (ja) 2012-10-17
JP5049976B2 (ja) 2012-10-17
WO2008026723A1 (fr) 2008-03-06
WO2008026722A1 (fr) 2008-03-06

Similar Documents

Publication Publication Date Title
DE112007001964B4 (de) Verfahren zur Bestätigung von dreidimensionalen Modelldaten und Vorrichtung zur Bestätigung von dreidimensionalen Modelldaten
DE112007001360B4 (de) Stent-Inspektionssystem
DE60127644T2 (de) Lehrvorrichtung für einen Roboter
DE3712084C2 (de) Verfahren und Einrichtung zur Herstellung einer modifizierten, dreidimensionalen Reproduktion eines weichen, deformierbaren Objektes
EP2710794B1 (de) Verfahren zur erzeugung und auswertung eines bilds
DE102012216908B4 (de) Verfahren unter Verwendung einer Bildkorrelation zum Bestimmen von Positionsmessungen in einem Maschinenvisionssystem
DE102014205726A1 (de) Verbessertes Kantenerkennungswerkzeug für Kanten von unregelmäßigen Oberflächen
EP3558160B1 (de) Verfahren zur ausrichtung einer kamera oder scanvorrichtung mit einem dentalhilfselement
DE102012220875A1 (de) Maschinelle Visionssystem-Editierumgebung für ein Teilprogramm, in welchem ein kontinuierlicher Stream der Bilderfassungsoperationen während eines Ablaufmodus ausgeführt wird
DE102009029061A1 (de) Verfahren und Vorrichtung zur Bearbeitungszustandsprüfung
DE102009014154A1 (de) Verfahren zur Kalibrierung der Position von einem Laserfächerstrahl zur Projektionsgeometrie eines Röntgengerätes und Röntgengerät
EP2229913A1 (de) Vorrichtung zum Scannen eines in einem Artikulator angeordneten Dentalmodells
DE202019105838U1 (de) Anordnung mit einem Koordinatenmessgerät oder Mikroskop
DE10351669B4 (de) Verfahren und Vorrichtung zum Steuern eines Handhabungsgeräts relativ zu einem Objekt
DE102013207598A1 (de) Platziervorrichtung und Platzierverfahren
DE102015104582A1 (de) Verfahren zum Kalibrieren eines Roboters an einem Arbeitsbereich und System zum Durchführen des Verfahrens
DE102019215237A1 (de) Steuersystem
DE102018113589A1 (de) Vorrichtung und Programm zur Positionserfassung
EP3696630B1 (de) Verfahren zum spanenden bearbeiten eines werkstücks an einer numerisch gesteuerten werkzeugmaschine mit einem werkzeug
EP1774472B1 (de) Anordnung zur abbildung von oberflächenstrukturen dreidimensionaler objekte
DE102015104587A1 (de) Verfahren zum Kalibrieren eines Roboters an einem Arbeitsbereich und System zum Durchführen des Verfahrens
WO2009018894A1 (de) Verfahren und vorrichtung zum bestimmen von geometriedaten eines messobjekts
AT520426B1 (de) Verfahren zur Kalibrierung einer Bildaufnahmeeinheit
DE10118514B4 (de) Verfahren zur Arbeitspunktstabilisierung bei berührungsloser 3D- Positionserkennung eines zu vermessenden Objektes mittels Digitalkameras
EP3889890A1 (de) Verfahren zur messobjekterkennung auf basis von bilddaten

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: ISARPATENT GBR PATENT- UND RECHTSANWAELTE, DE

R012 Request for examination validly filed

Effective date: 20131126

R081 Change of applicant/patentee

Owner name: INTELLIGENT MANUFACTURING SYSTEMS INTERNATIONA, US

Free format text: FORMER OWNER: INTELLIGENT MANUFACTURING SYSTE, MORI SEIKI CO., LTD., , JP

Effective date: 20140115

Owner name: DMG MORI SEIKI CO., LTD., JP

Free format text: FORMER OWNER: INTELLIGENT MANUFACTURING SYSTE, MORI SEIKI CO., LTD., , JP

Effective date: 20140115

Owner name: DMG MORI SEIKI CO., LTD., YAMATOKORIYAMA-SHI, JP

Free format text: FORMER OWNER: INTELLIGENT MANUFACTURING SYSTE, MORI SEIKI CO., LTD., , JP

Effective date: 20140115

Owner name: DMG MORI SEIKI CO., LTD., YAMATOKORIYAMA-SHI, JP

Free format text: FORMER OWNERS: INTELLIGENT MANUFACTURING SYSTEMS INTERNATIONAL, SAN FRANCISCO, CALIF., US; MORI SEIKI CO., LTD., YAMATOKORIYAMA-SHI, NARA-KEN, JP

Effective date: 20140115

Owner name: INTELLIGENT MANUFACTURING SYSTEMS INTERNATIONA, US

Free format text: FORMER OWNERS: INTELLIGENT MANUFACTURING SYSTEMS INTERNATIONAL, SAN FRANCISCO, CALIF., US; MORI SEIKI CO., LTD., YAMATOKORIYAMA-SHI, NARA-KEN, JP

Effective date: 20140115

R082 Change of representative

Representative=s name: ISARPATENT GBR PATENT- UND RECHTSANWAELTE, DE

Effective date: 20140115

Representative=s name: ISARPATENT PATENTANWAELTE BEHNISCH, BARTH, CHA, DE

Effective date: 20140115

Representative=s name: ISARPATENT - PATENTANWAELTE- UND RECHTSANWAELT, DE

Effective date: 20140115

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final