DE102023117385A1

DE102023117385A1 - Verarbeitungssystem für dreidimensionale punktwolkendaten

Info

Publication number: DE102023117385A1
Application number: DE102023117385.5A
Authority: DE
Inventors: Shigemoto Hirota; Akihito KATAOKA; Takayuki Otomo
Original assignee: Okuma Corp; Okuma Machinery Works Ltd
Current assignee: Okuma Corp
Priority date: 2022-07-25
Filing date: 2023-06-30
Publication date: 2024-01-25
Also published as: CN117474969A; JP2024015880A; US20240029355A1

Abstract

Ein Verarbeitungssystem (10) für dreidimensionale Punktwolkendaten umfasst: eine oder mehrere Kameras (24), die ein Objekt (100) abbilden, um ein oder mehrere Elemente von Helligkeitsinformationen (32) zu erfassen; und einen Controller (12), der Punktwolkendaten (40) des Objekts (100) aus dem einen oder den mehreren Elementen von Helligkeitsinformationen (32) berechnet. Der Controller (12) berechnet mindestens einen BB (50), der das Objekt (100) umgibt und durch Kombinieren von einem oder mehreren Rechtecken gebildet wird, aus mindestens einem des einen oder der mehreren Elemente von Helligkeitsinformationen (32), und berechnet die Punktwolkendaten (40) auf der Basis des mindestens einen BB (50) und des einen oder der mehreren Elemente von Helligkeitsinformationen (32).

Description

Diese Anmeldung beansprucht die Priorität der Japanischen Patentanmeldung Nr. 2022-118246 , eingereicht am 25. Juli 2022, die hier durch Bezugnahme vollständig mit aufgenommen ist.
TECHNISCHES GEBIET
Die vorliegende Patentbeschreibung offenbart ein Verarbeitungssystem für dreidimensionale Punktwolkendaten, das dreidimensionale Punktwolkendaten, die die dreidimensionale Form eines Objekts angeben, aus Bilddaten erzeugt, die durch Abbilden des Objekts erhalten werden.
HINTERGRUND
In den letzten Jahren wurden Techniken zum Erzeugen von dreidimensionalen Punktwolkendaten (nachstehend als „Punktwolkendaten“ abgekürzt), die die dreidimensionale Form eines Objekts angeben, auf der Basis von Bilddaten, die durch Abbilden des Objekts erhalten werden, vorgeschlagen. Solche Punktwolkendaten können beispielsweise in einer Werkzeugmaschine verwendet werden, um die dreidimensionale Form eines Werkstücks zu messen, und die Ergebnisse dieser Formmessung können verwendet werden, um eine Beeinflussung zwischen dem Werkzeug und dem Werkstück zu detektieren, einen Werkzeugpfad zu erzeugen, eine Bearbeitungsgenauigkeit zu messen und die Anwesenheit oder Abwesenheit eines Objekts zu bestimmen.
Wenn Punktwolkendaten erzeugt werden, werden im übrigen Punktdaten, die durch Extrahieren von Punkten, die die Oberfläche eines Objekts angeben, aus Bilddaten erhalten werden (nachstehend werden aus Bilddaten extrahierte Punktdaten als „primäre Punktdaten“ bezeichnet), in das Weltkoordinatensystem transformiert (nur ein Koordinatensystem pro System; beispielsweise ein Maschinenkoordinatensystem oder ein Arbeitskoordinatensystem im Fall einer Werkzeugmaschine). Die aus den Bilddaten extrahierten primären Punktdaten umfassen jedoch viele Punkte, die mit dem Objekt nicht in Beziehung stehen, das heißt viel Rauschen. Wenn eine große Menge an solchem Rauschen vorhanden ist, kann die Form des Objekts nicht genau erfasst werden und die Datengröße wird sehr groß. Aus diesem Grund wurden viele Techniken zum Entfernen von Rauschen aus den Punktwolkendaten vorgeschlagen.
JP 2020-144686 A offenbart beispielsweise eine Technik zum Speichern von Entwurfsformdaten eines Objekts im Voraus, Vergleichen der Entwurfsformdaten mit Punktwolkendaten und Entfernen von Rauschen aus den Punktwolkendaten.
Außerdem schlägt WO 2015/061400 eine Technik zum Erzeugen einer XZ-Querschnittsansicht aus Punktwolkendaten, Abschätzen einer Schichtoberfläche von dem XZ-Querschnitt und Entfernen von Punkten unterhalb der Schicht als Rauschen vor. Außerdem offenbart JP 2005-024370 A eine Technik zum Drehen von Punktwolkendaten, Bestimmen einer Schichtoberfläche aus den gedrehten Daten und Entfernern einer Punktwolke mit großer Standardabweichung von der Schichtoberfläche als Rauschen.
ENTGEGENHALTUNGSLISTE
JP 2020-144686 A ; WO 2015/061400 ; JP 2005-024370 A
In der Technik, die in JP 2020-144686 A offenbart ist, ist es jedoch erforderlich, im Voraus Entwurfsdaten zu haben, und es ist schwierig, Punktwolkendaten für ein Objekt ohne Entwurfsformdaten zu erzeugen. Außerdem besteht in den Techniken, die in WO 2015/061400 und JP 2005-024370 A offenbart sind, ein Problem, dass die Rauschentfernungsverarbeitung lange Zeit dauert, da der Berechnungsaufwand zum Abschätzen der Schicht und Berechnen der Standardabweichung zunimmt.
Daher offenbart die vorliegende Patentbeschreibung ein Verarbeitungssystem für dreidimensionale Punktwolkendaten, das in der Lage ist, Punktwolkendaten mit einem kleineren Berechnungsaufwand zu erzeugen.
ZUSAMMENFASSUNG
Ein Verarbeitungssystem für dreidimensionale Punktwolkendaten, das in der vorliegenden Patentbeschreibung offenbart ist, umfasst: eine oder mehrere Abbildungsvorrichtungen, die ein Objekt abbilden, um ein oder mehrere Elemente von Helligkeitsinformationen zu erfassen; und einen Controller, der dreidimensionale Punktwolkendaten des Objekts aus dem einen oder den mehreren Elementen von Helligkeitsinformationen berechnet. Der Controller berechnet mindestens einen BB (Begrenzungsrahmen), der das Objekt umgibt und durch Kombinieren von einem oder mehreren Rechtecken gebildet wird, aus mindestens einem des einen oder der mehreren Elemente von Helligkeitsinformationen, und berechnet die dreidimensionalen Punktwolkendaten auf der Basis des mindestens einen BB und des einen oder der mehreren Elemente von Helligkeitsinformationen.
In diesem Fall können das eine oder die mehreren Elemente von Helligkeitsinformationen erste Helligkeitsinformationen, die durch Abbilden des Objekts aus einer ersten Richtung erhalten werden, und zweite Helligkeitsinformationen, die durch Abbilden des Objekts aus einer zweiten Richtung, die von der ersten Richtung verschieden ist, erhalten werden, umfassen.
Außerdem kann der Controller einen zweiten BB, der das Objekt umgibt, und einen zweiten BB-Ausschubraum, der durch Herausschieben des zweiten BB in der zweiten Richtung erhalten wird, aus den zweiten Helligkeitsinformationen berechnen, und Punkte, die außerhalb des zweiten BB-Ausschubraums angeordnet sind, unter Punkten, die aus den ersten Helligkeitsinformationen berechnet werden, als Rauschen entfernen.
Außerdem können das eine oder die mehreren Elemente von Helligkeitsinformationen die ersten Helligkeitsinformationen umfassen, die durch Abbilden des Objekts aus einer ersten Richtung erhalten werden. Der Controller kann einen ersten BB, der das Objekt umgibt, auf der Basis der ersten Helligkeitsinformationen berechnen, Pixelwerte, die außerhalb des ersten BB angeordnet sind, unter mehreren Pixelwerten, die die ersten Helligkeitsinformationen bilden, als Rauschen entfernen und die dreidimensionalen Punktwolkendaten auf der Basis der ersten Helligkeitsinformationen nach der Rauschentfernung berechnen.
Außerdem kann der Controller als KI funktionieren, die im Voraus maschinentrainiert wird, um zumindest den mindestens einen BB und das eine oder die mehreren Elemente von Helligkeitsinformationen als ihre Eingaben zu empfangen, und Informationen, die die Anwesenheit oder Abwesenheit eines effektiven Punkts in jedem von mehreren Pixeln angeben, die das eine oder die mehreren Elemente von Helligkeitsinformationen bilden, auszugeben.
Außerdem kann der Controller als KI funktionieren, die im Voraus maschinentrainiert wird, um zumindest den mindestens einen BB und das eine oder die mehreren Elemente von Helligkeitsinformationen als ihre Eingaben zu empfangen, und Informationen, die die Anwesenheit oder Abwesenheit eines effektiven Punkts in jedem von mehreren Gitterräumen angeben, die durch Unterteilen eines dreidimensionalen Raums in eine 3D-Matrix gebildet werden, auszugeben.
Außerdem können das eine oder die mehreren Elemente von Helligkeitsinformationen ferner ein oder mehrere Elemente von zusätzlichen Helligkeitsinformationen umfassen. Der Controller kann die dreidimensionalen Punktwolkendaten auf der Basis von einem oder mehreren zusätzlichen BBs, die aus dem einen oder den mehreren Elementen von zusätzlichen Helligkeitsinformationen berechnet werden, des zweiten BB und der ersten Helligkeitsinformationen berechnen.
Gemäß der Technik, die in dieser Patentbeschreibung offenbart ist, weist ein BB, der durch Kombinieren von einem oder mehreren Rechtecken erhalten wird, eine einfache Form auf und der Berechnungsaufwand ist klein. Durch Erzeugen der Punktwolkendaten auf der Basis des BB und der Helligkeitsinformationen ist es möglich, die Punktwolkendaten mit einem kleineren Berechnungsaufwand zu erzeugen.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Eine oder mehrere Ausführungsformen der vorliegenden Offenbarung werden auf der Basis der folgenden Figuren beschrieben; es zeigen:

1 ein schematisches Diagramm, das die Konfiguration eines Verarbeitungssystems für dreidimensionale Punktwolkendaten zeigt;
2 ein Blockdiagramm, das die Konfiguration des Verarbeitungssystems für dreidimensionale Punktwolkendaten zeigt;
3 ein Diagramm, das den allgemeinen Ablauf der Erzeugung eines dreidimensionalen Modells beschreibt;
4 ein schematisches Diagramm, das eine Rauschentfernung mit hoher Genauigkeit beschreibt;
5 ein Diagramm, das ein Beispiel eines Objekts zeigt;
6 ein Diagramm, das ein Beispiel eines BB zeigt;
7 ein Diagramm, das zeigt, wie ein anderer BB berechnet wird;
8 ein Diagramm, das ein anderes Beispiel des BB zeigt;
9 ein schematisches Diagramm, das eine zweidimensionale Rauschentfernung unter Verwendung eines BB beschreibt;
10 ein schematisches Diagramm, das einen BB-Ausschubraum beschreibt;
11 ein schematisches Diagramm, das eine dreidimensionale Rauschentfernung beschreibt;
12 ein schematisches Diagramm, das eine dreidimensionale Rauschentfernung beschreibt;
13 ein Diagramm, das eine Koordinatentransformation des BB-Ausschubraums beschreibt;
14 einen Ablaufplan, der den Ablauf der ersten Hälfte eines CAD-Datenerzeugungsprozesses zeigt;
15 einen Ablaufplan, der den Ablauf der zweiten Hälfte des CAD-Datenerzeugungsprozesses zeigt;
16 einen Ablaufplan, der ein anderes Beispiel des Ablaufs der ersten Hälfte des CAD-Datenerzeugungsprozesses zeigt;
17 ein Diagramm, das ein Beispiel einer KI-Konfiguration darstellt; und
18 einen Ablaufplan, der ein nochmals anderes Beispiel des Ablaufs der ersten Hälfte des CAD-Datenerzeugungsprozesses zeigt.

BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
Nachstehend wird die Konfiguration eines Verarbeitungssystems 10 für dreidimensionale Punktwolkendaten mit Bezug auf die Diagramme beschrieben. 1 ist ein schematisches Diagramm, das die Konfiguration des Verarbeitungssystems 10 für dreidimensionale Punktwolkendaten zeigt. In dem Beispiel von 1 wird das Verarbeitungssystem 10 für dreidimensionale Punktwolkendaten in Kombination mit einer Werkzeugmaschine 80 verwendet.
Die Werkzeugmaschine 80 führt eine vorbestimmte Verarbeitung an einem Werkstück durch, um ein verarbeitetes Produkt herzustellen. Obwohl der Typ der Werkzeugmaschine 80 nicht besonders begrenzt ist, kann die Werkzeugmaschine 80 beispielsweise eine Metallverarbeitungsmaschine sein, die eine Metallverarbeitung (beispielsweise Schneiden oder Pressen) an einem Metallwerkstück durchführt. In 1 ist die Werkzeugmaschine 80 eine Drehmaschine mit einer Spindel 81 und einer Werkzeugauflage. In der folgenden Beschreibung wird ein Werkstück, das durch diese Werkzeugmaschine 80 bearbeitet wird, als Objekt 100 für die Formmessung behandelt. Das Objekt 100 für die Formmessung ist jedoch nicht auf das Werkstück begrenzt und kann andere Bauteile wie z. B. ein Werkzeug und eine Einspannvorrichtung sein.
Eine solche Werkzeugmaschine 80 umfasst einen numerischen Controller 82. Der numerische Controller 82 ist eine Einrichtung, die ein Bearbeitungsprogramm (auch als „NC-Programm“ bezeichnet) analysiert und eine Anweisung für einen Werkzeugpfad für ein Werkstück, Arbeitsprozesse, die für die Bearbeitung erforderlich sind, und dergleichen mit Zahlenwertinformationen, einschließlich Informationen wie z. B. Zahlenwerten und Codes, erstellt, um die Werkzeugmaschine 80 zu betreiben. Auf der Basis der CAD-Daten 44, die die Form des Werkstücks (das heißt des Objekts 100) angeben, prüft dieser numerische Controller 82 eine Beeinflussung zwischen dem Werkzeug und dem Werkstück, erzeugt einen Werkzeugpfad, bestimmt eine Bearbeitungsgenauigkeit, bestimmt, ob die Form des Objekts 100 einer Referenzform entspricht, und bestimmt, ob das Objekt 100 sich in einer vorbestimmten Position befindet. Ein solcher numerischer Controller 82 ist physikalisch ein Computer mit einem Prozessor und einem Arbeitsspeicher. Außerdem ist ein Bedienfeld 84 zum Darstellen von Informationen für die Bedienperson und Empfangen einer Anweisung von der Bedienperson in der Werkzeugmaschine 80 vorgesehen. Der numerische Controller 82 kann mit einem Controller 12 des Verarbeitungssystems 10 für dreidimensionale Punktwolkendaten durch verdrahtete oder drahtlose Kommunikation kommunizieren.
Das Verarbeitungssystem 10 für dreidimensionale Punktwolkendaten erzeugt CAD-Daten 44 und Punktwolkendaten 40, die die Form des Objekts 100 angeben, und umfasst den Controller 12 und eine Abbildungseinheit 22. Die Abbildungseinheit 22 bildet das Objekt 100 ab. Bilddaten 30, die durch Abbildung durch die Abbildungseinheit 22 erhalten werden, werden zum Controller 12 übertragen. Die Bilddaten 30 sind Informationen, in denen ein Helligkeitswert für j edes von mehreren Pixeln aufgezeichnet ist, das heißt Helligkeitsinformationen 32.
Der Controller 12 steuert die Abbildungsverarbeitung durch die Abbildungseinheit 22 und erzeugt die Punktwolkendaten 40 (in 1 nicht gezeigt) und die CAD-Daten 44 auf der Basis der erhaltenen Bilddaten 30. Die erzeugten CAD-Daten 44 werden zum numerischen Controller 82 übertragen.
Als nächstes wird die Konfiguration des Verarbeitungssystems 10 für dreidimensionale Punktwolkendaten genauer beschrieben. 2 ist ein Blockdiagramm, das die Konfiguration des Verarbeitungssystems 10 für dreidimensionale Punktwolkendaten zeigt. Wie in 2 gezeigt und wie vorstehend beschrieben, umfasst das Verarbeitungssystem 10 für dreidimensionale Punktwolkendaten den Controller 12 und die Abbildungseinheit 22.
Der Controller 12 ist physikalisch ein Computer mit einem Prozessor 14, einem Arbeitsspeicher 16, einer Kommunikations-I/F 18 und einer UI-Einrichtung 20. Der „Computer“ umfasst auch einen Mikrocontroller, in dem ein Computersystem in eine einzelne integrierte Schaltung integriert ist. Außerdem bezieht sich der Prozessor 14 auf einen Prozessor in einer breiten Hinsicht und umfasst einen Universalprozessor (beispielsweise eine Zentraleinheit (CPU)) und einen zweckgebundenen Prozessor (beispielsweise eine Graphikverarbeitungseinheit (GPU), eine anwendungsspezifische integrierte Schaltung (ASIC), ein anwenderprogrammierbares Verknüpfungsfeld (FPGA) und eine programmierbare Logikvorrichtung).
Der Arbeitsspeicher 16 speichert verschiedene Arten von Daten und umfasst sowohl eine Hauptspeichervorrichtung, auf die durch den Prozessor 14 direkt zugegriffen wird, als auch eine Hilfsspeichervorrichtung, auf die durch einen Eingabe/Ausgabe-Kanal zugegriffen wird. Die Hauptspeichervorrichtung ist beispielsweise ein Halbleiterarbeitsspeicher. Die Hilfsspeichervorrichtung ist beispielsweise ein Halbleiterarbeitsspeicher oder eine magnetische Speichervorrichtung.
Die Kommunikations-I/F 18 sendet und empfängt Daten zu und von einer anderen externen elektronischen Ausrüstung durch verdrahtete Kommunikation oder drahtlose Kommunikation. Die Kommunikations-I/F 18 kommuniziert beispielsweise mit dem numerischen Controller 82 und der Abbildungseinheit 22. Die UI-Einrichtung 20 stellt verschiedene Arten von Informationen für die Bedienperson dar und empfängt Anweisungen von der Bedienperson. Die UI-Einrichtung 20 umfasst beispielsweise eine Ausgabevorrichtung wie z. B. eine Anzeige und einen Lautsprecher und eine Eingabevorrichtung wie z. B. eine Tastatur, eine Maus, ein Mikrophon und ein Berührungsfeld. Obwohl die UI-Einrichtung 20 in diesem Beispiel als Komponente des Controllers 12 beschrieben wird, kann außerdem ein Teil oder die Gesamtheit der UI-Einrichtung 20 als andere Einrichtung konfiguriert sein, die vom Controller 12 vollständig verschieden ist. Beispielsweise können einige der Funktionen der UI-Einrichtung 20 durch eine Benutzerschnittstelle eines Informationsendgeräts (beispielsweise eines Smartphones) verwirklicht sein, das sich im Besitz der Bedienperson befindet und in der Lage ist, mit dem Controller 12 zu kommunizieren. Außerdem muss der Controller 12 kein einzelner Computer sein und kann durch Kombinieren von mehreren physikalisch getrennten Computern konfiguriert sein.
Die Abbildungseinheit 22 bildet das Objekt 100 ab, das in der Bearbeitungskammer der Werkzeugmaschine 80 vorhanden ist. Wie in 2 gezeigt, umfasst die Abbildungseinheit 22 eine Kamera 24 und eine Lichtquelle 26. Die Kamera 24 bildet das Objekt 100 ab, um Bilddaten 30 zu erzeugen. Die durch die Kamera 24 erhaltenen Bilddaten 30 werden zum Controller 12 übertragen. Außerdem kann die Anzahl von Kameras 24 eine oder mehrere sein.
Die Lichtquelle 26 beleuchtet das Objekt 100. Die Lichtquelle 26 kann ein Licht sein, das einfach das Objekt 100 beleuchtet, oder kann ein Projektor sein, der Licht mit einem vorbestimmten Muster auf das Objekt 100 emittiert.
Als nächstes wird das Prinzip der Erzeugung der Punktwolkendaten 40 des Objekts 100 durch das Verarbeitungssystem 10 für dreidimensionale Punktwolkendaten mit Bezug auf 3 beschrieben. Wenn die Punktwolkendaten 40 des Objekts 100 erzeugt werden, steuert der Controller 12 die Abbildungseinheit 22 an, um die Bilddaten 30 des Objekts 100 zu erfassen. Zu dieser Zeit wird die relative Lage des Objekts 100 mit Bezug auf die Kamera 24 geändert, so dass die Bilddaten 30 für alle Oberflächen des Objekts 100 erhalten werden können, wodurch die Abbildung mehrere Male durchgeführt wird. Um die relative Lage des Objekts 100 mit Bezug auf die Kamera 24 zu ändern, kann außerdem das Objekt 100 bewegt werden, oder die Kamera 24 kann bewegt werden. In diesem Beispiel wird die Spindel 81, die das Objekt 100 hält, angetrieben, um die Lage des Objekts 100 mit Bezug auf die Kamera 24 zu ändern.
Der Controller 12 erzeugt die Punktwolkendaten 40 des Objekts 100 auf der Basis der erhaltenen Bilddaten 30 (das heißt der Helligkeitsinformationen 32). In dem Beispiel von 3 werden Punktwolkendaten 40a und 40b des Objekts 100 aus Bilddaten 30a, die durch Abbildung des Objekts 100 aus einer ersten Richtung erhalten werden, und Bilddaten 30b, die durch Abbildung des Objekts 100 aus einer zweiten Richtung erhalten werden, die von der ersten Richtung verschieden ist, erzeugt, und die CAD-Daten 44 des Objekts 100 werden auf der Basis der Punktwolkendaten 40a und 40b erzeugt.
Wenn die Punktwolkendaten 40 erzeugt werden, werden die Anwesenheit oder Abwesenheit von Punkten (nachstehend als „effektive Punkte“ bezeichnet), die die äußere Oberfläche des Objekts 100 bilden, und ihre Koordinaten, wenn effektive Punkte vorhanden sind, für jedes der Pixel festgelegt, die die Bilddaten 30 bilden. Hier sind die festgelegten Koordinaten Koordinaten in einem Kamerakoordinatensystem mit der optischen Achse der Kamera 24 als Referenz. Durch Berechnen von solchen effektiven Punkten können die Punktwolkendaten 40 im Kamerakoordinatensystem erhalten werden.
Wenn die Punktwolkendaten 40a und 40b im Kamerakoordinatensystem für jedes der mehreren Elemente von Bilddaten 30a und 30b erhalten werden, werden die CAD-Daten 44, die die Form des Objekts 100 angeben, auf der Basis der Punktwolkendaten 40a und 40b erzeugt. Wenn die CAD-Daten 44 erzeugt werden, werden eine Synthetisierung der Elemente von Daten, die aus den Bilddaten 30a und 30b berechnet werden, eine Umwandlung von Punktwolkendaten in Maschendaten und eine Umwandlung von Maschendaten in räumliche Daten durchgeführt. Unter diesen kann die Datensynthetisierung vor der Umwandlung in Maschendaten durchgeführt werden oder kann nach der Umwandlung in Maschendaten durchgeführt werden. Das heißt, mehrere Elemente von Punktwolkendaten 40a und 40b können in das Weltkoordinatensystem transformiert und synthetisiert werden und ein Element von Maschendaten kann aus den Punktwolkendaten 40 nach der Synthetisierung berechnet werden. Alternativ kann als andere Form jedes der mehreren Elemente von Punktwolkendaten 40a und 40b in Maschendaten umgewandelt werden und dann können die mehreren Elemente von Maschendaten in das Weltkoordinatensystem transformiert und synthetisiert werden.
Die Punktwolkendaten 40 werden unter Verwendung eines Lichtschnittverfahrens, eines Phasenverschiebungsverfahrens, eines trigonometrischen Verfahrens, eines Stereoverfahrens oder einer Kombination davon berechnet. Wenn das Lichtschnittverfahren oder das Phasenverschiebungsverfahren verwendet wird, emittiert außerdem die Lichtquelle 26 ein Musterlicht, das für diese Verfahren geeignet ist, auf das Objekt 100. Wenn das trigonometrische Verfahren verwendet wird, bildet außerdem die Abbildungseinheit 22 gleichzeitig ein Objekt 100 mit zwei oder mehr Kameras 24 ab, die so angeordnet sind, dass sie voneinander beabstandet sind.
Im Übrigen umfassen die Punktwolkendaten 40, die einfach aus den Bilddaten 30 extrahiert werden, viele Punkte, die nicht mit dem Objekt 100 in Beziehung stehen, das heißt sogenanntes Rauschen. Um solches Rauschen zu entfernen, wurden viele Rauschentfernungstechniken vorgeschlagen. 4 ist ein Bilddiagramm, das ein Beispiel einer Rauschentfernungstechnik mit hoher Genauigkeit zeigt. In dieser Rauschentfernungstechnik mit hoher Genauigkeit wird der Raum, in dem die Punktwolkendaten 40 angeordnet sind, in mehrere Gitterräume 46 unterteilt, die in einer 3D-Matrix angeordnet sind, und die Dichte von Punkten wird für jeden Gitterraum 46 berechnet. Dann werden für den Gitterraum 46, dessen Dichte gleich oder geringer als ein vorbestimmter Wert ist, Punkte innerhalb des Gitterraums 46 als Rauschen betrachtet und gelöscht. Da in dem Beispiel von 4 ein Gitterraum 46a eine hohe Punktdichte aufweist, werden die Punkte im Gitterraum 46a als effektive Punkte bestimmt. Da andererseits ein Gitterraum 46b eine niedrige Punktdichte aufweist, werden die Punkte im Gitterraum 46b als Rauschen entfernt.
Gemäß einer solchen Rauschentfernungstechnik mit hoher Genauigkeit kann Rauschen mit hoher Genauigkeit entfernt werden. Es besteht jedoch ein Problem, dass der Berechnungsaufwand zunimmt und es Zeit dauert, um die endgültigen Punktwolkendaten 40 zu erfassen. Daher wird in diesem Beispiel vor dem Anwenden der Rauschentfernungstechnik mit hoher Genauigkeit eine grobe Rauschentfernung im Voraus unter Verwendung eines Begrenzungsrahmens 50 (nachstehend als „BB 50“ bezeichnet) durchgeführt, der später beschrieben wird. Nachstehend wird die Rauschentfernungstechnik unter Verwendung dieses BB 50 als „Rauschentfernung vom BB-Typ“ bezeichnet.
Zuerst wird der BB 50, der bei der Rauschentfernung vom BB-Typ verwendet wird, beschrieben. 5 ist eine perspektivische Ansicht des Objekts 100 und 6 ist ein schematisches Diagramm der Bilddaten 30, die durch Abbilden des Objekts 100 erhalten werden. Der BB 50 ist eine Figur, die das Objekt 100 umgibt, und wird durch Kombinieren von einem oder mehreren Rechtecken gebildet. In dem Beispiel von 6 wird eine Figur, die durch Versetzen eines Rechtecks S, das durch eine Linie entlang der ganz rechten Kante des Objekts 100, eine Linie entlang der obersten Kante des Objekts 100, eine Linie entlang der ganz linken Kante des Objekts 100 und eine Linie entlang der untersten Kante des Objekts 100 gebildet ist, um einen vorbestimmten Betrag nach außen erhalten wird, als BB 50 extrahiert.
Der BB 50 kann außerdem durch Kombinieren von zwei oder mehr Rechtecken gebildet werden. Wie in 7 gezeigt, wird beispielsweise ein erstes Rechteck BX1, das das ganze Objekt 100 umgibt, extrahiert, und dann wird ein Eckenbereich BX2, wo das Objekt 100 nicht vorhanden ist (das heißt es ist keine Helligkeit vorhanden), innerhalb des ersten Rechtecks BX1 berechnet. Wie in 8 gezeigt, kann danach das erste Rechteck BX1 in mehrere Rechtecke BX3, BX4 und BX5 auf der Basis des Bereichs BX2 unterteilt werden. Dann können die drei Rechtecke BX3, BX4 und BX5 als endgültiger BB 50 erfasst werden.
Wenn der BB 50 berechnet wird, können außerdem ein oder mehrere Bildprozesse an den Bilddaten 30 durchgeführt werden, so dass der Bereich, in dem das Objekt 100 vorhanden ist, deutlich angegeben werden kann. Die Bilddaten 30 können beispielsweise einer Kantenverstärkung, Solarisierung, Binarisierungsverarbeitung, Morphologieverarbeitung, Blob-Verarbeitung und einer Kombination davon unterzogen werden. Wenn beispielsweise die Bilddaten 30 einer Kantenverstärkung und Solarisierung unterzogen werden und dann einer Binarisierungsverarbeitung und Morphologieverarbeitung unterzogen werden, wird das in den Bilddaten 30 gezeigte Objekt zu einer kontinuierlichen schwarzen Masse. Der Controller 12 extrahiert ein umschreibendes Rechteck, das die kontinuierliche schwarze Masse umgibt, als BB 50. Wenn mehrere schwarze Massen in einmaligen Bilddaten 30 vorhanden sind, wird ein umschreibendes Rechteck für jede der mehreren Massen berechnet und das größte Rechteck unter den mehreren Rechtecken wird als BB 50 extrahiert. Wenn der Hintergrund des Objekts 100 zu einem Hindernis im Prozess der Berechnung des BB 50 wird, können außerdem Hintergrundbilddaten im Voraus gespeichert werden und der BB 50 kann nach dem Entfernen des Hintergrundes von den Bilddaten 30 unter Verwendung eines Subtraktionsverfahrens berechnet werden.
Da der BB 50 ein Rahmen ist, der den Bereich angibt, in dem das Objekt 100 vorhanden ist, können Punkte, die außerhalb des BB 50 angeordnet sind, als Rauschen entfernt werden, das nicht mit dem Objekt 100 in Beziehung steht. In diesem Beispiel wird daher der BB 50 des Objekts 100 aus den Bilddaten 30 festgelegt und Punkte, die aus den Informationen über die Pixel außerhalb des BB 50 oder den Helligkeitsinformationen 32 berechnet werden, werden als Rauschen entfernt.
Die Rauschentfernungsverarbeitung wird grob in eine zweidimensionale Rauschentfernungsverarbeitung, die mit nur einem Element von Bilddaten 30 vollendet wird, und eine dreidimensionale Rauschentfernungsverarbeitung, die unter Verwendung von zwei oder mehr Elementen von Bilddaten 30, die durch Abbildung aus verschiedenen Richtungen erhalten werden, durchgeführt wird, unterteilt.
Zuerst wird die zweidimensionale Rauschentfernungsverarbeitung mit Bezug auf 9 beschrieben. In diesem Fall berechnet der Controller 12 aus einem Element von Bilddaten 30 (nachstehend als „erste Bilddaten 30f“ oder „erste Helligkeitsinformationen 32f“ bezeichnet) einen ersten BB 50f, der das Objekt 100 umgibt, das in den ersten Bilddaten 30f gezeigt ist. Danach entfernt der Controller 12 Punkte als Rauschen, die aus den ersten Helligkeitsinformationen 32f oder Pixelwerten (das heißt Helligkeitswerten der Pixel), die außerhalb des ersten BB 50f angeordnet sind, berechnet werden. Der Controller 12 führt diese Verarbeitung an allen Elementen von Bilddaten 30 durch, die durch Abbildung erhalten werden. Die zweidimensionale Rauschentfernungsverarbeitung kann vor dem Berechnen der Punktwolkendaten 40 durchgeführt werden oder kann nach dem Berechnen der Punktwolkendaten 40 durchgeführt werden. In diesem Fall können außerdem die Punktwolkendaten 40 im Kamerakoordinatensystem ausgedrückt werden oder können in das Weltkoordinatensystem transformiert werden. Da in dem Beispiel von 9 die schwarzen Punkte oder Pixelwerte aus der ersten Abbildungsrichtung (das heißt zl-Richtung) betrachtet außerhalb des ersten BB 50f angeordnet sind, werden schwarze Punkte oder Pixelwerte als Rauschen betrachtet.
Hier weist der erste BB 50f eine einfache Form auf, die durch gerade Linien gebildet ist, die zum Kamerakoordinatensystem parallel sind. Ein solcher einfach geformter erster BB 50f kann sehr leicht im Vergleich zur äußeren Form des Objekts 100 selbst berechnet werden. Außerdem kann der Berechnungsaufwand zum Bestimmen, ob ein Punkt oder Pixel sich innerhalb des ersten BB 50f befindet, im Vergleich zum Berechnungsaufwand zum Bestimmen, ob ein Punkt oder Pixel sich innerhalb der äußeren Form des Objekts 100 befindet, erheblich verringert werden. Folglich kann der Berechnungsaufwand, wenn Rauschen unter Verwendung des ersten BB 50f entfernt wird, im Vergleich zu dem Berechnungsaufwand, wenn Rauschen unter Verwendung der äußeren Form des Objekts 100 selbst entfernt wird, erheblich verringert werden.
Da jedoch der erste BB 50f selbst nur zweidimensionale Informationen aufweist, kann der erste BB 50f allein dreidimensionales Rauschen nicht entfernen. Daher wird in diesem Beispiel die dreidimensionale Rauschentfernungsverarbeitung durch weitere Verwendung von zweiten Helligkeitsinformationen 32s durchgeführt, deren Abbildungsrichtung von jener der ersten Helligkeitsinformationen 32f verschieden ist. Dies wird mit Bezug auf 10 und 11 beschrieben. Der Controller 12 berechnet die Punktwolkendaten 40 aus einem Element von Bilddaten 30 (nachstehend als „erste Bilddaten 30f“ oder „erste Helligkeitsinformationen 32f“ bezeichnet). Die Punktwolkendaten 40, auf die hier Bezug genommen wird, können Punktwolkendaten sein, die im Kamerakoordinatensystem ausgedrückt werden, oder können Punktwolkendaten sein, die im Weltkoordinatensystem ausgedrückt werden. Außerdem berechnet der Controller 12 einen zweiten BB 50s, der das Objekt 100 umgibt, und einen zweiten BB-Ausschubraum 52s aus einem anderen Bild (nachstehend als „zweite Bilddaten 30s“ oder „zweite Helligkeitsinformationen 32s“ bezeichnet), das durch Abbilden des Objekts 100 aus einer Richtung erhalten wird, die von den ersten Bilddaten 30f verschieden ist. 10 ist ein schematisches Diagramm, das den zweiten BB 50s und den zweiten BB-Ausschubraum 52s zeigt.
Nachstehend wird das Kamerakoordinatensystem in den ersten Helligkeitsinformationen 32f als erstes Kamerakoordinatensystem (x1, y1, z1) bezeichnet und das Kamerakoordinatensystem in den zweiten Helligkeitsinformationen 32s wird als zweites Kamerakoordinatensystem (x2, y2, z2) bezeichnet. Wie in 9 gezeigt, ist der erste BB 50f eine zweidimensionale Figur, die zur x1-y1-Ebene des ersten Kamerakoordinatensystems parallel ist. Wie in 10 gezeigt, ist außerdem der zweite BB 50s eine zweidimensionale Figur, die zur x2-y2-Ebene des zweiten Kamerakoordinatensystems parallel ist. Außerdem weist der zweite BB-Ausschubraum 52s eine dreidimensionale Form auf, die in der z2-Richtung lang ist.
Wenn der zweite BB-Ausschubraum 52s berechnet werden kann, überlagert der Controller 12 den zweiten BB-Ausschubraum 52s auf die Punktwolkendaten 40, die aus den ersten Helligkeitsinformationen 32f berechnet werden. Wenn die Punktwolkendaten 40 im ersten Kamerakoordinatensystem ausgedrückt werden, wird der zweite BB-Ausschubraum 52s in das erste Kamerakoordinatensystem koordinatentransformiert und dann auf die Punktwolkendaten 40 überlagert. Wenn die Punktwolkendaten 40 in das Weltkoordinatensystem transformiert werden, wird der zweite BB-Ausschubraum 52s in das Weltkoordinatensystem koordinatentransformiert und dann auf die Punktwolkendaten 40 überlagert.
13 zeigt, wie der zweite BB-Ausschubraum 52s in das erste Kamerakoordinatensystem koordinatentransformiert wird. In 13 ist für eine leichte Erläuterung das zweite Kamerakoordinatensystem mit Bezug auf das erste Kamerakoordinatensystem um 90° gedreht. Wie in 13 gezeigt, wird angenommen, dass der zweite BB-Ausschubraum 52s eine Form mit a in der x2-Richtung, b in der y2-Richtung und einer unendlichen Größe in der z2-Richtung im zweiten Kamerakoordinatensystem aufweist. Wenn der zweite BB-Ausschubraum 52s in das erste Kamerakoordinatensystem koordinatentransformiert wird, weist der zweite BB-Ausschubraum 52s eine Form mit a in der z1-Richtung, b in der y1-Richtung und einer unendlichen Größe in der x1-Richtung auf.
11 zeigt einen Zustand, in dem der zweite BB-Ausschubraum 52s auf die Punktwolkendaten 40 überlagert ist, die aus den ersten Helligkeitsinformationen 32f berechnet werden. Außerdem wird in 11 eine zweidimensionale Rauschentfernungsverarbeitung unter Verwendung des ersten BB 50f im Voraus an den Punktwolkendaten 40 durchgeführt, die aus den ersten Helligkeitsinformationen 32f berechnet werden. Der Controller 12 betrachtet Punkte, die außerhalb des ersten BB-Ausschubraums 52s angeordnet sind, unter den Elementen von Punktwolkendaten 40, die aus den ersten Helligkeitsinformationen 32f berechnet werden, als Rauschen und löscht diese Punkte. In dem Beispiel von 11 werden schwarze Punkte in der Punktwolke als Rauschen entfernt.
Wie vorstehend beschrieben, kann durch Überlagern des zweiten BB-Ausschubraums 52s, der aus den zweiten Helligkeitsinformationen 32s berechnet wird, auf die Punktwolkendaten 40, die aus den ersten Helligkeitsinformationen 32f berechnet werden, Rauschen, das in der Punktwolke enthalten ist, dreidimensional entfernt werden. Andererseits weist der zweite BB-Ausschubraum 52s eine einfache Form auf, in der der zweite BB 50s in einer Richtung herausgeschoben wird. Daher können sowohl eine Berechnung zum Berechnen des zweiten BB-Ausschubraums 52s als auch eine Berechnung zum Bestimmen, ob ein Punkt außerhalb des zweiten BB-Ausschubraums 52s angeordnet ist, mit einem relativ kleinen Berechnungsaufwand durchgeführt werden. Folglich kann gemäß diesem Beispiel Rauschen dreidimensional in einer kurzen Zeitdauer entfernt werden.
Hier wird nur der zweite BB-Ausschubraum 52s auf die Punktwolkendaten 40 überlagert, die aus den ersten Helligkeitsinformationen 32f berechnet werden. Ein zusätzlicher BB-Ausschubraum kann jedoch auf der Basis von zusätzlichen Helligkeitsinformationen berechnet werden, die durch Abbildung aus einer anderen Richtung erhalten werden, und der zusätzliche BB-Ausschubraum kann auf die Punktwolkendaten 40, die aus den ersten Helligkeitsinformationen 32f berechnet werden, zusätzlich zum zweiten BB-Ausschubraum 52s überlagert werden. Wie in 12 gezeigt, kann beispielsweise ein dritter BB-Ausschubraum 52t aus dritten Helligkeitsinformationen berechnet werden, die durch Abbildung aus einer dritten Abbildungsrichtung erhalten werden, und der dritte BB-Ausschubraum 52t kann auf die Punktwolkendaten 40 überlagert werden, die aus den ersten Helligkeitsinformationen 32f berechnet werden. Dann können in der Punktwolke Punkte, die außerhalb des dritten BB-Ausschubraums 52t angeordnet sind, als Rauschen entfernt werden. In dem Beispiel von 12 werden durch zusätzliches Überlagern des dritten BB-Ausschubraums 52t gekreuzte Punkte neu als Rauschen entfernt.
Außerdem ist die Anzahl von Elementen von solchen zusätzlichen Helligkeitsinformationen nicht besonders begrenzt. Theoretisch kann jedoch Rauschen mit einer kleinen Menge an Daten effizient dreidimensional entfernt werden, indem die Abbildungsrichtung der ersten Helligkeitsinformationen 32f, die ein Rauschentfernungsziel sind, die Abbildungsrichtung der zweiten Helligkeitsinformationen 32s und die Abbildungsrichtung von einem Element von zusätzlichen Helligkeitsinformationen zueinander senkrecht gemacht werden.
Als nächstes wird die Verarbeitung zum Erzeugen der CAD-Daten 44 des Objekts 100 unter Verwendung der Rauschentfernung vom BB-Typ mit Bezug auf 14 und 15 beschrieben. Wenn die CAD-Daten 44 erzeugt werden, wird zuerst das Verarbeitungssystem 10 für dreidimensionale Punktwolkendaten initialisiert (S10). Bei dieser Initialisierung werden beispielsweise das Festlegen der Betriebsparameter der Kamera 24 oder der Lichtquelle 26 und die Koordinatenausrichtung zwischen dem Kamerakoordinatensystem und dem Weltkoordinatensystem durchgeführt. Anschließend legt die Bedienperson das Objekt 100 so fest, dass es durch die Kamera 24 abgebildet werden kann (S12). In diesem Beispiel wird das Objekt 100 an der Spindel 81 der Werkzeugmaschine 80 befestigt.
In diesem Zustand stellt der Controller 12 die Lage des Objekts 100 ein (S14). Insbesondere weist der Controller 12 die Werkzeugmaschine 80 an, das Objekt 100 in eine vorbestimmte Lage zu bringen. In Reaktion auf diese Anweisung stellt die Werkzeugmaschine 80 die Lage des Objekts 100 durch Drehen der Spindel 81 ein, so dass die Kamera 24 das Objekt 100 aus irgendeiner Richtung abbilden kann.
Wenn die Lage des Objekts 100 eingestellt werden kann, wird das Objekt 100 durch die Kamera 24 abgebildet (S16). Die Bilddaten 30, die durch die Abbildung erhalten werden, werden von der Kamera 24 zum Controller 12 übertragen und werden im Arbeitsspeicher 16 als Helligkeitsinformationen 32 gespeichert, so dass sie Informationen hinsichtlich der Abbildungsposition oder der Abbildungsrichtung zugeordnet sind. Der Controller 12 erzeugt die Punktwolkendaten 40 aus den erhaltenen Helligkeitsinformationen 32 (S 18). Insbesondere bestimmt unter Verwendung beispielsweise eines Lichtschnittverfahrens, eines Phasenverschiebungsverfahrens, eines trigonometrischen Verfahrens oder einer Kombination davon der Controller 12 die Anwesenheit oder Abwesenheit eines effektiven Punkts für jedes Pixel und die z-Richtungs-Position des effektiven Punkts im Kamerakoordinatensystem, wenn ein effektiver Punkt vorhanden ist. Eine Gruppe von Punkten, die wie vorstehend beschrieben erhalten wird, ist die Punktwolkendaten 40. Wenn das Lichtschnittverfahren oder das Phasenverschiebungsverfahren verwendet wird, emittiert außerdem die Lichtquelle 26 Musterlicht, das für diese Verfahren geeignet ist, auf das Objekt 100.
Anschließend prüft der Controller 12, ob alle erforderlichen Oberflächen des Objekts 100 abgebildet wurden (S20). In vielen Fällen ist die Anzahl von abzubildenden Oberflächen zwei bis vier Oberflächen der oberen Oberfläche, unteren Oberfläche, rechten Seitenoberfläche und linken Seitenoberfläche des Objekts 100. Um die Genauigkeit zu erhöhen, kann jedoch eine größere Anzahl von Oberflächen abgebildet werden. Außerdem müssen abzubildende Oberflächen nicht zueinander senkrecht sein und können Oberflächen mit irgendeinem Winkel dazwischen sein.
Wenn eine Oberfläche vorhanden ist, die nicht abgebildet werden kann, kehrt der Prozess zu Schritt S14 zurück, um die Lage des Objekts 100 zu ändern und dann das Objekt 100 abzubilden und die Punktwolkendaten 40 zu erzeugen (S16 und S18). Wenn andererseits die Abbildung aller Oberflächen vollendet ist, entfernt der Controller 12 Rauschen aus den erhaltenen Punktwolkendaten 40 (S22 bis S28).
Insbesondere berechnet zuerst der Controller 12 den BB 50 für jedes der Elemente von erhaltenen Bilddaten 30 (S22). Anschließend wird eine Hintergrundrauschentfernungsverarbeitung an den Punktwolkendaten 40 durchgeführt, die für jedes der Elemente von Bilddaten 30 erhalten werden (S24). Bei der Hintergrundrauschentfernungsverarbeitung werden Hintergrundbilddaten, die ohne das Objekt 100 aufgenommen werden, im Voraus erfasst und der Bereich, der in den Bilddaten 30 ein Hintergrund ist, wird als Hintergrundbereich auf der Basis des Vergleichs zwischen den Hintergrundbilddaten und den tatsächlichen Bilddaten 30 festgelegt. Danach werden Punkte im Hintergrundbereich gemeinsam aus den Punktwolkendaten 40 gelöscht, die aus den Bilddaten berechnet werden. In Schritt S24 wird die Hintergrundrauschentfernungsverarbeitung an allen der mehreren Elemente von erhaltenen Bilddaten 30 durchgeführt. Außerdem kann die Hintergrundrauschentfernungsverarbeitung weggelassen werden.
Dann entfernt der Controller 12 Rauschen, das in den Punktwolkendaten 40 enthalten ist, durch Anwenden der Rauschentfernung vom BB-Typ (S26). Insbesondere entfernt der Controller 12 Punkte, die aus der ersten Abbildungsrichtung betrachtet außerhalb des ersten BB 50f angeordnet sind, unter den Elementen von Punktwolkendaten 40f, die aus den ersten Helligkeitsinformationen 32f erhalten werden, als Rauschen. Außerdem sind die Punktwolkendaten 40f Punktwolkendaten nach dem Durchführen der vorstehend beschriebenen Hintergrundrauschentfernungsverarbeitung.
Außerdem schiebt der Controller 12 den zweiten BB 50s, der aus den zweiten Helligkeitsinformationen 32s berechnet wird, in der zweiten Abbildungsrichtung heraus, um den zweiten BB-Ausschubraum 52s zu berechnen. Danach transformiert der Controller 12 die Koordinaten des zweiten BB-Ausschubraums 52s und überlagert dann den zweiten BB-Ausschubraum 52s auf die Punktwolkendaten 40f. Dann entfernt der Controller 12 Punkte, die außerhalb des zweiten BB-Ausschubraums 52s angeordnet sind, unter den Elementen von Punktwolkendaten 40 als Rauschen. Außerdem wird eine ähnliche Verarbeitung unter Verwendung eines zusätzlichen BB-Ausschubraums durchgeführt.
Der Controller 12 ändert sequentiell die Zuweisung der ersten Helligkeitsinformationen 32f, der zweiten Helligkeitsinformationen 32s und der zusätzlichen Helligkeitsinformationen, um eine zweidimensionale Rauschentfernungsverarbeitung und dreidimensionale Rauschentfernungsverarbeitung unter Verwendung des BB 50 für alle Elemente von Helligkeitsinformationen 32 durchzuführen. Bei der ersten Rauschentfernungsverarbeitung wird beispielsweise eine Rauschentfernung mit den Helligkeitsinformationen, die durch die erste Abbildung erhalten werden, als „erste Helligkeitsinformationen 32f“, den Helligkeitsinformationen, die durch die zweite Abbildung erhalten werden, als „zweite Helligkeitsinformationen 32s“ und den Helligkeitsinformationen, die durch die dritte Abbildung erhalten werden, als „zusätzliche Helligkeitsinformationen“ durchgeführt. Bei der zweiten Rauschentfernungsverarbeitung wird eine Rauschentfernung mit den Helligkeitsinformationen, die durch die zweite Abbildung erhalten werden, als „erste Helligkeitsinformationen 32f“, den Helligkeitsinformationen, die durch die dritte Abbildung erhalten werden, als „zweite Helligkeitsinformationen 32s“ und den Helligkeitsinformationen, die durch die erste Abbildung erhalten werden, als „zusätzliche Helligkeitsinformationen“ durchgeführt.
Wenn die Rauschentfernung vom BB-Typ vollendet ist, ist das Rauschen, das in den Punktwolkendaten 40 enthalten ist, erheblich verringert und die Anzahl von Punkten, die die Punktwolkendaten 40 bilden, und die Datengröße sind auch erheblich verringert. In diesem Zustand wendet der Controller 12 eine Rauschentfernung mit hoher Genauigkeit auf die Punktwolkendaten 40 an (S28). Bei der Rauschentfernung mit hoher Genauigkeit, wie vorstehend beschrieben und wie in 4 gezeigt, werden mehrere Gitterräume 46 auf die Punktwolkendaten 40 überlagert und das Rauschen wird aus der Dichte von Punkten in jedem Gitterraum 46 entfernt. Die Rauschentfernung mit hoher Genauigkeit erfordert gewöhnlich einen großen Berechnungsaufwand und eine lange Berechnungszeit. Da jedoch in diesem Beispiel die Hintergrundrauschentfernung und die Rauschentfernung vom BB-Typ im Voraus durchgeführt werden, um das meiste Rauschen zu entfernen, wird die Menge an Daten verringert. Folglich kann die Verarbeitungszeit für die Rauschentfernung mit hoher Genauigkeit signifikant verkürzt werden.
Nachdem die Rauschentfernung mit hoher Genauigkeit vollendet ist, dezimiert der Controller 12 die Punkte, die die Punktwolkendaten 40 bilden, in dem Umfang, der zum Erzeugen der CAD-Daten 44 erforderlich ist (S30). Dann erzeugt der Controller 12 Maschendaten aus den mehreren Elementen von Punktwolkendaten 40, die für jedes Element von Helligkeitsinformationen 32 erhalten werden, und wandelt die Maschendaten in ein räumliches Modell, das heißt die CAD-Daten 44, um (S30 bis S42). Maschendaten können nach dem Synthetisieren von mehreren Elementen von Punktwolkendaten 40 erzeugt werden, die für jedes Element von Helligkeitsinformationen 32 erhalten werden (S34 und S36). Alternativ kann als andere Form jedes der mehreren Elemente von Punktwolkendaten 40 in Maschendaten umgewandelt werden und die mehreren Elemente von erhaltenen Maschendaten können synthetisiert werden (S38 und S40). In jedem Fall werden ein Element von Maschendaten, die die dreidimensionale Form des Objekts 100 angeben, und die CAD-Daten 44 schließlich erhalten (S42). Die Punktwolkendaten 40 können voxelisiert werden, anstatt dass sie vermascht werden, und die voxelisierten Daten können in die CAD-Daten 44 umgewandelt werden. Die erzeugten CAD-Daten 44 werden zur Werkzeugmaschine 80 durch die Kommunikations-I/F 18 übertragen.
Wenn die Punktwolkendaten 40 oder Maschendaten synthetisiert werden, muss jedes Element von Punktwolkendaten 40 oder Maschendaten in das Weltkoordinatensystem transformiert werden. Für diese Koordinatentransformation ist es erforderlich, die Abbildungsrichtung des Objekts 100 genau zu erfassen. Die Abbildungsrichtung kann aus Werkzeugmaschinenpositionsinformationen wie z. B. dem Drehwinkel der Spindel 81 bestimmt werden, der von der Werkzeugmaschine 80 (das heißt einer Einrichtung zum Halten des Objekts 100) übertragen wird, oder können aus einer Ebenengleichung bestimmt werden. In der Ebenengleichung wird eine Referenzmarkierung am Objekt 100 oder an einem Referenzobjekt, dessen Position und Lage mit Bezug auf das Objekt 100 unveränderlich sind, festgelegt. Dann wird die Lage des Objekts 100 aus der Position und Form der Referenzmarkierung im aufgenommenen Bild des Objekts 100 bestimmt.
Als nächstes wird ein anderes Beispiel der Verarbeitung zum Erzeugen der CAD-Daten 44 beschrieben. In 14 und 15 wird die Rauschentfernung vom BB-Typ nach dem Erzeugen aller Elemente von Punktwolkendaten 40 angewendet. Die Rauschentfernung vom BB-Typ kann jedoch während des Prozesses der Erzeugung der Punktwolkendaten 40 angewendet werden.
Anstelle der Schritte S14 bis S26 in 14 können beispielsweise die Schritte S50 bis S60 in 16 ausgeführt werden. In diesem Fall bildet der Controller 12 das Objekt 100 ab, während die Lage des Objekts 100 geändert wird (S50 bis S54). Wenn die Abbildung aller erforderlichen Oberflächen vollendet ist, berechnet der Controller 12 den BB 50 und den BB-Ausschubraum 52 für jedes der mehreren Elemente von Helligkeitsinformationen 32 (S56).
Anschließend überlagert der Controller 12 den ersten BB 50f auf die ersten Helligkeitsinformationen 32f und löscht Pixelwerte, die außerhalb des ersten BB 50f angeordnet sind (S58). Das heißt, unnötige Informationen werden gelöscht, bevor die Punktwolkendaten 40f aus den ersten Helligkeitsinformationen 32f erzeugt werden. Folglich kann der Berechnungsaufwand, der für die nächste Verarbeitung zum Erzeugen der Punktwolkendaten 40f erforderlich ist, erheblich verringert werden. Der Controller 12 führt eine solche zweidimensionale Rauschentfernungsverarbeitung an allen Elementen von Helligkeitsinformationen 32 durch Ändern der Zuweisung der ersten Helligkeitsinformationen 32f durch. Das heißt, bei der ersten zweidimensionalen Rauschentfernungsverarbeitung werden die Helligkeitsinformationen, die bei der ersten Abbildung erhalten werden, als „erste Helligkeitsinformationen 32f“ festgelegt und bei der zweiten zweidimensionalen Rauschentfernungsverarbeitung werden die Helligkeitsinformationen, die bei der zweiten Abbildung erhalten werden, als „erste Helligkeitsinformationen 32f“ festgelegt.
Wenn die zweidimensionale Rauschentfernungsverarbeitung für alle Elemente von Helligkeitsinformationen 32 vollendet ist, erzeugt der Controller 12 die Punktwolkendaten 40 und führt die dreidimensionale Rauschentfernungsverarbeitung durch (S60). Das heißt, auf der Basis der Helligkeitsinformationen 32 bestimmt der Controller 12 die Anwesenheit oder Abwesenheit eines effektiven Punkts für jedes Pixel und die z-Richtungs-Position des effektiven Punkts im Kamerakoordinatensystem. Zu dieser Zeit bestimmt der Controller 12 ferner, ob jeder effektive Punkt außerhalb des BB-Ausschubraums 52 (das heißt des zweiten BB-Ausschubraums 52s oder des zusätzlichen BB-Ausschubraums), der aus den Helligkeitsinformationen 32 (das heißt den zweiten Helligkeitsinformationen 32s oder den zusätzlichen Helligkeitsinformationen) berechnet wird, mit einem Abbildungswinkel angeordnet ist, der von jenem der Zielhelligkeitsinformationen 32 (das heißt der ersten Helligkeitsinformationen 32f) verschieden ist. Wenn der effektive Punkt außerhalb des BB-Ausschubraums 52 mit einem unterschiedlichen Abbildungswinkel angeordnet ist, bestimmt der Controller 12, dass der effektive Punkt Rauschen ist, und entfernt den effektiven Punkt. Wenn andererseits der effektive Punkt innerhalb des BB-Ausschubraums 52 mit einem unterschiedlichen Abbildungswinkel angeordnet ist, speichert der Controller 12 den Punkt als einen der Punkte, die die Punktwolkendaten 40 bilden. Wenn die dreidimensionale Rauschentfernungsverarbeitung vollendet ist, geht der Prozess zu Schritt S28 in 15 weiter.
Wie vorstehend beschrieben, kann durch zweidimensionales Entfernen von Rauschen unter Verwendung des BB 50 vor dem Erzeugen der Punktwolkendaten 40, das heißt im Zustand der Helligkeitsinformationen 32, die Berechnungszeit zum Erzeugen der Punktwolkendaten 40 erheblich verringert werden. Durch dreidimensionales Entfernen von Rauschen unter Verwendung des BB-Ausschubraums 52 im Prozess der Erzeugung der Punktwolkendaten 40 ist es außerdem möglich, die Datenmenge der Punktwolkendaten 40 zu verringern. Folglich ist es möglich, den Berechnungsaufwand und die Berechnungszeit, die für die Rauschentfernung mit hoher Genauigkeit oder CAD-Datenerzeugung, die später durchgeführt wird, erforderlich ist, zu verringern.
Als nächstes wird noch ein anderes Beispiel der Verarbeitung zum Erzeugen der CAD-Daten 44 beschrieben. In dem vorstehend beschriebenen Beispiel führt der Controller 12 eine Rauschentfernung durch Durchführen einer individuellen Berechnung für jeden Punkt oder jedes Pixel durch. Eine vortrainierte KI kann jedoch konstruiert werden und Rauschen kann unter Verwendung der KI entfernt werden. Insbesondere ist die KI ein überwachter Lerner, der vortrainiert ist, um den ersten BB 50f, den zweiten BB 50s und die ersten Helligkeitsinformationen 32f als seine Eingaben zu empfangen und die Punktwolkendaten 40 auszugeben, die aus den ersten Helligkeitsinformationen 32f erzeugt werden. Eine solche KI kann als Funktion des Controllers 12 konstruiert werden. Wie in 17 gezeigt, kann die KI 60 beispielsweise ein dreischichtiges neuronales Netz oder ein vierschichtiges oder tieferes neuronales Netz mit einer Eingabeschicht 62, einer oder mehreren Zwischenschichten 64 und einer Ausgabeschicht 66 sein. In dem Beispiel von 17 sind die erste Abbildungsposition, die zweite Abbildungsposition, die ersten Helligkeitsinformationen 32f, der erste BB 50f, der zweite BB 50s und der zweite BB-Ausschubraum 52s Eingabewerte. Der Ausgabewert ist die Anwesenheitswahrscheinlichkeit eines effektiven Punkts in jedem von mehreren Pixeln, die die ersten Helligkeitsinformationen 32f bilden, oder die Anwesenheitswahrscheinlichkeit eines effektiven Punkts in jedem von mehreren Gitterräumen 46, wenn ein dreidimensionaler Raum in die mehreren Gitterräume 46 unterteilt wird. Wenn die Anwesenheitswahrscheinlichkeit eines effektiven Punkts jedes Pixels ausgegeben wird, berechnet der Controller 12 die z-Richtungs-Position eines Punkts, der in jedem Pixel vorhanden ist, für Pixel mit einer Anwesenheitswahrscheinlichkeit gleich oder größer als ein vorbestimmter Wert und erzeugt die Punktwolkendaten 40. Wenn die Anwesenheitswahrscheinlichkeit eines effektiven Punkts in jedem Gitterraum 46 ausgegeben wird, erzeugt außerdem der Controller 12 die Punktwolkendaten 40 durch Annehmen, dass ein Punkt im Gitterraum 46 vorhanden ist, wo die Anwesenheitswahrscheinlichkeit gleich oder größer als ein vorbestimmter Wert ist.
Wenn die Rauschentfernung unter Verwendung der KI 60 durchgeführt wird, werden beispielsweise die Schritte S70 bis S80 in 18 anstelle der Schritte S14 bis S26 in 14 ausgeführt. Das heißt, der Controller 12 bildet das Objekt 100 ab, während die Lage des Objekts 100 geändert wird (S70 und S72), und berechnet den BB 50 und den BB-Ausschubraum 52 aus den erhaltenen Helligkeitsinformationen 32 (S74). Wenn die Helligkeitsinformationen 32 aller Oberflächen erhalten werden, gibt der Controller 12 in die KI 60 die erhaltenen Helligkeitsinformationen 32, die Abbildungsposition, wenn jedes Element von Helligkeitsinformationen 32 erhalten wird, den BB 50 und den BB-Ausschubraum 52 jedes Elements von Helligkeitsinformationen 32 ein (S78). Danach werden die Punktwolkendaten 40 auf der Basis der Ausgabewerte erzeugt, die aus der KI 60 ausgegeben werden (S80). Danach geht der Prozess zu Schritt S28 in 15 weiter.
Wie aus der obigen Beschreibung ersichtlich ist, ist es durch Konstruieren der KI 60, die die ersten Helligkeitsinformationen 32f und den zweiten BB 50s als ihre Eingaben empfängt und die Anwesenheitswahrscheinlichkeit eines effektiven Punkts für jedes Pixel oder jeden Gitterraum 46 ausgibt, möglich, die Verarbeitung zum Erzeugen der Punktwolkendaten 40 und die Rauschentfernungsverarbeitung zu vereinfachen.
Außerdem sind die bisher beschriebenen Konfigurationen alle Beispiele und andere Konfigurationen können geändert werden, solange die Punktwolkendaten 40 auf der Basis von mindestens einer oder mehreren Helligkeitsinformationen 32 und eines oder mehrerer BB 50 erzeugt werden. Obwohl in diesem Beispiel das Objekt 100 an der Werkzeugmaschine 80 befestigt ist und die Lage des Objekts 100 unter Verwendung der Funktion der Werkzeugmaschine 80 geändert wird, kann das Objekt 100 beispielsweise durch eine Einrichtung gehalten werden, die nicht mit der Werkzeugmaschine 80 in Beziehung steht. Außerdem kann anstelle der Bewegung des Objekts 100 die Kamera 24 bewegt werden. In der bisherigen Erläuterung werden außerdem sowohl die zweidimensionale Rauschentfernung unter Verwendung des BB 50 als auch die dreidimensionale Rauschentfernung unter Verwendung des BB-Ausschubraums 52 durchgeführt. Nur eine der zweidimensionalen Rauschentfernung unter Verwendung des BB 50 und der dreidimensionalen Rauschentfernung unter Verwendung des BB-Ausschubraums 52 kann jedoch durchgeführt werden.
BEZUGSZEICHENLISTE

10: Verarbeitungssystem für dreidimensionale Punktwolkendaten
12: Controller
14: Prozessor
16: Arbeitsspeicher
18: Kommunikations-I/F
20: UI-Einrichtung
22: Abbildungseinheit
24: Kamera
26: Lichtquelle
30: Bilddaten
32: Helligkeitsinformationen
40: Punktwolkendaten
44: CAD-Daten
46: Gitterraum
50: BB
52: BB-Ausschubraum
62: Eingabeschicht
64: Zwischenschicht
66: Ausgabeschicht
80: Werkzeugmaschine
81: Spindel
82: Numerischer Controller
84: Bedienfeld
100: Objekt

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2022118246 [0001]
JP 2020144686 A [0005, 0007, 0008]
WO 2015/061400 [0006, 0007, 0008]
JP 2005024370 A [0006, 0007, 0008]

Claims

Verarbeitungssystem für dreidimensionale Punktwolkendaten, das umfasst: eine oder mehrere Abbildungsvorrichtungen, die ein Objekt abbilden, um ein oder mehrere Elemente von Helligkeitsinformationen zu erfassen; und einen Controller, der dreidimensionale Punktwolkendaten des Objekts aus dem einen oder den mehreren Elementen von Helligkeitsinformationen berechnet, wobei der Controller mindestens einen BB, der das Objekt umgibt und durch Kombinieren von einem oder mehreren Rechtecken gebildet wird, aus mindestens einem des einen oder der mehreren Elemente von Helligkeitsinformationen berechnet, und die dreidimensionalen Punktwolkendaten auf der Basis des mindestens einen BB und des einen oder der mehreren Elemente von Helligkeitsinformationen berechnet.
Verarbeitungssystem für dreidimensionale Punktwolkendaten nach Anspruch 1, wobei das eine oder die mehreren Elemente von Helligkeitsinformationen erste Helligkeitsinformationen, die durch Abbilden des Objekts aus einer ersten Richtung erhalten werden, und zweite Helligkeitsinformationen, die durch Abbilden des Objekts aus einer zweiten Richtung erhalten werden, die von der ersten Richtung verschieden ist, umfassen.
Verarbeitungssystem für dreidimensionale Punktwolkendaten nach Anspruch 2, wobei der Controller einen zweiten BB, der das Objekt umgibt, und einen zweiten BB-Ausschubraum, der durch Herausschieben des zweiten BB in der zweiten Richtung erhalten wird, aus den zweiten Helligkeitsinformationen berechnet und Punkte, die außerhalb des zweiten BB-Ausschubraums angeordnet sind, unter Punkten, die aus den ersten Helligkeitsinformationen berechnet werden, als Rauschen entfernt.
Verarbeitungssystem für dreidimensionale Punktwolkendaten nach einem der Ansprüche 1 bis 3, wobei das eine oder die mehreren Elemente von Helligkeitsinformationen die ersten Helligkeitsinformationen umfassen, die durch Abbilden des Objekts aus einer ersten Richtung erhalten werden, und der Controller einen ersten BB, der das Objekt umgibt, auf der Basis der ersten Helligkeitsinformationen berechnet, Pixelwerte, die außerhalb des ersten BB angeordnet sind, unter mehreren Pixelwerten, die die ersten Helligkeitsinformationen bilden, als Rauschen entfernt und die dreidimensionalen Punktwolkendaten auf der Basis der ersten Helligkeitsinformationen nach der Rauschentfernung berechnet.
Verarbeitungssystem für dreidimensionale Punktwolkendaten nach Anspruch 1 oder 2, wobei der Controller als KI funktioniert, die im Voraus maschinentrainiert wird, um zumindest den mindestens einen BB und das eine oder die mehreren Elemente von Helligkeitsinformationen als ihre Eingaben zu empfangen, und Informationen auszugeben, die die Anwesenheit oder Abwesenheit eines effektiven Punkts in jedem von mehreren Pixeln angeben, die das eine oder die mehreren Elemente von Helligkeitsinformationen bilden.
Verarbeitungssystem für dreidimensionale Punktwolkendaten nach Anspruch 1 oder 2, wobei der Controller als KI funktioniert, die im Voraus maschinentrainiert wird, um zumindest den mindestens einen BB und das eine oder die mehreren Elemente von Helligkeitsinformationen als ihre Eingaben zu empfangen, und Informationen auszugeben, die die Anwesenheit oder Abwesenheit eines effektiven Punkts in jedem von mehreren Gitterräumen angeben, die durch Unterteilen eines dreidimensionalen Raums in eine 3D-Matrix gebildet werden.
Verarbeitungssystem für dreidimensionale Punktwolkendaten nach Anspruch 3, wobei das eine oder die mehreren Elemente von Helligkeitsinformationen ferner ein oder mehrere Elemente von zusätzlichen Helligkeitsinformationen umfassen, und der Controller die dreidimensionalen Punktwolkendaten auf der Basis von einem oder mehreren zusätzlichen BBs, die aus dem einen oder den mehreren Elementen von zusätzlichen Helligkeitsinformationen berechnet werden, des zweiten BB und der ersten Helligkeitsinformationen berechnet.