DE112021003955T5

DE112021003955T5 - Informationsverarbeitungsvorrichtung und Informationsverarbeitungsverfahren

Info

Publication number: DE112021003955T5
Application number: DE112021003955.5T
Authority: DE
Inventors: Weijia LI
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2020-07-27
Filing date: 2021-07-20
Publication date: 2023-05-25
Also published as: CN116137831A; WO2022024877A1; JPWO2022024877A1; US20230297068A1

Abstract

Die vorliegende Erfindung erzeugt auf einfache Weise Trainingsdaten, die für die Erstellung eines Trainingsmodells zur Identifizierung einer Position für die Entnahme eines en Gros geladenen Werkstücks benötigt werden. Eine Informationsverarbeitungsvorrichtung gemäß der vorliegenden Erfindung zum Verarbeiten von Informationen zum Wiederauffinden eines Werkstücks unter Verwendung einer Hand, wobei die Vorrichtung umfasst: eine Empfangseinheit, die Wiederauffindungsbedingungen einschließlich Informationen über die Hand oder das Werkstück empfängt; eine Vorverarbeitungseinheit, die zumindest die Position des Schwerpunkts des Werkstücks auf Basis eines 3D-CAD-Modells des Werkstücks ableitet; und eine erste Verarbeitungseinheit, die auf Basis der abgeleiteten Position des Schwerpunkts des Werkstücks Schnittmerkmale des 3D-CAD-Modells des Werkstücks gemäß den Wiederauffindungsbedingungen ableitet.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft eine Informationsverarbeitungsvorrichtung und ein Informationsverarbeitungsverfahren.
STAND DER TECHNIK
Um die Aufnahmeposition eines Objekts (im Folgenden auch als „Werkstück“ bezeichnet) zu ermitteln, wurde das Einlernen unter Verwendung eines von einer dreidimensionalen Messmaschine gemessenen Werkstück-Abstandsbildes durchgeführt. Als Technik zur Durchführung des Unterrichtens mit Hilfe des Abstandsbildes wurde beispielsweise allgemein eine Technik des computerunterstützten Entwurfs (CAD) oder eine Technik zur Durchführung einer Suche auf Basis eines Einstellparameters verwendet. Das hier beschriebene Abstandsbild ist ein Bild, das durch Messung einer Oberfläche eines Messobjekts (des Werkstücks) erhalten wird und Informationen über eine Tiefe von der dreidimensionalen Messmaschine an jedem Pixel eines aufgenommenen Bildes enthält. Das heißt, dass jedes Pixel des Abstandsbildes als eines mit dreidimensionaler Koordinateninformation in einem dreidimensionalen Koordinatensystem der dreidimensionalen Messmaschine betrachtet werden kann.
Zu diesem Punkt ist die folgende Technik bekannt: Objektentfernungsbilder aus einer Vielzahl von Winkeln werden aufgenommen, ein dreidimensionales Modell eines Objekts wird auf Basis der Vielzahl von aufgenommenen Entfernungsbildern erzeugt, Extraktionsbilder, die bestimmte Bereiche des Objekts anzeigen, die der Vielzahl von Winkeln entsprechen, werden auf Basis des erzeugten dreidimensionalen Modells erzeugt, und maschinelles Lernen wird unter Verwendung der Vielzahl von Entfernungsbildern und der Extraktionsbilder, die jeweils der Vielzahl von Entfernungsbildern entsprechen, als Lehrerdaten durchgeführt; und auf diese Weise wird das Modell zum Spezifizieren einer Position, an der ein Roboter das Objekt ergreift, erzeugt. Siehe zum Beispiel Patentdokument 1.
Patentdokument 1: Unbeanstandete japanische Patentanmeldung, Veröffentlichung Nr. 2019-56966
OFFENBARUNG DER ERFINDUNG
Durch die Erfindung zu lösende Probleme
Für die Erstellung des Modells zur Bestimmung der Aufnahmeposition des Werkstücks müssen jedoch die Entfernungsbilder des Objekts aus einer Vielzahl von Winkeln aufgenommen werden, was Zeit und Mühe kostet.
In einem Fall, in dem eine Vielzahl von Werkstücken im Gros geladen wird, ist es für die Festlegung der Aufnahmepositionen der im Gros geladenen Werkstücke notwendig, die Position und Haltung einer Hand beim Halten eines Zielwerkstücks so zu berücksichtigen, dass es beim Halten des Werkstücks an der Aufnahmeposition zu keiner Beeinträchtigung zwischen der Hand und einem umgebenden Hindernis wie einem Werkstück oder einer Behälterwand kommt.
Aus diesem Grund besteht die Nachfrage nach einer einfachen Erzeugung von Trainingsdaten (auch „Trainingsdaten“ genannt), die für die Erstellung eines trainierten Modells zur Bestimmung der Aufnahmepositionen der in Schüttgut geladenen Werkstücke erforderlich sind.
Mittel zur Lösung der Probleme

(1) Ein Aspekt einer Informationsverarbeitungsvorrichtung der vorliegenden Offenbarung ist eine Informationsverarbeitungsvorrichtung zum Verarbeiten von Informationen zum Aufnehmen eines Werkstücks mittels einer Hand, wobei die Informationsverarbeitungsvorrichtung eine Empfangseinheit, die so konfiguriert ist, dass sie eine Aufnahmebedingung einschließlich Informationen über die Hand oder das Werkstück empfängt, eine Vorverarbeitungseinheit, die so konfiguriert ist, dass sie zumindest die Position des Schwerpunkts des Werkstücks auf Basis eines 3D-CAD-Modells des Werkstücks ableitet, und eine erste Verarbeitungseinheit, die so konfiguriert ist, dass sie ein lokales Merkmal des 3D-CAD-Modells des Werkstücks gemäß der Aufnahmebedingung auf Basis der abgeleiteten Position des Schwerpunkts des Werkstücks ableitet, beinhaltet.
(2) Ein Aspekt eines Informationsverarbeitungsverfahrens der vorliegenden Offenbarung ist ein Informationsverarbeitungsverfahren zur Implementierung durch einen Computer zur Verarbeitung von Informationen zum Aufnehmen eines Werkstücks mittels einer Hand, wobei das Informationsverarbeitungsverfahren einen Empfangsschritt zum Empfangen einer Aufnahmebedingung einschließlich Informationen über die Hand oder das Werkstück umfasst, einen Vorverarbeitungsschritt zum Ableiten zumindest der Position des Schwerpunkts des Werkstücks auf Basis eines 3D-CAD-Modells des Werkstücks, und einen ersten Verarbeitungsschritt zum Ableiten eines lokalen Merkmals des 3D-CAD-Modells des Werkstücks gemäß der Aufnahmebedingung auf Basis der abgeleiteten Position des Schwerpunkts des Werkstücks.

Wirkungen der Erfindung
Gemäß einem Aspekt können die Trainingsdaten („Teacher Data“), die für die Erstellung des trainierten Modells zur Bestimmung der Aufnahmepositionen der im Gros geladenen Werkstücke erforderlich sind, auf einfache Weise generiert werden.
Figurenliste

1 ist eine Ansicht, die ein Beispiel für eine Konfiguration eines Robotersystems gemäß einer ersten Ausführungsform zeigt;
2 ist ein Funktions-Blockdiagramm, das ein funktionelles Konfigurationsbeispiel einer Informationsverarbeitungsvorrichtung gemäß der ersten Ausführungsform zeigt;
3 ist eine Ansicht, die ein Beispiel eines Werkstücks zeigt;
4 ist eine Ansicht, die ein Beispiel des Werkstücks zeigt;
5 ist eine Ansicht, die ein Beispiel für eine Zeichnung auf einem virtuellen Raum zeigt;
6A ist eine Ansicht, die ein Beispiel eines 2D-CAD-Diagramms zeigt, das durch Projektion von CAD-Daten auf einen zufällig erzeugten Überlappungszustand einer Vielzahl von Werkstücken erhalten wird;
6B ist eine Ansicht, die ein Beispiel eines 2D-CAD-Diagramms zeigt, das durch Projektion von 3D-CAD-Daten mit Aufnehm-Positionskandidaten-Daten erhalten wurde, die von einer ersten Aufnehm-Kandidaten-Berechnungseinheit berechnet wurden;
6C ist eine Ansicht, die ein Beispiel eines 2D-CAD-Diagramms zeigt, das durch Projektion von 3D-CAD-Daten mit einer zylindrischen virtuellen Hand an jedem Kandidaten für die Aufnahmeposition erstellt wurde;
6D ist eine Ansicht, die ein Beispiel eines 2D-CAD-Diagramms zeigt, das durch Projektion von 3D-CAD-Daten mit Daten von Aufnahmepositionskandidaten erhalten wird, nachdem Kandidaten, für die eine Störung erkannt wurde, gelöscht wurden;
7 ist ein Flussdiagramm zur Beschreibung der Verarbeitung der Trainingsdatenerzeugung der Informationsverarbeitungsvorrichtung;
8 ist ein Funktions-Blockdiagramm, das ein funktionales Konfigurationsbeispiel einer Informationsverarbeitungsvorrichtung gemäß einer zweiten Ausführungsform zeigt;
9 ist ein Flussdiagramm zur Beschreibung der Erzeugung von Trainingsdaten durch die Informationsverarbeitungsvorrichtung;
10 ist eine Ansicht, die ein Beispiel für eine Konfiguration eines Robotersystems gemäß einer dritten Ausführungsform zeigt;
11 ist ein Funktions-Blockdiagramm, das ein funktionales Konfigurationsbeispiel einer Informationsverarbeitungsvorrichtung gemäß der dritten Ausführungsform zeigt;
12 ist eine Ansicht, die ein Beispiel für die Beschreibung der Vorverarbeitung von dreidimensionalen Punktwolkendaten zeigt; und
13 ist ein Flussdiagramm zur Beschreibung der Verarbeitung der Trainingsdatenerzeugung der Informationsverarbeitungsvorrichtung.

BEVORZUGTE AUSFÜHRUNGSFORM DER ERFINDUNG
Die erste bis dritte Ausführungsform wird anhand der Zeichnungen im Einzelnen beschrieben.
Diese Ausführungsformen sind einander in einer Konfiguration gemein, in der Trainingsdaten („Lehrerdaten“), die für die Erstellung eines trainierten Modells zur Bestimmung der Aufnahmepositionen von zufällig in großen Mengen geladenen und sich überschneidenden Werkstücken erforderlich sind, leicht erzeugt werden können.
Man beachte, dass in der ersten Ausführungsform bei der Verarbeitung der Trainingsdaten („Lehrerdaten“, „Trainingsdaten“) ein Zustand, in dem die Werkstücke in großen Mengen geladen werden und sich gegenseitig überlappen, zufällig in einem virtuellen Raum mittels 3D-CAD-Daten der Werkstücke erzeugt wird, und „Targeting“ für eine Vielzahl von zweidimensionalen Projektionsbildern, die durch Projektion des zufällig erzeugten Überlappungszustandes der Vielzahl von Werkstücken erhalten werden, werden die Trainingsdaten mit Etikettendaten erzeugt, die eine Vielzahl von zweidimensionalen Projektionsbildern mit Aufnahmepositionskandidatendaten sind, die auf jedem der überlappenden Werkstücke in jedem Stück 3D-CAD-Daten erzeugt werden. Andererseits unterscheidet sich die zweite Ausführungsform von der ersten Ausführungsform dadurch, dass für eine Vielzahl von zweidimensionalen Bildern, die von einer Bildgebungsvorrichtung erfasst werden, von Werkstücken, die in großen Mengen geladen werden und sich gegenseitig überlappen, die Trainingsdaten mit Etikettendaten erzeugt werden, die eine Vielzahl von zweidimensionalen Bildern mit Aufnahmepositionskandidaten sind, die auf den Werkstücken basierend auf einem Merkmal auf jedem der Vielzahl von zweidimensionalen Bildern und einem Merkmal eines 3D-CAD-Modells des Werkstücks berechnet werden. Die dritte Ausführungsform unterscheidet sich von der ersten Ausführungsform und der zweiten Ausführungsform dadurch, dass für mehrere dreidimensionale Punktwolkendaten, die auf Werkstücken erfasst werden, die in großen Mengen geladen werden und sich gegenseitig überlappen, z.B. durch eine dreidimensionale Messmaschine, die Trainingsdaten mit Etikettendaten erzeugt werden, die mehrere dreidimensionale Punktwolkendaten mit Aufnahmepositionskandidatendaten sind, die auf den Werkstücken basierend auf jedem der mehreren dreidimensionalen Punktwolkendaten und 3D-CAD-Daten auf den Werkstücken berechnet werden.
Nachfolgend wird zunächst die erste Ausführungsform im Detail beschrieben, und dann werden insbesondere die Unterschiede der zweiten und dritten Ausführungsform zur ersten Ausführungsform beschrieben.
<Erste Ausführungsform>
1 ist eine Ansicht, die ein Beispiel für eine Konfiguration eines Robotersystems 1 gemäß der ersten Ausführungsform zeigt.
Wie in 1 gezeigt, verfügt das Robotersystem 1 über eine Informationsverarbeitungsvorrichtung 10, eine Robotersteuerungsvorrichtung 20, einen Roboter 30, eine Bildgebungsvorrichtung 40, eine Vielzahl von Werkstücken 50 und einen Behälter 60.
Die Informationsverarbeitungsvorrichtung 10, die Robotersteuerungsvorrichtung 20, der Roboter 30 und die Bildgebungsvorrichtung 40 können über eine nicht dargestellte Verbindungsschnittstelle direkt miteinander verbunden sein. Es ist zu beachten, dass die Informationsverarbeitungsvorrichtung 10, die Robotersteuerungsvorrichtung 20, der Roboter 30 und die Bildgebungsvorrichtung 40 über ein nicht dargestelltes Netzwerk, wie z.B. ein lokales Netzwerk (LAN) oder das Internet, miteinander verbunden sein können. In diesem Fall enthalten die Informationsverarbeitungsvorrichtung 10, die Robotersteuerungsvorrichtung 20, der Roboter 30 und die Bildgebungsvorrichtung 40 nicht dargestellte Kommunikationseinheiten zur Kommunikation untereinander über eine solche Verbindung. Der Einfachheit der Beschreibung halber zeigt 1 die Informationsverarbeitungsvorrichtung 10 und die Robotersteuerungsvorrichtung 20 unabhängig voneinander, und die Informationsverarbeitungsvorrichtung 10 kann in diesem Fall z.B. einen Computer umfassen. Die vorliegende Offenbarung ist nicht auf eine solche Konfiguration beschränkt, und beispielsweise kann die Informationsverarbeitungsvorrichtung 10 innerhalb der Robotersteuerungsvorrichtung 20 montiert und in die Robotersteuerungsvorrichtung 20 integriert sein.
Die Robotersteuerungsvorrichtung 20 ist eine dem Fachmann bekannte Vorrichtung zur Steuerung des Betriebs des Roboters 30. Beispielsweise empfängt die Robotersteuerungsvorrichtung 20 von der Informationsverarbeitungsvorrichtung 10 Informationen über die Aufnahmeposition eines Werkstücks 50, das von der später beschriebenen Informationsverarbeitungsvorrichtung 10 aus den in loser Schüttung geladenen Werkstücken 50 ausgewählt wurde. Die Robotersteuervorrichtung 20 erzeugt ein Steuersignal zur Steuerung des Betriebs des Roboters 30, so dass das Werkstück 50 an einer von der Informationsverarbeitungsvorrichtung 10 empfangenen Aufnahmeposition aufgenommen wird. Anschließend gibt die Robotersteuerungsvorrichtung 20 das erzeugte Steuersignal an den Roboter 30 aus.
Es ist zu beachten, dass die Robotersteuerungsvorrichtung 20 die später beschriebene Informationsverarbeitungsvorrichtung 10 enthalten kann.
Der Roboter 30 ist ein Roboter, der auf Basis der Steuerung durch die Robotersteuerungsvorrichtung 20 zu betreiben ist. Der Roboter 30 beinhaltet einen Basisteil, der um eine Achse in vertikaler Richtung drehbar ist, einen beweglichen und drehbaren Arm und eine am Arm angebrachte Aufnahmehand 31 zum Halten des Werkstücks 50. Man beachte, dass in 1 eine Luftansaughand als Aufnahmehand 31 des Roboters 30 angebracht ist, dass aber auch eine Greifhand oder eine magnetische Hand, die ein Eisenwerkstück durch Magnetkraft aufnimmt, angebracht sein kann.
Als Reaktion auf das von der Robotersteuerungsvorrichtung 20 ausgegebene Steuersignal treibt der Roboter 30 den Arm und die Aufnahmehand 31 an, bewegt die Aufnahmehand 31 in die von der Informationsverarbeitungsvorrichtung 10 ausgewählte Aufnahmeposition und hält und nimmt eines der im Gros geladenen Werkstücke 50 aus dem Behälter 60 auf.
Es sei angemerkt, dass ein Zielort für die Übergabe des aufgenommenen Werkstücks 50 in der Abbildung nicht gezeigt ist. Eine bestimmte Konfiguration des Roboters 30 ist dem Fachmann bekannt, so dass auf eine detaillierte Beschreibung verzichtet wird.
Man beachte, dass für die Informationsverarbeitungsvorrichtung 10 und die Robotersteuerungsvorrichtung 20 ein Maschinenkoordinatensystem zur Steuerung des Roboters 30 und ein Kamerakoordinatensystem, das die Aufnahmeposition des Werkstücks 50 anzeigt, durch eine im Voraus durchgeführte Kalibrierung einander zugeordnet werden.
Die Bildgebungsvorrichtung 40 ist z.B. eine Digitalkamera und nimmt ein zweidimensionales Bild derart auf, dass die als Schüttgut in den Behälter 60 geladenen Werkstücke 50 auf eine Ebene projiziert werden, die senkrecht zur optischen Achse der Bildgebungsvorrichtung 40 steht.
Es sei angemerkt, dass die Bildgebungsvorrichtung 40 ein dreidimensionales Messgerät sein kann, z.B. eine Stereokamera, wie später beschrieben.
Die Werkstücke 50 werden ungeordnet in den Behälter 60 gelegt, auch in einem Zustand, in dem die Werkstücke 50 als Massengut geladen sind. Die Werkstücke 50 müssen lediglich von der am Arm des Roboters 30 angebrachten Aufnahmehand 31 gehalten werden können, und ihre Form usw. ist nicht besonders eingeschränkt.
<Informationsverarbeitungsvorrichtung 10>
2 ist ein Funktions-Blockdiagramm, das ein funktionelles Konfigurationsbeispiel der Informationsverarbeitungsvorrichtung 10 gemäß der ersten Ausführungsform zeigt.
Die Informationsverarbeitungsvorrichtung 10 ist eine dem Fachmann bekannte Computervorrichtung, die, wie in 2 gezeigt, eine Steuereinheit 11, eine Eingabeeinheit 12, eine Anzeigeeinheit 13 und eine Speichereinheit 14 aufweist. Die Steuereinheit 11 hat eine Empfangseinheit 110, eine Vorverarbeitungseinheit 111, eine erste Verarbeitungseinheit 112, eine erste Aufnehm-Kandidatenberechnungseinheit 113, eine zweite Aufnehm-Kandidatenberechnungseinheit 114, eine erste Trainingsdatenerzeugungseinheit 115, eine Trainingsverarbeitungseinheit 116 und eine Aufnehm-Positionsauswahleinheit 117.
<Eingabeeinheit 12>
Die Eingabeeinheit 12 ist z.B. eine Tastatur oder ein Touchpanel, das auf der später beschriebenen Anzeigeeinheit 13 angeordnet ist und Eingaben von einem Benutzer empfängt. Insbesondere gibt der Benutzer, wie später beschrieben, über die Eingabeeinheit 12 eine Aufnahmebedingung ein, die beispielsweise Informationen über die Art der Aufnahmehand 31, die Form und Größe eines Bereichs, der das Werkstück 50 berührt, usw. enthält.
<Anzeigeeinheit 13>
Die Anzeigeeinheit 13 ist z.B. eine Flüssigkristallanzeige und zeigt einen Zahlenwert und eine Grafik der Aufnahmebedingung, die von der später beschriebenen Empfangseinheit 110 über die Eingabeeinheit 12 empfangen werden, 3D-CAD-Daten der Werkstücke 50 von der später beschriebenen Vorverarbeitungseinheit 111 usw. an.
<Speichereinheit 14>
Bei der Speichereinheit 14 handelt es sich beispielsweise um ein ROM oder eine Festplatte, auf der AufnahmebedingungsDaten 141 und Trainingsdaten 142 zusammen mit verschiedenen Steuerprogrammen gespeichert werden können.
Die Aufnahmebedingungsdaten 141 umfassen, wie oben beschrieben, die vom Benutzer durch die später beschriebene Empfangseinheit 110 über die Eingabeeinheit 12 empfangenen Aufnahmebedingung, wobei die Aufnahmebedingung mindestens eine der folgenden Informationen enthält: Informationen über die Form des Bereichs der Aufnahmehand 31, der das Werkstück 50 berührt, Informationen über eine Kontaktnormalrichtung des Bereichs, Informationen über eine Kontaktfläche des Bereichs, Informationen über einen Bewegungsbereich der Aufnahmehand 31, Informationen über die Oberflächenkrümmung des Werkstücks 50, Informationen über die Material- und Reibungskoeffizientenverteilung des Werkstücks 50 oder einen Teil der Informationen über die Aufnahme-Verfügbarkeit.
Die Trainingsdaten 142 umfassen Trainingsdaten („Lehrerdaten“) als Beschriftungsdaten, einschließlich einer Vielzahl von zweidimensionalen Projektionsbildern mit spezifizierten Aufnahmepositionskandidaten, die auf eine Vielzahl von zweidimensionalen Projektionsbildern der Vielzahl von Werkstücken 50 abzielen, die nach dem Zufallsprinzip in großen Mengen geladen werden und sich gegenseitig überlappen, und zwar in einem virtuellen Raum, der von der später beschriebenen ersten Trainingsdatenerzeugungseinheit 115 erzeugt wird.
<Steuereinheit 11>
Die Steuereinheit 11 ist dem Fachmann bekannt und besteht aus einer Zentraleinheit (CPU), einem ROM, einem Direktzugriffsspeicher (R_AM), einem komplementären Metalloxid-Halbleiterspeicher (CMOS) usw., und diese Komponenten sind über einen Bus miteinander verbunden.
Die CPU ist ein Prozessor, der die Informationsverarbeitungsvorrichtung 10 in integrierter Weise steuert. Die CPU liest über den Bus ein im ROM gespeichertes Systemprogramm und ein Anwendungsprogramm und steuert so die Gesamtheit der Informationsverarbeitungsvorrichtung 10 entsprechend dem Systemprogramm und dem Anwendungsprogramm. Auf diese Weise implementiert die Steuereinheit 11, wie in 2 gezeigt, die Funktionen der Empfangseinheit 110, der Vorverarbeitungseinheit 111, der ersten Verarbeitungseinheit 112, der ersten Aufnehm-Kandidatenberechnungseinheit 113, der zweiten Aufnehm-Kandidatenberechnungseinheit 114, der ersten Trainingsdatenerzeugungseinheit 115, der Trainingsverarbeitungseinheit 116 und der Aufnehm-Positionsauswahleinheit 117. Der Arbeitsspeicher speichert verschiedene Arten von Daten, z.B. temporäre Berechnungs- und Anzeigedaten. Der CMOS-Speicher wird durch eine nicht dargestellte Batterie abgesichert und fungiert als nichtflüchtiger Speicher, der seinen Speicherzustand auch dann beibehält, wenn die Informationsverarbeitungsvorrichtung 10 ausgeschaltet ist.
<Empfangseinheit 110>
Die Empfangseinheit 110 kann die Aufnahmebedingung empfangen, die die Informationen über den Typ der Aufnahmehand 31, die Form und Größe des Bereichs, der das Werkstück 50 berührt, usw. umfasst, die vom Benutzer über die Eingabeeinheit 12 eingegeben werden, und kann die Aufnahmebedingung in der später beschriebenen Speichereinheit 14 speichern. Das heißt, dass die Empfangseinheit 110 Information empfangen kann und solche Information in der Speicherheinheit 14 speichern kann, wobei die Information Information darüber, ob die Aufnahmehand 31 vom Luftsaugtyp oder vom Greiftyp ist, Information über Form und Größe eines Sauggreiferkontaktbereichs, wo die Aufnahmehand 31 das Werkstück 50 kontaktiert, Information über die Anzahl von Sauggreifern, Information über den Abstand und die Verteilung einer Vielzahl von Sauggreifern in einem Fall, in dem die Aufnahmehand 31 die Vielzahl von Sauggreifern hat, und Information über die Form und Größe eines Bereichs, in dem ein Greiffinger der Aufnahmehand 31 das Werkstück 50 berührt, die Anzahl von Greiffingern und den Abstand und die Verteilung der Greiffinger in einem Fall, in dem die Aufnahmehand 31 vom Greiftyp ist, beinhaltet. Es ist zu beachten, dass die Empfangseinheit 110 solche Informationen in Form eines numerischen Wertes empfangen kann, aber auch in Form eines zwei- oder dreidimensionalen Graphen (z.B. CAD-Daten) oder in Form sowohl eines numerischen Wertes als auch eines Graphen empfangen kann. Die Aufnahmebedingung, die die empfangenen Informationen widerspiegelt, wird in der Speichereinheit 14 gespeichert, z.B. als Aufnahmebedingung A, bei der das Werkstück mit einem Sauggreifer aufgenommen wird, der eine Außenform mit einem Durchmesser (im Folgenden auch als „ø“ bezeichnet) von 20 mm und ein Luftloch von ø8 mm aufweist.
Die Empfangseinheit 110 kann die Aufnahmebedingung empfangen und eine solche Aufnahmebedingung in der Speichereinheit 14 speichern, wobei die Aufnahmebedingung vom Benutzer über die Eingabeeinheit 12 eingegeben wird und die Information über die Kontaktnormalrichtung des Bereichs der Aufnahmehand 31 enthält, der das Werkstück 50 berührt. Eine solche Information über die Kontaktnormalrichtung kann ein dreidimensionaler Vektor sein, der eine Kontaktnormalrichtung eines Bereichs, der das Werkstück 50 berührt, des Sauggreifers anzeigt, der an einem Spitzenende der Luftsaug-Aufnahmehand 31 angebracht ist, oder kann ein dreidimensionaler Vektor sein, der eine Kontaktnormalrichtung eines Bereichs, der das Werkstück 50 berührt, des Greiffingers der Greif-Aufnahmehand 31 anzeigt. Insbesondere kann die Information über die Kontaktnormalrichtung in der Speichereinheit 14 als ein Stück dreidimensionaler Richtungsvektorinformation an jeder Kontaktposition gespeichert werden. So wird beispielsweise ein dreidimensionales Koordinatensystem Σ_w definiert, das den Schwerpunkt des Werkstücks als Ursprung hat. Ein dreidimensionales Koordinatensystem Σ_i wird definiert, indem ein Positionskoordinatenwert [x_i, y_i, z_i] einer i-ten Kontaktposition in dem dreidimensionalen Koordinatensystem Σ_w als Ursprung genommen wird und die Längsrichtung der Aufnahmehand 31 als positive Richtung einer z-Achse angenommen wird. Beispielsweise kann in einem Fall, in dem der Richtungsvektor der Kontaktnormalen der Aufnahmehand 31 auf eine negative Richtung der z-Achse im Koordinatensystem Σ_i zeigt, der Richtungsvektor der Kontaktnormalen der Aufnahmehand 31 numerisch als ein dreidimensionaler Richtungsvektor [0, 0,- 1] numerisch gespeichert werden, und Information über eine homogene Transformationsmatrix T_wi der Koordinatensysteme Σ_w, Σ_i kann in Form eines numerischen Wertes empfangen und in der Speichereinheit 14 gespeichert werden. Die Empfangseinheit 110 kann den in Form eines Graphen in der später beschriebenen Vorverarbeitungseinheit 111 dreidimensional gezeichneten Kontaktnormalvektor der Aufnahmehand 31 empfangen und in der Speichereinheit 14 speichern. Selbstverständlich kann die Empfangseinheit 110 gleichzeitig die Information in Form eines numerischen Wertes und eines Graphen empfangen und diese Information in der Speichereinheit 14 speichern.
Die Empfangseinheit 110 kann die Aufnahmebedingung empfangen und eine solche Aufnahmebedingung in der Speichereinheit 14 speichern, wobei die Aufnahmebedingung vom Benutzer über die Eingabeeinheit 12 eingegeben wird und die Informationen über die Kontaktfläche des Bereichs der Aufnahmehand 31 enthält, der das Werkstück 50 berührt. Wenn das Werkstück 50 beispielsweise von der Greif-Aufnahmehand 31 mit zwei Fingern gegriffen und aufgenommen wird, werden Informationen über die Fläche eines Greifbereichs des Greiffingers (z.B. eine Fläche von 600 mm² im Falle eines Rechtecks von 30 mm × 20 mm) gespeichert. Die Empfangseinheit 110 kann eine prozentuale Information empfangen, die so ermittelt wird, dass der Benutzer einen tatsächlichen prozentualen Anteil der Fläche des rechteckigen Bereichs bestimmt, der mindestens für das Greifen und Aufnehmen des Werkstücks 50 durch Kontakt mit dem Werkstück 50 erforderlich ist und der vom Benutzer über die Eingabeeinheit 12 eingegeben wird. So wird im Falle eines schweren Werkstücks 50 der Prozentsatz erhöht, um das Werkstück 50 mit einer größeren Kontaktfläche anzuheben, so dass ein Herunterfallen des Werkstücks 50 verhindert werden kann. Im Falle eines leichten Werkstücks 50 wird der Prozentsatz verringert, damit mehr Kandidaten für ein lokales Merkmal des Werkstücks 50 entsprechend einer kleineren Kontaktfläche erfasst werden können.
Die Empfangseinheit 110 kann die Aufnahmebedingung empfangen und eine solche Aufnahmebedingung in der Speichereinheit 14 speichern, wobei die Aufnahmebedingung durch den Benutzer über die Eingabeeinheit 12 eingegeben wird und die Informationen über den beweglichen Bereich der Aufnahmehand 31 enthält. Insbesondere kann die Empfangseinheit 110 Informationen empfangen und solche Informationen in der Speichereinheit 14 speichern, wobei die Information einen Grenzwert eines Betriebsparameters angibt, der den beweglichen Bereich der Aufnahmehand 31 angibt, wie z.B. einen Grenzbereich einer Greifbreite in einem offenen/geschlossenen Zustand im Falle der Aufnahmehand 31, einen Grenzbereich eines Betriebswinkels jedes Gelenks in einem Fall, in dem die Aufnahmehand 31 eine gelenkige Struktur hat, und einen Grenzbereich des Neigungswinkels der Aufnahmehand 31 beim Aufnehmen. Es ist zu beachten, dass die Empfangseinheit 110 die Information über den beweglichen Bereich der Aufnahmehand 31 in Form eines numerischen Wertes empfangen kann, aber auch solche Information in Form eines zweidimensionalen oder dreidimensionalen Graphen empfangen kann oder solche Information sowohl in Form eines numerischen Wertes als auch eines Graphen empfangen kann. Die Empfangseinheit 110 kann die Aufnahmebedingung, die die empfangene Information widerspiegelt, in der Speichereinheit 14 speichern. Zum Beispiel kann die Empfangseinheit 110 in einem Fall, in dem der Neigungswinkel der Aufnahmehand 31 im Aufnahmebetrieb innerhalb eines Bereichs von -30° bis 30° begrenzt ist, um eine Kollision mit einem umgebenden Hindernis wie einem Werkstück 50 oder einer Wand des Behälters 60 zu vermeiden, eine solche Aufnahmebedingung in der Speichereinheit 14 speichern.
Die Empfangseinheit 110 kann die Aufnahmebedingung empfangen und eine solche Aufnahmebedingung in der Speichereinheit 14 speichern, wobei die Aufnahmebedingung die Informationen über die Oberflächenkrümmung des Werkstücks 50 enthält, die von der später beschriebenen Vorverarbeitungseinheit 111 aus einem 3D-CAD-Modell des Werkstücks 50 berechnet wurden. Zum Beispiel kann die später beschriebene Vorverarbeitungseinheit 111 aus dem 3D-CAD-Modell des Werkstücks 50 den Betrag der Änderung der Krümmung an jeder Position auf einer Werkstückoberfläche aus einer Differenz zwischen der Krümmung an einer solchen Position und der Krümmung an einer benachbarten Position berechnen und den Änderungsbetrag in der Speichereinheit 14 speichern.
Die Empfangseinheit 110 kann die Aufnahmebedingung empfangen und eine solche Aufnahmebedingung in der Speichereinheit 14 speichern, wobei die Aufnahmebedingung vom Benutzer über die Eingabeeinheit 12 eingegeben wird und die Informationen über das Material, die Dichte und den Reibungskoeffizienten des Werkstücks 50 und dessen Verteilung enthält. Zum Beispiel empfängt die Empfangseinheit 110 Informationen und speichert solche Informationen in der Speichereinheit 14, wobei die Informationen Informationen darüber enthalten, ob das Material des Werkstücks 50 Aluminium oder Kunststoff ist, Informationen über die Dichte und den Reibungskoeffizienten des Materials und Informationen über die Verteilung verschiedener Materialien über das gesamte Werkstück und die Verteilung der Dichten und Reibungskoeffizienten der Materialien im Falle des Werkstücks 50 mit den mehreren Arten von Materialien. In diesem Fall kann die später beschriebene Vorverarbeitungseinheit 111 die Anzeigeeinheit 13 veranlassen, solche Verteilungsinformationen in Form eines Graphen anzuzeigen, wie z.B. Einfärbung verschiedener Materialbereiche in verschiedenen Farben, und kann in Form eines numerischen Wertes die Informationen über die Dichte, den Reibungskoeffizienten usw. entsprechend dem Material in der Speichereinheit 14 speichern.
Die Empfangseinheit 110 kann die Aufnahmebedingung empfangen und eine solche Aufnahmebedingung in der Speichereinheit 14 speichern, wobei die Aufnahmebedingung vom Benutzer über die Eingabeeinheit 12 eingegeben wird und die Information über die teilweise Aufnahmeverfügbarkeit des Werkstücks 50 enthält. Zum Beispiel prüft der Benutzer visuell das 3D-CAD-Modell des Werkstücks 50, das auf der Anzeigeeinheit 13 durch die später beschriebene Vorverarbeitungseinheit 111 angezeigt wird, betrachtet ein Loch, eine Nut, eine Stufe, eine Aussparung usw. des Werkstücks 50, das eine Ursache für Luftleckage bei der Aufnahme durch die Luftsaug-Aufnahmehand 31 ist, als „nicht aufnehmbar“ und betrachtet eine lokale flache Oberfläche, eine lokale gekrümmte Oberfläche usw. des Werkstücks 50, die kein Merkmal enthält, das Luftleckage verursacht, als „aufnehmbar“. In einem Fall, in dem der Benutzer jede dieser Stellen mit einem rechteckigen Rahmen umgibt, speichert die Empfangseinheit 110 in der Speichereinheit 14 Informationen über die Position des Rahmens in Bezug auf die Position des Schwerpunkts des Werkstücks 50, die Größe des Rahmens, usw. In einem Fall, in dem der Benutzer einen Bereich, dessen Berührung bei der Aufnahme vermieden werden muss, wie z.B. einen Bereich mit einem Produktlogo oder einen Bereich mit einem elektronischen Substratstift, als „nicht aufnehmbar“ betrachtet und jede dieser Stellen mit einem rechteckigen Rahmen auf dem 3D-CAD-Modell des Werkstücks 50 umgibt, kann die Empfangseinheit 110 in der Speichereinheit 14 Information über die Position des Rahmens relativ zur Position des Schwerpunkts des Werkstücks 50, die Größe des Rahmens usw. speichern.
<Vorverarbeitungseinheit 111>
Die Vorverarbeitungseinheit 111 kann über eine virtuelle Umgebung verfügen, wie z.B. eine 3D-CAD-Software oder einen physikalischen Simulator, der die Position des Schwerpunkts des Werkstücks 50 auf Basis des 3D-CAD-Modells des Werkstücks 50 ableitet.
Insbesondere kann die Vorverarbeitungseinheit 111 die Position des Schwerpunkts des Werkstücks 50 aus dem 3D-CAD-Modell des Werkstücks 50 ableiten und beispielsweise die Anzeigeeinheit 13 veranlassen, die Position des Schwerpunkts des Werkstücks 50 anzuzeigen.
<Erste Verarbeitungseinheit 112>
Die erste Verarbeitungseinheit 112 leitet, basierend auf der abgeleiteten Position des Schwerpunkts des Werkstücks 50, das lokale Merkmal des 3D-CAD-Modells des Werkstücks 50 entsprechend der von der Empfangseinheit 110 über die Eingabeeinheit 12 empfangenen Aufnahmebedingung ab.
Spezifisch kann die erste Verarbeitungseinheit 112 auf Basis der Informationen, d.h. der Aufnahmebedingung, die von der Empfangseinheit 110 über die Eingabeeinheit 12 empfangen wurden und die Informationen über den Typ der Aufnahmehand 31, die Form und Größe des Bereichs, der das Werkstück 50 berührt, usw. enthalten, ein lokales Merkmal (eine lokale gekrümmte oder flache Oberfläche) des 3D-CAD-Modells des Werkstücks 50 ableiten, das mit der Form des Kontaktbereichs der Aufnahmehand 31 übereinstimmt. Beispielsweise sucht die erste Verarbeitungseinheit 112 in einem Fall, in dem die Empfangseinheit 110 die Aufnahmebedingung A erhalten hat, bei der das Werkstück 50 von der Aufnahmehand 31 aufgenommen wird, die einen Sauggreifer mit einer Außenform von ø20 mm und einem Luftloch von ø8 mm aufweist, durch Abgleich mit der Form des Sauggreifers der Aufnahmehand 31 lokale flache oder gekrümmte Oberflächen des 3D-CAD-Modells des Werkstücks, die ø20 mm oder größer sind und kein Element aufweisen, das einen Luftaustritt verursacht, wie beispielsweise ein Loch, eine Nut, eine Stufe oder eine Aussparung, in einem Bereich innerhalb von ø8 mm um die Mittelposition des Sauggreifers. Die erste Verarbeitungseinheit 112 berechnet einen Abstand vom Schwerpunkt des Werkstücks zu jeder gesuchten lokalen ebenen oder gekrümmten Fläche und leitet eine lokale ebene oder gekrümmte Fläche ab, deren Abstand einen voreingestellten akzeptablen Schwellenwert nicht übersteigt.
Auf Basis der von der Empfangseinheit 110 über die Eingabeeinheit 12 empfangenen Informationen über die Normalrichtung des Bereichs der Aufnahmehand 31, der das Werkstück 50 berührt, kann die erste Verarbeitungseinheit 112 ein lokales Merkmal (eine lokale gekrümmte oder flache Oberfläche) des 3D-CAD-Modells des Werkstücks 50 ableiten, das mit der Kontaktnormalrichtung der Aufnahmehand 31 übereinstimmt.
Nachfolgend wird ein Verfahren zur Ableitung eines lokalen Merkmals in (a) einem Fall, in dem das Werkstück 50 mit der LuftSaug-Aufnahmehand 31 mit einem Sauggreifer aufgenommen wird, und (b) einem Fall, in dem das Werkstück 50 mit der GreifAufnahmehand 31 mit einem Paar von Greiffingern (einem Parallelgreifer) aufgenommen wird, beschrieben.

(a) Fall, in dem das Werkstück 50 mit der Saug-Aufnahmehand 31 mit einem Sauggreifer aufgenommen wird

3 ist eine Ansicht, die ein Beispiel des Werkstücks 50 zeigt.
Wie in 3 gezeigt, sucht und leitet die erste Verarbeitungseinheit 112 über die Oberflächenform des 3D-CAD-Modells des Werkstücks 50 solche lokalen gekrümmten oder ebenen Flächen des Werkstücks 50 ab, dass ein Winkel Θ_i zwischen einem Normalenvektor V_wi an der Mittelposition eines lokalen Merkmals (einer gekrümmten oder ebenen Fläche) und einem Kontaktnormalenvektor V_h der Aufnahmehand 31 (den Sauggreifer beinhaltend, dargestellt durch eine gestrichelte Linie) das Minimum ist und ein Abstand d_i von der Position P_w des Schwerpunkts des Werkstücks 50 zum Kontaktnormalenvektor V_h der Aufnahmehand 31 das Minimum ist. Im Fall von 3 sind die lokalen Merkmale, die durch den Schwerpunkt des Werkstücks verlaufen (d.h. der Abstand d_i ist Null) und einen Winkel Θ_i zwischen dem Normalenvektor V_wi und dem Kontaktnormalenvektor V_h der Aufnahmehand 31 haben, lokale gekrümmte Flächen um die Positionen P₁, P₂, an denen der Normalenvektor V_wi V_wi oder V_w2 ist, wie in 3 gezeigt. Es ist zu beachten, dass die von der ersten Verarbeitungseinheit 112 abgeleiteten lokalen Merkmale nicht auf zwei Stellen beschränkt sind, sondern auch eine Stelle oder drei oder mehr Stellen sein können.
Die Luftsaug-Aufnahmehand 31 nimmt das Werkstück 50 an der Position P₁, P₂ auf, die wie oben beschrieben abgeleitet wurde, so dass der Sauggreifer die Oberfläche des Werkstücks 50 sanft und eng berühren kann, ohne die Position des Werkstücks 50 durch die Aufnahmehand 31 zu verschieben. Da ein Moment, das um den Schwerpunkt des Werkstücks durch die Kontaktkraft der Aufnahmehand 31 erzeugt wird, null ist, kann die instabile Drehbewegung des Werkstücks beim Anheben des Werkstücks 50 reduziert werden und das Werkstück 50 kann stabil aufgenommen werden.

(b) Fall, in dem das Werkstück 50 mit der Aufnahmehand 31 aufgenommen wird, die ein Paar Greiffinger (Parallelgreifer) 31a, 31b aufweist

4 ist eine Ansicht, die ein Beispiel des Werkstücks 50 zeigt.
Wie in 4 gezeigt, sucht und leitet die erste Verarbeitungseinheit 112 über die Oberflächenform des 3D-CAD-Modells des Werkstücks 50 solche lokalen gekrümmten oder ebenen Oberflächen des Werkstücks 50 ab, dass die Summe Θ_ij (= Θ_i + Θ_j) eines Winkels Θ_i zwischen einem Normalenvektor V_wi an einer Stelle, an der einer, 31a, eines Paars von Greiffingern 31a, 31b (zwei gestrichelte Rechtecke) der Aufnahmehand 31 eine gekrümmte oder ebene Oberfläche des Werkstücks 50 berührt, und einem Kontaktnormalenvektor V_h1 des Greiffingers 31a und eines Winkels Θ_j zwischen einem Normalenvektor V_wj an einer Stelle, an der der andere Greiffinger 31b der Aufnahmehand 31 eine gekrümmte oder ebene Oberfläche des Werkstücks 50 berührt, und ein Kontaktormalenvektor V_h2 des Greiffingers 31b das Minimum ist, und ein Abstand d_i von der Position P_w des Schwerpunkts des Werkstücks 50 zu dem Kontaktnormalenvektor V_h1, V_h2 des Greiffingers 31a, 31b das Minimum ist. Im Fall von 4 sind die lokalen Merkmale, die durch den Schwerpunkt des Werkstücks 50 gehen (d.h., der Abstand d_i ist Null) und deren Summe Θ_ij des Winkels Θ_i zwischen dem Normalenvektor V_wi und dem Kontaktnormalenvektor V_h1 des Greiffingers 31a und des Winkels Θ_j zwischen dem Normalenvektor V_wj und dem Kontaktnormalenvektor V_h2 des Greiffingers 31b Null ist, sind lokale gekrümmte Flächen um die Positionen P₅, P₅, und die Positionen P₆, P₆,.
Die Aufnahmehand 31 greift das Werkstück 50 an den Positionen P₅, P₅, oder den Positionen P₆, P_6', die wie oben beschrieben in einer in 4 gezeigten Greifhaltung abgeleitet sind, so dass das Paar von Greiffingern 31a, 31b das Werkstück 50 reibungslos berühren kann, ohne die Position des Werkstücks 50 bei Kontakt mit dem Werkstück 50 zu verschieben. Folglich kann das Werkstück 50 stabil gegriffen und aufgenommen werden, ohne dass eine Drehbewegung um den Schwerpunkt des Werkstücks beim Greifen und Aufnehmen des Werkstücks 50 auftritt. Es ist zu beachten, dass die von der ersten Verarbeitungseinheit 112 abgeleiteten lokalen Merkmale nicht auf zwei Sätze beschränkt sind, sondern aus einem Satz, drei oder mehr Sätzen bestehen können.
Auf Basis der von der Empfangseinheit 110 über die Eingabeeinheit 12 empfangenen Informationen über die Kontaktfläche des Bereichs der Aufnahmehand 31, der das Werkstück 50 berührt, kann die erste Verarbeitungseinheit 112 ein lokales Merkmal des 3D-CAD-Modells des Werkstücks 50 ableiten, wobei es sich um die Aufnahmebedingungen handelt. Zum Beispiel, wenn das Werkstück 50 von der Aufnahmehand 31 mit zwei Fingern gegriffen und aufgenommen wird und der Greifbereich des Greiffingers eine rechteckige Form von 30 mm× 20 mm hat, d.h., die Kontaktfläche beträgt 600 mm², wenn die Empfangseinheit 110 über die Eingabeeinheit 12 die Aufnahmebedingung erhalten hat, bei der der Prozentsatz der Kontaktfläche 50 % übersteigt, kann die erste Verarbeitungseinheit 112 solche lokalen flachen Oberflächen des 3D-CAD-Modells des Werkstücks 50 suchen, dass die Fläche 300 mm² übersteigt, weil die tatsächliche Kontaktfläche 300 mm² übersteigen muss. Die erste Verarbeitungseinheit 112 kann einen Abstand vom Schwerpunkt des Werkstücks zu jeder gesuchten lokalen ebenen Fläche berechnen und eine lokale ebene Fläche ableiten, deren Abstand einen voreingestellten akzeptablen Schwellenwert nicht überschreitet.
Unter Verwendung des Grenzwerts des Betriebsparameters, der die von der Empfangseinheit 110 über die Eingabeeinheit 12 empfangene Aufnahmebedingung ist und den Bewegungsbereich der Aufnahmehand 31 angibt, kann die erste Verarbeitungseinheit 112 ein lokales Merkmal des 3D-CAD-Modells des Werkstücks 50 ableiten. In einigen Fällen gibt der Benutzer beispielsweise den Neigungswinkel der Aufnahmehand 31 in einem Bereich von-30° bis 30° vor, um eine Kollision mit einem umgebenden Hindernis wie der Aufnahmehand 31 oder einer Wand des Behälters 60 zu vermeiden, wenn ein Zielwerkstück 50 aufgenommen wird. In diesem Fall, wenn die Aufnahmehand 31 das Werkstück 50 an einer Stelle aufnimmt, an der der Winkel zwischen der Normalenrichtung der flachen oder gekrümmten Oberfläche als das durch das oben beschriebene Verfahren abgeleitete lokale Merkmal und der vertikalen Richtung außerhalb eines Bereichs von- 30° bis 30° liegt, liegt der Neigungswinkel im Handbetrieb außerhalb eines Betriebsgrenzbereichs von- 30° bis 30° . Daher kann die erste Verarbeitungseinheit 112 ein solches lokales Merkmal aus den Kandidaten herausnehmen.
Auf Basis der von der Empfangseinheit 110 über die Eingabeeinheit 12 empfangenen Informationen über die Oberflächenkrümmung des Werkstücks 50, bei denen es sich um die Aufnahmebedingungen handelt, kann die erste Verarbeitungseinheit 112 ein lokales Merkmal des 3D-CAD-Modells des Werkstücks 50 ableiten. Zum Beispiel in einem Fall, in dem das Werkstück 50 mit der Luftsaug-Aufnahmehand 31 mit einem Sauggreifer aufgenommen wird, erhält die Vorverarbeitungseinheit 111 den Änderungsbetrag bei der Oberflächenkrümmung des Werkstücks, z.B. im virtuellen Raum der 3D-CAD-Software oder des dreidimensionalen physikalischen Simulators. Dann kann die erste Verarbeitungseinheit 112 ein lokales Merkmal mit einem geringen Änderungsbetrag der Krümmung als eine lokale flache Oberfläche oder eine sanft gekrümmte lokale Oberfläche bestimmen und die Priorität der Kandidatenauswahl erhöhen und eine hohe Bewertungszahl bereitstellen. Die erste Verarbeitungseinheit 112 kann ein lokales Merkmal mit einem großen Änderungsbetrag der Krümmung als eine ungleichmäßige lokale gekrümmte Oberfläche bestimmen und die Priorität der Kandidatenauswahl herabsetzen und eine niedrige Bewertungspunktzahl liefern. Die erste Verarbeitungseinheit 112 kann ein lokales Merkmal mit einer sich schnell und drastisch ändernden Krümmung als ein Merkmal bestimmen, das eine Luftleckage verursacht, wie z.B. ein Loch, eine Rille, eine Stufe oder eine Vertiefung, und kann eine Bewertungszahl von Null liefern, so dass ein solches lokales Merkmal aus den Kandidaten herausgenommen wird. Die erste Verarbeitungseinheit 112 kann ein lokales Merkmal mit der höchsten Bewertungspunktzahl als Kandidat ableiten, kann aber auch eine Vielzahl lokaler Merkmale ableiten, deren Punktzahl einen voreingestellten Schwellenwert überschreitet. Die erste Verarbeitungseinheit 112 kann einen Abstand vom Schwerpunkt des Werkstücks zu jedem einer Vielzahl von lokalen Merkmalen berechnen, die einen Bewertungsschwellenwert A erfüllen, und kann ein lokales Merkmal ableiten, dessen Abstand einen voreingestellten akzeptablen Schwellenwert B nicht überschreitet. Es ist zu beachten, dass abhängig von der tatsächlichen Form des Werkstücks 50 ein lokales Merkmal oder zwei oder mehr lokale Merkmale abgeleitet werden können.
Basierend auf der Verteilungsinformation, die die Aufnahmebedingung ist, die von der Empfangseinheit 110 über die Eingabeeinheit 12 empfangen wird, über das Material, die Dichte, den Reibungskoeffizienten usw. des Werkstücks 50, kann die erste Verarbeitungseinheit 112 ein lokales Merkmal des 3D-CAD-Modells des Werkstücks 50 ableiten. Beispielsweise deckt beim Aufnehmen eines Werkstücks 50, das durch Verbinden mehrerer Materialarten gebildet wurde, ein Bereich mit einer höheren Materialdichte einen höheren Prozentsatz des Gewichts des Werkstücks 50 ab und umfasst den Schwerpunkt des Werkstücks. Basierend auf den Verteilungsinformationen über die Dichten der verschiedenen Materialien über die Gesamtheit des Werkstücks 50 nimmt die Aufnahmehand 31 das Werkstück 50 daher vorzugsweise an dem Bereich mit der höheren Materialdichte auf, so dass die Aufnahmehand 31 das Werkstück 50 an einer Position näher am Schwerpunkt des Werkstücks aufnehmen kann. Folglich kann das Werkstück 50 stabiler aufgenommen werden. Unter Verwendung der Verteilungsinformationen über den Reibungskoeffizienten nimmt die Aufnahmehand 31 das Werkstück 50 vorzugsweise an einem Bereich mit einem höheren Reibungskoeffizienten auf, so dass das Werkstück 50 ohne Schlupf stabiler aufgenommen werden kann.
Basierend auf den Informationen zur teilweisen Aufnahmeverfügbarkeit des Werkstücks 50, welche die Aufnahmebedingung ist, die von der Empfangseinheit 110 über die Eingabeeinheit 12 empfangen wurde, kann die erste Verarbeitungseinheit 112 ein lokales Merkmal aus dem 3D-CAD-Modell des Werkstücks 50 ableiten. Beispielsweise werden ein Loch, eine Nut, eine Stufe, eine Aussparung usw. des Werkstücks 50 als Ursache für Luftleckagen als „nicht aufnehmbar“ betrachtet, und eine lokale ebene Fläche, eine lokale gekrümmte Fläche usw. des Werkstücks 50, die keine Luftleckagen verursachenden Merkmale enthält, wird als „aufnehmbar“ betrachtet. Unter Verwendung der Informationen über die Verfügbarkeit der Aufnahme, die jeweils von dem rechteckigen Rahmen umgeben sind, kann die erste Verarbeitungseinheit 112 lokale Merkmale des 3D-CAD-Modells des Werkstücks 50 suchen, die mit dem Merkmal in dem Rahmen übereinstimmen, und solche lokalen Merkmale als günstige Kandidaten ableiten. Dann kann die erste Verarbeitungseinheit 112 für die Vielzahl der als „aufnehmbar“ abgeleiteten lokalen Merkmale einen Abstand von der Mittelposition jedes lokalen Merkmals zum Schwerpunkt des Werkstücks berechnen und ein lokales Merkmal ableiten, dessen Abstand einen voreingestellten akzeptablen Schwellenwert nicht überschreitet. Ein Bereich, der bei der Aufnahme nicht berührt werden darf, wie z.B. ein Bereich mit einem Produktlogo oder ein Bereich mit einem elektronischen Substratstift, kann als „nicht aufnehmbar“ angesehen werden. Unter Verwendung der Informationen über die Verfügbarkeit der Aufnahme, die jeweils von dem rechteckigen Rahmen umgeben sind, kann die erste Verarbeitungseinheit 112 lokale Merkmale des 3D-CAD-Modells des Werkstücks 50 suchen, die mit dem Merkmal im Rahmen übereinstimmen, und solche lokalen Merkmale als ungünstige Kandidaten ableiten.
<Aufnahmekandidaten-Berechnungseinheit 113 >
Die erste Aufnahmekandidaten-Berechnungseinheit 113 kann automatisch mindestens einen Kandidaten für die Aufnahmeposition des Werkstücks 50 auf Basis des von der ersten Verarbeitungseinheit 112 abgeleiteten lokalen Merkmals berechnen.
Insbesondere kann die erste Aufnahmekandidaten-Berechnungseinheit 113 die Mittelposition eines günstigeren lokalen Merkmals, das durch das oben beschriebene Verfahren abgeleitet wurde, als Aufnahmepositionskandidat berechnen. Wenn die Aufnahmehand 31 (vom Luftsaugtyp oder Greiftyp) das Werkstück 50 an einem solchen Positionskandidaten aufnimmt, kann die Aufnahmehand 31 das Werkstück 50 mit einer günstigen Passung der Oberfläche des Sauggreifers oder der Oberflächen des Paares von Greiffingern, die das Werkstück 50 berühren, sanft berühren, während Luftaustritt und Verschiebung der Position des Werkstücks 50 durch die Aufnahmehand 31 vermieden werden. Die Aufnahmehand 31 berührt und nimmt das Werkstück 50 an einer Position nahe dem Schwerpunkt des Werkstücks auf, und daher kann eine Drehbewegung um den Schwerpunkt des Werkstücks beim Anheben verhindert werden, und das Werkstück 50 kann stabil aufgenommen werden, ohne mit einem umgebenden Hindernis wie einem Werkstück 50 oder einer Wand des Behälters 60 zusammenzustoßen.
Die erste Aufnahmekandidatenberechnungseinheit 113 kann automatisch einen Kandidaten für die Aufnahmestellung des Werkstücks 50 auf Basis des von der ersten Verarbeitungseinheit 112 abgeleiteten lokalen Merkmals berechnen.
Wenn beispielsweise die Aufnahmehand 31 das Werkstück 50 an der in 3 gezeigten Aufnahmeposition P₁, P₂ aufnimmt, wie oben beschrieben, kann die erste Aufnahmekandidaten-Berechnungseinheit 113 die Haltung der Aufnahmehand 31 so bestimmen, dass sich die Aufnahmehand 31 dem Werkstück 50 in einem Zustand nähert, in dem die Aufnahmehand 31 so geneigt ist, dass der Normalenvektor V_w1, V_w2 der Mittelposition der abgeleiteten lokalen gekrümmten Oberfläche und der Kontaktnormalenvektor V_h der Aufnahmehand 31 miteinander übereinstimmen und die Aufnahmehand 31 das Werkstück 50 an der Position P₁, P₂ berührt. Wenn sich die Aufnahmehand 31 in einer solchen abgeleiteten Aufnahmehaltung dem Werkstück 50 nähert und es aufnimmt, kann ein Kontakt mit dem Werkstück 50 an einer anderen Position als der vorgesehenen Position P₁, P₂ aufgrund einer Verschiebung der Position des Werkstücks 50 vor dem Kontakt an der Position P₁, P₂ verhindert werden. Ein Fallenlassen des Werkstücks 50, das durch eine Drehbewegung um den Schwerpunkt des Werkstücks 50 beim Anheben desselben aufgrund einer Berührung an einer nicht vorgesehenen Position verursacht wird, kann verhindert werden.
Man beachte, dass die Vorverarbeitungseinheit 111 die Informationen über die Aufnahmehand 31, wie die von der Empfangseinheit 110 über die Eingabeeinheit 12 empfangene Aufnahmebedingung und die von der ersten Aufnahmekandidatenberechnungseinheit 113 berechneten Aufnahmepositions- und -haltungskandidaten, z.B. auf dem virtuellen Raum der 3D-CAD-Software oder des dreidimensionalen physikalischen Simulators zeichnen und die Anzeigeeinheit 13 veranlassen kann, diese Informationen anzuzeigen.
5 ist eine Ansicht, die ein Beispiel für eine Zeichnung im virtuellen Raum zeigt.
Zum Beispiel in 5, basierend auf einer Aufnahmebedingung, bei der ein Aluminiumwerkstück 50 mit einer Aufnahmehand 31 aufgenommen wird, die einen Sauggreifer mit einer Außenform von ø20 mm enthält, befindet sich der von der ersten Aufnahmekandidaten-Berechnungseinheit 113 berechnete Aufnahmepositionskandidat in der Mitte einer Bodenfläche des Sauggreifers, der Radius der Bodenfläche beträgt ø10 mm, die Normalrichtung einer Tangentialebene zwischen der Bodenfläche und dem Werkstück 50 wird als Normalrichtung der Aufnahmehand 31 angenommen, und die Gesamtheit des Spitzenendes der Aufnahmehand 31, die den Sauggreifer, ein Luftrohr usw. beinhaltet, wird in Form eines dreidimensionalen abgestuften Zylinders als virtueller Handbereich gezeichnet und zusammen mit dem 3D-CAD-Modell des Werkstücks 50 angezeigt.
Es ist zu beachten, dass die erste Aufnahmekandidaten-Berechnungseinheit 113 unter Verwendung einer Interferenzprüfungsfunktion der Vorverarbeitungseinheit 111 oder einer Kollisionsberechnungsfunktion der physikalischen Simulation erkennen kann, ob eine Interferenz oder Kollision zwischen der dreidimensional dargestellten virtuellen Hand und anderen Teilen des Werkstücks 50 vorliegt oder nicht, wodurch die Aufnahmeposition und die Haltungskandidaten korrigiert werden. Insbesondere prüft die Vorverarbeitungseinheit 111 die Interferenz oder erkennt die Kollision für einen Zustand (z.B. den in 5 gezeigten Zustand), in dem die dreidimensionale virtuelle Hand das Werkstück 50 an dem von der ersten Aufnahmekandidaten-Berechnungseinheit 113 berechneten Aufnahmepositionskandidaten berührt, und veranlasst die Anzeigeeinheit 13, die dreidimensionale virtuelle Hand und das Werkstück 50 einschließlich eines Ergebnisses davon anzuzeigen. Basierend auf dem Ergebnis der Interferenzprüfung oder Kollisionserfassung für die dreidimensionale virtuelle Hand und das 3D-CAD-Modell des Werkstücks 50 auf der Anzeigeeinheit 13 kann der Benutzer ein solches Ergebnis überprüfen, während er den Blickwinkel ändert, einen Positionskandidaten an einer interferenz- oder kollisionserkannten Position löschen und ein solches Ergebnis auf die erste Aufnahmekandidaten-Berechnungseinheit 113 reflektieren. Die erste Aufnehm-Kandidatenberechnungseinheit 113 kann automatisch einen Kandidaten an einer störungs- oder kollisionserkannten Position löschen. Mit dieser Konfiguration kann die erste Aufnahmekandidaten-Berechnungseinheit 113 Daten berechnen, auf denen nur ein Aufnahmepositionskandidat reflektiert wird, wobei keine Interferenz zwischen der virtuellen Hand und dem Werkstück 50 selbst an dem Aufnahmepositionskandidaten erkannt wird, d.h. die Aufnahmehand 31 wird nicht mit dem Werkstück 50 selbst interferiert, wenn sie das Werkstück 50 an dem Aufnahmepositionskandidaten tatsächlich aufnimmt.
Die erste Aufnahmekandidaten-Berechnungseinheit 113 kann die Anzeigeeinheit 13 veranlassen, den Kandidaten, für den die Interferenz oder die Kollision von der Vorverarbeitungseinheit 111 erkannt wurde, in Form eines Graphen anzuzeigen, und die Anzeigeeinheit 13 veranlassen, eine Meldung anzuzeigen (z.B., „Passen Sie die Aufnahmeposition oder -haltung an, die durch diesen Kandidaten angezeigt wird, so dass die Störung beseitigt werden kann“), um den Benutzer anzuweisen, die Aufnahmeposition oder -haltung, die durch den Kandidaten angezeigt wird, so zu korrigieren, dass die Störung zwischen der angezeigten virtuellen Hand und einem umgebenden Hindernis beseitigt wird, um dem Benutzer die Nachricht zu übermitteln, und den Benutzer aufzufordern, die vom Benutzer korrigierte Aufnahmeposition oder -haltung einzugeben. Auf diese Weise kann der vom Benutzer eingestellte Kandidat reflektiert werden.
<Zweite Aufnahmekandidaten-Berechnungseinheit 114>
Auf Basis zumindest des von der ersten Aufnahmekandidaten-Berechnungseinheit 113 berechneten Aufnahmepositionskandidaten kann die zweite Aufnahmekandidaten-Berechnungseinheit 114 automatisch zumindest die Aufnahmepositionen der mehreren in großen Mengen geladenen und sich überschneidenden Werkstücke 50 erzeugen.
Insbesondere kann die zweite Aufnahmekandidaten-Berechnungseinheit 114 auf Basis der von der ersten Aufnahmekandidaten-Berechnungseinheit 113 berechneten Positions- und Haltungskandidaten automatisch die Aufnahmepositionen und -haltungen der mehreren Werkstücke 50 in einem Zustand erzeugen, der von der Vorverarbeitungseinheit 111 erzeugt wird, in dem die mehreren Werkstücke 50 zufällig in Massen geladen werden und sich gegenseitig überlappen. Das heißt, für einen Zustand, in dem die 3D-CAD-Modelle der mehreren Werkstücke 50 einander überlappen, legt die zweite Aufnahmekandidaten-Berechnungseinheit 114 jedes Werkstück 50 (einen freiliegenden Bereich davon) fest, leitet ein lokales Merkmal jedes festgelegten Werkstücks 50 (den freiliegenden Bereich davon) ab und berechnet die Mittelposition des lokalen Merkmals des Werkstücks 50 als einen Aufnahmepositionskandidaten.
Beispielsweise erzeugt die Vorverarbeitungseinheit 111 den Überlappungszustand der mehreren Werkstücke 50 im virtuellen Raum der 3D-CAD-Software oder des dreidimensionalen physikalischen Simulators zufällig anhand der 3D-CAD-Modelle der Werkstücke 50 mit den von der ersten Aufnahmekandidaten-Berechnungseinheit 113 berechneten Informationen über die günstigeren Aufnahmepositions- und -haltungskandidaten. Die von der ersten Aufnahmekandidaten-Berechnungseinheit 113 berechneten Positions- und Lagekandidaten sind günstige Kandidaten in einem Fall, in dem das 3D-CAD-Modell eines Werkstücks 50 aus einer beliebigen Richtung innerhalb eines Bereichs von 360 Grad betrachtet wird, aber es besteht eine Wahrscheinlichkeit, dass diese Positions- und Lagekandidaten im Überlappungszustand der mehreren Werkstücke 50 nicht freigelegt werden, weil die Positions- und Lagekandidaten durch ein umgebendes Werkstück 50 oder das Werkstück 50 selbst verdeckt sind. Die zweite Aufnahmekandidaten-Berechnungseinheit 114 zeichnet die oben beschriebenen virtuellen Hände in den von der ersten Aufnahmekandidaten-Berechnungseinheit 113 berechneten Aufnahmehaltungen an den von der ersten Aufnahmekandidaten-Berechnungseinheit 113 berechneten Aufnahmepositionen in dem von der Vorverarbeitungseinheit 111 erzeugten Überlappungszustand der Mehrzahl von Werkstücken 50 und unter Verwendung von z.B., die Interferenzprüfungsfunktion der 3D-CAD-Software als die Vorverarbeitungseinheit 111 oder die Kollisionsberechnungsfunktion des dreidimensionalen physikalischen Simulators als die Vorverarbeitungseinheit 111, prüft, ob es die Interferenz oder die Kollision zwischen der virtuellen Hand und einem umgebenden Hindernis wie einem Werkstück 50 oder einer Wand des Behälters 60 gibt oder nicht. Die zweite Aufnahmekandidaten-Berechnungseinheit 114 kann einen Kandidaten an einer Position, für die die Interferenz oder die Kollision von der Vorverarbeitungseinheit 111 detektiert wurde, automatisch löschen, aber anstelle des Löschens des Kandidaten kann sie die Anzeigeeinheit 13 veranlassen, eine Meldung anzuzeigen, um den Benutzer anzuweisen, die Positions- und Haltungskandidaten so anzupassen, dass die Störung oder die Kollision beseitigt wird, um die Meldung an den Benutzer zu liefern. Alternativ kann die zweite Aufnahmekandidaten-Berechnungseinheit 114 Positions- und Haltungskandidaten verschieben, z.B. einen Positionskandidaten in einem Intervall von 2 mm verschieben und/oder einen Haltungskandidaten in einem Intervall von 2 Grad verschieben, die Positions- und Haltungskandidaten automatisch justieren, bis keine Störung oder Kollision unter einer Suchbedingung erkannt wird, bei der der maximale Positionsverschiebungsbetrag ±10 mm oder weniger beträgt und der maximale Haltungsverschiebungsbetrag innerhalb von ±10 Grad liegt, und falls die Justierung nicht vorgenommen werden kann, um die Suchbedingung zu erfüllen, die Positions- und Haltungskandidaten automatisch löschen. Mit dieser Konfiguration kann die zweite Aufnahmekandidaten-Berechnungseinheit 114 ein günstigeres Kandidatenergebnis, das von der ersten Aufnahmekandidaten-Berechnungseinheit 113 berechnet wurde, widerspiegeln und günstigere Kandidaten für die Positionen und Haltungen der Vielzahl von Werkstücken 50 ohne die Beeinträchtigung durch ein umgebendes Hindernis im Überlappungszustand der Vielzahl von Werkstücken 50, die von der Vorverarbeitungseinheit 111 erzeugt wurden, berechnen.
Die zweite Aufnahmekandidaten-Berechnungseinheit 114 kann die Anzeigeeinheit 13 veranlassen, in Form eines Diagramms Aufnahmepositions- und -haltungskandidaten anzuzeigen, für die die Störung oder die Kollision erkannt wurde, den Benutzer aufzufordern, diese Kandidaten so zu korrigieren, dass die Störung zwischen der angezeigten virtuellen Hand und einem umgebenden Hindernis wie einem Werkstück 50 oder einer Wand des Behälters 60 beseitigt wird, und die vom Benutzer korrigierte Aufnahmeposition und -haltung wiederzugeben.
<Erste Trainingsdaten-Erzeugungseinheit 115>
Die erste Trainingsdaten-Erzeugungseinheit 115 erzeugt Trainingsdaten auf Basis von zweidimensionalen Projektionsbildern, die aus dem zufällig überlappenden Zustand der Vielzahl von Werkstücken 50 projiziert werden, die von der Vorverarbeitungseinheit 111 erzeugt werden, und den Informationen, die zumindest die Aufnahmepositionskandidaten der Vielzahl von Werkstücken 50 enthalten, die von der zweiten Aufnahmekandidaten-Berechnungseinheit 114 erzeugt werden.
Insbesondere kann die erste Trainingsdaten-Erzeugungseinheit 115 die Trainingsdaten mittels 3D-CAD-Daten mit den von der zweiten Aufnehm-Kandidaten-Berechnungseinheit 114 berechneten Aufnehm-Positionskandidaten und den Handinformationen erzeugen und ausgeben. Die Vorverarbeitungseinheit 111 erzeugt nach dem Zufallsprinzip mehrere 3D-CAD-Daten über den Überlappungszustand der mehreren Werkstücke 50, z.B. im virtuellen Raum der 3D-CAD-Software oder des dreidimensionalen physikalischen Simulators, mit Hilfe der 3D-CAD-Daten mit den Aufnahmepositionskandidaten und den Handinformationen.
6A ist eine Ansicht, die ein Beispiel eines 2D-CAD-Diagramms zeigt, das durch Projektion der 3D-CAD-Daten auf den zufällig erzeugten Überlappungszustand der Vielzahl von Werkstücken 50 erhalten wird.
Wie oben beschrieben, kann der Benutzer durch die zweite Aufnahmekandidaten-Berechnungseinheit 114 prüfen, ob die dreidimensionale virtuelle Hand (z.B. der dreidimensionale gestufte Zylinder aus 5), die in Kontakt mit dem Aufnahmepositionskandidaten jedes Werkstücks 50 angezeigt wird, mit einem umgebenden Hindernis in einem Zustand kollidiert, in dem die mehreren Werkstücke 50 in den mehreren erzeugten 3D-CAD-Daten einander überlappen, während der Blickwinkel geändert wird, und kann einen Positionskandidaten löschen, für den die Kollision mit dem umgebenden Hindernis wie einem Werkstück 50 oder einer Wand des Behälters 60 erkannt wurde. Der Kandidat, bei dem eine Störung oder eine Kollision festgestellt wurde, kann mit Hilfe der Störungsprüfungsfunktion der 3D-CAD-Software oder der Kollisionsberechnungsfunktion des dreidimensionalen physikalischen Simulators, wie oben beschrieben, automatisch gelöscht werden. Mit dieser Konfiguration können die 3D-CAD-Daten generiert werden, wobei die 3D-CAD-Daten nur einen solchen Aufnahmepositionskandidaten widerspiegeln, bei dem es keine Interferenz zwischen der virtuellen Hand und der Umgebung gibt, d.h. es gibt keine Interferenz zwischen der Aufnahmehand 31 und einem Hindernis um ein Zielwerkstück 50, wenn die Aufnahmehand 31 das Werkstück 50 an dem Aufnahmepositionskandidaten tatsächlich aufnimmt.
6B ist eine Ansicht, die ein Beispiel eines 2D-CAD-Diagramms zeigt, das durch Projektion der 3D-CAD-Daten mit den von der ersten Aufnahmekandidaten-Berechnungseinheit 113 berechneten Aufnahmepositionskandidaten-Daten erhalten wird. 6C ist eine Ansicht, die ein Beispiel eines 2D-CAD-Diagramms zeigt, das durch Projektion der 3D-CAD-Daten mit der zylindrischen virtuellen Hand erhalten wurde, die an jedem Aufnahmepositionskandidaten gezeichnet wurde. 6D ist eine Ansicht, die ein Beispiel eines 2D-CAD-Diagramms zeigt, das durch Projektion der 3D-CAD-Daten mit den Daten der Aufnahmepositionskandidaten erhalten wird, nachdem die Kandidaten, für die eine Interferenz festgestellt wurde, gelöscht wurden.
Die erste Trainingsdaten-Erzeugungseinheit 115 bestimmt entsprechend den relativen Positionen und Haltungen einer Kamera (der in 1 gezeigten Bildgebungsvorrichtung 40), des Behälters 60 und eines Tabletts (nicht gezeigt) in einer realen Welt die Position und Haltung einer virtuellen Kamera im virtuellen Raum, um die Position und die Haltung vom Standpunkt der Projektion im Voraus festzulegen, projiziert, von dem festgelegten Blickpunkt in Projektion, jedes der mehreren Stücke von 3D-CAD-Daten über den zufällig überlappenden Zustand der Vielzahl von Werkstücken 50, die von der Vorverarbeitungseinheit 111 wie oben beschrieben erzeugt wurden, auf eine virtuelle Kamerabildebene, und extrahiert die Vielzahl von 2D-CAD-Diagrammen, die durch Projektion des zufällig erzeugten überlappenden Zustands erzeugt wurden, wie in 6A bis 6D gezeigt.
Dann erzeugt die erste Trainingsdaten-Erzeugungseinheit 115 die Trainingsdaten („Lehrerdaten“), auf die Vielzahl von 2D-CAD-Diagrammen abzielend, wie in 6A gezeigt, wobei sie als Etikettendaten die Vielzahl von 2D-CAD-Diagrammen (die zweidimensionalen Projektionsbilder) von 6D mit den von der zweiten Aufnehm-Kandidaten-Berechnungseinheit 114 berechneten Aufnehm-Positionskandidaten-Daten verwendet. Die erste Trainingsdaten-Erzeugungseinheit 115 speichert die erzeugten Trainingsdaten („Lehrerdaten“) als die Trainingsdaten 142 in der Speichereinheit 14.
Die Trainingsverarbeitungseinheit 116 führt anhand der von der ersten Trainingsdatenerzeugungseinheit 115 erzeugten Trainingsdaten („Lehrerdaten“) maschinelles Lernen aus und erzeugt anhand der Eingabe der von der Bildgebungsvorrichtung 40 erfassten zweidimensionalen Bilder ein trainiertes Modell zur Ausgabe der Aufnahmeposition des Werkstücks 50, das die vom Benutzer eingegebene Aufnahmebedingung erfüllt, ohne dass es zu Störungen zwischen der Aufnahmehand 31 des Roboters 30 und der Umgebung kommt. Die Trainingsverarbeitungseinheit 116 speichert das erzeugte Trainingsmodell beispielsweise in der Speichereinheit 14.
Es ist zu beachten, dass das überwachte Lernen, das dem Fachmann bekannt ist, wie z.B. ein neuronales Netz oder eine Support-Vector-Maschine (SVM), als maschinelles Lernen verwendet werden kann, das von der Trainingseinheit 116 ausgeführt wird, und dass eine detaillierte Beschreibung dessen unterbleibt.
Zum Beispiel wählt die Aufnahmepositions-Auswahleinheit 117 mittels der Eingabe des zweidimensionalen Bildes, das von der Bildgebungsvorrichtung 40 erfasst wurde, in das trainierte Modell, das von der Trainingsverarbeitungseinheit 116 erzeugt wurde, die Aufnahmeposition des Werkstücks 50 aus, die die vom Benutzer eingegebene Aufnahmebedingung erfüllt, ohne die Interferenzen zwischen der Aufnahmehand 31 des Roboters 30 und der Umgebung. Die Aufnahmepositions-Auswahleinheit 117 gibt die ausgewählte Aufnahmeposition des Werkstücks 50 an die Robotersteuerungsvorrichtung 20 aus.
<Trainingsdatenerzeugung-Verarbeitung von Informationsverarbeitungsvorrichtung 10>
Als Nächstes wird die Verarbeitung der Trainingsdatenerzeugung der Informationsverarbeitungsvorrichtung 10 gemäß der vorliegenden Ausführungsform beschrieben.
7 ist ein Flussdiagramm zur Beschreibung der Verarbeitung der Trainingsdatenerzeugung der Informationsverarbeitungsvorrichtung 10.
In Schritt S11 empfängt die Empfangseinheit 110 die vom Benutzer über die Eingabeeinheit 12 eingegebene Aufnahmebedingung, einschließlich der Informationen über die Art der Aufnahmehand 31, die Form und Größe des Bereichs, der das Werkstück 50 berührt, usw.
In Schritt S12 leitet die Vorverarbeitungseinheit 111 anhand des 3D-CAD-Modells des Werkstücks 50 die Position des Schwerpunkts des Werkstücks 50 ab.
In Schritt S13 leitet die erste Verarbeitungseinheit 112 basierend auf der in Schritt S12 berechneten Position des Schwerpunkts des Werkstücks 50 das lokale Merkmal des 3D-CAD-Modells des Werkstücks 50 gemäß der in Schritt S11 empfangenen Aufnahmebedingung ab.
In Schritt S14 berechnet die erste Aufnahmekandidaten-Berechnungseinheit 113 den Kandidaten für die Aufnahmeposition des Werkstücks 50 basierend auf dem in Schritt S13 abgeleiteten lokalen Merkmal.
In Schritt S15 erzeugt die Vorverarbeitungseinheit 111 die mehreren 3D-CAD-Daten über den zufällig überlappenden Zustand der mehreren Werkstücke 50 auf z.B. dem virtuellen Raum der 3D-CAD-Software oder des dreidimensionalen physikalischen Simulators mittels der 3D-CAD-Daten mit dem Aufnahmepositionskandidaten und der Handinformation.
In Schritt S16 erzeugt die zweite Aufnahmekandidaten-Berechnungseinheit 114, basierend auf dem in Schritt S14 berechneten Aufnahmepositionskandidaten, den Kandidaten für die Aufnahmeposition des Werkstücks 50 in jedem der in Schritt S15 erzeugten 3D-CAD-Daten.
In Schritt S17 löscht/korrigiert die erste Aufnahmekandidaten-Berechnungseinheit 113 den Kandidaten, für den die Störung auf jedem der mehreren Teile der 3D-CAD-Daten erkannt wurde, mittels der Störungsprüfungsfunktion der 3D-CAD-Software als Vorverarbeitungseinheit 111 oder der Kollisionsberechnungsfunktion des dreidimensionalen physikalischen Simulators als Vorverarbeitungseinheit 111.
In Schritt S18 projiziert die erste Trainingsdaten-Erzeugungseinheit 115 jedes der in Schritt S15 erzeugten 3D-CAD-Daten auf die virtuelle Kamerabildebene und erzeugt für die durch Projektion erzeugten 2D-CAD-Diagramme die Trainingsdaten („Lehrerdaten“) mit den Beschriftungsdaten, die die mehreren 2D-CAD-Diagramme (die zweidimensionalen Projektionsbilder) mit den in Schritt S16 berechneten Aufnahmepositions-Kandidaten-Daten sind.
Wie oben beschrieben, empfängt die Informationsverarbeitungsvorrichtung 10 gemäß der ersten Ausführungsform die Aufnahmebedingung und leitet auf Basis der Position des Schwerpunkts des Werkstücks 50, die aus dem 3D-CAD-Modell des Werkstücks 50 abgeleitet wurde, das lokale Merkmal des 3D-CAD-Modells des Werkstücks 50 gemäß der empfangenen Aufnahmebedingung ab. Die Informationsverarbeitungsvorrichtung 10 berechnet den Kandidaten für die Aufnahmeposition des Werkstücks 50 auf Basis des abgeleiteten lokalen Merkmals. Die Informationsverarbeitungsvorrichtung 10 erzeugt zufällig die mehreren 3D-CAD-Daten über den Überlappungszustand der mehreren Werkstücke 50 im virtuellen Raum mittels der 3D-CAD-Daten mit dem Aufnahmepositionskandidaten und der Handinformation, wodurch der Kandidat für die Aufnahmeposition für jedes der mehreren 3D-CAD-Daten erzeugt wird. Auf die Vielzahl von 2D-CAD-Diagrammen abzielend, die durch Projektion der mehreren Stücke von 3D-CAD-Daten erzeugt werden, erzeugt die Informationsverarbeitungsvorrichtung 10 die Trainingsdaten („Lehrerdaten“) mit den Etikettendaten, die die Vielzahl von 2D-CAD-Diagrammen (die zweidimensionalen Projektionsbilder) mit den erzeugten Aufnahmepositionskandidaten-Daten sind.
Mit dieser Konfiguration kann die Informationsverarbeitungsvorrichtung 10 auf einfache Weise die Trainingsdaten („Lehrerdaten“) erzeugen, die für die Generierung des trainierten Modells zur Bestimmung der Aufnahmepositionen der Vielzahl der in Menge geladenen Werkstücke 50 erforderlich sind.
Die erste Ausführungsform wurde oben beschrieben.
<Zweite Ausführungsform>
Als nächstes wird die zweite Ausführungsform beschrieben. Wie oben beschrieben, wird in der ersten Ausführungsform bei der Verarbeitung der Trainingsdaten („Lehrerdaten“) der Zustand, in dem die Werkstücke 50 in Massen geladen werden und sich gegenseitig überlappen, im virtuellen Raum mittels der 3D-CAD-Daten der Werkstücke zufällig erzeugt, und für die Vielzahl von 2D-CAD-Diagrammen, die durch Projektion jedes der mehreren Stücke von 3D-CAD-Daten auf den zufällig erzeugten überlappenden Zustand der Vielzahl von Werkstücken 50 erhalten werden, werden die Trainingsdaten mit den Etikettendaten erzeugt, die die Vielzahl von zweidimensionalen Projektionsbildern mit den Aufnahmepositionskandidatendaten sind, die auf dem Werkstück 50 in jedem der mehreren Stücke von 3D-CAD-Daten erzeugt werden. Andererseits unterscheidet sich die zweite Ausführungsform von der ersten Ausführungsform dadurch, dass für eine Vielzahl von zweidimensionalen Bildern, die von einer Bildgebungsvorrichtung 40 erfasst werden, von einer Vielzahl von Werkstücken 50, die in großen Mengen geladen werden und einander überlappen, Trainingsdaten mit Etikettendaten erzeugt werden, die eine Vielzahl von zweidimensionalen Bildern mit Aufnahmepositionskandidaten sind, die auf den Werkstücken 50 basierend auf einem Merkmal auf jedem der Vielzahl von zweidimensionalen Bildern und einem Merkmal eines 3D-CAD-Modells des Werkstücks 50 berechnet werden.
Mit dieser Konfiguration kann eine Informationsverarbeitungsvorrichtung 10a auf einfache Weise die Trainingsdaten („Lehrerdaten“) erzeugen, die für die Erstellung eines trainierten Modells zur Bestimmung der Aufnahmepositionen der mehreren in loser Schüttung geladenen Werkstücke 50 erforderlich sind.
Nachfolgend wird die zweite Ausführungsform beschrieben.
Ein Robotersystem 1 gemäß der zweiten Ausführungsform verfügt wie bei der ersten Ausführungsform von 1 über die Informationsverarbeitungsvorrichtung 10a, eine Robotersteuerungsvorrichtung 20, einen Roboter 30, die Bildgebungsvorrichtung 40, die Mehrzahl von Werkstücken 50 und einen Behälter 60.
< Informationsverarbeitungsvorrichtung 10a>
8 ist ein Funktions-Blockdiagramm, das ein funktionelles Konfigurationsbeispiel der Informationsverarbeitungsvorrichtung 10a gemäß der zweiten Ausführungsform zeigt. Es ist zu beachten, dass dieselben Bezugsziffern verwendet werden, um Elemente darzustellen, die ähnliche Funktionen wie die der Informationsverarbeitungsvorrichtung 10 von 1 haben, und eine detaillierte Beschreibung derselben entfällt.
Wie bei der Informationsverarbeitungsvorrichtung 10 gemäß der ersten Ausführungsform weist die Informationsverarbeitungsvorrichtung 10a eine Steuereinheit 11a, eine Eingabeeinheit 12, eine Anzeigeeinheit 13 und eine Speichereinheit 14 auf. Die Steuereinheit 11a hat eine Empfangseinheit 110, eine Vorverarbeitungseinheit 111, eine zweite Verarbeitungseinheit 120, eine erste Aufnehm-Kandidaten-Berechnungseinheit 113, eine dritte Aufnehm-Kandidaten-Berechnungseinheit 121, eine zweite Trainingsdaten-Erzeugungseinheit 122, eine Trainingsverarbeitungseinheit 116 und eine Aufnehm-Positions-Auswahleinheit 117.
Die Eingabeeinheit 12, die Anzeigeeinheit 13 und die Speichereinheit 14 haben ähnliche Funktionen wie die Eingabeeinheit 12, die Anzeigeeinheit 13 und die Speichereinheit 14 gemäß der ersten Ausführungsform.
Die Empfangseinheit 110, die Vorverarbeitungseinheit 111, die erste Aufnahmekandidaten-Berechnungseinheit 113, die Trainingsverarbeitungseinheit 116 und die Aufnahmepositions-Auswahleinheit 117 haben ähnliche Funktionen wie die Empfangseinheit 110, die Vorverarbeitungseinheit 111, die erste Aufnahmekandidaten-Berechnungseinheit 113, die Trainingsverarbeitungseinheit 116 und die Aufnahmepositions-Auswahleinheit 117 gemäß der ersten Ausführungsform.
Beispielsweise kann die zweite Verarbeitungseinheit 120 das zweidimensionale Bild verarbeiten, das von der Bildgebungsvorrichtung 40 als Informationserfassungseinheit erfasst wurde, um ein Merkmal zu extrahieren, wodurch eine Abgleichsverarbeitung zwischen dem extrahierten Merkmal und dem Merkmal des 3D-CAD-Modells des Werkstücks 50 durchgeführt wird.
Spezifisch verarbeitet die zweite Verarbeitungseinheit 120 das erfasste zweidimensionale Bild (z.B. ein zweidimensionales Bild, das dem in 6A gezeigten und in der realen Welt aufgenommenen 2D-CAD-Diagramm ähnelt), wodurch das Merkmal auf dem zweidimensionalen Bild extrahiert wird, wie z.B. eine Kante, eine Ecke, ein kreisförmiger Bereich, ein Loch, eine Rille oder ein Vorsprung. Zum Beispiel kann die zweite Verarbeitungseinheit 120 für jede Zelle des zweidimensionalen Bildes, das in Zellen mit einer Pixelgröße unterteilt ist, Intensitätsgradienten benachbarter Zellen berechnen, um einen HOG-Merkmalsbetrag (Histograms-of-Oriented-Gradients, Histogramme orientierter Gradienten) zu extrahieren, und eine Grenze mit einem großen Unterschied in einer Helligkeit oder einem Pixelwert als eine Kante identifizieren. Die zweite Verarbeitungseinheit 120 kann das Merkmal aus dem zweidimensionalen Bild mittels Bildverarbeitung extrahieren, wie etwa. durch Konturendetektion mit einem Canny-Kantendetektor, Eckendetektion mit einem Harris-Eckendetektor oder Kreisdetektion durch Hough-Transformation. Es sei darauf hingewiesen, dass diese Arten der Bildverarbeitung dem Fachmann bekannt sind und daher nicht näher beschrieben werden.
Die zweite Verarbeitungseinheit 120 sucht ein ähnliches Muster auf dem 3D-CAD-Modell des Werkstücks 50 auf Basis der mehreren lokalen Merkmale, die durch die Bildverarbeitung extrahiert wurden, und einer relativen Positionsbeziehung zwischen ihnen. Wenn der Grad der Ähnlichkeit des gesuchten ähnlichen Musters einen bestimmten, im Voraus festgelegten Schwellenwert überschreitet, kann die zweite Verarbeitungseinheit 120 feststellen, dass diese lokalen Merkmale übereinstimmen.
Es ist zu beachten, dass im Robotersystem 1 gemäß der zweiten Ausführungsform die Bildgebungsvorrichtung 40 als Informationserfassungseinheit unter anderem eine Kamera für sichtbares Licht, wie eine Schwarz-Weiß-Kamera oder eine RGB-Farbkamera, eine Infrarotkamera, die ein Werkstück, wie einen beheizten Hochtemperatur-Eisenstab, abbildet, und eine Ultraviolettkamera, die ein Ultraviolettbild aufnimmt, um eine Inspektion auf einen Defekt zu ermöglichen, der beispielsweise mit sichtbarem Licht nicht sichtbar ist, beinhalten kann. Die Informationserfassungseinheit kann beispielsweise eine Stereokamera, eine einzelne Kamera und einen Abstandssensor, eine einzelne Kamera und einen Laserscanner sowie eine einzelne Kamera, die an einem Bewegungsmechanismus angebracht ist, umfassen und mehrere dreidimensionale Punktwolkendaten zu einer Region erfassen, in der sich die Werkstücke 50 befinden. Die Bildgebungsvorrichtung 40 als Informationserfassungseinheit kann mehrere Bilder des Bereichs aufnehmen, in dem sich die Werkstücke 50 befinden, kann aber auch ein Bild eines Hintergrundbereichs (z.B. eines leeren Behälters 60 oder eines nicht gezeigten leeren Tabletts) aufnehmen, in dem sich keine Werkstücke 50 befinden.
Die dritte Aufnahmekandidaten-Berechnungseinheit 121 kann auf Basis eines von der zweiten Verarbeitungseinheit 120 erhaltenen Verarbeitungsergebnisses und mindestens eines von der ersten Aufnahmekandidaten-Berechnungseinheit 113 berechneten Aufnahmepositionskandidaten automatisch mindestens die Aufnahmepositionen der Werkstücke 50 auf den von der Bildgebungsvorrichtung 40 als Informationserfassungseinheit erfassten zweidimensionalen Bildern erzeugen.
Spezifisch ordnet die dritte Aufnahmekandidaten-Berechnungseinheit 121 unter Verwendung des von der zweiten Verarbeitungseinheit 120 erhaltenen Verarbeitungsergebnisses die 3D-CAD-Modelle der mehreren Werkstücke 50 auf mehreren zweidimensionalen Bildebenen an und projiziert diese Modelle mehrfach, so dass die übereinstimmenden Merkmale der 3D-CAD-Modelle der Werkstücke 50 an denselben Positionen in denselben Stellungen angeordnet sind wie die Merkmale der Werkstücke 50, die durch die Bildverarbeitung für die mehreren von der Bildgebungsvorrichtung 40 aufgenommenen zweidimensionalen Bilder extrahiert wurden. Auf diese Weise kann die dritte Aufnahmekandidaten-Berechnungseinheit 121 die zweidimensionale Aufnahmeposition des Werkstücks 50 auf jedem zweidimensionalen Bild aus den von der ersten Aufnahmekandidaten-Berechnungseinheit 113 berechneten Kandidaten für die dreidimensionale Aufnahmeposition des 3D-CAD-Modells des Werkstücks berechnen.
Die Vorverarbeitungseinheit 111 erzeugt auf Basis des von der zweiten Verarbeitungseinheit 120 erhaltenen Verarbeitungsergebnisses den Überlappungszustand der Mehrzahl von Werkstücken 50 entsprechend den zweidimensionalen Bildern, die von der Bildgebungsvorrichtung 40 als Informationserfassungseinheit erfasst wurden. Die dritte Aufnahmekandidaten-Berechnungseinheit 121 kann zumindest die von der dritten Aufnahmekandidaten-Berechnungseinheit 121 erzeugten Aufnahmepositionen der Mehrzahl von Werkstücken 50 mittels einer Interferenzprüfungsfunktion oder einer Kollisionsberechnungsfunktion korrigieren.
Bei dieser Konfiguration kann ein Kandidat an einer Position, für die eine Störung oder Kollision festgestellt wurde, automatisch gelöscht werden, und diese Löschung kann auf dem zweidimensionalen Bild angezeigt werden. Alternativ kann ein Benutzer den Überlappungszustand der mehreren Werkstücke 50 auf den zweidimensionalen Bildern visuell überprüfen und einen Kandidaten für eine Aufnahmeposition löschen, der von anderen Werkstücken 50 verdeckt wird. Wenn die Bildgebungsvorrichtung 40 als Informationserfassungseinheit die dreidimensionalen Punktwolkendaten mit einer dreidimensionalen Messmaschine, z.B. einer Stereokamera, erfasst hat, kann ein Aufnahmepositionskandidat, der unter anderen Werkstücken 50 positioniert ist, unter Verwendung der dreidimensionalen Punktwolkendaten automatisch gelöscht werden.
Die zweite Trainingsdaten-Erzeugungseinheit 122 kann die Trainingsdaten („Lehrerdaten“) auf Basis der von der Bildgebungsvorrichtung 40 als Informationserfassungseinheit erfassten Bilder und der Informationen, die zumindest den von der dritten Aufnahmekandidaten-Berechnungseinheit 121 berechneten Aufnahmepositionskandidaten enthalten, erzeugen.
Beispielsweise kann die zweite Trainingsdaten-Erzeugungseinheit 122 unter Verwendung mindestens des von der dritten Aufnahmekandidaten-Berechnungseinheit 121 berechneten Aufnahmepositionskandidaten den Aufnahmepositionskandidaten auf jedem zweidimensionalen Bild, das von der Bildgebungsvorrichtung 40 erfasst wurde, automatisch beschriften, wie in 6D gezeigt. Die zweite Trainingsdaten-Erzeugungseinheit 122 erzeugt, auf die Vielzahl von zweidimensionalen Bildern abzielend, die von der Bildgebungsvorrichtung 40 erfasst wurden, die Trainingsdaten („Lehrerdaten“) mit Etikettendaten, bei denen es sich um eine Vielzahl von zweidimensionalen Bildern mit Aufnahmepositionskandidaten-Daten handelt, die nur die Aufnahmepositionskandidaten widerspiegeln, für die keine Interferenz mit der Umgebung detektiert wurde. Die zweite Trainingsdaten-Erzeugungseinheit 122 speichert die erzeugten Trainingsdaten („Lehrerdaten“, „Trainingsdaten“) als Trainingsdaten 142 in der Speichereinheit 14.
<Trainingsdatenerzeugungsverarbeitung von Informationsverarbeitungsvorrichtung 10a>
Als Nächstes wird die Verarbeitung der Trainingsdatenerzeugung der Informationsverarbeitungsvorrichtung 10a gemäß der zweiten Ausführungsform beschrieben.
9 ist ein Flussdiagramm zur Beschreibung der Verarbeitung der Trainingsdatenerzeugung der Informationsverarbeitungsvorrichtung 10a. Es ist zu beachten, dass die Verarbeitung in den Schritten S21, S22 der Verarbeitung in den Schritten S11, S12 gemäß der ersten Ausführungsform ähnelt, so dass deren Beschreibung weggelassen wird.
In Schritt S23 erfasst die zweite Verarbeitungseinheit 120 aus der Bildgebungsvorrichtung 40 die Vielzahl von zweidimensionalen Bildern des Überlappungszustands der Vielzahl von Werkstücken 50, die von der Bildgebungsvorrichtung 40 erfasst wurden.
In Schritt S24 extrahiert die zweite Verarbeitungseinheit 120 das Merkmal durch Verarbeiten jedes der mehreren zweidimensionalen Bilder, die in Schritt S23 erfasst wurden, um die Abgleichverarbeitung zwischen dem extrahierten Merkmal jedes zweidimensionalen Bildes und dem Merkmal des 3D-CAD-Modells des Werkstücks 50 durchzuführen, wodurch das Werkstück 50 auf dem zweidimensionalen Bild und das 3D-CAD-Modell des Werkstücks 50 miteinander abgeglichen werden.
In Schritt S25 berechnet die dritte Aufnahmekandidaten-Berechnungseinheit 121 auf Basis der in Schritt S24 abgeleiteten Übereinstimmungsbeziehung zwischen dem Werkstück 50 auf dem zweidimensionalen Bild und dem 3D-CAD-Modell des Werkstücks 50 den Kandidaten für die zweidimensionale Aufnahmeposition des Werkstücks 50 auf dem zweidimensionalen Bild aus dem von der ersten Aufnahmekandidaten-Berechnungseinheit 113 berechneten Kandidaten für die dreidimensionale Aufnahmeposition des Werkstücks 50.
In Schritt S26 erzeugt die Vorverarbeitungseinheit 111 auf Basis des von der zweiten Verarbeitungseinheit 120 erhaltenen Verarbeitungsergebnisses den Überlappungszustand der Vielzahl von Werkstücken 50, die den zweidimensionalen Bildern entsprechen. Unter Verwendung der Interferenzprüfungsfunktion oder der Kollisionsberechnungsfunktion der Vorverarbeitungseinheit 111 löscht/justiert die dritte Aufnahmekandidatenberechnungseinheit 121 den Aufnahmepositionskandidaten, für den die Interferenz oder die Kollision erkannt wurde, und spiegelt ein solches Lösch-/Abgleichsergebnis auf den zweidimensionalen Bildern wider. Alternativ zeigt die Vorverarbeitungseinheit 111 über die Anzeigeeinheit 13 jedes zweidimensionale Bild mit den Aufnahmepositionskandidateninformationen an, der Benutzer prüft visuell den Überlappungszustand der Vielzahl von Werkstücken 50 auf den zweidimensionalen Bildern, und die Vorverarbeitungseinheit 111 löscht/justiert den durch Interferenz erkannten Aufnahmepositionskandidaten, der mit anderen Werkstücken 50 bedeckt ist, um ein solches Ergebnis auf der dritten Aufnahmekandidatenberechnungseinheit 121 wiederzugeben.
In Schritt S27 erzeugt die zweite Trainingsdaten-Erzeugungseinheit 122, die auf die Vielzahl der in Schritt S23 erfassten zweidimensionalen Bilder abzielt, die Trainingsdaten („Lehrerdaten“) mit den Etikettendaten, bei denen es sich um die Vielzahl der zweidimensionalen Bilder mit den Aufnahmepositions-Kandidatendaten handelt, für die keine Interferenz mit einem umgebenden Hindernis detektiert wurde.
Wie oben beschrieben, verarbeitet die Informationsverarbeitungsvorrichtung 10a gemäß der zweiten Ausführungsform die zweidimensionalen Bilder des Überlappungszustands der Vielzahl von Werkstücken 50, die von der Bildgebungsvorrichtung 40 erfasst wurden, und extrahiert dabei die Merkmale auf den zweidimensionalen Bildern. Die Informationsverarbeitungsvorrichtung 10a führt die Abgleichsverarbeitung zwischen jedem extrahierten Merkmal und dem Merkmal des 3D-CAD-Modells des Werkstücks 50 durch, wodurch das Werkstück 50 auf jedem zweidimensionalen Bild und das 3D-CAD-Modell des Werkstücks 50 miteinander abgeglichen werden. Die Informationsverarbeitungsvorrichtung 10a berechnet auf Basis der abgeleiteten Anpassungsbeziehung zwischen dem Werkstück 50 auf jedem zweidimensionalen Bild und dem 3D-CAD-Modell des Werkstücks 50 den Kandidaten für die zweidimensionale Aufnahmeposition des Werkstücks 50 auf dem zweidimensionalen Bild. Basierend auf der abgeleiteten Anpassungsbeziehung zwischen dem Werkstück 50 auf dem zweidimensionalen Bild und dem 3D-CAD-Modell des Werkstücks 50 und dem berechneten Aufnahmepositionskandidaten erzeugt die Informationsverarbeitungsvorrichtung 10a, zielgerichtet für die Vielzahl von zweidimensionalen Bildern, die von der Bildgebungsvorrichtung 40 erfasst wurden, die Trainingsdaten („Lehrerdaten“) mit den Etikettendaten, die die Vielzahl von zweidimensionalen Bildern mit den Aufnahmepositionskandidatendaten sind, für die keine Interferenz mit einem umgebenden Hindernis erfasst wurde.
Mit dieser Konfiguration kann die informationsverarbeitende Vorrichtung 10a auf einfache Weise die Trainingsdaten („Lehrerdaten“) erzeugen, die für die Erstellung des trainierten Modells zur Bestimmung der Aufnahmepositionen der als Schüttgut geladenen Werkstücke 50 erforderlich sind.
Die zweite Ausführungsform wurde oben beschrieben.
<Dritte Ausführungsform>
Als nächstes wird die dritte Ausführungsform beschrieben. Wie oben beschrieben, wird in der ersten Ausführungsform bei der Erzeugung von Trainingsdaten („Lehrerdaten“, „Trainingsdaten“) der Zustand, in dem die Werkstücke 50 in großen Mengen geladen werden und sich gegenseitig überlappen, im virtuellen Raum mittels der 3D-CAD-Daten auf den Werkstücken zufällig erzeugt, und abzielend auf die Vielzahl von 2D-CAD-Diagrammen (die zweidimensionalen Projektionsbilder), die durch Projektion jedes der mehreren Stücke von 3D-CAD-Daten auf den zufällig erzeugten Überlappungszustand der Vielzahl von Werkstücken 50 erhalten werden, werden die Trainingsdaten mit den Etikettendaten erzeugt, die die Vielzahl von zweidimensionalen Projektionsbildern mit den Aufnahmepositionskandidatendaten sind, die auf dem Werkstück 50 in jedem der mehreren Stücke von 3D-CAD-Daten erzeugt werden. In der zweiten Ausführungsform, die auf die Vielzahl von zweidimensionalen Bildern abzielt, die von der Bildgebungsvorrichtung 40 von der Vielzahl von Werkstücken 50 erfasst werden, die in großen Mengen geladen werden und sich gegenseitig überlappen, werden die Trainingsdaten mit den Etikettendaten erzeugt, die die Vielzahl von zweidimensionalen Bildern mit den Aufnahmepositionskandidatendaten sind, die auf den Werkstücken 50 auf Basis des Merkmals auf jedem der Vielzahl von zweidimensionalen Bildern und des Merkmals des 3D-CAD-Modells jedes Werkstücks 50 berechnet werden. Andererseits unterscheidet sich die dritte Ausführungsform von der ersten Ausführungsform und der zweiten Ausführungsform dadurch, dass abzielend auf eine Vielzahl von dreidimensionalen Punktwolkendaten, die auf einer Vielzahl von Werkstücken 50 erfasst werden, die in großen Mengen geladen werden und sich gegenseitig durch eine dreidimensionale Messmaschine 45 überlappen, Trainingsdaten mit Etikettendaten erzeugt werden, bei denen es sich um eine Vielzahl von dreidimensionalen Punktwolkendaten mit Aufnahmepositionskandidatendaten handelt, die auf den Werkstücken 50 basierend auf jedem der Vielzahl von dreidimensionalen Punktwolkendaten und 3D-CAD-Daten auf den Werkstücken 50 berechnet werden.
Mit dieser Konfiguration kann eine Informationsverarbeitungsvorrichtung 10b gemäß der dritten Ausführungsform auf einfache Weise die Trainingsdaten („Lehrerdaten“) erzeugen, die für die Erstellung eines trainierten Modells zur Bestimmung der Aufnahmepositionen der in loser Schüttung geladenen Werkstücke 50 erforderlich sind.
Nachfolgend wird die dritte Ausführungsform beschrieben.
10 ist eine Ansicht, die ein Beispiel für eine Konfiguration eines Robotersystems 1A gemäß der dritten Ausführungsform zeigt. Es ist zu beachten, dass dieselben Bezugsziffern verwendet werden, um Elemente darzustellen, die ähnliche Funktionen wie das Robotersystem 1 von 1 haben, und dass eine detaillierte Beschreibung dieser Elemente entfällt.
Wie in 10 gezeigt, weist das Robotersystem 1A die Informationsverarbeitungsvorrichtung 10b, eine Robotersteuerungsvorrichtung 20, einen Roboter 30, die dreidimensionale Messmaschine 45, die Vielzahl von Werkstücken 50 und einen Behälter 60 auf.
Die Robotersteuerungsvorrichtung 20 und der Roboter 30 haben ähnliche Funktionen wie die Robotersteuerungsvorrichtung 20 und der Roboter 30 gemäß der ersten Ausführungsform.
Die dreidimensionale Messmaschine 45 kann dreidimensionale Informationen erfassen (im Folgenden auch als „Abstandsbild“ bezeichnet), wobei als Pixelwert ein Wert genommen wird, der aus einem Abstand zwischen einer Ebene senkrecht zur optischen Achse der dreidimensionalen Messmaschine 45 und jedem Punkt auf den Oberflächen der als Schüttgut in den Behälter 60 geladenen Werkstücke 50 umgerechnet wird. Zum Beispiel wird, wie in 10 gezeigt, ein Pixelwert eines Punktes A auf dem Werkstück 50 auf dem Abstandsbild aus einem Abstand zwischen der dreidimensionalen Messmaschine 45 und dem Punkt A auf dem Werkstück 50 in einer Z-Achsenrichtung eines dreidimensionalen Koordinatensystems (X, Y, Z) der dreidimensionalen Messmaschine 45 umgerechnet. Das heißt, dass die Z-Achsenrichtung des dreidimensionalen Koordinatensystems eine optische Achsenrichtung der dreidimensionalen Messmaschine 45 ist. Die dreidimensionale Messmaschine 45, wie etwa eine Stereokamera, kann die dreidimensionalen Punktwolkendaten der Vielzahl von in den Behälter 60 geladenen Werkstücken 50 erfassen. Bei den dreidimensionalen Punktwolkendaten, die wie oben beschrieben erfasst werden, handelt es sich um diskretisierte Daten, die in einer 3D-Ansicht angezeigt werden können, die von einem beliebigen Standpunkt aus in einem dreidimensionalen Raum betrachtet werden kann. Mit diesen Daten kann der Überlappungszustand der in den Behälter 60 geladenen Vielzahl von Werkstücken 50 dreidimensional überprüft werden.
Es ist zu beachten, dass die dreidimensionale Messmaschine 45 zusätzlich zu dem Abstandsbild auch ein zweidimensionales Bild, wie z.B. ein Graustufenbild oder ein RGB-Bild, erfassen kann.
<Informationsverarbeitungsvorrichtung 10b>
11 ist ein funktionelles Blockdiagramm, das ein funktionelles Konfigurationsbeispiel der Informationsverarbeitungsvorrichtung 10b gemäß der dritten Ausführungsform zeigt. Es ist zu beachten, dass dieselben Bezugszeichen verwendet werden, um Elemente darzustellen, die ähnliche Funktionen wie die der Informationsverarbeitungsvorrichtung 10 von 1 haben, und eine detaillierte Beschreibung derselben entfällt.
Die Informationsverarbeitungsvorrichtung 10b weist, wie die Informationsverarbeitungsvorrichtung 10 gemäß der ersten Ausführungsform, eine Steuereinheit 11b, eine Eingabeeinheit 12, eine Anzeigeeinheit 13 und eine Speichereinheit 14 auf. Die Steuereinheit 11b hat eine Empfangseinheit 110, eine Vorverarbeitungseinheit 111, eine dritte Verarbeitungseinheit 130, eine erste Aufnahmekandidatenberechnungseinheit 113, eine vierte Aufnahmekandidatenberechnungseinheit 131, eine dritte Trainingsdatenerzeugungseinheit 132, eine Trainingsverarbeitungseinheit 116 und eine Aufnahmepositionsauswahleinheit 117.
Die Eingabeeinheit 12, die Anzeigeeinheit 13 und die Speichereinheit 14 haben ähnliche Funktionen wie die Eingabeeinheit 12, die Anzeigeeinheit 13 und die Speichereinheit 14 gemäß der ersten Ausführungsform.
Die Empfangseinheit 110, die Vorverarbeitungseinheit 111, die erste Aufnahmekandidaten-Berechnungseinheit 113, die Trainingsverarbeitungseinheit 116 und die Aufnahmepositions-Auswahleinheit 117 haben ähnliche Funktionen wie die Empfangseinheit 110, die Vorverarbeitungseinheit 111, die erste Aufnahmekandidaten-Berechnungseinheit 113, die Trainingsverarbeitungseinheit 116 und die Aufnahmepositions-Auswahleinheit 117 gemäß der ersten Ausführungsform.
Im Falle der Erfassung mehrerer dreidimensionaler Punktwolkendaten in einem Bereich, in dem sich die Werkstücke 50 befinden, durch die dreidimensionale Messmaschine 45 als Informationserfassungseinheit kann die dritte Verarbeitungseinheit 130 beispielsweise eine Abgleichsverarbeitung zwischen den dreidimensionalen Punktwolkendaten und dem 3D-CAD-Modell des Werkstücks 50 durchführen.
12 ist eine Ansicht, die ein Beispiel für die Beschreibung der Vorverarbeitung der dreidimensionalen Punktwolkendaten zeigt.
Insbesondere, wie z.B. in 12 gezeigt, führt die dritte Verarbeitungseinheit 130 die Vorverarbeitung für die dreidimensionalen Punktwolkendaten durch, wodurch eine Ebene aus einer Vielzahl von Probepunkten (z.B. 10 Punkte P1 bis P10), die lokal nahe beieinander liegen, auf den dreidimensionalen Punktwolkendaten geschätzt wird. Die dritte Verarbeitungseinheit 130 erfasst die Koordinatenwerte [x_i, y_i, z_i] (i = 1 bis 10) der 10 Probepunkte P1 bis P10 aus den dreidimensionalen Punktwolkendaten und definiert ein dreidimensionales Koordinatensystem Σ₀ in einem dreidimensionalen Raum. Die dritte Verarbeitungseinheit 130 leitet vier unbekannte Parameter a, b, c, d in einer dreidimensionalen Ebene ax + by + cz + d = 0 ab, die so zu schätzen sind, dass die Summe f = Σd_i ² der Quadrate eines Abstands d_i von jedem der Probepunkte P1 bis P10 zur Ebene das Minimum ist, wodurch die Ebene geschätzt wird. Die dritte Verarbeitungseinheit 130 sucht auf dem 3D-CAD-Modell des Werkstücks eine ebene Fläche, die der geschätzten Ebene ähnlich ist, und bestimmt eine lokale ebene Fläche mit dem höchsten Ähnlichkeitsgrad als übereinstimmend. Man beachte, dass die dritte Verarbeitungseinheit 130 die Ebene in der Phase der Vorverarbeitung der dreidimensionalen Punktwolkendaten schätzt, aber eine Vielzahl von geschätzten extrem kleinen flachen Oberflächen, die aneinandergrenzen, zu einer gekrümmten Oberfläche annähern kann. Die dritte Verarbeitungseinheit 130 kann eine gekrümmte Oberfläche suchen, die einer solchen angenäherten gekrümmten Oberfläche auf dem 3D-CAD-Modell des Werkstücks 50 ähnlich ist, und eine lokale gekrümmte Oberfläche mit dem höchsten Ähnlichkeitsgrad als übereinstimmend bestimmen. Basierend auf der Vielzahl von flachen Oberflächen, die aus den dreidimensionalen Punktwolkendaten geschätzt werden, und einer relativen Positionsbeziehung zwischen diesen, der Vielzahl von flachen und gekrümmten Oberflächen und einer relativen Positionsbeziehung zwischen diesen oder der Vielzahl von gekrümmten Oberflächen und einer relativen Positionsbeziehung zwischen diesen, kann die dritte Verarbeitungseinheit 130 die Anpassungsverarbeitung für eine Vielzahl von lokalen flachen Oberflächen, lokalen flachen und gekrümmten Oberflächen oder lokalen gekrümmten Oberflächen auf dem 3D-CAD-Modell des Werkstücks 50 durchführen, wodurch die dreidimensionalen Punktwolkendaten und das 3D-CAD-Modell des Werkstücks 50 miteinander abgeglichen werden.
Die dritte Verarbeitungseinheit 130 kann lokale Merkmale aus den dreidimensionalen Punktwolkendaten extrahieren, die von der dreidimensionalen Messmaschine 45 als Informationserfassungseinheit erfasst wurden, und die Abgleichverarbeitung zwischen jedem extrahierten lokalen Merkmal und dem lokalen Merkmal des 3D-CAD-Modells des Werkstücks 50 durchführen, um die dreidimensionalen Punktwolkendaten und das 3D-CAD-Modell des Werkstücks 50 miteinander abzugleichen.
Insbesondere leitet die dritte Verarbeitungseinheit 130 die lokalen flachen Oberflächen aus den dreidimensionalen Punktwolkendaten ab, die von der dreidimensionalen Messmaschine 45 durch das oben beschriebene Verfahren erfasst wurden, wodurch eine Vielzahl von lokalen Merkmalen der abgeleiteten zweidimensionalen lokalen flachen Oberflächen, wie z.B. ein Loch, eine Ecke oder eine Kante, durch ein Verfahren ähnlich dem oben beschriebenen zweidimensionalen Bildverarbeitungsverfahren, abgeleitet wird. Basierend auf der Vielzahl von lokalen Merkmalen, die wie oben beschrieben abgeleitet wurden, und einer dreidimensionalen relativen Positionsbeziehung zwischen ihnen, sucht die dritte Verarbeitungseinheit 130 eine Vielzahl von lokalen Merkmalen des 3D CAD-Modells des abzugleichenden Werkstücks 50. Die 3D-CAD-Modelle der Vielzahl von Werkstücken 50 werden auf den dreidimensionalen Punktwolkendaten so angeordnet, dass die Positionen und Stellungen der Vielzahl von lokalen Merkmalen dazwischen übereinstimmen, und auf diese Weise werden die dreidimensionalen Punktwolkendaten und die 3D-CAD-Modelle der Werkstücke 50 miteinander abgeglichen.
Die dritte Verarbeitungseinheit 130 kann den Betrag der Änderung einer Oberflächenkrümmung für die dreidimensionalen Punktwolkendaten, die von der dreidimensionalen Messmaschine 45 als Informationserfassungseinheit erfasst wurden, und das 3D-CAD-Modell des Werkstücks 50 berechnen, wodurch die Anpassungsverarbeitung zwischen den dreidimensionalen Punktwolkendaten und dem 3D-CAD-Modell des Werkstücks 50 durchgeführt wird.
Spezifisch berechnet die dritte Verarbeitungseinheit 130 den Betrag der Änderung der Oberflächenkrümmung für die von der dreidimensionalen Messmaschine 45 erfassten dreidimensionalen Punktwolkendaten, um beispielsweise eine dreidimensionale Krümmungsänderungskarte zu erzeugen, und berechnet den Betrag der Änderung der Oberflächenkrümmung für das 3D-CAD-Modell des Werkstücks 50, um eine dreidimensionale Krümmungsänderungskarte zu erzeugen. Die dritte Verarbeitungseinheit berechnet den Grad der lokalen Ähnlichkeit zwischen den erzeugten zwei Krümmungsänderungskarten, führt einen Abgleich zwischen den Krümmungsänderungskarten an einer Vielzahl von lokalen Bereichen mit einem hohen Ähnlichkeitsgrad durch, der einen voreingestellten Schwellenwert überschreitet, und führt einen Abgleich der dreidimensionalen Punktwolkendaten und des 3D-CAD-Modells des Werkstücks 50 miteinander durch.
Auf Basis eines durch die dritte Verarbeitungseinheit 130 ermittelte Verarbeitungsergebnisses und der Informationen, die zumindest den von der ersten Aufnahmekandidatenberechnungseinheit 113 berechneten Aufnahmepositionskandidaten enthalten, kann die vierte Aufnahmekandidatenberechnungseinheit 131 zumindest den Aufnahmepositionskandidaten auf der dreidimensionalen Punktwolke erzeugen, die von der dreidimensionalen Messmaschine 45 als Informationserfassungseinheit erfasst wurde.
Insbesondere werden die dreidimensionalen Punktwolkendaten mit dem 3D-CAD-Modell des Werkstücks 50 abgeglichen (auf diesem angeordnet), und aus dem beispielsweise von der ersten Aufnahmekandidaten-Berechnungseinheit 113 berechneten Aufnahmepositionskandidaten (der dreidimensionalen relativen Position auf dem 3D-CAD-Modell des Werkstücks 50) wird ein günstigerer Aufnahmepositionskandidat auf den dreidimensionalen Punktwolkendaten berechnet.
Für den Überlappungszustand der Vielzahl von Werkstücken 50 auf den dreidimensionalen Punktwolkendaten mit den Aufnahmepositionskandidateninformationen kann die vierte Aufnahmekandidatenberechnungseinheit 131 einen Aufnahmepositionskandidaten, für den eine Interferenz oder Kollision festgestellt wurde, mittels einer Interferenzprüfungsfunktion oder einer Kollisionsberechnungsfunktion der Vorverarbeitungseinheit 111 löschen/anpassen. Alternativ kann die Vorverarbeitungseinheit 111 über die Anzeigeeinheit 13 die dreidimensionalen Punktwolkendaten mit den Aufnahmepositionskandidateninformationen in einer dreidimensionalen Ansicht anzeigen, der Benutzer kann den Überlappungszustand der Vielzahl von Werkstücken 50 auf den dreidimensionalen Punktwolkendaten visuell überprüfen, und die Vorverarbeitungseinheit 111 kann den durch Interferenz detektierten Aufnahmepositionskandidaten, der mit anderen Werkstücken 50 bedeckt ist, löschen/einstellen, um ein solches Lösch-/Einstellungsergebnis auf der vierten Aufnahmekandidatenberechnungseinheit 131 wiederzugeben.
Die dritte Trainingsdaten-Erzeugungseinheit 132 kann die Trainingsdaten auf Basis der dreidimensionalen Punktwolkendaten, die von der dreidimensionalen Messmaschine 45 als Informationserfassungseinheit erfasst wurden, und der Informationen, die zumindest den von der vierten Aufnehm-Kandidaten-Berechnungseinheit 131 berechneten Aufnehm-Positionskandidaten enthalten, erzeugen.
Spezifisch kann die dritte Trainingsdaten-Erzeugungseinheit 132 zum Beispiel eine Gruppe von mehreren Teilen dreidimensionaler Positionsdaten als Trainingsdaten numerisch erzeugen, indem sie den dreidimensionalen Aufnahmepositionskandidaten, der von der vierten Aufnahmekandidaten-Berechnungseinheit 131 berechnet wurde, zu den dreidimensionalen Punktwolkendaten hinzufügt, kann aber die Trainingsdaten in Form eines Graphen in einer dreidimensionalen Simulationsumgebung erzeugen. Das heißt, dass die dritte Trainingsdaten-Erzeugungseinheit 132 für die mehreren dreidimensionalen Punktwolkendaten, die von der dreidimensionalen Messmaschine 45 erfasst wurden, die Trainingsdaten („Lehrerdaten“) mit den Etikettendaten, die die mehreren Teile von dreidimensionalen Punktwolkendaten mit den für jedes der mehreren Teile von dreidimensionalen Punktwolkendaten berechneten Aufnahmepositions-KandidatenDaten sind, erzeugt.
<Trainingsdatengenerierungsverarbeitung der Informationsverarbeitungsvorrichtung 10b>
Als Nächstes wird die Verarbeitung der Trainingsdatenerzeugung der Informationsverarbeitungsvorrichtung 10b gemäß der dritten Ausführungsform beschrieben.
13 ist ein Flussdiagramm zur Beschreibung der Verarbeitung der Trainingsdatenerzeugung der Informationsverarbeitungsvorrichtung 10b. Es ist zu beachten, dass die Verarbeitung in den Schritten S31, S32 derjenigen in den Schritten S11, S12 gemäß der ersten Ausführungsform ähnelt, so dass deren Beschreibung weggelassen wird.
In Schritt S33 erfasst die dritte Verarbeitungseinheit 130 aus der dreidimensionalen Messmaschine 45 die mehreren dreidimensionalen Punktwolkendaten über den Überlappungszustand der mehreren Werkstücke 50, die von der dreidimensionalen Messmaschine 45 erfasst wurden.
In Schritt S34 führt die dritte Verarbeitungseinheit 130 die Abgleichsverarbeitung zwischen jedem der mehreren Teile der dreidimensionalen Punktwolkendaten, die in Schritt S33 erfasst wurden, und dem 3D-CAD-Modell des Werkstücks 50 durch, wodurch das Werkstück 50 auf der dreidimensionalen Punktwolke und das 3D-CAD-Modell des Werkstücks 50 aneinander angepasst werden.
In Schritt S35 berechnet die vierte Aufnahmekandidaten-Berechnungseinheit 131 auf Basis der in Schritt S34 abgeleiteten Übereinstimmungsbeziehung zwischen dem Werkstück 50 auf der dreidimensionalen Punktewolke und dem 3D-CAD-Modell des Werkstücks 50 den Kandidaten für die dreidimensionale Aufnahmeposition des Werkstücks 50 auf der dreidimensionalen Punktewolke aus dem von der ersten Aufnahmekandidaten-Berechnungseinheit 113 für das Werkstück 50 berechneten den dreidimensionalen Aufnahmepositionskandidaten.
In Schritt S36 löscht/justiert die vierte Aufnahmekandidatenberechnungseinheit 131 für den Überlappungszustand der mehreren Werkstücke 50 auf den dreidimensionalen Punktwolkendaten mit den Aufnahmepositionskandidateninformationen den Aufnahmepositionskandidaten, für den die Interferenz oder die Kollision mittels der Interferenzprüfungsfunktion oder der Kollusionsberechnungsfunktion der Vorverarbeitungseinheit 111 erfasst wurde. Alternativ zeigt die Vorverarbeitungseinheit 111 über die Anzeigeeinheit 13 jedes Stück dreidimensionaler Punktwolkendaten mit der Aufnahmepositionskandidateninformation in der dreidimensionalen Ansicht an, der Benutzer prüft visuell den Überlappungszustand der Vielzahl von Werkstücken 50 auf den dreidimensionalen Punktwolkendaten, und die Vorverarbeitungseinheit 111 kann den durch Interferenz erkannten Aufnahmepositionskandidaten, der mit anderen Werkstücken 50 bedeckt ist, löschen/justieren, um ein solches Lösch-/Justierergebnis auf der vierten Aufnahmekandidatenberechnungseinheit 131 wiederzugeben.
In Schritt S37 erzeugt die dritte Trainingsdaten-Erzeugungseinheit 132, die auf die mehreren in Schritt S33 erfassten dreidimensionalen Punktwolkendaten abzielt, die Trainingsdaten („Lehrerdaten“) mit den Etikettendaten, bei denen es sich um die mehreren dreidimensionalen Punktwolkendaten mit den Aufnahmepositions-Kandidatendaten handelt, für die keine Interferenz mit einem umgebenden Hindernis erkannt wurde und die in Schritt S36 berechnet werden.
Wie oben beschrieben, führt die Informationsverarbeitungsvorrichtung 10b gemäß der dritten Ausführungsform die Abgleichsverarbeitung zwischen den mehreren Teilen von dreidimensionalen Punktwolkendaten über den Überlappungszustand der mehreren Werkstücke 50, die von der dreidimensionalen Messmaschine 45 erfasst wurden, und den 3D-CAD-Modellen der Werkstücke 50 durch, wodurch die Werkstücke 50 auf der dreidimensionalen Punktwolke und die 3D-CAD-Modelle der Werkstücke 50 miteinander abgeglichen werden. Die Informationsverarbeitungseinrichtung 10b berechnet die Kandidaten für die dreidimensionalen Aufnahmepositionen der Werkstücke 50 auf der dreidimensionalen Punktwolke auf Basis der abgeleiteten Zuordnungsbeziehung zwischen den Werkstücken 50 auf der dreidimensionalen Punktwolke und den 3D-CAD-Modellen der Werkstücke 50. Die Informationsverarbeitungsvorrichtung 10b generiert abzielend auf die mehreren Teile von dreidimensionalen Punktwolkendaten, die von der dreidimensionalen Messmaschine 45 erfasst wurden, die Trainingsdaten („Lehrerdaten“) mit den Etikettendaten, die die mehreren dreidimensionalen Punktwolkendaten mit den berechneten Aufnahmepositionskandidatendaten sind.
Mit dieser Konfiguration kann die informationsverarbeitende Vorrichtung 10b auf einfache Weise die Trainingsdaten („Lehrerdaten“) erzeugen, die für die Erzeugung des trainierten Modells zur Bestimmung der Aufnahmepositionen der als Schüttgut geladenen Werkstücke 50 erforderlich sind.
Die dritte Ausführungsform wurde bereits oben beschrieben.
Die erste Ausführungsform, die zweite Ausführungsform und die dritte Ausführungsform wurden oben beschrieben, aber die Informationsverarbeitungsvorrichtungen 10, 10a, 10b sind nicht auf die oben beschriebenen Ausführungsformen beschränkt, und Änderungen, Modifikationen usw. können vorgenommen werden, ohne von einem Bereich abzuweichen, in dem das Ziel erreicht werden kann.
<Variation 1>
In der ersten Ausführungsform, der zweiten Ausführungsform und der dritten Ausführungsform, die oben beschrieben wurden, wurden die Informationsverarbeitungsvorrichtungen 10, 10a, 10b als Beispiele für eine Vorrichtung beschrieben, die sich von der Robotersteuerungsvorrichtung 20 unterscheidet, aber die Robotersteuerungsvorrichtung 20 kann einige oder alle Funktionen der Informationsverarbeitungsvorrichtung 10, 10a, 10b haben.
Alternativ kann ein Server beispielsweise über einen Teil oder die Gesamtheit der Empfangseinheit 110, der Vorverarbeitungseinheit 111, der ersten Verarbeitungseinheit 112, der ersten Aufnehm-Kandidatenberechnungseinheit 113, der zweiten Aufnehm-Kandidatenberechnungseinheit 114, der ersten Trainingsdatenerzeugungseinheit 115, der Trainingsverarbeitungseinheit 116 und der Aufnehm-Positionsauswahleinheit 117 der Informationsverarbeitungsvorrichtung 10 verfügen. Ein Server kann beispielsweise über einige oder alle der Empfangseinheit 110, der Vorverarbeitungseinheit 111, der zweiten Verarbeitungseinheit 120, der ersten Aufnehm-Kandidatenberechnungseinheit 113, der dritten Aufnehm-Kandidatenberechnungseinheit 121, der zweiten Trainingsdatenerzeugungseinheit 122, der Trainingsverarbeitungseinheit 116 und der Aufnehm-Positionsauswahleinheit 117 der Informationsverarbeitungsvorrichtung 10a verfügen. Ein Server kann beispielsweise über einige oder alle der Empfangseinheit 110, der Vorverarbeitungseinheit 111, der dritten Verarbeitungseinheit 130, der ersten Aufnehm-Kandidatenberechnungseinheit 113, der vierten Aufnehm-Kandidatenberechnungseinheit 131, der dritten Trainingsdatenerzeugungseinheit 132, der Trainingsverarbeitungseinheit 116 und der Aufnehm-Positionsauswahleinheit 117 der Informationsverarbeitungsvorrichtung 10b verfügen. Jede Funktion der Informationsverarbeitungsvorrichtung 10, 10a, 10b kann z.B. mit einer virtuellen Serverfunktion in der Cloud implementiert werden.
Die Informationsverarbeitungsvorrichtung 10, 10a, 10b kann ein verteiltes Verarbeitungssystem sein, bei dem die Funktionen der Informationsverarbeitungsvorrichtung 10, 10a, 10b je nach Bedarf auf mehrere Server verteilt sind.
<Variation 2>
Bei der ersten und der zweiten oben beschriebenen Ausführungsform ist die Bildgebungsvorrichtung 40 beispielsweise die Digitalkamera, die das zweidimensionale Bild aufnimmt, aber darauf ist sie nicht beschränkt. Die Bildgebungsvorrichtung 40 kann zum Beispiel eine dreidimensionale Messmaschine sein. In diesem Fall nimmt die Bildgebungsvorrichtung 40 vorzugsweise ein Abstandsbild oder ein zweidimensionales Bild wie ein Graustufenbild oder ein RGB-Bild auf.
<Variation 3>
In der ersten Ausführungsform, der zweiten Ausführungsform und der dritten Ausführungsform, die oben beschrieben wurden, wurden die Beispiele beschrieben, in denen die Informationen zum Aufnehmen des Werkstücks 50 mit der Aufnahmehand 31 verarbeitet werden, um die Trainingsdaten für das maschinelle Lernen zu erzeugen, aber die vorliegende Offenbarung ist nicht auf diese Beispiele beschränkt.
Die Trainingsdaten werden nicht notwendigerweise erzeugt. Beispielsweise werden für die zweidimensionalen Bilder des Überlappungszustands der mehreren Werkstücke 50, die von der Bildgebungsvorrichtung 40 als Bilderfassungseinheit erfasst werden, die von der dritten Aufnahmekandidatenberechnungseinheit 121 berechnete Aufnahmepositionskandidateninformation und die von der dreidimensionalen Messmaschine 45 als Informationserfassungseinheit erfassten dreidimensionalen Punktwolkendaten an die Robotersteuerungsvorrichtung 20 übermittelt. Die Robotersteuerungsvorrichtung 20 erzeugt ein Betriebsprogramm für die Aufnahmehand 31 und betreibt die Aufnahmehand 31, um das Werkstück 50 an einem echten dreidimensionalen Aufnahmepositionskandidaten aufzunehmen, der dem zweidimensionalen Aufnahmepositionskandidaten auf dem zweidimensionalen Bild entspricht. Das heißt, der Überlappungszustand der Vielzahl von Werkstücken 50 in einer realen Welt wird, ohne die Trainingsdaten zu erzeugen und abhängig vom maschinellen Lernen, in Echtzeit abgebildet, die Abgleichsverarbeitung zwischen dem Merkmal auf dem erfassten zweidimensionalen Bild und dem Merkmal des 3D-CAD-Modells des Werkstücks 50 wird von der zweiten Verarbeitungseinheit 120 durchgeführt, und die Aufnahmehand 31 wird so betrieben, dass sie das Werkstück 50 an der Aufnahmeposition aufnimmt, die von der dritten Aufnahmekandidaten-Berechnungseinheit 121 basierend auf dem verarbeiteten Ergebnis berechnet wird.
Alternativ müssen die Trainingsdaten nicht unbedingt erzeugt werden. Für die dreidimensionalen Punktwolkendaten über den Überlappungszustand der mehreren Werkstücke 50, die von der dreidimensionalen Messmaschine 45 als Informationserfassungseinheit erfasst werden, werden die von der vierten Aufnahmekandidatenberechnungseinheit 131 berechneten Aufnahmepositionskandidateninformationen an die Robotersteuerungsvorrichtung 20 übermittelt. Die Robotersteuerungsvorrichtung 20 erzeugt ein Betriebsprogramm für die Aufnahmehand 31 und betreibt die Aufnahmehand 31, um das Werkstück 50 an einem solchen Aufnahmepositionskandidaten aufzunehmen. Das heißt, der Überlappungszustand der mehreren Werkstücke 50 in einer realen Welt wird, ohne die Trainingsdaten zu erzeugen und abhängig vom maschinellen Lernen, dreidimensional in Echtzeit gemessen, die Abgleichsverarbeitung zwischen der gemessenen dreidimensionalen Punktwolke und dem 3D-CAD-Modell des Werkstücks 50 wird von der dritten Verarbeitungseinheit 130 durchgeführt, und die Aufnahmehand 31 wird so betrieben, dass sie das Werkstück 50 an der Aufnahmeposition aufnimmt, die von der vierten Aufnahmekandidaten-Berechnungseinheit 131 basierend auf dem verarbeiteten Ergebnis berechnet wird.
Es ist zu beachten, dass jede Funktion der Informationsverarbeitungsvorrichtung 10, 10a, 10b in einer Ausführungsform durch Hardware, Software oder eine Kombination davon implementiert werden kann. Implementierung durch Software, wie hier beschrieben, bedeutet Implementierung durch Lesen und Ausführen eines Programms durch einen Computer.
Das Programm kann auf verschiedenen Arten von nichtübertragbaren computerlesbaren Medien gespeichert und dem Computer zugeführt werden. Die nicht-transitorischen computerlesbaren Medien beinhalten verschiedene Arten von materiellen Speichermedien. Beispiele für nicht transitorische computerlesbare Medien sind magnetische Aufzeichnungsmedien (z.B. eine flexible Platte, ein Magnetband und ein Festplattenlaufwerk), magneto-optische Aufzeichnungsmedien (z.B. eine magneto-optische Platte), ein CD-Festwertspeicher (CD-ROM), eine CD-R, eine CD-R/W und Halbleiterspeicher (z.B. ein Masken-ROM, ein programmierbares ROM (PROM), ein löschbares PROM (EPROM), ein Flash-ROM und ein R_AM). Das Programm kann dem Computer über verschiedene Arten von transitorischen computerlesbaren Medien zugeführt werden. Beispiele für transitorische computerlesbare Medien sind ein elektrisches Signal, ein optisches Signal und eine elektromagnetische Welle. Das transitorische computerlesbare Medium kann dem Computer das Programm über einen verdrahteten Kommunikationsweg wie ein elektrisches Kabel oder eine optische Faser oder einen drahtlosen Kommunikationsweg zuführen.
Es ist zu beachten, dass der Schritt der Beschreibung des auf dem Aufzeichnungsmedium aufgezeichneten Programms nicht nur die in chronologischer Reihenfolge durchgeführten Verarbeitungen umfasst, sondern auch Verarbeitungen, die nicht unbedingt in chronologischer Reihenfolge, sondern parallel oder einzeln ausgeführt werden.
Mit anderen Worten können die Informationsverarbeitungsvorrichtung und das Informationsverarbeitungsverfahren der vorliegenden Offenbarung als verschiedene Ausführungsformen mit den folgenden Konfigurationen implementiert werden.

(1) Die Informationsverarbeitungsvorrichtung 10 der vorliegenden Offenbarung ist eine Informationsverarbeitungsvorrichtung zum Verarbeiten von Informationen zum Aufnehmen eines Werkstücks 50 mittels einer Aufnahmehand 31 eines Roboters 30, wobei die Informationsverarbeitungsvorrichtung eine Empfangseinheit 110 enthält, die so konfiguriert ist, dass sie eine Aufnahmebedingung einschließlich Informationen über die Aufnahmehand 31 oder das Werkstück 50 empfängt, eine Vorverarbeitungseinheit 111, die so konfiguriert ist, dass sie zumindest die Position des Schwerpunkts des Werkstücks 50 auf Basis eines 3D-CAD-Modells des Werkstücks 50 ableitet, und eine erste Verarbeitungseinheit 112, die so konfiguriert ist, dass sie ein lokales Merkmal des 3D-CAD-Modells des Werkstücks gemäß der Aufnahmebedingung auf Basis der abgeleiteten Position des Schwerpunkts des Werkstücks 50 ableitet.

Gemäß der Informationsverarbeitungsvorrichtung 10 können Trainingsdaten („Lehrerdaten“), die für die Erzeugung eines trainierten Modells zur Bestimmung der Aufnahmepositionen der in großer Menge geladenen Werkstücke erforderlich sind, leicht erzeugt werden.

(2) In der Informationsverarbeitungsvorrichtung 10 gemäß (1) kann die Empfangseinheit 110 die Aufnahmebedingung empfangen, die mindestens eine der folgenden Informationen enthält:
- Informationen über die Form und Größe eines Bereichs der Aufnahmehand 31, der das Werkstück 50 berührt, Informationen über einen Bewegungsbereich der Aufnahmehand 31, Verteilungsinformationen über das Material oder die Dichte oder den Reibungskoeffizienten des Werkstücks 50 oder einen Teil der Aufnahmeverfügbarkeitsinformationen, und die erste Verarbeitungseinheit 112 kann das örtliche Merkmal entsprechend der von der Empfangseinheit 110 empfangenen Aufnahmebedingung ableiten.

Mit dieser Konfiguration kann die Informationsverarbeitungsvorrichtung 10 ein optimales lokales Merkmal ableiten, das auf die Aufnahmehand 31 oder das Werkstück 50 im Aufnahmezustand abgestimmt ist.
(3) Die Informationsverarbeitungsvorrichtung 10 gemäß (1) oder (2) umfasst ferner eine erste Aufnahmekandidaten-Berechnungseinheit 113, die so konfiguriert ist, dass sie automatisch mindestens einen Kandidaten für die Aufnahmeposition des Werkstücks 50 basierend auf dem abgeleiteten lokalen Merkmal berechnet.
Mit dieser Konfiguration kann gemäß der Informationsverarbeitungsvorrichtung 10 die Aufnahmehand 31 das Werkstück 50 reibungslos berühren, wobei die Oberfläche eines Sauggreifers oder die Oberflächen eines Paares von Greiffingern, die das Werkstück 50 berühren, gut passen, während ein Luftaustritt und eine Verschiebung der Position des Werkstücks 50 durch die Aufnahmehand 31 verhindert werden, wenn die Aufnahmehand 31 das Werkstück 50 an der Aufnahmeposition aufnimmt. Die Aufnahmehand 31 kann das Werkstück 50 in einer Position nahe dem Schwerpunkt des Werkstücks berühren und aufnehmen, eine Drehbewegung um den Schwerpunkt des Werkstücks beim Anheben kann verhindert werden, und die Aufnahmehand 31 kann das Werkstück 50 stabil aufnehmen, ohne mit einem umgebenden Hindernis wie einem Werkstück 50 oder einer Wand eines Behälters 60 zu kollidieren.
(4) In der Informationsverarbeitungsvorrichtung 10 gemäß (3) kann die erste Aufnahmekandidaten-Berechnungseinheit 113 automatisch einen Kandidaten für die Aufnahmehaltung des Werkstücks auf Basis des abgeleiteten lokalen Merkmals berechnen.
Mit dieser Konfiguration kann gemäß der Informationsverarbeitungsvorrichtung 10 das Fallenlassen des Werkstücks 50, das durch eine Drehbewegung um den Schwerpunkt des Werkstücks 50 beim Anheben desselben aufgrund des Kontakts der Aufnahmehand 31 mit dem Werkstück 50 an einer unbeabsichtigten Position verursacht wird, verhindert werden, und die Aufnahmehand 31 kann das Werkstück 50 stabil aufnehmen.
(5) In der Informationsverarbeitungsvorrichtung 10 gemäß (3) oder (4) kann die erste Aufnahmekandidaten-Berechnungseinheit 113 einen Aufnahmepositionskandidaten und/oder den von der ersten Aufnahmekandidaten-Berechnungseinheit 113 berechneten Aufnahmepositionskandidaten korrigieren, indem sie eine Interferenzprüfungsfunktion oder eine Kollisionsberechnungsfunktion der Vorverarbeitungseinheit 111 verwendet.
Mit dieser Konfiguration kann die Aufnahmehand 31 nach Angaben der Informationsverarbeitungsvorrichtung 10 das Zielwerkstück 50 zuverlässiger aufnehmen, ohne bei der Aufnahme mit einem umgebenden Hindernis wie anderen Werkstücken 50 oder einer Behälterwand zu kollidieren.
(6) Die Informationsverarbeitungsvorrichtung 10 gemäß einem der Punkte (3) bis (5) kann ferner eine zweite Aufnahmekandidaten-Berechnungseinheit 114 enthalten. Die Vorverarbeitungseinheit 111 kann zufällig zumindest einen Überlappungszustand einer Vielzahl von Werkstücken 50 unter Verwendung des 3D-CAD-Modells des Werkstücks erzeugen, und die zweite Aufnahmekandidaten-Berechnungseinheit 114 kann automatisch, zumindest auf Basis eines von der ersten Aufnahmekandidaten-Berechnungseinheit 113 berechneten Aufnahmepositionskandidaten, zumindest eine Aufnahmeposition der Vielzahl von Werkstücken 50 im Überlappungszustand erzeugen.
Mit dieser Konfiguration kann die Informationsverarbeitungsvorrichtung 10 günstigere Aufnahmepositionen der Vielzahl von Werkstücken 50 berechnen, ohne Interferenz mit einem umgebenden Hindernis im Überlappungszustand der Vielzahl von Werkstücken 5.
(7) In der Informationsverarbeitungsvorrichtung 10 gemäß (6) kann die zweite Aufnahmekandidaten-Berechnungseinheit 114 unter Verwendung einer Interferenzprüfungsfunktion oder einer Kollisionsberechnungsfunktion der Vorverarbeitungseinheit 111 zumindest eine Aufnahmeposition der Vielzahl von Werkstücken 50 korrigieren, die von der zweiten Aufnahmekandidaten-Berechnungseinheit 114 erzeugt wurde.
Mit dieser Konfiguration kann die Aufnahmehand 31 gemäß der Informationsverarbeitungsvorrichtung 10 das Werkstück 50 auch im Überlappungszustand der mehreren Werkstücke 50 zuverlässiger aufnehmen.
(8) Die Informationsverarbeitungsvorrichtung 10 gemäß (6) oder (7) kann ferner eine erste Trainingsdaten-Erzeugungseinheit 115 enthalten, die so konfiguriert ist, dass sie Trainingsdaten auf Basis eines zweidimensionalen Projektionsbildes, das aus dem Überlappungszustand der Vielzahl von Werkstücken 50 projiziert wird, die von der Vorverarbeitungseinheit 111 erzeugt wurden, und Informationen, die zumindest eine Aufnahmeposition der Vielzahl von Werkstücken enthalten, die von der zweiten Aufnahmekandidaten-Berechnungseinheit 114 erzeugt wurden, erzeugt.
Mit dieser Konfiguration kann die Informationsverarbeitungsvorrichtung 10 einen vorteilhaften Effekt ähnlich dem von (1) erzielen.
(9) Die Informationsverarbeitungsvorrichtung 10a gemäß (3) bis (5) kann ferner eine Bildgebungsvorrichtung 40, die so konfiguriert ist, dass sie eine Vielzahl von Bildern eines Bereichs erfasst, in dem sich das Werkstück 50 befindet, und eine zweite Verarbeitungseinheit 120 umfassen, die so konfiguriert ist, dass sie eine Abgleichsverarbeitung zwischen einem durch Bildverarbeitung für jedes der Vielzahl von Bildern extrahierten Merkmal und dem abgeleiteten lokalen Merkmal des 3D-CAD-Modells des Werkstücks 50 durchführt.
Mit dieser Konfiguration kann die Informationsverarbeitungsvorrichtung 10a jedes Merkmal auf den mehreren zweidimensionalen Bildern und das Merkmal des 3D-CAD-Modells des Werkstücks 50 miteinander assoziieren, und sie kann jedes Werkstück 50 auf den mehreren zweidimensionalen Bildern und das 3D-CAD-Modell des Werkstücks 50 miteinander assoziieren.
(10) Die Informationsverarbeitungsvorrichtung 10a gemäß (9) kann ferner eine dritte Aufnahmekandidaten-Berechnungseinheit 121 enthalten. Die dritte Aufnahmekandidaten-Berechnungseinheit 121 kann auf Basis eines von der zweiten Verarbeitungseinheit 120 erhaltenen Verarbeitungsergebnisses und mindestens eines von der ersten Aufnahmekandidaten-Berechnungseinheit 113 berechneten Aufnahmepositionskandidaten automatisch mindestens die Aufnahmeposition des Werkstücks 50 auf der Vielzahl der von der Bildgebungsvorrichtung 40 aufgenommenen Bilder erzeugen.
Mit dieser Konfiguration kann die Informationsverarbeitungsvorrichtung 10a eine vorteilhafte Wirkung ähnlich derjenigen von (6) erzielen.
(11) In der Informationsverarbeitungsvorrichtung 10a gemäß (10) kann die Vorverarbeitungseinheit 111 einen Überlappungszustand einer Vielzahl von Werkstücken 50, die der Vielzahl von zweidimensionalen Bildern entsprechen, basierend auf dem von der zweiten Verarbeitungseinheit 120 erhaltenen Verarbeitungsergebnis erzeugen. Die dritte Aufnahmekandidaten-Berechnungseinheit 121 kann unter Verwendung einer Interferenzprüfungsfunktion oder einer Kollisionsberechnungsfunktion der Vorverarbeitungseinheit 111 zumindest eine Aufnahmeposition der Vielzahl von Werkstücken 50 korrigieren, die von der dritten Aufnahmekandidaten-Berechnungseinheit 121 erzeugt wurde.
Mit dieser Konfiguration kann die Informationsverarbeitungsvorrichtung 10a eine vorteilhafte Wirkung ähnlich derjenigen von (7) erzielen.
(12) Die Informationsverarbeitungsvorrichtung 10a gemäß (10) oder (11) kann ferner eine zweite Trainingsdaten-Erzeugungseinheit 122 enthalten, die so konfiguriert ist, dass sie Trainingsdaten auf Basis der mehreren zweidimensionalen Bilder, die von der Bildgebungsvorrichtung 40 erfasst wurden, und Informationen, die mindestens einen Kandidaten für die Aufnahmeposition enthalten, der von der dritten Aufnahmekandidaten-Berechnungseinheit 121 erzeugt wurde, erzeugt.
Mit dieser Konfiguration kann die Informationsverarbeitungsvorrichtung 10a eine vorteilhafte Wirkung ähnlich der von (1) erzielen.
(13) Die Informationsverarbeitungsvorrichtung 10b gemäß einem der Punkte (3) bis (5) kann ferner eine dreidimensionale Messmaschine 45 umfassen, die so konfiguriert ist, dass sie mehrere dreidimensionale Punktwolkendaten in einem Bereich erfasst, in dem sich das Werkstück 50 befindet, und eine dritte Verarbeitungseinheit 130, die so konfiguriert ist, dass sie eine Abgleichsverarbeitung zwischen jedem der mehreren dreidimensionalen Punktwolkendaten und dem 3D-CAD-Modell des Werkstücks 50 durchführt.
Mit dieser Konfiguration kann die Informationsverarbeitungsvorrichtung 10b ein Merkmal jedes der mehreren dreidimensionalen Punktwolkendaten und des 3D-CAD-Modells des Werkstücks 50 miteinander verknüpfen und kann jedes der mehreren dreidimensionalen Punktwolkendaten und das 3D-CAD-Modell des Werkstücks 50 miteinander verknüpfen.
(14) Die Informationsverarbeitungsvorrichtung 10b gemäß (13) kann ferner eine vierte Aufnahmekandidaten-Berechnungseinheit 131 enthalten. Die vierte Aufnahmekandidaten-Berechnungseinheit 131 kann auf Basis eines von der dritten Verarbeitungseinheit 130 erhaltenen Verarbeitungsergebnisses und mindestens eines von der ersten Aufnahmekandidaten-Berechnungseinheit 113 berechneten Aufnahmepositionskandidaten automatisch mindestens die Aufnahmeposition des Werkstücks 50 auf den mehreren von der dreidimensionalen Messmaschine 45 erfassten dreidimensionalen Punktwolkendaten erzeugen.
Mit dieser Konfiguration kann die Informationsverarbeitungsvorrichtung 10b eine vorteilhafte Wirkung ähnlich derjenigen von (6) erzielen.
(15) In der Informationsverarbeitungsvorrichtung 10b gemäß (14) kann die vierte Aufnahmekandidaten-Berechnungseinheit 131 basierend auf den dreidimensionalen Punktwolkendaten, die von der dreidimensionalen Messmaschine 45 erfasst wurden, zumindest eine Aufnahmeposition einer Vielzahl von Werkstücken 50 korrigieren, die von der vierten Aufnahmekandidaten-Berechnungseinheit 131 unter Verwendung einer Interferenzprüfungsfunktion oder einer Kollisionsberechnungsfunktion der Vorverarbeitungseinheit 111 erzeugt wurde.
Mit dieser Konfiguration kann die Informationsverarbeitungsvorrichtung 10b eine vorteilhafte Wirkung ähnlich der von (7) erzielen.
(16) Die Informationsverarbeitungsvorrichtung 10b gemäß (14) oder (15) kann ferner eine dritte Trainingsdaten-Erzeugungseinheit 132 enthalten, die so konfiguriert ist, dass sie Trainingsdaten auf Basis der dreidimensionalen Punktwolkendaten, die von der dreidimensionalen Messmaschine 45 erfasst wurden, und Informationen, die mindestens einen Kandidaten für die Aufnahmeposition enthalten, der von der vierten Aufnahmekandidaten-Berechnungseinheit 131 erzeugt wurde, erzeugt.
Mit dieser Konfiguration kann die Informationsverarbeitungsvorrichtung 10b eine vorteilhafte Wirkung ähnlich der von (1) erzielen.
(17) Das Informationsverarbeitungsverfahren der vorliegenden Offenbarung ist ein Informationsverarbeitungsverfahren zur Implementierung durch einen Computer zur Verarbeitung von Informationen zum Aufnehmen eines Werkstücks 50 mittels einer Aufnahmehand 31 eines Roboters 30, wobei das Informationsverarbeitungsverfahren einen Empfangsschritt zum Empfangen einer Aufnahmebedingung, die Informationen über die Aufnahmehand 31 oder das Werkstück 50 enthält, einen Vorverarbeitungsschritt des Ableitens zumindest der Position des Schwerpunkts des Werkstücks 50 auf Basis eines 3D-CAD-Modells des Werkstücks 50, und einen ersten Verarbeitungsschritt des Ableitens eines lokalen Merkmals des 3D-CAD-Modells des Werkstücks 50 gemäß der Aufnahmebedingung auf Basis der abgeleiteten Position des Schwerpunkts des Werkstücks beinhaltet.
Mit Hilfe der Informationsverarbeitungsmethode kann ein vorteilhafter Effekt ähnlich dem von (1) erzielt werden.
Bezugszeichenliste

1, 1A: Roboter-System
10, 10a, 10b: Informationsverarbeitungsvorrichtung
11: Steuereinheit
110: Empfangseinheit
111: Vorverarbeitungseinheit
112: Erste Verarbeitungseinheit
113: Erste Aufnahmekandidatenberechnungseinheit
114: Zweite Aufnahmekandidatenberechnungseinheit
115: Erste Trainingsdatenerzeugungseinheit
120: Zweite Verarbeitungseinheit
121: Dritte Aufnahmekandidatenberechnungseinheit
122: Zweite Trainingsdatenerzeugungseinheit
130: Dritte Verarbeitungseinheit
131: Vierte Aufnahmekandidatenberechnungseinheit
132: Dritte Trainingsdatenerzeugungseinheit
12: Eingabeeinheit
13: Anzeigeeinheit
14: Speichereinheit
20: Robotersteuervorrichtung
30: Roboter
31: Aufnahmehand
40: Bildgebungsvorrichtung
45: Dreidimensionale Messmaschine
50: Werkstück
60: Behälter

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 201956966 [0004]

Claims

Informationsverarbeitungsvorrichtung zur Verarbeitung von Informationen zum Aufnehmen eines Werkstücks mittels einer Hand, umfassend: eine Empfangseinheit, die so konfiguriert ist, dass sie einen Aufnahmezustand mit Information über die Hand oder das Werkstück empfängt; eine Vorverarbeitungseinheit, die so konfiguriert ist, dass sie mindestens eine Position eines Schwerpunkts des Werkstücks basierend auf einem 3D-CAD-Modell des Werkstücks ableitet; und eine erste Verarbeitungseinheit, die konfiguriert ist, um ein lokales Merkmal des 3D-CAD-Modells des Werkstücks gemäß der Aufnahmebedingung auf Basis der abgeleiteten Position des Schwerpunkts des Werkstücks abzuleiten.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Empfangseinheit die Aufnahmebedingung empfängt, die mindestens eine der folgenden Informationen enthält: Informationen über eine Form und eine Größe eines Teils der Hand, die das Werkstück berührt, Informationen über einen beweglichen Bereich der Hand, Verteilungsinformationen über ein Material oder eine Dichte oder einen Reibungskoeffizienten des Werkstücks oder einen Teil der Aufnahmeverfügbarkeitsinformationen, und die erste Verarbeitungseinheit das lokale Merkmal entsprechend der von der Empfangseinheit empfangenen Aufnahmebedingung ableitet.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1 oder 2, weiter umfassend: eine erste Aufnahmekandidaten-Berechnungseinheit, die so konfiguriert ist, dass sie automatisch mindestens einen Kandidaten für eine Aufnahmeposition des Werkstücks auf Basis des abgeleiteten lokalen Merkmals berechnet.
Informationsverarbeitungsvorrichtung gemäß Anspruch 3, wobei die erste Aufnahmekandidaten-Berechnungseinheit automatisch einen Kandidaten für eine Aufnahmehaltung des Werkstücks auf Basis des abgeleiteten lokalen Merkmals berechnet.
Informationsverarbeitungsvorrichtung gemäß Anspruch 3 oder 4, wobei die erste Aufnahmekandidaten-Berechnungseinheit unter Verwendung einer Interferenzprüfungsfunktion oder einer Kollisionsberechnungsfunktion der Vorverarbeitungseinheit einen Aufnahmepositionskandidaten und/oder den Aufnahmepositionskandidaten, der von der ersten Aufnahmekandidaten-Berechnungseinheit berechnet wurde, korrigiert.
Informationsverarbeitungsvorrichtung gemäß einem der Ansprüche 3 bis 5, weiter umfassend: eine zweite Aufnahmekandidaten-Berechnungseinheit, wobei die Vorverarbeitungseinheit zufällig mindestens einen Überlappungszustand einer Vielzahl von Werkstücken unter Verwendung des 3D-CAD-Modells des Werkstücks erzeugt, und die zweite Aufnahmekandidaten-Berechnungseinheit zumindest auf Basis eines von der ersten Aufnahmekandidaten-Berechnungseinheit berechneten Aufnahmepositionskandidaten automatisch zumindest eine Aufnahmeposition der Vielzahl von Werkstücken im Überlappungszustand erzeugt.
Informationsverarbeitungsvorrichtung gemäß Anspruch 6, wobei die zweite Aufnahmekandidaten-Berechnungseinheit unter Verwendung einer Interferenzprüfungsfunktion oder einer Kollisionsberechnungsfunktion der Vorverarbeitungseinheit mindestens eine Aufnahmeposition der Vielzahl von Werkstücken korrigiert, die von der zweiten Aufnahmekandidaten-Berechnungseinheit erzeugt wurde.
Informationsverarbeitungsvorrichtung nach Anspruch 6 oder 7, weiter umfassend: eine erste Trainingsdaten-Erzeugungseinheit, die so konfiguriert ist, dass sie Trainingsdaten auf Basis eines zweidimensionalen Projektionsbildes, das aus dem Überlappungszustand der Vielzahl von Werkstücken projiziert wird, die von der Vorverarbeitungseinheit erzeugt wurden, und Informationen, die mindestens eine Aufnahmeposition der Vielzahl von Werkstücken enthalten, die von der zweiten Aufnahmekandidaten-Berechnungseinheit erzeugt wurden, erzeugt.
Informationsverarbeitungsvorrichtung gemäß einem der Ansprüche 3 bis 5, weiter umfassend: eine Informationserfassungseinheit, die so konfiguriert ist, dass sie eine Vielzahl von Bildern eines Bereichs erfasst, in dem sich das Werkstück befindet; und eine zweite Verarbeitungseinheit, die so konfiguriert ist, dass sie eine Abgleichsverarbeitung zwischen einem durch Bildverarbeitung für jedes der Vielzahl von Bildern extrahierten Merkmal und dem abgeleiteten lokalen Merkmal des 3D-CAD-Modells des Werkstücks durchführt.
Informationsverarbeitungsvorrichtung gemäß Anspruch 9, weiter umfassend: eine dritte Aufnahmekandidaten-Berechnungseinheit, wobei die dritte Aufnahmekandidaten-Berechnungseinheit automatisch auf Basis eines von der zweiten Verarbeitungseinheit erhaltenen Verarbeitungsergebnisses und mindestens eines von der ersten Aufnahmekandidaten-Berechnungseinheit berechneten Aufnahmepositionskandidaten mindestens eine Aufnahmeposition des Werkstücks auf den von der Informationserfassungseinheit erfassten Bildern erzeugt.
Informationsverarbeitungsvorrichtung gemäß Anspruch 10, wobei die Vorverarbeitungseinheit einen Überlappungszustand einer Vielzahl von Werkstücken entsprechend den Bildern auf Basis des von der zweiten Verarbeitungseinheit erhaltenen Verarbeitungsergebnisses erzeugt, und die dritte Aufnahmekandidaten-Berechnungseinheit unter Verwendung einer Interferenzprüfungsfunktion oder einer Kollisionsberechnungsfunktion der Vorverarbeitungseinheit mindestens eine Aufnahmeposition der Vielzahl von Werkstücken, die von der dritten Aufnahmekandidaten-Berechnungseinheit erzeugt wurde, korrigiert.
Informationsverarbeitungsvorrichtung gemäß Anspruch 10 oder 11, weiter umfassend: eine zweite Trainingsdaten-Erzeugungseinheit, die so konfiguriert ist, dass sie Trainingsdaten auf Basis der von der Bilderfassungseinheit erfassten Bilder und Informationen erzeugt, die mindestens einen Kandidaten für die Aufnahmeposition enthalten, der von der dritten Aufnahmekandidaten-Berechnungseinheit erzeugt wurde.
Informationsverarbeitungsvorrichtung gemäß einem der Ansprüche 3 bis 5, weiter umfassend: eine Informationserfassungseinheit, die so konfiguriert ist, dass sie mehrere dreidimensionale Punktwolkendaten in einem Bereich erfasst, in dem sich das Werkstück befindet; und eine dritte Verarbeitungseinheit, die so konfiguriert ist, dass sie eine Abgleichsverarbeitung zwischen jedem der mehreren Teile der dreidimensionalen Punktwolkendaten und dem 3D-CAD-Modell des Werkstücks durchführt.
Informationsverarbeitungsvorrichtung gemäß Anspruch 13, weiter umfassend: eine vierte Aufnahmekandidaten-Berechnungseinheit, wobei die vierte Aufnahmekandidaten-Berechnungseinheit auf Basis eines von der dritten Verarbeitungseinheit erhaltenen Verarbeitungsergebnisses und mindestens eines von der ersten Aufnahmekandidaten-Berechnungseinheit berechneten Aufnahmepositionskandidaten automatisch mindestens eine Aufnahmeposition des Werkstücks auf den von der Informationserfassungseinheit erfassten dreidimensionalen Punktwolkendaten erzeugt.
Informationsverarbeitungsvorrichtung gemäß Anspruch 14, wobei die vierte Aufnahmekandidaten-Berechnungseinheit, basierend auf den dreidimensionalen Punktwolkendaten, mindestens eine Aufnahmeposition einer Vielzahl von Werkstücken, die durch die vierte Aufnahmekandidaten-Berechnungseinheit erzeugt wurden, unter Verwendung einer Interferenzprüfungsfunktion oder einer Kollisionsberechnungsfunktion der Vorverarbeitungseinheit korrigiert.
Informationsverarbeitungsvorrichtung nach Anspruch 14 oder 15, weiter umfassend: eine dritte Trainingsdaten-Erzeugungseinheit, die so konfiguriert ist, dass sie Trainingsdaten auf Basis der dreidimensionalen Punktwolkendaten, die von der Informationserfassungseinheit erfasst wurden, und Informationen, die mindestens einen Kandidaten für die Aufnahmeposition enthalten, der von der vierten Aufnahmekandidaten-Berechnungseinheit erzeugt wurde, erzeugt.
Informationsverarbeitungsverfahren zur Implementierung durch einen Computer zur Verarbeitung von Informationen zum Aufnehmen eines Werkstücks mittels einer Hand, umfassend: einen Empfangsschritt zum Empfangen einer Aufnahmebedingung mit Informationen über die Hand oder das Werkstück; einen Vorverarbeitungsschritt des Ableitens mindestens einer Position eines Schwerpunkts des Werkstücks auf Basis eines 3D-CAD-Modells des Werkstücks; und einen ersten Verarbeitungsschritt der Ableitung eines lokalen Merkmals des 3D-CAD-Modells des Werkstücks gemäß der Aufnahmebedingung auf Basis der abgeleiteten Position des Schwerpunkts des Werkstücks.