DE102019119319A1

DE102019119319A1 - Abtastsystem, Arbeitssystem, Verfahren zum Anzeigen von Augmented-Reality-Bildern, Verfahren zum Speichern von Augmented-Reality-Bildern und Programme dafür

Info

Publication number: DE102019119319A1
Application number: DE102019119319.2A
Authority: DE
Inventors: Masafumi OOBA
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2018-07-25
Filing date: 2019-07-17
Publication date: 2020-01-30
Anticipated expiration: 2039-07-18
Also published as: JP6856583B2; JP2020015128A; CN110784708B; US11328507B2; US10885340B2; US20200034621A1; US20210004598A1; DE102019119319B4; CN110784708A

Abstract

Das Abtastsystem ist mit einer Detektionseinrichtung 20, die verwendet wird, um eine Position eines Ziels O zu detektieren, und einer Steuerung 40 bereitgestellt, wobei zur Anzeige auf einer Anzeigeeinrichtung oder zur Projektion mittels einer Projektionsvorrichtung die Steuerung 40 ein Augmented-Reality-Bild erzeugt, das mindestens einen Typ der folgenden Informationen zeigt: mindestens eine Einstellung in Bezug auf die Detektion des Ziels O unter Verwendung der Detektionseinrichtung 20, eine Einstellung einer Bewegungsvorrichtung 10, und eine Einstellung eines Roboters 40, der Arbeit an dem Ziel O ausführt; wobei eine Position des Ziels O von der Steuerung 40 erkannt wird; ein Ergebnis der Detektion des Ziels O; einen Arbeitsplan der Bewegungsvorrichtung 10; einen Arbeitsplan des Roboters 40; ein Bestimmungsergebnis der Steuerung 40; und einen Parameter in Bezug auf das Ziel O.

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft ein Abtastsystem, ein Arbeitssystem, ein Verfahren zum Anzeigen von Augmented-Reality-Bildern, ein Verfahren zum Speichern von Augmented-Reality-Bildern und Programme dafür.
ALLGEMEINER STAND DER TECHNIK
Im Stand der Technik gibt es ein bekanntes Arbeitssystem, das mit einem visuellen Sensor zum Detektieren der Position eines Zielobjekts versehen ist, das von einer Bewegungsvorrichtung bewegt wird, und einem Roboter, der das Aufnehmen des Zielobjekts auf der Basis des Detektionsergebnisses des visuellen Sensors ausführt (siehe beispielsweise PTL 1).
Außerdem gibt es ein bekanntes System, das die Strecke einer gelehrten Bewegung eines Roboters auf einer Anzeigeeinrichtung auf der Basis eines 4D-Modells des Roboters und der Position des Standpunkts eines Bedieners auf 4D-Koordinaten anzeigt (siehe beispielsweise PTL 2).
ENTGEGENHALTUNGSLISTE
PATENTLITERATUR

PTL 1 Japanische nicht geprüfte Patentanmeldung, Veröffentlichung Nr. 2005-111607
PTL 2 Japanische nicht geprüfte Patentanmeldung, Veröffentlichung Nr. 2017-100244

KURZDARSTELLUNG DER ERFINDUNG
TECHNISCHE AUFGABE
In einem System, in dem ein Roboter Arbeit an einem Zielobjekt ausführt, das von einer Bewegungsvorrichtung bewegt wird, oder einem Zielobjekt, das sich bewegt, wenn die Arbeit an dem Zielobjekt nicht erfolgreich von dem Roboter ausgeführt wird, ist es notwendig, die Ursache davon zu überprüfen. Zum Zwecke dieser Überprüfung ist es derzeit notwendig, die gesamte Verarbeitung in einer Steuerung aufzuzeichnen, die den Roboter steuert, und die aufgezeichnete Verarbeitung zu dechiffrieren. Weil die auf diese Weise aufgezeichnete Verarbeitung häufig in der Form von Textdaten vorliegt, dauert es eine lange Zeit, um die Ursache zu untersuchen. Alternativ ist es notwendig, eine dedizierte Analysesoftware vorzubereiten, um die Analyse auszuführen, wodurch die Kosten erhöht werden. Außerdem ist es sogar mit der dedizierten Analysesoftware schwierig gewesen, das Phänomen intuitiv zu verstehen.
Andererseits ist es mit dem Arbeitssystem, obgleich das Koordinatensystem der Bewegungsvorrichtung, der Arbeitsbereich des Roboters, die Position des visuellen Sensors usw. in einer Steuerung des Roboters eingestellt sind, nicht möglich, die Beziehungen zwischen diesen eingestellten Positionen und der Bewegungsvorrichtung, dem Roboter, dem visuellen Sensor usw. in realem Raum intuitiv zu erkennen. Deshalb hat es Fälle gegeben, in denen die Herstellung begonnen wurde, ohne einen Einstellungsfehler zu kennen. Folglich sind Störungen zwischen dem Roboter und den Peripheriegeräten, Versagen des Entladens des Zielobjekts von dem Roboter usw. aufgetreten.
Außerdem war es in dem Fall, in dem der Roboter keine Arbeit an dem Zielobjekt ausgeführt hat, nicht möglich, zu bestimmen, ob die Ursache der Messung von verschiedenen Sensoren oder der Berechnung der Position des Zielobjekts geschuldet war, und daher erforderte die Anpassung eine große Menge an Zeit.
Außerdem benötigt sogar ein Bediener, der mit der Bedienung des Roboters sehr vertraut ist, manchmal eine lange Zeit, um die Einstellung einer Robotersteuerung, indem er beispielsweise ein Lehrbedienfeld verwendet, die Einstellung des Koordinatensystems und die Einstellung des Arbeitsbereichs des Roboters auszuführen, und ein Bediener, der nicht in der Bedienung des Roboters ausgebildet ist, benötigt eine noch längere Zeit, um diese Aufgabe auszuführen.
Die vorliegende Erfindung ist angesichts der zuvor beschriebenen Umstände gemacht worden. Eine Aufgabe der vorliegenden Erfindung ist es, ein Abtastsystem, ein Arbeitssystem, ein Verfahren zum Anzeigen eines Augmented-Reality-Bilds, ein Verfahren zum Speichern eines Augmented-Reality-Bilds und Programme dafür bereitzustellen, mit denen es möglich ist, die Untersuchung von Ursachen für den Erfolg/das Versagen des Betriebs eines Systems zu ermöglichen, das ein Zielobjekt detektiert, das Überprüfen der Einstellung des Systems zu ermöglichen oder das Ausführen der Einstellung des Systems auszuführen, und Zustandsänderungen und Berechnungsergebnisse zu visualisieren.
LÖSUNG DER AUFGABE
Um die zuvor beschriebene Aufgabe zu erfüllen, stellt die vorliegende Erfindung die folgenden Lösungen bereit.
Ein Abtastsystem gemäß einem ersten Aspekt der vorliegenden Erfindung umfasst: eine Detektionseinrichtung, die verwendet wird, um mindestens eine Position eines Ziels zu detektieren, das von einem Bewegungsmittel zum Bewegen des Ziels bewegt wird; und eine Steuerung, wobei die Steuerung zur Anzeige auf einer Anzeigeeinrichtung oder zur Projektion mittels einer Projektionsvorrichtung ein Augmented-Reality-Bild erzeugt, das mindestens einen Typ der folgenden Informationen anzeigt: mindestens eine, eine Einstellung in Bezug auf die Detektion des Ziels, die unter Verwendung der Detektionseinrichtung ausgeführt wird, eine Einstellung des Bewegungsmittels, eine Einstellung einer Arbeitsmaschine, die Arbeit an dem Ziel ausführt, was Einstellungen sind, die von der Steuerung erkannt werden; eine Position des Ziels, das basierend auf einer Basis der Einstellungen von der Steuerung erkannt wird; ein Ergebnis der Detektion des Ziels, die unter Verwendung der Detektionseinrichtung ausgeführt wird, einen Arbeitsplan des Bewegungsmittels, einen Arbeitsplan der Arbeitsmaschine, ein Bestimmungsergebnis der Steuerung in Bezug auf die Ausführung der Arbeit, die von der Arbeitsmaschine ausgeführt wird, und einen Parameter in Bezug auf das Ziel, das von der Steuerung erkannt wird.
Nachfolgend gibt es Fälle, in denen das „Augmented-Reality-Bild“ als ein „AR-Bild“ bezeichnet ist.
Gemäß diesem Aspekt werden die AR-Bilder der Einstellungen in Bezug auf die Detektion des Ziels, die unter Verwendung der Detektionseinrichtung ausgeführt wird, die Einstellung des Bewegungsmittels, die Einstellung der Arbeitsmaschine, die die Arbeit an dem Ziel ausführt usw., die von der Steuerung erkannt werden, erzeugt, um von einer Anzeigeeinrichtung angezeigt oder von einer Projektionseinrichtung projiziert zu werden. Beispielsweise werden ein AR-Bild, das den Detektionsbereich der Detektionseinrichtung zeigt, ein AR-Bild, das die Übertragungsrichtung des Bewegungsmittels zeigt, und ein AR-Bild, das den Arbeitsbereich der Arbeitsmaschine zeigt, usw. erzeugt. Entsprechend ist es für einen Bediener möglich, diese Informationspunkte einfach zu erkennen.
Außerdem ist es gemäß diesem Aspekt ebenfalls für den Bediener möglich, die Position des Ziels, das von der Steuerung basierend auf den Einstellungen erkannt wird, das Ergebnis der Detektion des Ziels, die unter Verwendung der Detektionseinrichtung ausgeführt wird, den Arbeitsplan des Bewegungsmittels, den Arbeitsplan der Arbeitsmaschine, das Bestimmungsergebnis der Steuerung in Bezug auf die Ausführung der Arbeit, die von der Arbeitsmaschine ausgeführt wird, den Parameter in Bezug auf das Ziel, das von der Steuerung erkannt wird usw. visuell zu erkennen, und entsprechend ist es für den Bediener möglich, einfach zu wissen, welche Verarbeitung aktuell in der Steuerung ausgeführt wird.
Das visuelle Erkennen der Einstellungen, der Verarbeitung usw. in der Steuerung auf diese Weise ermöglicht die Untersuchung von Ursachen für den Erfolg/das Versagen des Betriebs des Systems.
Gemäß dem zuvor beschriebenen Aspekt projiziert die Projektionseinrichtung vorzugsweise das Augmented-Reality-Bild auf realen Raum, oder die Anzeigeeinrichtung zeigt das Augmented-Reality-Bild derart an, dass das Augmented-Reality-Bild zusammen mit einem Realraumbild oder einem realen Raum angesehen werden kann.
In dem Fall, in dem die AR-Bilder auf realen Raum projiziert werden, ist es für den Bediener möglich, die Einstellungen, Verarbeitung usw. in der Steuerung in realem Raum visuell zu erkennen, was für eine Diskussion zwischen mehreren Personen geeignet ist. In dem Fall, in dem die AR-Bilder auf der Anzeigeeinrichtung angezeigt werden, sodass die AR-Bilder zusammen mit den Realraumbildern oder dem realen Raum angesehen werden können, ist es für den Bediener möglich, die Beziehung zwischen den AR-Bildern und dem realen Raum visuell zu erkennen, indem er die Anzeige an der Anzeigeeinrichtung einfach betrachtet, ohne das gesamte System ansehen zu müssen. Außerdem ist es in dem Fall möglich, in dem die Anzeigeeinrichtung die AR-Bilder zusammen mit den Realraumbildern anzeigt, die Situation einzuschätzen, selbst wenn der Bediener nicht an der Arbeitsstelle ist, was insbesondere für die Systemüberwachung geeignet ist. Das Hinzufügen der AR-Bilder zu realem Raum ist insbesondere in dem Fall geeignet, in dem die Arbeit ausgeführt wird, während die Arbeitsstelle tatsächlich betrachtet wird.
Gemäß dem zuvor beschriebenen Aspekt aktualisiert die Steuerung vorzugsweise, wenn die Arbeitsmaschine die Arbeit ausführt, das Augmented-Reality-Bild, das mindestens einen Typ der folgenden Informationen zeigt: die Position des Ziels, das von der Steuerung erkannt wird; das Ergebnis der Detektion des Ziels; den Arbeitsplan des Bewegungsmittels; den Arbeitsplan der Arbeitsmaschine; das Bestimmungsergebnis der Steuerung; und den Parameter in Bezug auf das Ziel.
Gemäß diesem Aspekt ist es, weil die AR-Bilder aktualisiert werden, um von einer Anzeigeeinrichtung angezeigt zu werden oder von einer Projektionsvorrichtung projiziert zu werden, für den Bediener möglich, dynamische Veränderungen der Einstellungen, Verarbeitung usw. der Steuerung in Bezug auf die AR-Bilder visuell zu erkennen.
Gemäß dem zuvor beschriebenen Aspekt, wobei die Steuerung die Arbeitsmaschine steuert, umfasst das Abtastsystem vorzugsweise überdies: eine Augmented-Reality-Bild-Manipulationseinheit, die das Auswählen von Verarbeitung ausführt, die mindestens eines der Augmented-Reality-Bilder, die auf der Anzeigeeinrichtung angezeigt oder von der Projektionsvorrichtung projiziert werden, gemäß einer Eingabe auswählt, die unter Verwendung einer vorbestimmten Eingabeeinrichtung gemacht wird, die Augmented-Reality-Bild-Manipulationseinheit, die Bewegungsverarbeitung ausführt, die das ausgewählte Augmented-Reality-Bild bewegt, das an der Anzeigeeinrichtung angezeigt oder von der Projektionsvorrichtung gemäß der Eingabe projiziert wird, die unter Verwendung der vorbestimmten Eingabeeinrichtung gemacht wird; und eine Einstellungsanpassungseinheit, die gemäß den Bewegungsinformationen des ausgewählten Augmented-Reality-Bilds einen Parameter ändert, der in der Steuerung eingestellt oder berechnet wird, um die Arbeitsmaschine zu steuern.
Gemäß diesem Aspekt bewegt der Bediener die AR-Bilder unter Verwendung der vorbestimmten Eingabeeinrichtung, und das Einstellungsanpassungsmittel ändert die Parameter, die in der Steuerung eingestellt oder berechnet werden. Entsprechend wird es für den Bediener möglich, die Einstellungen zum Steuern der Arbeitsmaschine, die auch für einen geschulten Bediener nützlich sind, intuitiv zu ändern, um die Einstellungsgenauigkeit und die Arbeitseffizienz zu verbessern.
Gemäß dem zuvor beschriebenen Aspekt erzeugt die Steuerung vorzugsweise eine Vielzahl der Augmented-Reality-Bilder, wobei die Anzeigeeinrichtung oder die Projektionsvorrichtung ein Augmented-Reality-Bild anzeigt oder projiziert, das von der Vielzahl von Augmented-Reality-Bildern gemäß einer Eingabe in eine vorbestimmte Eingabeeinheit ausgewählt wird.
Alternativ erzeugt die Steuerung die Augmented-Reality-Bilder in Echtzeit und zeichnet sie auf, und zeigt das Augmented-Reality-Bild, das von der Vielzahl von Augmented-Reality-Bildern zu dem Zeitpunkt oder einer Vielzahl von Augmented-Reality-Bildern aus der unmittelbaren Vergangenheit ausgewählt wird, gemäß der Eingabe in die vorbestimmte Eingabeeinheit oder dem Festlegen vorbestimmter Bedingungen in der Steuerung oder dem Sensor an.
Gemäß diesem Aspekt ist es für den Bediener möglich, das anzuzeigende AR-Bild unter Verwendung der Eingabe in die Eingabeeinheit oder der Bedingungseinstellung in Bezug auf die Steuerung oder den Sensor auszuwählen. Entsprechend wird es für den Bediener möglich, die Verarbeitung, Einstellungen usw. der Steuerung zu einem willkürlichen Zeitpunkt oder zurzeit des Auftretens des Phänomens zu erkennen, was extrem nützlich zum Ermöglichen der Untersuchung der Ursachen für den Erfolg/das Versagen des Betriebs des Systems und zum Verbessern der Kapazitätsnutzung des Systems ist.
Gemäß dem zuvor beschriebenen Aspekt ist vorzugsweise eine Speichereinheit vorgesehen, die das Augmented-Reality-Bild speichert, das von der Steuerung zusammen mit einem entsprechenden Realraumbild erzeugt wird.
Gemäß diesem Aspekt werden die AR-Bilder zusammen mit den entsprechenden Realraumbildern gespeichert. Entsprechend ist es für den Bediener möglich, die gespeicherten AR-Bilder zusammen mit den Realraumbildern wiederzugeben, was extrem vorteilhaft zum Ermöglichen der Überprüfung der Einstellungen des Systems, zum Ermöglichen der Einstellung des Systems und zum Ermöglichen der Untersuchung von Ursachen für den Erfolg/das Versagen des Betriebs des Systems ist.
Gemäß dem zuvor beschriebenen Aspekt ist vorzugsweise eine Wiedergabeeinheit vorgesehen, die das Augmented-Reality-Bild wiedergibt, das in der Speichereinheit gespeichert ist, oder das Augmented-Reality-Bild zusammen mit dem Realraumbild wiedergibt.
Gemäß diesem Aspekt ist es für den Bediener möglich, mittels des Wiedergabemittels die gespeicherten AR-Bilder an einem willkürlichen Standort zusammen mit den Realraumbildern einfach wiederzugeben.
Alternativ ist es möglich, vor Ort Einstellungen zum Verbessern der Kapazitätsnutzung auszuführen, indem die Augmented-Reality-Bilder wiedergegeben werden, während die Vorrichtungen in den realen Räumen betrachtet werden.
Ein Abtastsystem gemäß einem zweiten Aspekt der vorliegenden Erfindung umfasst: eine Detektionseinrichtung, die verwendet wird, um mindestens eine Position eines Ziels zu detektieren, das von einem vorbestimmten Bewegungsmittel bewegt wird; eine Steuerung, die eine Arbeitsmaschine, die Arbeit an dem Ziel ausführt, unter Verwendung des Detektionsergebnisses der Detektionseinrichtung steuert; eine Augmented-Reality-Bild-Erzeugungseinheit, die, wenn die Arbeitsmaschine die Arbeit ausführt, erfolgreich Augmented-Reality-Bilder erzeugt, die mindestens einen Typ der folgenden Informationen zeigen: die Position des Ziels, das von der Steuerung basierend auf dem Detektionsergebnis der Detektionseinrichtung erkannt wird, einen Arbeitsplan des Bewegungsmittels, einen Arbeitsplan der Arbeitsmaschine, ein Bestimmungsergebnis der Steuerung in Bezug auf die Ausführung der Arbeit, die von der Arbeitsmaschine ausgeführt wird, und einen Parameter in Bezug auf das Ziel, das von der Steuerung erkannt wird; und eine Speichereinheit, die die Augmented-Reality-Bilder speichert, die von der Augmented-Reality-Bild-Erzeugungseinheit zusammen mit den entsprechenden Realraumbildern erzeugt werden.
Gemäß diesem Aspekt werden die AR-Bilder zusammen mit den entsprechenden Realraumbildern gespeichert. Entsprechend ist es für den Bediener möglich, die gespeicherten AR-Bilder zusammen mit den Realraumbildern wiederzugeben, was extrem vorteilhaft zum Ermöglichen der Überprüfung der Einstellungen des Systems, zum Ermöglichen der Einstellung des Systems und zum Ermöglichen der Untersuchung von Ursachen für den Erfolg/das Versagen des Betriebs des Systems ist.
Gemäß dem zuvor beschriebenen Aspekt ist vorzugsweise eine Wiedergabeeinheit vorgesehen, die die Augmented-Reality-Bilder wiedergibt, die in der Speichereinheit gespeichert sind, oder die Augmented-Reality-Bilder zusammen mit dem Realraumbild wiedergibt.
Ein Abtastsystem gemäß einem dritten Aspekt der vorliegenden Erfindung ist versehen mit: einer Detektionseinrichtung, die verwendet wird, um eine Vielzahl von Zielen zu detektieren, die von einem vorbestimmten Bewegungsmittel bewegt werden; einer Zieldetektionseinheit, die die Bildverarbeitung zum Detektieren der Ziele auf die Bilddaten anwendet, die von der Detektionseinrichtung erhalten werden; einer Augmented-Reality-Bild-Erzeugungseinheit, die für einen Kandidaten aus einer Vielzahl von Kandidaten, die in dem verarbeiteten Bild erscheinen, auf das die Bildverarbeitung angewandt worden ist, ein Augmented-Reality-Kandidatenbild erzeugt, das dem Kandidaten entspricht, in dem ein vorbestimmter Parameter gleich oder größer ist als ein Detektionsschwellenwert, und erzeugt ein Augmented-Reality-Kandidatenbild, das einem Kandidaten aus einer Vielzahl von Kandidaten entspricht, in dem der vorbestimmte Parameter gleich oder größer ist als der Detektionschwellenwert und gleich oder größer als ein Detektionskandidaten-Schwellenwert; und einer Anzeigeeinrichtung oder einer Projektionsvorrichtung, die das Augmented-Reality-Bild und das Augmented-Reality-Kandidatenbild anzeigt oder projiziert.
Gemäß diesem Aspekt wird nicht nur das AR-Bild, das dem Kandidaten entspricht, in dem der vorbestimmte Parameter gleich oder größer ist als der Detektionschwellenwert, sondern auch das AR-Kandidatenbild, das dem Kandidaten entspricht, in dem, obgleich der vorbestimmte Parameter geringer ist als der Detektionschwellenwert, der vorbestimmte Parameter gleich oder größer ist als der Detektionskandidaten-Schwellenwert, auf der Anzeigeeinrichtung in einer unterscheidbaren Form wie einer unterschiedlichen Farbe angezeigt. Entsprechend wird die Arbeit zum Erhöhen der Anzahl detektierter Ziele durch eine Änderung in dem Detektionschwellenwert, eine Änderung des Lichts (Beleuchtung) für die Detektion, Änderungen in anderen Einstellungen usw. ermöglicht, was auch das Überprüfen der Ergebnisse nach dem Ausführen dieser Arbeit ermöglicht.
Gemäß dem zuvor beschriebenen Aspekt ist das Augmented-Reality-Kandidatenbild vorzugsweise in einer Form erzeugt, die von dem Augmented-Reality-Bild unterscheidbar ist.
Gemäß diesem Aspekt ist es für den Bediener möglich, das Vorhandensein des Ziels entsprechend dem AR-Kandidatenbild einfach zu erkennen.
Es ist zu beachten, dass das erzeugte Augmented-Reality Bild in einer Speichervorrichtung gespeichert werden kann.
Gemäß dem zuvor beschriebenen Aspekt erzeugt die Augmented-Reality-Bild-Erzeugungseinheit vorzugsweise ein Augmented-Reality-Bild eines Detektionsergebnisses, das das Augmented-Reality-Kandidatenbild begleitet, und die Anzeigeeinrichtung oder die Projektionsvorrichtung zeigt das Augmented-Reality-Bild des Detektionsergebnisses zusammen mit dem Augmented-Reality-Kandidatenbild an oder projiziert es.
Gemäß diesem Aspekt wird es für den Bediener möglich, Parameter in Bezug auf die Detektionseinrichtung basierend auf dem Detektionsergebnis, das zusammen mit dem AR-Kandidatenbild angezeigt wird, einfacher einzustellen.
Ein Arbeitssystem gemäß einem vierten Aspekt der vorliegenden Erfindung ist mit dem Abtastsystem und einer Arbeitsmaschine bereitgestellt.
Gemäß einem fünften Aspekt der vorliegenden Erfindung wird ein Verfahren zum Anzeigen eines Augmented-Reality-Bilds bereitgestellt, das in einem System eingesetzt wird, in dem eine Steuerung eine Arbeitsmaschine oder eine vorbestimmte Vorrichtung basierend auf einem Detektionsergebnis eines Ziels steuert, das von einem Bewegungsmittel zum Bewegen des Ziels bewegt wird, wobei das Anzeigeverfahren für das Augmented-Reality-Bild umfasst: Erzeugen eines Augmented-Reality-Bilds von der Steuerung, das mindestens einen Typ der folgenden Informationen zeigt: mindestens eine, eine Einstellung in Bezug auf die Detektion des Ziels, eine Einstellung des Bewegungsmittels, eine Einstellung einer Arbeitsmaschine, wobei dies Einstellungen sind, die von der Steuerung erkannt werden; wobei eine Position des Ziels von der Steuerung basierend auf den Einstellungen erkannt wird; wobei ein Ergebnis der Detektion des Ziels unter Verwendung der Detektionseinrichtung ausgeführt wird; einen Arbeitsplan des Bewegungsmittels; einen Arbeitsplan der Arbeitsmaschine; ein Bestimmungsergebnis der Steuerung in Bezug auf die Ausführung der Arbeit, die von der Arbeitsmaschine ausgeführt wird; und einen Parameter in Bezug auf das Ziel, das von der Steuerung erkannt wird, wobei das Verfahren überdies umfasst: Anzeigen des erzeugten Augmented-Reality-Bilds auf einer Anzeigeeinrichtung oder Projizieren des Augmented-Reality-Bilds unter Verwendung einer Projektionsvorrichtung.
Gemäß einem sechsten Aspekt der vorliegenden Erfindung wird ein Verfahren zum Speichern eines Augmented-Reality-Bilds bereitgestellt, das in einem System eingesetzt wird, in dem eine Steuerung eine Arbeitsmaschine basierend auf einem Detektionsergebnis eines Ziels steuert, das von einem Bewegungsmittel zum Bewegen des Ziels bewegt wird, wobei das Verfahren zum Speichern eines Augmented-Reality-Bilds umfasst: Erzeugen nacheinander, wenn die Arbeitsmaschine die Arbeit ausführt, von Augmented-Reality-Bildern, die mindestens einen Typ der folgenden Informationen zeigen: eine Position des Ziels, das von der Steuerung basierend auf dem Detektionsergebnis erkannt wird; einen Arbeitsplan des Bewegungsmittels; einen Arbeitsplan der Arbeitsmaschine; ein Bestimmungsergebnis der Steuerung in Bezug auf die Ausführung der Arbeit, die von der Arbeitsmaschine ausgeführt wird; und einen Parameter in Bezug auf das Ziel, das von der Steuerung erkannt wird, und wobei das Verfahren überdies umfasst: Speichern der Augmented-Reality-Bilder, die in dem Augmented-Reality Bild-Erzeugungsschritt zusammen mit entsprechenden Realraumbildern erzeugt werden.
Ein siebter Aspekt der vorliegenden Erfindung ist ein Verfahren zum Anzeigen eines Augmented-Reality-Bilds, das in einem System eingesetzt wird, das Bildverarbeitung zum Detektieren einer Vielzahl von Zielen ausführt, die von einem Bewegungsmittel zum Bewegen der Ziele bewegt werden, wobei das Verfahren zum Anzeigen eines Augmented-Reality-Bilds umfasst: Erzeugen, für einen Kandidaten aus einer Vielzahl von Kandidaten, die in dem verarbeiteten Bild erscheinen, auf das die Bildverarbeitung angewandt worden ist, eines Augmented-Reality-Bilds, das dem Kandidaten entspricht, in dem ein vorbestimmter Parameter gleich oder größer ist als ein Detektionsschwellenwert, und Erzeugen eines Augmented-Reality-Kandidatenbilds, das einem Kandidaten aus der Vielzahl von Kandidaten entspricht, in dem der vorbestimmte Parameter geringer ist als der Detektionsschwellenwert und gleich oder größer als ein Detektionskandidaten-Schwellenwert; und Anzeigen des Augmented-Reality-Bilds und des Augmented-Reality-Kandidatenbilds.
Gemäß einem achten Aspekt der vorliegenden Erfindung wird ein Programm bereitgestellt, das in einem System eingesetzt wird, in dem eine Steuerung eine Arbeitsmaschine oder eine vorbestimmte Vorrichtung basierend auf einem Detektionsergebnis eines Ziels steuert, das von einem Bewegungsmittel zum Bewegen des Ziels bewegt wird, wobei das Speichermedium ein Programm speichert, das einen Computer veranlasst, Folgendes auszuführen: Erzeugen eines Augmented-Reality-Bilds, das mindestens einen Typ der folgenden Informationen zeigt: mindestens eine Einstellung in Bezug auf die Detektion des Ziels, eine Einstellung des Bewegungsmittels, eine Einstellung einer Arbeitsmaschine, was Einstellungen sind, die von der Steuerung erkannt werden; wobei eine Position des Ziels von der Steuerung basierend auf den Einstellungen erkannt wird; ein Ergebnis der Detektion des Ziels, die unter Verwendung der Detektionseinrichtung ausgeführt wird; einen Arbeitsplan des Bewegungsmittels; einen Arbeitsplan der Arbeitsmaschine; ein Bestimmungsergebnis der Steuerung in Bezug auf die Ausführung der Arbeit, die von der Arbeitsmaschine ausgeführt wird; und einen Parameter in Bezug auf das Ziel, das von der Steuerung erkannt wird; und Anzeigen des erzeugten Augmented-Reality-Bilds auf einer Anzeigeeinrichtung oder Projizieren des Augmented-Reality Bilds unter Verwendung einer Projektionsvorrichtung.
Gemäß einem neunten Aspekt der vorliegenden Erfindung wird ein Programm bereitgestellt, das in einem System eingesetzt wird, in dem eine Steuerung eine Arbeitsmaschine basierend auf einem Ergebnis der Detektion eines Ziels steuert, das von einem Bewegungsmittel zum Bewegen des Ziels bewegt wird, wobei das Speichermedium ein Programm speichert, das einen Computer veranlasst, Folgendes auszuführen: Erzeugen nacheinander, wenn die Arbeitsmaschine die Arbeit ausführt, von Augmented-Reality-Bildern, die mindestens einen Typ der folgenden Informationen zeigen: eine Position des Ziels, das von der Steuerung basierend auf dem Detektionsergebnis erkannt wird; einen Arbeitsplan des Bewegungsmittels; einen Arbeitsplan der Arbeitsmaschine; ein Bestimmungsergebnis der Steuerung in Bezug auf die Ausführung der Arbeit, die von der Arbeitsmaschine ausgeführt wird; und einen Parameter in Bezug auf das Ziel, das von der Steuerung erkannt wird; und Speichern der Augmented-Reality-Bilder, die in dem Erzeugungsschritt des Augmented-Reality-Bilds zusammen mit entsprechenden Realraumbildern erzeugt werden.
Gemäß einem zehnten Aspekt der vorliegenden Erfindung wird ein Programm bereitgestellt, das in einem System eingesetzt wird, das Bildverarbeitung zum Detektieren einer Vielzahl von Zielen ausführt, die von einem Bewegungsmittel zum Bewegen der Ziele bewegt werden, wobei das Speichermittel ein Programm speichert, das einen Computer veranlasst, Folgendes auszuführen: Erzeugen, für einen Kandidaten aus einer Vielzahl von Kandidaten, die in dem verarbeiteten Bild erscheinen, auf das die Bildverarbeitung angewandt worden ist, eines Augmented-Reality-Bilds, das dem Kandidaten entspricht, in dem ein vorbestimmter Parameter gleich oder größer ist als ein Detektionsschwellenwert, und Erzeugen eines Augmented-Reality-Kandidatenbilds, das einem Kandidaten aus der Vielzahl von Kandidaten entspricht, in dem der vorbestimmte Parameter geringer ist als der Detektionsschwellenwert und gleich oder größer als ein Detektionskandidaten-Schwellenwert; und einen Anzeigeschritt zum Anzeigen des Augmented-Reality-Bilds und des Augmented-Reality-Kandidatenbilds.
VORTEILHAFTE WIRKUNGEN DER ERFINDUNG
Die vorliegende Erfindung bietet dahingehend einen Vorteil, dass es möglich ist, die Untersuchung von Ursachen des Erfolgs/Versagens des Betriebs eines Systems zu ermöglichen, das ein Ziel detektiert, um das Überprüfen der Einstellung des Systems zu ermöglichen oder um das Einstellen des Systems zu ermöglichen, um die Wirksamkeit der Zustandsänderungserkennung zu verbessern und die Systemanpassung zu vereinfachen.
Figurenliste

1 ist eine Abbildung, die eine schematische Ausgestaltung eines Abtastsystems gemäß einer Ausführungsform der vorliegenden Erfindung und eine Beispielbewegung davon zeigt.
2 ist ein Blockdiagramm einer Steuerung des Abtastsystems dieser Ausführungsform.
3 ist eine Abbildung, die ein Beispiel eines Anzeigebilds einer Anzeigeeinrichtung des Abtastsystems dieser Ausführungsform zeigt.
4 ist eine Abbildung, die ein beispielhaftes Anzeigebild der Anzeigeeinrichtung des Abtastsystems dieser Ausführungsform zeigt.
5 ist eine Abbildung, die ein beispielhaftes Anzeigebild der Anzeigeeinrichtung des Abtastsystems dieser Ausführungsform zeigt.

BESCHREIBUNG DER AUSFÜHRUNGSFORM
Ein Abtastsystem gemäß einer Ausführungsform der vorliegenden Erfindung wird nachfolgend mit Bezug auf die Zeichnungen beschrieben.
Wie in 1 gezeigt, umfasst ein Abtastsystem gemäß dieser Ausführungsform: einer Bewegungsvorrichtung 10, die als ein Bewegungsmittel zum Übertragen eines Zielobjekts O als ein Objekt versehen ist; eine Detektionseinrichtung 20, die verwendet wird, um das Zielobjekt O zu detektieren, das von der Bewegungsvorrichtung 10 bewegt wird; einen Roboter 40, der eine Arbeitsmaschine ist, die vorbestimmte Arbeit an dem Zielobjekt O ausführt, das von der Bewegungsvorrichtung 10 bewegt wird; eine Steuerung 40, die den Roboter 40 steuert; und eine Augmented-Reality-Vorrichtung 60 (2). Das Abtastsystem dieser Ausführungsform ist außerdem ein Arbeitssystem, weil das Abtastsystem ein System ist, in dem der Roboter 40, der eine Arbeitsmaschine ist, die vorbestimmte Arbeit an dem abgetasteten Zielobjekt O ausführt.
Die Bewegungsvorrichtung 10 bewegt das Zielobjekt O als ein Ergebnis des Antreibens des Motors 11. Der Motor 11 ist mit einer Betriebspositions-Detektionseinrichtung 12 versehen, und die Betriebspositions-Detektionseinrichtung 12 detektiert nacheinander die Drehposition und den Rotationsbetrag einer Abtriebswelle des Motors 11. Die Betriebspositions-Detektionseinrichtung 12 ist beispielsweise ein Codierer, und Werte, die von der Betriebspositions-Detektionseinrichtung 12 detektiert werden, werden an die Steuerung 40 übermittelt.
Es ist zu beachten, dass die Betriebsposition des Zielobjekts O von der Detektionseinrichtung 20 detektiert werden kann, ohne einen Codierer zu verwenden.
Das Zielobjekt O kann ein beliebiger von verschiedenen Arten von Artikeln sein, wie ein Fahrzeugkörper, ein Rahmen, eine Komponente, ein Nahrungsmittelprodukt und ein Medizinprodukt. Es ist möglich, eine andere Bewegungsvorrichtung einzusetzen als die Bewegungsvorrichtung 10, die in 1 gezeigt ist, solange die Bewegungsvorrichtung 10 in der Lage ist, das Zielobjekt O zu übertragen.
Die Detektionseinrichtung 20 ist eine 2D-Kamera, eine 4D-Kamera, ein 4D-Abstandssensor oder derartiges, und die Detektionseinrichtung 20 übermittelt erhaltene Bilddaten (Detektionsergebnisse) oder detektierte Punkte (Detektionsergebnisse) des 4D-Abstandssensors an die Steuerung 40. Wie später beschrieben wird, detektiert die Steuerung 40 die Position und Ausrichtung des Zielobjekts O basierend auf den Bilddaten oder den detektierten Punkten.
Obgleich der Roboter 40 nicht auf eine spezifische Art von Roboter beschränkt ist, ist der Roboter 40 dieser Ausführungsform ein Gelenkroboter, der mit einer Vielzahl von Servomotoren 41 ausgestattet ist, die individuell eine Vielzahl von beweglichen Abschnitten antreiben (siehe 2). Es ist zu beachten, dass ein Arm 40a des Roboters 40 aus der Vielzahl von beweglichen Abschnitten besteht. Die Servomotoren 41 weisen jeweils Betriebspositions-Detektionseinrichtungen zum Detektieren der Betriebspositionen davon auf, und die Betriebspositions-Detektionseinrichtungen sind beispielsweise Codierer. Die Werte, die von den Betriebspositions-Detektionseinrichtungen detektiert werden, werden an die Steuerung 40 übermittelt. Dadurch kann die Steuerung 40 die Position, die Geschwindigkeit, die Beschleunigung usw. jedes Abschnitts des Roboters 40 erkennen.
Der Roboter 40 führt vorbestimmte Arbeit an dem Zielobjekt O gemäß dem Typ eines Werkzeugs 50 aus, das an einem Spitzenabschnitt davon vorgesehen ist. Es reicht aus, dass das Werkzeug 50 ein Werkzeug für einen Roboter, umfassend ein Greifwerkzeug, ein Vakuumwerkzeug, ein Verarbeitungswerkzeug, ein Reinigungswerkzeug, ein Montagewerkzeug, ein Messwerkzeug, verschiedene Arten von Sensoren, eine Sichtsystemkamera oder dergleichen ist. Ein Verarbeitungswerkzeug ist beispielsweise ein Bohrwerkzeug wie ein Elektrobohrer, ein Schneidwerkzeug, das mit einem Gewindebohrer an der Spitze davon versehen ist, ein elektrisches Läppwerkzeug, ein Farbanstrichwerkzeug, wie eine Farbspritzpistole, oder ein Schweißwerkzeug wie eine Schweißzange. Ein bei der Montage eingesetztes Werkzeug ist beispielsweise ein elektrischer Treiber oder ein Werkzeug zum Greifen eines Stifts und Einführen des Stifts in eine Bohrung. Ein Messwerkzeug ist beispielsweise eine Schichtdicken-Messeinrichtung, eine interne Ultraschall-Inspektionsvorrichtung, ein Durometer, ein berührungsloses Thermometer oder eine Nahaufnahmekamera. Es ist zu beachten, dass das Zielobjekt O eine Bohrung, ein Verarbeitungszielabschnitt oder dergleichen sein kann, die/der in einem Objekt vorgesehen ist.
Das Werkzeug 50 dieser Ausführungsform ist eine Hand, und der Roboter 40 entlädt das Zielobjekt O auf der Bewegungsvorrichtung 10 unter Verwendung des Werkzeugs 50.
Das Werkzeug 50 ist mit einem Servomotor 51 versehen, der Klauen antreibt (siehe 2). Der Servomotor 51 weist eine Betriebspositions-Detektionseinrichtung zum Detektieren der Betriebsposition davon auf, und ein Beispiel für die Betriebspositions-Detektionseinrichtung ist ein Codierer. Die Werte, die von der Betriebspositions-Detektionseinrichtung detektiert werden, werden an die Steuerung 40 übermittelt.
Das Koordinatensystem des Roboters 40 und das Koordinatensystem der Bewegungsvorrichtung 10 sind einander zugewiesen. In dieser Ausführungsform werden als ein Ergebnis des Inkontaktbringens eines Einstellungswerkzeugs, das an dem Spitzenabschnitt des Roboters 40 vorgesehen ist, an einer Vielzahl von vorbestimmten Orten mit einer Kalibrierungsvorrichtung, die an der Bewegungsvorrichtung 10 installiert ist, ein Referenzkoordinatensystem, das als das Koordinatensystem des Roboters 40 zu verwenden ist, und die Bewegungsvorrichtung 10 eingestellt. Außerdem werden auf der Basis von Bilddaten der Kalibrierungsvorrichtung, die von der Detektionseinrichtung 20 erhalten werden, die Position und Ausrichtung (Sensorkoordinatensystem) der Detektionseinrichtung 20 dem Referenzkoordinatensystem zugewiesen.
Wie in 2 gezeigt, umfasst die Steuerung 40: eine Steuereinheit 41, die eine CPU aufweist, ein RAM usw.; eine Steuerungsanzeigeeinheit 42, die die Einstellung, das Menü usw. der Steuerung 40 anzeigt; eine Speichereinheit 44, die einen nicht-flüchtigen Speicher, ein ROM usw. aufweist; eine Vielzahl von Servosteuerungen, die den Servomotoren 41 des Roboters 40 individuell entsprechen; eine Servosteuerung 45, die dem Servomotor 51 des Werkzeugs 50 entspricht; und eine Eingabeeinheit 46, die mit der Steuerung 40 verbunden ist. Die Eingabeeinheit 46 ist eine Eingabeeinrichtung wie eine Bedientafel, die ein Bediener tragen kann. Es gibt Fälle, in denen die Eingabeeinheit 46 mit der Steuerung 40 drahtlos kommuniziert.
Die Speichereinheit 44 speichert ein Systemprogramm 44a, und das Systemprogramm 44a führt die grundlegenden Funktionen der Steuerung 40 aus. Außerdem speichert die Speichereinheit 44 ein Bewegungsprogramm 44b, ein Zielobjekt-Detektionsprogramm 44c und so weiter. Basierend auf dem Zielobjekt-Detektionsprogramm 44c wendet die Steuereinheit 41 auf die auf sie von der Detektionseinrichtung 20 übermittelten Bilddaten gut bekannte Bildverarbeitung, Schwerkraftpositions-Detektionsverarbeitung, Musterabgleichsverarbeitung, andere notwendige Verarbeitung usw. an, um das Zielobjekt O zu detektieren, und detektiert die Position, die Ausrichtung usw. des Zielobjekts O, das von der Bewegungsvorrichtung 10 bewegt wird. Es ist zu beachten, dass in dem Fall, in dem die Detektionseinrichtung 20 in der Lage ist, die Bildverarbeitung, die Detektionsverarbeitung, den Musterabgleich usw. auszuführen, die Steuereinheit 41 keine Verarbeitung ausführen muss, die redundant mit der Verarbeitung ist, die von der Detektionseinrichtung 20 ausgeführt wird.
Außerdem folgt (verfolgt) die Steuereinheit 41 basierend auf dem Zielobjekt-Detektionsprogramm 44c mindestens die Position und Ausrichtung des Zielobjekts O, das von der Bewegungsvorrichtung 10 bewegt wird, beginnend von unmittelbar nach dem Zeitpunkt, wenn das Zielobjekt O detektiert wird, unter Verwendung der Detektionsergebnisse der Betriebspositions-Detektionseinrichtung 12 (die Detektionsergebnisse der Bewegung der Bewegungsvorrichtung 10). Auf diese Weise ist die Steuereinheit 41 basierend auf den Bilddaten, die von der Detektionseinrichtung 20 an sie übermittelt werden, und den Detektionsergebnissen der Betriebspositions-Detektionseinrichtung 12 in der Lage, die Position, die Geschwindigkeit, den Bewegungsbetrag usw. des Zielobjekts O, das von der Bewegungsvorrichtung 10 bewegt wird, zu detektieren.
Die Augmented-Reality-Vorrichtung 60 umfasst: eine Steuereinheit, die eine CPU, ein RAM usw. aufweist; eine Speichereinheit, die einen nicht-flüchtigen Speicher, ein ROM usw. aufweist; und eine Eingabeeinheit wie eine Tastatur usw. Wie in 2 gezeigt, sind in einem Beispiel eine Kamera 61, die an einer vorbestimmten Position installiert ist, um Bilder der Bewegungsvorrichtung 10 und des Roboters 40 zu erfassen, und eine Anzeigeeinrichtung 62 vorgesehen, die Realraumbilder anzeigt, die von der Kamera 61 erfasst werden. Es ist möglich, eine öffentlich bekannte Anzeigeeinrichtung wie eine Tablet-Einrichtung, eine kopfmontierte Anzeige und eine Brille mit einer AR-Anzeigefunktion als die Anzeigeeinrichtung 62 einzusetzen. In diesem Fall kann die Kamera 61 in einer Tablet-Einrichtung, einer kopfmontierten Anzeige oder einer Brille mit einer AR-Anzeigefunktion installiert sein. Die von der Kamera 61 erfassten Bilddaten werden an die Steuerung 40 übermittelt. Außerdem zeigt die Anzeigeeinrichtung 62 die Augmented-Reality-Bilddaten an, die von der Steuerung 40 an sie übermittelt werden. Die Augmented-Reality-Bilddaten können 4D-Bilder oder 2D-Bilder sein. Nachfolgend wird „Augmented-Reality“ auch als „AR“ bezeichnet. Basierend auf den Bilddaten, die von der Kamera 61 hinsichtlich Markierungen erfasst werden, die an der Kalibrierungsvorrichtung und dem Roboter oder der Form des Roboters selbst befestigt sind, kann die Position und Ausrichtung der Kamera 61 (Kamerakoordinatensystem) dem Referenzkoordinatensystem zugewiesen werden. Um die Position des realen Raums und die Positionen der AR-Bilder zuzuweisen, ohne die Abmessungen davon zu ändern, ist bevorzugt, dass die Realraumbilder, die von der Kamera 61 erfasst werden, 4D-Bilder sind, die von einer 4D-Kamera erfasst werden; es ist auch möglich, eine andere Art von Kamera einzusetzen, die 2D-Bilder als Realraumbilder erfasst.
Es ist zu beachten, dass das Referenzkoordinatensystem automatisch dem Kamerakoordinatensystem zugewiesen werden kann, oder die Koordinatensysteme können manuell ausgerichtet werden, indem ein Benutzer die AR-Bilder direkt handhabt.
Es ist zu beachten, dass das Referenzkoordinatensystem nicht dem Kamerakoordinatensystem zugewiesen sein muss. In diesem Fall sind, obgleich die AR-Bilder nicht auf realem Raum überlagert sind, die relative Beziehung der Objekte in realem Raum und die relative Beziehung der Objekte in den AR-Bildern identisch, und somit versteht sich, wenn es eine Anomalie in der relativen Beziehung der Objekte in den AR-Bildern gibt, dass die tatsächliche Einstellung auch nicht genau ist.
(Grundlegende Verarbeitung zum Anzeigen von Augmented-Reality)
Basierend auf einem AR-Bild-Erzeugungsprogramm 44d, das in der Speichereinheit 44 gespeichert ist, erzeugt die Steuereinheit 41 nach und nach AR-Bilddaten, die sich auf mindestens einen Typ der folgenden Informationsstücke beziehen: die Einstellungen in Bezug auf die Detektion des Zielobjekts O, die unter Verwendung der Detektionseinrichtung 20 ausgeführt wird; die Einstellung der Bewegungsvorrichtung 10; die Einstellung des Roboters 40; die Position und Ausrichtung des Zielobjekts O, das von der Steuereinheit 41 basierend auf den Einstellungen erkannt wird; das Ergebnis der Detektion des Zielobjekts O, die von der Detektionseinrichtung 20 ausgeführt wird; der Arbeitsplan des Roboters 40; das Bestimmungsergebnis der Steuereinheit 41 in Bezug auf die Ausführung der Arbeit, die von dem Roboter 40 ausgeführt wird; und die Parameter in Bezug auf das Zielobjekt O, das von der Steuereinheit 41 erkannt wird, und die Steuereinheit 41 übermittelt die erzeugten AR-Bilddaten an die Anzeigeeinrichtung 62. Die Positionen und Ausrichtungen der AR-Bilder werden basierend auf dem Kamerakoordinatensystem oder dem Referenzkoordinatensystem angepasst. Dadurch zeigt die Anzeigeeinrichtung 62 die Realraumbilder an, die von der Kamera 61 empfangen werden, und die AR-Bilder, die von der Steuerung 40 empfangen werden.
Es ist zu beachten, dass die AR-Bilder von der Augmented-Reality-Vorrichtung 60 erzeugt werden können, indem die Daten von der Steuereinheit 41 erfasst werden.
Die Kommunikation zwischen der Steuerung 40 und der Augmented-Reality-Vorrichtung 60 kann drahtgebunden oder kann drahtlos ausgeführt wird.
In dem Beispiel von 1 werden, als die Einstellungen in Bezug auf die Detektion des Zielobjekts O, die unter Verwendung der Detektionseinrichtung 20 ausgeführt wird, ein AR-Bild 71 des Sensorkoordinatensystems der Detektionseinrichtung 20 und ein AR-Bild 72 der Detektionsfläche der Detektionseinrichtung 20 angezeigt. Als die Einstellungen in Bezug auf die Detektion des Zielobjekts O, die unter Verwendung der Detektionseinrichtung 20 ausgeführt wird, können AR-Bilder, die die Position und Richtung der Detektionseinrichtung 20 angeben, angezeigt werden, und die Bildwechselfrequenz der Detektionseinrichtung 20, die Position und Richtung der Detektionseinrichtung 20, die Anpassungswerte der Blende und die Belichtungszeit der Detektionseinrichtung 20, die abgelaufene Zeit, nachdem die Detektionseinrichtung 20 erstmals in Betrieb genommen wurde, usw. können in der Form von AR-Bildern von Anzeigen, numerischen Werten, Zeichen usw. angezeigt werden. Die Anzeigen können die Größenordnungen mittels Farben ausdrücken.
Die Position und Fläche des AR-Bilds 72 der Detektionsfläche werden basierend auf der Kalibrierung eingestellt. Für diese Einstellungen können beispielsweise die Position und Größe einer Markierung, ein Muster, das Zielobjekt O oder dergleichen der Bewegungsvorrichtung 10 als Referenz eingesetzt werden. In dem Fall, in dem das AR-Bild 72 der Detektionsfläche angezeigt wird, ist es für den Bediener möglich, einfach die Beziehung zwischen der Detektionsfläche und der Arbeitsfläche des Roboters 40 zu überprüfen, um zu sehen, ob die Platzierung des Zielobjekts O auf der Bewegungsvorrichtung 10 angemessen ist oder nicht.
In dem Beispiel von 1 werden auf der Basis der Positionen und Ausrichtungen der Zielobjekte O, die von der Steuereinheit 41 detektiert werden, AR-Bilder 74 angezeigt, die die Positionen und Ausrichtungen der Zielobjekte O, die von der Steuereinheit 41 erkannt werden. 1 zeigt ein Beispiel, in dem die AR-Bilder 74 von den Zielobjekten O in den Realraumbildern in einer Breitenrichtung der Bewegungsvorrichtung 10 abgeleitet werden. In dieser Ausführungsform können, obgleich die AR-Bilder 74 die Formen aufweisen, die identisch zu den Formen der Zielobjekte O oder dergleichen sind, die AR-Bilder 74 Punkte sein, die die Positionen, Ausrichtungen usw. der Zielobjekte O angeben, ein Anzeigebild, das die Bewegungsrichtungen, Geschwindigkeiten und so weiter der Zielobjekte O, abstrakte Ansichten der Zielobjekte O, andere alternative Diagramme oder dergleichen angeben. Ein ähnliches Anzeigebild ist für andere AR-Bilder möglich, die vorstehend und nachstehend beschrieben sind. Die Positionen und Ausrichtungen der AR-Bilder 74 ändern sich gemäß den Positionen und Ausrichtungen der Zielobjekte O, die von der Steuereinheit 41 detektiert werden.
Außerdem wird in dem Beispiel von 1 das Referenzkoordinatensystem, das eine Einstellung des Roboters 40 ist, als ein AR-Bild 74 angezeigt. Als Einstellung des Roboters 40 können die reale Bewegungsgeschwindigkeit des Roboters 40, die Maximalgeschwindigkeit des Roboters 40, die abgelaufene Zeit, nachdem der Roboter 40 erstmals in Betrieb genommen wurde usw. als AR-Bilder von Anzeigen, numerischen Werten, Zeichen und so weiter, angezeigt werden.
Als Folge des Anzeigens der Berechnungsergebnisse der Geschwindigkeiten oder Beschleunigungen des Spitzenabschnitts des Roboters 40, des Werkzeugs 50, des Zielobjekts O, das von dem Werkzeug 50 gegriffen wird und so weiter in Form von AR-Bildern von Anzeigen, numerischen Werten, Zeichen usw. ist es möglich, die Eignung oder dergleichen der Last, die auf das Werkzeug 50 angewandt wird, die Last, die auf das Zielobjekt O, das von dem Werkzeug 50 gegriffen wird, angewandt wird, die Greifkraft des Werkzeugs 50 und so weiter intuitiv zu erkennen. Die Geschwindigkeiten und die Beschleunigungen können die Drehung eines Handgelenkflansches des Roboters 40 wiedergeben.
Außerdem wird in dem Beispiel von 1 die Arbeitsfläche des Roboters 40, die eine Einstellung des Roboters 40 ist, als ein AR-Bild 75 angezeigt. In dieser Ausführungsform ist die Arbeitsfläche eine Fläche, in der der Roboter 40 das Aufnehmen von Arbeit der Zielobjekte O ausführt. Mit dieser Ausgestaltung ist es für den Bediener möglich, dass er die Beziehung zwischen der Arbeitsfläche und einer Fläche, in der der Bediener arbeitet, die Beziehung zwischen der Arbeitsfläche und der Arbeitsfläche eines anderen Roboters, die Größe der Arbeitsfläche in Bezug auf die Arbeitsinhalte usw. intuitiv erkennt.
Außerdem wird in dem Beispiel von 1, als die Einstellung der Bewegungsvorrichtung 10 ein AR-Bild 76 der Übertragungsrichtung der Bewegungsvorrichtung 10 angezeigt. Als die Einstellung der Bewegungsvorrichtung 10 können die Übertragungsgeschwindigkeit, die abgelaufene Zeit, nachdem die Bewegungsvorrichtung 10 erstmals in Betrieb genommen wurde usw. in den Formen von AR-Bildern von Anzeigen, numerischen Werten, Zeichen usw. angezeigt werden.
Die Übertragungsrichtung der Bewegungsvorrichtung 10 wird beispielsweise basierend auf Positionsänderungen der Zielobjekte O berechnet, die von der Bewegungsvorrichtung 10 bewegt werden. In diesem Fall ist zu bevorzugen, dass die Kamera 61 über der Bewegungsvorrichtung 10 angeordnet ist. Diese Ausgestaltung ermöglicht es, die Beziehung zwischen dem AR-Bild 74 und dem AR-Bild 76 visuell zu überprüfen, was vorteilhaft zum Überprüfen ist, ob die Übertragungsrichtung der Bewegungsvorrichtung 10 in Bezug auf die Einstellung des Referenzkoordinatensystems oder dergleichen angemessen ist.
Außerdem kann als die Einstellung der Bewegungsvorrichtung 10 eine Anzeigenmarkierung, die auf eine spezifische Position zeigt, an der sich ein Riemen der Bewegungsvorrichtung 10 befindet, der von der Steuerung 40 erkannt wird, als ein AR-Bild 77 angezeigt werden, um die Übertragungsgeschwindigkeit der Bewegungsvorrichtung 10 anzugeben.
Außerdem kann ein bewegungsbeschränkter Bereich des Roboters 40 auf der Anzeigeeinrichtung 62 als ein AR-Bild angezeigt werden. Der bewegungsbeschränkte Bereich ist ein Bereich, der in einer Fläche eingestellt ist, die den Bediener, die periphere Ausrüstung oder dergleichen umgibt, und ist ein Bereich, in dem die Bewegung des Roboters 40 angehalten oder beschränkt ist. In diesem Fall wird es möglich, die Fläche intuitiv zu erkennen, die eingestellt ist, der bewegungsbeschränkte Bereich zu sein.
Außerdem können als Ergebnisse der Detektionen der Zielobjekte O von der Detektionseinrichtung 20 Bilder, die von der Detektionseinrichtung 20 detektiert werden, oder Bilder, die erhalten werden, indem die Bildverarbeitung auf diese Bilder angewandt wird, die die Positionen, Ausrichtungen, Formen oder dergleichen der Zielobjekte O darstellen, auf der Anzeigeeinrichtung 62 in der Form von AR-Bildern angezeigt werden.
In diesem Fall ist es für den Bediener möglich, die Eignung der Detektionen der Zielobjekte O durch die Detektionseinrichtung 20 intuitiv zu erkennen. Beispielsweise ist es möglich, die Eignung der Beleuchtung der Zielobjekte O, die Eignung eines Detektionsschwellenwerts in Bezug auf die Beleuchtung der Zielobjekte O, die Eignung der Positionen, der Ausrichtungen, der Formen oder dergleichen der Zielobjekte O zu prüfen, die von der Detektionseinrichtung 20 detektiert worden sind, und die von der Steuerung 40 erkannt werden. In dem Fall, in dem die Beleuchtung und der Detektionsschwellenwert nicht geeignet sind, kann ein Abschnitt oder die Gesamtheit eines Zielobjekts O, das ein heller Abschnitt oder ein dunkler Abschnitt sein kann, möglicherweise nicht detektiert werden, was häufig auftritt. Außerdem kann, indem die Positionen, Ausrichtungen und Formen der Zielobjekte O, die von der Detektionseinrichtung 20 detektiert werden, mit denen der tatsächlichen Objekte verglichen werden, der Bediener intuitiv die Eignung der Detektionen von der Detektionseinrichtung 20 prüfen. Diese Ausgestaltung ist nützlich, weil die Detektion der Detektionseinrichtung 20 in hohem Maße den Erfolg/das Versagen der Arbeit, die von dem Roboter 40 ausgeführt wird, die Eignung davon usw. beeinflusst.
Es ist zu beachten, dass es auch möglich ist, basierend auf den Ergebnissen der Detektionen der Zielobjekte seitens der Detektionseinrichtung 20 die Positionen, Ausrichtungen und Formen der Zielobjekte O, die auf der Anzeigeeinrichtung 62 in der Form von AR-Bildern angezeigt werden, gemäß der tatsächlichen Bewegung der Zielobjekte nach und nach zu aktualisieren.
Außerdem ist es zu einem willkürlichen Zeitpunkt möglich, die Aktualisierung zu stoppen und die Ergebnisse zu prüfen, und es ist auch möglich, die aufgezeichneten Ergebnisse wiederzugeben.
Außerdem können, wie in 3 gezeigt ist, als Arbeitsplan des Roboters 40 Anzeigen, numerische Werte, Zeichen usw., die eine geplante Reihenfolge angeben, in der der Roboter 40 Arbeit auf einer Vielzahl von Zielobjekten O ausführt, die von der Steuereinheit 41 verfolgt werden, ob es möglich ist, die Arbeit auszuführen oder nicht, die Arbeitsschwierigkeit (ein Attribut der Zielobjekte O), den Typ, das Gewicht, die Härte und das Material der Zielobjekte O (Attribute der Zielobjekte O), Inspektionsergebnisse der Zielobjekte O usw. auf der Anzeigeeinrichtung 62 in der Form von AR-Bildern 78 angezeigt werden. Hier sind die geplante Reihenfolge, ob es möglich ist, die Arbeit auszuführen oder nicht, und die Arbeitsschwierigkeit Bestimmungsergebnisse der Steuereinheit 41 in Bezug auf die Ausführung der Arbeit, und der Typ, das Gewicht, die Härte, das Material und das Inspektionsergebnis der Zielobjekte O sind die Parameter in Bezug auf die Zielobjekte O, die von der Steuereinheit 41 erkannt werden.
Es ist zu beachten, dass es auch möglich ist, basierend auf den Ergebnissen der Detektionen der Zielobjekte seitens der Detektionseinrichtung 20 die AR-Bilder 78, die auf der Anzeigeeinrichtung 62 gemäß der tatsächlichen Bewegung der Zielobjekte angezeigt werden, nach und nach zu aktualisieren. Außerdem ist es zu einem willkürlichen Zeitpunkt möglich, die Aktualisierung zu stoppen und die Ergebnisse zu prüfen, und es ist auch möglich, die aufgezeichneten Ergebnisse wiederzugeben.
In diesem Fall ist es für den Bediener möglich, den Arbeitsplan des Roboters 40 intuitiv zu erkennen. Beispielsweise ist es möglich, wie in 3 gezeigt, in dem Fall, in dem die geplante Reihenfolge eines Zielobjekts O auf der nachgelagerten Seite in der Übertragungsrichtung von der Vielzahl von Zielobjekten O, die zwischen dem Paar von AR-Bildern 75 angeordnet sind, die die Arbeitsfläche des Roboters 40 angeben, diese Tatsache einfach zu erkennen.
Es ist zu beachten, dass es möglich ist, wie in 4 gezeigt, in dem Fall, in dem eine Vielzahl von Robotern 40 Arbeit an den Zielobjekten O ausführt, die geplante Reihenfolge in der Form von AR-Bildern 79 auf der Anzeigeeinrichtung 62 anzuzeigen, in der die Arbeit für die jeweiligen Roboter 40 ausgeführt wird. Diese Ausgestaltung ermöglicht es, die Verteilung von Arbeit zwischen den einzelnen Robotern 40 oder dergleichen intuitiv zu erkennen. Die AR-Bilder 79 der Arbeitsreihenfolge kann individuell von den Steuerungen 40 beider Roboter 40 an die Anzeigeeinrichtung 62 übermittelt werden, oder die AR-Bilder 79 können von der Steuerung 40 einer der Roboter 40 an die Anzeigeeinrichtung 62 übermittelt werden. Außerdem können die AR-Bilder 79 der Arbeitsreihenfolge von einer Steuerung einer höheren Ebene, die mit den Robotern 40 verbunden ist, an die Anzeigeeinrichtung 62 übermittelt werden. Hier ist die geplante Reihenfolge ein Bestimmungsergebnis der Steuereinheit 41 in Bezug auf die Ausführung der Arbeit.
Es ist zu beachten, dass es auch möglich ist, basierend auf den Ergebnissen der Detektion der Zielobjekte seitens der Detektionseinrichtung 20 die AR-Bilder 79, die auf der Anzeigeeinrichtung 62 gemäß der tatsächlichen Bewegung der Zielobjekte angezeigt werden, nach und nach zu aktualisieren. Außerdem ist es zu einem willkürlichen Zeitpunkt möglich, die Aktualisierung zu stoppen und die Ergebnisse zu prüfen, und es ist auch möglich, die aufgezeichneten Ergebnisse wiederzugeben.
Außerdem ist es als der Arbeitsplan der Bewegungsvorrichtung 10 auch möglich, die zukünftigen Positionen und zukünftigen Ausrichtungen anzuzeigen, die in der nahen Zukunft für die Vielzahl von Zielobjekten O erwartet werden, die von der Steuereinheit 41 auf der Anzeigeeinrichtung 62 als AR-Bilder verfolgt werden. In diesem Fall kann der Bediener die Bewegungsrichtungen, Ausrichtungen während der Bewegung usw. der Zielobjekte O einfach prüfen.
Es ist zu beachten, dass es auch möglich ist, basierend auf den Ergebnissen der Detektionen der Zielobjekte seitens der Detektionseinrichtung 20 die AR-Bilder 79, die auf der Anzeigeeinrichtung 62 gemäß der tatsächlichen Bewegung der Zielobjekte angezeigt werden, nach und nach zu aktualisieren. Außerdem ist es zu einem willkürlichen Zeitpunkt möglich, die Aktualisierung zu stoppen und die Ergebnisse zu prüfen, und es ist auch möglich, die aufgezeichneten Ergebnisse wiederzugeben.
Als ein Ergebnis des Anzeigens der AR-Bilder auf der Anzeigeeinrichtung 62, wie es zuvor beschrieben worden ist, ist es für den Bediener möglich, die Einstellungen in Bezug auf die Detektionen der Zielobjekte O, die unter Verwendung der Detektionseinrichtung 20 ausgeführt werden, die Einstellungen der Bewegungsvorrichtung 10, die Einstellungen des Roboters 40, die Positionen und Ausrichtungen der Zielobjekte O, die von der Steuereinheit 41 basierend auf den Einstellungen erkannt werden, die Ergebnisse der Detektionen der Zielobjekte O seitens der Detektionseinrichtung 20, den Arbeitsplan der Bewegungsvorrichtung 10, den Arbeitsplan des Roboters 40 und die Bestimmungsergebnisse der Steuereinheit 41 in Bezug auf die Ausführung der Arbeit, die von dem Roboter 40 ausgeführt wird, oder die Parameter in Bezug auf die Zielobjekte O, die von der Steuereinheit 41 erkannt werden, intuitiv zu erkennen. Diese Wirkung ist extrem vorteilhaft, um: die Menge von Arbeitszeit zu reduzieren, die erforderlich ist, um die Einstellungen auszuführen, ein Phänomen zu erfassen, die Ursache des Phänomens zu untersuchen usw.; die Arbeitswirksamkeit über die Verbesserung von Einstellungen zu verbessern; und das Abtasten der Einstellung zu verbessern.
(Anzeigen von Detektionsergebnissen, die nicht als Arbeitsziele qualifiziert sind.)
In 3 und 4 zeigen die einzelnen AR-Bilder 74 die Zielobjekte O als Arbeitsziele, an denen der/die Robot/er 40 Arbeit ausführen kann/können. Im Gegensatz dazu gibt es beispielsweise Fälle, wenn Detektionen der Zielobjekte O nicht zufriedenstellend sind, wenn die Ausrichtungen der detektierten Zielobjekte O zum Ausführen der Arbeit daran nicht geeignet sind, oder Ähnliches, in denen der Roboter/die Roboter 40 die Arbeit an einigen der Zielobjekten O von der Vielzahl von Zielobjekten O nicht ausführt/ausführen oder nicht ausführen kann/können. Wenn beispielsweise ein Detektionsparameter eines Zielobjekts O geringer ist als ein Detektionsschwellenwert davon, würde dieses Zielobjekt O nicht als ein Arbeitsziel detektiert werden. Außerdem wird bestimmt, wenn ein Parameter in Bezug auf die Ausrichtung eines Zielobjekts O in einem detektieren Bild geringer ist als ein Ausrichtungsschwellenwert davon, dass die Ausrichtung des Zielobjekts O zum Ausführen der Arbeit daran nicht geeignet ist.
Die Beleuchtung an den Zielobjekten O, die Ausrichtungen der Zielobjekte O, die Formen der Zielobjekte O, das Material der Zielobjekte O, die Einstellungen der Detektionseinrichtung 20, umfassend die Blende, die Belichtungszeit usw. sind die kausalen Faktoren, die geeignete Detektionen der Zielobjekte O beeinflussen, und die Einstellungen des Detektionsschwellenwerts, der bei der Bestimmung, ob ein Zielobjekt O als ein Arbeitsziel detektiert wird oder nicht, beeinflussen auch geeignete Detektionen der Zielobjekte O. Als Detektionsschwellenwerte ist es möglich, einen Parameter in Bezug auf Kontrast, einen Parameter, der den Unterschied oder die Ähnlichkeit der Form in Bezug auf ein Modell oder Ähnliches angibt, zu verwenden.
Die Steuereinheit 41 erzeugt die AR-Bilder 74, die von Kandidaten, die jeweils den Zielobjekten O entsprechen, Fremdkörpern, Fehlern auf der Bewegungsvorrichtung 10 usw. in den Bilddaten entsprechen, auf die die Bildverarbeitung angewandt worden ist, Kandidaten, in denen ein vorbestimmter Parameter gleich oder größer ist als der Detektionsschwellenwert, und AR-Bilder (Kandidaten-AR-Bilder) 80 erzeugt, die jeweils Kandidaten entsprechen, in denen der vorbestimmte Parameter geringer als der Detektionsschwellenwert ist und der vorbestimmte Parameter gleich oder größer ist als ein Detektions-Kandidatenschwellenwert (5). Hier ist der Detektions-Kandidatenschwellenwert geringer als der Detektionsschwellenwert. Die AR-Bilder 80 werden in einer Anzeigeform erzeugt, die es ermöglicht, die AR-Bilder 80 von den AR-Bildern 74 zu unterscheiden, und entsprechend werden die AR-Bilder 80 auf der Anzeigeeinrichtung 62 in einer Form angezeigt, die es ermöglicht, die AR-Bilder 80 von den AR-Bildern 74 zu unterscheiden.
Mit dieser Ausgestaltung ist es für den Bediener möglich, die Anpassung der kausalen Faktoren zum Erhöhen der Anzahl von Zielobjekten O, die bei oder über dem Detektionsschwellenwert detektiert werden, die Anpassung des Detektionsschwellenwerts usw. relativ einfach auszuführen.
Außerdem kann die Steuereinheit 41 AR-Bilder 81 von Bewertungswerten erzeugen, die die individuellen AR-Bilder 80 jeweils begleiten. Die Bewertungswerte sind Angaben, die die Ähnlichkeit und das Maß an Konkordanz zwischen einem Modell und Zielobjekten angeben, und in 5 erhöht sich die Möglichkeit des Erreichens des Detektionsschwellenwerts, wenn sich der Bewertungswert erhöht. Die Bewertungswerte sind Beispiele von Detektionsergebnissen, und, wie AR-Bilder der Detektionsergebnisse, können AR-Bilder von Kontrastwerten, detektierte Positionen, Typinformationen der Zielobjekte O, ID-Informationen der Zielobjekte O, Messergebnisse usw. erzeugt werden. Als Ergebnis der AR-Bilder 81, die auf der Anzeigeeinrichtung 62 angezeigt werden, ist es für den Bediener möglich, die Anpassung der kausalen Faktoren zum Erhöhen der Anzahl von Zielobjekten O, die bei oder über dem Detektionsschwellenwert detektiert werden, die Anpassung des Detektionsschwellenwerts usw. einfacher auszuführen.
Es ist zu beachten, dass AR-Bilder 71 bis 81 im Laufe der Zeit nacheinander erzeugt und aufgezeichnet (aktualisiert) werden. Entsprechend werden die AR-Bilder 71 bis 81 auch gemäß den Realraumbildern auf der Anzeigeeinrichtung 62 nacheinander aktualisiert.
Alternativ kann die Steuerung 40 die AR-Bilder 71 bis 81 in Echtzeit erzeugen und aufzeichnen, und die Anzeigeeinrichtung 62 kann AR-Bilder, die von der Vielzahl von AR-Bildern 71 bis 81 zu dem Zeitpunkt oder in der jüngsten Vergangenheit ausgewählt wurden, gemäß vorbestimmten Eingaben in eine Eingabeeinheit oder dem Festlegen vorbestimmter Bedingungen in der Steuerung 40 oder den Sensoren anzeigen.
(Wiedergabeverarbeitung)
Die Steuerung 40, die Augmented-Reality-Vorrichtung 60 usw. weisen eine Funktion zum Speichern der Realraumbilder und der AR-Bilder 71 bis 81 auf, die auf der Anzeigeeinrichtung 62 angezeigt werden. In dem Fall, in dem die Steuerung 40 die Bilder speichert, werden die Bilddaten von der Kamera 61, die nacheinander von der Augmented-Reality-Vorrichtung 60 empfangen werden, und die AR-Bilddaten, die nacheinander erzeugt werden, basierend auf einem Wiedergabeprogramm 44e, das in der Speichereinheit 44 gespeichert ist, mindestens temporär in der Speichereinheit 44 nacheinander erzeugt. In dem Fall, in dem die Augmented-Reality-Vorrichtung 60 die Bilder speichert, werden die Bilddaten von der Kamera 61 und die AR-Bilddaten, die nacheinander von der Steuerung 40 empfangen werden, mindestens temporär in einer Speichereinheit der Augmented-Reality-Vorrichtung 60 basierend auf einem Wiedergabeprogramm gespeichert, das in der Speichereinheit der Augmented-Reality-Vorrichtung 60 gespeichert ist. Eine andere Vorrichtung, ein anderer Computerterminal usw. können auf ähnliche Weise die Bilder speichern.
Außerdem führt die Steuerung 40 oder die Augmented-Reality-Vorrichtung 60 gemäß dem Betrieb der Eingabeeinheit 46 oder einer Eingabeeinheit der Augmented-Reality-Vorrichtung 60, Wiedergabe, langsame Wiedergabe, pausierte Anzeige während der Wiedergabe usw. auf der Steuerungsanzeige 42, der Anzeigeeinrichtung 62 usw. unter Verwendung der gespeicherten Realraumbilddaten und AR-Bilddaten aus. Entsprechend ist es für den Bediener möglich, die überlagerte Anzeige der Realraumbilder und der AR-Bilder 71 bis 81 wiederholt anzusehen.
Mit dieser Ausgestaltung ist es für den Bediener möglich, die Einstellungen in Bezug auf die Detektionen der Zielobjekte O, die unter Verwendung der Detektionseinrichtung 20 ausgeführt werden, die Einstellungen der Bewegungsvorrichtung 10, die Einstellungen des Roboters 40, die Positionen und Ausrichtungen der Zielobjekte O, die von der Steuereinheit 41 der Steuerung 40 basierend auf den Einstellungen erkannt werden, die Ergebnisse der Detektionen der Zielobjekte O seitens der Detektionseinrichtung 20, den Arbeitsplan der Bewegungsvorrichtung 10 oder den Arbeitsplan des Roboters 40 genauer zu erkennen.
Es ist zu beachten, dass es auch für die Steuerung 40, die Augmented-Reality-Vorrichtung 60 oder Ähnliches möglich ist, die gespeicherten Realraum-Bilddaten und AR-Bilddaten an eine andere Anzeigeeinrichtung zu übermitteln.
(Anzeigen von Augmented-Reality-Bildern gemäß der Auswahl)
Die Augmented-Reality-Vorrichtung 60 weist eine Funktion zum Anzeigen nur ausgewählter AR-Bilder auf der Anzeigeeinrichtung 62 auf. Beispielsweise werden nur die AR-Bilder 71, die von den AR-Bildern 71 bis 81 ausgewählt werden, auf der Anzeigeeinrichtung 62 gemäß dem Betrieb der Eingabeeinheit der Augmented-Reality-Vorrichtung 60 angezeigt. In 4 ist es auch möglich, nur die AR-Bilder in Bezug auf einen Roboter 40 von der Vielzahl von Robotern 40 auf der Anzeigeeinrichtung 62 anzuzeigen.
Mit dieser Ausgestaltung ist es für den Bediener möglich, die anzuzeigenden AR-Bilder nach Bedarf zu ändern, und dies ist vorteilhaft zum Reduzieren der Menge an Arbeitszeit in Bezug auf das Ausführen von Einstellungen, Einschätzen eines Phänomens, Untersuchen von Ursachen des Phänomens usw.
Wirkungen, die ähnlich denen sind, die oben beschrieben sind, werden auch in dem Fall erzielt, in dem die Steuerung 40 nur die ausgewählten AR-Bilder an die Anzeigeeinrichtung 62 übermittelt.
Außerdem kann die Augmented-Reality-Vorrichtung 60 auf der Anzeigeeinrichtung 62 eine Funktion zum Anzeigen nur der AR-Bilder in einer ausgewählten Fläche aufweisen. Beispielsweise werden nur die AR-Bilder, die in einer ausgewählten Fläche vorhanden sind, gemäß dem Betrieb der Eingabeeinheit der Augmented-Reality-Vorrichtung 60 auf der Anzeigeeinrichtung 62 angezeigt.
In diesem Fall ist es auch für den Bediener möglich, die Fläche nach Bedarf zu ändern, in der die AR-Bilder angezeigt werden, und dies ist vorteilhaft zum Reduzieren der Menge an Arbeitszeit in Bezug auf das Ausführen von Einstellungen, Einschätzen eines Phänomens, Untersuchen von Ursachen des Phänomens usw.
Es ist zu beachten, dass in dem Fall, in dem die Anzeigeeinrichtung 62 eine Touchscreen-Funktion aufweist, die oben erwähnte ausgewählte Fläche eine vorbestimmte Fläche sein könnte, die auf einen Finger, einen Stift oder dergleichen zentriert ist, der in Kontakt mit der Anzeigeeinrichtung 62 oder einer Fläche gebracht wird, in der die Grenze davon unter Verwendung eines Fingers, eines Stifts oder dergleichen gezogen wird.
Es ist zu beachten, dass in dem Fall, in dem die Anzeigeeinrichtung 62 eine kopfmontierte Anzeige oder Brille mit einer AR-Funktion ist, die Anzeigeeinrichtung 62 mit einer Sichtlinien-Detektionseinrichtung versehen ist, die die Sichtlinie eines Trägers detektiert. In diesem Fall ist es für die Sichtlinien-Detektionseinrichtung möglich, als die Eingabeeinheit der Augmented-Reality-Vorrichtung 60 zu dienen.
(Anzeigen von Augmented-Reality-Bildern der Ausführungshistorie gemäß der Auswahl)
Die Augmented-Reality-Vorrichtung 60 weist eine Funktion zum Anzeigen einer Ausführungshistorie nur ausgewählter AR-Bilder auf der Anzeigeeinrichtung 62 auf. Beispielswiese kann ein Bild eines Zielobjekts O, das einem AR-Bild 74 oder einem AR-Bild 80 entspricht, das aus der Vielzahl von AR-Bildern 74 und 80 ausgewählt worden ist, die von der Detektionseinrichtung 20 erfasst worden sind, auf der Anzeigeeinrichtung 62 als die Ausführungshistorie gemäß dem Betrieb der Eingabeeinheit der Augmented-Reality-Vorrichtung 60 angezeigt werden. Es ist bevorzugt, dass die Ausführungshistorie an einem Ort angezeigt wird, der nicht mit den AR-Bildern 74 und 80 auf der Anzeigeeinrichtung 62 überlappt.
Es ist zu beachten, dass, wenn die Bilderfassung von der Detektionseinrichtung 20 und die Detektionsverarbeitung durch die Steuereinheit 41 ausgeführt worden sind, eine Vielzahl von Kandidaten, die die Zielobjekte O sein könnten, von der Steuereinheit 41 erkannt werden. Die Steuereinheit 41 ist in der Lage, Ausführungshistorien zu speichern, die jeweils den Kandidaten in der Speichereinheit 44 entsprechen.
Es reicht aus, dass die Ausführungshistorie ein Ergebnis ist, das als ein Ergebnis der Ausführung des Abtastsystems erhalten wird, und ein Messergebnis, ein Detektionsergebnis, ein Bilderfassungsergebnis oder Ähnliches sein kann.
(Auswahl und Handhabung des Objekts)
Außerdem können die Augmented-Reality-Vorrichtung 60, die Steuerung 40 usw. Auswahlverarbeitung der individuellen AR-Bilder 71 bis 81, die auf der Anzeigeeinrichtung 62 angezeigt werden, und Bewegungsverarbeitung der ausgewählten AR-Bilder gemäß einer Eingabe ausführen, die unter Verwendung einer vorbestimmten Eingabeeinrichtung gemacht wurde.
Basierend auf einem AR-Bild-Handhabungsprogramm 64a, das in einer Speichereinheit 64 der Augmented-Reality-Vorrichtung 60 gespeichert ist, stellt die Augmented-Reality-Vorrichtung 60 beispielsweise eines oder mehrere der individuellen AR-Bilder 71 bis 81 gemäß einer Eingabe, die unter Verwendung der vorbestimmten Eingabeeinrichtung gemacht wurde, auf den ausgewählten Zustand ein und ändert die Positionen und Ausrichtungen der ausgewählten AR-Bilder auf der Anzeigeeinrichtung 62 gemäß der Eingabe, die unter Verwendung der vorbestimmten Eingabeeinrichtung gemacht wurde.
Wenn die Positionen und Ausrichtungen der AR-Bilder 74 der detektierten Zielobjekte O geändert werden, ist es möglich, nur die Positionen der AR-Bilder 74 zu ändern, die über die vorbestimmte Eingabeeinrichtung gehandhabt werden, und es ist auch möglich, die Positionen der Vielzahl von AR-Bildern 74 unter Verwendung des gleichen Bewegungsabstands oder der entsprechenden Bewegungsabstände zu bewegen.
Die vorbestimmte Eingabeeinrichtung umfasst beispielsweise eine Eingabeeinrichtung, die ein Touchscreen, eine Tastatur oder Ähnliches ist, die in der Anzeigeeinrichtung 62 vorgesehen ist.
Außerdem übermittelt die Augmented-Reality-Vorrichtung 60 Bewegungsinformationen der AR-Bilder 71 bis 81 basierend auf der Eingabe, die unter Verwendung der Eingabeeinrichtung gemacht wurde, an die Steuerung 40, und die Steuereinheit 41 der Steuerung 40 ändert gemäß den empfangenen Bewegungsinformationen, basierend auf einem Einstellungsanpassungsprogramm 44f, das in der Speichereinheit 44 gespeichert ist, verschiedene Arten von Parametern, die in der Steuerung 40 eingestellt sind, oder verschiedene Typen von Parametern, die in der Steuerung 40 berechnet werden.
Beispielsweise wird gemäß den Bewegungsinformationen der AR-Bilder 71 oder der AR-Bilder 74 das Sensorkoordinatensystem oder das Referenzkoordinatensystem geändert, das von der Steuerung 40 erkannt wird. In dem Fall, in dem die Detektionseinrichtung 20 eine Zoomfunktion, eine Änderungsfunktion für die optische Achse, eine Ausrichtungsänderungsfunktion usw. zum Ändern der Detektionsfläche aufweist, steuert die Steuerung 40 diese Funktionen der Detektionseinrichtung 20 gemäß den Bewegungsinformationen des AR-Bilds 72.
Außerdem werden detektierte Positionen, Ausrichtungen usw. einiger oder aller der Zielobjekte O, die von der Steuerung 40 erkannt werden, gemäß den Bewegungsinformationen der AR-Bilder 74 oder der AR-Bilder 80 geändert. Die Übertragungsgeschwindigkeit, die Bewegungsmenge usw. der individuellen Zielobjekte O, die von der Steuerung 40 erkannt werden, können gemäß den Bewegungsinformationen der AR-Bilder 74 oder der AR-Bilder 80 geändert werden. Andererseits können die Übertragungsgeschwindigkeit, die Bewegungsmenge usw. der Zielobjekte O, die von der Steuerung 40 erkannt werden, gemäß den Bewegungsinformationen des AR-Bilds 77 geändert werden.
Es ist zu beachten, dass die jeweiligen Daten in Bezug auf die aufgezeichneten AR-Bilder gemäß den jeweiligen Punkten der Bewegungsinformationen geändert werden können.
Außerdem ändert die Steuerung 40 die Einstellungen des Arbeitsbereichs des Roboters 40 gemäß den Bewegungsinformationen des AR-Bilds 75. Außerdem wird die Übertragungsrichtung der Bewegungsvorrichtung 10, die von der Steuerung 40 erkannt wird, gemäß den Bewegungsinformationen des AR-Bilds 76 geändert.
Es ist zu beachten, dass, obgleich die Augmented-Reality-Vorrichtung 60 jedes Mal, wenn die AR-Bilder bewegt werden, die Bewegungsinformationen an die Steuerung 40 übermitteln kann, eine Ausgestaltung, in der die Bewegungsinformationen basierend auf einer Eingabe, die unter Verwendung der Eingabeeinrichtung vorgenommen wird, übermittelt wird, vorteilhafter hinsichtlich des Reduzierens der Verarbeitungsmenge, des Einstellungsfehlers usw. der Steuerung 40 ist.
Es ist zu beachten, dass es auch möglich ist, dass die Steuereinheit 41 die Bewegungsinformationen eines gewissen AR-Bilds empfängt, und in Bezug auf die AR-Bilder, die unterschiedlich von dem AR-Bild sind, verschiedene Arten von Parametern ändert, die in der Steuerung 40 eingestellt sind, oder verschiedene Arten von Parametern, die mittels Berechnungen erhalten werden, die in der Steuerung 40 erhalten werden. Beispielsweise werden die Parameter der AR-Bilder 74, 78, 79, 80 und 81 geändert, wenn die Bewegungsinformationen der AR-Bilder 71, 74 und 75 usw. in Bezug auf die Einstellungen empfangen werden. In diesem Fall erzeugt die Steuereinheit 41 erneut basierend auf dem AR-Bilderzeugungsprogramm 44d AR-Bilddaten basierend auf den Parametern, die in der Steuerung 40 geändert worden sind, und übermittelt die erzeugten AR-Bilddaten an die Anzeigeeinrichtung 62. Entsprechend ist es für den Bediener möglich, wenn ein bestimmtes AR-Bild bewegt wird, unverzüglich Änderungen in den Einstellungen, Berechnungen usw. in der Steuerung 40 zu erkennen, die der Bewegung des AR-Bilds in zugewiesen ist.
Es ist zu beachten, dass es auch möglich ist, eine tragbare Einrichtung einzusetzen, die als „intelligenter Handschuh“ als die vorbestimmte Eingabeeinrichtung bekannt ist. In dem Fall, in dem ein intelligenter Handschuh eingesetzt wird, beispielsweise wenn der Bediener die Hand, die den intelligenten Handschuh trägt, in dem Blickwinkel der Kamera 61 platziert, werden die Positionen des Zeigefingers, des Daumens usw. der Hand von der Augmented-Reality-Vorrichtung 60 erkannt, und, wenn der Bediener die Bewegung des Ergreifens eines AR-Bilds von den AR-Bildern 71 bis 81 mit dem Zeigefinger und dem Daumen ausführt, wird das AR-Bild auf den ausgewählten Zustand gesetzt und wird bewegt, wenn der Zeigefinger und der Daumen bewegt werden, während sie in dem Zustand gehalten werden.
Es ist zu beachten, dass die Positionen, Ausrichtungen, Parameter usw. der zuvor beschriebenen AR-Bilder 71 bis 81 beispielsweise unter Verwendung des Referenzkoordinatensystems des Roboters 40 als Referenz eingestellt werden. Im Gegensatz dazu können die Positionen, Ausrichtungen, Parameter usw. der AR-Bilder 71 bis 81 unter Verwendung des Sensorkoordinatensystems der Detektionseinrichtung 20 als die Referenz eingestellt werden. Außerdem ist, in dem Fall, in dem die Vielzahl von Robotern 40 individuell die Steuerungen 40 aufweisen, als ein Ergebnis des Anzeigens der AR-Bilder 71 bis 81 auf der Anzeigeeinrichtung 62 gemäß den Referenzkoordinatensystemen, die von den jeweiligen Steuerungen 40 erkannt werden, das Prüfen der Eignung der Einstellungen der Referenzkoordinatensysteme der jeweiligen Roboter 40 erleichtert.
Außerdem können, in dem Fall, in dem die Anzeigeeinrichtung 62 eine Touchscreen-Funktion aufweist, eine Sichtlinien-Detektionsfunktion zum Detektieren der Sichtlinie des Bedieners oder dergleichen, einer oder mehrere der Vielzahl von Robotern 40 mittels der Zeigeeinrichtung, der Sichtlinienrichtung oder dergleichen spezifiziert werden, und die AR-Bilder, die von der Steuerung 40 des spezifizierten Roboters 40 erkannt werden, können angezeigt werden.
(Anwendung auf ein anderes Arbeitssystem oder Inspektionssystem)
Es ist auch möglich, Ausgestaltungen, die gleich oder ähnlich wie die oben beschriebenen sind, auf ein Arbeitssystem anzuwenden, in dem der Roboter 40 andere Arten von Arbeit an den Zielobjekten O ausführt, wie Schneiden, Montieren, Inspizieren und Beobachten. Es reicht aus, dass die Zielobjekte O Objekte sind, die von einigen Arten von Bewegungsmitteln bewegt werden können, und es ist möglich, einen Roboter als das Bewegungsmittel einzusetzen, der sich von dem Roboter 40 unterscheidet. In dem Fall, in dem die Zielobjekte O Fahrzeugkörper oder Rahmen von Automobilen sind, und in dem Fall, in dem sich die Fahrzeugkörper oder Rahmen mittels Maschinen, Motoren, Rädern usw. bewegen, die darin installiert sind, dienen die Maschinen, die Motoren, die Räder usw. als die Bewegungsmittel.
Die Zielobjekte O können mittels einer Rutsche bewegt werden, auf der die Zielobjekte O abwärts gleiten, abwärts rollen oder aufgrund der Schwerkraft nach unten fallen. In diesem Fall ist es möglich, indem eine geneigte Rutsche veranlasst wird, mittels einer Vibrationsvorrichtung zu vibrieren, die Zielobjekte O sanft auf der Rutsche zu bewegen. In diesem Fall dienen die Rutsche, die Vibrationsvorrichtung usw. als das Bewegungsmittel.
Außerdem ist es möglich, Ausgestaltungen auf ein Arbeitssystem anzuwenden, die gleich oder ähnlich den zuvor beschriebenen sind, wobei das Arbeitssystem keinen Roboter, kein Inspektionssystem usw. einsetzt. Beispiele eines Arbeitssystems, das keinen Roboter einsetzt, umfassen ein automatisches Anstrichsystem, in dem eine Vielzahl von Farbspritzpistolen (vorbestimmte Vorrichtungen) in vorbestimmten Positionen über der Bewegungsvorrichtung 10 angeordnet sind, ein Waschsystem, in dem Waschdüsen (vorbestimmte Vorrichtungen) in vorbestimmten Positionen an Seiten der Bewegungsvorrichtung 10 angeordnet sind, usw.
In dem Fall eines Inspektionssystems ist beispielsweise ein Inspektionssensor (vorbestimmte Vorrichtung) anstelle des Roboters 40 über der Bewegungsvorrichtung 10 angeordnet, und die Steuerung 40 führt Bildverarbeitung und -bestimmung unter Verwendung von Detektionsbildern aus, die von dem Inspektionssensor erfasst werden. Eine Inspektionsbeleuchtungsvorrichtung zum Beleuchten der Abtastfläche des Inspektionssensors kann vorgesehen sein.
Außerdem erzeugt die Steuerung 40 AR-Bilder der Bildverarbeitungsergebnisse, Bestimmungsergebnisse, darauf bezogene Parameter, Bewertungen entsprechend den Parametern usw. und übermittelt die erzeugten AR-Bilder an die Anzeigeeinrichtung 62. Beispielsweise zeigt die Anzeigeeinrichtung 62 AR-Bilder der bildverarbeiteten Bilder von Inspektionszielobjekten, Bestimmungsergebnisse in Bezug auf Bestehen/Nichtbestehen der Inspektionszielobjekte, darauf bezogene Parameter, Bewertungen und so weiter an. Außerdem kann die Anzeigeeinrichtung 62 Rauschbilder, die bildverarbeitete Bilder von anderen Objekten, als den Inspektionszielobjekten, Mustern, Fehlern usw. auf der Bewegungsvorrichtung 10 sind, Parameter in Bezug auf die Rauschbilder, Bewertungen der Rauschbilder usw. anzeigen. Mit dieser Ausgestaltung wird es für den Bediener möglich, die Einstellung der Steuerung 40, die Einstellungsarbeit der Inspektionsbeleuchtung usw. einfach auszuführen.
Wie zuvor beschrieben worden ist, werden mit dieser Ausführungsform die AR-Bilder 71, 72, 74, 75, 76 und 77, die die Einstellungen in Bezug auf die Detektionen der Zielobjekte O zeigen, die unter Verwendung der Detektionseinrichtung 20 ausgeführt werden, die von der Steuerung 40 erkannt werden, die Einstellungen der Bewegungsvorrichtung 10 und die Einstellungen des Roboters 40, der die Arbeit an den Zielobjekten O ausführt, erzeugt, um an der Anzeigeeinrichtung 62 angezeigt zu werden. Entsprechend ist es für den Bediener möglich, diese Informationspunkte einfach zu erkennen.
Außerdem ist es mit dieser Ausführungsform auch für den Bediener möglich, die Positionen der Zielobjekte O, die basierend auf den Einstellungen von der Steuerung erkannt werden, die Ergebnisse der Detektionen der Zielobjekte O, die unter Verwendung der Detektionseinrichtung 20 ausgeführt wird, den Arbeitsplan der Bewegungsvorrichtung 10, den Arbeitsplan des Roboters 40, die Bestimmungsergebnisse der Steuerung 40 in Bezug auf die Ausführung der Arbeit, die von dem Roboter 40 ausgeführt wird, die Parameter in Bezug auf die Zielobjekte O, die von der Steuerung 40 erkannt werden, usw. visuell zu erkennen, und dadurch ist es für den Bediener möglich, einfach zu wissen, welche Verarbeitung gegenwärtig in der Steuerung 40 ausgeführt wird.
Das visuelle Erkennen der Einstellungen, der Verarbeitung usw. in der Steuerung 40 auf diese Weise ermöglicht die Untersuchung von Ursachen für den Erfolg/das Versagen des Betriebs des Systems.
Außerdem aktualisiert die Steuerung 40 in dieser Ausführungsform, wenn der Roboter 40 Arbeit ausführt, die AR-Bilder 74, 78, 79, 80 und 81, die mindestens einen Typ von Informationen von den Positionen der Zielobjekte O, die von der Steuerung 40 erkannt werden, die Ergebnisse der Detektionen der Zielobjekte O, den Arbeitsplan der Bewegungsvorrichtung 10, den die Steuerung 40 empfängt oder einstellt, den Arbeitsplan des Roboters, der von der Steuerung 40 eingestellt wird, die Bestimmungsergebnisse der Steuerung 40 und die Parameter in Bezug auf die Zielobjekte O, die von der Steuerung 40 erkannt werden.
Daher ist es für den Bediener möglich, dynamische Änderungen in den Einstellungen, der Verarbeitung usw. der Steuerung 40 in Bezug auf diese Informationspunkte visuell zu erkennen.
Außerdem steuert die Steuerung 40 in dieser Ausführungsform den Roboter 40; die Auswahlverarbeitung wird ausgewählt, in der mindestens eines der AR-Bilder, die auf der Anzeigeeinrichtung 62 gemäß der Eingabe angezeigt werden, die unter Verwendung der vorbestimmten Eingabeeinrichtung gemacht wird, und die Bewegungsverarbeitung wird ausgeführt, in der das ausgewählte AR-Bild auf der Anzeigeeinrichtung 62 gemäß der Eingabe bewegt wird, die unter Verwendung der vorbestimmten Eingabeeinrichtung gemacht wird; und die Parameter, die in der Steuerung 40 eingestellt oder berechnet werden, um den Roboter 40 zu steuern, werden gemäß den Bewegungsinformationen des ausgewählten AR-Bilds geändert.
Deshalb wird es für den Bediener möglich, die Einstellungen der Steuerung 40 zum Steuern des Roboters 40, die auch für einen geschulten Bediener nützlich sind, intuitiv zu ändern, um die Einstellungsgenauigkeit und die Arbeitseffizienz zu verbessern.
Außerdem erzeugt die Steuerung 40 in dieser Ausführungsform die Vielzahl von AR-Bildern, und die Anzeigeeinrichtung 62 ist in der Lage, die AR-Bilder anzuzeigen, die aus der Vielzahl von AR-Bildern gemäß den Eingaben in die vorbestimmte Eingabeeinheit ausgewählt werden.
Dadurch ist es für den Bediener möglich, die anzuzeigenden AR-Bilder über die Eingaben in die Eingabeeinheit auszuwählen. Entsprechend wird es für den Bediener möglich, die Verarbeitung, Einstellungen usw. der Steuerung 40 einfacher zu erkennen, und es ist extrem nützlich zum Ermöglichen der Untersuchung von Ursachen für den Erfolg/das Versagen des Betriebs des Systems.
Außerdem ist diese Ausführungsform mit den Speichereinheiten 44 und 64 versehen, die die AR-Bilder zusammen mit den entsprechenden Realraumbildern speichern, die von der Steuerung 40 erzeugt werden.
Dadurch ist es für den Bediener möglich, die gespeicherten AR-Bilder zusammen mit den Realraumbildern wiederzugeben, was extrem nützlich zum Ermöglichen der Überprüfung der Einstellungen des Systems, zum Ermöglichen der Einstellung des Systems und zum Ermöglichen der Untersuchung von Ursachen für den Erfolg/das Versagen des Betriebs des Systems ist. Es ist zu beachten, dass die Wiedergabe, langsame Wiedergabe, pausierende Anzeige während einer Wiedergabe usw. nur für die gespeicherten AR-Bilddaten ausgeführt werden können. Eine solche Ausgestaltung trägt auch dazu bei, das Prüfen der Einstellungen des Systems zu erleichtern, die Einstellung des Systems zu erleichtern und die Untersuchung von Ursachen in Bezug auf den Erfolg/das Versagen des Betriebs des Systems zu erleichtern.
Es ist zu beachten, dass der Roboter 40, der ein Gelenkroboter ist, in dieser Ausführungsform als eine Arbeitsmaschine eingesetzt wird. Im Gegensatz dazu ist es auch möglich, als eine Arbeitsmaschine eine Bohrerstützvorrichtung einzusetzen, die ein Werkzeug wie einen Bohrer nur in Oben-unten-Richtungen mittels eines pneumatischen Zylinders, eines hydraulischen Zylinders oder dergleichen bewegt, und es ist auch möglich, andere Typen von Arbeitsmaschinen einzusetzen.
Außerdem ist es auch möglich, anstelle der Anzeigeeinrichtung 62 eine Anzeigeeinrichtung einzusetzen, die AR-Bilder auf die Netzhaut des Bedieners projiziert. In diesem Fall werden die AR-Bilder zusammen mit den Realraumbildern auch auf der Netzhaut des Bedieners angezeigt.
Außerdem ist es auch möglich, anstelle der Anzeige mittels der Anzeigeeinrichtung 62 oder zusammen mit der Anzeige mittels der Anzeigeeinrichtung 62 einen Projektor (Projektionsvorrichtung) zu verwenden, der AR-Bilder auf mindestens eine der Vorrichtungen, beispielsweise die Bewegungsvorrichtung 10, die Detektionseinrichtung 20 und den Roboter 40 sowie die Räume im realen Raum projiziert. Weil die AR-Bilder in diesem Fall auch im realen Raum angezeigt werden, ist es möglich, betriebliche Wirkungen zu erzielen, die ähnlich den zuvor beschriebenen sind.
Mit der Projektionsvorrichtung ist es auch möglich, 4D-AR-Bilder in realen Raum zu projizieren. Beispielsweise ist es möglich, indem AR-Bilder in einem Arbeitsbereich projiziert werden, Informationen in dem Arbeitsbereich anzuzeigen.
Außerdem können, anders als in dem zuvor beschriebenen Fall, die Brille mit einer AR-Funktion, die kopfmontierte Anzeige oder dergleichen, welche die Anzeigeeinrichtung 62 ist, mit einer lichtdurchlässigen Platte oder einer lichtdurchlässigen Folie versehen sein, die dem Bediener erlaubt, eine solche Einrichtung zu tragen, um den rohen realen Raum zu sehen. In diesem Fall kann die lichtdurchlässige Platte oder die lichtdurchlässige Folie mit einer Funktion zum Anzeigen von AR-Bilddaten versehen sein, und die Brille mit einer AR-Funktion, die kopfmontierte Anzeige oder dergleichen kann mit einer Funktion zum Projizieren von AR-Bilddaten auf die lichtdurchlässige Platte oder die lichtdurchlässige Folie versehen sein. Indem diese Ausgestaltung eingesetzt wird, werden betriebliche Wirkungen erzielt, die ähnlich den zuvor beschriebenen sind, weil es für den Bediener möglich ist, die AR-Bilder auf der lichtdurchlässigen Platte oder der lichtdurchlässigen Folie zu sehen, während er realen Raum über die Anzeigeeinrichtung 62 betrachtet.
In Bezug auf die Positionierung zwischen den Augmented-Reality-Bildern auf der lichtdurchlässigen Platte oder der lichtdurchlässigen Folie und rohem realen Raum ist es beispielsweise möglich, ein Verfahren einzusetzen, in dem die Position, bei der eine Person steht oder dergleichen unter Verwendung eines anderen Sensors detektiert wird, und AR-Bilder werden gemäß der Ausrichtung der Person vorbereitet und angezeigt.
In dem Fall, in dem die Anzeigeeinrichtung 62 oder die Projektionsvorrichtung eingesetzt werden, mit denen es möglich ist, die AR-Bilder auf der lichtdurchlässigen Platte oder der lichtdurchlässigen Folie anzusehen, während realer Raum gesehen wird, ist es auch möglich, die zuvor beschriebene „Anzeige von Detektionsergebnissen, die nicht als Arbeitsziel qualifiziert sind“, das zuvor beschriebene „Anzeigen eines Augmented-Reality-Bilds gemäß der Auswahl“, und die zuvor beschriebene „Auswahl und Handhabung des Objekts“ auszuführen, wobei die Anwendung eines anderen Arbeitssystems oder eines Inspektionssystems wie zuvor beschrieben auch möglich ist.
Wenn beispielsweise eine Bewegung des Greifens eines projizierten AR-Bilds oder eines AR-Bilds, das auf der lichtdurchlässigen Platte oder der lichtdurchlässigen Folie mit dem Zeigefinger und dem Daumen eines intelligenten Handschuhs ausgeführt wird, wird diese Bewegung mittels eines Bilds erkannt, das von der Kamera erfasst worden ist, und das AR-Bild wird bewegt, wenn der Zeigefinger und der Daumen bewegt werden, während sie in dem Zustand gehalten werden.
Es ist zu beachten, dass die Kamera 61 der Augmented-Reality-Vorrichtung 60 in einer Position angeordnet sein kann, von der die Bewegungsvorrichtung 10, die Detektionseinrichtung 20 und der Roboter 40 betrachtet werden, und die Anzeigeeinrichtung 62 kann Realraumbilder und AR-Bilder in einem alles betrachtenden Zustand anzeigen. In diesem Fall kann die Anzeigeeinrichtung 62 ein AR-Bild des Bedieners anzeigen.
Es ist zu beachten, dass in dieser Ausführungsform, obgleich ein System beschrieben worden ist, in dem die Steuerung 40 wie zuvor beschrieben AR-Bilder erzeugt, eine Steuerung, die in der Augmented-Reality-Vorrichtung 60 oder dergleichen gebaut ist, oder eine andere Steuerung Daten über verschiedene Einstellungen, die Berechnungsergebnisse, die Bestimmungsergebnisse usw. von der Steuerung 40 empfangen kann, AR-Bilder unter Verwendung der empfangenen Daten erzeugen kann und das erzeugte AR-Bild an die Anzeigeeinrichtung 62 übertragen kann.
Außerdem kann sich die Detektionseinrichtung 20 gemäß den Positionen der Zielobjekte O bewegen. Beispielsweise kann die Detektionseinrichtung 20 an einem Spitzenabschnitt des Roboters 40 gestützt sein, und die Steuerung 40 weist in diesem Fall ebenfalls Einstellungsdaten wie das Koordinatensystem, die Detektionsfläche usw. der Detektionseinrichtung 20 auf, und ist in der Lage, mittels Berechnungen die Position und Ausrichtung der Detektionseinrichtung 20 gemäß den Bewegungen des Roboters 40 zu bestimmen.
Überdies kann die Detektionseinrichtung 20 von einem einachsigen Roboter, einem Gelenkroboter oder dergleichen gestützt sein. In einem solchen Fall empfängt die Steuerung 40 die Einstellungsdaten wie das Koordinatensystem, die Detektionsfläche usw. der Detektionseinrichtung 20 und ist in der Lage, mittels Berechnungen die Position und Ausrichtung der Detektionseinrichtung 20 gemäß den Bewegungen des einachsigen Roboters, des Gelenkroboters oder dergleichen zu bestimmen.
Es ist zu beachten, dass sich die Augmented-Reality-Erzeugungseinheit nicht in der Steuerung befinden muss.
Bezugszeichenliste

10: Bewegungsvorrichtung
11: Motor
12: Betriebspositions-Detektionseinrichtung
20: Detektionseinrichtung
40: Roboter
40a: Arm
41: Servomotor
40: Steuerung
41: Steuereinheit
42: Steuerungsanzeigeeinheit
44: Speichereinheit
44a: Systemprogramm
44b: Bewegungsprogramm
44c: Objektdetektionsprogramm
44d: AR-Bild-Erzeugungsprogramm
44e: Wiedergabeprogramm
50: Werkzeug
51: Servomotor
60: Augmented-Reality-Vorrichtung
61: Kamera
62: Anzeigeeinrichtung
64: Speichereinheit
64a: AR-Bild-Handhabungsprogramm
71 bis 81: AR-Bild
O: Zielobjekt

Claims

Abtastsystem, umfassend: eine Detektionseinrichtung, die verwendet wird, um mindestens eine Position eines Ziels zu detektieren, das von einem Bewegungsmittel zum Bewegen des Ziels bewegt wird; und eine Steuerung, wobei die Steuerung zur Anzeige auf einer Anzeigeeinrichtung oder zur Projektion mittels einer Projektionsvorrichtung ein Augmented-Reality-Bild erzeugt, das mindestens einen Typ der folgenden Informationen zeigt: mindestens eine, eine Einstellung in Bezug auf die Detektion des Ziels, die unter Verwendung der Detektionseinrichtung ausgeführt wird, eine Einstellung des Bewegungsmittels, eine Einstellung einer Arbeitsmaschine, die Arbeit an dem Ziel ausführt, was Einstellungen sind, die von der Steuerung erkannt werden; eine Position des Ziels, das basierend auf einer Basis der Einstellungen von der Steuerung erkannt wird; ein Ergebnis der Detektion des Ziels, die unter Verwendung der Detektionseinrichtung ausgeführt wird, einen Arbeitsplan des Bewegungsmittels, einen Arbeitsplan der Arbeitsmaschine, ein Bestimmungsergebnis der Steuerung in Bezug auf die Ausführung der Arbeit, die von der Arbeitsmaschine ausgeführt wird, und einen Parameter in Bezug auf das Ziel, das von der Steuerung erkannt wird.
Abtastsystem nach Anspruch 1, wobei die Projektionsvorrichtung vorzugsweise das Augmented-Reality-Bild auf realem Raum projiziert, oder die Anzeigeeinrichtung das Augmented-Reality-Bild derart anzeigt, dass das Augmented-Reality-Bild zusammen mit einem Realraumbild oder einem realen Raum angesehen werden kann.
Abstastsystem nach Anspruch 1 oder 2, wobei die Steuerung, wenn die Arbeitsmaschine die Arbeit ausführt, das Augmented-Reality-Bild aktualisiert, das mindestens einen Typ der folgenden Informationen zeigt: die Position des Ziels, das von der Steuerung erkannt wird; das Ergebnis der Detektion des Ziels; den Arbeitsplan des Bewegungsmittels; den Arbeitsplan der Arbeitsmaschine; das Bestimmungsergebnis der Steuerung; und den Parameter in Bezug auf das Ziel.
Abtastsystem nach einem der Ansprüche 1 bis 4, wobei die Steuerung die Arbeitsmaschine steuert, wobei das Abtastsystem überdies umfasst: eine Augmented-Reality-Bild-Manipulationseinheit, die das Auswählen von Verarbeitung ausführt, die mindestens eines der Augmented-Reality-Bilder, die auf der Anzeigeeinrichtung angezeigt oder von der Projektionsvorrichtung projiziert werden, gemäß einer Eingabe auswählt, die unter Verwendung einer vorbestimmten Eingabeeinrichtung gemacht wird, die Augmented-Reality-Bild-Manipulationseinheit, die Bewegungsverarbeitung ausführt, die das ausgewählte Augmented-Reality-Bild bewegt, das an der Anzeigeeinrichtung angezeigt oder von der Projektionsvorrichtung gemäß der Eingabe projiziert wird, die unter Verwendung der vorbestimmten Eingabeeinrichtung gemacht wird; und eine Einstellungsanpassungseinheit, die gemäß den Bewegungsinformationen des ausgewählten Augmented-Reality-Bilds einen Parameter ändert, der in der Steuerung eingestellt oder berechnet wird, um die Arbeitsmaschine zu steuern.
Abtastsystem nach einem der Ansprüche 1 bis 4, wobei die Steuerung eine Vielzahl der Augmented-Reality-Bilder erzeugt, wobei die Anzeigeeinrichtung oder die Projektionsvorrichtung ein Augmented-Reality-Bild anzeigt oder projiziert, das von der Vielzahl von Augmented-Reality-Bildern gemäß einer Eingabe in eine vorbestimmte Eingabeeinheit ausgewählt wird.
Abtastsystem nach einem der Ansprüche 1 bis 5, überdies umfassend: eine Speichereinheit, die das Augmented-Reality-Bild speichert, das von der Steuerung zusammen mit einem entsprechenden Realraumbild erzeugt wird.
Abtastsystem nach Anspruch 5, überdies umfassend: eine Wiedergabeeinheit, die das Augmented-Reality-Bild wiedergibt, das in der Speichereinheit gespeichert ist, oder das Augmented-Reality-Bild zusammen mit dem Realraumbild wiedergibt.
Abtastsystem, umfassend: eine Detektionseinrichtung, die verwendet wird, um mindestens eine Position eines Ziels zu detektieren, das von einem vorbestimmten Bewegungsmittel bewegt wird; eine Steuerung, die eine Arbeitsmaschine steuert, die unter Verwendung des Detektionsergebnisses der Detektionseinrichtung Arbeit an dem Ziel ausführt; eine Augmented-Reality-Bild-Erzeugungseinheit, die, wenn die Arbeitsmaschine die Arbeit ausführt, nacheinander Augmented-Reality-Bilder erzeugt, die mindestens einen Typ der folgenden Informationen zeigen: die Position des Ziels, das von der Steuerung basierend auf dem Detektionsergebnis der Detektionseinrichtung erkannt wird, einen Arbeitsplan des Bewegungsmittels, einen Arbeitsplan der Arbeitsmaschine, ein Bestimmungsergebnis der Steuerung in Bezug auf die Ausführung der Arbeit, die von der Arbeitsmaschine ausgeführt wird, und einen Parameter in Bezug auf das Ziel, das von der Steuerung erkannt wird; und eine Speichereinheit, die die Augmented-Reality-Bilder speichert, die von der Augmented-Reality-Bild-Erzeugungseinheit zusammen mit entsprechenden Realraumbildern erzeugt werden.
Abtastsystem nach Anspruch 8, überdies umfassend: eine Wiedergabeeinheit, die das Augmented-Reality-Bild wiedergibt, das in der Speichereinheit gespeichert ist, oder die Augmented-Reality-Bilder zusammen mit den Realraumbildern wiedergibt.
Abtastsystem, umfassend: eine Detektionseinrichtung, die verwendet wird, um eine Vielzahl von Zielen zu detektieren, die von einem vorbestimmten Bewegungsmittel bewegt werden; eine Zieldetektionseinheit, die Bildverarbeitung zum Detektieren der Ziele auf die Bilddaten anwendet, die von der Detektionseinrichtung erhalten werden; eine Augmented-Reality-Bild-Erzeugungseinheit, die für einen Kandidaten aus der Vielzahl von Kandidaten, die in dem verarbeiteten Bild erscheinen, auf das die Bildverarbeitung angewandt worden ist, ein Augmented-Reality-Bild erzeugt, das dem Kandidaten entspricht, in dem ein vorbestimmter Parameter gleich oder größer ist als ein Detektionsschwellenwert, und ein Augmented-Reality-Kandidatenbild erzeugt, das einem Kandidaten aus der Vielzahl von Kandidaten entspricht, in dem der vorbestimmte Parameter geringer ist als der Detektionsschwellenwert und gleich oder größer ist als ein Detektionskandidaten-Schwellenwert; und eine Anzeigeeinrichtung oder eine Projektionsvorrichtung, die das Augmented-Reality-Bild und das Augmented-Reality-Kandidatenbild anzeigt oder projiziert.
Abtastsystem nach Anspruch 10, wobei das Augmented-Reality-Kandidatenbild in einer Form erzeugt wird, die von dem Augmented-Reality-Bild unterscheidbar ist.
Abtastsystem nach Anspruch 10 oder 11, wobei die Augmented-Reality-Bild-Erzeugungseinheit ein Augmented-Reality-Bild eines Detektionsergebnisses erzeugt, das das Augmented-Reality-Kandidatenbild begleitet, und die Anzeigeeinrichtung oder die Projektionsvorrichtung, das Augmented-Reality-Bild des Detektionsergebnisses zusammen mit dem Augmented-Reality-Kandidatenbild anzeigt oder projiziert.
Arbeitssystem, umfassend: ein Abtastsystem nach einem der Ansprüche 1 bis 12 und eine Arbeitsmaschine.
Verfahren zum Anzeigen eines Augmented-Reality-Bilds, das in einem System eingesetzt wird, in dem eine Steuerung eine Arbeitsmaschine oder eine vorbestimmte Vorrichtung basierend auf einem Detektionsergebnis eines Ziels steuert, das von einem Bewegungsmittel zum Bewegen des Ziels bewegt wird, wobei das Verfahren zum Anzeigen eines Augmented-Reality-Bilds umfasst: Erzeugen von der Steuerung eines Augmented-Reality-Bilds, das mindestens einen Typ der folgenden Informationen zeigt: mindestens eine Einstellung in Bezug auf die Detektion des Ziels, eine Einstellung des Bewegungsmittels, eine Einstellung einer Arbeitsmaschine, was Einstellungen sind, die von der Steuerung erkannt werden; eine Position des Ziels, das basierend auf den Einstellungen von der Steuerung erkannt wird; ein Ergebnis der Detektion des Ziels, die unter Verwendung der Detektionseinrichtung ausgeführt wird; einen Arbeitsplan des Bewegungsmittels, einen Arbeitsplan der Arbeitsmaschine; ein Bestimmungsergebnis der Steuerung in Bezug auf die Ausführung der Arbeit, die von der Arbeitsmaschine ausgeführt wird; und einen Parameter in Bezug auf das Ziel, das von der Steuerung erkannt wird, und wobei das Verfahren überdies umfasst: Anzeigen des erzeugten Augmented-Reality-Bilds auf einer Anzeigeeinrichtung oder Projizieren des Augmented-Reality-Bilds unter Verwendung einer Projektionsvorrichtung.
Verfahren zum Speichern eines Augmented-Reality-Bilds, das in einem System eingesetzt wird, in dem eine Steuerung eine Arbeitsmaschine basierend auf einem Detektionsergebnis eines Ziels steuert, das von einem Bewegungsmittel zum Bewegen des Ziels bewegt wird, wobei das Verfahren zum Speichern eines Augmented-Reality-Bilds umfasst: Erzeugen nacheinander, wenn die Arbeitsmaschine die Arbeit ausführt, von Augmented-Reality-Bildern, die mindestens einen Typ der folgenden Informationen zeigen: eine Position des Ziels, das von der Steuerung basierend auf dem Detektionsergebnis erkannt wird; einen Arbeitsplan des Bewegungsmittels; einen Arbeitsplan der Arbeitsmaschine; ein Bestimmungsergebnis der Steuerung in Bezug auf die Ausführung der Arbeit, die von der Arbeitsmaschine ausgeführt wird; und einen Parameter in Bezug auf das Ziel, das von der Steuerung erkannt wird, und wobei das Verfahren überdies umfasst: Speichern der Augmented-Reality-Bilder, die in dem Augmented-Reality-Bilderzeugungsschritt zusammen mit entsprechenden Realraumbildern erzeugt werden.
Verfahren zum Anzeigen eines Augmented-Reality-Bilds, das in einem System eingesetzt wird, das Bildverarbeitung zum Detektieren einer Vielzahl von Zielen ausführt, die von einem Bewegungsmittel zum Bewegen der Ziele bewegt werden, wobei das Verfahren zum Anzeigen eines Augmented-Reality-Bilds umfasst: Erzeugen, für einen Kandidaten aus der Vielzahl von Kandidaten, die in dem verarbeiteten Bild erscheinen, auf das die Bildverarbeitung angewandt worden ist, eines Augmented-Reality-Bilds, das dem Kandidaten entspricht, in dem ein vorbestimmter Parameter gleich oder größer ist als ein Detektionsschwellenwert, und Erzeugen eines Augmented-Reality-Kandidatenbilds, das einem Kandidaten aus der Vielzahl von Kandidaten entspricht, in dem der vorbestimmte Parameter geringer ist als der Detektionsschwellenwert und gleich oder größer ist als ein Detektionskandidaten-Schwellenwert; und Anzeigen des Augmented-Reality-Bilds und des Augmented-Reality-Kandidatenbilds.
Speichermedium, das ein Programm speichert, das in einem System eingesetzt wird, in dem eine Steuerung eine Arbeitsmaschine oder eine vorbestimmte Vorrichtung basierend auf einem Detektionsergebnis eines Ziels steuert, das von einem Bewegungsmittel zum Bewegen des Ziels bewegt wird, wobei das Speichermedium ein Programm speichert, das einen Computer veranlasst, Folgendes auszuführen: Erzeugen eines Augmented-Reality-Bilds, das mindestens einen Typ der folgenden Informationen zeigt: mindestens eine Einstellung in Bezug auf die Detektion des Ziels, eine Einstellung des Bewegungsmittels, eine Einstellung einer Arbeitsmaschine, was Einstellungen sind, die von der Steuerung erkannt werden; eine Position des Ziels, das basierend auf den Einstellungen von der Steuerung erkannt wird; ein Ergebnis der Detektion des Ziels, die unter Verwendung der Detektionseinrichtung ausgeführt wird; einen Arbeitsplan des Bewegungsmittels, einen Arbeitsplan der Arbeitsmaschine; ein Bestimmungsergebnis der Steuerung in Bezug auf die Ausführung der Arbeit, die von der Arbeitsmaschine ausgeführt wird; und einen Parameter in Bezug auf das Ziel, das von der Steuerung erkannt wird, und Anzeigen des erzeugten Augmented-Reality-Bilds auf einer Anzeigeeinrichtung oder Projizieren des Augmented-Reality-Bilds unter Verwendung einer Projektionsvorrichtung.
Speichermedium, das ein Programm speichert, das in einem System eingesetzt wird, in dem eine Steuerung eine Arbeitsmaschine basierend auf einem Detektionsergebnis eines Ziels steuert, das von einem Bewegungsmittel zum Bewegen des Ziels bewegt wird, wobei das Speichermedium ein Programm speichert, das einen Computer veranlasst, Folgendes auszuführen: Erzeugen nacheinander, wenn die Arbeitsmaschine die Arbeit ausführt, von Augmented-Reality-Bildern, die mindestens einen Typ der folgenden Informationen zeigen: eine Position des Ziels, das von der Steuerung basierend auf dem Detektionsergebnis der Detektionseinrichtung erkannt wird; einen Arbeitsplan des Bewegungsmittels; einen Arbeitsplan der Arbeitsmaschine; ein Bestimmungsergebnis der Steuerung in Bezug auf die Ausführung der Arbeit, die von der Arbeitsmaschine ausgeführt wird; und einen Parameter in Bezug auf das Ziel, das von der Steuerung erkannt wird, und wobei das Verfahren überdies umfasst: Speichern der Augmented-Reality-Bilder, die in dem Augmented-Reality-Bilderzeugungsschritt zusammen mit entsprechenden Realraumbildern erzeugt werden.
Speichermedium, das ein Programm speichert, das in einem System eingesetzt wird, das Bildverarbeitung zum Detektieren einer Vielzahl von Zielen ausführt, die von einem Bewegungsmittel zum Bewegen der Ziele bewegt werden, wobei das Speichermedium ein Programm speichert, das einen Computer veranlasst, Folgendes auszuführen: Erzeugen, für einen Kandidaten aus der Vielzahl von Kandidaten, die in dem verarbeiteten Bild erscheinen, auf das die Bildverarbeitung angewandt worden ist, eines Augmented-Reality-Bilds, das dem Kandidaten entspricht, in dem ein vorbestimmter Parameter gleich oder größer ist als ein Detektionsschwellenwert, und Erzeugen eines Augmented-Reality-Kandidatenbilds, das einem Kandidaten aus der Vielzahl von Kandidaten entspricht, in dem der vorbestimmte Parameter geringer ist als der Detektionsschwellenwert und gleich oder größer ist als ein Detektionskandidaten-Schwellenwert; und einen Anzeigeschritt des Anzeigens des Augmented-Reality-Bilds und des Augmented-Reality-Kandidatenbilds.