DE102019102866A1

DE102019102866A1 - Identifizierung eines Herstellungsteils unter Verwendung von Computervision und Maschinenlernen

Info

Publication number: DE102019102866A1
Application number: DE102019102866.3A
Authority: DE
Inventors: Alberto Rivera; Kiril Spasovski; Shounak Athavale; Randy Nunez
Original assignee: Ford Motor Co
Current assignee: Ford Motor Co
Priority date: 2018-02-08
Filing date: 2019-02-05
Publication date: 2019-08-08
Also published as: US20190244008A1; US10592726B2; CN110135449A

Abstract

Diese Offenbarung stellt eine Identifizierung eines Herstellungsteils unter Verwendung von Computervision und Maschinenlernen bereit. Systeme, Verfahren und Vorrichtungen zur Objektdetektion, einschließlich Detektion von Herstellungsteilen werden offenbart. Ein Verfahren zum Identifizieren eines Herstellungsteils beinhaltet Empfangen eines Bilds, das ein Herstellungsteil umfasst, von einer Vorrichtung für erweiterte Realität und Bestimmen eines begrenzenden Umfangs, der das Herstellungsteil einschließt. Das Verfahren beinhaltet Empfangen einer Vorhersagekennzeichnung und eines Konfidenzwerts für das Herstellungsteil von einem neuralen Netzwerk. Das Verfahren beinhaltet Erzeugen einer Nachricht, die das Bild, die Vorhersagekennzeichnung und den Konfidenzwert umfasst, und Bereitstellen der Nachricht an die Vorrichtung für erweiterte Realität.

Description

TECHNISCHES GEBIET
Die Offenbarung betrifft im Allgemeinen Systeme, Verfahren und Vorrichtungen zum Erkennen und Auswählen eines Objekts, wie etwa eines Herstellungsteils, und Bereitstellen von Informationen, die mit dem Objekt zusammenhängen.
ALLGEMEINER STAND DER TECHNIK
Hilfsvorrichtungen für erweiterte Realität dienen dazu, die Effizienz und Genauigkeit bei der Herstellung und beim Auswählen von Herstellungsteilen zu erhöhen. Bestimmte fachbekannte Programme zur „Auswahl nach Sicht“ stellen Informationen darüber bereit, wo sich ein Herstellungsteil befindet, oder sie können ein Diagramm eines Prozesses zum Einbau von Herstellungsteilen bereitstellen. Derartige Programme beinhalten Einschränkungen, einschließlich zum Beispiel Veranlassen einer Person dazu, ein falsches Teil von einem falschen Standort auszuwählen, Nichtbereitstellen von detaillierten Informationen zum Einbau von Teilen, Anfordern, dass ein Teil mit einem Strichcode oder einem anderen einzigartigen Identifikator gekennzeichnet wird, oder Nichtbereitstellen von genauen Informationen an einen Benutzer in Realzeit. Derartige Einschränkungen können einen Benutzer dazu veranlassen, falsche Teile auszuwählen oder Teile falsch einzubauen, und dies kann zu großen Verlusten von Produktivität in einer Herstellungsanlage führen.
Viele Fehler erfolgen, wenn Teile aus Staubehältern und von Regalen ausgewählt werden. Häufige Fehler beinhalten Auswählen des falschen Teils, vor allem, wenn sich Teile in der Größe oder Form sehr ähnlich sind, und Übersehen eines oder mehrerer Teile. Derartige Fehler reduzieren die Effizienz und Produktivität und verursachen Ausfallzeiten bei der Herstellung und derartige Fehler können für Hersteller zu wesentlichen Kosten führen. Einige Teile sind sehr klein oder weisen keinen Strichcode oder anderen einzigartigen Identifikator auf; diese Teile können nur durch Größe, Farbe und andere Identifikatoren identifizierbar sein. Bei derartigen Teilen kann es schwer sein, sie mit menschlichem Auge zu unterschieden, und sie werden während der Herstellungsproduktion oft verwechselt.
Systeme, Verfahren und Vorrichtungen zum Identifizieren eines Objekts, wie etwa eines Herstellungsteils, erhöhen die Herstellungsproduktion, erhöhen die Effizienz und Genauigkeit der Herstellung und reduzieren Ausfallzeiten. In einigen Herstellungsindustrien, in denen komplizierte Projekte unter Verwendung von Hunderten oder Tausenden von einzigartigen Teilen abgeschlossen werden, ist es vorteilhaft, Computervision und Maschinenlernen zu verwenden, um Herstellungsteile zu identifizieren und sicherzustellen, dass Projekte gemäß Protokoll abgeschlossen werden.
KURZDARSTELLUNG
Gemäß einer Ausführungsform der Offenbarung ist ein Verfahren zum Identifizieren eines Herstellungsteils offenbart. In einer Ausführungsform wird das Verfahren durch einen Computerserver in Kommunikation mit einer Vorrichtung für erweiterte Realität und einem neuralen Netzwerk durchgeführt. Das Verfahren beinhaltet Empfangen eines Bilds, das ein Herstellungsteil umfasst, von einer Vorrichtung für erweiterte Realität. Das Bild kann aus einem Videostrom extrahiert werden, der von der Vorrichtung für erweiterte Realität in Realzeit empfangen wurde. Das Verfahren beinhaltet Bestimmen eines begrenzenden Umfangs, der das Herstellungsteil einschließt, und Bereitstellen eines Unterbilds, das durch den begrenzenden Umfang erstellt wurde, an ein neurales Netzwerk. Das Verfahren beinhaltet Empfangen einer Vorhersagekennzeichnung und eines Konfidenzwerts für das Herstellungsteil von dem neuralen Netzwerk. Das Verfahren beinhaltet Erzeugen einer Nachricht, die das Bild, die Vorhersagekennzeichnung und den Konfidenzwert umfasst, wobei die Vorhersagekennzeichnung und der Konfidenzwert auf das Originalbild, das von der Vorrichtung für erweiterte Realität empfangen wurde, überlagert werden. Das Verfahren beinhaltet Bereitstellen der Nachricht an die Vorrichtung für erweiterte Realität. In einer Ausführungsform wird das Bild, einschließlich der Vorhersagekennzeichnung und des Konfidenzwerts, einem Benutzer angezeigt, der die Vorrichtung für erweiterte Realität trägt.
Gemäß einer Ausführungsform wird ein System zum Identifizieren eines Herstellungsteils offenbart. Das System beinhaltet eine Vorrichtung für erweiterte Realität, die eine Kamera umfasst. Die Vorrichtung für erweiterte Realität kann tragbare Vorrichtungen beinhalten, wie etwa ein Headset oder eine Brille, die durch einen Benutzer getragen werden können. Das System beinhaltet einen Server in Kommunikation mit der Vorrichtung für erweiterte Realität, der Folgendes umfasst: computerlesbare Speichermedien, auf welchen Anweisungen gespeichert sind, die, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren dazu veranlassen, einen oder mehrere Verfahrensschritte durchzuführen. Das System beinhaltet ein neurales Netzwerk in Kommunikation mit dem Server, wobei das neurale Netzwerk dazu konfiguriert ist, eine Vorhersagekennzeichnung und einen Konfidenzwert für ein Herstellungsteil in einem Bild zu bestimmen, das durch die Vorrichtung für erweiterte Realität aufgenommen wurde. In einer Ausführungsform umfasst das neurale Netzwerk ein CNN und ist dazu konfiguriert, neue Informationen, die Herstellungsteile, Auswahllisten und Lagerorte von Herstellungsteilen betreffen, in Realzeit zu lernen und zu aktualisieren.
Gemäß einer Ausführungsform umfasst ein neurales Netzwerk ein CNN, das auf denen beruht, die zur Objektdetektion verwendet werden, das mit einem gekennzeichneten Trainingsdatensatz von Herstellungsteilbildern trainiert wird, das als ein Klassifizierer funktioniert. Die Faltschichten wenden einen Faltungsvorgang auf eine Eingabe, wie etwa ein Bild eines Herstellungsteils, an und geben das Ergebnis an die nächste Schicht weiter. Das neurale Netzwerk ist dazu trainiert, verschiedene Herstellungsteile mit einem Schwellenwertgenauigkeitspegel zu identifizieren und zu erkennen. Das neurale Netzwerk ist ferner dazu trainiert, einen Konfidenzwert für jede Objektidentifizierung zu bestimmen, die durch das neurale Netzwerk durchgeführt wird.
Figurenliste
Nicht einschränkende und nicht erschöpfende Umsetzungen der vorliegenden Offenbarung werden in Bezug auf die folgenden Figuren beschrieben, wobei sich in den verschiedenen Ansichten gleiche Bezugszeichen auf gleiche Teile beziehen, sofern nicht anderweitig angegeben. Vorteile der vorliegenden Offenbarung können unter Bezugnahme auf die folgende Beschreibung und beigefügten Zeichnungen besser nachvollzogen werden, in welchen Folgendes gilt:

1 ist ein schematisches Diagramm, das ein System zum Identifizieren eines Herstellungsteils gemäß einer Umsetzung veranschaulicht;
2 veranschaulicht eine tragbare Vorrichtung für erweiterte Realität, die ein Herstellungsteil gemäß einer Umsetzung detektiert;
3 veranschaulicht ein beispielhaftes Bild, das gemäß einer Umsetzung durch eine Vorrichtung für erweiterte Realität aufgenommen wurde;
4 veranschaulicht ein beispielhaftes Bild, das gemäß einer Umsetzung durch eine Vorrichtung für erweiterte Realität aufgenommen wurde und durch einen Server geändert wurde;
5 veranschaulicht ein beispielhaftes Bild, das gemäß einer Umsetzung durch eine Vorrichtung für erweiterte Realität aufgenommen wurde und durch einen Server geändert wurde;
6 veranschaulicht ein beispielhaftes Unterbild, wie es durch einen Server zum Verarbeiten durch ein neurales Netzwerk gemäß einer Umsetzung vorbereitet wurde;
7 veranschaulicht ein beispielhaftes Unterbild, wie es durch einen Server zum Verarbeiten durch ein neurales Netzwerk gemäß einer Umsetzung vorbereitet wurde;
8 ist ein schematisches Ablaufdiagramm eines beispielhaften Prozessablaufs zur Objektdetektion und -identifizierung gemäß einer Umsetzung;
9 ist ein schematisches Ablaufdiagramm, das ein Verfahren zum Identifizieren eines Herstellungsteils gemäß einer Umsetzung veranschaulicht;
10 ist ein schematisches Ablaufdiagramm, das ein Verfahren zum Identifizieren eines Herstellungsteils gemäß einer Umsetzung veranschaulicht;
11 ist ein schematisches Ablaufdiagramm, das ein Verfahren zum Identifizieren eines Herstellungsteils gemäß einer Umsetzung veranschaulicht; und
12 ist ein schematisches Blockdiagramm, das ein beispielhaftes Rechensystem gemäß einer Umsetzung veranschaulicht.

DETAILLIERTE BESCHREIBUNG
Hilfsvorrichtungen für erweiterte Realität erhöhen Wirksamkeit und Genauigkeit in der Herstellungsindustrie. Derartige Hilfsvorrichtungen werden in verschiedenen Gebieten verwendet, einschließlich Automobilherstellung, wo sich Tausende oder Millionen von Herstellungsteilen vor Ort befinden und ein einziges Projekt Hunderte einzigartige Teile benötigen kann. In vielen Gebieten, einschließlich Automobilherstellung, erfordert ein einziges Projekt Teile, die ähnlich in Größe und Form sind und die während des Einbaus nicht verwechselt werden dürfen. Derartige Teile können für ein menschliches Auge schwer differenzierbar sein. Vorrichtungen für erweiterte Realität, einschließlich tragbarer Headsets oder Brillen für erweiterte Realität, helfen einem Benutzer beim Auswählen und Erkennen richtiger Herstellungsteile und Einbau eines komplizierten Projekts, das viele einzigartige Teile erfordert. Es versteht sich, dass Systeme für erweiterte Realität, wie sie hier offenbart sind, in einer Vielzahl von Szenarios verwendet werden können, einschließlich beliebiger Herstellungs- und Einbauindustrien.
In der vorliegenden Offenbarung schlägt und stellt der Anmelder Systeme, Verfahren und Vorrichtungen zur Objekterkennung durch Computervision und Maschinenlernen vor. Derartige Systeme, Verfahren und Vorrichtungen können in einer Vorrichtung für erweiterte Realität integriert sein, die durch einen Benutzer verwendet werden kann, der mit Auswählen und Einbauen von Herstellungsteilen beauftragt ist. Derartige Systeme, Verfahren und Vorrichtungen können mit einem neuralen Faltungsnetzwerk (convolutional neural network - CNN) integriert sein, das auf einem derartigen CNN beruht, das zur Obj ektdetektion verwendet wird und mit einem gekennzeichneten Trainingsdatensatz trainiert wird.
Der Anmelder schlägt Systeme, Verfahren und Vorrichtungen zum Erhöhen von Effizienz und Genauigkeit beim Auswählen von Teilen oder Objekten vor. In einer Ausführungsform stellt ein System einem Benutzer eine Angabe eines Orts eines Herstellungsteils bereit, einschließlich zum Beispiel einer Fahrgassennummer, einer/s Regalnummer und/oder -orts und einer/s Fachnummer und/oder -orts. Das System erkennt das Herstellungsteil, wenn sich der Benutzer dem richtigen Ort nähert, und das System gibt an, ob der Benutzer das richtige Teil ausgewählt hat. In einer Ausführungsform beinhaltet das System die Fähigkeit, ein Bild des Herstellungsteils aufzunehmen, wenn das Teil gelagert ist und mit einer Teilnummer, einem Strichcode, einem QR-Code oder dergleichen in Verbindung gebracht wird. Das System wird unterrichtet und lernt jedes einer Vielzahl von Teilen, wenn die Teile in Realzeit gelagert werden. Das System empfängt und aktualisiert automatisch eine Auswahlliste, umfassend eine Liste von Herstellungsteilen, die nötig sind, um ein Herstellungsprojekt abzuschließen. Das System beinhaltet die Fähigkeit, Code-Kennzeichnungen, einschließlich Strichcodes, QR-Codes und dergleichen, zu lesen.
Bevor die Verfahren, Systeme und Vorrichtungen zum Detektieren eines Objekts, wie etwa eines Herstellungsteils, offenbart und beschrieben sind, versteht es sich, dass diese Offenbarung nicht auf die hier offenbarten Konfigurationen, Prozessschritte und Materialien beschränkt sind, da derartige Konfigurationen, Prozessschritte und Materialien etwas variieren können. Es versteht sich ebenfalls, dass die hierin eingesetzte Terminologie nur zum Beschreiben von Umsetzungen eingesetzt ist und nicht einschränkend sein soll, da der Umfang der Offenbarung nur durch die beigefügten Ansprüche und Äquivalente davon eingeschränkt sein wird.
Bei Beschreiben und Beanspruchen der Offenbarung wird die folgende Terminologie gemäß den nachstehend aufgeführten Definitionen verwendet.
Es ist anzumerken, dass, wie in dieser Beschreibung und den beigefügten Ansprüchen verwendet, die Singularformen „ein“, „eine“ und „der“, „die“, „das“ Pluralbezüge beinhalten, sofern der Kontext nicht eindeutig etwas anderes erfordert.
Im hier verwendeten Sinne sind die Begriffe „umfassend“, „beinhaltend“, „enthaltend“, „gekennzeichnet durch“ und grammatische Äquivalente davon inklusiv oder offene Begriffe, die zusätzliche, nicht genannte Elemente oder Verfahrensschritte nicht ausschließen.
Nun unter Bezugnahme auf die Figuren veranschaulicht 1 ein beispielhaftes System 100, das zum Auswählen und Identifizieren von Teilen, einschließlich Herstellungsteilen, verwendet werden kann. Das System 100 beinhaltet eine Vorrichtung 102 für erweiterte Realität in Kommunikation mit einem Netzwerk 110. Das System 100 beinhaltet einen Server 104 in Kommunikation mit dem Netzwerk 110 und ein neurales Netzwerk 106. Das Netzwerk 110 kann ferner in Kommunikation mit einer Datenbank 108 stehen. Es ist anzumerken, dass das Netzwerk 110 ein beliebiges geeignetes fachbekanntes Netzwerk beinhaltet, einschließlich eines Cloud-Rechennetzwerks und/oder des Internets und/oder Teils eines geschlossenen oder privaten Netzwerks, ohne von dem Umfang der Offenbarung abzuweichen.
Die Vorrichtung 102 für erweiterte Realität beinhaltet eine beliebige geeignete fachbekannte Vorrichtung 102 für erweiterte Realität, einschließlich zum Beispiel einer Brille für erweiterte Realität, eines Headsets für erweiterte Realität und so weiter. Die Technologie der erweiterten Realität, die durch die Vorrichtung 102 für erweiterte Realität verwendet wird, kann zum Beispiel erweiterte Realität auf Projektionsbasis und erweiterte Realität auf Überlagerungsbasis beinhalten. Die Vorrichtung 102 für erweiterte Realität beinhaltet eine oder mehrere Kameras, die dazu in der Lage sind, Bilder oder Videoströme aufzunehmen. Es versteht sich, dass die eine oder die mehreren Kameras Tiefenmesskameras und Umwelterkennungskameras beinhalten können, um beim Identifizieren und Erkennen eines Herstellungsteils behilflich zu sein. Die eine oder mehreren Kameras können verwendet werden, um ein oder mehrere Herstellungsteile anzusehen, um ein Bild oder einen Videostrom des Herstellungsteils an den Server 104 bereitzustellen. Es versteht sich, dass die Vorrichtung 102 für erweiterte Realität einen oder mehrere zusätzliche Sensoren beinhalten kann, die beim Identifizieren und Erkennen eines Herstellungsteils behilflich sein können.
Derartige Sensoren beinhalten zum Beispiel LIDAR-Sensoren, Radar-Sensoren, Beschleunigungsmesser, einen Sensor eines globalen Positionierungssystems (GPS) und so weiter.
Der Server 104 steht in Kommunikation mit der Vorrichtung 102 für erweiterte Realität und kann Informationen von der Vorrichtung 102 für erweiterte Realität senden und empfangen. Der Server 104 steht ferner in Kommunikation mit einem neuralen Netzwerk 106, wie etwa einem CNN, und kann Informationen von dem neuralen Netzwerk 106 senden und empfangen. Der Server 104 ist für einen oder mehrere Prozessschritte beim Identifizieren eines Herstellungsteils verantwortlich.
In einer Ausführungsform ist ein Benutzer zum Entnehmen von Herstellungsteilen aus ihrem Lagerort verantwortlich. Der Benutzer ist mit der Vorrichtung 102 für erweiterte Realität, wie etwa einem tragbaren Headset für erweiterte Realität, ausgestattet. Die Vorrichtung 102 für erweiterte Realität kann mit dem Server 104 verbunden sein und kann eine Auswahlliste anfordern. Der Server 104 kann die geeignete Auswahlliste aus einer Datenbank 108 oder einem Speicher, der auf dem Server 104 gespeichert ist, abrufen. Der Server 104 stellt die geeignete Auswahlliste an die Vorrichtung 102 für erweiterte Realität bereit. Die Auswahlliste umfasst nötige Informationen, um den Benutzer dazu zu leiten, das eine oder die mehreren nötigen Herstellungsteile zu entnehmen. Derartige Informationen können Teilname, Teilnummer, Teilort und so weiter beinhalten. Die Vorrichtung 102 für erweiterte Realität stellt die Informationen an den Benutzer bereit und leitet den Benutzer an den richtigen Ort für ein erstes Teil. Der Benutzer kann sich dann dem richtigen Ort nähern und die Umgebung durch die Vorrichtung 102 für erweiterte Realität ansehen, um das eine oder die mehreren Teile, die an diesem Ort gelagert sind, anzusehen.
In einer Ausführungsform kann der Benutzer eine Objekterkennungskomponente 112 der Vorrichtung 102 für erweiterte Realität aktivieren. Die Objekterkennungskomponente 112 kann durch ein beliebiges fachbekanntes Mittel aktiviert werden, einschließlich zum Beispiel über Stimmerkennung, eine Handgeste oder Aktivieren einer Schaltfläche und so weiter an der Vorrichtung 102 für erweiterte Realität. Die Objekterkennungskomponente 112 nimmt einen Videostrom oder ein Bild über die Kamera auf der Vorrichtung 102 für erweiterte Realität auf und stellt den Videostrom oder das Bild an den Server 104 bereit. Der Server 104 empfängt den Videostrom oder das Bild. In einem Fall, in welchem der Server 104 einen Videostrom empfängt, kann der Server 104 ein individuelles Bild aus dem Videostrom extrahieren, wobei das individuelle Bild eine Aufnahme von einem oder mehreren Herstellungsteilen umfasst.
In einer Ausführungsform empfängt und/oder extrahiert der Server 104 ein Bild, das ein oder mehrere Herstellungsteile umfasst. Der Server 104 bringt eine Farbe und ein Ausmaß von Gradientenschwellenwerten auf das Bild auf, um einen Hintergrund des Bilds wirksam zu entfernen und nur einen Umriss von möglichen interessierenden Objekten innerhalb des Bilds (z. B. das eine oder die mehreren Herstellungsteile) zu belassen. Der Server 104 bestimmt eine Kontur des Herstellungsteils, um eine Maske zu bestimmen, die repräsentativ dafür ist, wo sich das Herstellungsteil in dem Originalbild befindet. Der Server 104 verwendet die Kontur, um einen begrenzenden Umfang zu bestimmen, welcher die gesamte Kontur des Herstellungsteils einschließt. Der begrenzende Umfang wird auf das Originalbild aufgebracht und ein Unterbild wird durch den begrenzenden Umfang auf dem Originalbild erstellt. Der Server 104 skaliert das Unterbild, sodass es in ein Model für Maschinenlernen passt, das durch das neurale Netzwerk 106 verwendet wird. Der Server 104 stellt das Unterbild an das neurale Netzwerk 106 bereit.
Das neurale Netzwerk 106 empfängt das Unterbild von dem Server 104 in einem Kanal, sodass das Bild ein Graustufenbild ist. In einer Ausführungsform empfängt das neurale Netzwerk 106 nur Bilder in einem Kanal statt drei Kanälen (z. B. wie ein Farbbild), um die Anzahl von Knoten in dem neuralen Netzwerk 106 zu reduzieren. Verringern der Anzahl von Knoten in dem neuralen Netzwerk 106 erhöht Verarbeitungszeit deutlich ohne eine deutliche Verringerung der Genauigkeit. Das neurale Netzwerk 106 bestimmt eine Vorhersagekennzeichnung, die eine Vorhersage einer Identität des Herstellungsteils in dem Unterbild umfasst. Die Vorhersagekennzeichnung gibt zum Beispiel einen üblichen Namen eines Teils, einen spezialisierten Namen eines Teils, der in einer Industrie bekannt ist, eine Teilnummer, eine Bezeichnung des Teils, einen Lagerort des Teils und so weiter an. Das neurale Netzwerk 106 bestimmt einen Konfidenzwert, der eine statistische Wahrscheinlichkeit umfasst, dass die Vorhersagekennzeichnung richtig ist. In einer Ausführungsform stellt der Konfidenzwert eine prozentuale Wahrscheinlichkeit dar, dass die Vorhersagekennzeichnung richtig ist. Die Bestimmung des Konfidenzwerts beruht auf einem oder mehreren Parametern, einschließlich zum Beispiel der Qualität des Bilds, das durch das neurale Netzwerk 106 empfangen wurde, der Anzahl von ähnlichen Teilen, mit denen das fragliche Teil verwechselt werden könnte, einer vorherigen Leistung durch das neurale Netzwerk 106 von richtigem Identifizieren der Vorhersagekennzeichnung und so weiter. Das neurale Netzwerk 106 stellt die Vorhersagekennzeichnung und den Konfidenzwert an den Server 104 bereit. Der Server 104 überlagert die Vorhersagekennzeichnung und den Konfidenzwert auf dem Originalbild und stellt das überlagerte Bild an die Vorrichtung 102 für erweiterte Realität bereit. In einer Ausführungsform überlagert der Server 104 den begrenzenden Umfang um das Herstellungsteil, gibt die Vorhersagekennzeichnung nahe dem begrenzenden Umfang an und gibt den Konfidenzwert nahe dem begrenzenden Umfang an. In einer Ausführungsform, in der ein einziges Bild mehr als ein Herstellungsteil umfasst, kann der Server 104 den begrenzenden Umfang, die Vorhersagekennzeichnung und den Konfidenzwert in einer unterschiedlichen Farbe für jedes Herstellungsteil bereitstellen.
In einer Ausführungsform ist das neurale Netzwerk 106 ein neurales Faltungsnetzwerk (convolutional neural network - CNN), wie auf dem Fachgebiet bekannt. Das CNN umfasst Faltungsschichten als der Kernbaublock des neuralen Netzwerks 106. Parameter einer Faltungsschicht beinhalten einen Satz von erlernbaren Filtern oder Kernen, die ein kleines Aufnahmefeld aufweisen, sich jedoch durch die vollständige Tiefe des Eingabevolumens erstrecken. Während des Weitergebens nach vorn wird jeder Filter über die Breite und Höhe des Eingabevolumens gefaltet, was das Skalarprodukt zwischen den Einträgen des Filters und der Eingabe berechnet, wodurch eine zweidimensionale Aktivierungskarte des Filters produziert wird. Als ein Ergebnis lernt das neurale Netzwerk 106 Filter, die sich aktivieren, wenn es eine spezifische Art von Merkmal detektiert, wie etwa ein spezifisches Merkmal an einem Herstellungsteil, an einer räumlichen Position in der Eingabe. In dem neuralen Netzwerk 106 bildet Stapeln der Aktivierungskarten für alle Filter entlang der Tiefendimension das volle Ausgabevolumen der Faltungsschicht. Jeder Eintrag in dem Ausgabevolumen kann somit auch als eine Ausgabe eines Neurons interpretiert werden, das auf einen kleinen Bereich in der Eingabe schaut und Parameter mit Neuronen in derselben Aktivierungskarte teilt. Das neurale Netzwerk 106 als ein CNN kann Bilderkennung mit einer sehr niedrigen Fehlerrate erfolgreich erfüllen, einschließlich Identifizieren eines Herstellungsteils von einem Bild, das durch eine Vorrichtung 102 für erweiterte Realität aufgenommen wird.
Als weiteres Beispiel in Bezug auf das neurale Netzwerk 106 kann ein einziges Kamerabild (oder ein anderer einziger Satz von Sensordaten) an gemeinsame Schichten des neuralen Netzwerks 106 bereitgestellt werden, die als ein Basisabschnitt des neuralen Netzwerks 106 dienen. Die gemeinsamen Schichten führen Merkmalextraktion auf dem Bild durch und stellen einen oder mehrere Ausgabewerte bereit, welche die Merkmalextraktion reflektieren. Da die gemeinsamen Schichten für jede der Aufgaben trainiert wurden, extrahiert die einzige Merkmalextraktion Merkmale, die von allen Aufgaben benötigt werden. Die Merkmalextraktionswerte werden an die Unteraufgabenabschnitte ausgegeben, einschließlich zum Beispiel erster Aufgabenschichten, zweiter Aufgabenschichten und dritter Aufgabenschichten. Jede von den ersten Aufgabenschichten, den zweiten Aufgabenschichten und den dritten Aufgabenschichten verarbeitet die Merkmalextraktionswerte von den gemeinsamen Schichten, um Ausgaben für ihre jeweiligen Aufgaben zu bestimmen.
Ein Fachmann auf dem Gebiet versteht, dass ein einziges neurales Netzwerk 106 aus einer Vielzahl von Knoten und Rändern, welche die Knoten verbinden, besteht. Gewichte oder Werte für die Ränder oder Knoten werden verwendet, um eine Ausgabe für einen Rand, der mit einem anschließenden Knoten verbunden ist, zu berechnen. Ein einziges neurales Netzwerk 106 kann damit aus einer Vielzahl von neuralen Netzwerken bestehen, um eine oder mehrere Aufgaben durchzuführen. Das neurale Netzwerk 106 aus 1 beinhaltet einige gemeinsame Schichten als Basisabschnitt oder gemeinsamen Abschnitt des neuralen Netzwerks 106. Die gemeinsamen Schichten können als ein Teilnetzwerk des neuralen Netzwerks 106 bildend verstanden werden. Die in den gemeinsamen Schichten erfolgte(n) Berechnungen und Verarbeitung werden dann von ersten Aufgabenschichten, zweiten Aufgabenschichten, dritten Aufgabenschichten und so weiter verwendet. Somit beinhaltet das neurale Netzwerk 106 eine sich verzweigende Topologie, wobei die Ergebnisse der gemeinsamen Schichten dann von jedem aus einer Vielzahl von Teilnetzwerken in Zweigen des neuralen Netzwerks 106 unabhängig verwendet werden. Da die gemeinsamen Schichten sequentiell auf eine Vielzahl von Aufgaben trainiert wurden, um zu vermeiden, dass zuvor trainierte Aufgaben vergessen werden, können die gemeinsamen Schichten eine Aufgabe durchführen, die jeden der Zweige des neuralen Netzwerks gut bedient. Ferner führen die gemeinsamen Schichten zu reduzierter Berechnung, da die Aufgabe der gemeinsamen Schichten einmal für alle Aufgaben, die durch die Zweige dargestellt werden, anstatt einmal für jede Aufgabe durchgeführt wird. Ein Beispiel für die von den gemeinsamen Schichten durchzuführende Aufgabe ist die Merkmalextraktion. Es können jedoch beliebige Aufgaben, die eine geteilte anfängliche Verarbeitungsaufgabe aufweisen können, gemeinsame Schichten teilen.
2 veranschaulicht eine Vorrichtung 102 für erweiterte Realität, die ein Herstellungsteil 202 gemäß einer Umsetzung ansieht. Die Vorrichtung 102 für erweiterte Realität weist ein Sichtfeld auf, das durch einen ersten Außenumfang 204 und einen zweiten Außenumfang 206 markiert ist. Ein Herstellungsteil 202 innerhalb des Sichtfeldes kann durch die Vorrichtung 102 für erweiterte Realität detektiert werden. In einer Ausführungsform nimmt die Vorrichtung 102 für erweiterte Realität einen Videostrom auf, während ein Benutzer die Vorrichtung 102 für erweiterte Realität trägt, und das Sichtfeld kann das tatsächliche Sichtfeld des Benutzers reflektieren oder ihm nahekommen, wenn die Vorrichtung 102 für erweiterte Realität nicht getragen wird.
Die 3-7 veranschaulichen verschiedene Ausführungsformen von Bildern und Unterbildern, wie sie durch die Systeme, Verfahren und Vorrichtungen, aufgenommen und bestimmt wurden, wie sie hierin offenbart wurden. 3 veranschaulicht ein beispielhaftes Originalbild 300, das durch eine Vorrichtung 102 für erweiterte Realität aufgenommen wurde. Das Originalbild 300 umfasst einen ersten Teil 302 und einen zweiten Teil 304. Das Originalbild 300 kann als Teil eines Videostroms (umfassend eine Vielzahl von Standbildern) durch die Vorrichtung 102 für erweiterte Realität aufgenommen werden und als ein individuelles Originalbild 300 durch den Server 104 extrahiert werden. Der Server 104 kann das Originalbild 300 von der Vorrichtung 102 für erweiterte Realität empfangen.
4 veranschaulicht ein geändertes Originalbild 400, wie es durch den Server 104 bestimmt wurde. Der Server 104 bringt eine Farbe und ein Ausmaß von Gradientenschwellenwerten auf das Originalbild 300 auf, um den Hintergrund des Originalbilds 300 wirksam zu entfernen und nur den Umriss von möglichen interessierenden Objekten zu belassen. In einer Ausführungsform beinhaltet das geänderte Originalbild 400 einen schwarzen Hintergrund und eine oder mehrere weiße Konturformen, die Objekte in dem Originalbild 300 darstellen. In einer Ausführungsform beinhaltet das geänderte Originalbild 400 eine erste Kontur 402, die einen Konturumriss des ersten Teils 302 darstellt, und eine zweite Kontur 404, die einen Konturumriss des zweiten Teils 304 darstellt. Die erste Kontur 402 dient dazu, einen Umfang oder Umriss zu bestimmen, der den gesamten Körper des ersten Teils 302 einschließt. Die zweite Kontur 404 dient gleichermaßen dazu, einen Umfang oder Umriss zu bestimmen, der den gesamten Körper des zweiten Teils 304 einschließt.
5 veranschaulicht ein Bild 500 eines begrenzenden Umfangs, einschließlich des Originalbilds 300 mit begrenzenden Umfängen 502, 504, die auf das eine oder die mehreren Objekte in dem Originalbild 300 aufgebracht werden. Das Bild 500 des begrenzenden Umfangs beinhaltet einen ersten begrenzenden Umfang 502, der den ersten Teil 302 einschließt, und einen zweiten begrenzenden Umfang 504, der den zweiten Teil 304 einschließt. In einer Ausführungsform bringt der Server 104 einen ersten begrenzenden Umfang 502, 504 auf einen Teil 302, 304 auf, nachdem die Kontur 402, 404 des Teils bestimmt wurde. Der begrenzende Umfang 502, 504 dient dazu, einen gesamten Körper des Teils genau einzuschließen, wie durch die Kontur bestimmt, wie in 4 bestimmt.
6 veranschaulicht ein erstes Unterbild 600, einschließlich des ersten Teils 302, wie durch die Größe und Form des ersten begrenzenden Umfangs 502 erstellt und bestimmt. Der Server 104 bestimmt das erste Unterbild 600 und stellt das erste Unterbild 600 an das neurale Netzwerk 106 bereit. Das erste Unterbild 600 beinhaltet die Gesamtheit des Originalbilds 300, das sich innerhalb der Grenzen des ersten begrenzenden Umfangs 502 befindet.
7 veranschaulicht ein zweites Unterbild 700 des zweiten Teils 304, wie durch die Größe und Form des zweiten begrenzenden Umfangs 504 erstellt und bestimmt. Der Server 104 bestimmt das zweite Unterbild 700 und stellt das zweite Unterbild 700 an das neurale Netzwerk 106 bereit. Das zweite Unterbild 700 beinhaltet die Gesamtheit des Originalbilds 300, das sich innerhalb der Grenzen des zweiten begrenzenden Umfangs 504 befindet.
8 veranschaulicht ein schematisches Blockdiagramm eines Prozessablaufs 800 zur Objektdetektion und -identifizierung. Der Prozessablauf 800 wird teilweise durch Computervision 820 und Maschinenlernen 830 durchgeführt. Die Computervision 820 empfängt ein Eingabebild 802, wie etwa ein Originalbild 300, das durch eine Vorrichtung 102 für erweiterte Realität aufgenommen wurde. Die Computervision 820 leitet Bildwiederverarbeitung bei 804 und Merkmalextraktion bei 806. In einer Ausführungsform werden die Prozesse der Computervision 820 durch einen Server 104 durchgeführt. Bildwiederverarbeitung 804 und Merkmalextraktionen 806 beinhalten derartige(s) Wiederverarbeiten und Extraktion, wie in den 3-7 veranschaulicht.
Maschinenlernen 830 ist zum Aufbauen eines neuralen Netzwerkmodells bei 808, Trainieren des neuralen Netzwerkmodells bei 810, Testen des neuralen Netzwerkmodells und Abstimmen von Parametern in dem neuralen Netzwerkmodell bei 812 und Finalisieren des neuralen Netzwerkmodells bei 814 verantwortlich. Maschinenlernen 830 kann Trainingsdaten bei 816 empfangen, einschließlich zum Beispiel Bildern von Herstellungsteilen, um beim Training des neuralen Netzwerkmodells 808 zu helfen. In einer Ausführungsform wird das Maschinenlernen 830 durch ein neurales Netzwerk 106, wie etwa ein CNN, durchgeführt.
Computervision 820 stellt ein Bild an das finalisierte Modell bei 814 bereit, damit das Bild bei 818 durch Maschinenlernen 830 klassifiziert wird. In einer Ausführungsform umfasst das neurale Netzwerk 106 das finalisierte Modell 814 des Prozessablaufs des Maschinenlernens 830. Das finalisierte Modell 814 kann in Kommunikation mit dem Server 104 und somit mit der Vorrichtung 102 für erweiterte Realität stehen, nachdem das finalisierte Modell 814 durch Maschinenlernen 830 gebildet wurde.
9 veranschaulicht ein schematisches Ablaufdiagramm eines Verfahrens 900 zum Identifizieren eines Herstellungsteils. Das Verfahren 900 beginnt und der Server 104 empfängt ein Bild, das ein Herstellungsteil umfasst, von einer Vorrichtung für erweiterte Realität bei 902. Der Server 104 bestimmt einen begrenzenden Umfang, der das Herstellungsteil bei 904 einschließt. Der Server 104 empfängt eine Vorhersagekennzeichnung und einen Konfidenzwert für das Herstellungsteil von einem neuralen Netzwerk bei 906. Der Server 104 erzeugt eine Nachricht, die das Bild, die Vorhersagekennzeichnung und den Konfidenzwert umfasst, bei 908. Der Server 104 stellt die Nachricht an die Vorrichtung für erweiterte Realität bei 910 bereit.
10 veranschaulicht ein schematisches Ablaufdiagramm eines Verfahrens 1000 zum Identifizieren eines Herstellungsteils. Das Verfahren 1000 beginnt und der Server 104 empfängt einen Videostrom, der ein Herstellungsteil umfasst, von einer Vorrichtung für erweiterte Realität bei 1002. Der Server 104 extrahiert ein Bild, welches das Herstellungsteil umfasst, aus dem Videostrom bei 1004. Der Server 104 bringt eine Farbe und ein Ausmaß von Gradientenschwellenwerten auf das Bild auf, sodass ein Hintergrund des Bilds bei 1006 entfernt ist. Der Server 104 bestimmt einen Konturumriss des Herstellungsteils bei 1008. Der Server 104 bestimmt einen begrenzenden Umfang, der den Konturumriss des Herstellungsteils einschließt, bei 1010. Der Server 104 schneidet das Bild zu, um ein Unterbild zu erstellen, das nur den begrenzenden Umfang umfasst, der das Herstellungsteil einschließt, und stellt das Unterbild an ein neurales Netzwerk bei 1012 bereit. Der Server 104 empfängt eine Vorhersagekennzeichnung und einen Konfidenzwert für das Herstellungsteil von dem neuralen Netzwerk bei 1014. Der Server 1016 erstellt oder erzeugt eine Nachricht, die das Bild umfasst, das mit der Vorhersagekennzeichnung und dem Konfidenzwert überlagert ist, bei 1016. Der Server 104 stellt die Nachricht an die Vorrichtung für erweiterte Realität bei 1018 bereit.
11 veranschaulicht ein schematisches Ablaufdiagramm eines Verfahrens 1100 zum Identifizieren eines Herstellungsteils. Das Verfahren 1100 beginnt und ein neurales Netzwerk 106 empfängt ein Unterbild von einem Server 104 in einem Kanal, wobei das Unterbild ein Herstellungsteil in Graustufen umfasst, bei 1102. Das neurale Netzwerk 106 bestimmt eine Vorhersagekennzeichnung für das Herstellungsteil, wobei die Vorhersagekennzeichnung eine wahrscheinlichste Identität des Herstellungsteils umfasst, bei 1104. Das neurale Netzwerk 106 bestimmt bei 1106 einen Konfidenzwert, der die Vorhersagekennzeichnung betrifft, wobei der Konfidenzwert eine statistische Wahrscheinlichkeit umfasst, dass die Vorhersagekennzeichnung richtig ist. Das neurale Netzwerk 106 stellt die Vorhersagekennzeichnung und den Konfidenzwert an den Server bei 1108 bereit.
Unter Bezugnahme auf 12 ist nun ein Blockdiagramm einer beispielhaften Rechenvorrichtung 1200 veranschaulicht. Die Rechenvorrichtung 1200 kann dazu verwendet werden, verschiedene Vorgänge durchzuführen, wie etwa die hierin erörterten. In einer Ausführungsform kann die Rechenvorrichtung 1200 als eine Vorrichtung 102 für erweiterte Realität, ein Server 104, ein neurales Netzwerk 106 und dergleichen funktionieren. Die Rechenvorrichtung 1200 kann verschiedene Überwachungsfunktionen durchführen, wie hierin erörtert, und ein oder mehrere Anwendungsprogramme ausführen, wie etwa die hierin beschriebenen Anwendungsprogramme oder Funktionen. Die Rechenvorrichtung 1200 kann eine beliebige aus einer Reihe von Rechenvorrichtungen, wie beispielsweise ein Desktop-Computer, ein eingebauter Computer, ein Fahrzeugsteuersystem, ein Notebook-Computer, ein Server-Computer, ein tragbarer Computer, Tablet-Computer und dergleichen, sein.
Die Rechenvorrichtung 1200 beinhaltet einen oder mehrere Prozessor(en) 1202, eine oder mehrere Speichervorrichtung(en) 1204, eine oder mehrere Schnittstelle(n) 1206, eine oder mehrere Massenspeichervorrichtung(en) 1208, eine oder mehrere Ein-/Ausgabe-(E/A-)Vorrichtung(en) 1210 und eine Anzeigevorrichtung 1230, die alle an einen Bus 1212 gekoppelt sind. Der bzw. die Prozessor(en) 1202 beinhaltet bzw. beinhalten eine(n) oder mehrere Prozessoren oder Steuerungen, die in der bzw. den Speichervorrichtung(en) 1204 und/oder Massenspeichervorrichtung(en) 1208 gespeicherte Anweisungen ausführen. Der bzw. die Prozessor(en) 1202 kann bzw. können zudem verschiedene Arten von computerlesbaren Medien beinhalten, wie etwa Cache-Speicher.
Die Speichervorrichtung(en) 1204 beinhaltet bzw. beinhalten verschiedene computerlesbare Medien, wie etwa flüchtigen Speicher (z. B. Direktzugriffsspeicher (random access memory - RAM) 1214) und/oder nichtflüchtigen Speicher (z. B. Festwertspeicher (read-only memory - ROM) 1216). Die Speichervorrichtung(en) 1204 kann bzw. können zudem wiederbeschreibbaren ROM beinhalten, wie etwa Flash-Speicher.
Die Massenspeichervorrichtung(en) 1208 beinhaltet bzw. beinhalten verschiedene computerlesbare Medien, wie etwa Magnetbänder, Magnetplatten, optische Platten, Festkörperspeicher (z. B. Flash-Speicher) und so weiter. Wie in 12 gezeigt, handelt es sich bei einer bestimmten Massenspeichervorrichtung um ein Festplattenlaufwerk 1224. Zudem können verschiedene Laufwerke in der bzw. den Massenspeichervorrichtung(en) 1208 beinhaltet sein, um ein Auslesen aus und/oder Schreiben auf die verschiedenen computerlesbaren Medien zu ermöglichen. Die Massenspeichervorrichtung(en) 1208 beinhaltet bzw. beinhalten Wechselmedien 1226 und/oder Nicht-Wechselmedien.
Die E/A-Vorrichtung(en) 1210 beinhaltet bzw. beinhalten verschiedene Vorrichtungen, die es ermöglichen, dass Daten und/oder andere Informationen in die Rechenvorrichtung 1200 eingegeben oder daraus abgerufen werden. (Eine) beispielhafte E/A-Vorrichtung(en) 1210 beinhaltet bzw. beinhalten Cursorsteuervorrichtungen, Tastaturen, Tastenfelder, Mikrofone, Monitore oder andere Anzeigevorrichtungen, Lautsprecher, Drucker, Netzwerkschnittstellenkarten, Modems und dergleichen.
Die Anzeigevorrichtung 1230 beinhaltet eine beliebige Art von Vorrichtung, die dazu in der Lage ist, einem oder mehreren Benutzern der Rechenvorrichtung 1200 Informationen anzuzeigen. Beispielen für die Anzeigevorrichtung 1230 beinhalten einen Monitor, ein Anzeigeendgerät, eine Videoprojektionsvorrichtung und dergleichen.
Die Schnittstelle(n) 1206 beinhaltet bzw. beinhalten verschiedene Schnittstellen, die es der Rechenvorrichtung 1200 ermöglichen, mit anderen Systemen, Vorrichtungen oder Rechenumgebungen zu interagieren. (Eine) beispielhafte Schnittstelle(n) 1206 kann bzw. können eine beliebige Anzahl von unterschiedlichen Netzwerkschnittstellen 1220 beinhalten, wie etwa Schnittstellen zu lokalen Netzwerken (local area networks - LANs), Weitverkehrsnetzwerken (wide area networks - WANs), Drahtlosnetzwerken und dem Internet. (Eine) andere Schnittstelle(n) beinhaltet bzw. beinhalten eine Benutzerschnittstelle 1218 und eine Peripherievorrichtungsschnittstelle 1222. Die Schnittstelle(n) 1206 kann bzw. können zudem ein oder mehrere Benutzerschnittstellenelemente 1218 beinhalten. Die Schnittstelle(n) 1206 kann bzw. können zudem eine oder mehrere Peripherieschnittstellen beinhalten, wie etwa Schnittstellen für Drucker, Zeigevorrichtungen (Mäuse, Touchpad oder eine beliebige geeignete Benutzerschnittstelle, die dem Durchschnittsfachmann derzeit bekannt ist oder später entdeckt wird), Tastaturen und dergleichen.
Der Bus 1212 ermöglicht es dem bzw. den Prozessor(en) 1202, der bzw. den Speichervorrichtung(en) 1204, der bzw. den Schnittstelle(n) 1206, der bzw. den Massenspeichervorrichtung(en) 1208 und der bzw. den E/A-Vorrichtung(en) 1210, miteinander sowie mit anderen Vorrichtungen oder Komponenten, die an den Bus 1212 gekoppelt sind, zu kommunizieren. Der Bus 1212 stellt eine oder mehrere von mehreren Arten von Busstrukturen dar, wie etwa einen Systembus, PCI-Bus, IEEE-Bus, USB-Bus und so weiter.
Zum Zwecke der Veranschaulichung sind Programme und andere ausführbare Programmkomponenten hierin als diskrete Blöcke gezeigt, obwohl es sich versteht, dass sich derartige Programme und Komponenten zu verschiedenen Zeitpunkten in unterschiedlichen Speicherkomponenten der Rechenvorrichtung 1200 befinden können, und werden durch den bzw. die Prozessor(en) 1202 ausgeführt. Alternativ können die hierin beschriebenen Systeme und Vorgänge in Hardware oder einer Kombination aus Hardware, Software und/oder Firmware umgesetzt sein. Eine oder mehrere anwendungsspezifische integrierte Schaltungen (application specific integrated circuits - ASICs) können zum Beispiel so programmiert sein, dass sie eines bzw. einen oder mehrere der hier beschriebenen Systeme und Vorgänge ausführen.
BEISPIELE
Die folgenden Beispiele betreffen weitere Ausführungsformen.

Beispiel 1 ist ein Verfahren zum Identifizieren eines Herstellungsteils. Das Verfahren beinhaltet Empfangen eines Bilds, das ein Herstellungsteil umfasst, von einer Vorrichtung für erweiterte Realität und Bestimmen eines begrenzenden Umfangs, der das Herstellungsteil einschließt. Das Verfahren beinhaltet Empfangen einer Vorhersagekennzeichnung und eines Konfidenzwerts für das Herstellungsteil von einem neuralen Netzwerk. Das Verfahren beinhaltet Erzeugen einer Nachricht, die das Bild, die Vorhersagekennzeichnung und den Konfidenzwert umfasst, und Bereitstellen der Nachricht an die Vorrichtung für erweiterte Realität.
Beispiel 2 ist ein Verfahren wie in Beispiel 1, das ferner Aufbringen einer Farbe und eines Ausmaßes von Gradientenschwellenwerten auf das Bild umfasst, sodass ein Hintergrund des Bilds größtenteils entfernt ist und eine Kontur des Herstellungsteils verbleibt.
Beispiel 3 ist ein Verfahren wie in Beispiel 2, das ferner Bestimmen eines Konturumrisses des Herstellungsteils auf Grundlage der verbleibenden Kontur des Herstellungsteils umfasst.
Beispiel 4 ist ein Verfahren wie in einem der Beispiele 1-3, wobei die Vorrichtung für erweiterte Realität eine Kamera und eine Anzeige umfasst, die Fähigkeiten für erweiterte Realität aufweisen, und wobei die Vorrichtung für erweiterte Realität dazu konfiguriert ist, durch einen Benutzer getragen zu werden.
Beispiel 5 ist ein Verfahren wie in einem der Beispiele 1-4 wobei Empfangen des Bilds Empfangen eines Videostroms von der Vorrichtung für erweiterte Realität umfasst und wobei das Verfahren ferner Extrahieren des Bilds als ein einziges Standbild aus dem Videostrom umfasst.
Beispiel 6 ist ein Verfahren wie in einem der Beispiele 1-5, das ferner Extrahieren eines Unterbilds, das Bilddaten innerhalb von Grenzen des begrenzten Umfangs beinhaltet und Skalieren des Unterbilds umfasst, um ein skaliertes Unterbild zu erstellen, das durch das neurale Netzwerk verarbeitet werden soll.
Beispiel 7 ist ein Verfahren wie in Beispiel 6, wobei das neurale Netzwerk das Unterbild von dem Server in einem Kanal als ein Graustufenbild empfängt.
Beispiel 8 ist ein Verfahren wie in einem der Beispiele 1-7, das ferner Bereitstellen einer Auswahlliste von Herstellungsteilen an die Vorrichtung für erweiterte Realität umfasst, wobei die Auswahlliste von Herstellungsteilen Daten umfasst, um einen Benutzer, der die Vorrichtung für erweiterte Realität betreibt, dazu zu leiten, ein oder mehrere Herstellungsteile zu entnehmen.
Beispiel 9 ist ein Verfahren wie in einem der Beispiele 1-8, wobei das neurale Netzwerk ein neurales Faltungsnetzwerk umfasst, das zur Objektdetektion trainiert wurde.
Beispiel 10 ist ein Verfahren wie in einem der Beispiele 1-9, wobei das Erzeugen der Nachricht Überlagern der Vorhersagekennzeichnung und des Konfidenzwerts auf dem Bild derart umfasst, dass sich die Vorhersagekennzeichnung und der Konfidenzwert nahe dem Herstellungsteil befinden oder darauf überlagert sind.
Beispiel 11 ist ein Identifizierungssystem für ein Herstellungsteil. Das System beinhaltet eine Vorrichtung für erweiterte Realität, die eine Kamera umfasst. Das System beinhaltet einen Server in Kommunikation mit der Vorrichtung für erweiterte Realität, der Folgendes umfasst:
- computerlesbare Speichermedien, auf welchen Anweisungen gespeichert sind, die, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren zu Folgendem veranlassen: Empfangen eines Bilds, das ein Herstellungsteil umfasst, von der Vorrichtung für erweiterte Realität; Bestimmen einer Kontur des Herstellungsteils auf Grundlage des Bilds; und Bestimmen eines begrenzenden Umfangs, der das Herstellungsteil einschließt. Das System beinhaltet ein neurales Netzwerk in Kommunikation mit dem Server, wobei das neurale Netzwerk zu Folgendem konfiguriert ist:
- Bestimmen einer Vorhersagekennzeichnung für das Herstellungsteil; und Bestimmen eines Konfidenzwerts, der eine statistische Wahrscheinlichkeit umfasst, dass die Vorhersagekennzeichnung richtig ist.
Beispiel 12 ist ein System wie in Beispiel 11, wobei die Vorrichtung für erweiterte Realität eine Kamera und eine Anzeige umfasst, die Fähigkeiten für erweiterte Realität aufweisen, und wobei die Vorrichtung für erweiterte Realität dazu konfiguriert ist, durch einen Benutzer getragen zu werden.
Beispiel 13 ist ein System wie in einem der Beispiele 11-12, wobei der Server, der computerlesbare Speichermedien umfasst, ferner den einen oder die mehreren Prozessoren dazu veranlasst, ein Unterbild zu bestimmen, wobei das Unterbild das Bild umfasst, das auf den begrenzenden Umfang zugeschnitten ist, der das Herstellungsteil einschließt.
Beispiel 14 ist ein System wie in einem der Beispiele 11-13, wobei der Server, der computerlesbare Speichermedien umfasst, ferner den einen oder die mehreren Prozessoren dazu veranlasst, das Unterbild zu einer Form und/oder Auflösung zu skalieren, die durch das neurale Netzwerk angenommen wird.
Beispiel 15 ist ein System wie in einem der Beispiele 11-14, wobei das neurale Netzwerk ferner dazu konfiguriert ist, das Unterbild von dem Server in einem Kanal als ein Graustufenbild zu empfangen.
Beispiel 16 ist ein System wie in einem der Beispiele 11-15, wobei der Server, der computerlesbare Speichermedien umfasst, ferner den einen oder die mehreren Prozessoren dazu veranlasst, eine Farbe und ein Ausmaß von Gradientenschwellenwerten auf das Bild aufzubringen, sodass ein Hintergrund des Bilds größtenteils entfernt ist und eine Kontur des Herstellungsteils verbleibt.
Beispiel 17 ist ein System wie in einem der Beispiele 11-16, wobei das neurale Netzwerk ein neurales Faltungsnetzwerk umfasst, das zur Objektdetektion trainiert wurde.
Beispiel 18 ist ein System wie in einem der Beispiele 11-17, wobei die Vorrichtung für erweiterte Realität dazu konfiguriert ist, einen Videostrom in Realzeit zur Detektion von Herstellungsteilen in Realzeit an den Server bereitzustellen.
Beispiel 19 ist ein System wie in einem der Beispiele 11-18, wobei der Server, der computerlesbare Speichermedien umfasst, ferner den einen oder die mehreren Prozessoren dazu veranlasst, die Vorhersagekennzeichnung und den Konfidenzwert auf dem Bild zu überlagern und das Bild an die Vorrichtung für erweiterte Realität bereitzustellen.
Beispiel 20 ist ein System wie in einem der Beispiele 11-19, wobei der Server, der computerlesbare Speichermedien umfasst, ferner den einen oder die mehreren Prozessoren dazu veranlasst, eine Auswahlliste von Herstellungsteilen an die Vorrichtung für erweiterte Realität bereitzustellen, wobei die Auswahlliste von Herstellungsteilen Daten umfasst, um einen Benutzer, der die Vorrichtung für erweiterte Realität betreibt, dazu zu leiten, ein oder mehrere Herstellungsteile zu entnehmen und auszuwählen.
Beispiel 21 sind computerlesbare Speichermedien, auf welchen Anweisungen gespeichert sind, die, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren zu Folgendem veranlassen: Empfangen eines Bilds, das ein Herstellungsteil umfasst, von einer Vorrichtung für erweiterte Realität; Aufbringen einer Farbe und eines Ausmaßes von Gradientenschwellenwerten auf das Bild, sodass ein Hintergrund des Bilds wirksam entfernt ist; Bestimmen eines Konturumrisses des Herstellungsteils; Bestimmen eines begrenzenden Umfangs, der den Konturumriss einschließt; Empfangen einer Vorhersagekennzeichnung und eines Konfidenzwerts für das Herstellungsteil von einem tiefen neuralen Faltungsnetzwerk; Erzeugen einer Nachricht, die das Bild, die Vorhersagekennzeichnung und den Konfidenzwert umfasst; und Bereitstellen der Nachricht an die Vorrichtung für erweiterte Realität.

In der vorstehenden Offenbarung wurde auf die beigefügten Zeichnungen Bezug genommen, die einen Teil hiervon bilden und in denen zur Veranschaulichung konkrete Umsetzungen gezeigt sind, in denen die Offenbarung ausgeführt sein kann. Es versteht sich, dass andere Umsetzungen verwendet werden können und strukturelle Änderungen vorgenommen werden können, ohne vom Umfang der vorliegenden Offenbarung abzuweichen. Bezugnahmen in der Beschreibung auf „eine Ausführungsform“, „ein Ausführungsbeispiel“ usw. geben an, dass die beschriebene Ausführungsform ein(e) bestimmte(s) Merkmal, Struktur oder Eigenschaft beinhalten kann, doch es muss nicht unbedingt jede Ausführungsform diese(s) bestimmte Merkmal, Struktur oder Eigenschaft beinhalten. Darüber hinaus beziehen sich derartige Formulierungen nicht unbedingt auf dieselbe Ausführungsform. Ferner sei darauf hingewiesen, dass, wenn ein(e) bestimmte(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit einer Ausführungsform beschrieben wird, es im Bereich des Fachwissens des Fachmanns liegt, diese(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit anderen Ausführungsformen umzusetzen, ob dies nun ausdrücklich beschrieben ist oder nicht.
Umsetzungen der hier offenbarten Systeme, Vorrichtungen und Verfahren können einen Spezial- oder Universalcomputer umfassen oder verwenden, der Computerhardware beinhaltet, wie zum Beispiel einen oder mehrere Prozessoren und einen Systemspeicher, wie sie hier erörtert sind. Umsetzungen innerhalb des Schutzumfangs der vorliegenden Offenbarung können zudem physische und andere computerlesbare Medien zum Transportieren oder Speichern von computerausführbaren Anweisungen und/oder Datenstrukturen beinhalten. Bei derartigen computerlesbaren Medien kann es sich um beliebige verfügbare Medien handeln, auf die durch ein Universal- oder Spezialcomputersystem zugegriffen werden kann. Bei computerlesbaren Medien, auf denen computerausführbare Anweisungen gespeichert werden, handelt es sich um Computerspeichermedien (-vorrichtungen). Bei computerlesbaren Medien, die computerausführbare Anweisungen transportieren, handelt es sich um Übertragungsmedien. Somit können Umsetzungen der Offenbarung beispielsweise und nicht einschränkend mindestens zwei deutlich unterschiedliche Arten von computerlesbaren Medien umfassen: Computerspeichermedien (-vorrichtungen) und Übertragungsmedien.
Computerspeichermedien (-vorrichtungen) beinhalten RAM, ROM, EEPROM, CD-ROM, Festkörperlaufwerke (solid state drives - SSDs) (z. B. basierend auf RAM), Flash-Speicher, Phasenänderungsspeicher (phase-change memory - PCM), andere Speicherarten, andere optische Plattenspeicher, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen oder ein beliebiges anderes Medium, das verwendet werden kann, um die gewünschten Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu speichern, und auf das durch einen Universal- oder Spezialcomputer zugegriffen werden kann.
Eine Umsetzung der hierin offenbarten Vorrichtungen, Systeme und Verfahren kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport elektronischer Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Vorrichtungen ermöglichen. Wenn Informationen über ein Netzwerk oder eine andere (entweder festverdrahtete, drahtlose oder eine Kombination aus festverdrahteter oder drahtloser) Kommunikationsverbindung an einen Computer übertragen oder bereitgestellt werden, sieht der Computer die Verbindung korrekt als Übertragungsmedium an. Übertragungsmedien können ein Netzwerk und/oder Datenverbindungen beinhalten, die dazu verwendet werden können, gewünschte Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu transportieren, und auf die durch einen Universal- oder Spezialcomputer zugegriffen werden kann. Kombinationen aus dem Vorstehenden sollten ebenfalls im Umfang computerlesbarer Medien enthalten sein.
Computerausführbare Anweisungen umfassen zum Beispiel Anweisungen und Daten, die bei Ausführung an einem Prozessor einen Universalcomputer, Spezialcomputer oder eine Spezialverarbeitungsvorrichtung dazu veranlassen, eine bestimmte Funktion oder Gruppe von Funktionen durchzuführen. Die computerausführbaren Anweisungen können zum Beispiel Binärdateien, Zwischenformatanweisungen, wie etwa Assemblersprache, oder auch Quellcode sein. Obwohl der Gegenstand in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben wurde, versteht es sich, dass der in den beigefügten Patentansprüchen definierte Gegenstand nicht unbedingt auf die vorstehend beschriebenen Merkmale oder Handlungen beschränkt ist. Die beschriebenen Merkmale und Handlungen sind vielmehr als beispielhafte Umsetzungsformen der Patentansprüche offenbart.
Der Fachmann wird verstehen, dass die Offenbarung in Network-Computing-Umgebungen mit vielen Arten von Computersystemkonfigurationen umgesetzt werden kann, einschließlich eines Armaturenbrett-Fahrzeugcomputers, PCs, Desktop-Computern, Laptops, Nachrichtenprozessoren, Handvorrichtungen, Multiprozessorsystemen, Unterhaltungselektronik auf Mikroprozessorbasis oder programmierbarer Unterhaltungselektronik, Netzwerk-PCs, Minicomputern, Mainframe-Computern, Mobiltelefonen, PDAs, Tablets, Pagern, Routern, Switches, verschiedenen Speichervorrichtungen und dergleichen. Die Offenbarung kann zudem in verteilten Systemumgebungen umgesetzt werden, in denen sowohl lokale Computersysteme als auch Remote-Computersysteme, die durch ein Netzwerk (entweder durch festverdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine Kombination aus festverdrahteten und drahtlosen Datenverbindungen) verbunden sind, Aufgaben durchführen. In einer verteilten Systemumgebung können sich Programmmodule sowohl in lokalen Speichervorrichtungen als auch in Fernspeichervorrichtungen befinden.
Ferner können die hierin beschriebenen Funktionen gegebenenfalls in einem oder mehreren der Folgenden durchgeführt werden: Hardware, Software, Firmware, digitalen Komponenten oder analogen Komponenten. Eine oder mehrere anwendungsspezifische integrierte Schaltungen (application specific integrated circuits - ASICs) können zum Beispiel so programmiert sein, dass sie eines bzw. einen oder mehrere der hier beschriebenen Systeme und Vorgänge ausführen. Bestimmte Ausdrücke werden in der gesamten Beschreibung und den Patentansprüchen verwendet, um auf bestimmte Systemkomponenten Bezug zu nehmen. Die Begriffe „Module“ und „Komponenten“ werden in den Bezeichnungen von bestimmten Komponenten verwendet, um ihre Umsetzungsunabhängigkeit in Software, Hardware, Schaltungen, Sensoren und dergleichen wiederzugeben. Der Fachmann wird verstehen, dass auf Komponenten durch unterschiedliche Bezeichnungen Bezug genommen werden kann. In dieser Schrift soll nicht zwischen Komponenten unterschieden werden, die sich dem Namen nach unterscheiden, nicht jedoch der Funktion nach.
Es ist anzumerken, dass die vorstehend erörterten Sensorausführungsformen Computerhardware, -software, -firmware oder eine beliebige Kombination daraus umfassen können, um mindestens einen Teil ihrer Funktionen durchzuführen. Ein Sensor kann zum Beispiel Computercode beinhalten, der dazu konfiguriert ist, in einem oder mehreren Prozessoren ausgeführt zu werden, und kann eine Hardware-Logikschaltung/elektrische Schaltung beinhalten, die durch den Computercode gesteuert wird. Diese beispielhaften Vorrichtungen sind hierin zu Veranschaulichungszwecken bereitgestellt und sollen nicht einschränkend sein. Ausführungsformen der vorliegenden Offenbarung können in weiteren Arten von Vorrichtungen umgesetzt werden, wie es dem einschlägigen Fachmann bekannt ist.
Mindestens einige Ausführungsformen der Offenbarung sind auf Computerprogrammprodukte gerichtet, die eine derartige Logik (z. B. in Form von Software) umfassen, die auf einem beliebigen computernutzbaren Medium gespeichert ist. Derartige Software bewirkt bei Ausführung in einer oder mehreren Datenverarbeitungsvorrichtungen, dass eine Vorrichtung wie hierin beschrieben betrieben wird.
Wenngleich vorstehend verschiedene Ausführungsformen der vorliegenden Offenbarung beschrieben wurden, versteht es sich, dass diese lediglich als Beispiele dienen und nicht als Einschränkung. Für den einschlägigen Fachmann ist ersichtlich, dass verschiedene Änderungen hinsichtlich Form und Detaillierungsgrad daran vorgenommen werden können, ohne vom Geist und Umfang der Offenbarung abzuweichen. Somit sollten die Breite und der Schutzumfang der vorliegenden Offenbarung durch keine der vorstehend beschriebenen beispielhaften Ausführungsformen eingeschränkt werden, sondern lediglich gemäß den folgenden Patentansprüchen und ihren Äquivalenten definiert sein. Die vorstehende Beschreibung wurde zum Zwecke der Veranschaulichung und Beschreibung dargelegt. Sie erhebt keinerlei Anspruch auf Vollständigkeit und soll die Offenbarung nicht auf die konkrete offenbarte Form beschränken. Viele Modifikationen und Variationen sind in Anbetracht der vorstehenden Lehren möglich. Ferner ist anzumerken, dass beliebige oder alle der vorstehend genannten alternativen Umsetzungen in einer beliebigen gewünschten Kombination verwendet werden können, um zusätzliche Hybridumsetzungen der Offenbarung zu bilden.
Ferner soll die Offenbarung, obwohl konkrete Umsetzungen der Offenbarung beschrieben und veranschaulicht wurden, nicht auf die beschriebenen und veranschaulichten konkreten Formen oder Anordnungen von Teilen beschränkt werden. Der Umfang der Offenbarung ist durch die hieran beigefügten Patentansprüche, jegliche zukünftigen hier beantragten Patentansprüche und in verschiedenen Anwendungen und deren Äquivalenten zu definieren.
Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren zum Identifizieren eines Herstellungsteils: Empfangen eines Bilds, das ein Herstellungsteil umfasst, von einer Vorrichtung für erweiterte Realität; Bestimmen eines begrenzenden Umfangs, der das Herstellungsteil einschließt; Empfangen einer Vorhersagekennzeichnung und eines Konfidenzwerts für das Herstellungsteil von einem neuralen Netzwerk; Erzeugen einer Nachricht, die das Bild, die Vorhersagekennzeichnung und den Konfidenzwert umfasst; und Bereitstellen der Nachricht an die Vorrichtung für erweiterte Realität.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Aufbringen einer Farbe und eines Ausmaßes von Gradientenschwellenwerten auf das Bild, sodass ein Hintergrund des Bilds größtenteils entfernt ist und eine Kontur des Herstellungsteils verbleibt.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Bestimmen eines Konturumrisses des Herstellungsteils auf Grundlage der verbleibenden Kontur des Herstellungsteils.
Gemäß einer Ausführungsform umfasst die Vorrichtung für erweiterte Realität eine Kamera und eine Anzeige, die Fähigkeiten für erweiterte Realität aufweisen, und wobei die Vorrichtung für erweiterte Realität dazu konfiguriert ist, durch einen Benutzer getragen zu werden.
Gemäß einer Ausführungsform umfasst Empfangen des Bilds Empfangen eines Videostroms von der Vorrichtung für erweiterte Realität und wobei das Verfahren ferner Extrahieren des Bilds als ein einziges Standbild aus dem Videostrom umfasst.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Extrahieren eines Unterbilds, das Bilddaten innerhalb von Grenzen des begrenzten Umfangs beinhaltet und Skalieren des Unterbilds, um ein skaliertes Unterbild zu erstellen, das durch das neurale Netzwerk verarbeitet werden soll.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Bereitstellen einer Auswahlliste von Herstellungsteilen an die Vorrichtung für erweiterte Realität, wobei die Auswahlliste von Herstellungsteilen Daten umfasst, um einen Benutzer, der die Vorrichtung für erweiterte Realität betreibt, dazu zu leiten, ein oder mehrere Herstellungsteile zu entnehmen.
Gemäß einer Ausführungsform umfasst das neurale Netzwerk ein neurales Faltungsnetzwerk, das zur Objektdetektion trainiert ist.
Gemäß einer Ausführungsform umfasst Erzeugen der Nachricht Überlagern der Vorhersagekennzeichnung und des Konfidenzwerts auf dem Bild derart, dass sich die Vorhersagekennzeichnung und der Konfidenzwert nahe dem Herstellungsteil in dem Bild befinden oder darauf überlagert sind.
Gemäß der vorliegenden Erfindung beinhaltet ein Identifizierungssystem für ein Herstellungsteil Folgendes: eine Vorrichtung für erweiterte Realität, die eine Kamera umfasst; einen Server in Kommunikation mit der Vorrichtung für erweiterte Realität, der Folgendes umfasst: computerlesbare Speichermedien, auf welchen Anweisungen gespeichert sind, die, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren zu Folgendem veranlassen: Empfangen eines Bilds, das ein Herstellungsteil umfasst, von der Vorrichtung für erweiterte Realität; Bestimmen eines Konturumrisses des Herstellungsteils auf Grundlage des Bilds; und Bestimmen eines begrenzenden Umfangs, der das Herstellungsteil einschließt; und ein neurales Netzwerk in Kommunikation mit dem Server, wobei das neurale Netzwerk zu Folgendem konfiguriert ist: Bestimmen einer Vorhersagekennzeichnung für das Herstellungsteil; und Bestimmen eines Konfidenzwerts, der eine statistische Wahrscheinlichkeit umfasst, dass die Vorhersagekennzeichnung richtig ist.
Gemäß einer Ausführungsform umfasst die Vorrichtung für erweiterte Realität eine Kamera und eine Anzeige, die Fähigkeiten für erweiterte Realität aufweisen, und wobei die Vorrichtung für erweiterte Realität dazu konfiguriert ist, durch einen Benutzer getragen zu werden.
Gemäß einer Ausführungsform veranlasst der Server, der computerlesbare Speichermedien umfasst, ferner den einen oder die mehreren Prozessoren dazu, ein Unterbild zu bestimmen, wobei das Unterbild das Bild umfasst, das auf den begrenzenden Umfang zugeschnitten ist, der das Herstellungsteil einschließt.
Gemäß einer Ausführungsform veranlasst der Server, der computerlesbare Speichermedien umfasst, ferner den einen oder die mehreren Prozessoren dazu, das Unterbild zu einer Form und/oder Auflösung zu skalieren, die durch das neurale Netzwerk angenommen wird.
Gemäß einer Ausführungsform ist das neurale Netzwerk ferner dazu konfiguriert, das Unterbild von dem Server in einem Kanal als ein Graustufenbild zu empfangen.
Gemäß einer Ausführungsform veranlasst der Server, der computerlesbare Speichermedien umfasst, ferner den einen oder die mehreren Prozessoren dazu, eine Farbe und ein Ausmaß von Gradientenschwellenwerten auf das Bild aufzubringen, sodass ein Hintergrund des Bilds größtenteils entfernt ist und eine Kontur des Herstellungsteils verbleibt.
Gemäß einer Ausführungsform umfasst das neurale Netzwerk ein neurales Faltungsnetzwerk, das zur Objektdetektion trainiert ist.
Gemäß einer Ausführungsform ist die Vorrichtung für erweiterte Realität dazu konfiguriert, einen Videostrom in Realzeit zur Detektion von Herstellungsteilen in Realzeit an den Server bereitzustellen.
Gemäß einer Ausführungsform veranlasst der Server, der computerlesbare Speichermedien umfasst, ferner den einen oder die mehreren Prozessoren dazu, die Vorhersagekennzeichnung und den Konfidenzwert auf das Bild zu überlagern und das Bild an die Vorrichtung für erweiterte Realität bereitzustellen.
Gemäß einer Ausführungsform veranlasst der Server, der computerlesbare Speichermedien umfasst, ferner den einen oder die mehreren Prozessoren dazu, eine Auswahlliste von Herstellungsteilen an die Vorrichtung für erweiterte Realität bereitzustellen, wobei die Auswahlliste von Herstellungsteilen Daten umfasst, um einen Benutzer, der die Vorrichtung für erweiterte Realität betreibt, dazu zu leiten, ein oder mehrere Herstellungsteile zu entnehmen und auszuwählen.
Gemäß der vorliegenden Erfindung computerlesbare Speichermedien, auf welchen Anweisungen gespeichert sind, die, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren zu Folgendem veranlassen: Empfangen eines Bilds, das ein Herstellungsteil umfasst, von einer Vorrichtung für erweiterte Realität; Aufbringen einer Farbe und eines Ausmaßes von Gradientenschwellenwerten auf das Bild, sodass ein Hintergrund des Bilds größtenteils entfernt ist und eine Kontur des Herstellungsteils verbleibt; Bestimmen eines Konturumrisses des Herstellungsteils; Bestimmen eines begrenzenden Umfangs, der den Konturumriss einschließt; Empfangen einer Vorhersagekennzeichnung und eines Konfidenzwerts für das Herstellungsteil von einem tiefen neuralen Faltungsnetzwerk; Erzeugen einer Nachricht, die das Bild, die Vorhersagekennzeichnung und den Konfidenzwert umfasst; und Bereitstellen der Nachricht an die Vorrichtung für erweiterte Realität.

Claims

Verfahren zum Identifizieren eines Herstellungsteils, wobei das Verfahren Folgendes umfasst: Empfangen eines Bilds, das ein Herstellungsteil umfasst, von einer Vorrichtung für erweiterte Realität; Bestimmen eines begrenzenden Umfangs, der das Herstellungsteil einschließt; Empfangen einer Vorhersagekennzeichnung und eines Konfidenzwerts für das Herstellungsteil von einem neuralen Netzwerk; Erzeugen einer Nachricht, die das Bild, die Vorhersagekennzeichnung und den Konfidenzwert umfasst, und Bereitstellen der Nachricht an die Vorrichtung für erweiterte Realität.
Verfahren nach Anspruch 1, das ferner eines oder mehrere der Folgenden umfasst: Aufbringen einer Farbe und eines Ausmaßes von Gradientenschwellenwerten auf das Bild, sodass ein Hintergrund des Bilds größtenteils entfernt ist und eine Kontur des Herstellungsteils verbleibt; Bestimmen eines Konturumrisses des Herstellungsteils auf Grundlage der verbleibenden Kontur des Herstellungsteils; Extrahieren eines Unterbilds, das Bilddaten innerhalb von Grenzen des begrenzten Umfangs beinhaltet und Skalieren des Unterbilds, um ein skaliertes Unterbild zu erstellen, das durch das neurale Netzwerk verarbeitet werden soll; und Bereitstellen einer Auswahlliste von Herstellungsteilen an die Vorrichtung für erweiterte Realität, wobei die Auswahlliste von Herstellungsteilen Daten umfasst, um einen Benutzer, der die Vorrichtung für erweiterte Realität betreibt, dazu zu leiten, ein oder mehrere Herstellungsteile zu entnehmen.
Verfahren nach Anspruch 1, wobei die Vorrichtung für erweiterte Realität eine Kamera und eine Anzeige umfasst, die Fähigkeiten für erweiterte Realität aufweisen, und wobei die Vorrichtung für erweiterte Realität dazu konfiguriert ist, durch einen Benutzer getragen zu werden.
Verfahren nach Anspruch 1, wobei Empfangen des Bilds Empfangen eines Videostroms von der Vorrichtung für erweiterte Realität umfasst und wobei das Verfahren ferner Extrahieren des Bilds als ein einziges Standbild aus dem Videostrom umfasst.
Verfahren nach Anspruch 1, wobei das neurale Netzwerk ein neurales Faltungsnetzwerk umfasst, das zur Objektdetektion trainiert ist.
Verfahren nach Anspruch 1, wobei Erzeugen der Nachricht Überlagern der Vorhersagekennzeichnung und des Konfidenzwerts auf dem Bild derart umfasst, dass sich die Vorhersagekennzeichnung und der Konfidenzwert nahe dem Herstellungsteil in dem Bild befinden oder darauf überlagert sind.
Identifizierungssystem für ein Herstellungsteil, das Folgendes umfasst: eine Vorrichtung für erweiterte Realität, die eine Kamera umfasst; einen Server in Kommunikation mit der Vorrichtung für erweiterte Realität, der Folgendes umfasst: computerlesbare Speichermedien, auf welchen Anweisungen gespeichert sind, die, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren zu Folgendem veranlassen: Empfangen eines Bilds, das ein Herstellungsteil umfasst, von der Vorrichtung für erweiterte Realität; Bestimmen eines Konturumrisses des Herstellungsteils auf Grundlage des Bilds; und Bestimmen eines begrenzenden Umfangs, der das Herstellungsteil einschließt; und ein neurales Netzwerk in Kommunikation mit dem Server, wobei das neurale Netzwerk zu Folgendem konfiguriert ist: Bestimmen einer Vorhersagekennzeichnung für das Herstellungsteil; und Bestimmen eines Konfidenzwerts, der eine statistische Wahrscheinlichkeit umfasst, dass die Vorhersagekennzeichnung richtig ist.
System nach Anspruch 7, wobei die Vorrichtung für erweiterte Realität eine Kamera und eine Anzeige umfasst, die Fähigkeiten für erweiterte Realität aufweisen, und wobei die Vorrichtung für erweiterte Realität dazu konfiguriert ist, durch einen Benutzer getragen zu werden.
System nach Anspruch 7, wobei der Server computerlesbare Speichermedien umfasst, um ferner den einen oder die mehreren Prozessoren dazu zu veranlassen, eines oder mehrere der Folgenden durchzuführen: Bestimmen eines Unterbilds, wobei das Unterbild das Bild umfasst, das auf den begrenzenden Umfang zugeschnitten ist, der das Herstellungsteil einschließt; Skalieren des Unterbilds zu einer Form und/oder Auflösung, die durch das neurale Netzwerk angenommen wird; und Aufbringen einer Farbe und eines Ausmaßes von Gradientenschwellenwerten auf das Bild, sodass ein Hintergrund des Bilds größtenteils entfernt ist und eine Kontur des Herstellungsteils verbleibt.
System nach Anspruch 9, wobei das neurale Netzwerk ferner dazu konfiguriert ist, das Unterbild von dem Server in einem Kanal als ein Graustufenbild zu empfangen.
System nach Anspruch 7, wobei das neurale Netzwerk ein neurales Faltungsnetzwerk umfasst, das zur Objektdetektion trainiert ist.
System nach Anspruch 7, wobei die Vorrichtung für erweiterte Realität dazu konfiguriert ist, einen Videostrom in Realzeit zur Detektion von Herstellungsteilen in Realzeit an den Server bereitzustellen.
System nach Anspruch 7, wobei der Server, der computerlesbare Speichermedien umfasst, ferner den einen oder die mehreren Prozessoren dazu veranlasst, die Vorhersagekennzeichnung und den Konfidenzwert auf das Bild zu überlagern und das Bild an die Vorrichtung für erweiterte Realität bereitzustellen.
System nach Anspruch 7, wobei der Server, der computerlesbare Speichermedien umfasst, ferner den einen oder die mehreren Prozessoren dazu veranlasst, eine Auswahlliste von Herstellungsteilen an die Vorrichtung für erweiterte Realität bereitzustellen, wobei die Auswahlliste von Herstellungsteilen Daten umfasst, um einen Benutzer, der die Vorrichtung für erweiterte Realität betreibt, dazu zu leiten, ein oder mehrere Herstellungsteile zu entnehmen und auszuwählen.
Computerlesbare Speichermedien, auf welchen Anweisungen gespeichert sind, die, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren zu Folgendem veranlassen: Empfangen eines Bilds, das ein Herstellungsteil umfasst, von einer Vorrichtung für erweiterte Realität; Aufbringen einer Farbe und eines Ausmaßes von Gradientenschwellenwerten auf das Bild, sodass ein Hintergrund des Bilds größtenteils entfernt ist und eine Kontur des Herstellungsteils verbleibt; Bestimmen eines Konturumrisses des Herstellungsteils; Bestimmen eines begrenzenden Umfangs, der den Konturumriss einschließt; Empfangen einer Vorhersagekennzeichnung und eines Konfidenzwerts für das Herstellungsteil aus einem tiefen neuralen Faltungsnetzwerk; Erzeugen einer Nachricht, die das Bild, die Vorhersagekennzeichnung und den Konfidenzwert umfasst, und Bereitstellen der Nachricht an die Vorrichtung für erweiterte Realität.