DE102022211280A1 - Method and system for creating an authoring system (authoring framework) for creating VR (Virtual Reality) training courses - Google Patents

Method and system for creating an authoring system (authoring framework) for creating VR (Virtual Reality) training courses Download PDF

Info

Publication number
DE102022211280A1
DE102022211280A1 DE102022211280.6A DE102022211280A DE102022211280A1 DE 102022211280 A1 DE102022211280 A1 DE 102022211280A1 DE 102022211280 A DE102022211280 A DE 102022211280A DE 102022211280 A1 DE102022211280 A1 DE 102022211280A1
Authority
DE
Germany
Prior art keywords
product
virtual reality
training
assembly process
manager
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022211280.6A
Other languages
German (de)
Inventor
Suraj Kamalakar Madival
Vamsidhar Sunkari
Karthik Sakleshpura Govindaraju
Maddinapudi L Ravi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Bosch Global Software Technologies Pvt Ltd
Original Assignee
Robert Bosch GmbH
Robert Bosch Engineering and Business Solutions Pvt Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH, Robert Bosch Engineering and Business Solutions Pvt Ltd filed Critical Robert Bosch GmbH
Publication of DE102022211280A1 publication Critical patent/DE102022211280A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Manufacturing & Machinery (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

Ein System (100) und Verfahren (200) zum Erstellen einer VR (Virtual Reality)-basierten Plattform in der Produktionslinie einer Fertigungsumgebung wird beschrieben. Rohdaten eines Produkts von einem Designmodell (102) für das Montieren des Produkts von der Produktionslinie in jedem Schritt des Montageprozesses werden als Eingabe für ein Verarbeitungsmodul (103) zur Vorverarbeitung empfangen. Das Verarbeitungsmodul (103) ist kommunikativ mit einem Sequenzverwalter (104), einem Anzeigeverwalter (106), einem Auswertungsverwalter (108) und einem Trainingsmodul (110) gekoppelt. Ferner ist das Trainingsmodul (110) dafür ausgelegt, VR (Virtual Reality)-bereite Inhalte für das Training zu erstellen, indem die interaktive Montageprozess-Szene in einer VR (Virtual Reality)-Umgebung simuliert wird.

Figure DE102022211280A1_0000
A system (100) and method (200) for creating a VR (Virtual Reality) based platform in the production line of a manufacturing environment is described. Raw data of a product from a design model (102) for assembling the product from the production line at each step of the assembly process is received as input to a processing module (103) for pre-processing. The processing module (103) is communicatively coupled to a sequence manager (104), a display manager (106), an evaluation manager (108), and a training module (110). Further, the training module (110) is designed to create VR (Virtual Reality) ready content for training by simulating the interactive assembly process scene in a VR (Virtual Reality) environment.
Figure DE102022211280A1_0000

Description

Gebiet der Erfindungfield of invention

Die vorliegende Erfindung betrifft Fertigungsumgebungen und insbesondere ein Verfahren und System zum Bereitstellen einer VR (Virtual Reality)-basierten Trainingsplattform in einer Produktionslinie der Fertigungsumgebung.The present invention relates to manufacturing environments and more particularly to a method and system for providing a VR (Virtual Reality) based training platform in a production line of the manufacturing environment.

Stand der TechnikState of the art

Heutzutage steht der Industriesektor, wie etwa Firmen, die ein konfigurierbares Produkt fertigen, vor enormen Herausforderungen bei dem Versuch, die Belegschaft zu schulen und hierbei gleichzeitig die am Produktionsprozess beteiligten Technologien, Maschinen und Fertigungstechniken auf dem neuesten Stand zu halten. Aus diesem Grund erfordert dieser Sektor, im Hinblick auf Zeit und Qualität, effektive Trainingsmethoden, welche die kontinuierlichen Arbeitsabläufe des Unternehmens oder dessen technologische Weiterentwicklung nicht unterbrechen oder behindern. Darüber hinaus werden solche Schulungen für Nicht-Programmierer zu einer mühsamen Aufgabe, wenn es darum geht, Schulungen auszuarbeiten, da eine Abhängigkeit von Code, technischen Komponenten etc. besteht. Der Bedarf für VR (Virtual Reality)-Schulungen nimmt zu, wenn Entwicklungszeiten reduziert werden müssen und die Zeit bis zur Markteinführung kürzer sein soll.Today, the industrial sector, such as companies that manufacture a configurable product, faces enormous challenges in trying to train the workforce while keeping the technologies, machines and manufacturing techniques involved in the production process up to date. For this reason, this sector requires, in terms of time and quality, effective training methods that do not interrupt or hinder the continuous work processes of the company or its technological evolution. In addition, such training becomes a tedious task for non-programmers when it comes to preparing training due to dependency on code, technical components, etc. The need for VR (Virtual Reality) training is increasing when development times need to be reduced and time to market is to be reduced.

Virtuelle Realität (Virtual Reality, VR) bietet eine Alternative, die in anderen Branchen bereits erfolgreich implementiert wurde. VR (Virtual Reality)-basierte Schulungssysteme haben zahlreiche Vorteile gegenüber herkömmlichen Methodiken; allerdings kann bei einige Anwendungen die virtuelle Realität nicht den gesamten Schulungsprozess ersetzen, da es unter Umständen nicht möglich ist, die Fertigkeiten in ausreichendem Maße in die reale Welt zu übertragen.Virtual reality (VR) offers an alternative that has already been successfully implemented in other industries. VR (Virtual Reality)-based training systems have numerous advantages over traditional methodologies; however, for some applications, virtual reality cannot replace the entire training process as it may not be possible to adequately transfer skills to the real world.

Daher besteht ein Bedarf für eine skalierbare Lösung zur Entwicklung von immersiven Schulungen über diverse Verarbeitungsbereiche wie etwa Fertigung, Montageprozesse und Außendienst-Services, um die Kostenwettbewerbsfähigkeit und die Markteinführungszeit für solche Anforderungen zu verbessern.Therefore, there is a need for a scalable solution to develop immersive training across diverse processing domains such as manufacturing, assembly processes, and field service services to improve cost competitiveness and time to market for such requirements.

Ein Patent nach bisherigem Stand der Technik, EP1288754A2 , offenbart ein System zur Herstellung einer Baugruppe mit wenigstens einer Komponente, beinhaltend wenigstens ein 3D-Metrologiesystem, ein Arbeitsstation-Verarbeitungselement, eine numerische Steuerungseinrichtung und eine flexible Arbeitszelle. Das Metrologiesystem bildet die Komponenten zur Verwendung durch das Arbeitsstation-Verarbeitungselement ab, welches dreidimensionale Autoritätsmodelle, die für die Komponenten stehen, elektronisch anzeigt. Das Arbeitsstation-Verarbeitungselement vergleicht die Bestandsmodelle mit einer elektronischen Anzeige von dreidimensionalen Autoritätsmodellen der Komponenten und ändert eine Position von wenigstens einem von dem wenigstens einen tatsächlichen Modell und dem wenigstens einen Autoritätsmodell. Das Arbeitsstation-Verarbeitungselement weist die numerische Steuerungseinrichtung dann an, eine Maschinenoperation für die Komponenten basierend auf dem Vergleich durchzuführen. Während die numerische Steuerungseinrichtung die Maschinenoperation für die Komponenten durchführt, zeigt das Arbeitsstation-Verarbeitungselement die tatsächlichen Modelle dynamisch an, sodass die elektronische Anzeige der tatsächlichen Modelle automatisch und wiederholt aktualisiert wird.A prior art patent, EP1288754A2 , discloses a system for manufacturing an assembly having at least one component, including at least one 3D metrology system, a workstation processing element, a numerical controller, and a flexible workcell. The metrology system maps the components for use by the workstation processing element, which electronically displays three-dimensional authority models representing the components. The workstation processing element compares the as-built models to an electronic display of three-dimensional authority models of the components and changes a position of at least one of the at least one actual model and the at least one authority model. The workstation processing element then instructs the numerical controller to perform a machine operation on the components based on the comparison. As the numerical controller performs the machine operation for the components, the workstation processing element dynamically displays the actual models such that the electronic display of the actual models is automatically and repeatedly updated.

Ein anderes Patent nach bisherigem Stand der Technik, WO2015036841 A1 , offenbart ein Lernverwaltungssystem (Learning Management System, LMS) zur Nachverfolgung von Lernfortschritten, während Schüler das Schweißen lernen, in einer simulierten, Echtzeit-VR (Virtual Reality)-Trainingsumgebung für Schweißarbeiten. Systeme und Verfahren, die Lehrer und Schüler dabei unterstützen, die mit dem Lehren und Lernen in einer VR (Virtual Reality)-Schweißumgebung einhergehenden Daten zu verwalten, werden bereitgestellt. Schweißschüler-Trainingsdaten, die von Schülern generiert werden, während sie VR (Virtual Reality)-Schweißsysteme verwenden, werden in einer zentralen Datenbank gespeichert. Die zentrale Datenbank ist für einen Benutzer (z. B. einen Schweißlehrer) unter Verwendung eines Personalcomputers mit einer darauf installierten Softwareanwendung zur Lernverwaltung (Learning Management Software Application, LMSA) zugänglich. Die LMSA ist dafür ausgelegt, dem Benutzer zu ermöglichen, auf wenigstens einen Teil der Schüler-Trainingsdaten zuzugreifen, um eines oder mehrere hiervon durchzuführen: Sichtung, Analyse, Einstufung und Berichterstellung.Another prior art patent, WO2015036841 A1 , discloses a learning management system (LMS) for tracking learning progress as students learn to weld in a simulated, real-time VR (virtual reality) welding training environment. Systems and methods are provided to help teachers and students manage the data associated with teaching and learning in a VR (Virtual Reality) welding environment. Student welder training data generated by students while using VR (Virtual Reality) welding systems is stored in a central database. The central database is accessible by a user (e.g., a welding instructor) using a personal computer with a Learning Management Software Application (LMSA) installed thereon. The LMSA is designed to allow the user to access at least a portion of student training data to perform one or more of: triage, analysis, grading, and reporting.

Figurenlistecharacter list

Die ausführliche Beschreibung wird unter Bezugnahme auf die beigefügten Zeichnungen bereitgestellt. Es sei darauf hingewiesen, dass die Beschreibung und die Figuren lediglich Beispiele für den vorliegenden Erfindungsgegenstand sind und nicht dazu gedacht sind, den Erfindungsgegenstand selbst darzustellen.

  • 1 veranschaulicht ein System zum Erstellen einer VR (Virtual Reality)-basierten Plattform in der Produktionslinie einer Fertigungsumgebung gemäß einem Beispiel des vorliegenden Erfindungsgegenstands; und
  • 2 veranschaulicht ein Verfahren zum Erstellen einer VR (Virtual Reality)-basierten Plattform in der Produktionslinie einer Fertigungsumgebung gemäß einem Beispiel des vorliegenden Erfindungsgegenstands.
The detailed description is provided with reference to the accompanying drawings. It should be noted that the description and figures are merely examples of the present subject matter and are not intended to represent the subject matter of the invention itself.
  • 1 12 illustrates a system for creating a VR (Virtual Reality) based platform in the production line of a manufacturing environment according to an example of the present subject matter; and
  • 2 12 illustrates a method for creating a VR (Virtual Reality) based platform in the production line of a manufacturing environment according to an example of the present subject matter.

Ausführliche Beschreibung der AusführungsformenDetailed description of the embodiments

1 veranschaulicht eine Trainingsumgebung als Beispiel für ein Layout einer Fertigungslinie gemäß einem Beispiel des vorliegenden Erfindungsgegenstands. Gemäß dem vorliegenden Erfindungsgegenstand kann ein System 100 allgemein einen Schulungsprozess durchführen, der Montagearbeitern hilft, Produkte mit höchster Qualität zu montieren, und ohne während der Montage eines Produkts in einer Fertigungslinie Fehler zu machen. In einer Ausführungsform sind die Montagearbeiter keine Programmierer. 1 12 illustrates a training environment as an example of a layout of a manufacturing line according to an example of the present subject matter. In accordance with the present subject matter, a system 100 can generally conduct a training process that helps assembly workers assemble products with the highest quality and without making mistakes during the assembly of a product on a manufacturing line. In one embodiment, the assemblers are not programmers.

Das System 100 stellt eine VR (Virtual Reality)-basierte Trainingsplattform in der Produktionslinie einer Fertigungsumgebung bereit. Das System 100 unterstützt außerdem Montagearbeiter dabei, die Teilkomponenten des Produkts, die in jedem Montageschritt des Montageprozesses zu installieren sind, exakt zu positionieren. In einer Ausführungsform kann das System 100 ein integriertes System sein, das Speicher 101 und ein Verarbeitungsmodul 103 beinhaltet und auch eine (nicht gezeigte) Bilderfassungseinheit, wie etwa eine Kamera, beinhalten kann. Verschiedene Ausführungsformen des System 100 sind vorgesehen.The system 100 provides a VR (Virtual Reality) based training platform in the production line of a manufacturing environment. The system 100 also assists assembly workers in accurately positioning the sub-components of the product to be installed at each assembly step of the assembly process. In one embodiment, the system 100 may be an integrated system that includes memory 101 and a processing module 103, and may also include an imaging device (not shown), such as a camera. Various embodiments of the system 100 are contemplated.

In einer beispielhaften Ausführungsform kann der Speicher 101 flüchtigen Speicher beinhalten, wie etwa statischen Direktzugriffsspeicher (Static Random Access Memory, SRAM) und dynamischen Direktzugriffsspeicher (Dynamic Random Access Memory, DRAM), und/oder nichtflüchtigen Speicher, wie etwa Festwertspeicher (Read-Only Memory, ROM), löschbaren programmierbaren ROM, Flash-Speicher, Festplatten, optische Platten und Magnetbänder.In an exemplary embodiment, memory 101 may include volatile memory, such as static random access memory (SRAM) and dynamic random access memory (DRAM), and/or non-volatile memory, such as read-only memory , ROM), erasable programmable ROM, flash memory, hard drives, optical disks and magnetic tapes.

Das Verarbeitungsmodul 103 kann Mikroprozessoren, Mikrocomputer, Mikrosteuerungen, digitale Signalprozessoren, zentrale Verarbeitungseinheiten, Zustandsmaschinen, Logikschaltungen und/oder beliebige andere Vorrichtungen beinhalten, die Signale und Daten basierend auf computerlesbaren Anweisungen bearbeiten. Ferner können Funktionen der verschiedenen Elemente, die in den Figuren gezeigt werden, einschließlich beliebiger Funktionsblöcke, die als „Prozessor(en)“ beschriftet sind, unter Verwendung von dedizierter Hardware sowie durch Hardware, die in der Lage ist, computerlesbare Anweisungen auszuführen, bereitgestellt sein.Processing module 103 may include microprocessors, microcomputers, microcontrollers, digital signal processors, central processing units, state machines, logic circuits, and/or any other device that manipulates signals and data based on computer-readable instructions. Furthermore, functions of the various elements shown in the figures, including any functional blocks labeled "processor(s)", may be provided using dedicated hardware, as well as hardware capable of executing computer-readable instructions .

Ferner kann, zum Erstellen einer VR (Virtual Reality)-basierten Plattform in der Produktionslinie einer Fertigungsumgebung, das Verarbeitungsmodul 103 Rohdaten von einem Designmodell 102 für das Montieren des Produkts von der Produktionslinie empfangen und verarbeiten. Bei dem Designmodell 102 kann es sich um ein computergestütztes Designmodell (Computer-Aided Design, CAD) handeln. Die Rohdaten von dem Designmodell können Angaben zum manuellen Betrieb des Montageprozesses beinhalten. In einer Ausführungsform können die Rohdaten einen Satz von Trainingsanweisungen beinhalten, um Komponenten des Produkts von der Produktionslinie zu montieren. Dieser Satz von Anweisungen wird zusammen mit einem vordefinierten Zeitlimit für den Abschluss jedes Schrittes des Montageprozesses empfangen.Further, to create a VR (Virtual Reality) based platform in the production line of a manufacturing environment, the processing module 103 may receive and process raw data from a design model 102 for assembling the product from the production line. The design model 102 may be a computer-aided design (CAD) model. The raw data from the design model may include information about the manual operation of the assembly process. In one embodiment, the raw data may include a set of training instructions to assemble components of the product from the production line. This set of instructions is received along with a predefined time limit for completing each step of the assembly process.

In einer Ausführungsform wird der Satz von Trainingsanweisungen als Audio-Anweisungen zur Platzierung von Teilkomponenten des Produkts empfangen, die in jedem Schritt des Montageprozesses erforderlich sind. Des Weiteren kann der Satz von Anweisungen in den Rohdaten Audio-Anweisungen beinhalten, die in einer lokalen Sprache aufgezeichnet wurden.In one embodiment, the set of training instructions is received as audio instructions for placement of sub-components of the product required in each step of the assembly process. Furthermore, the set of instructions in the raw data may include audio instructions recorded in a local language.

Des Weiteren ist das Verarbeitungsmodul 103 des Systems 100 kommunikativ mit einem Sequenzverwalter (Sequence Manager) 104, einem Anzeigeverwalter (Display Manager) 106, einem Auswertungsverwalter (Score Manager) 108 und einem Trainingsmodul 110 gekoppelt. In einer Ausführungsform kann der Echtzeit-Montageprozess für jeden Schritt des Montageprozesses des Produkts aufgezeichnet werden. Das Video des Montageprozesses kann unter Verwendung unterschiedlicher Bildgebungssensoren bezogen werden, was eine Kamera und dergleichen einschließt.Furthermore, the processing module 103 of the system 100 is communicatively coupled to a sequence manager 104 , a display manager 106 , a score manager 108 and a training module 110 . In one embodiment, the real-time assembly process can be recorded for each step of the assembly process of the product. The video of the assembly process can be obtained using various imaging sensors, including a camera and the like.

Der Sequenzverwalter 104 ist dafür ausgelegt, die Anweisung für jeden Schritt des Montageprozesses anhand der empfangenen Rohdaten zu definieren. Ferner ist der Sequenzverwalter 104 dafür ausgelegt, die Platzierung von Teilkomponenten des Produkts zu definieren, die in jedem Schritt des Montageprozesses erforderlich sind. In dieser Ausführungsform ist der Sequenzverwalter 104 dafür ausgelegt, den Standort der Werkzeuge zu bestimmen, die erforderlich sind, um die korrekte Teilkomponente entsprechend jeder Sequenz des Montageprozesses zu positionieren. Der Sequenzverwalter 104 automatisiert den Montageprozess, indem die Montageschrittsequenz generiert und ausgeführt wird.The sequence manager 104 is designed to define the instruction for each step of the assembly process based on the raw data received. Furthermore, the sequence manager 104 is designed to define the placement of sub-components of the product required in each step of the assembly process. In this embodiment, the sequence manager 104 is designed to determine the location of the tools required to position the correct sub-component according to each sequence of the assembly process. The sequence manager 104 automates the assembly process by generating and executing the assembly step sequence.

Der Anzeigeverwalter 106 ist dafür ausgelegt, die Komponenten des Produkts zusammen mit den Einzelheiten jeder zu montierenden Komponente anzuzeigen. Der Anzeigeverwalter 106 ist kommunikativ mit dem Sequenzverwalter 104 gekoppelt. Der Anzeigeverwalter 106 ist dafür ausgelegt, den Ablageort der Werkzeuge anzuzeigen, die erforderlich sind, um die korrekte Teilkomponente entsprechend jeder Sequenz des Montageprozesses zu positionieren. In einer Ausführungsform ist der Anzeigeverwalter 106 dafür ausgelegt, die Sequenznummer der Schritte anzuzeigen, die an dem Montageprozess für das Produkt beteiligt sind.The display manager 106 is designed to display the components of the product along with the details of each component to be assembled. The display manager 106 is communicatively coupled to the sequence manager 104 . The display manager 106 is designed to display the location of the tools required to position the correct sub-component according to each sequence of the assembly process. In one embodiment, the display manager 106 is configured to display the sequence number of the steps involved in the assembly process for the product.

In einer anderen Ausführungsform zeigt der Anzeigeverwalter 106 den Namen der Teilkomponenten entsprechend jeder Sequenz des Montageprozesses an. In dieser Ausführungsform werden die Teilkomponenten zusammen mit den zugehörigen Einzelheiten angezeigt, wie etwa Montageschritt-Sequenznummer, Positionsinformationen, erforderliche Werkzeuge zum Fassen dieser Teilkomponenten und dergleichen.In another embodiment, the display manager 106 displays the names of the sub-components corresponding to each sequence of the assembly process. In this embodiment, the sub-components are displayed along with the associated details, such as assembly step sequence number, location information, tools required to grasp those sub-components, and the like.

Der Auswertungsverwalter 108 ist dafür ausgelegt sicherzustellen, dass jeder Schritt in der Montagesequenz innerhalb des vordefinierten Zeitlimits abgeschlossen wird. In einer Ausführungsform der Erfindung ist der Auswertungsverwalter 108 dafür ausgelegt, die Schrittsequenznummer für jeden Schritt des Montageprozesses zu definieren und gemäß der Schrittsequenznummer eine Zuverlässigkeitsbewertung bereitzustellen. Die berechnete Zuverlässigkeitsbewertung für die definierte Schrittsequenznummer wird dann an ein Trainingsmodul 106 übertragen. In dieser Ausführungsform kann die berechnete Zuverlässigkeitsbewertung ferner verwendet werden, um einen Montagearbeiter, der das Training durchläuft, zu zertifizieren. In einer Ausführungsform ist der Auswertungsverwalter 108 ferner dafür ausgelegt, eine Positionsprüfung für die Teilkomponente des Produkts vorzunehmen, die entsprechend dem definierten Montageschritt des Montageprozesses durch den Sequenzverwalter 104 platziert wird.The evaluation manager 108 is designed to ensure that each step in the assembly sequence is completed within the predefined time limit. In one embodiment of the invention, the score manager 108 is configured to define the step sequence number for each step of the assembly process and to provide a reliability score according to the step sequence number. The calculated reliability score for the defined step sequence number is then transmitted to a training module 106 . In this embodiment, the calculated reliability rating can also be used to certify an assembly worker undergoing training. In one embodiment, the evaluation manager 108 is further configured to perform a position check for the sub-component of the product that is placed by the sequence manager 104 according to the defined assembly step of the assembly process.

Des Weiteren ist der Auswertungsverwalter 108 dafür ausgelegt, den Montageschritt durch Verwenden der Zuverlässigkeitsbewertung über einen Schwellwert zu validieren, falls die Zuverlässigkeitsbewertung größer als der Schwellwert ist. In einer Ausführungsform validiert der Auswertungsverwalter 108 die Position der zu montierenden Teilkomponente des Produkts für die entsprechende Schrittsequenznummer des Montageprozesses. Sobald der Montageschritt für das Montieren des Produkts validiert worden ist, beginnt das System 100 die Arbeit am nächsten Montageschritt mit dem vorstehend beschriebenen Prozess, bis die Montage des Produkts abgeschlossen ist. Auf diese Weise löst die vorliegende Erfindung die Probleme beim Sequenzieren, Sortieren oder Priorisieren der Montageschritte, um das Montieren des Produkts abzuschließen.Furthermore, the evaluation manager 108 is configured to validate the assembly step by using the reliability score above a threshold if the reliability score is greater than the threshold. In one embodiment, the evaluation manager 108 validates the position of the sub-component of the product to be assembled for the corresponding step sequence number of the assembly process. Once the assembly step has been validated for assembling the product, the system 100 begins work on the next assembly step using the process described above until assembly of the product is complete. In this way, the present invention solves the problems of sequencing, sorting, or prioritizing the assembly steps to complete the assembly of the product.

Das Trainingsmodul 110 ist dafür ausgelegt, VR (Virtual Reality)-bereite Inhalte für das Training zu erstellen, indem die verarbeiteten Montageschrittdaten aufgezeichnet werden. Hier werden die verarbeiten Montagedaten vom Sequenzverwalter 104, dem Anzeigeverwalter 106 und dem Auswertungsverwalter 108 zusammengetragen. Die VR (Virtual Reality)-bereiten Inhalte simulieren eine 3-dimensionale (3D) interaktive Szene in einer VR (Virtual Reality)-Umgebung basierend auf den Simulationsdaten, wobei die interaktive 3D-Szene eine Szene aus der realen Welt darstellt. In einer Ausführungsform können die generierten VR-bereiten Inhalte ferner verwendet werden, um mehrere Auszubildende bzw. Trainees an verschiedenen Arbeitsstationen zu trainieren. In einer Ausführungsform ist das Trainingsmodul 110 ferner dafür ausgelegt, die VR-bereiten Inhalte in Cloud- oder anderen Netzwerken für Fernstation-Trainingszwecke zu speichern. Die VR-bereiten Inhalte können in verschiedenen Bereichen verwendet werden, um ein erforderliches Produkt zu erstellen.The training module 110 is designed to create VR (Virtual Reality) ready content for training by recording the processed assembly step data. Here the processed montage data from the sequence manager 104, the display manager 106 and the evaluation manager 108 are collected. The VR (Virtual Reality) ready content simulates a 3-dimensional (3D) interactive scene in a VR (Virtual Reality) environment based on the simulation data, where the 3D interactive scene represents a scene from the real world. In one embodiment, the generated VR-ready content can also be used to train multiple trainees at different workstations. In one embodiment, the training module 110 is further configured to store the VR-ready content on cloud or other networks for remote station training purposes. The VR ready content can be used in various fields to create a required product.

In einer beispielhaften Ausführungsform der vorliegenden Erfindung kann der Montagearbeiter eine kopfmontierte Vorrichtung tragen, die eine virtuelle Realität für den Träger bereitstellt. In dieser Ausführungsform ist die kopfmontierte Vorrichtung dafür ausgelegt, den Echtzeit-Montageprozess für jeden Schritt des Montageprozesses eines Produkts als VR zu verarbeiten. In einem Beispiel kann es sich bei der kopfmontierten Vorrichtung um ein VR (Virtual Reality)-Headset handeln.In an exemplary embodiment of the present invention, the assembly worker may wear a head-mounted device that provides virtual reality for the wearer. In this embodiment, the head-mounted device is designed to VR process the real-time assembly process for each step of the assembly process of a product. In one example, the head mounted device may be a VR (Virtual Reality) headset.

In einer alternativen Ausführungsform der vorliegenden Erfindung ist das Validierungsmodul 106 dafür ausgelegt, den Montageschritt unter Verwendung der Zuverlässigkeitsbewertung für die vorhergesagte Montageschritt-Sequenznummer zu validieren, wobei Computervisionstechniken verwendet werden, um die zu montierende Teilkomponente des Produkts zu lokalisieren. In dieser Ausführungsform ist das Validierungsmodul 106 ferner dafür ausgelegt, eine Positionsprüfung für die Teilkomponente des Produkts vorzunehmen, die entsprechend dem vorhergesagten Montageschritt des Montageprozesses unter Verwendung von Computervisionstechniken platziert wurde.In an alternative embodiment of the present invention, the validation module 106 is configured to validate the assembly step using the reliability score for the predicted assembly step sequence number using computer vision techniques to locate the sub-component of the product to be assembled. In this embodiment, the validation module 106 is further configured to perform a positional check for the sub-component of the product placed according to the predicted assembly step of the assembly process using computer vision techniques.

2 zeigt ein Flussdiagramm eines Verfahrens 200 zum Bereitstellen einer VR (Virtual Reality)-basierten Trainingsplattform in der Produktionslinie einer Fertigungsumgebung gemäß einer beispielhaften Implementierung des vorliegenden Erfindungsgegenstands. Das Verfahren 200 kann durch das System 100 implementiert sein, welches den Speicher 101, das Verarbeitungsmodul 103, den Sequenzverwalter 104, den Anzeigeverwalter 106, den Auswertungsverwalter 108 und das Trainingsmodul 110 von 1 beinhaltet. Auch wenn das Verfahren 200 im Kontext des Systems beschrieben wird, das dem System 100 von 1 ähnelt, können auch andere geeignete Vorrichtungen oder Systeme zur Ausführung des Verfahrens 200 verwendet werden. 2 FIG. 2 shows a flowchart of a method 200 for providing a VR (Virtual Reality) based training platform in the production line of a manufacturing environment according to an exemplary implementation of the present subject matter. Method 200 may be implemented by system 100, which includes memory 101, processing module 103, sequence manager 104, display manager 106, scoring manager 108, and training module 110 of FIG 1 contains. Even if the Ver drive 200 will be described in the context of the system that is similar to the system 100 of FIG 1 Similarly, other suitable devices or systems may be used to perform method 200.

Bei Block 201 kann das Verfahren 200 das Empfangen und Verarbeiten von Rohdaten eines Produkts von einem Designmodell 102 für das Montieren des Produkts von der Produktionslinie durch ein Verarbeitungsmodul 103 beinhalten. In einer beispielhaften Ausführungsform der Erfindung kann es sich bei dem Designmodell 102 um ein computergestütztes Designmodell (Computer-Aided Design, CAD) handeln. In einer Ausführungsform können die Rohdaten einen Satz von Trainingsanweisungen beinhalten, um Komponenten des Produkts von der Produktionslinie zu montieren. Dieser Satz von Anweisungen wird zusammen mit einem vordefinierten Zeitlimit für den Abschluss jedes Schrittes des Montageprozesses empfangen.At block 201 , the method 200 may include receiving and processing raw data of a product from a design model 102 for assembly of the product from the production line by a processing module 103 . In an exemplary embodiment of the invention, the design model 102 may be a computer-aided design (CAD) model. In one embodiment, the raw data may include a set of training instructions to assemble components of the product from the production line. This set of instructions is received along with a predefined time limit for completing each step of the assembly process.

Bei Block 202 kann das Verfahren 200 das Definieren der Anweisung für jeden Schritt des Montageprozesses des Produkts anhand der empfangenen Rohdaten beinhalten, indem ein Sequenzverwalter 104 verwendet wird. In einer Ausführungsform kann der Schritt 202 das Definieren von Anweisungen zur Platzierung von Teilkomponenten des Produkts beinhalten, die in jedem Schritt des Montageprozesses erforderlich sind.At block 202 , the method 200 may include defining the instruction for each step of the assembly process of the product from the received raw data using a sequence manager 104 . In one embodiment, step 202 may include defining instructions for placing sub-components of the product required in each step of the assembly process.

Bei Block 203 kann das Verfahren 200 das Anzeigen, durch einen Anzeigeverwalter 106, der Komponenten des Produkts zusammen mit den Einzelheiten jeder zu montierende Komponente beinhalten. In einer Ausführungsform kann die Komponente des anzuzeigenden Produkts den Ablageort der Werkzeuge, die erforderlich sind, um die korrekte Teilkomponente entsprechend jeder Sequenz des Montageprozesses zu positionieren, und die Sequenznummer der Schritte, die an dem Montageprozess für das Produkt beteiligt sind, beinhalten.At block 203, the method 200 may include displaying, by a display manager 106, the components of the product along with the details of each component to be assembled. In one embodiment, the component of the product to be displayed may include the location of the tools required to position the correct sub-component according to each sequence of the assembly process and the sequence number of the steps involved in the assembly process for the product.

Bei Block 204 kann das Verfahren 200 das Berechnen einer Zuverlässigkeitsbewertung beinhalten, um sicherzustellen, dass jeder Schritt in der Montagesequenz innerhalb eines vordefinierten Zeitlimits abgeschlossen wird, indem ein Auswertungsverwalter 108 verwendet wird. Die berechnete Zuverlässigkeitsbewertung für die definierte Schrittsequenznummer wird dann an ein Trainingsmodul 106 übertragen. In dieser Ausführungsform kann die berechnete Zuverlässigkeitsbewertung ferner verwendet werden, um einen Montagearbeiter, der das Training durchläuft, zu zertifizieren.At block 204 , the method 200 may include calculating a reliability score to ensure each step in the assembly sequence is completed within a predefined time limit using a score manager 108 . The calculated reliability score for the defined step sequence number is then transmitted to a training module 106 . In this embodiment, the calculated reliability rating can also be used to certify an assembly worker undergoing training.

Bei Block 205 kann das Verfahren 200 das Erstellen von VR (Virtual Reality)-bereiten Inhalten für das Training beinhalten, indem die interaktive Montageprozess-Szene in einer VR (Virtual Reality)-Umgebung simuliert wird. Hier repräsentiert eine 3-dimensionale (3D) interaktive Szene eine Szene aus der realen Welt. In einer Ausführungsform können die generierten VR-bereiten Inhalte ferner verwendet werden, um mehrere Auszubildende bzw. Trainees an verschiedenen Arbeitsstationen zu trainieren. In einer Ausführungsform ist das Trainingsmodul 110 ferner dafür ausgelegt, die VR-bereiten Inhalte in Cloud- oder anderen Netzwerken für Fernstation-Trainingszwecke zu speichern. Die VR-bereiten Inhalte können in verschiedenen Bereichen verwendet werden, um ein erforderliches Produkt zu erstellen.At block 205, the method 200 may include creating VR (Virtual Reality) ready content for the training by simulating the interactive assembly process scene in a VR (Virtual Reality) environment. Here, a 3-dimensional (3D) interactive scene represents a real-world scene. In one embodiment, the generated VR-ready content can also be used to train multiple trainees at different workstations. In one embodiment, the training module 110 is further configured to store the VR-ready content on cloud or other networks for remote station training purposes. The VR ready content can be used in various fields to create a required product.

Die hier vorgeschlagene Erfindung bietet einen Ansatz für das schrittweise Training zu einem Montageprozess durch Erfassen etwaiger falsch durchgeführter Montageschritte. Dieser Ansatz erleichtert es einem Montagearbeiter, automatisierte Skripts für einen Prozess eines Produkts auszuführen, um eine Reduzierung der kognitiven Belastung zu ermöglichen, indem eine Echtzeit-Anleitung zur Durchführung des Montageprozesses mit hoher Qualität bereitgestellt wird. Die vorgeschlagene Erfindung hilft außerdem Nicht-Programmierern dabei, VR (Virtual Reality)-Schulungen leicht ohne fremde Hilfe zu entwickeln.The invention proposed here offers an approach for step-by-step training for an assembly process by detecting any incorrectly performed assembly steps. This approach makes it easier for an assembly worker to run automated scripts on a product's process to enable a reduction in cognitive load by providing real-time, high-quality guidance on how to complete the assembly process. The proposed invention also helps non-programmers to develop VR (Virtual Reality) training easily unaided.

Obwohl Aspekte der vorliegenden Offenbarung in einer Sprache beschrieben wurden, die spezifisch für strukturelle Merkmale und/oder Verfahren ist, versteht es sich, dass die beigefügten Ansprüche nicht auf die hier beschriebenen spezifischen Merkmale oder Verfahren beschränkt sind. Vielmehr werden die spezifischen Merkmale und Verfahren als Beispiele der vorliegenden Offenbarung offenbart.Although aspects of the present disclosure have been described in language specific to structural features and/or methods, it should be understood that the appended claims are not limited to the specific features or methods described herein. Rather, the specific features and methods are disclosed as examples of the present disclosure.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

  • EP 1288754 A2 [0005]EP 1288754 A2 [0005]
  • WO 2015036841 A1 [0006]WO 2015036841 A1 [0006]

Claims (9)

System (100) zum Erstellen einer VR (Virtual Reality)-basierten Plattform in der Produktionslinie einer Fertigungsumgebung, wobei das System umfasst: einen Speicher (101); ein Verarbeitungsmodul (103), das mit dem Speicher (101) gekoppelt ist und ausgelegt ist zum; Empfangen und Verarbeiten von Prozessrohdaten eines Produkts von einem Designmodell (102) für das Montieren des Produkts von der Produktionslinie; dadurch gekennzeichnet, dass das Verarbeitungsmodul (103) kommunikativ verbunden ist mit: einem Sequenzverwalter (104), der dafür ausgelegt ist, die Anweisung für jeden Schritt des Montageprozesses des Produkts anhand der empfangenen Rohdaten zu definieren; einem Anzeigeverwalter (106), der dafür ausgelegt ist, die Komponenten des Produkts zusammen mit den Einzelheiten jeder zu montierenden Komponente anzuzeigen; einem Auswertungsverwalter (108), der dafür ausgelegt ist sicherzustellen, dass jeder Schritt in der Montagesequenz innerhalb eines vordefinierten Zeitlimits abgeschlossen wird; und einem Trainingsmodul (110), das dafür ausgelegt ist, VR (Virtual Reality)-bereite Inhalte für das Training zu erstellen, indem die interaktive Montageprozess-Szene in einer VR (Virtual Reality)-Umgebung simuliert wird.A system (100) for creating a VR (Virtual Reality) based platform on the production line of a manufacturing environment, the system comprising: a memory (101); a processing module (103) coupled to the memory (101) and configured to; receiving and processing raw process data of a product from a design model (102) for assembling the product from the production line; characterized in that the processing module (103) is communicatively connected to: a sequence manager (104) adapted to define the instruction for each step of the assembly process of the product from the received raw data; a display manager (106) adapted to display the components of the product along with the details of each component to be assembled; an evaluation manager (108) arranged to ensure that each step in the assembly sequence is completed within a predefined time limit; and a training module (110) configured to create VR (Virtual Reality) ready content for training by simulating the interactive assembly process scene in a VR (Virtual Reality) environment. System (100) nach Anspruch 1, wobei die Rohdaten einen Satz von Trainingsanweisungen umfassen, die als Audio-Anweisungen zur Platzierung von Teilkomponenten des Produkts empfangen werden, welche in jedem Schritt des Montageprozesses erforderlich sind.system (100) after claim 1 , wherein the raw data comprises a set of training instructions received as audio instructions for the placement of sub-components of the product required in each step of the assembly process. System (100) nach Anspruch 1, wobei die Rohdaten einen Satz von Anweisungen umfassen, zusammen mit einem vordefinierten Zeitlimit für den Abschluss jedes Schrittes des Montageprozesses des Produkts.system (100) after claim 1 , where the raw data comprises a set of instructions, along with a predefined time limit for the completion of each step of the product's assembly process. System (100) nach Anspruch 1, wobei Rohdaten von dem Designmodell (102) Angaben zum manuellen Betrieb des Montageprozesses beinhalten.system (100) after claim 1 , wherein raw data from the design model (102) includes information about the manual operation of the assembly process. System (100) nach Anspruch 1, wobei das System (100) dafür ausgelegt ist, eine VR (Virtual Reality)-basierte Trainingsplattform in der Produktionslinie einer Fertigungsumgebung zu erstellen.system (100) after claim 1 , wherein the system (100) is designed to create a VR (Virtual Reality)-based training platform in the production line of a manufacturing environment. System (100) nach Anspruch 1, wobei das Designmodell (102) ein computergestütztes Designmodell (Computer-Aided Design, CAD) ist.system (100) after claim 1 wherein the design model (102) is a computer-aided design (CAD) model. System (100) nach Anspruch 1, wobei der Auswertungsverwalter (108) ferner dafür ausgelegt ist, eine Positionsprüfung für die Teilkomponente des Produkts vorzunehmen, die entsprechend dem definierten Montageschritt des Montageprozesses durch den Sequenzverwalter (104) platziert wird.system (100) after claim 1 wherein the evaluation manager (108) is further adapted to perform a position check for the sub-component of the product placed according to the defined assembly step of the assembly process by the sequence manager (104). System (100) nach Anspruch 1, wobei der Montagearbeiter eine kopfmontierte Vorrichtung tragen kann, die eine virtuelle Realität für den Träger bereitstellt.system (100) after claim 1 , wherein the assembly worker can wear a head-mounted device that provides a virtual reality for the wearer. Computer-implementiertes Verfahren (200) zum Bereitstellen einer VR (Virtual Reality)-basierten Trainingsplattform in der Produktionslinie einer Fertigungsumgebung, wobei das Verfahren (200) Schritte hierfür umfasst: - Empfangen und Verarbeiten (201), durch ein Verarbeitungsmodul (103), von Rohdaten eines Produkts von einem Designmodell für das Montieren des Produkts von der Produktionslinie; - Definieren (202) der Anweisung für jeden Schritt des Montageprozesses des Produkts anhand der empfangenen Rohdaten unter Verwendung eines Sequenzverwalters (104); - Anzeigen (203), durch einen Anzeigeverwalter (106), der Komponenten des Produkts zusammen mit den Einzelheiten jeder zu montierenden Komponente; - Berechnen (204), unter Verwendung eines Auswertungsverwalters (108), einer Zuverlässigkeitsbewertung um sicherzustellen, dass jeder Schritt in der Montagesequenz innerhalb eines vordefinierten Zeitlimits abgeschlossen wird; - Erstellen (205), unter Verwendung eines Trainingsmoduls (110), von VR (Virtual Reality)-bereiten Inhalten für das Training durch Simulieren der interaktiven Montageprozesses-Szene in einer VR (Virtual Reality)-Umgebung.Computer-implemented method (200) for providing a VR (Virtual Reality)-based training platform in the production line of a manufacturing environment, the method (200) comprising steps for this: - receiving and processing (201), by a processing module (103), raw data of a product from a design model for assembling the product from the production line; - defining (202) the instruction for each step of the assembly process of the product from the received raw data using a sequence manager (104); - displaying (203), by a display manager (106), the components of the product together with the details of each component to be assembled; - calculating (204), using an evaluation manager (108), a reliability score to ensure that each step in the assembly sequence is completed within a predefined time limit; - creating (205), using a training module (110), VR (Virtual Reality) ready content for training by simulating the interactive assembly process scene in a VR (Virtual Reality) environment.
DE102022211280.6A 2021-10-27 2022-10-25 Method and system for creating an authoring system (authoring framework) for creating VR (Virtual Reality) training courses Pending DE102022211280A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN202141049001 2021-10-27
IN202141049001 2021-10-27

Publications (1)

Publication Number Publication Date
DE102022211280A1 true DE102022211280A1 (en) 2023-04-27

Family

ID=85795911

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022211280.6A Pending DE102022211280A1 (en) 2021-10-27 2022-10-25 Method and system for creating an authoring system (authoring framework) for creating VR (Virtual Reality) training courses

Country Status (1)

Country Link
DE (1) DE102022211280A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1288754A2 (en) 2001-08-13 2003-03-05 The Boeing Company System and method for producing an assembly by directly implementing three-dimensional computer-aided design component definitions
WO2015036841A1 (en) 2013-09-11 2015-03-19 Lincoln Global, Inc. Learning management system for a real-time simulated virtual reality welding training environment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1288754A2 (en) 2001-08-13 2003-03-05 The Boeing Company System and method for producing an assembly by directly implementing three-dimensional computer-aided design component definitions
WO2015036841A1 (en) 2013-09-11 2015-03-19 Lincoln Global, Inc. Learning management system for a real-time simulated virtual reality welding training environment

Similar Documents

Publication Publication Date Title
LeMahieu et al. Lean for education
EP3333782A1 (en) Electronic device and method for debriefing evidence-based training sessions
DE112013006552T5 (en) Pilot Rating System
DE112014003045T5 (en) Method and system for change evaluation of an electronic design for verification verification
US20120316905A1 (en) Hierarchical project technical evaluation system
Kalelioğlu et al. Snapshot of computational thinking in Turkey: A critique of 2019 Bebras challenge
DE112018007980T5 (en) MANUFACTURING SYSTEM DESIGN ASSISTANT DEVICE
DE102022211280A1 (en) Method and system for creating an authoring system (authoring framework) for creating VR (Virtual Reality) training courses
Sakai et al. Srtategic HI-POS, Intelligence Production Operating System: Applying Advanced TPS to Toyota's Global Production Strategy
DE102004016329A1 (en) System and method for performing and visualizing simulations in an augmented reality
EP2642359A1 (en) Device for developing and method for creating a programm for an electronical control unit
WO2010009744A1 (en) Parallel navigation in a plurality of cad models
DE19751273A1 (en) Technical database management for product or process life cycle for diagnostics or training
Smirnova et al. Digital technologies in the industry: application of immersive training technologies in the oil and gas complex
Kar et al. Integrated supervision and evaluation system for final year project
DE102004019432A1 (en) Method and system for virtual commissioning of a technical system with preferred use
DE102019215656B4 (en) Method for evaluating a selected route, route evaluation system and computer program
DE102020204983A1 (en) System for providing trained AI models for various applications
Hebebci et al. Designing an Online Case-Based Library for Technology Integration in Teacher Education.
RU2624890C1 (en) Procedure trainer with engineering support system for aircraft technical operation
Aiken et al. Strategic Digitalization in Oil and Gas: A Case Study on Mixed Reality and Digital Twins
Bennaceur et al. On the Learnability of i*: Experiences from a New Teacher.
Karunakaran Reliability augmentation through technological applications in Indian aircraft maintenance training sector
Celato XR technologies in the automotive industry: guidelines for their implementation
Bogdanov et al. Centres of advanced professional training of personnel as the leaders of technologization: a case study of Russian regions