DE102015205357A1 - System and method for the interactive reconstruction of artifacts and other disassembled objects - Google Patents

System and method for the interactive reconstruction of artifacts and other disassembled objects Download PDF

Info

Publication number
DE102015205357A1
DE102015205357A1 DE102015205357.1A DE102015205357A DE102015205357A1 DE 102015205357 A1 DE102015205357 A1 DE 102015205357A1 DE 102015205357 A DE102015205357 A DE 102015205357A DE 102015205357 A1 DE102015205357 A1 DE 102015205357A1
Authority
DE
Germany
Prior art keywords
user
items
item
display
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102015205357.1A
Other languages
German (de)
Other versions
DE102015205357A8 (en
Inventor
Michael Arens
Eckart Michaelsen
Jochen Meidow
Markus Hebel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority to DE102015205357.1A priority Critical patent/DE102015205357A1/en
Publication of DE102015205357A1 publication Critical patent/DE102015205357A1/en
Publication of DE102015205357A8 publication Critical patent/DE102015205357A8/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]

Abstract

Ein System (100) zur Unterstützung des Zusammensetzens einer Mehrzahl von Einzelteilen zu einem Gesamtteil wird bereitgestellt. Das System (100) umfasst ein oder mehrere Kameras (110), eine Rechenanlage (120) und eine visuelle Darstellungseinheit (130). Die ein oder mehreren Kameras (110) sind dafür eingerichtet, jedes Einzelteil der Mehrzahl der Einzelteile aufzunehmen, wenn das jeweilige Einzelteil von einem Benutzer in einer Hand des Benutzers gehalten wird. Die Rechenanlage (120) ist dafür eingerichtet, ein oder mehrere Merkmale jedes Einzelteils der Mehrzahl der Einzelzeile zu bestimmen, wenn das jeweilige Einzelteil von dem Benutzer in der Hand des Benutzers gehalten wird und wenn dieses Einzelteil von den ein oder mehreren Kameras (110) aufgenommen wird. Die Rechenanlage (120) ist dafür eingerichtet, Informationen über die ein oder mehreren Merkmale dieses Einzelteils in einer Datenbank oder einem Speicher (210) zu speichern. Die visuelle Darstellungseinheit (130) ist dafür eingerichtet, dem Benutzer die Anzeige-Informationen über jedes Einzelteil der Mehrzahl der Einzelteile in Abhängigkeit von den ein oder mehreren Merkmals-Informationen dieses Einzelteils anzuzeigen, wenn das jeweilige Einzelteil von dem Benutzer in der Hand des Benutzers gehalten wird, falls zu diesem Einzelteil bereits die Merkmals-Informationen über die ein oder mehreren Merkmale in der Datenbank oder dem Speicher (210) von der Rechenanlage (120) gespeichert wurden.A system (100) for assisting in assembling a plurality of items into a total part is provided. The system (100) comprises one or more cameras (110), a computer (120) and a visual display unit (130). The one or more cameras (110) are adapted to receive each item of the plurality of items when the respective item is held by a user in one hand of the user. The computing system (120) is adapted to determine one or more features of each item of the plurality of the single line when the respective item is held by the user in the user's hand and when that item is received by the one or more cameras (110) becomes. The computer (120) is arranged to store information about the one or more features of that item in a database or memory (210). The visual presentation unit (130) is adapted to display to the user the display information about each item of the plurality of items in response to the one or more feature information of that item when the respective item is held by the user in the user's hand If the feature information about the one or more features in the database or the memory (210) has already been stored by the computer system (120) for this item.

Description

Die Anmeldung betrifft ein System und ein Verfahren zur interaktiven Rekonstruktion von Artefakten und anderen zerlegten Gegenständen, beispielsweise zerbrochenen Gegenständen.The application relates to a system and method for interactively reconstructing artifacts and other disassembled objects, such as broken objects.

Wenn eine wertvolle Sache, z. B. ein archäologischer Fund, in viele Teile zerbrochen ist, ist es oftmals schwierig und zeitaufwendig sie wieder zusammenzusetzen. Je mehr Teile gegeben sind, desto größer wird die Zahl der potentiellen Möglichkeiten, wie sie wieder zusammengesetzt werden könnte.If a valuable thing, eg. As an archaeological find, is broken into many parts, it is often difficult and time consuming to reassemble them. The more parts that are given, the greater the number of potential ways that they could be reassembled.

Nach wie vor werden, etwa in Museen, alte Scherben oder Bruchstücke von Archäologen oder Kunsthistorikern von Hand zusammengesetzt und geklebt. Das wird immer noch so gemacht, weil die Fachleute dabei spezielle Kenntnisse über den untersuchten Gegenstand einbringen können. So arbeiten beispielsweise Archäologen und Kunsthistoriker auf diese Weise. Aber auch Forensik-Experten arbeiten entsprechend, um ihre Anatomiekenntnisse beim Zusammenfügen einzubringen, wenn sie beispielsweise zerbrochene Knochen oder Körperskelette wieder zusammenfügen.Old shards or fragments of archeologists or art historians are still being assembled and glued by hand, as in museums. This is still done because the professionals can bring in specific knowledge about the subject under investigation. For example, archaeologists and art historians work in this way. But forensics experts are also working to bring their anatomy skills in the assembly, for example, when rejoining broken bones or body skeletons.

Neben diesem manuellen Verfahren existieren alternativ maschinelle Ansätze, die auf Computern ausgeführt werden. Dabei werden die Bruchteile zunächst mit geeigneten Sensoren zwei- oder dreidimensional erfasst und, beispielsweise unter Nutzung eines 3D-Modells, mit entsprechenden Merkmalen, wie zum Beispiel Bruchkanten oder zum Beispiel Oberflächentexturen, abgespeichert. Ein nachgelagertes automatisches Verfahren testet dann eine große Zahl möglicher wechselseitiger Positionierungen und Ausrichtungen und präsentiert die erfolgversprechendsten Positionierungen und Ausrichtungen als Ergebnis. Im besten Falle kann wiederum ein Experte eingreifen und einzelne Teile am Bildschirm manipulieren, z. B. durch Auswählen, Schieben, oder Drehen. Der Experte hat dabei aber die Maus in der Hand und nicht das Teil selbst, also nicht z. B. das Artefakt.In addition to this manual method, there are alternative machine approaches that are executed on computers. The fractions are first detected with suitable sensors two- or three-dimensional and stored, for example, using a 3D model, with corresponding features, such as breaklines or, for example, surface textures. A downstream automated process then tests a large number of possible mutual orientations and orientations and presents the most promising positioning and alignment as a result. At best, an expert can intervene again and manipulate individual parts on the screen, for. By selecting, sliding, or rotating. The expert has but the mouse in his hand and not the part itself, so not z. For example, the artifact.

Die Aufgabe der vorliegenden Erfindung ist verbesserte Konzepte zur Unterstützung des Zusammensetzens von Einzelteilen zu liefern. Die Aufgabe wird durch ein System nach Anspruch 1, eine Verfahren nach Anspruch 14 und ein Computerprogramm nach Anspruch 15 gelöst. The object of the present invention is to provide improved concepts for assisting the assembly of individual parts. The object is achieved by a system according to claim 1, a method according to claim 14 and a computer program according to claim 15.

Ein System zur Unterstützung des Zusammensetzens einer Mehrzahl von Einzelteilen zu einem Gesamtteil wird bereitgestellt.A system for supporting the assembly of a plurality of parts into a total part is provided.

Das System umfasst ein oder mehrere Kameras, eine Rechenanlage und eine visuelle Darstellungseinheit.The system includes one or more cameras, a computer and a visual display unit.

Die ein oder mehreren Kameras sind dafür eingerichtet, jedes Einzelteil der Mehrzahl der Einzelteile aufzunehmen, wenn das jeweilige Einzelteil von einem Benutzer in einer Hand des Benutzers gehalten wird.The one or more cameras are adapted to receive each item of the plurality of items when the respective item is held by a user in one hand of the user.

Die Rechenanlage ist dafür eingerichtet, ein oder mehrere Merkmale jedes Einzelteils der Mehrzahl der Einzelzeile zu bestimmen, wenn das jeweilige Einzelteil von dem Benutzer in der Hand des Benutzers gehalten wird und wenn dieses Einzelteil von den ein oder mehreren Kameras aufgenommen wird. Die Rechenanlage ist dafür eingerichtet, Informationen über die ein oder mehreren Merkmale dieses Einzelteils in einer Datenbank oder einem Speicher zu speichern.The computer is adapted to determine one or more features of each item of the plurality of the single line when the respective item is held by the user in the user's hand and when that item is picked up by the one or more cameras. The computer is adapted to store information about the one or more features of this item in a database or memory.

Die visuelle Darstellungseinheit ist dafür eingerichtet, dem Benutzer die Anzeige-Informationen über jedes Einzelteil der Mehrzahl der Einzelteile in Abhängigkeit von den ein oder mehreren Merkmals-Informationen dieses Einzelteils anzuzeigen, wenn das jeweilige Einzelteil von dem Benutzer in der Hand des Benutzers gehalten wird, falls zu diesem Einzelteil bereits die Merkmals-Informationen über die ein oder mehreren Merkmale in der Datenbank oder dem Speicher von der Rechenanlage gespeichert wurden.The visual presentation unit is arranged to display to the user the display information about each item of the plurality of items depending on the one or more feature information of that item when the respective item is held by the user in the user's hand, if so For this item, the feature information about the one or more features in the database or memory have already been stored by the computer system.

In einer Ausführungsform kann die visuelle Darstellungseinheit beispielsweise dafür ausgelegt sein, dem Benutzer Anzeige-Informationen über jedes Einzelteil der Mehrzahl der Einzelteile anzuzeigen, über ein Sichtfeld seiner Augen zu überblenden, so dass eine Sicht auf die von der visuellen Darstellungseinheit angezeigten Anzeige-Informationen, zeitgleich mit einer Sicht auf das jeweilige Einzelteil, das von dem Benutzer in der Hand gehalten wird, durch die visuelle Darstellungseinheit hindurch möglich ist.For example, in one embodiment, the visual presentation unit may be configured to display to the user display information about each item of the plurality of items, overlaid on a field of view of their eyes, such that a view of the display information displayed by the visual presentation unit, at the same time with a view of the respective item held in the hand by the user through the visual display unit.

Gemäß einer Ausführungsform kann die visuelle Darstellungseinheit z. B. dafür ausgelegt sein, am Kopf des Benutzers angebracht zu werden.According to one embodiment, the visual representation unit z. B. designed to be attached to the user's head.

In einer Ausführungsform kann die visuelle Darstellungseinheit beispielsweise dafür ausgelegt sein, dem Benutzer als Anzeige-Informationen über das jeweilige Einzelteil der Mehrzahl der Einzelteile, einen Index des Einzelteils, der das Einzelteil bezeichnet, anzuzeigen.For example, in one embodiment, the visual presentation unit may be configured to display to the user, as display information about the particular item of the plurality of items, an index of the item that identifies the item.

Gemäß einer Ausführungsform kann die visuelle Darstellungseinheit z. B. dafür ausgelegt sein, durch eine visuelle Darstellung dem Benutzer die Lage eines der Mehrzahl der Einzelteile, das auf einer Ablagefläche abgelegt ist, anzuzeigen.According to one embodiment, the visual representation unit z. B. be configured to display by a visual representation to the user, the location of one of the plurality of items that is stored on a shelf.

In einer Ausführungsform kann das System beispielsweise ferner eine akustische Ausgabeeinheit umfassen, wobei die akustische Ausgabeeinheit z. B. ein oder mehrere Lautsprecher umfassen kann, und wobei die akustische Ausgabeeinheit ausgebildet sein kann, durch einen akustischen Hinweis auf die Lage eines der Mehrzahl der Einzelteile, das auf einer Ablagefläche abgelegt ist, hinzuweisen.For example, in one embodiment, the system may further include an acoustic output unit, wherein the acoustic output unit z. B. may include one or more speakers, and wherein the acoustic output unit may be configured to indicate by an acoustic indication of the location of one of the plurality of items that is stored on a shelf.

Gemäß einer Ausführungsform kann die Rechenanlage z. B. dafür eingerichtet sein, eines der Mehrzahl der Einzelteile auszuwählen, auf das der Benutzer hingewiesen werden soll. Die akustische Ausgabeeinheit kann z. B. ausgebildet sein, einen akustischen Hinweis auszugeben, wenn der Benutzer in Blickrichtung dieses einen der Mehrzahl der Einzelteile blickt, auf das der Benutzer hingewiesen werden soll.According to one embodiment, the computing system z. B. configured to select one of the plurality of items to which the user should be notified. The acoustic output unit can, for. B. be configured to issue an audible indication when the user looks in the direction of this one of the majority of items to which the user should be pointed.

In einer Ausführungsform kann die Rechenanlage beispielsweise ausgebildet sein, anhand der Merkmals-Informationen über die ein oder mehreren Merkmale von zwei Einzelteilen der Mehrzahl der Einzelteile, zu bestimmen, ob diese zwei Einzelteile zusammengefügt werden können. In einer solchen Ausführungsform kann die Darstellungseinheit z. B. ausgebildet sein, falls die Rechenanlage bestimmt hat, dass diese zwei Einzelteile zusammengefügt werden können, anzuzeigen, dass diese zwei Einzelzeile zusammengefügt werden können.For example, in one embodiment, the computing device may be configured to determine, based on the feature information about the one or more features of two items of the plurality of items, whether these two items may be mated together. In such an embodiment, the presentation unit z. B. be formed, if the computer has determined that these two items can be joined together to indicate that these two single line can be joined together.

Gemäß einer Ausführungsform können die Merkmals-Informationen über die Merkmale der Mehrzahl der Einzelteile beispielsweise Informationen über Kanten oder Oberflächenformen der Mehrzahl der Einzelteile umfassen. Die Rechenanlage kann dabei z. B. ausgebildet sein, anhand der Informationen über Kanten oder Oberflächenformen der besagten zwei Einzelteile der Mehrzahl der Einzelteile, zu bestimmen, ob diese zwei Einzelteile zusammengefügt werden können.According to one embodiment, the feature information about the features of the plurality of items may include, for example, information about edges or surface shapes of the plurality of items. The computer can be z. Example, be formed, based on the information about edges or surface shapes of said two items of the plurality of items to determine whether these two items can be joined together.

In einer Ausführungsform kann die Darstellungseinheit beispielsweise ausgebildet sein, dem Benutzer anzuzeigen, an welchen Kanten oder Oberflächenformen diese zwei Einzelteile zusammengefügt werden können, wenn die Rechenanlage bestimmt hat, dass diese zwei Einzelteile zusammengefügt werden können.For example, in one embodiment, the presentation unit may be configured to indicate to the user at which edges or surface shapes these two items may be joined together when the computing device has determined that these two items may be mated together.

Gemäß einer Ausführungsform kann die Darstellungseinheit z. B. ausgebildet sein, anzuzeigen, wie ein erstes dieser zwei Einzelteile, das von dem Benutzer in einer ersten Hand gehalten wird, zu drehen ist, damit es mit einem zweiten dieser zwei Einzelteile zusammengefügt werden kann, das von dem Benutzer in einer zweiten Hand gehalten wird, falls die Rechenanlage bestimmt hat, dass diese zwei Einzelteile zusammengefügt werden können.According to one embodiment, the display unit z. For example, it may be configured to indicate how to rotate a first of these two items held by the user in a first hand so that it can be mated with a second of these two items held in a second hand by the user if the computer has determined that these two items can be put together.

In einer Ausführungsform kann die Rechenanlage beispielsweise ausgebildet sein, Merkmals-Informationen über ein oder mehrere Merkmale eines zusammengesetzten Teils, das durch Zusammenfügen der besagten zwei Einzelteile entstanden ist, in der Datenbank oder dem Speicher zu speichern.For example, in one embodiment, the computing device may be configured to store feature information about one or more features of a composite part resulting from the joining of said two parts into the database or memory.

Ferner wird ein weiteres System bereitgestellt. Dieses weitere System umfasst zum einen eine Datenbank oder einen Speicher und des Weiteren ein System nach einer der oben beschriebenen Ausführungsformen zur Unterstützung des Zusammensetzens einer Mehrzahl von Einzelteilen zu einem Gesamtteil.Furthermore, another system is provided. This further system comprises, on the one hand, a database or a memory and, furthermore, a system according to one of the above-described embodiments for supporting the assembly of a plurality of individual parts into a total part.

Die Rechenanlage des Systems nach einer der oben beschriebenen Ausführungsformen ist dafür eingerichtet, Merkmals-Informationen über ein oder mehrere Merkmale jedes der Mehrzahl der Einzelteile in der Datenbank oder dem Speicher zu speichern.The computing system of the system of any one of the embodiments described above is arranged to store feature information about one or more features of each of the plurality of items in the database or memory.

Die visuelle Darstellungseinheit des Systems nach einer der oben beschriebenen Ausführungsformen ist dafür eingerichtet, einem Benutzer Anzeige-Informationen über jedes Einzelteil der Mehrzahl der Einzelteile in Abhängigkeit von den ein oder mehreren Merkmals-Informationen des jeweiligen Einzelteils anzuzeigen, wenn das jeweilige Einzelteil von dem Benutzer in einer Hand des Benutzers gehalten wird, falls zu diesem Einzelteil bereits die Merkmals-Informationen über die ein oder mehreren Merkmale in der Datenbank oder dem Speicher von der Rechenanlage des Systems nach einer der oben beschriebenen Ausführungsformen gespeichert wurden.The visual representation unit of the system according to one of the above-described embodiments is adapted to display to a user display information about each item of the plurality of items depending on the one or more feature information of the respective item when the respective item is received from the user a hand of User is stored if the feature information about the one or more features in the database or the memory of the system of the system according to one of the embodiments described above have already been stored for this item.

Des Weiteren wird ein Verfahren zur Unterstützung des Zusammensetzens einer Mehrzahl von Einzelteilen zu einem Gesamtteil bereitgestellt. Das Verfahren umfasst:

  • – Aufnehmen jedes Einzelteils der Mehrzahl der Einzelteile durch eine oder mehrere Kameras, wenn das jeweilige Einzelteil von einem Benutzer in einer Hand des Benutzers gehalten wird.
  • – Bestimmen von ein oder mehreren Merkmalen jedes Einzelteils der Mehrzahl der Einzelzeile durch eine Rechenanlage, wenn das jeweilige Einzelteil von dem Benutzer in der Hand des Benutzers gehalten wird und wenn dieses Einzelteil von den ein oder mehreren Kameras aufgenommen wird.
  • – Speichern von Merkmals-Informationen über die ein oder mehreren Merkmale dieses Einzelteils durch die Rechenanlage in einer Datenbank oder einem Speicher. Und:
  • – Anzeigen von Anzeige-Informationen für den Benutzer über jedes Einzelteil der Mehrzahl der Einzelteile durch eine Darstellungseinheit in Abhängigkeit von den ein oder mehreren Merkmals-Informationen dieses Einzelteils, wenn das jeweilige Einzelteil von dem Benutzer in der Hand des Benutzers gehalten wird, falls zu diesem Einzelteil bereits die Informationen über die ein oder mehreren Merkmale in der Datenbank oder dem Speicher von der Rechenanlage gespeichert wurden.
Furthermore, a method of supporting the assembly of a plurality of parts into a whole is provided. The method comprises:
  • - Receiving each item of the plurality of items by one or more cameras when the respective item is held by a user in one hand of the user.
  • - Determining one or more features of each item of the plurality of single line by a computing system when the respective item is held by the user in the user's hand and when that item is received by the one or more cameras.
  • - Store feature information about the one or more features of this item by the computer in a database or memory. And:
  • Displaying display information to the user about each item of the plurality of items by a display unit in response to the one or more feature information of that item when the respective item is held in the user's hand by the user, if any Item has already stored the information about the one or more characteristics in the database or the memory of the computer system.

Ferner wird ein Computerprogramm mit einem Programmcode zur Durchführung oben beschriebenen Verfahrens bereitgestellt.Furthermore, a computer program with a program code for carrying out the method described above is provided.

Nachfolgend werden bevorzugte Ausführungsformen der Erfindung unter Bezugnahme auf die Zeichnungen beschrieben.Hereinafter, preferred embodiments of the invention will be described with reference to the drawings.

In den Zeichnungen ist dargestellt:The drawings show:

1 zeigt ein System zur Unterstützung des Zusammensetzens einer Mehrzahl von Einzelteilen zu einem Gesamtteil gemäß einer Ausführungsform. 1 shows a system for supporting the assembly of a plurality of individual parts into a total part according to an embodiment.

2 zeigt ein Diagramm, das eine Übersicht über die Benutzer-System Interaktion in einem System gemäß einer Ausführungsform darstellt. 2 FIG. 12 is a diagram illustrating an overview of user-system interaction in a system according to an embodiment. FIG.

3 zeigt ein Diagramm, das eine Interaktion „Aufnehmen” in einem System gemäß einer Ausführungsform darstellt. 3 FIG. 12 is a diagram illustrating a "capture" interaction in a system according to an embodiment. FIG.

4 zeigt ein Diagramm, das eine Interaktion „Vorzeigen” in einem System gemäß einer Ausführungsform darstellt. 4 FIG. 12 is a diagram illustrating an "show" interaction in a system according to an embodiment. FIG.

5 zeigt ein Diagramm, das eine Interaktion zum Zusammenpassen zweier Bruchteile in einem System gemäß einer Ausführungsform darstellt. 5 FIG. 12 is a diagram illustrating an interaction for matching two fractions in a system according to an embodiment. FIG.

6 zeigt eine mögliche Realisierung durch ein System gemäß einer Ausführungsform aus der Sicht des Benutzers. 6 shows a possible implementation by a system according to an embodiment from the user's point of view.

7 zeigt ein weiteres System gemäß einer Ausführungsform, das zum einen eine Datenbank oder einen Speicher und des Weiteren ein System zur Unterstützung des Zusammensetzens einer Mehrzahl von Einzelteilen zu einem Gesamtteil gemäß einer Ausführungsform umfasst. 7 FIG. 12 shows another system according to one embodiment, which includes a database or memory, and further includes a system for assisting in assembling a plurality of parts into a global part according to an embodiment.

1 zeigt ein System 100 zur Unterstützung des Zusammensetzens einer Mehrzahl von Einzelteilen zu einem Gesamtteil gemäß einer Ausführungsform. 1 shows a system 100 to assist in assembling a plurality of parts into a total part according to one embodiment.

Das System 100 umfasst ein oder mehrere Kameras 110, eine Rechenanlage 120 und eine visuelle Darstellungseinheit 130.The system 100 includes one or more cameras 110 , a computer system 120 and a visual presentation unit 130 ,

Die ein oder mehreren Kameras 110 sind dafür eingerichtet, jedes Einzelteil der Mehrzahl der Einzelteile aufzunehmen, wenn das jeweilige Einzelteil von einem Benutzer in einer Hand des Benutzers gehalten wird.The one or more cameras 110 are adapted to receive each item of the plurality of items when the respective item is held by a user in one hand of the user.

Die Rechenanlage 120 ist dafür eingerichtet, ein oder mehrere Merkmale jedes Einzelteils der Mehrzahl der Einzelzeile zu bestimmen, wenn das jeweilige Einzelteil von dem Benutzer in der Hand des Benutzers gehalten wird und wenn dieses Einzelteil von den ein oder mehreren Kameras aufgenommen wird. Die Rechenanlage 120 ist dafür eingerichtet, Informationen über die ein oder mehreren Merkmale dieses Einzelteils in einer Datenbank oder einem Speicher 210 zu speichern.The computer system 120 is arranged to determine one or more features of each item of the plurality of the single line when the respective item is held by the user in the user's hand and when that item is picked up by the one or more cameras. The computer system 120 is designed to provide information about one or more features of this item in a database or memory 210 save.

Die visuelle Darstellungseinheit 130 ist dafür eingerichtet, dem Benutzer die Anzeige-Informationen über jedes Einzelteil der Mehrzahl der Einzelteile in Abhängigkeit von den ein oder mehreren Merkmals-Informationen dieses Einzelteils anzuzeigen, wenn das jeweilige Einzelteil von dem Benutzer in der Hand des Benutzers gehalten wird, falls zu diesem Einzelteil bereits die Merkmals-Informationen über die ein oder mehreren Merkmale in der Datenbank oder dem Speicher 210 von der Rechenanlage 120 gespeichert wurden.The visual presentation unit 130 is arranged to display to the user the display information about each item of the plurality of items depending on the one or more feature information of that item when the respective item is held by the user in the user's hand, if for that item already the feature information about the one or more features in the database or memory 210 from the computer system 120 were saved.

Informationen über die ein oder mehreren Merkmale der jeweiligen Einzelteile werden als Merkmals-Informationen bezeichnet. Die Informationen, die dem Benutzer dann mittels der visuellen Darstellungseinheit 130 angezeigt werden, werden als Anzeige-Informationen bezeichnet, um zu bezeichnen, dass es sich um Informationen handelt, die dem Benutzer angezeigt werden. Die Anzeige-Informationen, die dem Benutzer angezeigt werden, können die gespeicherten Merkmals-Informationen des jeweiligen Einzelteils sein. Es ist aber auch möglich, dass es sich bei den Anzeige-Informationen um Informationen handelt, die in dieser Form nicht in der Datenbank oder dem Speicher 210 als Merkmals-Informationen gespeichert worden sind, sondern, die vielmehr auf Basis der gespeicherten Merkmals-Informationen bestimmt werden und dem Benutzer zur Anzeige gebracht werden. Die Anzeige-Informationen für ein bestimmtes Einzelteil hängen allerdings von den für dieses Einzelteil gespeicherten Merkmales-Informationen ab.Information about the one or more features of the respective items is referred to as feature information. The information provided to the user then by means of the visual representation unit 130 are displayed as display information to indicate that it is information displayed to the user. The display information displayed to the user may be the stored feature information of the respective item. However, it is also possible that the display information is information that is not in this form in the database or memory 210 rather than being stored as feature information, but rather determined based on the stored feature information and displayed to the user. However, the display information for a particular item depends on the feature information stored for that item.

In einem Beispiel könnte z. B. die Länge einer Kante eines Einzelteils in Abhängigkeit von einer Länge einer Referenzkante bestimmt und als Merkmals-Information abgespeichert werden. Ist die Referenzkante beispielsweise 40 cm lang, so könnte eine bestimmte Kante eines bestimmten Einzelteils, die die Länge 80 cm hat, dann durch den Wert 2 als Merkmals-Information in der Datenbank oder in dem Speicher gespeichert sein. Dem Benutzer könnte aber beispielsweise wieder der Zentimeter-Wert als Anzeige-Information dargestellt werden, nämlich 80 cm (40 cm·die Merkmals-Information 2). Viele weitere Beispiele für Anzeige-Information, die aus Merkmals-Information abgeleitet wurde, sind möglich.For example, in one example For example, the length of an edge of an individual part is determined as a function of a length of a reference edge and stored as feature information. For example, if the reference edge is 40 cm long, then a particular edge of a particular item that is 80 cm in length could then be stored by value 2 as feature information in the database or memory. However, for example, the user could again be presented with the centimeter value as display information, namely 80 cm (40 cm × feature information 2). Many other examples of display information derived from feature information are possible.

Gemäß Ausführungsformen wird ein System 100 bereitgestellt, um dem mit seinen eigenen Händen arbeitenden Experten zu assistieren. Das System 100 kann dabei beispielsweise ausgebildet sein, die Augmented-Reality-(erweiterte Realität)Eigenschaften aufweist. Das System 100 kann beispielsweise aus geeigneten Sensoren, überblendenden Darstellungsvorrichtungen und einer Rechenanlage 120 bestehen. Die Sensoren sind dabei ausgelegt, die Bruchstücke hinreichend gut zu erfassen, während der Experte sie mit seinen Händen aufnimmt, hält, dreht und wieder ablegt. According to embodiments, a system 100 provided to assist the expert working with his own hands. The system 100 For example, it can be designed to have augmented reality properties. The system 100 may for example consist of suitable sensors, blending display devices and a computer 120 consist. The sensors are designed to capture the fragments sufficiently well while the expert picks them up with his hands, holds them, turns them and drops them again.

Gemäß einigen Ausführungsformen werden ein oder mehrere Kameras 110 eingesetzt, beispielsweise ein oder mehrere Farbkameras, wobei die ein oder mehreren Kameras 110 gemäß einer Ausführungsform beispielsweise monokular oder gemäß einer anderen Ausführungsform beispielsweise als Stereo-Konfiguration vorgesehen sind.According to some embodiments, one or more cameras 110 used, for example, one or more color cameras, wherein the one or more cameras 110 according to one embodiment, for example, monocular or provided according to another embodiment, for example as a stereo configuration.

In Ausführungsformen sind die ein oder mehreren Kameras 110 beispielsweise dafür vorgesehen, nahe an den Augen des Experten und beispielsweise mit (etwa) gleicher Ausrichtung wie die Augen des Experten angeordnet zu werden.In embodiments, the one or more cameras 110 for example, intended to be placed close to the eyes of the expert and, for example, with (approximately) the same orientation as the expert's eyes.

Ferner kann das System 100 beispielsweise eine visuelle Darstellungseinheit 130 umfassen, die dafür ausgelegt sein kann, dem Benutzer Informationen über seine Sicht auf die Teile zu überblenden. Solche Informationen können z. B. Indizes von Bruchteilen und/oder Koordinatenachsen und/oder Drehwinkel, etc., sein.Furthermore, the system can 100 for example, a visual presentation unit 130 which may be arranged to overlay the user with information about his view of the parts. Such information can z. As indices of fractions and / or coordinate axes and / or rotation angle, etc., be.

Des Weiteren kann das System 100 zum Beispiel eine akustische Darstellungseinheit umfassen, die beispielsweise dafür ausgelegt ist, ein akustisches Signal zu erzeugen, das zum Beispiel Auskunft bezüglich der Lage eines aktuell besonders interessanten Bruchstücks geben, das sich zum Beispiel auf einem Arbeitstisch befindet. Ein solches Signal kann beispielsweise eine Sprachausgabe sein, dass die betreffende Information mittels Sprache mittelt. In anderen Ausführungsformen kann es sich bei dem akustischen Signal beispielsweise um einen Ton einer bestimmten Frequenz handeln, wobei Tönen unterschiedlicher Frequenzen unterschiedliche Informationen zugeordnet sein können.Furthermore, the system can 100 for example, comprise an acoustic display unit, which is for example designed to generate an acoustic signal, for example, give information about the location of a currently particularly interesting fragment, which is located for example on a work table. Such a signal may be, for example, a voice output that averages the relevant information by voice. For example, in other embodiments, the acoustic signal may be a tone of a particular frequency, where tones of different frequencies may be associated with different information.

Ferner kann das System 100 z. B. eine Rechenanlage 120 umfassen, die dafür ausgelegt ist, eine größere Datenbank an Bruchstücken, die zum Beispiel als 3D-Modelle gespeichert sind, zu verwalten. In Ausführungsformen ist die Rechenanlage 120 z. B. einen Computer mit ein oder mehreren Prozessoren, oder mehrere Computer, die in einem Netzwerk zusammengeschaltet sind. In manchen Ausführungsformen, bei denen ein Computer mit mehreren Prozessoren oder bei denen mehrere Computer, die in einem Netzwerk zusammengeschaltet sind, verwendet werden, können die ein oder mehreren Computer dafür eingerichtet sein, paralleles Prozessieren einzusetzen, um die Rechengeschwindigkeit zu beschleunigen.Furthermore, the system can 100 z. B. a computer 120 which is designed to manage a larger database of fragments stored, for example, as 3D models. In embodiments, the computing system is 120 z. A computer with one or more processors, or multiple computers interconnected in a network. In some embodiments, where a multi-processor computer or multiple computers interconnected in a network are used, the one or more computers may be configured to employ parallel processing to speed up the computational speed.

In manchen Ausführungsformen, kann die Rechenanlage 120 dafür ausgelegt sein, mit externen Servern zu kommunizieren.In some embodiments, the computing system may 120 be designed to communicate with external servers.

Die Rechenanlage 120 kann dafür ausgelegt sein, Berechnungen zur Erfassung der Merkmale der Bruchstücke durchzuführen.The computer system 120 may be configured to perform calculations to detect the characteristics of the fragments.

Ferner kann die Rechenanlage 120 dafür ausgelegt sein, Berechnungen zur Bestimmung einer großen Zahl an erfolgversprechenden wechselseitigen Positionierungen und Ausrichtungen und beispielsweise zur Steuerung der Darstellung durchzuführen.Furthermore, the computer system 120 be designed to perform calculations to determine a large number of promising mutual positioning and alignment and, for example, to control the representation.

Des Weiteren kann die Rechenanlage 120 beispielsweise dafür ausgelegt sein, die Lage, z. B. auf einem Arbeitstisch, eines einmal erfassten Teils abzuspeichern, z. B. wenn der Benutzer das Teil ablegt.Furthermore, the computer system 120 be designed, for example, the location, for. B. on a work table, store a once recorded part, z. For example, when the user places the part.

Das bereitgestellte System 100 gemäß Ausführungsformen ermöglicht es unter anderem, dass der benutzende Experte weitgehend so arbeitet, wie er ohne maschinelle Hilfe arbeiten würde, stellt aber gleichzeitig interaktive Unterstützung bereit.The provided system 100 In accordance with embodiments, among other things, it allows the using expert to operate much as he would without machine assistance, but at the same time provides interactive support.

Der Experte hat die echten Teile auf einem echten Tisch vor sich liegen, nutzt bei seiner Arbeit aber nicht nur die eigenen visuellen, haptischen und kognitiven Fähigkeiten, sondern wird hierbei durch das maschinelle Assistenzsystem unterstützt, welches die technischen Möglichkeiten der Speicherung und schnellen Verwaltung großer Teiledatenbanken und Ablageorte mit in den gemeinsamen Lösungsweg einbringt.The expert has the real parts on a real table in front of him, but not only uses his own visual, haptic and cognitive skills in his work, but is supported by the machine assistance system, which includes the technical possibilities of storing and quickly managing large parts databases and places in the joint solution.

In Ausführungsformen umfasst das System 100 ein oder mehrere Assistenzsysteme, z. B. das oben beschriebene visuelle Darstellungssystem 130 und, optional, zusätzlich die akustische Ausgabeeinheit 140, wobei das Assistenzsystem, wenn es z. B. als visuelles Darstellungssystem realisiert ist, dafür eingerichtet ist, an passenden Stellen geeignete Vorschlage einzublenden. Dabei ist das Assistenzsystem ausgelegt, sich wie ein zweiter Experte zu verhalten, der zuarbeitet, mitdenkt und hilft, dessen Stärke aber in der Verwaltung der Bruchstücke liegt.In embodiments, the system includes 100 one or more assistance systems, e.g. For example, the visual presentation system described above 130 and, optionally, additionally the acoustic output unit 140 , wherein the assistance system when z. B. is implemented as a visual display system, is set up to show appropriate suggestions at appropriate places. The assistance system is designed to behave like a second expert who works in, thinks and helps, but whose strength lies in the management of the fragments.

Die Aufgabe der Rekonstruktion wird durch die beschriebene Kombination von menschlicher kognitiver Fähigkeit und maschineller Unterstützung schneller gelost, als es der Mensch oder die Maschine allein bewirken könnten.The task of reconstruction is solved faster by the described combination of human cognitive ability and mechanical support than the human or the machine alone could effect.

In Ausführungsformen stellt das System Vorschläge für die Rekonstruktion in Teilen vorliegender Gegenstände bereit. In embodiments, the system provides proposals for reconstruction in parts of existing articles.

Gemäß Ausführungsformen können die ein oder mehreren interaktiver Assistenzsysteme dabei als Augmented-Reality-Anzeigesysteme ausgestaltet sein, die eine Unterstützung des Menschen im Hinblick auf die Anzeige zum Beispiel des Ablageortes von Teilen realisieren.According to embodiments, the one or more interactive assistance systems may be designed as augmented reality display systems that realize human support with regard to the display of, for example, the storage location of parts.

In Ausführungsformen erfolgt eine Kombination der jeweiligen menschlichen und maschinellen Fähigkeiten für die zu lösende Rekonstruktionsaufgabe. Hierbei spielt die maschinelle Erfassung von Teilen während der Manipulation durch den Menschen und die Verwaltung der aktuellen Orte von Teilen (nach der Ablage durch den Menschen) eine wesentliche Rolle. Daneben basiert die maschinelle Unterstützung vor allem auf der Fähigkeit, Passungen zwischen Teilen festzustellen und dem Benutzer darauf basierend Teile zur Kombination vorzuschlagen bzw. im Sichtfeld zu markieren.In embodiments, a combination of the respective human and machine capabilities is performed for the reconstruction task to be solved. Here, the mechanical capture of parts during manipulation by humans and the management of the current locations of parts (after filing by humans) plays an essential role. In addition, the mechanical support is mainly based on the ability to determine fits between parts and based on the user based parts to propose or mark in the field of view.

Anwendungsgebiete der Ausführungsformen finden sich beispielsweise in der Archäologie, in der Kunstgeschichte und der Forensik. Generell kommt jedes Gebiet in Frage, in welchem eine Menge an (Bruch-)teilen eines Gesamtobjektes zusammengesetzt werden soll.Application areas of the embodiments can be found for example in archeology, in art history and forensics. In general, any area is considered in which a lot of (fractional) parts of a total object should be put together.

Manche Ausführungsformen kommen bei der Zusammensetzung komplexer Maschinen zur Anwendung.Some embodiments are used in the composition of complex machines.

Weitere Ausführungsformen kommen für kleinere Reparaturarbeiten, oder für den Aufbau von Bausätzen zur Anwendung.Other embodiments are used for minor repair work, or for the construction of kits used.

Andere Ausführungsformen werden zur Lösung von Puzzlen oder Puzzle-artiger Problemstellungen eingesetzt.Other embodiments are used to solve jigsaw or puzzle-like problems.

In einer Ausführungsform ist die visuelle Darstellungseinheit 130 beispielsweise dafür ausgelegt, dem Benutzer Anzeige-Informationen über jedes Einzelteil der Mehrzahl der Einzelteile anzuzeigen, über ein Sichtfeld seiner Augen zu überblenden, so dass eine Sicht auf die von der visuellen Darstellungseinheit angezeigten Anzeige-Informationen, zeitgleich mit einer Sicht auf das jeweilige Einzelteil, das von dem Benutzer in der Hand gehalten wird, durch die visuelle Darstellungseinheit 130 hindurch möglich ist.In one embodiment, the visual presentation unit is 130 for example, adapted to display to the user display information about each item of the plurality of items to overlap over a field of view of his eyes so that a view of the display information displayed by the visual display unit, coinciding with a view of the respective item, which is held by the user in the hand, by the visual presentation unit 130 through is possible.

Beispielsweise kann es sich um ein Head-up-Display (Kopf-oben-Anzeige) handeln, bei der der Benutzer seinen Blick in die gewünschte Blickrichtung beibehalten kann, bei dem ihm aber dennoch virtuelle Informationen angezeigt werden. So kann z. B. eine Glasscheibe an einer Halterung, z. B., als Projektionsfläche dienen, wobei die Halterung z. B. auf einem Tisch steht, der als Ablagefläche für die Einzelteile dient. Head-up-Displays sind dem Fachmann beispielsweise aus modernen Kraftfahrzeugen bekannt.For example, it may be a head-up display (head-up display), in which the user can maintain his view in the desired viewing direction, but still be displayed to him virtual information. So z. B. a glass sheet on a holder, for. B., serve as a projection surface, wherein the holder z. B. stands on a table, which serves as a storage area for the items. Head-up displays are known to the expert, for example, from modern motor vehicles.

Gemäß einer Ausführungsform ist die visuelle Darstellungseinheit 130 z. B. dafür ausgelegt, an einem Kopf des Benutzers angebracht zu werden.In one embodiment, the visual presentation unit is 130 z. B. designed to be attached to a user's head.

Hier kann zum Beispiel an ein Head-Mounted Display (am Kopf befestigte Anzeigeeinrichtung) eingesetzt werden, z. B. in Brillenform, oder eine Virtual Reality Brille (Virtuelle Realitäts-Brille), die dergestalt ausgelegt sein soll, dass durch sie grundsätzlich die wirkliche Umgebung sichtbar ist, die aber in der Lage ist, virtuelle Informationen einzublenden.Here, for example, to a head-mounted display (head-mounted display device) can be used, for. Goggles, or a virtual reality goggle (Virtual Reality Goggles) designed to be basically able to see the real environment through it, but capable of displaying virtual information.

In einer Ausführungsform ist die visuelle Darstellungseinheit 130 beispielsweise dafür ausgelegt, dem Benutzer als Anzeige-Informationen über das jeweilige Einzelteil der Mehrzahl der Einzelteile, einen Index des Einzelteils, der das Einzelteil bezeichnet (z. B. eine numerische Zahl), anzuzeigen.In one embodiment, the visual presentation unit is 130 for example, configured to display to the user as display information about each item of the plurality of items, an index of the item indicating the item (eg, a numeric number).

Gemäß einer Ausführungsform ist die visuelle Darstellungseinheit 130 z. B. dafür ausgelegt, durch eine visuelle Darstellung dem Benutzer die Lage eines der Mehrzahl der Einzelteile, das auf einer Ablagefläche abgelegt ist, anzuzeigen.In one embodiment, the visual presentation unit is 130 z. B. designed to display by a visual representation of the user, the location of one of the plurality of items, which is stored on a shelf.

In einer Ausführungsform umfasst das System beispielsweise ferner eine akustische Ausgabeeinheit 140, umfassend ein oder mehrere Lautsprecher, wobei die akustische Ausgabeeinheit 140 ausgebildet ist, durch einen akustischen Hinweis auf die Lage eines der Mehrzahl der Einzelteile, das auf einer Ablagefläche abgelegt ist, hinzuweisen.For example, in one embodiment, the system further includes an acoustic output unit 140 comprising one or more speakers, wherein the acoustic output unit 140 is designed to indicate by an acoustic indication of the position of one of the plurality of items, which is stored on a shelf.

Gemäß einer Ausführungsform ist die Rechenanlage 120 z. B. dafür eingerichtet, eines der Mehrzahl der Einzelteile auszuwählen, auf das der Benutzer hingewiesen werden soll. Die akustische Ausgabeeinheit 140 ist ausgebildet, einen akustischen Hinweis auszugeben, wenn der Benutzer in Blickrichtung dieses einen der Mehrzahl der Einzelteile blickt, auf das der Benutzer hingewiesen werden soll.According to one embodiment, the computer system is 120 z. B. configured to select one of the plurality of items to which the user should be notified. The acoustic output unit 140 is configured to issue an audible indication when the user looks in the direction of this one of the plurality of items to which the user is to be pointed.

Beispielsweise können weitere Kameras des Systems 100, die auf den Benutzer gerichtet sind, die Blickrichtung der Augen bzw. die Kopfhaltung des Benutzers erfassen, so dass die Rechenanlage 120, beispielsweise durch Anwendung von Mustererkennungstechniken die Blickrichtung des Benutzers bestimmen kann, um dann, nach Bestimmung der Blickrichtung festzustellen, ob der Benutzer auf ein bestimmtes Einzelteil blickt, dessen aktuelle Lage beispielsweise als Merkmals-Information in der Datenbank oder dem Speicher 210 gespeichert wurde.For example, more cameras of the system 100 directed to the user, capture the line of sight of the eyes or the head posture of the user, so that the computer 120 For example, by using pattern recognition techniques, it is possible to determine the viewing direction of the user, and then, after determining the line of sight, to determine whether the user is looking at a particular item, its current position, for example, as feature information in the database or memory 210 was saved.

In einer Ausführungsform ist die Rechenanlage 120 beispielsweise ausgebildet, anhand der Merkmals-Informationen über die ein oder mehreren Merkmale von zwei Einzelteilen der Mehrzahl der Einzelteile, zu bestimmen, ob diese zwei Einzelteile zusammengefügt werden können. In einer solchen Ausführungsform ist die Darstellungseinheit ausgebildet, falls die Rechenanlage 120 bestimmt hat, dass diese zwei Einzelteile zusammengefügt werden können, anzuzeigen, dass diese zwei Einzelzeile zusammengefügt werden können. In one embodiment, the computer system is 120 For example, based on the feature information about the one or more features of two items of the plurality of items, it may be determined whether these two items may be mated together. In such an embodiment, the display unit is formed if the computer system 120 has determined that these two items can be put together to indicate that these two single lines can be put together.

Gemäß einer Ausführungsform umfassen die Merkmals-Informationen über die Merkmale der Mehrzahl der Einzelteile beispielsweise Informationen über Kanten oder Oberflächenformen der Mehrzahl der Einzelteile. Die Rechenanlage 120 ist ausgebildet, anhand der Informationen über Kanten oder Oberflächenformen der besagten zwei Einzelteile der Mehrzahl der Einzelteile, zu bestimmen, ob diese zwei Einzelteile zusammengefügt werden können.For example, in one embodiment, the feature information about the features of the plurality of items includes information about edges or surface shapes of the plurality of items. The computer system 120 is adapted, based on the information about edges or surface shapes of said two items of the plurality of items, to determine whether these two items can be joined together.

Wie anhand der Informationen über Kanten oder Oberflächenformen der besagten zwei Einzelteile der Mehrzahl der Einzelteile, bestimmt werden kann, ob diese zwei Einzelteile zusammengefügt werden können, ist dem Fachmann aus seinem allgemeinen Fachwissen bekannt.As can be determined from the information about edges or surface shapes of said two items of the plurality of items, whether these two items can be assembled together, one of ordinary skill in the art will be aware of this.

Beispielsweise sind in der zitierten Literatur

  • [1] Weixin Kong; Benjamin B. Kimia: „On Solving 2D and 3D Puzzles Using Curve Matching”; Computer Vision and Pattern Recognition, 2001; CVPR 2001; Proceedings of the 2001 IEEE Computer Society Conference on; Volume 2
  • [2] SAGIROGLU, M. Ş.; ERÇIL A.: ”Optimization for automated assembly of puzzles”; TOP; Volume 18, Issue 2; 2010; pages 321–338
For example, in the cited literature
  • [1] Weixin Kong; Benjamin B. Kimia: "On Solving 2D and 3D Puzzles Using Curve Matching"; Computer Vision and Pattern Recognition, 2001; CVPR 2001; Proceedings of the 2001 IEEE Computer Society Conference on; Volume 2
  • [2] SAGIROGLU, M. Ş .; ERÇIL A .: "Optimization for automated assembly of puzzles";TOP; Volume 18, Issue 2; 2010; pages 321-338

Techniken beschrieben, aus denen der Fachmann ableiten kann, wie bestimmt werden kann, ob zwei Einzelteile zusammengefügt werden können, und wie dieses Zusammenfügen, d. h. an welchen Kanten oder Oberflächen dann erfolgen kann. Die in dieser Literatur dort beschriebenen Prinzipien können auf beliebige Arten von Einzelteilen übertragen werden, für die bestimmt werden soll, wie diese Einzelteile zusammenfügbar sind. Ferner sind derartige Prinzipien dem Fachmann aus seinem allgemeinen Fachwissen bekannt.Techniques out of which the skilled person can deduce how to determine whether two items can be joined together, and how this joining, d. H. at which edges or surfaces can then take place. The principles described in this literature may be applied to any type of item for which it is intended to determine how these items are assembled. Furthermore, such principles are known to those skilled in the art from their general knowledge.

In einer Ausführungsform ist die Darstellungseinheit beispielsweise ausgebildet, dem Benutzer anzuzeigen, an welchen Kanten oder Oberflächenformen diese zwei Einzelteile zusammengefügt werden können, wenn die Rechenanlage 120 bestimmt hat, dass diese zwei Einzelteile zusammengefügt werden können.For example, in one embodiment, the rendering unit is configured to indicate to the user at which edges or surface shapes these two pieces may be joined together when the computing device 120 has determined that these two items can be put together.

Wiederum kann auf die oben beschriebene Literatur [1] und [2] verwiesen werden, wobei die dort beschriebenen Techniken auf alle Arten von Einzelteilen anwendbar sind, die zusammengefügt werden sollen.Again, reference may be had to the literature [1] and [2] described above, the techniques described therein being applicable to all kinds of items to be assembled.

Visuell kann beispielsweise jeweils ein Pfeil überblendend über die Sicht des Benutzers auf die beiden Einzelteile auf die Kante oder auf die Oberfläche jedes der Pfeile deuten, an der die beiden Teile zusammengefügt werden sollen.Visually, for example, an arrow each overlapping on the view of the user on the two items on the edge or on the surface of each of the arrows overlap, where the two parts are to be joined together.

Gemäß einer Ausführungsform ist die Darstellungseinheit z. B. ausgebildet, anzuzeigen, wie ein erstes dieser zwei Einzelteile, das von dem Benutzer in einer ersten Hand gehalten wird, zu drehen ist, damit es mit einem zweiten dieser zwei Einzelteile zusammengefügt werden kann, das von dem Benutzer in einer zweiten Hand gehalten wird, falls die Rechenanlage 120 bestimmt hat, dass diese zwei Einzelteile zusammengefügt werden können.According to one embodiment, the presentation unit z. B. is configured to indicate how to rotate a first of these two items held by the user in a first hand so that it can be mated with a second of these two items held by the user in a second hand if the computer 120 has determined that these two items can be put together.

Beispielsweise kann die Darstellungseinheit einen oder mehrere graphische Pfeile einblenden, überblendend über die Sicht des Benutzers auf das Einzelteil anzeigt, in welche Richtung ein bestimmtes Einzelteil zu drehen ist. Unterstützend kann des Weiteren beispielsweise ein Koordinatensystem eingeblendet werdenFor example, the presentation unit can fade in one or more graphical arrows, superimposing the user's view of the item in which direction a particular item is to be rotated. In addition, for example, a coordinate system can be displayed

In einer Ausführungsform ist die Rechenanlage 120 beispielsweise ausgebildet, Merkmals-Informationen über ein oder mehrere Merkmale eines zusammengesetzten Teils, das durch Zusammenfügen der besagten zwei Einzelteile entstanden ist, in der Datenbank oder dem Speicher 210 zu speichern.In one embodiment, the computer system is 120 for example, feature information about one or more features of a composite part that has been created by combining said two items in the database or memory 210 save.

Beispielsweise kann, wenn das zusammengesetzte Teil durch Zusammenfügen der beiden Einzelteile, z. B. durch Zusammenkleben, gebildet wurde, dieses zusammengesetzte Teil wiederum erfasst werden und Merkmals-Informationen über dessen Merkmale können in der Datenbank oder dem Speicher 210 gespeichert werden.For example, if the assembled part by joining the two items, z. B. by gluing, this composite part in turn be detected and feature information about its features in the database or memory 210 get saved.

Optional können die Informationen über die beiden Einzelteile, die zu einem Gesamtteil zusammengefügt wurden, aus der Datenbank oder dem Speicher 210 gelöscht werden.Optionally, the information about the two items that have been merged into one entity can be retrieved from the database or store 210 to be deleted.

Im Folgenden werden einige spezifische Ausgestaltungen von speziellen Ausführungsformen unter Bezugnahme auf 2–6 beschrieben.Hereinafter, some specific embodiments of specific embodiments will be described with reference to FIG 2 - 6 described.

2 zeigt ein Diagramm, das eine Übersicht über die Benutzer-System Interaktion in einem System gemäß einer Ausführungsform darstellt. Anders ausgedrückt zeigt 2 also, wie der Benutzer mit einem System gemäß Ausführungsformen interagiert. 2 FIG. 12 is a diagram illustrating an overview of user-system interaction in a system according to an embodiment. FIG. In other words, shows 2 that is, how the user interacts with a system according to embodiments.

Wie im Diagramm dargestellt, gehen in der Ausführungsform der 2 alle Aktionen beispielsweise vom Benutzer aus. Dabei interagieren System und Benutzer miteinander, z. B. über die Augmented-Reality-Visualisierung und weitere etwa akustische Kommunikation (Sprachausgabe und -eingabe) und arbeiten so in Kooperation miteinander. Dabei folgt die Interaktion beispielsweise gemäß dem Diagramm der 2. As shown in the diagram, go in the embodiment of the 2 all actions, for example, by the user. The system and users interact with each other, eg B. about the augmented reality visualization and more about acoustic communication (voice output and input) and work in cooperation with each other. The interaction follows, for example, according to the diagram of 2 ,

In Ausführungsformen hält und aktualisiert das System eine Menge von Objektmodellen. Auf dieser Menge läuft die automatische Passzuordnung, beispielsweise im Hintergrund, und/oder, beispielsweise als asynchroner Prozess.In embodiments, the system maintains and updates a set of object models. This set is used for automatic pass assignment, for example in the background, and / or, for example, as an asynchronous process.

Beispielsweise kann das System in Ausführungsformen dafür ausgelegt sein, drei Hauptaktivitäten, z. B. drei Interaktionen zu unterstützen, z. B. die Interaktionen „Aufnehmen” 300, „Vorzeigen” 400 und „Zusammenpassen” 500 der 2, die z. B. wie in den Diagrammen der 3–5 spezifiziert sein können.For example, in embodiments, the system may be configured to perform three primary activities, e.g. For example, to support three interactions, e.g. For example, the interactions "recording" 300 , "Show" 400 and "matching" 500 of the 2 that z. B. as in the diagrams of 3 - 5 can be specified.

Gemäß der Ausführungsform der 2 erfolgt zunächst eine leere Initialisierung der Modellmenge in Schritt 210. In dieser „Modellmenge” werden dann die erfassten Objekte gespeichert. Bei der Modellmenge kann es sich beispielsweise um die Tabelle einer Datenbank des Systems oder einer für das System externen Datenbank handeln, in der dann für jedes erfasste Objekt ein Eintrag in der Tabelle der Datenbank mit den erfassten Eigenschaften des Objekts als den Attributen des Tabelleneintrags der Datenbank gespeichert wird. In diesem Sinn kann dann „Modellmenge leer initialisieren” bedeuten, dass z. B. eine neue entsprechende Datenbanktabelle angelegt wird, oder dass z. B. alle Einträge einer bestehenden Tabelle der Datenbank gelöscht werden, damit wieder eine leere Tabelle zur Verfügung steht.According to the embodiment of the 2 First, an empty initialization of the model set in step 210 , In this "model set" then the detected objects are stored. For example, the model set can be the table of a database of the system or of a database external to the system, where for each detected object an entry in the table of the database with the captured properties of the object as the attributes of the table entry of the database is stored. In this sense, then "initialize model set empty" mean that z. B. a new corresponding database table is created, or that z. For example, all entries in an existing table of the database can be deleted so that an empty table is available again.

Statt einer Datenbank können die Eigenschaften auch auf eine beliebige andere geeignete Art in einem Speicher des Systems oder einem für das System externen Speicher gespeichert werden. In diesem Sinn kann Modellmenge leer initialisieren bedeuten, dass entsprechende Strukturen im Speicher angelegt werden, in die dann die Eigenschaften erfasster Objekte als Datensätze später gespeichert werden können.Instead of a database, the properties may also be stored in any other suitable manner in a memory of the system or a memory external to the system. In this sense, initializing a model set empty means that corresponding structures are created in the memory, in which the properties of detected objects can then be stored as data records later.

In 2 steht „sd” für Sequenzdiagramm”. Eines von vielen möglichen Sequenzdiagrammen für die Interaktion „Aufnehmen” 300 ist in 3, eines von vielen möglichen Sequenzdiagrammen für die Interaktion „Vorzeigen” 400 ist in 4 und eines von vielen möglichen Sequenzdiagrammen für die Interaktion „Zusammenpassen” 500 ist in 5 dargestellt.In 2 "sd" stands for sequence diagram ". One of many possible sequence diagrams for the "capture" interaction 300 is in 3 , one of many possible sequencing diagrams for the show interaction 400 is in 4 and one of many possible sequence diagrams for the "Matching" interaction 500 is in 5 shown.

Nach der Leer-Initialisierung der Modellmenge in Schritt 210 erfolgt in Ausführungsformen gemäß 2 dann die Interaktion „Aufnehmen” 300. Dies kann, beispielsweise, in einer Ausführungsform wie in 3 spezifiziert, erfolgen.After the empty initialization of the model set in step 210 takes place in embodiments according to 2 then the "record" interaction 300 , This may, for example, in an embodiment as in 3 specified.

3 zeigt dabei ein Diagramm, das eine Interaktion „Aufnehmen” in einem System gemäß einer Ausführungsform darstellt. Beim Aufnehmen, wie in 3 dargestellt, nimmt der Benutzer ein schon bekanntes oder ein bisher unbekannte Objekt zur Hand. Beispielsweise kann ein System gemäß einer Ausführungsform dazu, z. B. über eine Augmented-Reality-Visualisierung und/oder z. B. über eine Sprachschnittstelle mehrere Vorschläge machen, welche Objekte interessant erscheinen. Die im Hintergrund laufende Passungsanalyse hält laufend eine Priorisierungsliste, in der schon vermessene und noch nicht vermessene Objektteile bewertet werden im Hinblick auf das Ziel. 3 FIG. 12 is a diagram illustrating a "capture" interaction in a system according to an embodiment. FIG. When recording, as in 3 shown, the user takes a well-known or a previously unknown object to hand. For example, a system according to an embodiment thereof, e.g. B. via an augmented reality visualization and / or z. B. via a voice interface make several suggestions, which objects appear interesting. The background matching analysis continuously keeps a prioritization list in which already measured and not yet measured object parts are evaluated with regard to the target.

Beispielsweise kann auf eine Frage des Benutzers, warum ein Objekt so interessant sei, das System ausgebildet sein, seine Kriterien aufzulisten, warum das Objekt interessant ist, also etwa, weil es zu einem zweiten Objekt in der anderen Hand gut passen könnte, oder weil es noch nicht vermessen ist. Eine solche Frage des Benutzers kann zum Beispiel vom Benutzer verbal gestellt werden, und beispielsweise über eine Spracheingabe-Schnittstelle des Augmented-Reality-Systems erfasst werden und mittels Spracherkennung durch das System analysiert werden.For example, upon a user's question as to why an object is so interesting, the system may be configured to list its criteria for why the object is interesting, say, because it might fit well with a second object in the other hand, or because of it not measured yet. Such a question of the user may, for example, be made verbal by the user and, for example, be detected via a speech input interface of the augmented reality system and analyzed by the system using speech recognition.

4 zeigt ein Diagramm, das eine Interaktion „Vorzeigen” in einem System gemäß einer Ausführungsform darstellt. Im Vorzeigemodus der 4 wird ein bisher unbekanntes Objekt vermessen. Dabei hält der Benutzer beispielsweise das Objekt in den Vermessungsbereich, und das System erkennt und trennt Hand, Objekt und Hintergrund. Teile des Objekts sind z. B. durch das Objekt selbst oder die haltende Hand verdeckt. Das System macht über die Augmented-Reality-Visualisierung und Sprachschnittstelle Vorschläge, wie das Objekt gedreht werden sollte. Der Benutzer nimmt solche Drehungen vor, und das System nutzt sie zur 3D-Vermessung. Ist das System zu einem hinreichend detaillierten und genauen Modell gelangt, meldet es diesen Stand der Dinge an den Benutzer durch Zuweisung eines Index. 4 FIG. 12 is a diagram illustrating an "show" interaction in a system according to an embodiment. FIG. In showcase mode the 4 a previously unknown object is measured. For example, the user holds the object in the survey area, and the system detects and separates hand, object, and background. Parts of the object are z. B. by the object itself or the holding hand hidden. The system uses the augmented reality visualization and speech interface to suggest how the object should be rotated. The user makes such rotations and the system uses them for 3D measurement. Once the system has arrived at a sufficiently detailed and accurate model, it reports that state of affairs to the user by assigning an index.

5 zeigt ein Diagramm, das eine Interaktion zum Zusammenpassen zweier Bruchteile in einem System gemäß einer Ausführungsform darstellt. Im Zusammenpassungsmodus der 5 sind zwei bekannte Objekte zur Hand. Der Benutzer hält beispielsweise jedes in einer Hand in den Vermessungsbereich. Das System erkennt und trennt die gegebenenfalls vorhandenen ein oder mehreren Hände, die gegebenenfalls vorhandenen ein oder mehreren Objekte und den Hintergrund voneinander. Das System ist beispielsweise ausgelegt, Vorschläge zu machen, wie die Teile zueinander gedreht werden sollten, damit sie am besten passen. Die Daten (3D-Drehungen) stammen aus der im Hintergrund laufenden Passungsanalyse. In einer Ausführungsform werden sie laufend der vorliegenden Situation angepasst. Der Benutzer bestätigt die Passung als gültig, fügt die Teile z. B. mit Klebstoff zusammen und legt sie wieder ab. Das System erkennt diesen Vorgang und aktualisiert die Datenbasis entsprechend. 5 FIG. 12 is a diagram illustrating an interaction for matching two fractions in a system according to an embodiment. FIG. In the matching mode the 5 There are two known objects at hand. For example, the user holds each in the survey area in one hand. The system recognizes and separates any existing one or more hands, which may be one or more existing ones Objects and the background of each other. For example, the system is designed to suggest how the parts should be rotated together to best fit. The data (3D rotations) comes from the background analysis of fit. In one embodiment, they are continually adapted to the present situation. The user confirms the fit as valid, adds the parts z. B. together with adhesive and puts it back. The system recognizes this process and updates the database accordingly.

6 zeigt eine mögliche Realisierung durch ein System gemäß einer Ausführungsform aus der Sicht des Benutzers. Auf der Arbeitsfläche liegen verschiedene Bruchstücke. Das Augmented-Reality-System blendet deren Indizes ein, soweit sie dem System bekannt sind. Noch unbekannte Teile werden entsprechend markiert. Die Teile können auch schon zum Teil zusammengesetzt sein – hier #12 und #17. Der Benutzer hat mit der rechten Hand ein bisher unbekanntes Teil (in 6) aufgenommen. Er wird nun vom System über die Augmented-Reality-Schnittstelle gebeten, das Teil in der skizierten Weise zu drehen, damit es besser vermessen werden kann. Danach kann entschieden werden, ob es zu dem Teil #42 in der linken Hand passt oder nicht. 6 shows a possible implementation by a system according to an embodiment from the user's point of view. There are various fragments on the work surface. The augmented reality system displays their indices as far as they are known to the system. Unknown parts are marked accordingly. The parts can already be partially assembled - here # 12 and # 17. The user has a previously unknown part (in 6 ). He is now asked by the system via the augmented reality interface, to rotate the part in the skied way so that it can be better measured. After that, it can be decided whether it fits the # 42 part in the left hand or not.

7 zeigt ein weiteres System 200 gemäß einer Ausführungsform, das zum einen eine Datenbank oder einen Speicher 210 und des Weiteren ein System 100 zur Unterstützung des Zusammensetzens einer Mehrzahl von Einzelteilen zu einem Gesamtteil gemäß einer der oben beschriebenen Ausführungsformen umfasst. 7 shows another system 200 according to an embodiment, on the one hand a database or a memory 210 and further a system 100 to assist in assembling a plurality of parts into a whole according to any of the above-described embodiments.

Die Rechenanlage 120 des Systems 100 nach einer der oben beschriebenen Ausführungsformen ist dafür eingerichtet, Merkmals-Informationen über ein oder mehrere Merkmale jedes der Mehrzahl der Einzelteile in der Datenbank oder dem Speicher 210 zu speichern.The computer system 120 of the system 100 According to one of the embodiments described above, feature information is set up about one or more features of each of the plurality of items in the database or memory 210 save.

Die visuelle Darstellungseinheit 130 des Systems 100 nach einer der oben beschriebenen Ausführungsformen ist dafür eingerichtet, einem Benutzer Anzeige-Informationen über jedes Einzelteil der Mehrzahl der Einzelteile in Abhängigkeit von den ein oder mehreren Merkmals-Informationen des jeweiligen Einzelteils anzuzeigen, wenn das jeweilige Einzelteil von dem Benutzer in einer Hand des Benutzers gehalten wird, falls zu diesem Einzelteil bereits die Merkmals-Informationen über die ein oder mehreren Merkmale in der Datenbank oder dem Speicher 210 von der Rechenanlage 120 des Systems 100 nach einer der oben beschriebenen Ausführungsformen gespeichert wurden.The visual presentation unit 130 of the system 100 According to one of the above-described embodiments, it is arranged to display to a user display information about each item of the plurality of items depending on the one or more feature information of each item when the respective item is held by the user in a user's hand if the feature information about the one or more features in the database or memory already exists for this item 210 from the computer system 120 of the system 100 were stored according to one of the embodiments described above.

Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung oder einem System beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung oder einem System auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung oder eines entsprechenden Systems dar. Einige oder alle der Verfahrensschritte können durch einen Hardware-Apparat (oder unter Verwendung eines Hardware-Apparats), wie zum Beispiel einen Mikroprozessor, einen programmierbaren Computer oder einer elektronischen Schaltung durchgeführt werden. Bei einigen Ausführungsbeispielen können einige oder mehrere der wichtigsten Verfahrensschritte durch einen solchen Apparat ausgeführt werden.Although some aspects have been described in the context of a device or system, it will be understood that these aspects also constitute a description of the corresponding method such that a block or device of a device or system may also be considered as a corresponding method step or feature Process step is to be understood. Similarly, aspects described in connection with or as a method step also represent a description of a corresponding block or detail or feature of a corresponding device or system. Some or all of the method steps may be performed by a hardware device (or Use of a hardware apparatus), such as a microprocessor, a programmable computer, or an electronic circuit. In some embodiments, some or more of the most important method steps may be performed by such an apparatus.

Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer BluRay Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem derart zusammenwirken können oder zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Deshalb kann das digitale Speichermedium computerlesbar sein.Depending on particular implementation requirements, embodiments of the invention may be implemented in hardware or in software. The implementation may be performed using a digital storage medium such as a floppy disk, a DVD, a BluRay disc, a CD, a ROM, a PROM, an EPROM, an EEPROM or FLASH memory, a hard disk, or other magnetic or optical Memory are stored on the electronically readable control signals are stored, which can cooperate with a programmable computer system or cooperate such that the respective method is performed. Therefore, the digital storage medium can be computer readable.

Manche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird.Thus, some embodiments according to the invention include a data carrier having electronically readable control signals capable of interacting with a programmable computer system such that one of the methods described herein is performed.

Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computerprogrammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahin gehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer abläuft.In general, embodiments of the present invention may be implemented as a computer program product having a program code, wherein the program code is operable to perform one of the methods when the computer program product runs on a computer.

Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger gespeichert sein.The program code can also be stored, for example, on a machine-readable carrier.

Andere Ausführungsbeispiele umfassen das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschinen-lesbaren Träger gespeichert ist. Mit anderen Worten ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens somit ein Computerprogramm, das einen Programmcode zum Durchführen eines der hierin beschriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer abläuft.Other embodiments include the computer program for performing any of the methods described herein, the computer program being stored on a machine-readable medium is stored. In other words, an embodiment of the method according to the invention is thus a computer program which has a program code for performing one of the methods described herein when the computer program runs on a computer.

Ein weiteres Ausführungsbeispiel der erfindungsgemäßen Verfahren ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist.A further embodiment of the inventive method is thus a data carrier (or a digital storage medium or a computer-readable medium) on which the computer program is recorded for carrying out one of the methods described herein.

Ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist somit ein Datenstrom oder eine Sequenz von Signalen, der bzw. die das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Datenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahin gehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, transferiert zu werden.A further embodiment of the method according to the invention is thus a data stream or a sequence of signals, which represent the computer program for performing one of the methods described herein. The data stream or the sequence of signals may be configured, for example, to be transferred via a data communication connection, for example via the Internet.

Ein weiteres Ausführungsbeispiel umfasst eine Verarbeitungseinrichtung, beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahin gehend konfiguriert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen.Another embodiment includes a processing device, such as a computer or a programmable logic device, that is configured or adapted to perform one of the methods described herein.

Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist.Another embodiment includes a computer on which the computer program is installed to perform one of the methods described herein.

Ein weiteres Ausführungsbeispiel gemäß der Erfindung umfasst eine Vorrichtung oder ein System, die bzw. das ausgelegt ist, um ein Computerprogramm zur Durchführung zumindest eines der hierin beschriebenen Verfahren zu einem Empfänger zu übertragen. Die Übertragung kann beispielsweise elektronisch oder optisch erfolgen. Der Empfänger kann beispielsweise ein Computer, ein Mobilgerät, ein Speichergerät oder eine ähnliche Vorrichtung oder System sein. Die Vorrichtung oder das System kann beispielsweise einen Datei-Server zur Übertragung des Computerprogramms zu dem Empfänger umfassen.Another embodiment according to the invention comprises a device or system adapted to transmit a computer program for performing at least one of the methods described herein to a receiver. The transmission can be done for example electronically or optically. The receiver may be, for example, a computer, a mobile device, a storage device, or a similar device or system. For example, the device or system may include a file server for transmitting the computer program to the recipient.

Bei manchen Ausführungsbeispielen kann ein programmierbares Logikbauelement (beispielsweise ein feldprogrammierbares Gatterarray, ein FPGA) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausführungsbeispielen kann ein feldprogrammierbares Gatterarray mit einem Mikroprozessor zusammenwirken, um eines der hierin beschriebenen Verfahren durchzuführen. Allgemein werden die Verfahren bei einigen Ausführungsbeispielen seitens einer beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hardware wie ein Computerprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC.In some embodiments, a programmable logic device (eg, a field programmable gate array, an FPGA) may be used to perform some or all of the functionality of the methods described herein. In some embodiments, a field programmable gate array may cooperate with a microprocessor to perform one of the methods described herein. In general, in some embodiments, the methods are performed by any hardware device. This may be a universal hardware such as a computer processor (CPU) or hardware specific to the process, such as an ASIC.

Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.The embodiments described above are merely illustrative of the principles of the present invention. It will be understood that modifications and variations of the arrangements and details described herein will be apparent to others of ordinary skill in the art. Therefore, it is intended that the invention be limited only by the scope of the appended claims and not by the specific details presented in the description and explanation of the embodiments herein.

Literaturliterature

  • [1] Weixin Kong; Benjamin B. Kimia: „On Solving 2D and 3D Puzzles Using Curve Matching”; Computer Vision and Pattern Recognition, 2001; CVPR 2001; Proceedings of the 2001 IEEE Computer Society Conference on; Volume 2 [1] Weixin Kong; Benjamin B. Kimia: "On Solving 2D and 3D Puzzles Using Curve Matching"; Computer Vision and Pattern Recognition, 2001; CVPR 2001; Proceedings of the 2001 IEEE Computer Society Conference on; Volume 2
  • [2] SAGIROGLU, M. Ş.; ERÇIL A.: ”Optimization for automated assembly of puzzles”; TOP; Volume 18, Issue 2; 2010; pages 321–338 [2] SAGIROGLU, M. Ş .; ERÇIL A .: "Optimization for automated assembly of puzzles";TOP; Volume 18, Issue 2; 2010; pages 321-338

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte Nicht-PatentliteraturCited non-patent literature

  • Weixin Kong; Benjamin B. Kimia: „On Solving 2D and 3D Puzzles Using Curve Matching”; Computer Vision and Pattern Recognition, 2001; CVPR 2001; Proceedings of the 2001 IEEE Computer Society Conference on; Volume 2 [0076] Weixin Kong; Benjamin B. Kimia: "On Solving 2D and 3D Puzzles Using Curve Matching"; Computer Vision and Pattern Recognition, 2001; CVPR 2001; Proceedings of the 2001 IEEE Computer Society Conference on; Volume 2 [0076]
  • SAGIROGLU, M. Ş.; ERÇIL A.: ”Optimization for automated assembly of puzzles”; TOP; Volume 18, Issue 2; 2010; pages 321–338 [0076] SAGIROGLU, M. Ş .; ERÇIL A .: "Optimization for automated assembly of puzzles";TOP; Volume 18, Issue 2; 2010; pages 321-338 [0076]

Claims (15)

System (100) zur Unterstützung des Zusammensetzens einer Mehrzahl von Einzelteilen zu einem Gesamtteil, umfassend: ein oder mehrere Kameras (110), eine Rechenanlage (120), und eine visuelle Darstellungseinheit (130), wobei die ein oder mehreren Kameras (110) dafür eingerichtet sind, jedes Einzelteil der Mehrzahl der Einzelteile aufzunehmen, wenn das jeweilige Einzelteil von einem Benutzer in einer Hand des Benutzers gehalten wird, wobei die Rechenanlage (120) dafür eingerichtet ist, ein oder mehrere Merkmale jedes Einzelteils der Mehrzahl der Einzelzeile zu bestimmen, wenn das jeweilige Einzelteil von dem Benutzer in der Hand des Benutzers gehalten wird und wenn dieses Einzelteil von den ein oder mehreren Kameras (110) aufgenommen wird, und wobei die Rechenanlage (120) dafür eingerichtet ist, Informationen über die ein oder mehreren Merkmale dieses Einzelteils in einer Datenbank oder einem Speicher (210) zu speichern, und wobei die visuelle Darstellungseinheit (130) dafür eingerichtet ist, dem Benutzer die Anzeige-Informationen über jedes Einzelteil der Mehrzahl der Einzelteile in Abhängigkeit von den ein oder mehreren Merkmals-Informationen dieses Einzelteils anzuzeigen, wenn das jeweilige Einzelteil von dem Benutzer in der Hand des Benutzers gehalten wird, falls zu diesem Einzelteil bereits die Merkmals-Informationen über die ein oder mehreren Merkmale in der Datenbank oder dem Speicher (210) von der Rechenanlage (120) gespeichert wurden.System ( 100 ) in support of assembling a plurality of individual parts into a whole, comprising: one or more cameras ( 110 ), a computer system ( 120 ), and a visual presentation unit ( 130 ), where the one or more cameras ( 110 ) are adapted to receive each item of the plurality of items, when the respective item is held by a user in one hand of the user, wherein the computer system ( 120 ) is arranged to determine one or more features of each item of the plurality of the single line when the respective item is held by the user in the user's hand and when that item is received from the one or more cameras ( 110 ), and wherein the computer system ( 120 ) is arranged to provide information about the one or more features of that item in a database or memory ( 210 ) and wherein the visual presentation unit ( 130 ) is arranged to display to the user the display information about each item of the plurality of items in response to the one or more feature information of that item when the respective item is held by the user in the user's hand, if any Item already contains the feature information about the one or more characteristics in the database or memory ( 210 ) from the computer system ( 120 ) were saved. System (100) nach Anspruch 1, wobei die visuelle Darstellungseinheit (130) dafür ausgelegt ist, dem Benutzer Anzeige-Informationen über jedes Einzelteil der Mehrzahl der Einzelteile anzuzeigen, über ein Sichtfeld seiner Augen zu überblenden, so dass eine Sicht auf die von der visuellen Darstellungseinheit (130) angezeigten Anzeige-Informationen, zeitgleich mit einer Sicht auf das jeweilige Einzelteil, das von dem Benutzer in der Hand gehalten wird, durch die visuelle Darstellungseinheit (130) hindurch möglich ist.System ( 100 ) according to claim 1, wherein the visual representation unit ( 130 ) is adapted to display to the user display information about each item of the plurality of items, overlaying on a field of view of his eyes, so that a view of that of the visual presentation unit ( 130 ) is displayed by the visual display unit (simultaneously with a view of the respective item held by the user in the hand). 130 ) is possible through. System (100) nach Anspruch 2, wobei die visuelle Darstellungseinheit (130) dafür ausgelegt ist, an einem Kopf des Benutzers angebracht zu werden.System ( 100 ) according to claim 2, wherein the visual representation unit ( 130 ) is adapted to be attached to a user's head. System (100) nach einem der vorherigen Ansprüche, wobei die visuelle Darstellungseinheit (130) dafür ausgelegt ist, dem Benutzer als Anzeige-Informationen über das jeweilige Einzelteil der Mehrzahl der Einzelteile, einen Index des Einzelteils, der das Einzelteil bezeichnet, anzuzeigen.System ( 100 ) according to one of the preceding claims, wherein the visual representation unit ( 130 ) is adapted to display to the user as display information about the respective item of the plurality of items, an index of the item indicating the item. System (100) nach einem der vorherigen Ansprüche, wobei die visuelle Darstellungseinheit (130) dafür ausgelegt ist, durch eine visuelle Darstellung dem Benutzer die Lage eines der Mehrzahl der Einzelteile, das auf einer Ablagefläche abgelegt ist, anzuzeigen.System ( 100 ) according to one of the preceding claims, wherein the visual representation unit ( 130 ) is adapted to display by a visual representation to the user, the location of one of the plurality of items, which is stored on a shelf. System (100) nach einem der vorherigen Ansprüche, wobei das System (100) ferner eine akustische Ausgabeeinheit (140), umfassend ein oder mehrere Lautsprecher, umfasst, wobei die akustische Ausgabeeinheit (140) ausgebildet ist, durch einen akustischen Hinweis auf die Lage eines der Mehrzahl der Einzelteile, das auf einer Ablagefläche abgelegt ist, hinzuweisen.System ( 100 ) according to any one of the preceding claims, wherein the system ( 100 ) an acoustic output unit ( 140 comprising one or more loudspeakers, the acoustic output unit ( 140 ) is formed, by an acoustic indication of the position of one of the plurality of items, which is stored on a shelf, indicate. System (100) nach Anspruch 6, wobei die Rechenanlage (120) dafür eingerichtet ist, eines der Mehrzahl der Einzelteile auszuwählen, auf das der Benutzer hingewiesen werden soll, wobei die akustische Ausgabeeinheit (140) ausgebildet ist, einen akustischen Hinweis auszugeben, wenn der Benutzer in Blickrichtung dieses einen der Mehrzahl der Einzelteile blickt, auf das der Benutzer hingewiesen werden soll.System ( 100 ) according to claim 6, wherein the computer system ( 120 ) is adapted to select one of the plurality of items to which the user is to be alerted, the acoustic output unit ( 140 ) is adapted to issue an audible indication when the user looks in the direction of this one of the plurality of items to which the user is to be pointed. System (100) nach einem der vorherigen Ansprüche, wobei die Rechenanlage (120) ausgebildet ist, anhand der Merkmals-Informationen über die ein oder mehreren Merkmale von zwei Einzelteilen der Mehrzahl der Einzelteile, zu bestimmen, ob diese zwei Einzelteile zusammengefügt werden können, und wobei die Darstellungseinheit (130) ausgebildet ist, falls die Rechenanlage (120) bestimmt hat, dass diese zwei Einzelteile zusammengefügt werden können, anzuzeigen, dass diese zwei Einzelzeile zusammengefügt werden können.System ( 100 ) according to one of the preceding claims, wherein the computer system ( 120 ) is configured, based on the feature information on the one or more features of two individual parts of the plurality of items, to determine whether these two items can be joined together, and wherein the presentation unit ( 130 ) is formed, if the computer system ( 120 ) has determined that these two items can be put together to indicate that these two single lines can be put together. System (100) nach Anspruch 8, wobei die Merkmals-Informationen über die Merkmale der Mehrzahl der Einzelteile Informationen über Kanten oder Oberflächenformen der Mehrzahl der Einzelteile umfassen, und wobei die Rechenanlage (120) ausgebildet ist, anhand der Informationen über Kanten oder Oberflächenformen der besagten zwei Einzelteile der Mehrzahl der Einzelteile, zu bestimmen, ob diese zwei Einzelteile zusammengefügt werden können.System ( 100 ) according to claim 8, wherein the feature information on the features of the plurality of items comprises information about edges or surface shapes of the plurality of items, and wherein the computing system ( 120 ) is adapted, based on the information about edges or surface shapes of said two items of the plurality of items, to determine whether these two items can be joined together. System (100) nach Anspruch 9, wobei die Darstellungseinheit (130) ausgebildet ist, dem Benutzer anzuzeigen, an welchen Kanten oder Oberflächenformen diese zwei Einzelteile zusammengefügt werden können, wenn die Rechenanlage (120) bestimmt hat, dass diese zwei Einzelteile zusammengefügt werden können.System ( 100 ) according to claim 9, wherein the presentation unit ( 130 ) is designed to indicate to the user at which edges or surface shapes these two individual parts can be joined together when the computer system ( 120 ) has determined that these two items can be put together. System (100) nach einem der Ansprüche 8 bis 10, wobei die Darstellungseinheit (130) ausgebildet ist, anzuzeigen, wie ein erstes dieser zwei Einzelteile, das von dem Benutzer in einer ersten Hand gehalten wird, zu drehen ist, damit es mit einem zweiten dieser zwei Einzelteile zusammengefügt werden kann, das von dem Benutzer in einer zweiten Hand gehalten wird, falls die Rechenanlage (120) bestimmt hat, dass diese zwei Einzelteile zusammengefügt werden können.System ( 100 ) according to one of claims 8 to 10, wherein the presentation unit ( 130 ) is configured to indicate, as a first of these two items, which is held by the user in a first hand, is to rotate so that it can be assembled with a second of these two items, which is held by the user in a second hand, if the computer ( 120 ) has determined that these two items can be put together. System (100) nach einem der Ansprüche 8 bis 11, wobei die Rechenanlage (120) ausgebildet ist, Merkmals-Informationen über ein oder mehrere Merkmale eines zusammengesetzten Teils, das durch Zusammenfügen der besagten zwei Einzelteile entstanden ist, in der Datenbank oder dem Speicher (210) zu speichern.System ( 100 ) according to one of claims 8 to 11, wherein the computer system ( 120 ), feature information about one or more features of a composite part resulting from combining said two items in the database or memory ( 210 ) save. System (200) umfassend: eine Datenbank oder ein Speicher (210), und ein System (100) nach einem der Ansprüche 1 bis 12 zur Unterstützung des Zusammensetzens einer Mehrzahl von Einzelteilen zu einem Gesamtteil, wobei die Rechenanlage (120) des Systems (100) nach einem der Ansprüche 1 bis 12 dafür eingerichtet ist, Merkmals-Informationen über ein oder mehrere Merkmale jedes der Mehrzahl der Einzelteile in der Datenbank oder dem Speicher (210) zu speichern, und wobei die visuelle Darstellungseinheit (130) des Systems (100) nach einem der Ansprüche 1 bis 12 dafür eingerichtet ist, einem Benutzer Anzeige-Informationen über jedes Einzelteil der Mehrzahl der Einzelteile in Abhängigkeit von den ein oder mehreren Merkmals-Informationen des jeweiligen Einzelteils anzuzeigen, wenn das jeweilige Einzelteil von dem Benutzer in einer Hand des Benutzers gehalten wird, falls zu diesem Einzelteil bereits die Merkmals-Informationen über die ein oder mehreren Merkmale in der Datenbank oder dem Speicher (210) von der Rechenanlage (120) des Systems (100) nach einem der Ansprüche 1 bis 12 gespeichert wurden.System ( 200 ) comprising: a database or a memory ( 210 ), and a system ( 100 ) according to one of claims 1 to 12 for supporting the assembly of a plurality of individual parts into a total part, wherein the computer system ( 120 ) of the system ( 100 ) according to any one of claims 1 to 12, is adapted to provide feature information about one or more features of each of the plurality of items in the database or memory ( 210 ) and wherein the visual presentation unit ( 130 ) of the system ( 100 ) according to one of claims 1 to 12 adapted to display to a user display information about each item of the plurality of items in dependence on the one or more feature information of the respective item, when the respective item from the user in one hand of the User, if the feature information about the one or more characteristics in the database or memory ( 210 ) from the computer system ( 120 ) of the system ( 100 ) were stored according to one of claims 1 to 12. Verfahren zur Unterstützung des Zusammensetzens einer Mehrzahl von Einzelteilen zu einem Gesamtteil, umfassend: Aufnehmen jedes Einzelteils der Mehrzahl der Einzelteile durch eine oder mehrere Kameras, wenn das jeweilige Einzelteil von einem Benutzer in einer Hand des Benutzers gehalten wird, Bestimmen von ein oder mehreren Merkmalen jedes Einzelteils der Mehrzahl der Einzelzeile durch eine Rechenanlage, wenn das jeweilige Einzelteil von dem Benutzer in der Hand des Benutzers gehalten wird und wenn dieses Einzelteil von den ein oder mehreren Kameras aufgenommen wird, Speichern von Merkmals-Informationen über die ein oder mehreren Merkmale dieses Einzelteils durch die Rechenanlage in einer Datenbank oder einem Speicher, und Anzeigen von Anzeige-Informationen für den Benutzer über jedes Einzelteil der Mehrzahl der Einzelteile durch eine Darstellungseinheit in Abhängigkeit von den ein oder mehreren Merkmals-Informationen dieses Einzelteils, wenn das jeweilige Einzelteil von dem Benutzer in der Hand des Benutzers gehalten wird, falls zu diesem Einzelteil bereits die Informationen über die ein oder mehreren Merkmale in der Datenbank oder dem Speicher von der Rechenanlage gespeichert wurden.A method of supporting the assembly of a plurality of items into a total part, comprising: Receiving each item of the plurality of items by one or more cameras when the respective item is held by a user in one hand of the user, Determining, by a computing device, one or more features of each item of the plurality of the single line when the respective item is held by the user in the user's hand and when that item is received by the one or more cameras, Storing feature information about the one or more features of that item by the computing device in a database or memory, and Displaying display information to the user about each item of the plurality of items by a display unit depending on the one or more feature information of that item when the respective item is held by the user in the user's hand, if related to that item the information about the one or more features in the database or memory has already been stored by the computer. Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens nach Anspruch 14.Computer program with a program code for carrying out the method according to claim 14.
DE102015205357.1A 2015-03-24 2015-03-24 System and method for the interactive reconstruction of artifacts and other disassembled objects Ceased DE102015205357A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102015205357.1A DE102015205357A1 (en) 2015-03-24 2015-03-24 System and method for the interactive reconstruction of artifacts and other disassembled objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015205357.1A DE102015205357A1 (en) 2015-03-24 2015-03-24 System and method for the interactive reconstruction of artifacts and other disassembled objects

Publications (2)

Publication Number Publication Date
DE102015205357A1 true DE102015205357A1 (en) 2016-10-13
DE102015205357A8 DE102015205357A8 (en) 2017-01-12

Family

ID=56986039

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015205357.1A Ceased DE102015205357A1 (en) 2015-03-24 2015-03-24 System and method for the interactive reconstruction of artifacts and other disassembled objects

Country Status (1)

Country Link
DE (1) DE102015205357A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10128016A1 (en) * 2000-06-13 2001-12-20 Volkswagen Ag Plant for production of goods, especially press for pressing of car body parts has augmented reality system which during setting-up process can be connected via data connection to control device for preparation of data
DE10245649A1 (en) * 2002-09-30 2004-04-08 Meier, Peter Georg Support system for assembly of conceal parts using augmented reality technology to indicate orientation or position of component with acoustic and/or tactile output to operator
DE102004044718A1 (en) * 2004-09-10 2006-03-16 Volkswagen Ag Augmented reality help instruction generating system for e.g. aircraft, has control unit producing help instruction signal, representing help instruction in virtual space of three-dimensional object model, as function of interaction signal

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10128016A1 (en) * 2000-06-13 2001-12-20 Volkswagen Ag Plant for production of goods, especially press for pressing of car body parts has augmented reality system which during setting-up process can be connected via data connection to control device for preparation of data
DE10127396A1 (en) * 2000-06-13 2001-12-20 Volkswagen Ag Method for utilization of old motor vehicles using a sorting plant for removal of operating fluids and dismantling of the vehicle into components parts for sorting uses augmented reality (AR) aids to speed and improve sorting
DE10245649A1 (en) * 2002-09-30 2004-04-08 Meier, Peter Georg Support system for assembly of conceal parts using augmented reality technology to indicate orientation or position of component with acoustic and/or tactile output to operator
DE102004044718A1 (en) * 2004-09-10 2006-03-16 Volkswagen Ag Augmented reality help instruction generating system for e.g. aircraft, has control unit producing help instruction signal, representing help instruction in virtual space of three-dimensional object model, as function of interaction signal

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Weixin Kong; Benjamin B. Kimia: „On Solving 2D and 3D Puzzles Using Curve Matching"; Computer Vision and Pattern Recognition, 2001; CVPR 2001; Proceedings of the 2001 IEEE Computer Society Conference on; Volume 2

Also Published As

Publication number Publication date
DE102015205357A8 (en) 2017-01-12

Similar Documents

Publication Publication Date Title
DE102009037835B4 (en) Method for displaying virtual information in a real environment
DE112019000687T5 (en) PHOTOREALISTIC THREE-DIMENSIONAL TEXTURING USING CANONICAL VIEWS AND A TWO-STAGE APPROACH
DE112016004114T5 (en) STEREO RENDERING SYSTEM
DE102015100926A1 (en) Presentation of enhanced communication between remote participants through advanced and virtual reality
DE102014009697A1 (en) Method for operating a mobile virtual reality system in a motor vehicle and mobile virtual reality system
DE102009049073A1 (en) Method for presenting virtual information in a view of a real environment
WO2012130470A1 (en) Phantom image data bank (3d)
DE102014006732A1 (en) Image overlay of virtual objects in a camera image
DE102008027832A1 (en) Ophthalmoscope simulator
DE112017006836T5 (en) INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING AND PROGRAM
EP3189365A1 (en) User assistance system comprising a cleaning and disinfecting device
EP3955046A1 (en) Method for operating a display device in a motor vehicle
EP3012712A1 (en) Virtual drawing in real environment
DE102017208806B3 (en) External representation of image recordings of a vehicle interior in a VR glasses
DE102014114131A1 (en) Information processing and electronic device
DE102014107211A1 (en) Device for displaying a virtual reality as well as measuring device
DE102019107064A1 (en) Display method, electronic device and storage medium therewith
DE102018203865A1 (en) Method and device for providing information through an augmented reality device, method and device for providing information for controlling an indication of an augmented reality device, method and device for controlling an indication of an augmented reality device, computer readable storage medium having Instructions for carrying out the procedures
DE102015205357A1 (en) System and method for the interactive reconstruction of artifacts and other disassembled objects
DE102007028654A1 (en) Method for ergonomic representation of spatial depth of objects in virtual environments, involves presenting view of object to observer in form of overlapping images for each eye of observer by stereoscopic projection system
DE10216824B4 (en) Method and apparatus for constructing a custom goggle
DE102014010309B4 (en) View additional content in a virtual scenery
DE112021006396T5 (en) Gaze-dependent eyepiece mode control for mixed reality
Matatko et al. Depth perception in virtual reality
DE102011112620B3 (en) Angled display for the three-dimensional representation of a scenario

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R006 Appeal filed
R008 Case pending at federal patent court
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06F0017500000

Ipc: G06F0030000000

R003 Refusal decision now final
R010 Appeal proceedings settled by withdrawal of appeal(s) or in some other way