HINTERGRUNDBACKGROUND
Der Begriff „Augmented Reality” (erweiterte Realität) bezieht sich im Allgemeinen darauf, einem Benutzer auf einer kombinierten Anzeige Echtwelt- und Virtual-Reality- oder Erweiterungsdaten vorzulegen. Dabei können Augmented-Reality-Systeme z. B. Echtweltinhalt anreichern, indem sie derartigen Inhalt mit computererzeugten ergänzenden Daten anreichern. Die Erweiterungsdaten können über Echtweltbilder gelegt und so angezeigt werden, dass der Benutzer sowohl den Echtweltinhalt als auch die Erweiterungsdaten in einer kombinierten Ansicht sehen kann.The term augmented reality generally refers to presenting real world and virtual reality or enhancement data to a user on a combined display. This augmented reality systems z. B. Enrich real-world content by enriching such content with computer-generated supplemental data. The enhancement data can be placed over real world images and displayed so that the user can see both the real world content and the enhancement data in a combined view.
KURZDARSTELLUNGSUMMARY
Gemäß einem Aspekt der vorliegenden Offenbarung werden ein Verfahren und eine Methode für eine dynamische Erzeugung von Augmented-Reality-Medien offenbart. Das Verfahren beinhaltet: Analyse der Realitätsdaten; Erzeugen von Augmented-Reality-Inhalt; Feststellen, ob die Realitätsdaten vorgegebenen Ereigniserfassungskriterien entsprechen; und als Reaktion auf das Feststellen, dass die Realitätsdaten den vorgegebenen Ereigniserfassungskriterien entsprechen, Erfassen des Augmented-Reality-Inhalts.In accordance with one aspect of the present disclosure, a method and method for dynamically generating augmented reality media is disclosed. The method includes: analysis of the reality data; Generating augmented reality content; Determining if the reality data meets predetermined event acquisition criteria; and in response to determining that the reality data conforms to the predetermined event capture criteria, capturing the augmented reality content.
KURZBESCHREIBUNG DER VERSCHIEDENEN ANSICHTEN DER ZEICHNUNGENBRIEF DESCRIPTION OF THE SEVERAL VIEWS OF THE DRAWINGS
Für ein umfassenderes Verständnis der vorliegenden Anmeldung und ihrer Gegenstände und Vorzüge wird nun auf die folgenden Beschreibungen in Verbindung mit den beigefügten Zeichnungen verwiesen, wobei:For a more complete understanding of the present application and its objects and advantages, reference is now made to the following descriptions taken in conjunction with the accompanying drawings, in which:
1 eine Ausführungsform eines Netzwerks von Datenverarbeitungssystemen ist, in dem veranschaulichende Ausführungsformen der vorliegenden Offenbarung realisiert sein können; 1 an embodiment of a network of data processing systems in which illustrative embodiments of the present disclosure may be practiced;
2 eine Ausführungsform eines Datenverarbeitungssystems ist, in dem veranschaulichende Ausführungsformen der vorliegenden Offenbarung realisiert sein können; 2 an embodiment of a data processing system in which illustrative embodiments of the present disclosure may be practiced;
3 eine Darstellung ist, die eine Ausführungsform eines Datenverarbeitungssystems für eine dynamische Erzeugung von Augmented-Reality-Medien veranschaulicht, in dem veranschaulichende Ausführungsformen der vorliegenden Offenbarung realisiert sein können; und 3 FIG. 11 is an illustration illustrating one embodiment of a data processing system for dynamically generating augmented reality media in which illustrative embodiments of the present disclosure may be implemented; FIG. and
4 ein Ablaufplan ist, der eine Ausführungsform eines Verfahrens für eine dynamische Erzeugung von Augmented-Reality-Medien gemäß der vorliegenden Offenbarung veranschaulicht. 4 5 is a flowchart illustrating one embodiment of a method for dynamically generating augmented reality media in accordance with the present disclosure.
AUSFÜHRLICHE BESCHREIBUNGDETAILED DESCRIPTION
Ausführungsformen der vorliegenden Offenbarung stellen ein Verfahren und eine Methode für eine dynamische Erzeugung von Augmented-Reality-Medien bereit. Dabei beinhalten das Verfahren und die Methode z. B. in manchen Ausführungsformen: Analyse der Realitätsdaten; Erzeugen von Augmented-Reality-Inhalt; Feststellen, ob die Realitätsdaten vorgegebenen Ereigniserfassungskriterien entsprechen; und als Reaktion auf das Feststellen, dass die Realitätsdaten den vorgegebenen Ereigniserfassungskriterien entsprechen, Erfassen des Augmented-Reality-Inhalts. Ausführungsformen der vorliegenden Offenbarung ermöglichen die dynamische und automatische Erzeugung/Erfassung von Augmented-Reality-Inhalt (z. B. Echtweltinhalt, der mit Erweiterungsdaten überlagert/ergänzt wird). Ausführungsformen der vorliegenden Offenbarung können die stattfindenden Echtweltereignisse ebenso wie Erweiterungsdaten, welche die Echtweltwahrnehmung ergänzen, anhand von bestimmten vordefinierten Kriterien beurteilen, um so zu ermitteln, ob die Erfassung/Speicherung von Augmented-Reality-Inhalt eingeleitet werden soll. Der erfasste Augmented-Reality-Inhalt kann in Form von Videoinhalt, Bildschirmauszügen/Bildern, Tönen oder auf andere Art und Weise vorliegen. Ausführungsformen der vorliegenden Offenbarung können des Weiteren mehrere Teilprozesse generieren, um derartigen Augmented-Reality-Inhalt zeitgleich zu erfassen, während er auf der Einheit wiedergegeben wird.Embodiments of the present disclosure provide a method and method for dynamically generating augmented reality media. The method and the method include z. In some embodiments: analysis of the reality data; Generating augmented reality content; Determining if the reality data meets predetermined event acquisition criteria; and in response to determining that the reality data conforms to the predetermined event capture criteria, capturing the augmented reality content. Embodiments of the present disclosure enable the dynamic and automatic generation / acquisition of augmented reality content (e.g., real world content overlaid with enhancement data). Embodiments of the present disclosure may evaluate real-world events taking place as well as enhancement data that complements real-world perception based on certain predefined criteria to determine whether augmented reality content acquisition / storage should be initiated. The captured augmented reality content may be in the form of video content, screen excerpts / images, sounds, or otherwise. Embodiments of the present disclosure may further generate multiple threads to simultaneously capture such augmented reality content as it is rendered on the unit.
Der Fachmann weiß, dass Aspekte der vorliegenden Offenbarung als ein System, Verfahren oder Computerprogrammprodukt ausgeführt werden können. Entsprechend können Aspekte der vorliegenden Offenbarung in Gestalt einer vollständig in Hardware realisierten Ausführungsform, einer vollständig in Software realisierten Ausführungsform (z. B. Firmware, residente Software, Mikrocode usw.) oder in Gestalt einer Ausführungsform vorliegen, die Software- und Hardware-Aspekte vereint, welche zusammenfassend als „Schaltung”, „Modul” oder „System” bezeichnet werden können. Des Weiteren können Aspekte der vorliegenden Offenbarung in Gestalt eines Computerprogrammprodukts vorliegen, das in einem oder mehreren computerlesbaren Medien ausgeführt ist, auf denen computerlesbarer Programmcode enthalten ist.Those skilled in the art will appreciate that aspects of the present disclosure may be practiced as a system, method, or computer program product. Accordingly, aspects of the present disclosure may be in the form of a fully hardware embodied embodiment, an entirely software embodiment (eg, firmware, resident software, microcode, etc.), or in the form of an embodiment that combines software and hardware aspects , which may be collectively referred to as "circuit", "module" or "system". Further, aspects of the present disclosure may be in the form of a computer program product embodied in one or more computer readable media containing computer readable program code.
Dabei kann eine beliebige Kombination aus einem oder mehreren computerlesbaren Medien genutzt werden. Das computerlesbare Medium kann ein computerlesbares Signalmedium oder ein computerlesbares Speichermedium sein. Ein computerlesbares Speichermedium kann z. B. ein elektronisches, magnetisches, optisches, elektromagnetisches, Infrarot- oder Halbleitersystem bzw. eine entsprechende Vorrichtung oder Einheit oder aber eine beliebige geeignete Kombination der vorgenannten Elemente sein, ohne jedoch auf diese beschränkt zu sein. Konkretere Beispiele des computerlesbaren Speichermediums würden Folgendes aufweisen (wobei dies eine nicht vollständige Liste darstellt): eine elektrische Verbindung mit einem oder mehreren Leitern, eine tragbare Computerdiskette, eine Festplatte, einen Direktzugriffsspeicher (RAM), einen Festwertspeicher (ROM), einen löschbaren, programmierbaren Nur-Lese-Speicher (EPROM- oder Flash-Speicher), einen Lichtwellenleiter, eine tragbare CD-ROM, eine optische Speichereinheit, eine magnetische Speichereinheit oder eine beliebige geeignete Kombination der vorgenannten Elemente. In Verbindung mit diesem Dokument kann ein computerlesbares Speichermedium ein beliebiges physisches Medium sein, das ein Programm enthalten oder speichern kann, welches von oder in Zusammenhang mit einem der Befehlsausführung dienenden System, einer Vorrichtung oder Einheit verwendet wird.Any combination of one or more computer-readable media may be used. The computer readable medium may be a computer readable signal medium or a computer readable storage medium. A computer-readable storage medium may, for. An electronic, Magnetic, optical, electromagnetic, infrared or semiconductor system or a corresponding device or unit or any suitable combination of the aforementioned elements, but without being limited thereto. More concrete examples of the computer-readable storage medium would include (not being an exhaustive list): an electrical connection to one or more conductors, a portable computer diskette, a hard disk, random access memory (RAM), read only memory (ROM), erasable, programmable Read-only memory (EPROM or flash memory), an optical fiber, a portable CD-ROM, an optical storage unit, a magnetic storage unit, or any suitable combination of the foregoing. In connection with this document, a computer-readable storage medium may be any physical medium that can contain or store a program used by or in connection with a command-executing system, device, or device.
Ein computerlesbares Signalmedium kann ein weitergeleitetes computerlesbarem Programmcode enthalten, Datensignal mit darin enthaltenem z. B. als Basisband oder als Teil einer Trägerwelle. Ein derartiges weitergeleitetes Signal kann eine beliebige Vielfalt von unterschiedlichen Formen annehmen, einschließlich, ohne auf diese beschränkt zu sein, eine elektromagnetische Form, eine optische Form oder auch jede geeignete Kombination derselben. Ein computerlesbares Signalmedium kann ein beliebiges computerlesbares Medium sein, das kein computerlesbares Speichermedium ist und das ein Programm übermitteln, weiterleiten oder übertragen kann, welches für die Nutzung durch oder in Verbindung mit einem/einer der Befehlsausführung dienenden System, Vorrichtung oder Einheit vorgesehen ist.A computer readable signal medium may include a forwarded computer readable program code containing data signal with e.g. B. as baseband or as part of a carrier wave. Such a propagated signal may take any of a variety of different forms including, but not limited to, an electromagnetic form, an optical shape, or any suitable combination thereof. A computer readable signal medium may be any computer readable medium that is not a computer readable storage medium and that may transmit, forward, or transmit a program intended for use by or in connection with a command, apparatus, or device.
Auf einem computerlesbaren Medium enthaltener Programmcode kann unter Verwendung eines beliebigen geeigneten Mediums übertragen werden, einschließlich, ohne auf diese beschränkt zu sein, drahtlose, drahtgebundene, Lichtwellenleiterkabel-, Funk- und andere Medien oder eine beliebige Kombination derselben.Program code contained on a computer-readable medium may be transmitted using any suitable medium, including, but not limited to, wireless, wired, fiber optic cable, radio, and other media, or any combination thereof.
Computerprogrammcode für das Ausführen von Arbeitsschritten für Aspekte der vorliegenden Offenbarung kann in einer beliebigen Kombination von einer oder mehreren Programmiersprachen geschrieben sein, darunter eine objektorientierte Programmiersprache wie Java, Smalltalk, C++ oder ähnliche sowie herkömmliche prozedurale Programmiersprachen wie die Programmiersprache „C” oder ähnliche Programmiersprachen. Der Programmcode kann vollständig auf dem Computer des Benutzers, teilweise auf dem Computer des Benutzers, als eigenständiges Softwarepaket, teilweise auf dem Computer des Benutzers und teilweise auf einem entfernt angeordneten Computer oder aber vollständig auf dem entfernt angeordneten Computer oder Server ausgeführt werden. Im letztgenannten Szenario kann der entfernt angeordnete Computer über eine beliebige Art von Netzwerk, darunter ein Nahbereichsnetz (LAN) oder ein Weitverkehrsnetz (WAN), mit dem Computer des Benutzers verbunden sein, oder die Verbindung kann mit einem externen Computer (z. B. über das Internet unter Verwendung eines Internet-Dienstanbieters) hergestellt werden.Computer program code for performing operations for aspects of the present disclosure may be written in any combination of one or more programming languages, including an object-oriented programming language such as Java, Smalltalk, C ++ or similar, as well as conventional procedural programming languages such as the "C" programming language or similar programming languages. The program code may be executed entirely on the user's computer, partially on the user's computer, as a standalone software package, partially on the user's computer and partially on a remote computer, or entirely on the remote computer or server. In the latter scenario, the remote computer may be connected to the user's computer via any type of network, including a local area network (LAN) or a wide area network (WAN), or the connection may be to an external computer (e.g. the Internet using an internet service provider).
Im Folgenden werden Aspekte der vorliegenden Offenbarung unter Bezugnahme auf Darstellungen von Ablaufplänen und/oder Blockschaubilder von Verfahren, Vorrichtungen (Systemen) und Computerprogrammprodukten gemäß Ausführungsformen der Offenbarung beschrieben. Dabei dürfte klar sein, dass jeder Block der Ablaufplan-Darstellungen und/oder Blockschaubilder sowie Kombinationen von Blöcken in den Ablaufplan-Darstellungen und/oder Blockschaubildern durch Computerprogrammbefehle realisiert werden kann/können. Diese Computerprogrammbefehle können einem Prozessor eines Universalcomputers, Spezialcomputers oder einer anderweitigen programmierbaren Datenverarbeitungsvorrichtung bereitgestellt werden, um eine Maschine zu erzeugen, so dass die Befehle, die über den Prozessor des Computers oder der anderweitigen programmierbaren Datenverarbeitungsvorrichtung ausgeführt werden, ein Mittel erzeugen, mit dem die Funktionen/Handlungen realisiert werden können, die in dem Block bzw. den Blöcken des Ablaufplans und/oder Blockschaubilds angegeben sind.Hereinafter, aspects of the present disclosure will be described with reference to flowchart illustrations and / or block diagrams of methods, apparatus (systems), and computer program products according to embodiments of the disclosure. It should be understood that each block of the flowchart illustrations and / or block diagrams, as well as combinations of blocks in the flowchart illustrations and / or block diagrams, can be implemented by computer program instructions. These computer program instructions may be provided to a processor of a general-purpose computer, special purpose computer, or other programmable data processing device to generate a machine such that the instructions executed via the processor of the computer or other programmable data processing device provide a means for communicating the functions / Actions can be realized, which are specified in the block or blocks of the flowchart and / or block diagram.
Diese Computerprogrammbefehle können auch auf einem computerlesbaren Medium gespeichert werden, das einen Computer oder eine anderweitige programmierbare Datenverarbeitungsvorrichtung anweisen kann, auf eine bestimmte Art und Weise zu funktionieren, so dass die auf dem computerlesbaren Medium gespeicherten Befehle einen Gegenstand hervorbringen, der Befehle aufweist, mit denen die die in dem Block bzw. den Blöcken des Ablaufplans und/oder des Blockschaubilds angegebene Funktion/Handlung realisiert wird.These computer program instructions may also be stored on a computer-readable medium that may instruct a computer or other programmable computing device to function in a particular manner so that the instructions stored on the computer-readable medium produce an object having instructions to do so the function / action specified in the block or blocks of the flowchart and / or the block diagram is realized.
Die Computerprogrammbefehle können zudem in einen Computer oder eine anderweitige programmierbare Datenverarbeitungsvorrichtung geladen werden, um zu veranlassen, dass eine Reihe von Betriebsschritten auf dem Computer oder der anderweitigen programmierbaren Datenvorrichtung ausgeführt werden, so dass die Befehle, die auf dem Computer oder der anderweitigen Datenverarbeitungsvorrichtung ausgeführt werden, Prozesse bereitstellen, mit denen die in dem Block bzw. den Blöcken des Ablaufplans und/oder des Blockschaubilds angegebenen Funktionen/Handlungen realisiert werden.The computer program instructions may also be loaded into a computer or other programmable data processing device to cause a series of operations to be performed on the computer or other programmable data device such that the instructions executed on the computer or other data processing device Provide processes to implement the functions / actions specified in the block (s) of the flowchart and / or block diagram.
Bezugnehmend auf die Figuren und insbesondere auf die 1 und 2 werden beispielhafte Darstellungen von Datenverarbeitungsumgebungen bereitgestellt, in denen veranschaulichende Ausführungsformen der vorliegenden Offenbarung realisiert sein können. Dabei sollte klar sein, dass die 1 und 2 lediglich beispielhaft sind und keinerlei Einschränkung mit Blick auf die Umgebungen geltend machen oder implizieren sollen, in denen verschiedene Ausführungsformen realisiert sein können. An den abgebildeten Umgebungen könnten zahlreiche Änderungen vorgenommen werden. Referring to the figures and in particular to the 1 and 2 Exemplary representations of computing environments are provided in which illustrative embodiments of the present disclosure may be practiced. It should be clear that the 1 and 2 are merely exemplary and are not intended to assert or imply any limitation with regard to the environments in which various embodiments may be implemented. Many changes could be made to the environments depicted.
1 eine bildhafte Darstellung eines Netzwerks von Datenverarbeitungssystemen, in dem veranschaulichende Ausführungsformen der vorliegenden Offenbarung realisiert sein können. Ein Netzwerkdatenverarbeitungssystem 100 ist ein Netzwerk von Computern, in dem die veranschaulichenden Ausführungsformen der vorliegenden Offenbarung realisiert sein können. Das Netzwerkdatenverarbeitungssystem 100 enthält ein Netzwerk 130, welches das Medium ist, mit dem Datenübertragungsverbindungen zwischen verschiedenen Einheiten und Computern hergestellt werden, die innerhalb des Netzwerkdatenverarbeitungssystems 100 miteinander verbunden sind. Das Netzwerk 130 kann Verbindungen wie Leitungen, drahtlose Datenübertragungsverbindungen oder Lichtwellenleiter beinhalten. 1 a pictorial representation of a network of data processing systems in which illustrative embodiments of the present disclosure may be implemented. A network data processing system 100 FIG. 10 is a network of computers in which the illustrative embodiments of the present disclosure may be practiced. The network data processing system 100 contains a network 130 , which is the medium used to make data communications connections between various units and computers within the network data processing system 100 connected to each other. The network 130 may include connections such as lines, wireless data transmission links, or fiber optic cables.
Bei manchen Ausführungsformen sind neben einem Datenspeicher 160 auch ein Server 140 und ein Server 150 mit dem Netzwerk 130 verbunden. Der Server 140 und der Server 150 können z. B. IBM System p® Server sein. Zudem können Clients 110 und 120 mit dem Netzwerk 130 verbunden sein. Die Clients 110 und 120 können z. B. Personal Computer oder Netzwerkcomputer sein. In dem abgebildeten Beispiel stellt der Server 140 den Clients 110 und 120 Daten und/oder Dienstleistungen bereit, darunter – ohne darauf beschränkt zu sein – Datendateien, Betriebssystemabbilder und Anwendungen. Das Netzwerkdatenverarbeitungssystem 100 kann zusätzliche Server, Clients und andere Einheiten beinhalten.In some embodiments, besides a data memory 160 also a server 140 and a server 150 with the network 130 connected. The server 140 and the server 150 can z. B. IBM System p ® server. In addition, clients can 110 and 120 with the network 130 be connected. The clients 110 and 120 can z. B. personal computer or network computer. In the example shown, the server issues 140 the clients 110 and 120 Data and / or services including, but not limited to, data files, operating system images, and applications. The network data processing system 100 may include additional servers, clients, and other devices.
In dem abgebildeten Beispiel ist das Netzwerkdatenverarbeitungssystem 100 das Internet, wobei das Netzwerk 130 für eine weltweite Zusammenstellung von Netzwerken und Gateways steht, welche die TCP/IP-Protokollfamilie (Transmission Control Protocol/Internet Protocol) nutzen, um untereinander Daten auszutauschen. Der Kern des Internet ist ein Hauptnetzwerk von Hochgeschwindigkeits-Datenübertragungsleitungen zwischen wichtigen Knoten oder Host-Computern, das aus Tausenden von Computersystemen gewerblicher Unternehmen, Behörden, Bildungseinrichtungen und anderen Computersystemen besteht, die Daten und Nachrichten weiterleiten. Selbstverständlich kann das Netzwerkdatenverarbeitungssystem 100 auch als eine Anzahl verschiedener Arten von Netzwerken realisiert sein, wie z. B. ein Intranet, ein Nahbereichsnetz (LAN), ein Weitverkehrsnetz (WAN). 1 ist als Beispiel und nicht als architektonische Beschränkung der verschiedenen veranschaulichenden Ausführungsformen gedacht.In the example shown, the network data processing system 100 the internet, being the network 130 is a worldwide compilation of networks and gateways that use the TCP / IP (Transmission Control Protocol / Internet Protocol) protocol family to exchange data with each other. The core of the Internet is a main network of high-speed data transmission lines between major nodes or host computers, consisting of thousands of computer systems of commercial enterprises, government agencies, educational institutions and other computer systems that route data and messages. Of course, the network data processing system 100 be realized as a number of different types of networks, such. An intranet, a local area network (LAN), a wide area network (WAN). 1 is intended as an example and not as an architectural limitation of the various illustrative embodiments.
2 ist eine Ausführungsform eines Datenverarbeitungssystems 200 wie z. B., ohne darauf beschränkt zu sein, des Clients 110 und/oder Servers 140, in dem eine Ausführungsform eines Systems für eine dynamische Erzeugung von Augmented-Reality-Medien gemäß der vorliegenden Offenbarung realisiert sein kann. Bei dieser Ausführungsform beinhaltet das Datenverarbeitungssystem 200 eine Bus- oder Datenübertragungsstruktur 202, welche die Datenübertragung zwischen einer Prozessoreinheit 204, einem Arbeitsspeicher 206, einem permanenten Speicher 208, einer Datenübertragungseinheit 210, einer Ein-/Ausgabe-Einheit (E/A-Einheit) 212 und einer Anzeige 214 bereitstellt. 2 is an embodiment of a data processing system 200 such as For example, but not limited to, the client 110 and / or servers 140 in which an embodiment of a system for dynamically generating augmented reality media according to the present disclosure may be implemented. In this embodiment, the data processing system includes 200 a bus or data transfer structure 202 which transmits data between a processor unit 204 , a working memory 206 , a permanent memory 208 , a data transmission unit 210 , an input / output unit (I / O unit) 212 and an ad 214 provides.
Die Prozessoreinheit 204 dient zum Ausführen von Befehlen für Software, die in den Arbeitsspeicher 206 geladen werden kann. Die Prozessoreinheit 204 kann ein Satz aus einem oder mehreren Prozessoren oder ein Mehrprozessorkern sein, wobei dies abhängig von der jeweiligen Realisierung ist. Des Weiteren kann die Prozessoreinheit 204 unter Verwendung eines oder mehrerer heterogener Prozessorsysteme realisiert sein, bei denen auf einem einzigen Chip ein Hauptprozessor mit sekundären Prozessoren vorhanden ist. In einem weiteren veranschaulichenden Beispiel kann die Prozessoreinheit 204 ein symmetrisches Mehrprozessorsystem sein, das mehrere Prozessoren desselben Typs beinhaltet.The processor unit 204 is used to execute commands for software that is in memory 206 can be loaded. The processor unit 204 may be a set of one or more processors or a multiprocessor core, depending on the particular implementation. Furthermore, the processor unit 204 be implemented using one or more heterogeneous processor systems in which a main processor with secondary processors is present on a single chip. In a further illustrative example, the processor unit 204 a symmetric multiprocessor system that includes multiple processors of the same type.
Bei anderen Ausführungsformen kann der Arbeitsspeicher 206 ein Direktzugriffsspeicher oder eine beliebige anderweitige geeignete, flüchtige oder nichtflüchtige Speichereinheit sein. Der permanente Speicher 208 kann je nach Realisierung verschiedene Formen annehmen. So kann der permanente Speicher 208 z. B. eine oder mehrere Komponenten oder Einheiten beinhalten. Der permanente Speicher 208 kann eine Festplatte, ein Flash-Speicher, eine wiederbeschreibbare optische Platte, ein wiederbeschreibbares Magnetband oder eine beliebige Kombination der genannten Komponenten sein. Die von dem permanenten Speicher 208 verwendeten Medien können auch entfernbar sein, darunter, ohne darauf beschränkt zu sein, eine entfernbare Festplatte.In other embodiments, the memory may 206 be a random access memory or any other suitable volatile or non-volatile storage device. The permanent storage 208 can take different forms depending on the realization. So can the permanent memory 208 z. B. include one or more components or units. The permanent storage 208 may be a hard disk, a flash memory, a rewritable optical disk, a rewritable magnetic tape or any combination of said components. The of the permanent memory 208 The media used may also be removable, including, but not limited to, a removable hard drive.
Die Datenübertragungseinheit 210 stellt die Datenübertragung mit anderen Datenverarbeitungssystemen oder -einheiten bereit. In diesen Beispielen ist die Datenübertragungseinheit 210 eine Netzwerkschnittstellenkarte. Modems, Kabelmodems und Ethernet-Karten sind nur einige der momentan verfügbaren Typen von Netzwerkschnittstellenadaptern. Die Datenübertragungseinheit 210 kann die Datenübertragung entweder über physische oder drahtlose Datenübertragungsverbindungen oder aber über beides bereitstellen.The data transmission unit 210 provides data transfer with other data processing systems or units. In these examples, the data transmission unit 210 a network interface card. Modems, cable modems and Ethernet cards are just a few of the currently available types of network interface adapters. The data transmission unit 210 can provide data transmission over either physical or wireless communication links or both.
Die Ein-/Ausgabe-Einheit 212 ermöglicht die Ein- und Ausgabe von Daten mit Blick auf andere Einheiten, die mit dem Datenverarbeitungssystem 200 verbunden sein können. So kann bei manchen Ausführungsformen die Ein-/Ausgabe-Einheit 212 eine Verbindung für eine Benutzereingabe über eine Tastatur und Maus bereitstellen. Des Weiteren kann die Ein-/Ausgabe-Einheit 212 eine Ausgabe an einen Drucker senden. Die Anzeige 214 stellt einen Mechanismus zum Anzeigen von Daten für einen Benutzer bereit.The input / output unit 212 enables the input and output of data with a view to other units connected to the data processing system 200 can be connected. Thus, in some embodiments, the input / output unit 212 provide a connection for user input via a keyboard and mouse. Furthermore, the input / output unit 212 send an output to a printer. The ad 214 provides a mechanism for displaying data to a user.
Befehle für das Betriebssystem und Anwendungen oder Programme befinden sich im permanenten Speicher 208. Diese Befehle können zur Ausführung durch die Prozessoreinheit 204 in den Arbeitsspeicher 206 geladen werden. Die Prozesse der verschiedenen Ausführungsformen können durch die Prozessoreinheit 204 unter Verwendung computerrealisierter Befehle ausgeführt werden, die sich in einem Arbeitsspeicher wie z. B. dem Arbeitsspeicher 206 befinden können. Diese Befehle werden als Programmcode, computernutzbarer Programmcode oder computerlesbarer Programmcode bezeichnet, der durch einen Prozessor in der Prozessoreinheit 204 gelesen und ausgeführt werden kann. Der Programmcode in den verschiedenen Ausführungsformen kann auf verschiedenen physischen oder greifbaren computerlesbaren Medien wie z. B. im Arbeitsspeicher 206 oder im permanenten Speicher 208 enthalten sein.Commands for the operating system and applications or programs reside in persistent storage 208 , These instructions may be for execution by the processor unit 204 in the main memory 206 getting charged. The processes of the various embodiments may be performed by the processor unit 204 be executed using computer-implemented instructions that reside in a working memory such. B. the memory 206 can be located. These commands are referred to as program code, computer usable program code or computer readable program code generated by a processor in the processor unit 204 can be read and executed. The program code in the various embodiments may be stored on different physical or tangible computer-readable media, such as a computer. B. in memory 206 or in permanent storage 208 be included.
Ein Programmcode 216 befindet sich in einer funktionalen Form auf einem computerlesbaren Medium 218, das wahlweise entfernbar ist, und kann in das Datenverarbeitungssystem 200 geladen bzw. auf dieses übertragen werden, um durch die Prozessoreinheit 204 ausgeführt zu werden. Der Programmcode 216 und die computerlesbaren Medien 218 bilden in diesen Beispielen ein Computerprogrammprodukt 220. In einem Beispiel können die computerlesbaren Medien 218 in einer physischen Form vorliegen, z. B. als eine optische oder magnetische Platte, die für die Übertragung an eine Speichereinheit wie z. B. eine Festplatte, die Teil des permanenten Speichers 208 ist, in ein Laufwerk oder eine andere Einheit geschoben oder gelegt wird, das/die Teil des permanenten Speichers 208 ist. In einer physischen Form können die computerlesbaren Medien 218 auch die Form eines permanenten Speichers annehmen, z. B. einer Festplatte, eines USB-Sticks oder eines Flash-Speichers, die/der mit einem Datenverarbeitungssystem 200 verbunden ist. Die physische Form von computerlesbaren Medien 218 wird auch als ein computeraufzeichnungsfähiges Speichermedium bezeichnet. In manchen Fällen kann ein computeraufzeichnungsfähiges Medium 218 nicht entfernbar sein.A program code 216 is in a functional form on a computer readable medium 218 which is selectively removable, and may be in the data processing system 200 loaded or transferred to the processor unit 204 to be executed. The program code 216 and the computer-readable media 218 form a computer program product in these examples 220 , In one example, the computer readable media 218 in a physical form, e.g. B. as an optical or magnetic disk, which is suitable for transmission to a storage unit such. For example, a hard disk that is part of the permanent memory 208 is pushed or placed in a drive or other device that is part of the permanent memory 208 is. In a physical form, the computer-readable media 218 take the form of a permanent memory, for. As a hard drive, a USB stick or a flash memory, the / with a data processing system 200 connected is. The physical form of computer-readable media 218 is also referred to as a computer-recordable storage medium. In some cases, a computer recordable medium 218 not removable.
Alternativ kann der Programmcode 216 über eine Datenübertragungsverbindung mit der Datenübertragungseinheit 210 und/oder über eine Verbindung mit der Ein-/Ausgabe-Einheit 212 von dem computerlesbaren Medium 218 an das Datenverarbeitungssystem 200 übertragen werden. In den veranschaulichenden Beispielen können die Datenübertragungsverbindung und/oder die Verbindung in physischer Form oder drahtlos vorliegen.Alternatively, the program code 216 via a data transmission connection with the data transmission unit 210 and / or via a connection to the input / output unit 212 from the computer readable medium 218 to the data processing system 200 be transmitted. In the illustrative examples, the communication link and / or the connection may be in physical form or wirelessly.
Die verschiedenen für das Datenverarbeitungssystem 200 veranschaulichten Komponenten sind nicht als architektonische Beschränkung der Art und Weise zu verstehen, wie verschiedene Ausführungsformen realisiert sein könnten. Die verschiedenen veranschaulichenden Ausführungsformen können in einem Datenverarbeitungssystem realisiert sein, das Komponenten zusätzlich zu den bzw. anstelle der für das Datenverarbeitungssystem 200 veranschaulichten Komponenten enthält. Andere in 2 gezeigte Komponenten können von den in den veranschaulichten Beispielen gezeigten Komponenten abweichen. So ist z. B. eine Speichereinheit in dem Datenverarbeitungssystem 200 eine beliebige Hardware-Vorrichtung, die Daten speichern kann. Der Arbeitsspeicher 206, der permanente Speicher 208 und das computerlesbare Medium 218 sind Beispiele von Speichereinheiten, die in einer physischen Form vorliegen.The different for the data processing system 200 Illustrated components are not to be understood as an architectural limitation of the manner in which various embodiments could be implemented. The various illustrative embodiments may be implemented in a data processing system that includes components in addition to or instead of those for the data processing system 200 contains illustrated components. Others in 2 Components shown may differ from the components shown in the illustrated examples. So z. B. a storage unit in the data processing system 200 any hardware device that can store data. The working memory 206 , the permanent memory 208 and the computer readable medium 218 are examples of storage units that exist in a physical form.
3 ist eine veranschaulichende Ausführungsform eines Systems 300 für eine dynamische Erzeugung von Augmented-Reality-Medien. Ein System 300 kann in Datenverarbeitungssystemen oder -plattformen wie z. B., ohne darauf beschränkt zu sein, den Clients 110 und/oder 120, dem System 200 oder an anderen Stellen von Datenverarbeitungssystemen realisiert sein. Bei der in 3 veranschaulichten Ausführungsform weist das System 300 eine Augmented-Reality-Einheit 302 und ein Augmented-Reality-System 304 auf. Die Augmented-Reality-Einheit 302 kann eine beliebige Art von Einheit zum Empfangen/Analysieren von Realitätsinhalt (Echtweltdaten wie z. B. visuelle, Ton- und/oder andere Arten von in der realen Welt wahrnehmbaren Informationen) und zum Erzeugen/Anzeigen von Erweiterungsdaten (z. B. Virtual-Reality-Daten) in Verbindung mit dem Realitätsinhalt aufweisen. So kann die Augmented-Reality-Einheit 302 z. B., ohne darauf beschränkt zu sein, eine Sprechgarnitur, Brillen/Spezialbrillen, ein Smartphone, einen Tablet-Computer, eine mobile Einheit oder eine andere Art von Einheit aufweisen, die in der Lage ist, erweiterten Inhalt in Verbindung mit visuellem Echtweltinhalt anzuzeigen. Das Augmented-Reality-System 304 kann eine beliebige Art von Datenverarbeitungs- und/oder Serversystem (z. B. entfernt von Einheit 302) aufweisen, das Erweiterungsdaten 306 zum Erweitern von Realitätsinhalt auf der Einheit 302 bereitstellt. Die Erweiterungsdaten 306 können Klang-, Text-, Grafikinhalts-, Videoinhalts- und/oder globale Positionsbestimmungsdaten (Global Positioning System, GPS) beinhalten, ohne auf diese beschränkt zu sein. Bei manchen Ausführungsformen können die Erweiterungsdaten 306 z. B. in Echtzeit als kontinuierlicher Datenstrom über ein Datenübertragungsnetzwerk 308 an die Einheit 302 übertragen werden, wobei dies auf der Grundlage von Realitätsinhalt erfolgt, der von der Einheit 302 wahrgenommen/erkannt wird. 3 is an illustrative embodiment of a system 300 for a dynamic generation of augmented reality media. A system 300 may be used in data processing systems or platforms such as: For example, but not limited to, the clients 110 and or 120 , the system 200 or realized at other points of data processing systems. At the in 3 illustrated embodiment, the system 300 an augmented reality unit 302 and an augmented reality system 304 on. The augmented reality unit 302 may be any type of entity for receiving / analyzing reality content (real world data such as visual, audio, and / or other types of real-world information) and for generating / displaying extension data (eg, virtual reality). Reality data) in connection with the reality content. So can the augmented reality unit 302 z. For example, but not limited to, a headset, goggles, smart phone, tablet computer, mobile device, or other type of device capable of displaying enhanced content in conjunction with real-world visual content. The Augmented reality system 304 can be any type of data processing and / or server system (eg remote from unit 302 ), the extension data 306 to expand reality content on the device 302 provides. The extension data 306 may include, but is not limited to, sound, text, graphics content, video content, and / or Global Positioning System (GPS) data. In some embodiments, the extension data 306 z. In real time as a continuous stream of data over a communications network 308 to the unit 302 This is done on the basis of reality content, which is derived from the unit 302 is perceived / recognized.
In 3 beinhaltet die Einheit 302 eine Prozessoreinheit 312, eine Bildgebungseinheit 314, einen Sendeempfänger 316, eine Anzeigeeinheit 318, einen Lautsprecher 319, einen oder mehrere Sensoren 320 und einen Arbeitsspeicher 322. Die Bildgebungseinheit 314 kann eine beliebige Art von Einheit zum Empfangen von Realitätsinhalt sein (z. B. eine Kamera). Der Sendeempfänger 316 ist imstande, eine drahtlose Datenübertragung zwischen der Einheit 302 und einer anderen Entität/Quelle wie z. B., ohne darauf beschränkt zu sein, dem Augmented-Reality-System 304, einem System für die telefonische Datenübertragung, einem Personal-Computer-System, einem GPS-Netz, usw. zu ermöglichen. Die Anzeigeeinheit 318 kann eine beliebige Art von Einheit aufweisen, die in der Lage ist, die Anzeige/Vorlage von Realitätsinhalt und/oder Augmented-Reality-Inhalt zu ermöglichen (d. h. von Realitätsinhalt, der mit Erweiterungsdaten/-inhalt erweitert ist). Die Anzeigeeinheit 318 kann eine Flüssigkristallanzeige-Einheit (Liquid Crystal Display LCD) oder eine Bildprojektionseinheit (z. B. zum Projizieren von Erweiterungsinhalt/-daten auf einen Bildschirm, eine Brillen-/Spezialbrillenlinse und/oder zum anderweitigen Anzeigen von Erweiterungsinhalt (allein oder in Verbindung mit Realitätsinhalt) innerhalb des Sichtfelds eines Benutzers der Einheit 302) aufweisen. Bei dem/den Sensor(en) 320 kann es sich um jede beliebige Art von Sensor zum Erkennen von Umweltbedingungen bezüglich der Einheit 302 handeln, z. B., ohne darauf beschränkt zu sein, um Richtungs-, Bewegungs-, GPS-Daten/-Signale usw.In 3 includes the unit 302 a processor unit 312 , an imaging unit 314 , a transceiver 316 , a display unit 318 , a speaker 319 , one or more sensors 320 and a memory 322 , The imaging unit 314 may be any type of entity for receiving reality content (eg, a camera). The transceiver 316 is capable of wireless data transmission between the unit 302 and another entity / source such as For example, but not limited to, the augmented reality system 304 to provide a system for telephone communication, a personal computer system, a GPS network, etc. The display unit 318 may include any type of entity capable of enabling display / presentation of reality content and / or augmented reality content (ie, of reality content augmented with enhancement data / content). The display unit 318 For example, a liquid crystal display (LCD) unit or an image projection unit (eg, for projecting extension content / data onto a screen, spectacle / special lens, and / or otherwise displaying extension content (alone or in conjunction with reality content ) within the field of view of a user of the unit 302 ) exhibit. At the sensor (s) 320 may be any type of sensor for detecting environmental conditions related to the unit 302 act, z. For example, but not limited to, direction, motion, GPS data / signals, etc.
Bei der Ausführungsform aus 3 beinhaltet der Arbeitsspeicher 322 ein Erweiterungsmodul 330, ein Erfassungsmodul 332, ein Datenübertragungsmodul 334, eine Wiedergabeeinheit 336 und einen Bildpufferspeicher 338. Das Erweiterungsmodul 330 ist so konfiguriert, dass es Realitätsinhalt 340, der von einer Einheit erkannt/empfangen wird (z. B. Realitäts- oder Echtweltbilddaten, die über die Bildgebungseinheit 314 erhalten wurden, oder eine andere Art von Echtweltdaten, die von anderen Arten von Einheiten erhalten wurden, wie beispielsweise Echtwelt-Audioinhalt) analysiert, Erweiterungsdaten 342 ermittelt, anfordert und/oder identifiziert, um Realitätsinhalt 340 zu erweitern und Augmented-Reality-Inhalt 344 zu erzeugen/anzuzeigen. Der Augmented-Reality-Inhalt 344 kann eine kombinierte Vorlage von erweitertem Inhalt bereitstellen (indem z. B. die Erweiterungsdaten 342 mit dem Realitätsinhalt 340 kombiniert werden und der kombinierte Inhalt vorgelegt/angezeigt wird (z. B. auf der Anzeigeeinheit 318, indem die Erweiterungsdaten 342 in einem Sichtfeld eines Benutzers so angezeigt/projiziert/überlagert werden, dass die Erweiterungsdaten 342 dem Benutzer in Kombination mit Echtweltinhalt, der von dem Benutzer wahrgenommen wird, vorgelegt werden, indem die Erweiterungsdaten 342 in Form von Audioinhalt über den Lautsprecher 319 oder eine andere Audiokomponente dargeboten werden, usw.)). Das Erfassungsmodul 332 ist so konfiguriert, dass es den Augmented-Reality-Inhalt 344 als Reaktion auf gewünschte Kriterien eines Benutzers erfasst/aufzeichnet. Das Datenübertragungsmodul 334 ist so konfiguriert, dass es eine Datenübertragung (z. B. drahtgebunden und/oder drahtlos) zwischen der Einheit 301 und einem anderen System/einer anderen Einheit ermöglicht (z. B. dem Augmented-Reality-System 304, einem telefonischen Datenübertragungssystem usw.). Die Wiedergabeeinheit 336 ist so konfiguriert, dass sie Bildinhalt wiedergibt (z. B. Video- und/oder Standbild-/Bildschirmauszugsdaten). Das Erweiterungsmodul 330, das Erfassungsmodul 332, das Datenübertragungsmodul 334 und/oder die Wiedergabeeinheit 336 können unter Verwendung bekannter Methoden, die auf Hardware, auf Software oder auf einer wie auch immer gearteten Kombination hiervon beruhen können, auf eine beliebige geeignete Art und Weise realisiert sein. Das Erweiterungsmodul 330, das Erfassungsmodul 332, das Datenübertragungsmodul 334 und/oder die Wiedergabeeinheit 336 können z. B. Software, Logik und/oder ausführbaren Code zum Durchführen verschiedener hier beschriebener Funktionen aufweisen (z. B. bereitgestellt als Software und/oder als ein Algorithmus, die/der auf einer Prozessoreinheit läuft, als Hardware-Logik, die in einem Prozessor oder einer anderen Art von Logik-Chip angeordnet ist, welcher in einer Schaltung zentral gebündelt oder aber auf mehrere unterschiedliche Chips in einem Datenverarbeitungssystem verteilt ist).In the embodiment of 3 includes the working memory 322 an expansion module 330 , a detection module 332 , a data transfer module 334 , a playback unit 336 and a frame buffer 338 , The expansion module 330 is configured to be reality content 340 which is recognized / received by a unit (eg, real or real world image data transmitted via the imaging unit 314 or other type of real-world data obtained from other types of devices, such as real-world audio content) analyzes extension data 342 determines, requests and / or identifies to reality content 340 expand and augmented reality content 344 to generate / display. The augmented reality content 344 can provide a combined template of extended content (such as the extension data 342 with the reality content 340 combined and presented / displayed the combined content (eg on the display unit 318 by adding the extension data 342 to be displayed / projected / overlaid in a user's field of view such that the extension data 342 presented to the user in combination with real world content perceived by the user by the extension data 342 in the form of audio content through the speaker 319 or another audio component, etc.)). The acquisition module 332 is configured to have the augmented reality content 344 recorded / recorded in response to user's desired criteria. The data transfer module 334 is configured to allow a data transfer (eg, wired and / or wireless) between the unit 301 and another system / unit (e.g., augmented reality system 304 , a telephone data transmission system, etc.). The playback unit 336 is configured to render image content (such as video and / or still / screen digest data). The expansion module 330 , the acquisition module 332 , the data transfer module 334 and / or the playback unit 336 may be implemented in any suitable manner using known methods that may be hardware, software, or any combination thereof. The expansion module 330 , the acquisition module 332 , the data transfer module 334 and / or the playback unit 336 can z. For example, software, logic, and / or executable code for performing various functions described herein (eg, provided as software and / or as an algorithm running on a processor unit, as hardware logic included in a processor or software) a different type of logic chip is arranged, which is centrally bundled in a circuit or distributed to several different chips in a data processing system).
In der in 3 veranschaulichten Ausführungsform enthält auch der Arbeitsspeicher 322 Konfigurationserfassungsdaten 350. Die Konfigurationserfassungsdaten 350 weisen Daten auf, die den gewünschten Kriterien eines Benutzers für das Erfassen/Aufzeichnen des Augmented-Reality-Inhalts 344 in Echtzeit (oder nahezu in Echtzeit) zugehörig sind. In der veranschaulichten Ausführungsform beinhalten die Konfigurationserfassungsdaten 350 z. B. Ereigniserfassungskriterien 352, die bestimmte Ereignisse angeben, bei deren Eintreten oder erwartetem Eintreten das Erfassungsmodul 332 den Augmented-Reality-Inhalt 344 automatisch erfasst/aufzeichnet und derartigen Inhalt als erfassten Augmented-Reality-Inhalt 360 speichert. Der erfasste Augmented-Reality-Inhalt 360 kann in Gestalt einer Videosequenz mit einer festgelegten/vorgegebenen Dauer (z. B. ein erweitertes Video 362, das visuelle und/oder Audiokomponenten enthalten kann), in Gestalt von Bildschnappschüssen/Bildschirmauszügen (z. B. erweiterte Bilder 364) oder anderer Arten von Dateninhalt (z. B. Audioinhalt) vorliegen. Die Kriterien 352 können Echtweltinhalt (z. B. Erleben eines bestimmten Ereignisses wie beispielsweise ein Antreffen einer bestimmten Person, Feststellen eines Lieblingsbuchs, Feststellen eines Straßennamens, Feststellen eines Restaurantnamens, Empfangen eines Telefonanrufs usw.), erweitertem Inhalt (z. B. der Vorlage von Erweiterungsdaten 342 in Gestalt einer Telefonnummer, eines Bilds einer Person (z. B. eines Telefonanrufers), von GPS-Koordinaten, anderer Buchtitel mit einem festgestellten Namen eines Autors usw.) und/oder dem Augmented-Reality-Inhalt 344 entsprechen (z. B. der Kombination von Echtweltinhalt und Erweiterungsinhalt, die vordefinierte Kriterien erfüllt, wie beispielsweise Echtweltinhalt eines Fotos eines Musikers in Kombination mit erweiterten Daten in Gestalt einer Tonsequenz eines Musikstückes, das durch einen derartigen Musiker aufgeführt wird). Bei manchen Ausführungsformen ist das Erfassungsmodul 332 so konfiguriert, dass es eine Schnittstelle mit dem Erweiterungsmodul 330 aufweist, um festzustellen, ob der Realitätsinhalt 340, die Erweiterungsdaten 342 und/oder der Augmented-Reality-Inhalt 344 die Kriterien 352 erfüllt (oder voraussichtlich erfüllen wird). Als Reaktion darauf, dass der Realitätsinhalt 340, die Erweiterungsdaten 342 und/oder der Augmented-Reality-Inhalt 344 die Kriterien 352 erfüllt (oder voraussichtlich erfüllen wird), erfasst das Erweiterungsmodul 332 den Augmented-Reality-Inhalt 344 automatisch bzw. zeichnet ihn automatisch auf (d. h. ohne weiteren Benutzereingriff) und speichert den derart erfassten Inhalt als erfassten Augmented-Reality-Inhalt 360.In the in 3 illustrated embodiment also includes the working memory 322 Configuration Capture Data 350 , The configuration acquisition data 350 have data corresponding to the user's desired criteria for capturing / recording the augmented reality content 344 in real time (or near real time). In the illustrated embodiment, the configuration detection data includes 350 z. B. event detection criteria 352 indicating specific events when they occur or are expected Enter the acquisition module 332 the augmented reality content 344 automatically captures / records such content as captured augmented reality content 360 stores. The captured augmented reality content 360 may take the form of a video sequence of a predetermined duration (eg, an expanded video 362 , which can contain visual and / or audio components), in the form of image snapshots / screen excerpts (eg extended images 364 ) or other types of data content (eg, audio content). The criteria 352 For example, real-world content (e.g., experiencing a particular event such as encountering a particular person, finding a favorite book, identifying a street name, identifying a restaurant name, receiving a phone call, etc.), extended content (e.g., presentation of extension data 342 in the form of a telephone number, an image of a person (eg a telephone caller), GPS coordinates, other book titles with a recognized name of an author, etc.) and / or augmented reality content 344 correspond (eg, the combination of true world content and extension content that meets predefined criteria, such as true world content of a photo of a musician in combination with extended data in the form of a sound sequence of a piece of music performed by such a musician). In some embodiments, the acquisition module is 332 configured so that it interfaces with the expansion module 330 has to determine if the reality content 340 , the extension data 342 and / or the augmented reality content 344 the criteria 352 fulfilled (or expected to be fulfilled). In response to that, the reality content 340 , the extension data 342 and / or the augmented reality content 344 the criteria 352 meets (or is expected to meet) the expansion module detects 332 the augmented reality content 344 automatically or records it automatically (ie without further user intervention) and stores the content thus detected as captured augmented reality content 360 ,
Zur Veranschaulichung soll ein Beispiel dienen, in dem ein Benutzer der Einheit 302 eine Straße entlanggeht und ein Restauranthinweisschild sieht. Das Erweiterungsmodul 330 analysiert den Realitätsinhalt 340, der dem Bildinhalt zugehörig ist, welcher über die Bildgebungseinheit 314 erkannt/empfangen wurde und dem gesehenen Restauranthinweisschild entspricht, und ermittelt die Erweiterungsdaten 342 bzw. greift auf diese zu, um die einem derartigem Restaurant zugehörigen Erweiterungsdaten 342/306 anzuzeigen. Die Erweiterungsdaten 342/306 können Daten enthalten, die lokal auf der Einheit 302 gespeichert sind und/oder die von einer externen Quelle (z. B. dem Augmented-Reality-System 304) abgerufen werden. In diesem Beispiel können die Erweiterungsdaten 342/306 eine Adresse des Restaurants, die Küche des Restaurants, eine Telefonnummer des Restaurants usw. enthalten. Die Kriterien 352 können angeben, dass als Reaktion auf das Feststellen, dass ein Restaurant eine bestimmte Küche pflegt, das Erfassungsmodul 332 automatisch den Augmented-Reality-Inhalt 344 erfassen/aufzeichnen soll, der einem derartigen Restaurant zugehörig ist. In diesem Beispiel kann der erfasste Augmented-Reality-Inhalt 360 ein erweitertes Bild 364 aufweisen, das ein Bild einer Außenansicht des Restaurants zusammen mit den Erweiterungsdaten 342/306 zeigt, die eine Telefonnummer und/oder GPS-Koordinaten des Restaurants angeben. Der erfasste Augmented-Reality-Inhalt 360 kann zu einem späteren Zeitpunkt wiedergegeben werden, auf einen entfernt angeordneten Server hochgeladen werden, auf eine andere Einheit heruntergeladen werden usw.By way of illustration, let us consider an example in which a user of the unit 302 Walk down a street and see a restaurant sign. The expansion module 330 analyzes the reality content 340 which is associated with the image content, which is transmitted via the imaging unit 314 has been detected / received and corresponds to the restaurant information sign seen, and determines the extension data 342 or accesses them, the expansion data associated with such a restaurant 342 / 306 display. The extension data 342 / 306 may contain data that is local to the unit 302 are stored and / or that from an external source (eg the augmented reality system 304 ). In this example, the extension data 342 / 306 an address of the restaurant, the kitchen of the restaurant, a telephone number of the restaurant, etc. included. The criteria 352 may indicate that the acquisition module is responding to the finding that a restaurant has a particular kitchen 332 automatically the augmented reality content 344 should record / record associated with such a restaurant. In this example, the captured augmented reality content may be 360 an extended picture 364 which has a picture of an exterior of the restaurant along with the extension data 342 / 306 indicating a telephone number and / or GPS coordinates of the restaurant. The captured augmented reality content 360 can be played back later, uploaded to a remote server, downloaded to another unit, and so on.
Bei manchen Ausführungsformen erfasst das Erfassungsmodul 332 den Augmented-Reality-Inhalt 344 bzw. zeichnet ihn auf, bevor es ihn einem Benutzer der Einheit 302 anzeigt/vorlegt. So kann bei manchen Ausführungsformen das Erfassungsmodul 332 eine Schnittstelle mit der Wiedergabeeinheit 336 und/oder dem Bildpufferspeicher 338 aufweisen, um den Augmented-Reality-Inhalt 344 vor dessen Anzeige/Vorlage zu erfassen (z. B. vor dessen Vorlage auf der Anzeigeeinheit 318). Somit kann das Erfassungsmodul 332 ein Aufzeichnen/Erfassen des Augmented-Reality-Inhalts 344 einleiten, bevor einem Benutzer einer Einheit ein derartiger Augmented-Reality-Inhalt 344 vorgelegt wird, und dadurch die Erfassung von derartigem Inhalt sicherstellen (die andernfalls womöglich verpasst werden könnte, wenn die Erfassung als Reaktion darauf, dass der Benutzer den Augmented-Reality-Inhalt 344 sieht, von Hand eingeleitet werden muss).In some embodiments, the acquisition module detects 332 the augmented reality content 344 or record him before it becomes a user of the unit 302 displays / presents. Thus, in some embodiments, the acquisition module 332 an interface with the playback unit 336 and / or the frame buffer 338 exhibit the augmented reality content 344 before its display / template (eg before its presentation on the display unit 318 ). Thus, the acquisition module 332 a record / capture of augmented reality content 344 initiate prior to a user of a device such augmented reality content 344 thereby ensuring the detection of such content (which could otherwise possibly be missed if the capture in response to the user viewing the augmented reality content 344 sees, must be initiated by hand).
Bei manchen Ausführungsformen enthält die Einheit 302 eine Schnittstelle 370, mit der ein Benutzer Erfassungskonfigurationsdaten 350 in die Einheit 302 eingeben kann. So kann die Schnittstelle 370 z. B. eine drahtlose Schnittstelle 370 aufweisen, mit der ein Benutzer die Erfassungskonfigurationsdaten 350 drahtlos eingeben/speichern/bearbeiten kann. Die Schnittstelle 370 kann einem Benutzer der Einheit 302 ermöglichen, Erfassungskonfigurationsdaten 350 von einer anderen drahtlosen Einheit einzugeben (wie z. B. von einem Mobiltelefon). Die Schnittstelle 370 kann auch eine nichtdrahtlose Eingabe der Konfigurationserfassungsdaten 350 unterstützen. Dabei kann die Schnittstelle 370 unter Verwendung bekannter Methoden, die auf Hardware, auf Software oder auf einer wie auch immer gearteten Kombination hiervon beruhen können, auf eine beliebige geeignete Art und Weise realisiert sein. So kann die Schnittstelle 370 z. B. Software, Logik und/oder ausführbaren Code zum Durchführen verschiedener hier beschriebener Funktionen aufweisen (z. B. bereitgestellt als Software und/oder als ein Algorithmus, die/der auf einer Prozessoreinheit läuft, als Hardware-Logik, die in einem Prozessor oder einer anderen Art von Logik-Chip angeordnet ist, der in einer Schaltung zentral gebündelt oder aber auf mehrere unterschiedliche Chips in einem Datenverarbeitungssystem verteilt ist).In some embodiments, the unit includes 302 an interface 370 with which a user captures configuration data 350 in the unit 302 can enter. So can the interface 370 z. B. a wireless interface 370 a user uses the acquisition configuration data 350 can enter / save / edit wirelessly. the interface 370 can be a user of the unit 302 enable collection configuration data 350 from another wireless device (such as a mobile phone). the interface 370 may also be a non-wireless input of the configuration acquisition data 350 support. The interface can be 370 may be implemented in any suitable manner using known methods that may be hardware, software, or any combination thereof. So can the interface 370 z. For example, software, logic, and / or executable code for performing various functions described herein (eg, provided as software and / or as one Algorithm running on a processor unit as hardware logic located in a processor or other type of logic chip centrally bundled in a circuit or distributed among several different chips in a data processing system).
Bei manchen Ausführungsformen ist das Erfassungsmodul 332 so konfiguriert, dass es das Erfassen/Aufzeichnen des Augmented-Reality-Inhalts 344 in getrennten Teilprozessen auslöst. So kann das Erfassungsmodul 332 in manchen Ausführungsformen z. B. so konfiguriert sein, dass es einen Teilprozess zum Erfassen des erweiterten Videos 362 und einen anderen Teilprozess zum Erfassen des/der erweiterten Bilds/Bilder 364 startet. Somit kann das Erfassungsmodul 332 so konfiguriert sein, dass es die gleichzeitige Erfassung von erweitertem Video und Bildschirmauszugsbildern veranlasst und dadurch die Notwendigkeit beseitigt, aufgezeichneten Videoinhalt erst wiederzugeben, um danach Standbilder des erweiterten Inhalts zu erzeugen.In some embodiments, the acquisition module is 332 configured to be capable of capturing / recording the augmented reality content 344 in separate sub-processes triggers. So the acquisition module 332 in some embodiments, for. B. configured to have a sub-process for capturing the enhanced video 362 and another sub-process for acquiring the enhanced image (s) 364 starts. Thus, the acquisition module 332 be configured to initiate the simultaneous capture of extended video and screen capture images, thereby eliminating the need to first play back recorded video content to subsequently generate enhanced content still images.
Ausführungsformen der vorliegenden Offenbarung ermöglichen die dynamische Erzeugung/Erfassung von Augmented-Reality-Inhalt 344, wenn ein Ereignis erwartet wird und/oder wenn erwartet wird, dass ein Erweiterungsinhalt die Kriterien 352 erfüllt. So können bei manchen Ausführungsformen, wenn ein Benutzer der Einheit 302 eine Bibliothek betritt, die Kriterien 352 z. B. so konfiguriert sein, dass Inhalt erfasst wird, wenn Bücher und/oder Anzeigen, die einem oder mehreren Lieblingsautoren zugehörig sind, festgestellt werden. Als Reaktion darauf, dass der Benutzer sich einem Bereich mit Büchern nähert, deren Autoren in alphabetischer Reihenfolge aufgeführt sind, kann ein Erweiterungsmodul 330 die Namen von Autoren der festgestellten Bücher ermitteln, und wenn sich der Benutzer einem Namen eines konfigurierten Autors nähert, kann das Erfassungsmodul 332 eine Erfassung des Augmented-Reality-Inhalt 344 einleiten. Wenn nach einer vorgegebenen Zeitspanne die Kriterien 352 nicht eintreten und/oder das Erweiterungsmodul 330 den einem konfigurierten Autor zugehörigen Realitätsinhalt 340 nicht erkennt, kann das Erfassungsmodul 332 den erfassten/aufgezeichneten Inhalt, der letztlich den Kriterien 352 nicht entsprochen hat, beseitigen/löschen.Embodiments of the present disclosure enable the dynamic generation / acquisition of augmented reality content 344 when an event is expected and / or when an extension content is expected to meet the criteria 352 Fulfills. Thus, in some embodiments, when a user of the unit 302 a library enters the criteria 352 z. For example, it may be configured to capture content when books and / or ads associated with one or more favorite authors are detected. In response to the user approaching an area of books whose authors are listed in alphabetical order, an extension module may be provided 330 determine the names of authors of the detected books, and when the user approaches a name of a configured author, the collection module may 332 a collection of augmented reality content 344 initiate. If after a given period of time the criteria 352 do not enter and / or the extension module 330 the reality content associated with a configured author 340 does not recognize the acquisition module 332 the recorded / recorded content, ultimately the criteria 352 did not meet, eliminate / delete.
4 ist ein Ablaufplan, der eine Ausführungsform eines Verfahrens für eine dynamische Erzeugung von Augmented-Reality-Medien veranschaulicht. Das Verfahren beginnt in Block 402, wo der Realitätsinhalt 340 empfangen wird. In Block 404 analysiert das Erweiterungsmodul 330 den Realitätsinhalt 340. In Block 406 ermittelt das Erweiterungsmodul 330 auf der Grundlage des erkannten Realitätsinhalts 340 die Erweiterungsdaten 342/306 und/oder identifiziert sie anderweitig. Bei manchen Ausführungsformen kann das Erweiterungsmodul 330 eine Schnittstelle mit dem Datenübertragungsmodul 334 aufweisen, um eine Datenübertragung mit dem Augmented-Reality-System 304 einzuleiten und auf der Grundlage des Echtweltinhalts, der von der Einheit 302 wahrgenommen wird, die Erweiterungsdaten 342/306 zu ermitteln/identifizieren. In Block 408 erzeugt das Erweiterungsmodul 330 den Augmented-Reality-Inhalt 344. 4 FIG. 10 is a flow chart illustrating one embodiment of a method for dynamically generating augmented reality media. FIG. The procedure begins in block 402 where the reality content 340 Will be received. In block 404 analyzes the expansion module 330 the reality content 340 , In block 406 determines the expansion module 330 based on the detected reality content 340 the extension data 342 / 306 and / or otherwise identifies it. In some embodiments, the expansion module 330 an interface with the data transfer module 334 to communicate with the augmented reality system 304 on the basis of the real world content of the unit 302 is perceived, the extension data 342 / 306 to identify / identify. In block 408 generates the extension module 330 the augmented reality content 344 ,
In Entscheidungsblock 410 wird festgestellt, ob der Realitätsinhalt 340 die Ereigniserfassungskriterien erfüllt und/oder voraussichtlich erfüllen wird. Wenn dies der Fall ist, fährt das Verfahren mit Block 418 fort, wo das Erfassungsmodul 332 eine Erfassung des Augmented-Reality-Inhalts 344 einleitet. So kann das Erfassungsmodul 332 z. B. eine Schnittstelle mit der Wiedergabeeinheit 336 und/oder dem Bildpufferspeicher 338 aufweisen, um auf Augmented-Reality-Inhalt 344 zuzugreifen bzw. ihn zu speichern, bevor derartiger Inhalt dem Benutzer der Einheit 302 vorgelegt wird. Wenn in Entscheidungsblock 410 festgestellt wird, dass der Realitätsinhalt 340 die Ereigniserfassungskriterien 352 nicht erfüllt und/oder voraussichtlich nicht erfüllen wird, fährt das Verfahren mit Entscheidungsblock 414 fort. In Entscheidungsblock 414 wird ermittelt, ob die Erweiterungsdaten 342/306 die Ereigniserfassungskriterien 352 erfüllen und/oder voraussichtlich erfüllen werden. Wenn dies der Fall ist, fährt das Verfahren mit Block 418 fort, wo das Erfassungsmodul 332 eine Erfassung des Augmented-Reality-Inhalts 344 einleitet. Somit können in der veranschaulichten Ausführungsform Echtweltinhalt und Inhalt, der erhalten wurde, um den Echtweltinhalt zu erweitern, unabhängig voneinander beurteilt werden, um zu ermitteln, ob ein derartiger Inhalt die Kriterien 352 jeweils erfüllt (oder voraussichtlich erfüllen wird). Wenn in Entscheidungsblock 414 ermittelt wird, dass die Erweiterungsdaten 342/306 die Ereigniserfassungskriterien 352 nicht erfüllen und/oder voraussichtlich nicht erfüllen werden, fährt das Verfahren mit Entscheidungsblock 416 fort. In Entscheidungsblock 416 wird ermittelt, ob der Augmented-Reality-Inhalt 344 die Ereigniserfassungskriterien erfüllt und/oder voraussichtlich erfüllen wird. Wenn dies der Fall ist, fährt das Verfahren mit Block 418 fort, wo das Erfassungsmodul 332 eine Erfassung des Augmented-Reality-Inhalts 344 einleitet. Somit kann in der veranschaulichten Ausführungsform die Kombination aus Echtweltinhalt und Inhalt, der erhalten wurde, um den Echtweltinhalt zu erweitern, beurteilt werden, um zu ermitteln, ob ein derartiger Inhalt die Kriterien 352 jeweils erfüllt (oder voraussichtlich erfüllen wird). Wenn in Entscheidungsblock 416 ermittelt wird, dass der Augmented-Reality-Inhalt 344 die Ereigniserfassungskriterien 352 nicht erfüllt und/oder voraussichtlich erfüllen wird, fährt das Verfahren mit Block 424 fort.In decision block 410 it determines if the reality content 340 meets and / or is expected to meet the event acquisition criteria. If so, the procedure goes to block 418 where the acquisition module 332 a collection of augmented reality content 344 initiates. So the acquisition module 332 z. B. an interface with the playback unit 336 and / or the frame buffer 338 exhibit to augmented reality content 344 to access or store it before such content to the user of the unit 302 is submitted. When in decision block 410 it is found that the reality content 340 the event acquisition criteria 352 is not met and / or is unlikely to be met, the decision block procedure proceeds 414 continued. In decision block 414 it is determined if the extension data 342 / 306 the event acquisition criteria 352 meet and / or are expected to be fulfilled. If so, the procedure goes to block 418 where the acquisition module 332 a collection of augmented reality content 344 initiates. Thus, in the illustrated embodiment, real world content and content obtained to extend the real world content may be independently assessed to determine if such content is the criteria 352 each fulfilled (or expected to be fulfilled). When in decision block 414 it determines that the extension data 342 / 306 the event acquisition criteria 352 failing to meet and / or are unlikely to be met, the procedure continues with decision block 416 continued. In decision block 416 will determine if the augmented reality content 344 meets and / or is expected to meet the event acquisition criteria. If so, the procedure goes to block 418 where the acquisition module 332 a collection of augmented reality content 344 initiates. Thus, in the illustrated embodiment, the combination of real world content and content obtained to extend the real world content may be assessed to determine if such content is the criteria 352 each fulfilled (or expected to be fulfilled). When in decision block 416 it is determined that the augmented reality content 344 the event acquisition criteria 352 is not met and / or expected to meet, the procedure continues with block 424 continued.
In Entscheidungsblock 420 wird ermittelt, ob die Kriterien 352 erfüllt wurden. So kann bei manchen Ausführungsformen das Erfassungsmodul 332 so konfiguriert sein, dass es eine Erfassung des Augmented-Reality-Inhalts 344 vor und/oder in Erwartung dessen einleitet, dass der Realitätsinhalt 340, die Erweiterungsdaten 342/306 und/oder der Augmented-Reality-Inhalt 344 die Kriterien 352 erfüllen. Wenn die Kriterien 352 erfüllt wurden, fährt das Verfahren mit Block 424 fort. Wenn die Kriterien 352 nicht erfüllt wurden, fährt das Verfahren mit Block 422 fort, wo das Erfassungsmodul 332 veranlassen kann, dass der kürzlich erfasste/gespeicherte Augmented-Reality-Inhalt 344, der die Kriterien 352 nicht erfüllt hat, gelöscht/verworfen wird. In Block 424 fahren das Erweiterungsmodul 330 und/oder das Erfassungsmodul 332 damit fort, den Realitätsinhalt 340, die Erweiterungsdaten 342/306 und/oder den Augmented-Reality-Inhalt 344 zu beurteilen. In Block 426 wird der Augmented-Reality-Inhalt 344 dem Benutzer der Einheit 302 angezeigt/vorgelegt.In decision block 420 will determine if the criteria 352 were fulfilled. Thus, in some embodiments, the acquisition module 332 be configured so that it can capture the augmented reality content 344 before and / or in anticipation of initiating that the reality content 340 , the extension data 342 / 306 and / or the augmented reality content 344 the criteria 352 fulfill. If the criteria 352 were met, the procedure moves to block 424 continued. If the criteria 352 were not met, the procedure moves to block 422 where the acquisition module 332 can cause the recently captured / saved augmented reality content 344 that the criteria 352 has not met, deleted / discarded. In block 424 drive the expansion module 330 and / or the acquisition module 332 with it, the reality content 340 , the extension data 342 / 306 and / or the augmented reality content 344 to judge. In block 426 becomes the augmented reality content 344 the user of the unit 302 displayed / presented.
Ausführungsformen der vorliegenden Offenbarung ermöglichen somit die dynamische und automatische Erzeugung/Erfassung von Augmented-Reality-Inhalt (z. B. Echtweltinhalt, der mit Erweiterungsdaten überlagert/ergänzt wird). Ausführungsformen der vorliegenden Offenbarung können die stattfindenden Echtweltereignisse ebenso wie Erweiterungsdaten, welche die Echtweltwahrnehmung ergänzen, anhand von bestimmten vordefinierten Kriterien beurteilen, um so zu ermitteln, ob die Erfassung/Speicherung von Augmented-Reality-Inhalt eingeleitet werden soll. Der erfasste Augmented-Reality-Inhalt kann in Gestalt von Videoinhalt, Bildschirmauszügen/Bildern, Audiodaten oder auf andere Art und Weise vorliegen. Ausführungsformen der vorliegenden Offenbarung können des Weiteren mehrere Teilprozesse generieren, um derartigen Augmented-Reality-Inhalt zeitgleich zu erfassen, während er auf der Einheit wiedergegeben wird.Embodiments of the present disclosure thus enable the dynamic and automatic generation / acquisition of augmented reality content (e.g., real world content overlaid with enhancement data). Embodiments of the present disclosure may evaluate real-world events taking place as well as enhancement data that complements real-world perception based on certain predefined criteria to determine whether augmented reality content acquisition / storage should be initiated. The captured augmented reality content may be in the form of video content, screen excerpts / images, audio data, or otherwise. Embodiments of the present disclosure may further generate multiple threads to simultaneously capture such augmented reality content as it is rendered on the unit.
Die hier verwendete Begrifflichkeit dient lediglich zur Beschreibung bestimmter Ausführungsformen und ist nicht als Beschränkung der Offenbarung gedacht. Im hier verwendeten Sinne sollen die Singularformen „ein/e/r” und ”der/die/das” auch die Pluralformen beinhalten, sofern der Kontext dies nicht eindeutig anderweitig vorgibt. Ebenso offensichtlich dürfte sein, dass die Verben „weist auf” und/oder „aufweisend” in dieser Patentschrift das Vorhandensein der genannten Merkmale, Ganzzahlen, Schritte, Operationen, Elemente und/oder Komponenten angeben, ohne jedoch das Vorhandensein oder die Hinzufügung von einem/einer oder mehreren anderen Merkmalen, Ganzzahlen, Schritten, Operationen, Elementen, Komponenten und/oder Gruppen derselben auszuschließen.The terminology used herein is merely for describing particular embodiments and is not intended to be limiting of the disclosure. As used herein, the singular forms "a / e" and "the" should also include plurals, unless the context clearly dictates otherwise. It is equally evident that the verbs "pointing" and / or "having" in this specification indicate the presence of said features, integers, steps, operations, elements and / or components, without, however, the presence or addition of a / exclude one or more other features, integers, steps, operations, elements, components and / or groups thereof.
Die betreffenden Strukturen, Materialien, Handlungen und Äquivalente aller Mittel oder Schritte zusätzlich zu den Funktionselementen in den nachstehenden Ansprüchen sollen sämtliche Strukturen, Materialien oder Handlungen beinhalten, mit denen die Funktion in Verbindung mit anderen beanspruchten Elementen, wie sie hier ausdrücklich beansprucht sind, durchgeführt werden kann. Die Beschreibung der vorliegenden Offenbarung wurde zum Zwecke der Veranschaulichung und Erläuterung vorgelegt und ist mit Blick auf die in dieser Form beschriebene Offenbarung nicht als vollständig oder beschränkend zu verstehen. Der Fachmann weiß, dass zahlreiche Änderungen und Abwandlungen möglich sind, ohne vom inhaltlichen Umfang und gedanklichen Wesensgehalt der Offenbarung abzuweichen. Die Ausführungsform wurde ausgewählt und beschrieben, um die Grundsätze der Offenbarung und die praktische Anwendung bestmöglich zu erläutern und um anderen Fachleuten die Möglichkeit zu geben, die Offenbarung mit Blick auf verschiedene Ausführungsformen mit verschiedenen Abwandlungen zu verstehen, wie sie für die jeweilige, in Erwägung gezogene Verwendung geeignet sind.The subject structures, materials, acts, and equivalents of all means or steps in addition to the functional elements in the claims below are intended to include any structures, materials, or acts with which the function will be practiced in conjunction with other claimed elements as expressly claimed can. The description of the present disclosure has been presented for purposes of illustration and explanation, and not to be considered as exhaustive or limited in view of the disclosure described in this form. One skilled in the art will appreciate that many changes and modifications are possible without departing from the spirit and content of the disclosure. The embodiment has been chosen and described in order to best explain the principles of the disclosure and the practical application, and to enable others skilled in the art to understand the disclosure with respect to various embodiments with various modifications as may be taken for the particular one contemplated Use are suitable.
Der Ablaufplan und die Blockschaubilder in den Figuren stellen die Architektur, die Funktionalität und den Betrieb möglicher Realisierungen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedenen Ausführungsformen der vorliegenden Erfindung dar. Somit kann jeder Block der Ablaufpläne oder Blockschaubilder ein Modul, Segment oder einen Code-Teil darstellen, der einen oder mehrere ausführbare Befehle aufweist, mit denen sich die angegebene(n) logische(n) Funktion(en) realisieren lässt/lassen. Zu beachten ist ferner, dass bei manchen alternativen Ausführungsformen die in dem Block erwähnten Funktionen in einer anderen Reihenfolge als der in den Figuren genannten auftreten können. So können zwei aufeinanderfolgend dargestellte Blöcke tatsächlich im Wesentlichen gleichzeitig stattfinden, oder die Blöcke können mitunter in umgekehrter Reihenfolge ausgeführt werden, wobei dies abhängig von der betreffenden Funktionalität ist. Ebenfalls erwähnenswert ist, dass jeder Block der Blockschaubilder und/oder der Ablaufplan-Darstellung sowie Kombinationen von Blöcken in den Blockschaubildern und/oder der Ablaufplan-Darstellung durch Spezialsysteme auf der Grundlage von Hardware, welche die angegebenen Funktionen oder Handlungen oder Kombinationen hiervon ausführen, oder durch Kombinationen von Spezial-Hardware- und Computerbefehlen realisiert werden kann/können.The flowchart and block diagrams in the figures illustrate the architecture, functionality, and operation of possible implementations of systems, methods, and computer program products according to various embodiments of the present invention. Thus, each block of the flowcharts or block diagrams may be a module, segment, or code part represent one or more executable instructions with which the specified logical function (s) can be realized. It should also be noted that in some alternative embodiments, the functions mentioned in the block may occur in a different order than that mentioned in the figures. Thus, two blocks displayed in succession may in fact be substantially simultaneous, or the blocks may sometimes be executed in reverse order, depending on the functionality involved. It is also worthy of note that each block of the block diagrams and / or the flowchart representation as well as combinations of blocks in the block diagrams and / or flowchart representation by specialized systems based on hardware performing the specified functions or acts or combinations thereof, or can be realized by combinations of special hardware and computer commands.
