DE112015005269T5

DE112015005269T5 - Erweitern einer Informationsanforderung

Info

Publication number: DE112015005269T5
Application number: DE112015005269.0T
Authority: DE
Inventors: Sarbajit Rakshit; Craig Matthew Trim; James Edward Bostick; John Michael Ganci
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2015-01-05
Filing date: 2015-12-30
Publication date: 2017-09-28
Also published as: WO2016110775A1; US9633019B2; CN107077504A; JP6655081B2; GB201711969D0; JP2018501562A; GB2549904A; US20160196264A1; CN107077504B

Abstract

Eine elektronische Einheit weist ein Mikrofon zum Empfangen einer mündlichen Informationsanforderung zu einem nicht näher bestimmten Objekt auf. Ein Sensor empfängt Erweiterungsinformationen zu dem nicht näher bestimmten Objekt. Kombinationslogik kombiniert Informationen aus der mündlichen Anforderung mit den Erweiterungsinformationen zu einer Informationsanforderung mit kombiniertem Format. Informationsabruflogik ruft dann eine Antwort auf die Informationsanforderung mit kombiniertem Format ab.

Description

HINTERGRUND
Die vorliegende Offenbarung bezieht sich auf das Gebiet eines Informationsabrufs und im Besonderen auf das Gebiet eines Informationsabrufs auf Grundlage einer Abfrage durch einen Benutzer. Genauer gesagt bezieht sich die vorliegende Offenbarung auf das Gebiet eines Interpretierens von benutzererzeugten Abfragen.
Viele mobile Einheiten verfügen heutzutage über die Fähigkeit, eine mündliche Frage von einem Benutzer zu empfangen und darauf unter Verwendung einer Sprachsynthese mit einer Antwort zu reagieren.
US-Patentschrift 2012/0016678 beschreibt beispielsweise einen intelligenten, automatischen Assistenten, der unter Verwendung eines natürlichen Dialogs mit einem Benutzer interagiert, um auf spezifische Fragen des Benutzers zu antworten. Allerdings sind solche Systeme auf Spracheingaben des Benutzers beschränkt, was zu fehlerhaften Antworten durch die mobile Einheit führen kann. So kann ein Benutzer zum Beispiel eine Frage stellen, die entweder durch das System fehlerhaft interpretiert wird, oder das System versteht die Frage schlichtweg nicht. In diesem Fall muss der Benutzer mit zusätzlichen Sprachbefehlen, Klarstellungen usw. nachsetzen.
Andere Einheiten stellen Informationen zu nonverbalen (d. h. nicht sprachlichen) Eingaben bereit, ermöglichen dem Benutzer aber nicht, Fragen zu den nonverbalen Eingaben zu formulieren und zu stellen.
US-Patentschrift 2012/0124461 beschreibt beispielsweise eine Methode, um Straßenniveaubilder mit kontextgebundenen Informationen zu versehen, die über die Bilder gelegt werden. Auf ähnliche Art und Weise beschreibt US-Patentschrift 2013/0346068 ein System, das eine digitale Fotografie mit bestimmten, durch einen Benutzer bereitgestellten Begriffen markiert. Diese Art von Technik ist jedoch darauf beschränkt, ein Bild automatisch mit vordefinierten Informationen zu versehen, ohne dass eine spezifische Frage, die der Benutzer unter Umständen hat, berücksichtigt wird.
Der Stand der Technik stellt somit weder einzeln noch als Kombination ein System bereit, das es einem Benutzer erlaubt, eine Frage zu stellen und anschließend die Frage unter Verwendung einer nonverbalen Eingabe zu erweitern, welche die Frage klarstellt. Der Stand der Technik stellt kein System bereit, das einem Benutzer erlaubt, einer Einheit über nonverbale Eingaben wie z. B. visuelle Bilder, Gerüche, Klänge usw. benutzererzeugte Fragen zu stellen. Die vorliegende Erfindung stellt eine oder mehrere Lösungen für diesen seit langem bestehenden Bedarf bereit.
KURZDARSTELLUNG
Bei einer Ausführungsform der vorliegenden Offenbarung weist eine elektronische Einheit ein Mikrofon auf, um eine mündliche Anforderung von Informationen zu einem nicht näher bestimmten Objekt zu erhalten. Ein Sensor empfängt Erweiterungsinformationen zu dem nicht näher bestimmten Objekt. Kombinationslogik kombiniert Informationen aus der mündlichen Anforderung mit den Erweiterungsinformationen zu einer Informationsanforderung mit kombiniertem Format. Informationsabruflogik ruft dann eine Antwort auf die Informationsanforderung mit kombiniertem Format ab.
Bei einer Ausführungsform der vorliegenden Offenbarung ist der Sensor in der elektronischen Einheit ein chemischer Sensor, der in der Lage ist, das Objekt zu ”riechen”, zu dem der Benutzer eine Frage stellt.
Bei einer Ausführungsform der vorliegenden Erfindung ist der Sensor in der elektronischen Einheit eine Kamera, die ein Videobild aufnimmt, und das nicht näher bestimmte Objekt ist ein Objekt, das in dem Videobild nicht vorkommt. Die elektronische Einheit greift auf eine Metadatenabruflogik zu, um aus dem durch die Kamera aufgenommenen Videobild Metadaten abzurufen, die das Videobild beschreiben. Korrelationslogik korreliert Informationen aus den Metadaten, um Informationen zu dem nicht näher bestimmten Objekt zu identifizieren und eine Antwort auf die Anforderung mit kombiniertem Format zu erzeugen.
Bei einer Ausführungsform der vorliegenden Offenbarung weist ein Verfahren zum Erweitern einer Informationsanforderung auf, eine Anforderung von Informationen zu einem Objekt durch einen Informationsserver zu empfangen. Die Informationsanforderung stammt von einer elektronischen Einheit und liegt in einem ersten Format vor. Der Informationsserver empfängt Erweiterungsinformationen zu dem Objekt. Die Erweiterungsinformationen werden durch die elektronische Einheit erzeugt und liegen in einem zweiten Format vor, das sich von dem ersten Format unterscheidet. Auf Grundlage der Erweiterungsinformationen erzeugt der Informationsserver eine Antwort auf die Informationsanforderung.
Bei einer Ausführungsform der vorliegenden Offenbarung wird das erste Format für eine Spracherkennung und das zweite Format für eine Fotografie verwendet. Das Objekt, zu dem Informationen angefordert werden, wird in der Fotografie gezeigt. Der Informationsserver ruft eingebettete Informationen in der Fotografie zu dem Objekt ab, das in der Fotografie gezeigt wird. Auf Grundlage der eingebetteten Informationen findet der Informationsserver zusätzliche Informationen zu dem Objekt in der Fotografie heraus.
Bei einer Ausführungsform der vorliegenden Offenbarung wird die Informationsanforderung durch einen spezifischen Benutzer erzeugt. Das Verfahren weist des Weiteren auf, die Informationsanforderung einem Benutzerprofil des spezifischen Benutzers zuzuordnen und die Antwort auf die Informationsanforderung auf Grundlage des Benutzerprofils zuzuschneiden.
Bei einer Ausführungsform der vorliegenden Offenbarung empfängt der Informationsserver eine physische Geste eines Benutzers und verwendet die physische Geste als die Erweiterungsinformationen zu dem Objekt.
Bei einer Ausführungsform der vorliegenden Offenbarung erweitert ein Computerprogrammprodukt eine Informationsanforderung. Das Computerprogrammprodukt weist einen darin enthaltenen Programmcode auf, wobei das computerlesbare Speichermedium kein flüchtiges Signal an sich ist und wobei der Programmcode durch einen Prozessor lesbar und ausführbar ist, um ein Verfahren durchzuführen, aufweisend: Empfangen einer Informationsanforderung zu einem Objekt, wobei die Informationsanforderung von einer elektronischen Einheit stammt und wobei die Informationsanforderung in einem ersten Format vorliegt; Empfangen von Erweiterungsinformationen zu dem Objekt, wobei die Erweiterungsinformationen durch die elektronische Einheit erzeugt werden und wobei die Erweiterungsinformationen in einem zweiten Format vorliegen, das sich von dem ersten Format unterscheidet; und Erzeugen einer Antwort auf die Informationsanforderung auf Grundlage der Erweiterungsinformationen.
Das hier offenbarte System stellt somit insofern einen technologischen Vorteil gegenüber dem Stand der Technik bereit, als es die Effizienz und Genauigkeit einer Informationsanforderung verbessert. Genauer gesagt wären ohne die Lehren der vorliegenden Offenbarung viele, wenn nicht die meisten mündlichen Fragen bedeutungslos und somit durch eine intelligente Assistenteneinheit nicht zu beantworten.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Im Folgenden werden mit Blick auf die beigefügten Zeichnungen Ausführungsformen der Erfindung beschrieben, die lediglich als Beispiel zu verstehen sind, wobei:
1 einen Cloud-Datenverarbeitungsknoten gemäß einer Ausführungsform der vorliegenden Offenbarung darstellt;
2 eine Cloud-Datenverarbeitungsumgebung gemäß einer Ausführungsform der vorliegenden Offenbarung darstellt;
3 Abstraktionsmodellschichten gemäß einer Ausführungsform der vorliegenden Offenbarung darstellt;
4 ein beispielhaftes System veranschaulicht, in dem die vorliegende Erfindung verwendet werden kann; und
5 ein allgemeiner Ablaufplan einer oder mehrerer Operationen ist, die durch einen oder mehrere Prozessoren oder andere Hardware-Einheiten durchgeführt werden, um auf eine benutzererzeugte Informationsanforderung von einer elektronischen Einheit zu antworten.
AUSFÜHRLICHE BESCHREIBUNG
Die vorliegende Erfindung kann ein System, ein Verfahren und/oder ein Computerprogrammprodukt sein. Das Computerprogrammprodukt kann ein computerlesbares Speichermedium (oder -medien) mit darauf enthaltenen computerlesbaren Programmbefehlen beinhalten, um einen Prozessor zu veranlassen, Aspekte der vorliegenden Offenbarung durchzuführen.
Das computerlesbare Speichermedium kann eine gegenständliche Einheit sein, die Befehle zur Verwendung durch eine Befehlsausführungseinheit beibehalten und speichern kann. Das computerlesbare Speichermedium kann zum Beispiel eine elektronische Speichereinheit, eine magnetische Speichereinheit, eine optische Speichereinheit, eine elektromagnetische Speichereinheit, eine Halbleiterspeichereinheit oder eine beliebige geeignete Kombination der vorgenannten Einheiten sein, ohne jedoch darauf beschränkt zu sein. Eine nicht vollständige Liste konkreterer Beispiele des computerlesbaren Speichermediums beinhaltet Folgendes: eine tragbare Computerdiskette, eine Festplatte, einen Direktzugriffsspeicher (RAM), einen Festwertspeicher (ROM), einen löschbaren, programmierbaren Nur-Lese-Speicher (EPROM- oder Flash-Speicher), einen statischen Direktzugriffsspeicher (SRAM), einen tragbaren CD-ROM, eine DVD, einen Speicher-Stick, eine Diskette, eine mechanisch codierte Einheit wie z. B. Lochkarten oder erhabene Strukturen in einer Rille mit darauf aufgezeichneten Befehlen sowie eine beliebige geeignete Kombination der vorgenannten Elemente. Bei einem computerlesbaren Speichermedium, wie es hier verwendet wird, ist nicht davon auszugehen, dass es sich per se um flüchtige Signale wie z. B. Funkwellen oder andere sich frei ausbreitende elektromagnetische Wellen, elektromagnetische Wellen, die sich durch einen Hohlleiter oder ein anderes Übertragungsmedien ausbreiten (z. B. Lichtimpulse, die ein Lichtwellenleiterkabel durchlaufen), oder elektrische Signale, die über eine Leitung übertragen werden, handelt.
Hier beschriebene computerlesbare Programmbefehle können über ein Netzwerk wie beispielsweise das Internet, ein lokales Netz (Local Area Network, LAN), ein Weitverkehrsnetz (Wide Area Network, WAN) und/oder ein drahtloses Netzwerk von einem computerlesbaren Speichermedium auf entsprechende Datenverarbeitungs-/Verarbeitungs-Einheiten oder auf einen externen Computer oder eine externe Speichereinheit heruntergeladen werden. Das Netzwerk kann Kupferübertragungskabel, Lichtwellenleiter, eine drahtlose Übertragung, Router, Firewalls, Switches, Gateway-Computer und/oder Edge-Server aufweisen. Eine Netzwerkadapterkarte oder Netzwerkschnittstelle in jeder Datenverarbeitungs-/Verarbeitungs-Einheit empfängt computerlesbare Programmbefehle von dem Netzwerk und leitet die computerlesbaren Programmbefehle zur Speicherung auf einem computerlesbaren Speichermedium innerhalb der betreffenden Datenverarbeitungs-/Verarbeitungs-Einheit weiter.
Bei computerlesbaren Programmbefehlen zum Durchführen von Operationen der vorliegenden Offenbarung kann es sich um Assembler-Befehle, ISA-Befehle (Instruction-Set-Architecture), Maschinenbefehle, maschinenabhängige Befehle, Mikrocode, Firmwarebefehle, einen Zustand festlegende Daten oder aber entweder um Quellcode oder um Objektcode handeln, der in einer beliebigen Kombination von einer oder mehreren Programmiersprachen wie z. B. einer objektorientierten Programmiersprache wie Smalltalk, C++ oder dergleichen, sowie in herkömmlichen prozeduralen Programmiersprachen wie z. B. der Programmiersprache „C” oder ähnlichen Programmiersprachen geschrieben ist. Die computerlesbaren Programmbefehle können vollständig auf dem Computer des Benutzers, teilweise auf dem Computer des Benutzers, als eigenständiges Softwarepaket, teilweise auf dem Computer des Benutzers und teilweise auf einem entfernt angeordneten Computer oder aber vollständig auf dem entfernt angeordneten Computer oder Server ausgeführt werden. Im letztgenannten Szenario kann der entfernt angeordnete Computer über eine beliebige Art von Netzwerk, unter anderem ein LAN oder ein WAN, mit dem Computer des Benutzers verbunden sein, oder die Verbindung kann mit einem externen Computer (z. B. über das Internet unter Verwendung eines Internet-Dienstanbieters) hergestellt werden. Bei manchen Ausführungsformen kann ein elektronischer Schaltkreis wie zum Beispiel ein programmierbarer Logikschaltkreis, Field-Programmable-Gate-Arrays (FPGAs) oder Programmable-Logic-Arrays (PLAs) die computerlesbaren Programmbefehle ausführen, indem er Zustandsdaten der computerlesbaren Programmbefehle verwendet, um die elektronische Schaltung zu personalisieren und Aspekte der vorliegenden Offenbarung durchzuführen.
Aspekte der vorliegenden Offenbarung werden hier unter Bezugnahme auf Darstellungen von Ablaufplänen und/oder Blockschaubildern von Verfahren, Vorrichtungen (Systemen) und Computerprogrammprodukten gemäß Ausführungsformen der Erfindung beschrieben. Dabei dürfte klar sein, dass jeder Block der Ablaufplan-Darstellungen und/oder Blockschaubilder sowie Kombinationen von Blöcken in den Ablaufplan-Darstellungen und/oder Blockschaubildern durch computerlesbare Programmbefehle realisiert werden kann/können.
Diese computerlesbaren Programmbefehle können einem Prozessor eines Universalcomputers, Spezialcomputers oder einer anderweitigen programmierbaren Datenverarbeitungsvorrichtung bereitgestellt werden, um eine Maschine zu erzeugen, so dass die Befehle, die über den Prozessor des Computers oder der anderweitigen programmierbaren Datenverarbeitungsvorrichtung ausgeführt werden, ein Mittel erzeugen, mit dem die Funktionen/Handlungen realisiert werden können, die in dem Block bzw. den Blöcken des Ablaufplans und/oder des Blockschaubilds angegeben werden. Diese computerlesbaren Programmbefehle können auch auf einem computerlesbaren Speichermedium gespeichert sein, das einen Computer, eine programmierbare Datenverarbeitugsvorrichtung und/oder andere Einheiten anweisen kann, auf eine bestimmte Art und Weise zu funktionieren, so dass das computerlesbare Speichermedium mit darauf gespeicherten Befehlen einen Herstellungsartikel aufweist, der Befehle enthält, welche Aspekte der in dem Block bzw. den Blöcken des Ablaufplans und/oder des Blockschaubilds angegebenen Funktion/Handlung realisieren.
Die computerlesbaren Programmbefehle können zudem in einen Computer, eine anderweitige programmierbare Datenverarbeitungsvorrichtung oder eine andere Einheit geladen werden, um zu veranlassen, dass eine Reihe von Funktionsschritten auf dem Computer, der anderweitigen programmierbaren Datenvorrichtung oder der anderen Einheit ausgeführt wird, so dass die Befehle, die auf dem Computer, der anderweitigen Datenverarbeitungsvorrichtung oder der anderen Einheit ausgeführt werden, die in dem Block bzw. den Blöcken des Ablaufplans und/oder des Blockschaubilds angegebenen Funktionen/Handlungen realisieren.
Der Ablaufplan und die Blockschaubilder in den Figuren veranschaulichen die Architektur, Funktionalität und den Betrieb möglicher Realisierungen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedenen Ausführungsformen der vorliegenden Offenbarung. Somit kann jeder Block der Ablaufpläne oder Blockschaubilder ein Modul, Segment oder einen Teil von Befehlen darstellen, das/der einen oder mehrere ausführbare Befehle aufweist, mit denen sich die eine oder mehreren angegebenen logischen Funktionen realisieren lassen. Bei manchen alternativen Ausführungsformen können die in dem Block erwähnten Funktionen in einer anderen Reihenfolge als der in den Figuren genannten auftreten. So können zwei aufeinanderfolgend dargestellte Blöcke tatsächlich im Wesentlichen gleichzeitig stattfinden, oder die Blöcke können mitunter in umgekehrter Reihenfolge ausgeführt werden, wobei dies abhängig von der betreffenden Funktionalität ist. Zu erwähnen ist ebenfalls, dass jeder Block der Blockschaubilder und/oder der Ablaufplan-Darstellungen sowie Kombinationen von Blöcken in den Blockschaubildern und/oder Ablaufplan-Darstellungen durch Spezialsysteme auf Hardwaregrundlage, welche die angegebenen Funktionen oder Handlungen oder Kombinationen hiervon ausführen, oder durch Kombinationen von Spezial-Hardware- und Computerbefehlen realisiert bzw. durchgeführt werden kann/können.
Es sollte klar sein, dass die vorliegende Offenbarung bei einer oder mehreren Ausführungsformen in einer Cloud-Datenverarbeitungsumgebung realisiert werden kann.
Eine Cloud-Datenverarbeitung ist ein Modell einer Dienstbereitstellung, um einen komfortablen, bedarfsgesteuerten Netzwerkzugriff auf einen gemeinsam genutzten Vorrat von konfigurierbaren Datenverarbeitungsressourcen (z. B. Netzwerke, Netzwerkbandbreite, Server, Verarbeitung, Arbeitsspeicher, Speicher, Anwendungen, virtuelle Maschinen und Dienste) zu ermöglichen, die mit möglichst geringem Verwaltungsaufwand und möglichst wenig Interaktion mit einem Anbieter des Dienstes schnell bereitgestellt und freigegeben werden können. Dieses Cloud-Modell kann z. B. mindestens fünf Merkmale, mindestens drei Dienstmodelle und mindestens vier Bereitstellungsmodelle beinhalten.
Merkmale lauten wie folgt:
Bedarfsgesteuerte Selbstbedienung: Ein Cloud-Verbraucher kann sich einseitig und automatisch nach Bedarf Datenverarbeitungsfähigkeiten wie z. B. Serverzeit und Netzwerkspeicher bereitstellen, ohne dass hierfür eine menschliche Interaktion mit dem Anbieter des Dienstes notwendig ist.
Breiter Netzwerkzugriff: Fähigkeiten werden über ein Netzwerk zur Verfügung gestellt und über Standardmechanismen zugeordnet, die eine Verwendung durch verschiedenartige Thin- oder Thick-Client-Plattformen ermöglichen (z. B. Mobiltelefone, Laptops und PDAs).
Ressourcenbündelung: Die Datenverarbeitungsressourcen des Anbieters sind gebündelt, um unter Verwendung eines Multi-Tenant-Modells mehreren Verbrauchern bereitzustehen, wobei verschiedene physische und virtuelle Ressourcen dynamisch nach Bedarf zugewiesen bzw. neu zugewiesen werden. Standortunabhängigkeit ist insofern gegeben, als der Verbraucher im Allgemeinen den genauen Standort der bereitgestellten Ressourcen weder kontrolliert noch kennt, jedoch unter Umständen in der Lage ist, auf einer höheren Abstraktionsebene (z. B. Land, Bundesland oder Rechenzentrum) einen Standort festzulegen.
Flexible Anpassungsfähigkeit: Fähigkeiten lassen sich schnell und elastisch (in einigen Fällen automatisch) bereitstellen, um eine rasche Skalierung nach oben zu ermöglichen, sowie – für eine rasche Skalierung nach unten – schnell wieder freigegeben zu werden. Für den Verbraucher scheinen die zur Bereitstellung verfügbaren Fähigkeiten häufig unbegrenzt zu sein und können jederzeit in jeder beliebigen Menge erworben werden.
Dienstmessung: Cloud-Systeme kontrollieren und optimieren die Ressourcennutzung automatisch, indem sie in einer bestimmten, der Art des Dienstes angemessenen Abstraktionsschicht eine Messfunktion nutzen (z. B. Speicherung, Verarbeitung, Bandbreite und aktive Benutzerkonten). Die Ressourcennutzung kann überwacht, kontrolliert und protokolliert werden, wodurch sowohl für den Anbieter als auch für den Verbraucher des genutzten Dienstes Transparenz bereitgestellt wird.
Dienstmodelle lauten wie folgt:
Software as a Service (SaaS): Die dem Verbraucher bereitgestellte Fähigkeit besteht darin, die in einer Cloud-Infrastruktur ausgeführten Anwendungen des Anbieters zu verwenden. Der Zugriff auf die Anwendungen kann über eine Thin-Client-Schnittstelle wie z. B. einen Webbrowser von verschiedenen Client-Einheiten aus erfolgen (z. B. eine eMail-Nachricht auf Grundlage des Webs). Mit Ausnahme beschränkter benutzerspezifischer Einstellungen der Anwendungskonfiguration wird die darunterliegende Cloud-Infrastruktur wie Netzwerk, Server, Betriebssysteme, Speicher oder auch einzelne Anwendungsfunktionen vom Verbraucher weder verwaltet noch kontrolliert.
Platform as a Service (PaaS): Die dem Verbraucher bereitgestellte Fähigkeit besteht darin, vom Benutzer erzeugte oder erworbene Anwendungen, die anhand von vom Anbieter bereitgestellten Programmiersprachen und Werkzeugen erstellt wurden, in der Cloud-Infrastruktur bereitzustellen. Die darunterliegende Infrastruktur wie Netzwerke, Server, Betriebssysteme oder Speicher wird vom Verbraucher weder verwaltet noch kontrolliert, er hat jedoch die Kontrolle über die bereitgestellten Anwendungen und möglicherweise über Konfigurationen der Hosting-Umgebung für die Anwendungen.
Infrastructure as a Service (IaaS): Die dem Verbraucher bereitgestellte Fähigkeit besteht darin, Verarbeitung, Speicher, Netzwerke und andere grundlegende Datenverarbeitungsressourcen bereitzustellen, wobei der Verbraucher in der Lage ist, frei wählbare Software wie z. B. Betriebssysteme und Anwendungen bereitzustellen und auszuführen. Die darunterliegende Cloud-Infrastruktur wird vom Verbraucher weder verwaltet noch kontrolliert, er hat jedoch die Kontrolle über Systeme und Einheiten (z. B. Betriebssysteme, Speicher, bereitgestellte Anwendungen usw.) und möglicherweise eingeschränkte Kontrolle über ausgewählte Netzwerkkomponenten (z. B. Host-Firewalls).
Bereitstellungsmodelle lauten wie folgt:
Private Cloud: Die Cloud-Infrastruktur wird für lediglich eine Organisation betrieben. Sie kann von der Organisation selbst oder von einem Dritten verwaltet werden und sich an Ort und Stelle oder an einem anderen Ort befinden.
Gemeinschafts-Cloud: Die Cloud-Infrastruktur wird von mehreren Organisationen gemeinsam genutzt und unterstützt eine spezifische Gemeinschaft mit gemeinsamen Anliegen (z. B. Aufgabe, Sicherheitsanforderungen, Richtlinie und Einhaltung von Gesetzen und Richtlinien). Sie kann von den Organisationen selbst oder von einem Dritten verwaltet werden und sich an Ort und Stelle oder an einem anderen Ort befinden.
Öffentliche Cloud: Die Cloud-Infrastruktur wird der allgemeinen Öffentlichkeit oder einer großen Branchengruppe bereitgestellt und ist Eigentum einer Organisation, die Cloud-Dienste verkauft.
Hybrid-Cloud: Die Cloud-Infrastruktur ist eine Zusammensetzung aus zwei oder mehreren (privaten, Gemeinschafts- oder öffentlichen) Clouds, die eigenständige Einheiten bleiben, aber durch eine standardisierte oder herstellerspezifische Technologie miteinander verbunden sind, die eine Portierbarkeit von Daten und Anwendungen ermöglicht (z. B. das Cloud Bursting für den Lastausgleich zwischen Clouds).
Eine Cloud-Datenverarbeitungsumgebung ist dienstorientiert, wobei der Schwerpunkt auf Zustandslosigkeit, geringer Kopplung, Modularität und semantischer Kompatibilität liegt. Im Mittelpunkt einer Cloud-Datenverarbeitung steht eine Infrastruktur, die ein Netzwerk von miteinander verbundenen Knoten aufweist.
Mit Blick auf 1 wird eine schematische Darstellung eines Beispiels für einen Cloud-Datenverarbeitungsknoten gezeigt. Ein Cloud-Datenverarbeitungsknoten 10 ist lediglich ein Beispiel für einen geeigneten Cloud-Datenverarbeitungsknoten und nicht als eine wie auch immer geartete Beschränkung von Verwendungsumfang oder Funktionalität von Ausführungsformen der hier beschriebenen Erfindung gedacht. Unabhängig davon kann der Cloud-Datenverarbeitungsknoten 10 mit jeder hier dargelegten Funktionalität realisiert sein und/oder diese durchführen.
In dem Cloud-Datenverarbeitungsknoten 10 gibt es ein Computersystem/einen Server 12, das bzw. der mit zahlreichen anderen Universal- oder Spezialsystemumgebungen oder -konfigurationen betrieben werden kann. Beispiele bekannter Datenverarbeitungssysteme, -umgebungen und/oder -konfigurationen, die für eine Verwendung mit einem Computersystem/Server 12 geeignet sein könnten, sind, ohne darauf beschränkt zu sein, Personal-Computersysteme, Server-Computersysteme, Thin Clients, Thick Clients, Taschen- oder Laptop-Einheiten, Mehrprozessorsysteme, Systeme auf der Grundlage von Mikroprozessoren, Set-Top-Boxen, programmierbare Unterhaltungselektronik, Netzwerk-PCs, Mini-Computersysteme, Mainframe-Computersysteme sowie verteilte Cloud-Datenverarbeitungsumgebungen, die eine/eines der obigen Systeme oder Einheiten beinhalten, und dergleichen.
Das Computersystem/der Server 12 lässt sich im allgemeinen Zusammenhang von Befehlen beschreiben, die durch ein Computersystem ausführbar sind, wie z. B. Programmmodule, die von einem Computersystem ausgeführt werden. Allgemein können Programmmodule Routinen, Programme, Objekte, Komponenten, Logik, Datenstrukturen usw. beinhalten, die bestimmte Aufgaben durchführen oder bestimmte abstrakte Datentypen realisieren. Das Computersystem/der Server 12 kann in verteilten Cloud-Datenverarbeitungsumgebungen eingesetzt werden, wo Aufgaben von entfernt angeordneten Verarbeitungseinheiten durchgeführt werden, die über ein Datenübertragungsnetzwerk miteinander verbunden sind. In einer verteilten Cloud-Datenverarbeitungsumgebung können sich Programmmodule sowohl in lokalen als auch in entfernt angeordneten Computersystem-Speichermedien wie beispielsweise Arbeitsspeichereinheiten befinden.
1 zeigt das Computersystem/den Server 12 in dem Cloud-Datenverarbeitungsknoten 10 als eine Universal-Datenverarbeitungseinheit. Die Komponenten des Computersystems/Servers 12 können eine/n oder mehrere Prozessoren oder Verarbeitungseinheiten 16, einen Systemarbeitsspeicher 28 und einen Bus 18 beinhalten, der verschiedene Systemkomponenten wie z. B. den Systemarbeitsspeicher 28 mit dem Prozessor 16 verbindet, ohne jedoch darauf beschränkt zu sein.
Der Bus 18 steht für mindestens eine von mehreren Arten von Busstrukturen, z. B. ein Speicherbus oder eine Arbeitsspeicher-Steuereinheit, ein Peripheriebus, ein Accelerated Graphics Port (AGP) und ein Prozessor- oder lokaler Bus, wobei eine beliebige aus einer Vielfalt von Busarchitekturen verwendet werden kann. Beispielhaft und nicht als Beschränkung zu verstehen, beinhalten derartige Architekturen den ISA-Bus (Industry Standard Architecture), den MCA-Bus (Micro Channel Architecture), den EISA-Bus (Enhanced ISA), den lokalen VESA-Bus (Video Electronics Standards Association) und den PCI-Bus (Peripheral Component Interconnects).
Das Computersystem/der Server 12 beinhaltet üblicherweise eine Vielfalt von Medien, die von einem Computersystem gelesen werden können. Derartige Medien können beliebige verfügbare Medien sein, auf die das Computersystem/der Server 12 zugreifen kann, und zu ihnen zählen sowohl flüchtige als auch nicht flüchtige, entfernbare und nicht entfernbare Medien.
Der Systemarbeitsspeicher 28 kann ein von einem Computersystem lesbares Medium in Form eines flüchtigen Arbeitsspeichers wie z. B. eines RAM 30 und/oder eines Cachespeichers 32 beinhalten. Das Computersystem/der Server 12 kann des Weiteren andere entfernbare/nicht entfernbare, flüchtige/nicht flüchtige Computersystem-Speichermedien beinhalten. Lediglich als Beispiel dienend, kann ein Speichersystem 34 zum Lesen von und Schreiben auf ein nicht entfernbares, nicht flüchtiges magnetisches Medium (das nicht abgebildet ist und das üblicherweise als ein Festplattenlaufwerk bezeichnet wird) bereitgestellt werden. Obwohl hier nicht abgebildet, können ein Magnetplattenlaufwerk zum Lesen von und Schreiben auf eine entfernbare, nicht flüchtige Magnetplatte (z. B. eine Diskette) sowie ein optisches Plattenlaufwerk zum Lesen von oder Schreiben auf eine entfernbare, nicht flüchtige optische Platte wie z. B. einen CD-ROM, einen DVD-ROM oder ein anderes optisches Medium bereitgestellt werden. In diesen Fällen kann jedes Laufwerk über eine oder mehrere Datenmedienschnittstellen mit dem Bus 18 verbunden sein. Wie weiter unten ausführlicher dargestellt und beschrieben, kann der Arbeitsspeicher 28 mindestens ein Programmprodukt mit einem Satz von (z. B. mindestens einem) Programmmodulen beinhalten, wobei diese so konfiguriert sind, dass sie die Funktionen von Ausführungsformen der Erfindung durchführen.
Ein Programm/Dienstprogramm 40 mit einem Satz von (mindestens einem) Programmmodulen 42 kann beispielsweise, und ohne als Beschränkung verstanden zu werden, im Arbeitsspeicher 28 gespeichert sein, ebenso wie ein Betriebssystem, ein oder mehrere Anwendungsprogramme, andere Programmmodule und Programmdaten. Jedes Betriebssystem, das eine oder die mehreren Anwendungsprogramme, die anderen Programmmodule und die Programmdaten oder eine Kombination hiervon können jeweils eine Realisierung einer Netzwerkumgebung beinhalten. Die Programmmodule 42 führen im Allgemeinen die Funktionen und/oder Verfahrensweisen von Ausführungsformen der hier beschriebenen Erfindung aus.
Das Computersystem/der Server 12 kann zudem mit einer oder mehreren externen Einheiten 14 Daten austauschen, z. B. mit einer Tastatur, einer Zeigeeinheit, einer Anzeige 24 usw.; mit einer oder mehreren Einheiten, die einem Benutzer gestatten, mit dem Computersystem/Server 12 zu interagieren; und/oder mit beliebigen Einheiten (z. B. Netzwerkkarte, Modem usw.), die dem Computersystem/Server 12 ermöglichen, mit einer oder mehreren anderen Datenübertragungseinheiten Daten auszutauschen. Eine solche Datenübertragung kann über E/A-Schnittstellen 22 erfolgen. Des Weiteren kann das Computersystem/der Server 12 über einen Netzwerkadapter 20 mit einem oder mehreren Netzwerken Daten austauschen, z. B. einem LAN, einem WAN und/oder einem öffentlichen Netz (z. B. dem Internet). Wie dargestellt, tauscht der Netzwerkadapter 20 über den Bus 18 Daten mit den anderen Komponenten des Computersystems/Servers 12 aus. Dabei sollte klar sein, dass – obwohl sie hier nicht abgebildet sind – auch andere Hardware- und/oder Softwarekomponenten in Verbindung mit dem Computersystem/Server 12 verwendet werden könnten. Beispiele hierfür sind, ohne darauf beschränkt zu sein, Mikrocode, Einheitentreiber, redundante Verarbeitungseinheiten, externe Plattenlaufwerksstapel, RAID-Systeme, Bandlaufwerke und Datenarchivierungsspeichersysteme usw.
Bei einer oder mehreren Ausführungsformen der vorliegenden Offenbarung nutzen die externen Einheiten 14 die Architektur des in 1 gezeigten Computersystems/Servers 12. Entsprechend kann die Architektur des Computersystems/Servers 10 in der elektronischen Einheit 402 und/oder dem Cloud-Informationsserver 404 aus 4 realisiert sein.
Mit Blick auf 2 wird eine Cloud-Datenverarbeitungsumgebung 50 dargestellt. Wie gezeigt, weist die Cloud-Datenverarbeitungsumgebung 50 einen oder mehrere Cloud-Datenverarbeitungsknoten 10 auf, mit denen lokale Datenverarbeitungseinheiten wie zum Beispiel ein persönlicher digitaler Assistent (Personal Digital Assistant, PDA) oder ein Mobiltelefon 54A, ein Desktop Computer 54B, ein Laptop Computer 54C und/oder ein Automobil-Computersystem 54N Daten austauschen können. Die Knoten 10 können untereinander Daten austauschen. Sie können in einem oder mehreren Netzwerken, z. B. in privaten, Gemeinschafts-, öffentlichen oder Hybrid-Clouds, wie sie hier weiter oben beschrieben sind, oder in einer Kombination hiervon, physisch oder virtuell zusammengefasst sein (nicht abgebildet). Auf diese Weise kann die Cloud-Datenverarbeitungsumgebung 50 Infrastruktur, Plattformen und/oder Software als Dienste anbieten, für die ein Cloud-Verbraucher keine Ressourcen auf einer lokalen Datenverarbeitungseinheit vorhalten muss. Dabei sollte klar sein, dass die in 2 gezeigten Arten von Datenverarbeitungseinheiten 54A bis N lediglich zur Veranschaulichung gedacht sind und dass die Datenverarbeitungsknoten 10 und die Cloud-Datenverarbeitungsumgebung 50 mit jeder Art von computergestützter Einheit über jede Art von Netzwerk und/oder netzwerkadressierbarer Verbindung (z. B. unter Verwendung eines Webbrowsers) Daten austauschen können.
Mit Blick auf 3 wird ein Satz von funktionsbezogenen Abstraktionsschichten gezeigt, der von der Cloud-Datenverarbeitungsumgebung 50 (2) bereitgestellt wird. Dabei sollte von Anfang an klar sein, dass die in 3 gezeigten Komponenten, Schichten und Funktionen lediglich zur Veranschaulichung gedacht und Ausführungsformen der Erfindung nicht darauf beschränkt sind. Wie abgebildet, werden die folgenden Schichten und zugehörigen Funktionen bereitgestellt:
Eine Hardware- und Softwareschicht 60 enthält Hardware- und Softwarekomponenten. Beispiele für Hardwarekomponenten beinhalten Großrechner wie beispielsweise IBM^® zSeries^®-Systeme; Server auf Grundlage der RISC-Architektur (Reduced Instruction Set Computer) wie beispielsweise IBM pSeries^®-Systeme; IBM xSeries^®-Systeme; IBM BladeCenter^®-Systeme; Speichereinheiten; Netzwerke und Netzwerkkomponenten. Beispiele für Softwarekomponenten beinhalten Software für Netzwerk-Anwendungsserver wie beispielsweise IBM WebSphere^®-Anwendungsserver-Software; sowie Datenbanksoftware wie z. B. IBM DB2^®-Datenbanksoftware. (IBM, zSeries, pSeries, xSeries, BladeCenter, WebSphere und DB2 sind Marken der international Business Machines Corporation, die in vielen Gerichtsbarkeiten weltweit eingetragen sind.)
Eine Virtualisierungsschicht 62 stellt eine Abstraktionsschicht bereit, welche die folgenden Beispiele für virtuelle Einheiten zur Verfügung stellen kann: virtuelle Server; virtueller Speicher; virtuelle Netzwerke wie z. B. virtuelle private Netzwerke; virtuelle Anwendungen und Betriebssysteme; sowie virtuelle Clients.
In einem Beispiel kann eine Verwaltungsschicht 64 die im Folgenden beschriebenen Funktionen bereitstellen. Die Ressourcenbereitstellung stellt eine dynamische Beschaffung von Datenverarbeitungs- und anderen Ressourcen bereit, mit denen Aufgaben innerhalb der Cloud-Datenverarbeitungsumgebung durchgeführt werden. Messungs- und Preisermittlungsfunktionen stellen eine Kostenerfassung bei der Nutzung von Ressourcen innerhalb der Cloud-Datenverarbeitungsumgebung sowie eine Fakturierung bzw. Abrechnung für den Verbrauch dieser Ressourcen bereit. In einem Beispiel können diese Ressourcen Lizenzen für Anwendungssoftware aufweisen. Eine Sicherheitsfunktion stellt eine Identitätsprüfung für Cloud-Verbraucher und -Aufgaben sowie einen Schutz für Daten und andere Ressourcen bereit. Eine Benutzerportalfunktion stellt Verbrauchern und Systemadministratoren einen Zugriff auf die Cloud Datenverarbeitungsumgebung bereit. Eine Dienstgüteverwaltungsfunktion stellt eine Zuordnung und Verwaltung von Cloud-Datenverarbeitungsressourcen bereit, so dass erforderliche Dienstgütestufen erreicht werden. Eine Planungs- und Ausführungsfunktion von Dienstgütevereinbarungen (Service Level Agreement, SLA) stellt eine Vorabfestlegung und Beschaffung von Cloud-Datenverarbeitungsressourcen bereit, für die gemäß einer SLA eine künftige Anforderung erwartet wird.
Eine Auslastungsschicht 66 stellt Beispiele einer Funktionalität bereit, für welche die Cloud-Datenverarbeitungsumgebung genutzt werden kann. Beispiele für Auslastungen und Funktionen, die von dieser Schicht bereitgestellt werden können, lauten: Zuordnung und Navigation; Software-Entwicklung und Lebenszyklusverwaltung; Bereitstellung von virtuellen Schulungen; Datenanalyseverarbeitung; Transaktionsverarbeitung sowie Verarbeitung von Informationsabfragen von elektronischen Einheiten, wie sie hierin beschrieben und in der Auslastungsschicht 66 als „Informationsabfrage-Verarbeitung” dargestellt wird.
Mit Blick auf 4 stellt ein beispielhaftes System 400 die technischen Kennzeichen und/oder die Interoperabilität verschiedener neuer und neuartiger technischer Merkmale dar, die im Stand der Technik nicht zu finden sind und bei denen die vorliegende Erfindung genutzt werden kann. Genauer gesagt lösen die in 4 abgebildeten und mit Blick auf Operationen aus 5 ausführlicher beschriebenen Elemente das Problem, dass eine Abfragelogik nicht in der Lage ist, Art und Umfang einer benutzererzeugten Informationsabfrage klar und effizient zu identifizieren. Die vorliegende Offenbarung löst dieses Problem durch die Verwendung von (visuellen, akustischen, chemischen usw.) Erweiterungssensoren, welche die Art des Abfragegegenstands klären.
Eine elektronische Einheit 402 wie z. B. ein Smartphone, ein PDA, ein Tablet-Computer usw. kann über ein Netzwerk 406, das drahtgebunden (z. B. das Internet), drahtlos (z. B. ein WLAN-System) und/oder eine Kombination hiervon sein kann, mit einem Cloud-Informationsserver 404 verbunden sein.
Die elektronische Einheit 402 beinhaltet eine Benutzeroberfläche 408, die einen Benutzer auffordern kann, eine Frage zu stellen, wie dies in Gestalt einer „Wie lautet Ihre Frage?”-Taste 410 abgebildet ist. Die „Wie lautet Ihre Frage?”-Taste 410 kann hervorgehoben werden, wenn der Benutzer die „Wie lautet Ihre Frage?”-Taste 410 (bei der es sich um eine mechanische Taste oder um einen berührungsempfindlichen Bereich der Benutzeroberfläche 408 handeln kann) drückt, wodurch angezeigt wird, dass eine Sprachlogik 414 aktiviert wurde, um die Frage des Benutzers über ein Mikrofon 412 zu empfangen. Die Sprachlogik 414 wandelt die Frage des Benutzers in ein digitalisiertes Format um, das lokal durch einen Prozessor 416 lokal und/oder an einem entfernten Standort durch den Cloud-Informationsserver 404 verarbeitet werden kann.
Zum besseren Verständnis der Benutzerfrage werden dem Prozessor 416 und/oder dem Cloud-Informationsserver 404 zusätzliche Informationen als „Erweiterungsinformationen” bereitgestellt. Diese Erweiterungsinformationen können in Gestalt einer Fotografie, eines Videos, eines Klangs, einer chemischen Signatur, eines Verweises auf ein Dokument, eines Verweises auf eine Grafikdatei usw. vorliegen.
Bei einer Ausführungsform der vorliegenden Offenbarung bezieht sich die Benutzerfrage (d. h. die mündliche Anforderung von Informationen) zunächst auf ein nicht näher bestimmtes Objekt. So kann die Frage zum Beispiel „Welche Art von Blume ist das?” lauten. Anhand der verbalen Frage allein ist das System nicht in der Lage zu „wissen”, nach welcher Blume der Benutzer fragt, weshalb die fragliche „Blume” nicht näher bestimmt ist (d. h. sie ist ein „nicht näher bestimmtes Objekt”). Gemäß einer oder mehreren Ausführungsformen der vorliegenden Erfindung stellt ein Sensor in der elektronischen Einheit 402 Erweiterungsinformationen zu dem nicht näher bestimmten Objekt bereit.
Bei einer Ausführungsform der vorliegenden Offenbarung handelt es sich bei dem Sensor, der zur Bereitstellung dieser Erweiterungsinformationen dient, um eine Kamera 420, die eine Fotografie (d. h. ein Standbild) und/oder ein Video (d. h. eine visuelle Aufzeichnung eines bewegten Bilds) erzeugt. Die Kamera 420 wird ausgewählt, indem der Benutzer eine Kamera-Auswahltaste 418 drückt, welche die Kamera 420 in der elektronischen Einheit 402 aktiviert. Nachdem mit der Kamera 420 eine Fotografie/ein Video der Blume aufgenommen wurde, verfügt das System über Erweiterungsinformationen zu der Abfrage. Wenn der Benutzer fragt „Welche Art von Blume ist das?”, verwenden der Prozessor 416 und/oder der Cloud-Informationsserver 404 demnach Kombinationslogik (z. B. einen Teil des Prozessors 416), um Informationen aus der mündlichen Frage („Welche Art von Blume ist das?”) mit den Erweiterungsinformationen zu kombinieren, die durch die Fotografie der Blume bereitgestellt werden und so eine Informationsanforderung mit kombiniertem Format zu erzeugen. Anhand dieser Kombination von Informationen ist die Informationsabruflogik (z. B. der Prozessor 416) nun in der Lage, (z. B. aus der Speichereinheit 430) eine Antwort auf die Informationsanforderung mit kombiniertem Format abzurufen. Somit werden der Datenabfragelogik (z. B. ein Teil der „Informationsabfrage-Verarbeitung”, die in der Auslastungsschicht 66 aus 3 gezeigt wird) sowohl die mündliche/verbale Frage als auch die visuellen Informationen aus der Fotografie/dem Video bereitgestellt. Auf diese Weise kann die Datenabfragelogik sowohl die Frage „hören” als auch den Gegenstand der Frage „sehen”.
Bei einer Ausführungsform der vorliegenden Offenbarung verwenden der Prozessor 416 und/oder der Cloud-Informationsserver 404 Bilderkennungssoftware, um das Objekt in der Fotografie (z. B. die „Blume”) zu identifizieren. Der Prozessor 416 und/oder der Cloud-Informationsserver 404 erzeugen demnach eine digitale Repräsentation der Blume einschließlich deren Form, Farbe, der Anzahl der Blütenblätter usw. und vergleichen die digitale Repräsentation mit einer Datenbank mit digitalen Informationen zu Blumen, um die Blume als eine Rose zu identifizieren. Diese Information (d. h. die Art der Blume ist eine „Rose”) wird mit der Frage („Welche Art von Blume ist das?”) kombiniert, um eine Informationsanforderung mit kombiniertem Format zu erzeugen. In diesem Beispiel gibt das System aus den Erweiterungsinformationen einfach die Antwort „Diese Blume ist eine Rose” zurück.
Bei einer Ausführungsform der vorliegenden Offenbarung ermöglicht die Informationsanforderung mit kombiniertem Format der Datenabfragelogik, relevante Datenbanken zu durchsuchen. Auch hier soll die Abfrage des Benutzers zum Beispiel „Welche Art von Blume ist das?” lauten, und die Erweiterungsinformationen, die durch die Fotografie der Kamera 420 erzeugt werden, sollen ergeben, dass es sich bei der Blume um eine „Rose” handelt. Die Datenabfragelogik kann dann diese Schlüsselwörter (d. h. „Rose”, „Blume”) dazu verwenden, um andere Datenbanken auf die „Rose” zu durchsuchen, z. B. wo sie wächst, was sie benötigt, um zu gedeihen (Wasser, Nährstoffe, Sonne usw.), ihren lateinischen Namen gemäß der binären Nomenklatur usw. Daraufhin kann die Sprachlogik 414 dem Benutzer die Bereitstellung zusätzlicher Informationen aus der/den durchsuchten Datenbank/en anbieten. Bei einer Ausführungsform beruht dieses Angebot auf einem Profil des Benutzers, das in einer Datenbank gespeichert wird, wie z. B. das (nicht gezeigte) Profil, das in der Speichereinheit 430 aus 4 gefunden wird. Wenn die Speichereinheit 430 zum Beispiel einen Datensatz enthält, nach dem der Benutzer ein Gärtner ist, können Gartenbau-Empfehlungen angeboten werden, wenn die Speichereinheit 430 hingegen einen Datensatz enthält, nach dem der Benutzer ein Botanikstudent ist, kann der lateinische Name gemäß der binären Nomenklatur angeboten werden. Wenn der Benutzer (gemäß seinem gespeicherten Profil) ein Chemiker ist, kann eine Beschreibung der Parfüms angeboten werden, die aus dieser Art von Rose hergestellt werden.
Bei einer Ausführungsform der vorliegenden Offenbarung kann die Datenabfragelogik (z. B. der Prozessor 416 und/oder der Cloud-Informationsserver 404) Informationen zu dem Benutzer selbst bereitstellen. So soll die Speichereinheit 430 zum Beispiel einen Eintrag zu dem Benutzer der elektronischen Einheit 402 enthalten, der angibt, dass dieser Benutzer eine Knieoperation hatte. Des Weiteren soll der Benutzer mit der Kamera 420 eine Aufnahme von seinem Knie machen und dann fragen: „Ist mein Knie in Ordnung?” Der Prozessor 416 vergleicht dann das aktuelle Bild des Knies mit einem früheren Bild des Knies (das in einem Profil dieses Benutzers in der Speichereinheit 430 gespeichert ist). Wenn das Knie so aussieht, wie es unmittelbar nach dem Zeitpunkt aussah, an dem der Benutzer sein Knie in der Vergangenheit bereits einmal verletzt hatte, kann die Datenabfragelogik die Antwort zurückgeben: „Ihr Knie scheint erneut verletzt zu sein.” Wenn das visuelle Bild des Knies verglichen mit anderen Fotografien des unverletzten Knies des Benutzers (oder der unverletzten Knie anderer Benutzer) dagegen „normal” aussieht, gäbe die Datenabfragelogik die Antwort zurück: „Ihr Knie sieht in Ordnung aus.”
Auf entsprechende Art und Weise kann ein Benutzer die Datenabfragelogik zu Speisen befragen, die dem betreffenden Benutzer zur Auswahl stehen. Angenommen, ein Benutzer der elektronischen Einheit 402 soll eine salzarme Diät einhalten und steht vor einem Büfett voller Speisen. Der Benutzer kann das Büfett mit der Kamera 420 fotografieren und die Fotografie mit der Frage „Was soll ich essen?” an die Datenabfragelogik senden. Die Datenabfragelogik verwendet eine Logik für die visuelle Erkennung, um die verschiedenen Arten von Speisen zu identifizieren; fragt eine Nährstoffdatenbank zu den identifizierten Arten von Speisen ab; und gibt eine Antwort zurück, die den Benutzer anweist, bestimmte Speisen aus der Fotografie auszuwählen, die einen geringen Salzgehalt aufweisen.
Auch wenn durch Drücken der Kamera-Auswahltaste 418 ein Bild aufgenommen werden kann, gestattet bei einer Ausführungsform der vorliegenden Erfindung ein Betätigen der Kamera-Auswahltaste 418, dass gemeinsam mit der verbalen Frage des Benutzers ein Live-Datenstrom an die Datenabfragelogik gesendet wird. Entsprechend kann die Kamera 420 bei einer Ausführungsform immer aktiv sein, so dass der Benutzer die Kamera-Auswahltaste 418 noch nicht einmal betätigen muss.
Wie oben beschrieben, ermöglichen eine oder mehrere Ausführungsformen der vorliegenden Offenbarung demnach einer der elektronischen Einheit 402 zugehörigen Datenabfragelogik nicht nur, die Frage zu „hören” (indem der Benutzer die „Wie lautet Ihre Frage?”-Taste 410 drückt), sondern auch zu „sehen”, wonach der Benutzer fragt. Obwohl sich die oben beschriebene Ausführungsform auf die Verwendung einer Fotografie bezieht, kann derselbe Prozess auch bei einem Video-Datenstrom verwendet werden.
Bei einer Ausführungsform der vorliegenden Offenbarung ist die elektronische Einheit 402 nicht nur in der Lage, die Frage zu „hören” (indem der Benutzer die „Wie lautet Ihre Frage?”-Taste 410 drückt), sondern auch zu „hören”, worauf sich die Frage des Benutzer bezieht, indem der Benutzer die Mikrofon-Auswahltaste 422 drückt, die das Mikrofon 412 in der elektronischen Einheit 402 aktiviert. So soll der Benutzer zum Beispiel verbal die folgende Frage gestellt haben: „Welche Art von Vogel ist das?” Anhand der verbalen Frage allein ist das System nicht in der Lage zu wissen, nach welchem „Vogel” der Benutzer fragt. Allerdings stellt das Mikrofon 412 (ein Ton-/Klangsensor) in der elektronischen Einheit 402 entsprechend seinem Gesang eine Erweiterung zu dem nicht näher bestimmten Objekt (dem „Vogel”) bereit. Bei einer Ausführungsform der vorliegenden Offenbarung verwenden der Prozessor 416 und/oder der Cloud-Informationsserver 404 Klangmuster-Erkennungssoftware, um den in der Klangaufnahme zu hörenden „Vogel” als „Wiesenlerche” zu identifizieren. Der Prozessor 416 und/oder der Cloud-Informationsserver 404 erzeugen demnach eine digitale Repräsentation des Vogelgesangs einschließlich dessen Tonhöhe, Muster, Tonfarbe usw. und vergleichen die Klangsignatur mit einer Datenbank mit digitalen Informationen zu Vogelgesängen, um den Vogel als eine Wiesenlerche zu identifizieren. Diese Informationen (d. h. die Vogelart ist eine „Wiesenlerche”) wird mit der Frage („Welche Art von Vogel ist das?”) kombiniert, um eine Antwort „Dieser Vogel ist eine Wiesenlerche” zurückzugeben. Somit werden der Datenabfragelogik (z. B. ein Teil der „Informationsabfrage-Verarbeitung”, die in der Auslastungsschicht 66 aus 3 gezeigt wird) sowohl die mündliche/verbale Frage als auch die Erweiterungsinformationen aus der Tonaufzeichnung/-aufnahme bereitgestellt. Auf diese Weise kann die Datenabfragelogik sowohl die Frage als auch den Gegenstand der Frage „hören”. In einem Beispiel gibt das System aus den Erweiterungsinformationen, die in der Tonaufnahme gefunden werden, einfach die Antwort „Dieser Vogel ist eine Wiesenlerche” zurück.
Bei einer Ausführungsform der vorliegenden Offenbarung ermöglicht die Informationsabfrage mit kombiniertem Format der Datenabfragelogik, auf Grundlage dessen, was die Datenabfragelogik von dem Objekt „gehört” hat, relevante Datenbanken zu durchsuchen. Auch hier soll die Abfrage des Benutzers zum Beispiel „Welche Art von Vogel ist das?” lauten, und die Erweiterungsinformationen, die durch die Tonaufzeichnung des Mikrofons 412 erzeugt werden, sollen ergeben, dass es sich bei dem Vogel um eine Wiesenlerche handelt. Die Datenabfragelogik kann daraufhin andere Datenbanken zu der „Wiesenlerche” abfragen, einschließlich deren Lebensraum, ob es sich um Federwild handelt, wie ihr lateinischer Name gemäß der binären Nomenklatur lautet usw. Die Sprachlogik 414 kann dem Benutzer dann die Bereitstellung solcher zusätzlichen Informationen anbieten. Bei einer Ausführungsform beruht dieses Angebot auf einem Profil des Benutzers. Wenn die Speichereinheit 430 zum Beispiel einen Datensatz enthält, laut dem der Benutzer ein Jäger ist, kann die Datenabfragelogik dem Jäger anbieten (oder ihm automatisch mitteilen), dass eine Wiesenlerche kein Federwild ist (und somit nicht geschossen werden darf). Wenn die Speichereinheit 430 einen Datensatz enthält, laut dem der Benutzer ein Vogelkundler (Ornithologe) ist, kann dem Benutzer auf entsprechende Weise durch die Datenabfragelogik der lateinische Name gemäß der binären Nomenklatur angeboten werden.
Sobald ein Objekt durch sein Bild und/oder seinen Klang identifiziert wurde, können dem Benutzer bei einer Ausführungsform der vorliegenden Offenbarung vorgeschlagene Aktionen vorgelegt werden. So soll ein Benutzer der elektronischen Einheit 402 zum Beispiel eine Ton-/Bildaufzeichnung eines Motors gemacht und gefragt haben: „Läuft dieser Motor einwandfrei?” Die Bilderkennungssoftware identifiziert die Art des Motors aus der Videokomponente der Aufzeichnung. Die Klangmustererkennung identifiziert eine etwaige Anomalie des Motors, indem sie die Tonkomponente der Aufzeichnung mit einer digitalen Datenbank von normalen und/oder abnormen Klängen dieses Motors vergleicht. Das digitalisierte Klangmuster aus dem Tonteil der Aufzeichnung wird demnach verwendet, um ein etwaiges Motorproblem zu identifizieren, indem das digitalisierte Klangmuster mit bekannten (normalen und abnormen) Klangsignaturen des Motors verglichen wird. Das System kann dann auf eine Datenbank mit Lösungen für das identifizierte Problem zugreifen und diese Lösung/en dem Benutzer vorlegen. Wenn die Klangsignatur des Motors zum Beispiel nahelegt, dass ein Hauptlager defekt ist, kann das System eine Anleitung zum Austausch des Hauptlagers, die Teilenummer des benötigten Hauptlagers, eine Abschätzung des Zeitaufwands für die Reparatur (und damit der Dauer, für die das System, welches den Motor nutzt, außer Betrieb sein wird) usw. anbieten.
Bei einer Ausführungsform der vorliegenden Offenbarung ist die elektronische Einheit 402 nicht nur in der Lage, die Frage zu „hören” (indem der Benutzer die „Wie lautet Ihre Frage?”-Taste 410 drückt), sondern auch zu „riechen”, worauf sich die Frage des Benutzer bezieht, indem der Benutzer die Auswahltaste 424 für den chemischen Sensor drückt, die den chemischen Sensor 426 in der elektronischen Einheit 402 aktiviert. So soll der Benutzer beispielsweise vor einer Imbissbude stehen und die Frage stellen: „Welche Art von Speise ist das?” Anhand der verbalen Frage allein ist das System nicht in der Lage zu wissen, nach welcher „Speise” der Benutzer fragt. Allerdings stellt der chemische Sensor 426 in der elektronischen Einheit 402 gemäß dessen Aroma eine Erweiterung zu dem nicht näher bestimmten Objekt bereit. Bei einer Ausführungsform der vorliegenden Offenbarung verwenden der Prozessor 416 und/oder der Cloud-Informationsserver 404 Software zur Erkennung eines chemischen Musters, um den durch den chemischen Sensor empfangenen „Geruch” als „Hotdog” zu identifizieren. Der Prozessor 416 und/oder der Cloud-Informationsserver 404 erzeugen somit eine digitale Datei, die das Aroma des Hotdogs beschreibt und die durch einen oder mehrere Sensoren innerhalb des chemischen Sensors 426 erzeugt wird, welche die chemische Signatur von Rindfleisch, Salz, bestimmten Gewürzen usw. erkennen können, und vergleichen diese chemische Signatur mit einer Datenbank mit digitalen Informationen zu Speisen, um die Speise als einen Hotdog zu identifizieren. Diese Informationen (d. h. die Art von Speise ist ein „Hotdog”) wird mit der Frage („Welche Art von Speise ist das?”) kombiniert, um eine Antwort „Diese Speise ist ein Hotdog” zurückzugeben. Somit werden der Datenabfragelogik (z. B. ein Teil der „Informationsabfrage-Verarbeitung”, die in der Auslastungsschicht 66 aus 3 gezeigt wird) sowohl die mündliche/verbale Frage als auch die Erweiterungsinformationen aus der chemischen Signatur bereitgestellt. Auf diese Weise kann die Datenabfragelogik sowohl die Frage „hören” als auch den Gegenstand der Frage „riechen”. In diesem Beispiel gibt das System aus den Erweiterungsinformationen, die in der Tonaufnahme gefunden werden, einfach die Antwort „Diese Speise ist ein Hotdog” zurück. Bei zusätzlichen Ausführungsformen können diese Informationen dann auf Grundlage des Benutzerprofils usw. dazu verwendet werden, Vorschläge dazu bereitzustellen, ob dieser Benutzer (auf Grundlage seiner Krankheitsgeschichte) den Hotdog überhaupt essen sollte, welcher von diesem Verkäufer angebotene Hotdog die beste Bewertung aufweist, ob es einen besser bewerteten Hotdog-Verkäufer in der Nähe gibt, usw.
In einer Ausführungsform der vorliegenden Offenbarung, die in 4 gezeigt wird, beinhaltet die elektronische Einheit 402 einen Transceiver 434, der in der Lage ist, elektronische Nachrichten entweder drahtlos oder drahtgebunden zu senden und zu empfangen. Der Transceiver 434 ist in der Lage, die (oben erläuterte) Anforderung mit kombiniertem Format an einen Informationsserver zu übertragen.
Bei einer Ausführungsform der vorliegenden Offenbarung ist der Informationsserver eine lokale Einheit in der elektronischen Einheit 402 wie beispielsweise der Prozessor 416. Etwaige Abfragen werden somit durch die elektronische Einheit 402 lokal verarbeitet.
Bei einer Ausführungsform der vorliegenden Offenbarung ist der Informationsserver eine entfernt angeordnete Einheit wie z. B. der Cloud-Informationsserver 404, der in der Lage ist, Informationsanforderungen von mehreren elektronischen Einheiten zu verarbeiten.
Bei einer Ausführungsform der vorliegenden Offenbarung ist der Informationsserver eine Kombination aus einer lokalen Einheit (z. B. dem Prozessor 416) und einer entfernt angeordneten Einheit (z. B. dem Cloud-Informationsserver 404).
Bei einer oder mehreren Ausführungsformen der vorliegenden Offenbarung beinhaltet die elektronische Einheit 402 eine Positionsbestimmungslogik wie z. B. das abgebildete Globale Positionsbestimmungssystem (Global Positioning System, GPS) 432. Das GPS 432 verwendet eine Reihe von geosynchronen Satelliten, um die Position der elektronischen Einheit 402 jederzeit zu bestimmen. Andere (nicht abgebildete) Positionsbestimmungslogik kann in Form von Triangulationssystemen (die Signale von Sendern innerhalb eines Raums verwenden, um die Position einer Einheit zu bestimmen), Doppler-Radarsystemen (welche die Zeitdauer verwenden, die ein Signal benötigt, um von einem Positionsbestimmungs-Sender/Empfänger an einer bekannten Position zu der elektronischen Einheit 402 und zurück zu dem Positionsbestimmungs-Sender/Empfänger zu laufen) usw. vorliegen. Somit werden Metadaten zu einer Echtzeitposition der elektronischen Einheit 402 zu dem Zeitpunkt, an dem eine Frage gestellt wird und/oder an dem Erweiterungsinformationen (z. B. eine Fotografie, eine Klangzeichnung, ein chemischer Messwert usw.) erzeugt werden, durch das GPS 432 erzeugt.
Bei einer Ausführungsform der vorliegenden Erfindung verfügt die Datenabfragelogik (z. B. der Prozessor 416 und/oder der Cloud-Informationsserver 404) unter Umständen nicht über genügend lokal gespeicherte Informationen, um Fragen zu dem Objekt zu beantworten, das gesehen/gerochen usw. wird und zu dem eine Abfrage vorliegt. In diesem Fall kann die Datenabfragelogik auf einen oder mehrere Informationsressourcen-Server 436 wie z. B. Systeme zugreifen, die Zugriff auf Informationsressourcen wie Webseiten, Datenbanken usw. bereitstellen. Solche Informationsressourcen werden anhand eines Webcrawlers, einer Suchmaschine, einer Datenbanksuchlogik usw. selektiv abgefragtlabgerufen, um auf bestimmte Informationen zuzugreifen. So soll der Benutzer zum Beispiel gefragt haben „Welche Parfüms werden aus dieser Blume hergestellt?”, und die Datenabfragelogik soll sowohl die Frage als auch ein Foto der betreffenden Blume erhalten und festgestellt haben, dass die Blume eine Rose ist. Die Datenabfragelogik durchsucht daraufhin Informationsressourcen, die von dem/den Informationsressourcen-Server/n 436 bereitgestellt werden bzw. fragt diese ab, um zu ermitteln, welche Parfüms (einschließlich Produktnamen, Herstellern usw.) in ihrer Formel Rosenessenz verwenden.
Mit Blick auf 5 wird ein allgemeiner Ablaufplan einer oder mehrerer Operationen gezeigt, die durch einen oder mehrere Prozessoren oder andere Hardware-Einheiten durchgeführt werden, um anhand einer Erweiterung der Informationsanforderung auf eine benutzererzeugte Informationsanforderung von einer elektronischen Einheit zu antworten.
Nach einem Startblock 502 empfängt ein Informationsserver eine Informationsanforderung zu einem Objekt (Block 504). Wie in 4 beschrieben, kann der Informationsserver lokal (z. B. der Prozessor 416), entfernt angeordnet (z. B. der Cloud-Informationsserver 404) oder eine Kombination hiervon sein. Die Informationsanforderung stammt von einer elektronischen Einheit (z. B. der elektronischen Einheit 402 aus 4). Die Informationsanforderung liegt in einem ersten Format vor, wie z. B. dem Format, das bei einer Sprachumwandlung/Digitalisierung durch die Sprachlogik 414 aus 4 verwendet wird. Die Informationsanforderung kann zum Beispiel von einem Benutzer stammen, welcher der elektronischen Einheit 402 eine Frage zu einem bestimmten Gegenstand/Objekt stellt. Allerdings ist für den Informationsserver zunächst nicht klar, wonach der Benutzer fragt.
Aus diesem Grund empfängt der Informationsserver in Block 506 Erweiterungsinformationen zu dem Objekt. Diese Erweiterungsinformationen werden durch die elektronische Einheit erzeugt und liegen in einem zweiten Format vor, das sich von dem ersten Format unterscheidet. Das erste Format kann zum Beispiel das Format sein, das durch einen Sprachdigitalisierer verwendet wird, um eine mündliche Frage eines Benutzers in ein digitalisiertes Format zu bringen. Das zweite Format kann das Format einer Fotografie, einer Videodatei, einer chemischen Signatur, eines Textdokuments, einer Grafikdatei usw. sein.
Wie in Block 508 beschrieben, ist der Informationsserver dann in der Lage, auf Grundlage der Erweiterungsinformationen eine Antwort auf die Informationsanforderung zu erzeugen. Wie oben beschrieben, werden Gegenstände wie „Blume”, „Motor” und „Knie” nun durch eine begleitende Fotografie/Tonaufnahme, chemische Signatur usw. mit größerer Genauigkeit beschrieben, so dass der Informationsserver die Abfrage besser beantworten kann.
Bei einer Ausführungsform der vorliegenden Offenbarung wird somit das erste Format für eine Spracherkennung und das zweite Format für eine Videodatei verwendet, die durch eine Kamera in der elektronischen Einheit erzeugt wird.
Bei einer Ausführungsform der vorliegenden Offenbarung wird somit das erste Format für eine Spracherkennung und das zweite Format für eine Audiodatei verwendet, die durch ein Mikrofon in der elektronischen Einheit erzeugt wird.
Bei einer Ausführungsform der vorliegenden Offenbarung wird somit das erste Format für eine Spracherkennung und das zweite Format für eine chemische Signatur verwendet, die durch einen chemischen Sensor in der elektronischen Einheit erzeugt wird.
Bei einer Ausführungsform der vorliegenden Offenbarung wird das erste Format für eine Spracherkennung und das zweite Format für ein Textdokument verwendet, das von der elektronischen Einheit empfangen wird. So soll ein Benutzer zum Beispiel die Dokumenten-Auswahltaste 428 aus 4 gedrückt haben. Dies veranlasst den Prozessor 416 und/oder den Cloud-Informationsserver 404 zum Abruf eines Textdokuments, das entweder bereits zuvor gespeichert wurde (z. B. in der Speichereinheit 430) oder das gerade durch den Benutzer erzeugt wird, indem der Benutzer auf der Benutzeroberfläche 408 zeichnet (z. B. indem er mit seiner Fingerspitze einen berührungsempfindlichen Bereich des Bildschirms berührt, der für das Erhalten von Freihandtext vorgesehen ist, welcher in ASCII-Zeichen umgewandelt wird). Der Benutzer kann dann Fragen stellen wie „Worum geht es bei diesem Textdokument?, „Ist dieses Dokument dafür geeignet, an einen Kunden gesendet zu werden?” usw. Entsprechend kann die Abfrage auch lauten: „Was bedeutet dieses Textdokument?” Um solche Fragen zu beantworten, kann die Datenabfragelogik dann Text in (bzw. Meta-Elemente aus) dem ausgewählten Textdokument mit einer Datenbank vergleichen, die Dokumente beschreibt.
Bei einer Ausführungsform der vorliegenden Offenbarung wird das erste Format für eine Spracherkennung und das zweite Format für ein Grafikdokument verwendet, das in der elektronischen Einheit gespeichert wird. So soll der Benutzer zum Beispiel die Dokumenten-Auswahltaste 428 aus 4 gedrückt haben. Dies veranlasst den Prozessor 416 und/oder den Cloud-Informationsserver 404 zum Abruf einer Grafikdatei, die entweder bereits zuvor gespeichert wurde (z. B. in der Speichereinheit 430) oder die gerade durch den Benutzer erzeugt wird, indem der Benutzer auf der Benutzeroberfläche 408 zeichnet (z. B. indem er mit seiner Fingerspitze einen berührungsempfindlichen Bereich des Bildschirms berührt, der für das Erhalten von Freihandtext vorgesehen ist, welcher in ASCII-Zeichen umgewandelt wird). Der Benutzer kann dann Fragen stellen wie „Was zeigt diese Abbildung?”, „Was sagt dieses Diagramm über die aktuellen Verkaufszahlen aus?” usw. Um solche Fragen zu beantworten, kann die Datenabfragelogik dann mit einer Datenbank, die andere Diagramme/Abbildungen beschreibt, aus der Abbildung/dem Diagramm Informationen (einschließlich Meta-Elemente) gewinnen.
Bei einer Ausführungsform der vorliegenden Offenbarung wird das erste Format für eine Spracherkennung verwendet, das zweite Format wird für eine Fotografie verwendet, und das Objekt, auf das sich die Frage bezieht, wird in der Fotografie gezeigt. Bei dieser Ausführungsform ruft der Informationsserver die in der Fotografie eingebetteten Informationen zu dem Objekt ab, das in der Fotografie gezeigt wird, und die eingebetteten Informationen beschreiben das in der Fotografie gezeigte Objekt. Daraufhin findet der Informationsserver auf Grundlage der eingebetteten Informationen zusätzliche Informationen zu dem Objekt in der Fotografie heraus, so dass die zusätzlichen Informationen über die eingebetteten Informationen hinausgehen. Wie oben beschrieben, können die in der Fotografie eingebetteten Informationen wie beispielsweise Meta-Elemente somit dazu verwendet werden, zusätzliche Informationen zu dem Objekt abzurufen, das in der Fotografie gezeigt wird. So soll die Fotografie zum Beispiel durch die Kamera 420 aufgenommen worden sein, die in 4 gezeigt wird, und die GPS-Logik 432 oder eine ähnliche Positionsbestimmungslogik soll die Fotografie mit einem Meta-Element versehen haben, das Uhrzeit, Datum und Ort der Aufnahme der Fotografie angibt. Darüber hinaus soll die Fotografie ein „Selfie” eines Benutzers mit einem Freund sein, und die (sofort oder zu einem späteren Zeitpunkt gestellte Frage) soll lauten: „Wie lautet das Geburtsdatum meines Freundes auf der rechten Seite des Bilds?” Indem die Metadaten aus der Fotografie (z. B. ein Element, das den Freund identifiziert) mit einer Datenbank von Informationen (z. B. aus einer Social-Media-Website, für die der Freund eine Zugangsberechtigung hat) korreliert werden, kann durch die Datenabfragelogik (z. B. die in der Auslastungsschicht 66 aus 3 gezeigte „Informationsabfrage-Verarbeitung”) das Geburtsdatum des Freunds erhalten werden.
Bei einer Ausführungsform der vorliegenden Offenbarung wird das erste Format für eine Spracherkennung verwendet, das zweite Format wird für eine Fotografie verwendet, und das Objekt, auf das sich die Frage bezieht, wird in der Fotografie nicht gezeigt. Bei dieser Ausführungsform verwendet der Informationsserver die in der Fotografie eingebetteten Informationen, um zusätzliche Informationen zu dem Objekt abzurufen, das in der Fotografie nicht gezeigt wird, wobei die zusätzlichen Informationen über die eingebetteten Informationen hinausgehen. So soll die Fotografie zum Beispiel durch die Kamera 420 aufgenommen worden sein, die in 4 gezeigt wird, und die GPS-Logik 432 oder eine ähnliche Positionsbestimmungslogik soll die Fotografie mit einem Meta-Element versehen haben, das Uhrzeit, Datum und Ort der Aufnahme der Fotografie angibt. Darüber hinaus soll die Fotografie ein „Selfie” eines Benutzers mit einem Freund bei einem Musikfestival sein, und die (sofort oder zu einem späteren Zeitpunkt gestellte) Frage soll lauten: „Welche Musikgruppe hat gespielt, als dieses Bild aufgenommen wurde?”, obwohl die betreffende Musikgruppe in der Fotografie nicht sichtbar ist. Indem die Metadaten aus der Fotografie mit einer Liste der Musikgruppen (und sogar mit Liedern aus einer Liste der gespielten Lieder) für jeden bestimmten Zeitpunkt korreliert werden, kann durch die Datenabfragelogik (z. B. die in der Auslastungsschicht 66 aus 3 gezeigte „Informationsabfrage-Verarbeitung”) der Name der Musikgruppe erhalten werden.
Bei einer Ausführungsform der vorliegenden Offenbarung wird die Informationsanforderung durch einen spezifischen Benutzer erzeugt, und das Verfahren weist des Weiteren auf, die Informationsanforderung einem Benutzerprofil des spezifischen Benutzers zuzuordnen; und die Antwort auf die Informationsanforderung auf Grundlage des Benutzerprofils zuzuschneiden. So unterscheiden sich, wie oben beschrieben, die Informationen zu einem Vogel zum Beispiel abhängig davon, ob der Benutzer ein Jäger oder ein Ornithologe ist.
Bei einer Ausführungsform der vorliegenden Offenbarung empfängt der Informationsserver eine physische Geste eines Benutzers und verwendet die physische Geste dann als zusätzliche Erweiterungsinformationen zu dem Objekt. So soll der Benutzer der elektronischen Einheit 402 zum Beispiel ein Video und/oder eine Fotografie einer Gruppe von Autos aufnehmen. Womöglich interessiert sich der Benutzer für Hersteller und Modell eines bestimmten Autos (oder, im Falle eines Rennwagens auf einer Rennstrecke, für den Fahrer eines bestimmten Rennwagens) in dem Video/der Fotografie. Um anzugeben, welches Auto der Gegenstand der Benutzerfrage „Welche Art von Auto ist das?” oder „Wer ist der Fahrer dieses Rennwagens?” ist, kann der Benutzer eine Handgeste in die Fotografie/das Video aufnehmen, z. B. ein Zeigen mit einem Finger, einen Kreis, der durch Daumen und Zeigefinger gebildet wird, usw., um anzugeben, welches Auto er meint.
Wie hier und in einer oder mehreren Ausführungsformen beschrieben, ermöglicht die vorliegende Offenbarung einem Benutzer, mit Spracherkennungssoftware eine Suche anzufordern, während er zugleich über nicht sprachliche Eingaben weitere Einzelheiten zu der Suchanforderung bereitstellt. Die vorliegende Offenbarung ermöglicht einen intelligenten, automatisierten Assistenten mit Spracherkennungsfähigkeit, um Abbildungen, Fotos, Klänge, chemische Signaturen usw. zu analysieren und dadurch besser zu verstehen, um welche Art von Suchanforderung es sich handelt. Wie hier beschrieben, kann ein Benutzer mit einer mobilen Einheit (z. B. ein Smartphone) in Echtzeit auf ein Objekt zeigen, um mehr über die (z. B. visuellen, akustischen, olfaktorischen usw.) Merkmale dieses Objekts herauszufinden. Somit stellt die vorliegende Offenbarung eine technologische Verbesserung gegenüber dem Stand der Technik dar, die bisher nicht verfügbar und/oder dem Fachmann nicht bekannt war.
Die hier verwendete Begrifflichkeit dient lediglich zur Beschreibung bestimmter Ausführungsformen und ist nicht als Beschränkung der vorliegenden Offenbarung gedacht. Im hier verwendeten Sinne sollen die Singularformen „ein/e/r” und ”der/die/das” auch die Pluralformen beinhalten, sofern der Kontext dies nicht eindeutig anderweitig vorgibt. Ebenso offensichtlich dürfte sein, dass die Verben „weist auf” und/oder „aufweisend” in dieser Patentschrift das Vorhandensein der genannten Merkmale, Ganzzahlen, Schritte, Operationen, Elemente und/oder Komponenten angeben, ohne jedoch das Vorhandensein oder die Hinzufügung von einem/einer oder mehreren anderen Merkmalen, Ganzzahlen, Schritten, Operationen, Elementen, Komponenten und/oder Gruppen derselben auszuschließen.
Die betreffenden Strukturen, Materialien, Handlungen und Äquivalente aller Mittel oder Schritte zusätzlich zu den Funktionselementen in den nachstehenden Ansprüchen sollen sämtliche Strukturen, Materialien oder Handlungen beinhalten, mit denen die Funktion in Verbindung mit anderen beanspruchten Elementen durchgeführt werden kann, wie sie hier ausdrücklich beansprucht sind. Die Beschreibung von verschiedenen Ausführungsformen der vorliegenden Offenbarung wurde zum Zwecke der Veranschaulichung und Erläuterung vorgelegt und ist mit Blick auf die in dieser Form beschriebene vorliegenden Erfindung nicht als vollständig oder beschränkend zu verstehen. Der Fachmann weiß, dass zahlreiche Änderungen und Abwandlungen möglich sind, ohne vom inhaltlichen Umfang der vorliegenden Offenbarung abzuweichen. Die Ausführungsform wurde ausgewählt und beschrieben, um die Grundsätze der vorliegenden Offenbarung und die praktische Anwendung bestmöglich zu erläutern und um anderen Fachleuten die Möglichkeit zu geben, die vorliegende Erfindung mit Blick auf verschiedene Ausführungsformen mit verschiedenen Abwandlungen zu verstehen, wie sie für die jeweilige, in Erwägung gezogene Verwendung geeignet sind.
Alle in der vorliegenden Offenbarung beschriebenen Verfahren können durch die Verwendung eines VHDL-Programms (VHSIC Hardware Description Language) und eines VHDL-Chips realisiert werden. VHDL ist eine als Beispiel dienende Eingabesprache für feldprogrammierbare Gatter-Arrays (Field Programmable Gate Arrays, FPGAs), anwendungsspezifische integrierte Schaltungen (Application Specific Integrated Circuits, ASICs) und ähnliche elektronische Einheiten. Somit kann jedes hier beschriebene Verfahren durch ein VHDL-Programm auf der Grundlage von Hardware emuliert werden, welches anschließend auf einen VHDL-Chip wie z. B. ein FPGA angewendet wird.
Nachdem Ausführungsformen der vorliegenden Offenbarung der vorliegenden Patentanmeldung detailliert und mit Bezug auf ihre veranschaulichenden Ausführungsformen beschrieben wurden, dürfte offensichtlich sein, dass Änderungen und Abwandlungen möglich sind, ohne vom inhaltlichen Umfang der vorliegenden Offenbarung abzuweichen, wie er in den beigefügten Ansprüchen definiert ist.

Claims

Elektronische Einheit, aufweisend: ein Mikrofon zum Empfangen einer mündlichen Informationsanforderung zu einem nicht näher bestimmten Objekt; einen Sensor zum Empfangen von Erweiterungsinformationen zu dem nicht näher bestimmten Objekt; Kombinationslogik zum Kombinieren von Informationen aus der mündlichen Anforderung mit den Erweiterungsinformationen zu einer Informationsanforderung mit kombiniertem Format; und Informationsabruflogik zum Abrufen einer Antwort auf die Informationsanforderung mit kombiniertem Format.
Elektronische Einheit nach Anspruch 1, des Weiteren aufweisend: einen Sender zum Übertragen der Informationsanforderung mit kombiniertem Format an einen Informationsserver.
Elektronische Einheit nach Anspruch 1, wobei der Sensor eine Kamera ist.
Elektronische Einheit nach Anspruch 1, wobei der Sensor ein chemischer Sensor ist.
Elektronische Einheit nach Anspruch 1, wobei der Sensor eine Kamera ist, die ein Videobild aufzeichnet, wobei das nicht näher bestimmte Objekt ein Objekt ist, das in dem Videobild nicht vorkommt, und wobei die elektronische Einheit zugreift auf: eine Metadatenabruflogik, wobei die Metadatenabruflogik aus dem durch die Kamera aufgenommenen Videobild Metadaten abruft, die das Videobild beschreiben. Korrelationslogik, die Informationen aus den Metadaten korreliert, um Informationen zu dem nicht näher bestimmten Objekt zu identifizieren und eine Antwort auf die Anforderung mit kombiniertem Format zu erzeugen.
Verfahren zum Erweitern einer Informationsanforderung, wobei das Verfahren aufweist: Empfangen einer Informationsanforderung zu einem Objekt durch einen Informationsserver, wobei die Informationsanforderung von einer elektronischen Einheit stammt und wobei die Informationseinheit in einem ersten Format vorliegt; Empfangen von Erweiterungsinformationen zu dem Objekt durch den Informationsserver, wobei die Erweiterungsinformationen durch die elektronische Einheit erzeugt werden und wobei die Erweiterungsinformationen in einem zweiten Format vorliegen, das sich von dem ersten Format unterscheidet; und Erzeugen einer Antwort auf die Informationsanforderung auf Grundlage der Erweiterungsdaten durch den Informationsserver.
Verfahren nach Anspruch 6, wobei das erste Format für eine Spracherkennung verwendet wird und wobei das zweite Format für eine Videodatei verwendet wird, die durch eine Kamera in der elektronischen Einheit erzeugt wird.
Verfahren nach Anspruch 6, wobei das erste Format für eine Spracherkennung verwendet wird und wobei das zweite Format für eine Audiodatei verwendet wird, die durch ein Mikrofon in der elektronischen Einheit erzeugt wird.
Verfahren nach Anspruch 6, wobei das erste Format für eine Spracherkennung verwendet wird und wobei das zweite Format für ein Textdokument verwendet wird, das von der elektronischen Einheit empfangen wird.
Verfahren nach Anspruch 6, wobei das erste Format für eine Spracherkennung verwendet wird und wobei das zweite Format für ein Grafikdokument verwendet wird, das in der elektronischen Einheit gespeichert wird.
Verfahren nach Anspruch 6, wobei das erste Format für eine Spracherkennung verwendet wird und wobei das zweite Format für eine chemische Signatur verwendet wird, die durch einen chemischen Sensor in der elektronischen Einheit erzeugt wird.
Verfahren nach Anspruch 6, wobei das erste Format für eine Spracherkennung verwendet wird; wobei das zweite Format für eine Fotografie verwendet wird, wobei das Objekt in der Fotografie gezeigt wird und wobei das Verfahren des Weiteren aufweist: Abrufen der in der Fotografie eingebetteten Informationen zu dem in der Fotografie gezeigten Objekt durch den Informationsserver, wobei die eingebetteten Informationen das in der Fotografie gezeigte Objekt beschreiben; und Herausfinden von zusätzlichen Informationen zu dem Objekt in der Fotografie auf Grundlage der eingebetteten Informationen durch den Informationsserver, so dass die zusätzlichen Informationen über die eingebetteten Informationen hinausgehen.
Verfahren nach Anspruch 6, wobei das erste Format für eine Spracherkennung verwendet wird; wobei das zweite Format für eine Fotografie verwendet wird, wobei das Objekt in der Fotografie nicht gezeigt wird und wobei das Verfahren des Weiteren aufweist: Verwenden der in der Fotografie eingebetteten Informationen durch den Informationsserver, um zusätzliche Informationen zu dem Objekt abzurufen, das in der Fotografie nicht gezeigt wird, wobei die zusätzlichen Informationen über die eingebetteten Informationen hinausgehen.
Verfahren nach Anspruch 6, wobei die Informationsanforderung durch einen spezifischen Benutzer erzeugt wird und wobei das Verfahren des Weiteren aufweist: Zuordnen der Informationsanforderung zu einem Benutzerprofil des spezifischen Benutzers; und Zuschneiden der Antwort auf die Informationsanforderung auf Grundlage des Benutzerprofils.
Verfahren nach Anspruch 6, des Weiteren aufweisend: Empfangen einer physischen Geste eines Benutzers durch den Informationsserver; und Verwenden der physischen Geste als zusätzliche Erweiterungsinformationen zu dem Objekt durch den Informationsserver.
Computerprogrammprodukt zum Erweitern einer Informationsanforderung, wobei das Computerprogrammprodukt ein computerlesbares Speichermedium mit darin enthaltenem Programmcode aufweist, wobei das computerlesbare Speichermedium kein flüchtiges Signal an sich ist und wobei der Programmcode durch einen Prozessor lesbar und ausführbar ist, um ein Verfahren durchzuführen, aufweisend: Empfangen einer Informationsanforderung zu einem Objekt, wobei die Informationsanforderung von einer elektronischen Einheit stammt und wobei die Informationseinheit in einem ersten Format vorliegt; Empfangen von Erweiterungsinformationen zu dem Objekt, wobei die Erweiterungsinformationen durch die elektronische Einheit erzeugt werden und wobei die Erweiterungsinformationen in einem zweiten Format vorliegen, das sich von dem ersten Format unterscheidet; und Erzeugen einer Antwort auf die Informationsanforderung auf Grundlage der Erweiterungsinformationen.
Computerprogrammprodukt nach Anspruch 16, wobei das erste Format für eine Spracherkennung und wobei das zweite Format für eine Videodatei verwendet wird.
Computerprogrammprodukt nach Anspruch 16, wobei das erste Format für eine Spracherkennung verwendet wird und wobei das zweite Format für eine chemische Signatur verwendet wird, die durch einen chemischen Sensor in der elektronischen Einheit erzeugt wird.
Computerprogrammprodukt nach Anspruch 16, wobei das erste Format für eine Spracherkennung verwendet wird; wobei das zweite Format für eine Fotografie verwendet wird, wobei das Objekt in der Fotografie gezeigt wird und wobei das Verfahren des Weiteren aufweist: Abrufen der in der Fotografie eingebetteten Informationen zu dem in der Fotografie gezeigten Objekt, wobei die eingebetteten Informationen das in der Fotografie gezeigte Objekt beschreiben; und Herausfinden von zusätzlichen Informationen zu dem Objekt in der Fotografie auf Grundlage der eingebetteten Informationen, wobei die zusätzlichen Informationen über die eingebetteten Informationen hinausgehen.
Computerprogrammprodukt nach Anspruch 16, wobei das erste Format für eine Spracherkennung verwendet wird; wobei das zweite Format für eine Fotografie verwendet wird, wobei das Objekt in der Fotografie nicht gezeigt wird und wobei das Verfahren des Weiteren aufweist: Verwenden der in der Fotografie eingebetteten Informationen, um zusätzliche Informationen zu dem Objekt abzurufen, das in der Fotografie nicht gezeigt wird, wobei die zusätzlichen Informationen über die eingebetteten Informationen hinausgehen.