DE60127754T2

DE60127754T2 - Sprachsteuerungssystem für Haushaltsgeräte

Info

Publication number: DE60127754T2
Application number: DE60127754T
Authority: DE
Inventors: Toshinobu Kadoma-shi Kawasaki; Yoshiyuki Kadoma-shi Komoda; Yoshihiko Kadoma-shi Tokunaga; Yukio Kadoma-shi Okada; Hirotatsu Kadoma-shi Shinomiya; Takehito Kadoma-shi Hayami
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2000-05-11
Filing date: 2001-05-02
Publication date: 2007-12-27
Anticipated expiration: 2021-05-03
Also published as: KR20010104252A; DE60127754D1; EP1154406B1; US6988070B2; EP1154406A1; JP2001319045A; TWI244637B; US20010041982A1; CN1160701C; CN1324175A; KR100413622B1

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft ein Sprachsteuerungssystem für Haushaltsgeräte und insbesondere ein Sprach-basiertes Hausautomationssystem zum Verwalten der Haushaltsgeräte.
TECHNOLOGISCHER HINTERGRUND
Es ist ein Türtelefonsystem vorgeschlagen worden, das Haushaltsgeräte, die mit einer Master-Station des Systems über ein internes Netzwerk verbunden sind, überwachen kann. In diesem System wird die Steuerung der Geräte nur auf der Seite der Master-Station durchgeführt, d.h. durch Betätigen von Tasten oder Schaltern bei Betrachtung eines Bildschirms in der Master-Station. Daher ist das System für ältere oder schwachsichtige Personen nicht leicht zugänglich.
EP-A-0911808 offenbart ein Sprachsteuerungssystem für Haushaltsgeräte gemäß dem Oberbegriff von Anspruch 1.
OFFENBARUNG DER ERFINDUNG
Angesichts der obengenannten Unzulänglichkeit besteht die Aufgabe der vorliegenden Erfindung darin, ein Sprachsteuerungssystem bereitzustellen, das zum Betreiben von Haushaltsgeräten leicht zu bedienen ist.
Gemäß einem ersten Aspekt wird diese Aufgabe durch ein Sprachsteuerungssystem gemäß Anspruch 1 gelöst.
Das mobile TP-Programm kann ein Migrationsmodul aufweisen, das die Anweisung analysiert, um eine zugehörige Adresse des gewünschten Geräts, d.h. des darin enthaltenen lokalen Computerterminals zu suchen, und bewegt das mobile TP-Programm selbst zum lokalen Computerterminal zum Ausführen desselben. Damit das mobile TP-Programm vielseitige Funktionen aufweist, kann es ein Spracherkennungsmodul enthalten, das die Spracherkennungseinrichtung bildet. Dies ist besonders vorteilhaft, wenn das System mehr als einen HAS enthält, da jeder HAS auf die Spracherkennungseinrichtung separat vom mobilen TP-Programm verzichten kann. In gleicher Weise kann das Programm ferner ein Textverfassungsmodul, das einen zu einer speziellen Steuerung des elektrischen Geräts gehörigen Text liefert, und ein Spracherzeugungsmodul enthalten, das den Text in eine Sprachnachricht zur Ausgabe von dem Lautsprecher zur Bestätigung der Annahme der Sprachanfrage eines Benutzers und/oder des Abschlusses der gewünschten Steuerung umwandelt.
Vorzugsweise ist der HAS mit einer Datenübertragungsschnittstelle zum Verbinden des HAS mit dem internen (In-house-) Netzwerk sowie mit einem äußeren Informationsnetzwerk, wie dem Internet, zur gegenseitigen Verbindung mit anderen durch das Informationsnetzwerk verbundenen Stationen versehen. Ferner kann der HAS eine Adreßliste enthalten, die Adressen der Geräte und Stationen, die von dem auf dem HAS laufenden MAP gesucht werden, speichert, um ein gewünschtes Gerät oder eine Station zu bezeichnen, wo ein durch die Anfrage des Benutzers verlangter vorgesehener Prozeß ausgeführt werden soll. Das heißt, daß das Migrationsmodul als erstes die Adresse des gewünschten Geräts oder der gewünschten Station unter Bezugnahme auf die Adreßliste sucht und danach ermöglicht, daß sich das mobile TP-Programm selbst zum gewünschten Gerät oder zur gewünschten Station zur dortigen Ausführung des mobilen TP-Programms bewegt und den durch die Anfrage des Benutzers verlangten vorgesehenen Prozeß ausführt.
Das System kann ferner Personenanwesenheitssensoren enthalten, die in verschiedenen Räumen des Hauses installiert und mit dem HAS verbunden werden sollen, um ein Detektionssignal an den HAS zu liefern, das einen speziellen der Räume, wo sich der Benutzer befindet, anzeigt. In diesem Zusammenhang ist entweder der HAS oder das TP-Programm so gestaltet, daß er bzw. es ein Raumortungsmodul enthält, das den speziellen Raum unter Bezugnahme auf das Detektionssignal identifiziert und die Anweisung erteilt, die Sprachnachricht aus dem Lautsprecher, der zu dem auf diese Weise identifizierten Raum gehört, auszugeben. Dies ist besonders nützlich, um eine direkte Antwort an den Benutzer zu geben, wenn die Anfrage des Benutzers in das Mikrofon gegeben wird, das an einem mobilen Terminal getragen wird, das mit dem internen Netzwerk durch Funk verbunden ist.
Ferner kann entweder das TP-Programm oder der HAS außerdem ein Sprachortungsmodul enthalten, das einen Platz des Benutzers ortet, der die an dem Mikrofon empfangene Sprachanfrage ausgibt, und die Anweisung erteilt, die Sprachnachricht von dem Lautsprecher, der zu dem auf diese Weise georteten Platz gehört, auszugeben. Das heißt, daß das Sprachortungsmodul den Benutzer identifiziert und dann den Raum abschätzt, in dem sich der Benutzer voraussichtlich befindet. Somit kann die Sprachnachricht von dem System an den Benutzer in dem erwarteten Raum abgegeben werden.
Ferner kann das System eine Vielzahl von Spezial-TP-Pogrammen enthalten, die jeweils einzelnen Benutzern zur Begrenzung von einem oder mehreren der für die Benutzer zugänglichen Geräte zugeordnet sind. In diesem Zusammenhang ist das Benutzeridentifizierungsmodul bei dem HAS vorgesehen, um den Benutzer anhand der Sprachanfrage zu identifizieren, wählt es eines der dem identifizierten Benutzer zugeordneten Spezial-TP-Programme aus und ermöglicht es, daß das Spezial-TP-Programm ausgeführt wird. Somit kann die Sprachanfrage des Benutzers von dem Spezial-TP-Pogramm gehandhabt werden, das dem Benutzer zugeordnet ist, der die Anfrage ausgibt, wodurch eine effektive und konsistente Verwaltung (Management) der Haushaltsgeräte erzielt wird.
Wenn die Spezial-TP-Programme jeweils als ein Mobile Agent-Programm gestaltet sind, das sich von dem HAS zum gewünschten Gerät bewegen kann, kann jedes TP-Programm ausreichend kompakt gemacht werden, um sich schnell um die Geräte für eine schnelle Ausführung und somit ein effizientes Management der Haushaltsgeräte zu bewegen.
Damit das TP-Programm kompakt wird, ist ferner der HAS so gestaltet, daß er mindestens eine, und vorzugsweise alle von der Spracherkennungseinrichtung, der Textverfassungseinrichtung und der Spracherzeugungseinrichtung enthält.
Das System kann ferner einen Personalcomputer enthalten, der mit einer Anzeige zusätzlich zu dem Mikrofon und dem Lautsprecher ausgestattet ist. Der Personalcomputer ist mit dem HAS über das interne Netzwerk zum Senden der an dem Mikrofon empfangenen Anfrage des Benutzers an das auf dem HAS laufende TP-Programm verbunden. In diesem Fall weist das TP-Programm eine Funktion des Sendens des von dem Textverfassungsmodul gelieferten Textes an die Anzeige des Personalcomputers zur optischen Bestätigung der Annahme der Sprachanfrage des Benutzers und/oder des Abschlusses der gewünschten Steuerung auf.
Der HAS kann ferner eine Telefonschnittstelle zu einem öffentlichen Telefonnetz zur gegenseitigen Verbindung mit einem Mobiltelefon aufweisen, das ein spezielles TP-Programm mitführt, das ein Mobil Agent-Programm ist, das sich von dem Mobiltelefon zu dem HAS oder dem lokalen Computerterminal des Geräts zur dortigen Ausführung bewegen kann. Das spezielle TP-Programm ist so gestaltet, daß es beim Laufen auf dem Mobiltelefon eine Sprachanfrage eines Benutzers zur Verwaltung der Geräte annimmt, und enthält ein Spracherkennungsmodul ein Anweisungsinterpretierungsmodul und ein Migrationsmodul.
Die in dem Spracherkennungsmodul erkannte Sprachanfrage wird in dem Anweisungsinterpretierungsmodul interpretiert, das eine spezielle Anweisung, die ein gewünschtes Gerät und ein Verfahren zur Steuerung des gewünschten Gerätes angibt, vorbereitet. Als Antwort auf die Anweisung bewegt das Migrationsmodul das spezielle TP-Programm zum HAS oder zum lokalen Computerterminal zur Ausführung des Verfahrens für das gewünschte Gerät. Durch Einschluß des Mobiltelefons, auf dem das spezielle TP-Programm läuft, kann der Benutzer die Haushaltsgeräte über das Telefonnetz von außerhalb des Hauses managen bzw. verwalten.
Diese und weitere Aufgaben und vorteilhafte Merkmale der vorliegenden Erfindung werden anhand der folgenden ausführlichen Beschreibung der Ausführungsform in Verbindung mit den beigefügten Zeichnungen ersichtlicher werden.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 zeigt ein Diagramm, das ein Sprachsteuerungssystem für Haushaltsgeräte gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung darstellt;
2 zeigt ein Blockdiagramm, das eine Struktur eines Hausüberwachungs-Servers (Home Agent Server (HAS)) darstellt, der in dem obigen System verwendet wird;
3 zeigt ein Blockdiagramm, das eine Struktur eines Transaktionsverarbeitungs (Transaction Processing (TP))-Programms darstellt, das auf dem HAS läuft;
4 zeigt ein Flußdiagramm, das die Funktion des Systems von 2 darstellt;
5 zeigt ein Blockdiagramm, das eine Systemkonfiguration darstellt, die ein mobiles TP-Programm verwendet, und
6 zeigt eine Flußdiagramm, das die Funktion des Systems von 5 darstellt.
AUSFÜHRLICHE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
In 1 wird ein Sprachsteuerungssystem gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung gezeigt. Das System weist einen Hausüberwachungs-Server (Home Agent Server (HAS)) 20 auf, auf dem ein Transaktionsverarbeitungsprogramm (Transaction Processing (TP))-Programm zum Managen bzw. Verwalten von Haushaltsgeräten, zum Beispiel eine Leuchte 201, eine Klimaanlage 202, eine Tür 203 mit einem elektrisch betätigten Türriegel und dergleichen einschließend, läuft. Das TP-Programm wird von dem HAS 20 grundsätzlich durchgeführt, um eine Steuerung eines gewünschten Geräts als Antwort auf die Sprachanfrage eines Benutzers zu liefern, wie dies später im Detail erörtert wird. Der HAS 20 ist in einem Hausinformations- und -energieverteilzentrum 100 als Tor zur Verbindung eines internen Netzwerkes 10 und eines internen Telefonnetzes mit einem externen Telefonnetz 14 sowie einem Informationsnetz 15, wie zum Beispiel dem Internet, installiert. In der dargestellten Ausführungsform wird das interne Netzwerk durch Energieverteilungsleitungen 11 realisiert, die von einem Verteiler abzweigen, der in dem Zentrum 100 untergebracht ist, und zu jeweiligen Räumen, zum Beispiel Wohnzimmer 111, Schlafzimmer 112 und einem Kinderzimmer 113 zum Speisen der darin installierten Hausgeräte führen. Der HAS 20 enthält zusätzlich zum internen Netzwerk 10 Kommunikationsschnittstellen 25 und 26 für das externe Telefonnetzwerk und das Informationsnetzwerk 15 direkt oder über das Telefonnetzwerk 14. Außerdem ist der HAS 20 mit einer Hausverwaltungsdatenbank 40 verbunden, die zahlreiche Informationen bezüglich der Geräte und Hausbewohner speichert, sowie mit einer Datenbank 48 mit privaten Informationsdiensten verbunden ist, die zum Liefern von Informationsdiensten für teilnehmende Benutzer über das Informationsnetzwerk 15 oder über eine private Leitung dient. Der Informationsdienst schließt einen Wetterbericht, eine Wörterbuchsuche und zahlreiche Dienste ein, die in der heutigen Informationsnetzwerktechnologie zur Verfügung stehen.
Außerdem sind in dem System Sets aus einem Mikrofon 51 und einem Lautsprecher 52 enthalten, die jeweils in jedem Raum und an gleichen Plätzen vorgesehen und über das interne Netzwerk 10 mit dem HAS 20 verbunden sind. Das Mikrofon 51 empfängt die Sprachanfrage eines Benutzers und sendet sie an den HAS 20, wo das TP-Programm zum Managen des gewünschten Geräts in einer Weise ausgeführt wird, wie sie durch die Sprachanfrage spezifiziert wird, während der Lautsprecher 52 eine in dem HAS 20 erzeugte Sprachnachricht zur Bestätigung der Annahme der Benutzeranfrage und/oder des Abschlusses der gewünschten Steuerung ausgibt. Das Set aus Mikrofon und Lautsprecher ist in einer Decke oder Wand, in einem für den Betrieb der Geräte vorgesehenen Schalterkasten, in einem Deckenanschluß 210 zum Verbinden mit der Leuchte und in der Leuchte oder in einem ähnlichen Gerät selbst montiert. Das System enthält außerdem optional einen oder mehrere Personalcomputer 60 und einen oder mehrere Personanwesenheitssensor(en) 54. Der Personalcomputer 60, der mit einem Mikrofon 61, einem Lautsprecher 62 und einer Anzeige 63 ausgestattet ist, ist über ein Kabel oder Funk mit dem internen Netzwerk 10 für eine wechselseitige Kommunikation mit dem HAS 20 verbunden. Der Personenanwesenheitssensor 54 ist mit dem internen Netzwerk 10 verbunden und liefert ein Personendetektionssignal an den HAS 20, ob sich eine Person in dem Raum befindet. Das Detektionssignal wird von dem TP-Programm verarbeitet und liefert eine Extrafunktion, wie dies später erörtert wird.
Das System kann ferner ein Mobiltelefon 70 enthalten, in das ein spezielles TP-Programm geladen ist, das die Sprachanfrage des Benutzers an einem eingebauten Mikrofon empfängt und die Haushaltsgeräte über das Telefonnetzwerk 14 und den HAS 20 managt. Zusätzlich kann das System mit einem Datendienstzentrum 20, wie demjenigen, das in einem Krankenhaus vorgesehen ist, für Datenaustausch zwischen dem Dienstzentrum 80 und den Benutzern in dem Haus mittels des Internets 15 verbunden sein. Das Datendienstzentrum 80 enthält eine Datenbank 81, die für autorisierte Benutzer des Systems zugänglich ist, um dem Benutzer zu ermöglichen, Aufzeichnungen über die Benutzer zu finden und zu aktualisieren.
Vor Erörterung der einzelnen Betriebsweisen des HAS 20 und des TP-Programms wird bemerkt, daß das System zwei Arten der TP-Programm verwenden kann, eine, die einzig aus dem HAS 20 zum Managen der Geräte von einfacher Art läuft, und die andere, die ein Mobile Agent-Programm ist, das sich vom HAS 20 zum Gerät von komplexer Art bewegen kann, das mit einem lokalen Computerterminal ausgestattet ist, wo das TP-Programm zur Steuerung des Geräts ausgeführt wird. In der dargestellten Ausführungsform ist das Gerät mit der komplexen Art die Klimaanlage 202, während die typischen Geräte von einfacher Art die Leuchte 201 und die Tür 203 einschließen. Zur Steuerung der einfachen Geräte gibt das TP-Programm (nachfolgend als das stationäre TP-Programm bezeichnet) ein Steuersignal aus, das über das interne Netzwerk 10 gesendet wird, um das gewünschte Gerät ein- und auszuschalten. Andererseits wird das TP-Programm der mobilen Art (nachfolgend als das mobile TP-Programm bezeichnet) selbst über das interne Netzwerk 10 zum gewünschten Gerät geschickt, um dort zur Steuerung des Geräts ausgeführt zu werden, und nach Abschluß der angeforderten Steuerung zum HAS zurückgesendet.
In diesem Zusammenhang wird angemerkt, daß die TP-Programme jeweils in Form eines implementierungsunabhängigen Programms bereitgestellt werden, das, zum Beispiel, mittels der Java-Programmiersprache geschrieben ist, die in vielen Betriebssystemen ausgeführt werden kann, in denen die Java-Virtual-Machine sowie eine zugehörige Software-Plattform geladen ist, die als das Class Loading Model von Java bekannt ist und für die Serialisierung, den Verfahrensaufruf aus der Ferne (remote method invocation), Multithreading und Reflexion verantwortlich ist.
2 stellt die Struktur des HAS 20 dar, auf dem das stationäre TP-Programm 30 läuft. Zusätzlich zum TP-Programm ist in den HAS 20 ein peripheres Steuerprogramm geladen, das ein Spracherkennungsmodul 21, ein Spracherzeugungsmodul 22, ein Textverfassungsmodul 24, ein Steuersignalausgabemodul 23, eine interne Kommunikationsschnittstelle 25 und eine öffentliche Kommunikationsschnittstelle 26 definiert. Das Spracherkennungsmodul 21 empfängt die Sprachanfrage eines Benutzers, zum Beispiel "Lampe ein", die an einem der Mikrofone 51 empfangen wurde, und extrahiert den Inhalt derselben unter Bezugnahme auf eine Sprachbefehlliste 27, die zahlreiche Sprachbefehle und die mit den jeweiligen Befehlen in Beziehung stehenden Inhalte speichert. Das Spracherzeugungsmodul 22 ist zum Erzeugen der Sprachnachricht aus einem Text vorgesehen, der von dem Textverfassungsmodul 24 bereitgestellt wird. Die Sprachnachricht wird danach an den gewünschten Lautsprecher 52 für eine Sprachbestätigung der Annahme der Sprachanfrage des Benutzers und/oder des Abschlusses der gewünschten Steuerung gesendet. Das Steuersignalausgabemodul 23 ist zum Erzeugen des Steuersignals gemäß einem Ausgabebefehl von dem TP-Programm 30 zur Steuerung des einfachen Geräts 201 oder 203 vorgesehen. Das Steuersignal wird über das interne Netzwerk 10 an das gewünschte Gerät zur Steuerung desselben gesendet. Für diesen Zweck ist die interne Kommunikationsschnittstelle 25 zum Senden des Steuersignals, das einer Versorgungsspannung für das Gerät überlagert ist, gestaltet. Die öffentliche Kommunikationsschnittstelle 26 ermöglicht, daß das TP-Programm 30 auf das öffentliche Informationsnetzwerk oder Internet 15 entsprechend der Sprachanfrage des Benutzers zugreift, um gewünschte Ergebnisse oder Dienste von zahlreichen Stationen, die mit dem Internet verbunden sind, zu erhalten.
Wie in 2 gezeigt, enthält das stationäre TP-Programm 30 ein Steuerzentrum 31 mit einem Anweisungsinterpretierungsmodul 32, einem Gerätesteuermodul 37 und einem Datenbankrecherchemodul 38. Wie in 3 gezeigt, enthält das Steuerzentrum 31 ferner ein Raumortungsmodul 33, ein Sprachortungsmodul 34, ein Benutzeridentifizierungsmodul 35 und ein Zugangsgenehmigungsmodul 36. Das Anweisungsinterpretierungsmodul 31 analysiert den Inhalt der Sprachanfrage und ermittelt eine spezielle Anweisung, die durch die Anfrage des Benutzers beabsichtigt ist. Wie in dem Flußdiagramm von 4 gezeigt, wird als erstes ermittelt, ob die Anweisung die Steuerung des Geräts oder den Informationsdienst betrifft. Wenn die Anweisung die Steuerung des Geräts betrifft, dann ermittelt das Modul 31 das gewünschte Gerät und ein angefordertes Verfahren zur Steuerung desselben. Danach geht das Gerätesteuerkontrollmodul 37 zur Bezugnahme auf eine Gerätesteuerlist 41 über, um Steuerinformationen, z.B. Argument oder Parameter, der sich auf das gewünschte Gerät bezieht, abzurufen, und erzeugt es das Steuersignal zur Steuerung des gewünschten Gerätes in einer von dem Benutzer geforderten Weise und gibt dies aus. Danach überwacht das Modul 37 den Zustand des gewünschten Geräts, um davon ein Steuerungsergebnis zu erhalten, und leitet dies an das Modul 32, das wiederum das Texterfassungsmodul 24 anweist, einen Text zu erzeugen, der das Steuerungsergebnis angibt. Der Text wird danach an das Spracherzeugungsmodul 22 gesendet, um in die Sprachnachricht umgewandelt zu werden, die an den Lautsprecher 52 gesendet wird, um dem Benutzer eine Sprachbestätigung des Ergebnisses zu liefern. Das Anweisungsinterpretierungsmodul 32 weist auch die Funktion auf, das Textverfassungsmodul 24 anzuweisen, einen Text zu liefern, der die Annahme der Anfrage des Benutzers ausdrückt. Der Text wird nachfolgend im Spracherzeugungsmodul 22 in eine korrespondierende Sprachannahmenachricht umgewandelt, die von dem Lautsprecher 42 ausgegeben wird.
Die Sprachnachricht wird an den Lautsprecher 52 gesendet, der in demselben Raum installiert ist, in dem das Mikrofon 51 die Sprachanfrage des Benutzers empfängt. Wenn die Anfrage des Benutzers in dem Mikrofon in dem Personalcomputer 60 von mobiler Art, wie einem tragbaren Computer, empfangen wird, wird jedoch die Sprachnachricht zu dem Lautsprecher des Raumes gesendet, in dem sich der Benutzer befindet. Für diesen Zweck ist das Raumortungsmodul 33 in dem Steuerzentrum 31 (3) enthalten, um den Raum, in dem sich der Benutzer befindet, auf der Grundlage des Detektionssignals zu finden, das von dem Personenanwesenheitssensor 54 gesendet wird, wenn die Sprachanfrage des Benutzers nicht mit einer Kennzeichnung (tag) versehen ist, die den Ort des Mikrofons angibt. Auf der Grundlage der Adresse oder Daten des auf diese Weise gefundenen Raumes benennt das Steuerzentrum 31 den Lautsprecher 52 die Ausgabe der Sprachnachricht an den Benutzer in dem Raum. Außerdem liefert das Raumortungsmodul 33 auch die Informationen zum Identifizieren des korrekten Gerätes, wenn mehr als ein Gerät derselben Art auf verschiedene Räume verteilt ist, zum Beispiel die Leuchten, und der Anfrage des Benutzers die Angabe des speziellen Raumes fehlt, zum Beispiel "Lampe ein". In einem derartigen Fall identifiziert das Raumortungsmodul 33 den Raum und leitet die Daten zum Auffinden der korrekten Adresse des Gerätes in dem Raum für eine zuverlässige Steuerung desselben weiter.
Alternativ oder zusätzlich zum Raumortungsmodul kann das Steuerzentrum 31 das Sprachortungsmodul 34 enthalten, wie dies in 3 gezeigt ist. Das Sprachortungsmodul 34 ordnet einen Sprachabdruck der Sprachanfrage Daten zu, die in einer Liste 43 mit persönlichen Informationen gespeichert werden, die in der Hausverwaltungsdatenbank 40 enthalten ist, um den Benutzer zu identifizieren, der die Anfrage ausgibt, und schätzt danach den Raum, in dem der Benutzer erwartet wird, auch unter Bezugnahme auf die Liste 43 mit persönlichen Informationen ab, die die Beziehung zwischen dem Benutzer und dem zugehörigen Raum speichert. Somit wird der Lautsprecher des auf diese Weise abgeschätzten Raumes von dem Steuerzentrum 31 zur Ausgabe der Sprachnachricht von selbigem ausgewählt. Außerdem wird diese Abschätzung verwendet, um das zu steuernde korrekte Gerät bei Fehlen einer speziellen Benennung des Raumes, zu dem das Gerät gehört, zu finden.
Das Steuerzentrum 31 enthält ferner das Benutzeridentifizierungsmodul 35, das den Benutzer, der die Anfrage abgibt, in derselben Weise wie in dem Sprachortungsmodul 34 identifiziert. Die Daten des auf diese Weise identifizierten Benutzers werden an das Zugangsgenehmigungsmodul 36 gesendet, das darauf mit Bezugnahme auf die Liste 43 mit persönlichen Informationen anspricht, die eine Liste von zahlreichen Steuerverfahren für die Geräte und auf die Benutzer beschränkte Dienste speichert. Danach liefert das Zugangsgenehmigungsmodul 36 an das Anweisungsinterpretierungsmodul 32 Daten, die genehmigten Steuerverfahren und Dienste angeben, die für den identifizierten Benutzer zugänglich sind, so daß das Modul 32 die Ausführung der Anweisung, die durch die Anfrage des Benutzers gefordert wird, nur unter Bezugnahme auf die Steuerverfahren oder Dienste, die für den Benutzer genehmigt sind, ermöglichen kann.
In diesem Zusammenhang kann das System so konfiguriert sein, daß es eine Anzahl von Spezial-TP-Programmen 30 enthält, von denen jedes jedem der Benutzer oder Bewohner zugeordnet ist und speziell programmiert ist, um die Anfrage des Benutzers nur für Geräte, Verfahren oder Dienste auszuführen, die jedem Benutzer als zugänglich zugeordnet sind. In diesem Fall ist das Zugangsgenehmigungsmodul 36 aus dem System entfernt und werden das Benutzeridentifizierungsmodul 35 und das Sprachortungsmodul 34 durch das periphere Steuerprogramm, das auf dem HAS 20 läuft, statt durch das TP-Programm realisiert. Das periphere Steuerprogramm weist die Funktion auf, daß es eines der Spezial-TP-Programme entsprechend dem Benutzer auswählt, der von dem Benutzeridentifizierungsmodul identifiziert wurde, und ermöglicht, daß das ausgewählte TP-Programm zur Steuerung des gewünschten Gerätes oder für einen Zugang zum Dienst läuft. Abgesehen von der Bereitstellung der Vielzahl von Spezial-TP-Programmen kann das System so modifiziert werden, daß eines oder mehrere von dem Spracherkennungsmodul 21, dem Spracherzeugungsmodul 22 und dem Steuersignalausgabemodul 23 in dem TP-Programm enthalten sind.
Nochmals auf die 2 und 4 bezugnehmend, wird das Datenbankrecherchemodul 38, wenn in dem Anweisungsinterpretierungsmodul 32 ermittelt worden ist, daß die Anfrage des Benutzers sich auf den Informationsdienst bezieht, aktiviert, um zu ermitteln, ob der geforderte Informationsdienst dem Zugang zur Datenbank 48 mit privaten Informationen oder zu den Stationen im Internet 15 dienen soll. In jedem Fall bezieht sich das Datenbankrecherchemodul 38 auf eine Stationsadressenliste 42 in der Hausverwaltungsdatenbank 40, um die Adresse für den Zugang zum geforderten Dienst zu suchen. Danach kann das Modul 38 auf eine der Datenbank 48 mit privaten Informationsdiensten und die Station im Internet zugreifen, um ein gefordertes Ergebnis zu erhalten. Wenn das Ergebnis ein Text ist, wird er in die Sprache in dem Spracherzeugungsmodul 22 umgewandelt und aus dem korrespondierenden Lautsprecher 52 ausgegeben, um den Benutzer über das Ergebnis zu informieren. Wenn das Ergebnis eine Sprachnachricht ist, wird diese direkt an den Lautsprecher weitergeleitet.
In 5 ist eine Systemkonfiguration dargestellt, wenn das mobile TP-Programm 30A verwendet wird, das sich von dem HAS 20 zum Computerterminal in dem komplexen Gerät 202 bewegen kann. In diesem Fall enthält das mobile TP-Programm 30A zusätzlich zum Anweisungsinterpretierungsmodul 32 und zum Datenbankrecherchemodul 38A ein Migrationsmodul 39 zum Bewegen des mobilen TP-Programms 30A zum gewünschten Gerät 202, d.h. dem Computerterminal desselben oder der Datenbank 48 mit privaten Informationsdiensten, um es zur Steuerung des Geräts oder zur Erfassung der Information laufen zu lassen. Wie in dem Flußdiagramm von 6 gezeigt, empfängt das Migrationsmodul 39, wenn in dem Anweisungsinterpretierungsmodul 32 ermittelt wird, daß die Anfrage des Benutzers auf die Steuerung eines Gerätes bezogen ist, Daten von dem gewünschten Gerät von dem Modul 32 und nimmt es auf die Geräteadreßliste 41A Bezug, um eine Adresse des gewünschten Gerätes abzurufen. Danach gibt das Migrationsmodul 39 einen Ausgabebefehl zum Bewegen des TP-Programms 30A zum gewünschten Gerät aus. Der Ausgabebefehl wird in der Anwendungsausführumgebung bzw. Software-Plattform 29, die auf dem HAS 20 läuft, so betrieben, daß das mobile TP-Pogramm 30A zum gewünschten Gerät bewegt wird, wo das mobile TP-Programm 30A auf eine Steuerliste 222, die in dem Gerät enthalten ist, Bezug nimmt, um Steuerinformationen, d.h. Argument oder Parameter zur Durchführung der geforderten Steuerung, zu erfassen, und gemäß den Steuerinformationen ausgeführt wird, um das Steuersignal zum Erzielen des beabsichtigten Ergebnisses auszugeben.
Nachfolgend empfängt das mobile TP-Programm 30A das Ergebnis und gibt den Befehl zum Zurückbewegen desselben zum HAS 20 aus. Der Befehl wird in der Anwendungsausführumgebung des Gerätes betrieben, um das mobile TP-Programm zum HAS 20 zurückzubewegen. Danach wird der Text, der das Steuerergebnis angibt, in einem Textverfassungsmodul 24 erzeugt und in dem Spracherzeugungsmodul 22 zur Ausgabe der Sprachnachricht aus dem korrespondierenden Lautsprecher 52 umgewandelt. Zum leichten Verständnis des Betriebs des Systems sind die von dem mobilen TP-Programm 30A in dem gewünschten Gerät durchgeführten Schritte von Strichlinien umschlossen gezeigt.
Der Lautsprecher 52 wird in derselben Weise, wie unter Bezugnahme auf die 2 bis 4 beschrieben, in Kooperation mit dem Raumortungsmodul 33 und/oder dem Sprachortungsmodul ausgewählt, die vorzugsweise durch das periphere Steuerprogramm, das in dem HAS vorkommt, als durch das mobile TP-Programm realisiert sind. Außerdem kann das mobile TP-Programm 30A oder das periphere Steuerprogramm mit dem Benutzeridentifizierungsmodul, wie oben erläutert, zur Beschränkung der Steuerung der Geräte gemäß dem identifizierten Benutzer versehen sein.
In Verbindung mit dem HAS 20, auf dem das mobile TP-Programm 30 läuft, ist das in dem Mobiltelefon 70 enthaltene spezielle TP-Programm vorzugsweise ein Mobile Agent-Programm mit einem ähnlichen Spracherkennungsmodul und einem ähnlichen Anweisungsinterpretierungsmodul, wie dies in dem Programm verwendet wird, das in dem HAS 20 vorkommt. Für diesen Zweck ist das Mobiltelefon 70 so gestaltet, daß es eine ähnliche Anwendungsausführumgebung bzw. Software-Plattform bereitstellt, damit sich das spezielle TP-Programm zum HAS und/oder zum komplexen Gerät 202 in dem internen Netzwerk 10 und zum Mobiltelefon zurückbewegt. Dementsprechend wird die Sprachanfrage des Benutzers, die an dem Mobiltelefon 70 empfangen wird, in dem speziellen TP-Programm angenommen, das darauf mit Bewegen in das interne Netzwerk zur Ausführung der erforderten Steuerung für das gewünschte Gerät antwortet und zusammen mit dem Steuerungsergebnis für eine Sprachmitteilung an den Benutzer auf der Seite des Mobiltelefons zum Mobiltelefon zurückkehrt.
Wenn in dem Anweisungsinterpretierungsmodul 32 ermittelt wird, daß die Anfrage des Benutzers sich auf den Informationsdienst bezieht, wird das Datenbankrecherchemodul 38 aktiviert, um zu ermitteln, ob der geforderte Informationsdienst auf die Datenbank 48 mit privaten Informationen oder die Stationen im Internet 15 zugreifen soll. In jedem Fall nimmt das Datenbankrecherchemodul 38 auf die Stationsadreßliste 42 in der Hausverwaltungsdatenbank 40 Bezug, um die Adresse für einen Zugang zum gewünschten Dienst zu suchen. Wenn die Liste 48 mit privaten Informationsdiensten benannt ist, wird das Migrationsmodul 39 aktiviert, um das mobile TP-Programm 30A zur Datenbank 48 zu bewegen, so daß das Programm dort ausgeführt wird, um den gewünschten Dienst oder das gewünschte Ergebnis zu erhalten. Danach bewegt sich das Programm 30A mit dem erfaßten Ergebnis zum HAS 20 zurück. Wenn andererseits eine Station im Internet benannt ist, bleibt das TP-Programm 30A im HAS 20 und aktiviert das Datenbankrecherchemodul 38, um auf einen geforderten Dienst oder ein Ergebnis von der gewünschten Station zuzugreifen und diesen bzw. dieses zu erhalten. In jedem Fall wird das erfaßte Ergebnis zum Benutzer in Form der Sprachnachricht zurückgesendet, wie dies vorher unter Bezugnahme auf die 2 bis 5 beschrieben wurde.
Obwohl die Datenbank 48 mit privaten Informationen vorzugsweise dem mobilen TP-Programm 30A ermöglichen soll, darin die Sicherstellung einer intelligenten Datenerfassung und Datenaktualisierungsleistung zu bewirken, kann es gestaltet sein, um nur auf Anfrage vom HAS 20 zu antworten. Ein Beispiel für den ersten Fall besteht in einer Gesundheitsdatenbank 81, die in einer Gesundheitsklinik als das Datendienstzentrum 80 bereitgestellt wird, um zahlreiche medizinische Daten hinsichtlich der Benutzer zu sammeln, die nicht nur recherchiert, sondern auch häufig vom Benutzer aktualisiert werden. Zum Beispiel können täglich aktualisierte Datensätze, wie zum Beispiel eine Körpertemperatur, als Antwort auf die Anfrage des Benutzers aktualisiert werden, gefolgt durch einen Ausdruck "Meine Körpertemperatur beträgt 36,5 Grad", wie in 1 dargestellt. Im letztgenannten Fall bleibt das mobile TP-Programm 30A, das die Adresse dieses Typs der Datenbank kennt, in dem HAS 20, um ausgeführt zu werden und das geforderte Ergebnis zu erhalten.
Wie vorangehend bezüglich des stationären TP-Programms unter Bezugnahme auf 2 erläutert, kann das System ferner eine Vielzahl von mobilen Spezial-TP-Programmen verwenden, von denen jedes jedem der Benutzer oder Bewohner zugeordnet ist und speziell programmiert ist, um die Anfrage des Benutzers nur für die Geräte, Verfahren und Dienste auszuführen, die jedem Benutzer als zugänglich zugeordnet sind. Die Zuordnung wird in der Liste 43 mit persönlichen Informationen gespeichert.
In dem dargestellten Beispiel verzichtet das mobile TP-Programm 30A auf das Spracherkennungsmodul 21, das Spracherzeugungsmodul 22, das Textverfassungsmodul 24, das Benutzeridentifizierungsmodul 35 und das Raumortungsmodul 34, so daß das mobile Programm ausreichend kompakt ist, um sich schnell zwischen dem HAS 20 und dem gewünschten Gerät oder der gewünschten Datenbank zu bewegen. Es kann jedoch eines oder eine beliebige Kombination dieser Module in das mobile Programm 30A eingebaut sein, um das Programm für viele Zwecke geeignet zu machen, wodurch es eine vielseitige Funktion in den Geräten erlangt und die beabsichtigten Aufgaben erfüllt, ohne daß das Versehen des Geräts mit äquivalenten Funktionen erforderlich ist.
Es wird bemerkt, daß, da das mobile TP-Programm auf der Grundlage der in dem Anweisungsinterpretierungsmodul analysierten Anfrage des Benutzers festlegen kann, ob es sich bewegt oder bleibt, vorzugsweise zusätzlich das Gerätesteuermodul 37 enthalten ist, wie dies in dem stationären TP-Programm vorgesehen ist, so daß das mobile TP-Programm auch wie das stationäre TP-Programm bedarfsweise die Steuerung der einfachen Geräte, die nicht mit dem Computerterminal ausgestattet sind, bewirken kann.
In der obigen Systemkonfiguration, die das mobile TP-Programm benutzt, kann gleichermaßen ein zusätzlicher Server enthalten sein, der dieselbe Gerätebetriebsumgebung wie der HAS liefert, so daß sich das mobile Programm auch zum und vom zusätzlichen Server bewegen kann. Dies ist besonders vorteilhaft, wenn erforderlich ist, daß das interne Netzwerk zur Aufnahme einer größeren Anzahl von Geräten erweitert wird, was von dem einzigen HAS nicht geliefert wird.
Es wird bemerkt, daß das System gemäß der vorliegenden Erfindung eine beliebige Kombination der hierin offenbarten Merkmale zur Lösung der obengenannten und weiteren Aufgaben annehmen kann.
Der Schutzbereich der Erfindung wird einzig durch die beigefügten Ansprüche definiert.

Claims

Sprachsteuerungssystem für Haushaltsgeräte, wobei das System umfaßt: einen Hausüberwachungs-Server (HAS) (20), der zur Installation in einem Haus und zur Verbindung mit Haushaltsgeräten (201, 202, 203) zur Steuerung des Betriebs derselben gestaltet ist, ein Mikrofon (51; 61) und einen Lautsprecher (52; 62), die über ein internes Netzwerk (10) mit dem HAS (20) verbunden sind, eine Spracherkennungseinrichtung (21), die eine an dem Mikrofon empfangene Sprachanfrage eines Benutzers erkennt, ein Transaktionsverarbeitungsprogramm (TP) (30; 30A), das in dem HAS ausführbar ist, um die Haushaltsgeräte zu verwalten, wobei das TP-Programm ein Anweisungsinterpretierungsmodul (32) aufweist, das anhand der Sprachanfrage eine spezielle Anweisung vorbereitet, die ein gewünschtes Gerät und ein Verfahren zur Steuerung des gewünschten Gerätes angibt, und einen Ausgabebefehl zur Steuerung des gewünschten Geräts gemäß der speziellen Anweisung liefert, dadurch gekennzeichnet, daß das TP-Programm (30A) in ein Mobile Agent-Programm (MAP) geschrieben ist, das sich von dem HAS zu einem lokalen Computerterminal, das in dem gewünschten Gerät (202) enthalten ist, als Antwort auf den Ausgabebefehl bewegen kann, so daß es dort zur Steuerung des gewünschten Geräts ausgeführt wird.
System nach Anspruch 1, dadurch gekennzeichnet, daß das TP-Programm (30A) ein Migrationsmodul (39) enthält, das die spezielle Anweisung analysiert, um eine zugehörige Adresse des gewünschten Geräts zu suchen, und das TP-Programm selbst zum lokalen Computerterminal des gewünschten Geräts bewegt.
System nach Anspruch 1, dadurch gekennzeichnet, daß das TP-Programm (30A) ein Spracherkennungsmodul (21) enthält, das die Spracherkennungseinrichtung bildet.
System nach Anspruch 3, dadurch gekennzeichnet, daß entweder das TP-Programm oder der HAS (20) enthält: ein Textverfassungsmodul (24), das einen zu einer speziellen Steuerung des elektrischen Geräts gehörigen Text liefert, ein Spracherzeugungsmodul (22), das den Text in eine Sprachnachricht zur Ausgabe von dem Lautsprecher zur Bestätigung der Annahme der Sprachanfrage eines Benutzers und/oder des Abschlusses der gewünschten Steuerung umwandelt.
System nach Anspruch 2, dadurch gekennzeichnet, daß der HAS mit einer Datenübertragungsschnittstelle (25, 26) zum Verbinden des HAS mit dem internen Netzwerk sowie einem äußeren Informationsnetzwerk (15), wie dem Internet, zur gegenseitigen Verbindung mit anderen durch das Informationsnetzwerk verbundenen Stationen versehen ist, wobei der HAS ferner eine Adressliste (41A, 42) enthält, die Adressen der Geräte und Stationen, die von dem auf dem HAS laufenden MAP gesucht werden, speichert, um ein gewünschtes Gerät oder eine Station zu bezeichnen, wo ein durch die Anfrage des Benutzers verlangter vorgesehener Prozeß ausgeführt werden soll, wobei das Migrationsmodul (39) ermöglicht, das MAP selbst zum gewünschten Gerät oder zur gewünschten Station zur dortigen Ausführung des MAP zu bewegen und den durch die Anfrage des Benutzers verlangten vorgesehenen Prozeß auszuführen.
System nach Anspruch 4, dadurch gekennzeichnet, daß der HAS mit einer Vielzahl von Personenanwesenheitssensoren (54) verbunden ist, die zur Installation in verschiedenen Räumen (111, 112, 113) des Hauses gestaltet sind, um ein Detektionssignal zu liefern, das einen speziellen der Räume, wo sich der Benutzer befindet, anzeigt. entweder das TP-Programm oder der HAS ferner ein Raumortungsmodul (33) enthält, das den speziellen Raum unter Bezugnahme auf das Detektionssignal identifiziert und die Anweisung erteilt, die Sprachnachricht aus dem Lautsprecher, der zu dem auf diese Weise identifizierten Raum gehört, auszugeben.
System nach Anspruch 1, dadurch gekennzeichnet, der Ausgabebefehl ein Steuersignal ist, das das gewünschte Gerät (201, 203) zur Steuerung desselben steuert, und entweder das TP-Programm (30) oder das HAS (20) ferner ein Sprachortungsmodul (34) enthält, das einen Platz des Benutzers prüft, der die an dem Mikrofon empfangene Sprachanfrage des Benutzers ausgibt, und die Anweisung erteilt, die Sprachnachricht von dem Lautsprecher, der zu dem auf diese Weise georteten Platz gehört, auszugeben.
System nach Anspruch 1, dadurch gekennzeichnet, daß das System eine Vielzahl von Spezial-Transaktionsverarbeitungs(TP)-Programmen (30A) enthält, die jeweils einzelnen Benutzern zur Begrenzung von einem oder mehreren der für die Benutzer zugänglichen Geräte zugeordnet sind, wobei der HAS (20) ein Benutzeridentifizierungsmodul (35) enthält, das den Benutzer anhand der Sprachanfrage des Benutzers identifiziert, eines der dem identifizierten Benutzer zugeordneten Spezial-TP-Programme auswählt und dem Spezial-TP-Programm ermöglicht, sich zum gewünschten Gerät zu bewegen, um dort ausgeführt zu werden.
System nach Anspruch 1, dadurch gekennzeichnet, daß der HAS (20) die Spracherkennungseinrichtung (21) enthält.
System nach Anspruch 9, dadurch gekennzeichnet, daß der HAS ferner enthält: eine Textverfassungseinrichtung (24), die einen zu einer speziellen Steuerung des elektrischen Geräts gehörigen Text liefert, eine Spracherzeugungseinrichtung (22), die den Text in eine Sprachnachricht zur Ausgabe von einem Lautsprecher zur Bestätigung der Annahme der Sprachanfrage des Benutzers/oder des Abschlusses der gewünschten Steuerung umwandelt.
System nach Anspruch 4, dadurch gekennzeichnet, daß das System ferner einen Personalcomputer (60) enthält, der mit einer Anzeige (63) zusätzlich zu dem Mikrofon (61) und dem Lautsprecher (62) ausgestattet ist, wobei der Personalcomputer mit dem HAS über das interne Netzwerk zum Senden der an dem Mikrofon empfangenen Anfrage des Benutzers an das auf dem HAS laufende TP-Programm verbunden ist, wobei das TP-Programm eine Funktion des Sendens des von dem Textverfassungsmodul gelieferten Textes an die Anzeige des Personalcomputers aufweist.
System nach Anspruch 2, dadurch gekennzeichnet, daß der HAS eine Telefonschnittstelle (26) zu einem öffentlichen Telefonnetz (14) zur gegenseitigen Verbindung mit einem Mobiltelefon (70) aufweist, wobei das Mobiltelefon ein spezielles Transaktionsverarbeitungs(TP)-Programm mitführt, das ein Mobile Agent-Programm ist, das sich von dem Mobiltelefon zu dem HAS oder dem lokalen Computerterminal zur dortigen Ausführung bewegen kann, wobei das spezielle TP-Programm beim Laufen auf dem Mobiltelefon eine Sprachanfrage eines Benutzers an dem Mobiltelefon zur Verwaltung der Geräte annimmt, wobei das spezielle TP-Programm enthält: ein Spracherkennungsmodul, das eine an dem Mobiltelefon empfangene Sprachanfrage eines Benutzers erkennt, ein Anweisungsinterpretierungsmodul, das anhand der Sprachanfrage eine spezielle Anweisung, die ein gewünschtes Gerät und ein Verfahren zur Steuerung des gewünschten Gerätes angibt, vorbereitet, und ein Migrationsmodul, das als Antwort auf die spezielle Anweisung das spezielle TP-Programm mit dem HAS oder dem lokalen Computerterminal zur Durchführung des Verfahrens für das gewünschte Gerät bewegt.