EP1184325A1 - Aufzug mit Sprachsteuerung - Google Patents

Aufzug mit Sprachsteuerung Download PDF

Info

Publication number
EP1184325A1
EP1184325A1 EP01000352A EP01000352A EP1184325A1 EP 1184325 A1 EP1184325 A1 EP 1184325A1 EP 01000352 A EP01000352 A EP 01000352A EP 01000352 A EP01000352 A EP 01000352A EP 1184325 A1 EP1184325 A1 EP 1184325A1
Authority
EP
European Patent Office
Prior art keywords
control
elevator
console
analysis unit
speech analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP01000352A
Other languages
English (en)
French (fr)
Other versions
EP1184325B1 (de
Inventor
Georg c/o Philips Corp.I.P. GmbH Bauer
Thomas c/o Philips Corp.I.P. GmbH Portele
Lars c/o Philips Corp.I.P. GmbH Pralle
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuance Communications Inc
Original Assignee
Philips Corporate Intellectual Property GmbH
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Corporate Intellectual Property GmbH, Koninklijke Philips Electronics NV filed Critical Philips Corporate Intellectual Property GmbH
Publication of EP1184325A1 publication Critical patent/EP1184325A1/de
Application granted granted Critical
Publication of EP1184325B1 publication Critical patent/EP1184325B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B1/00—Control systems of elevators in general
    • B66B1/34—Details, e.g. call counting devices, data transmission from car to control system, devices giving information to the control system
    • B66B1/46—Adaptations of switches or switchgear
    • B66B1/468—Call registering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B2201/00—Aspects of control systems of elevators
    • B66B2201/40—Details of the change of control mode
    • B66B2201/46—Switches or switchgear
    • B66B2201/4607—Call registering systems
    • B66B2201/4615—Wherein the destination is registered before boarding
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B2201/00—Aspects of control systems of elevators
    • B66B2201/40—Details of the change of control mode
    • B66B2201/46—Switches or switchgear
    • B66B2201/4607—Call registering systems
    • B66B2201/4638—Wherein the call is registered without making physical contact with the elevator system
    • B66B2201/4646—Wherein the call is registered without making physical contact with the elevator system using voice recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B2201/00—Aspects of control systems of elevators
    • B66B2201/40—Details of the change of control mode
    • B66B2201/46—Switches or switchgear
    • B66B2201/4607—Call registering systems
    • B66B2201/4661—Call registering systems for priority users

Definitions

  • the invention relates to a control device for an elevator, an elevator with a such a control device and a corresponding control method.
  • control devices for these known elevators are relatively easy to use. However, there are situations in which it is not easy for users to operate. For example, blind users must first find the right button based on the label Find. In particular, however, the user must always know in advance which floor your desired destination - for example, a conversation partner or a functional room - located.
  • a console has means for audio recording.
  • every terminal in the elevator is understood. Usually include such devices acoustic and / or graphic display elements and input options (Keys, key switch etc.).
  • such Console also be very simple, in the simplest case it can only be Include audio recording media.
  • Control information is entered in such a console, that is, inputs of the Users who are used to control the elevator. While this is done conventionally If the floor button is pressed, a user can use the elevator control by voice command.
  • a means for audio recording is available for this, for example a microphone, preferably with a device for digitization and signal coding.
  • the term “Recording” means all means by which audio signals are received and can be processed. On the one hand, this includes “recording” in the sense that a block is first recorded and stored, which is then processed. On the other hand, this also means online signal processing of the converted audio signals includes that does not need to be saved.
  • the recording means are connected to a speech analysis unit. So he can User control information in the form of a voice command or spoken Enter question.
  • the recorded (and possibly digitized or encoded) audio signal is analyzed by the speech analysis unit, i.e. the speech analysis unit tries the spoken ones Recognizing words.
  • speech recognition systems are known per se. Of course, a speaker-independent recognition system is preferred here.
  • the speech analysis unit provides a representation of the recognized speech command or the recognized phrase.
  • This information is stored in a control unit processed in such a way that the elevator is controlled in accordance with the entered control information becomes.
  • the speech analysis unit delivers the analysis result the words "second floor" in the audio recording.
  • the control unit recognizes that the user has given the command to move the elevator to the second floor.
  • the control unit controls the Auryak accordingly, so that it goes to the second floor moves.
  • the distinction between a speech analysis unit and a control unit is purely functional.
  • the implementation can be separate devices but also two modules one Device or even a single program that runs on a computer and together fulfills both functions.
  • a control center is outside the elevator intended.
  • Such a control center that works with the console through transmission means, for example a wired bus system or wireless transmission means, e.g. Infrared or radio, is usually connected as an electronic control circuit or be designed as a computer.
  • the speech analysis unit on the console inside of the elevator is arranged, wherein the speech analysis unit directly to the recording means is connected and the voice recording is analyzed immediately. It is the same possible that the speech analysis unit is arranged at a fixed location outside the elevator is. In this case, the audio recording becomes from the console to the speech analysis unit transmitted, preferably in digitized, coded form, the ones already described Transmission means could be used.
  • Such a database is preferably kept centrally for the entire building. That's how it is
  • database can be easily maintained centrally (e.g. the name of a new employee can be entered).
  • control systems for multiple elevators access a database centrally.
  • the control unit also uses one Database, preferably to the same database as the speech analysis unit.
  • this Database is for every location description (control information, recognized voice command) the control command to be triggered is saved.
  • the control unit reads the stored control commands in audio representation and send it to the elevator.
  • this includes control information processed and recognized voice commands not only direct location information (e.g. "second floor”), but indirect location descriptions are also understood.
  • "Indirect” descriptions of locations are used to refer to descriptions that are assigned to a location description via a link. For example, a Voice command "to Mr. Meier” recognized. By evaluating a previously created saved link, it is found that Mr. Meier has a room on the third Stick. This is "to Mr. Meier” an indirect location description for the third Stock, so that the corresponding control commands are triggered.
  • links are advantageously stored in a database where they are not are stored permanently, but can be changed.
  • this includes longer-term Changes (e.g. Mr. Meier moves from the third to the fifth floor).
  • short-term changes for example, can be updated daily in the database can be entered.
  • Constant updates are particularly advantageous for indirect location descriptions. If the database dynamically keeps this information up to date, you can also consider, for example, situations in which the assignments are more indirect Change location descriptions during the day. So the database can be updated , for example when Mr. Meier (who usually works on the second floor) is in a meeting is in the meeting room (third floor). The indirect location description "Meier" then shows this permanent instead of the second on the third floor Updates are particularly interesting in buildings where the people working there People are dynamically assigned to one of the offices each day.
  • a control system according to the invention which reacts to natural language inputs can of course be used in parallel to previous systems with key operation. It is preferred that the key operation has priority and so (especially wrong understood) voice inputs can be overwritten.
  • a control device 10 for an elevator is shown schematically.
  • the Elevator car 12 travels in an elevator shaft 14, being driven by a drive device 16 (shown here symbolically as a winch).
  • a console 18 is arranged inside the elevator car 12.
  • the building is equipped with a house bus 20. This is only symbolic here shown, in addition to common wired bus systems, it can also be a wireless transmission technology, for example Bluetooth.
  • the console 18 is on this
  • the house bus is connected, as is the drive device 16 also a control center 22 connected, which has access to a database 24.
  • at the control center 22 is a central house computer, which in addition to the elevator control controls other units in the building.
  • the components are connected to each other in the following way:
  • the console 18 comprises a voice recording unit (not shown) consisting of a microphone, an A / D converter for digitizing the audio data and one Encoder module for coding the digital data in a common audio format, e.g. PCM.
  • the console 18 is connected to a bus interface 28 via a data line 26. Via the data line 26 and the bus interface 28, the recorded and coded audio data to the house bus 20. The audio data is over the Transfer house bus to the control center 22.
  • the control center 22 is shown in detail in FIG. It comprises a speech analysis unit 30 and a control unit 32.
  • the audio data A are read from the house bus 20 and analyzed in the speech analysis unit 30.
  • This is an electronic one Circuit or a computer with a corresponding analysis program, algorithms known to the person skilled in the art for speaker-independent speech recognition be used.
  • the speech analysis unit 30 accesses the database 24.
  • the database 24 is stored the vocabulary that the speech analysis unit 30 is to recognize. this includes direct location information such as "first floor”, relative location information “one floor up” and indirect location descriptions (e.g. "to the conference room”).
  • the result of the speech recognition is used by the speech analysis unit in the form of digital Data E (tokens, which are assigned words recognized via the database) to the Control unit 32 passed on.
  • digital Data E tokens, which are assigned words recognized via the database
  • the control unit 32 decides which control command C to be sent out. Here, it also accesses the database 24. In the Database 24 are the possible direct or indirect location descriptions each assigned control commands C stored. After reviewing the analysis data E the control unit 32 calls these control commands C and transmits them the house bus 20 to the drive unit 16.
  • control center 22 is a central computer. This comprises the speech analysis unit 30 and the control unit 32 as software modules.
  • the voice command is recorded, digitized within the console 18 and coded and then via the data line 26 and the bus interface 28 via the house bus 20 sent to the control center 22.
  • the corresponding Audio data read out and a speech analysis by the speech analysis device 30 subjected.
  • This recognizes on the basis of the data stored in the database 24 Vocabulary the words “zu”, “Herrn”, “Meier” and “bitte”, and sends them in digital Form (for example tokens) as signal E to the control unit 32.
  • the control unit 32 applies a simple syntactic analysis to the recognized phrase and removes it recognized as superfluous "to” and the addition "please”.
  • this is also capable of dialogue.
  • the console Integrated speech system It is either a synthetic system Speech output, the words to be output as text from a dialogue unit be transmitted. Or it is a D / A converter with connected Loudspeaker, so that words transmitted as audio data are output by the dialogue unit become.
  • the dialog unit is also arranged in the control center 22. It evaluates the recognized Voice commands from If these are not or not clearly assignable, ask to the user for this purpose, it controls the voice output system via the house bus 20 in the console 18 so that it addresses the query to the user. Only when that Command is clearly assigned, it is sent to the control unit for the corresponding Control passed on.
  • the dialog unit can also be accessed with a correspondingly constantly updated Database take on more complex tasks of the organization. So she can determine that, for example, Mr. Müller has his office on the second floor, but is currently in a meeting is on the third floor. It can communicate this to the user, various reactions to choose and arrange the appropriate, for example, if the If users want to wait in Mr. Müller's office, notify him.
  • the console can also use other acoustic or graphic means Display elements include.
  • Such display elements in the elevator can also be used are used to provide more information about the destination. For example further information when exiting the elevator, e.g. Direction information "the Space is given on the right at the end of the aisle ".
  • a printer can also be used directions are printed out that the user takes with them.
  • the voice interface can automatically when a person enters the elevator to be activated. This can be done with the help of the light barrier or by changing the weight be determined.
  • the user can enter his voice command prompted by an appropriate display (voice message or graphic display) become.
  • the audio functions of the console can also be used to establish a communication connection be used in an elevator malfunction.
  • corresponding Inquiries or calls for help from the user regarding the vocabulary of speech recognition 30 belong, so that when these commands are recognized, an emergency signal is automatically triggered becomes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Indicating And Signalling Devices For Elevators (AREA)
  • Elevator Control (AREA)

Abstract

Herkömmliche Aufzüge umfassen eine Konsole zur Eingabe von Steuerungsinformationen, insbesondere durch Tastendruck Um die bekannten Steuereinrichtungen für den Benutzer leichter und flexibler benutzbar zu machen, sind erfindungsgemäß Mittel zur Audioaufzeichnung und eine Sprachanalyseeinheit vorgesehen, wobei eine Steuereinheit den Aufzug entsprechend eingegebener Sprachkommandos steuert. Entsprechend einer Weiterbildung der Erfindung umfassen Sprachkommandos auch indirekte Ortsbeschreibungen, die über die Gebäudedatenbank Stockwerken zugeordnet sind. Hierbei kann auch Dialogfähigkeit vorgesehen sein, beispielsweise bei nicht verstandenen oder nicht eindeutigen Kommandos. <IMAGE>

Description

Die Erfindung betrifft eine Steuereinrichtung für einen Aufzug, einen Aufzug mit einer solchen Steuereinrichtung sowie ein entsprechendes Steuerverfahren.
Herkömmliche Aufzüge weisen eine Konsole zur Eingabe von Steuerungsinformationen auf. Dabei handelt es sich üblicherweise um Bedienfelder mit Tasteneingabe, wobei jedem Stockwerk eine Taste zugsordnet ist. Der Benutzer drückt die dem Stockwerk, in das er mit dem Aufzug fahren möchte, entsprechende Taste. Der Aurzug fährt dann in das entsprechende Stockwerk.
Die Steuereinrichtungen für diese bekannten Aufzüge sind zwar relativ einfach zu bedienen. Dennoch gibt es Situationen, in denen Benutzern die Bedienung nicht leichtfällt. Beispielsweise blinde Benutzer müssen zuerst die richtige Taste anhand der Beschriftung finden. Insbesondere aber muss der Benutzer stets vorher wissen, in welchem Stockwerk sich sein gewünschter Zielort - beispielsweise ein Gesprächspartner oder auch ein Funktionsraum - befindet.
Es ist Aufgabe der Erfindung, bekannte Steuereinrichtungen, Aufzüge und Steuerverfahren so zu verbessern, dass der Aufzug für einen Benutzer leichter und flexibler zu benutzen ist.
Diese Aufgabe wird gelöst durch eine Steuereinrichtung nach Anspruch 1, einen Aufzug nach Anspruch 7 mit einer solchen Steuereinrichtung sowie ein Steuerverfahren nach Anspruch 8. Abhängige Ansprüche beziehen sich auf vorteilhafte Ausrührungsformen der Erfindung
Erfindungsgemäß weist eine Konsole Mittel zur Audioaufzeichnung auf. Unter "Konsole" wird in diesem Zusammenhang jedes Endgerät im Aufzug verstanden. Üblicherweise umfassen derartige Endgeräte akustische und/oder graphische Anzeigeelemente sowie Eingabemöglichkeiten (Tasten, Schlüsselschalter etc.). Erfindungsgemäß kann jedoch eine solche Konsole auch sehr einfach aufgebaut sein, im einfachsten Fall kann sie lediglich die Audioaufzeichnungsmittel umfassen.
In eine solche Konsole werden "Steuerungsinformationen" eingegeben, also Eingaben des Benutzers die zur Steuerung des Aufzugs dienen sollen. Während dies herkömmlich durch Drücken der Stockwerktaste geschieht, kann erfindungsgemäß ein Benutzer den Aufzug durch Sprachkommando steuern.
Hierfür ist ein Mittel zur Audioaufzeichnung vorhanden, beispielsweise ein Mikrophon, bevorzugt mit einer Einrichtung zur Digitalisierung und Signalcodierung. Der Begriff "Aufzeichnung" bezeichnet alle Mittel, mit denen Audiosignale entgegengenommen und verarbeitet werden können. Dies umfasst einerseits "Aufzeichnung" in dem Sinn, dass zunächst ein Block aufgezeichnet und abgespeichert wird, der danach verarbeitet wird. Andererseits ist damit aber auch online-Signalverarbeitung der gewandelten Audiosignale umfasst, die ohne Abspeicherung auskommt.
Die Aufzeichnungsmittel sind mit einer Sprachanalyseeinheit verbunden. So kann der Benutzer eine Steuerinformation in Form eines Sprachkommandos bzw. einer gesprochenen Frage eingeben. Das aufgezeichnete (und ggf. digitalisierte bzw. codierte) Audiosignal wird von der Sprachanalyseeinheit analysiert, d.h. die Sprachanalyseeinheit versucht die gesprochenen Worte zu erkennen. Derartige Spracherkennungssysteme sind per se bekannt. Bevorzugt wird hier natürlich ein sprecherunabhängiges Erkennungssystem.
Die Sprachanalyseeinheit liefert als Ergebnis eine Repräsentation des erkannten Sprachkommandos bzw. der erkannten Wortfolge. Diese Information wird in einer Steuereinheit so verarbeitet, dass der Aufzug entsprechend der eingegebenen Steuerungsinformation angesteuert wird. Ein einfaches Beispiel: Die Sprachanalyseeinheit liefert als Analyseergebnis der Audioaufzeichnung die Worte "zweiter Stock". Die Steuereinheit erkennt daraus, dass der Benutzer das Kommando gegeben hat, den Aufzug in den zweiten Stock zu verfahren. Die Steuereinheit steuert den Aurzug entsprechend an, so dass er in den zweiten Stock fährt.
Die Unterscheidung einer Sprachanalyseeinheit und einer Steuereinheit ist rein funktionell. In der Umsetzung kann es sich um getrennte Geräte aber auch um zwei Module eines Geräts oder sogar um ein einziges Programm handeln, das auf einem Computer abläuft und gemeinsam beide Funktionen erfüllt.
Nach einer Weiterbildung der Erfindung ist eine Steuerzentrale außerhalb des Aufzugs vorgesehen. Eine solche Steuerzentrale, die mit der Konsole durch Übertragungsmittel, beispielsweise ein kabelgebundendes Bussystem oder drahtlose Übertragungsmittel, zB. Infrarot oder Funk, verbunden ist, wird üblicherweise als elektronische Steuerschaltung bzw. als Computer ausgeführt sein.
Hierbei ist es entweder möglich, dass die Sprachanalyseeinheit an der Konsole innerhalb des Aufzugs angeordnet ist, wobei die Sprachanalyseeinheit direkt an die Aufzeichnungsmittel angeschlossen ist und die Sprachaufzeichnung unmittelbar analysiert. Ebenso ist es möglich, dass die Sprachanalyseeinheit an einem festen Ort außerhalb des Aufzuges angeordnet ist. In diesem Fall wird die Audioaufzeichnung von der Konsole zur Sprachanalyseeinheit übertragen, vorzugsweisen in digitalisierter, codierter Form, wobei die bereits beschriebenen Übertragungsmittel benutzt werden könnten.
Bevorzugt wird hierbei die letztgenannte Variante. Einerseits gibt es für Spracherkennung reine Software-Lösungen, die sich dazu eignen, auf einem zentralen Rechner eingesetzt zu werden. Andereseits sind "universelle" Spracherkennungssysteme äußerst aufwendig, die nicht nur ein begrenztes Vokabular, sondern jede denkbare Spracheingabe analysieren und erkennen können. Bevorzugt wird eine Sprachanalyseeinheit, die auf eine Datenbank mit einer begrenzten Anzahl von möglichen Sprachkmmandos zugreift.
Eine solche Datenbank wird bevorzugt zentral für das gesamte Gebäude geführt. So ist die Datenbank einerseits leicht zentral zu pflegen (z.B. kann der Name eines neuen Mitarbeiters eingegeben werden). Andererseits können die Steuersysteme für mehrere Aufzüge zentral auf eine Datenbank zugreifen.
Auch die Steuereinheit greift nach einer Weiterbildung der Erfindung auf eine solche Datenbank, bevorzugt auf dieselbe Datenbank wie die Sprachanalyseeinheit, zu. In dieser Datenbank ist für jede Ortsbeschreibung (Steuerungsinformation, erkanntes Sprachkommando) das hierzu auszulösende Steuerkommando abgespeichert. Ein einfaches Beispiel: in der Datenbank ist zum Sprachkommando "zweiter Stock" einerseits die akustische Repräsentation abgespeichert, auf die die Sprachanalyseeinheit zur Erkennung zugreift. Zudem ist aber zu dem Sprachkommando "zweiter Stock" auch eine entsprechende Steuersequenz abgespeichert, die an den Aufzug geschickt werden muss, damit dieser in den zweiten Stock fährt. Nach der Erkennung des Begriffs "zweiter Stock" anhand der Audio-Repräsentation liest die Steuereinheit die abgespeicherten Steuerkommandos aus und sendet sie an den Aufzug.
Nach einer wesentlichen Weiterbildung der Erfindung umfassen die als Steuerungsinformationen verarbeiteten und erkannten Sprachkommandos nicht nur direkte Ortsangaben (z.B. "zweiter Stock"), sondern es werden auch indirekte Ortsbeschreibungen verstanden. Mit "indirekten" Ortsbeschreibungen werden hier solche Beschreibungen bezeichnet, die über eine Verknüpfung einer Ortsbeschreibung zugeordnet sind. Beispielsweise wird ein Sprachkommando "zu Herrn Meier" erkannt. Durch Auswertung einer vorher angelegten, abgespeicherten Verknüpfung wird festgestellt, dass Herr Meier ein Zimmer im dritten Stock hat. Damit ist "zu Herrn Meier" eine indirekte Ortsbeschreibung für den dritten Stock, so dass die entsprechenden Steuerkommandos ausgelöst werden.
Die Verknüpfung derartiger indirekter Ortsbeschreibungen mit einem Ziel (Stockwerk) für den Aufzug ist für sehr verschiedene Informationen möglich. Dies umfasst Personennamen, Abteilungsbezeichnungen und Raumnummern. Auch Funktionsbeschreibungen ("Herrentoilette", "Besprechungszimmer") können auf diese Weise mit einer Stockwerknummer verknüpft sein.
Es ist sogar möglich, momentane Funktionsbeschreibungen zu verwenden. Dies umfasst beispielsweise Räume in denen aktuell eine bestimmte Veranstaltung stattfindet (z.B. "Zum Treffen der Außendienstmitarbeiter").
Vorteilhafterweise sind diese Verknüpfungen in einer Datenbank gespeichert, wo sie nicht fest abgelegt sind, sondern geändert werden können. Dies umfasst einerseits längerfristige Änderungen (z.B. Herr Meier zieht von dem dritten in den fünften Stock um). Andererseits können aber auch kurzfristige Änderungen beispielsweise tagesaktuell in die Datenbank eingegeben werden.
Ständige Aktualisierungen sind besonders bei indirekten Ortsbeschreibungen vorteilhaft. Wenn die Datenbank jeweils dynamisch diese Informationen aktuell bereithält, können auch beispielsweise Situationen berücksichtigt werden, in denen sich die Zuordnungen indirekter Ortsbeschreibungen während des Tages ändern. So kann die Datenbank aktualisiert werden, beispielsweise wenn Herr Meier (der sonst im zweiten Stock arbeitet) sich in einer Besprechung im Besprechungszimmer (dritter Stock) befindet. Die indirekte Ortsbeschreibung "Meier" zeigt dann statt auf den zweiten auf den dritten Stock Diese ständigen Aktualisierungen sind vor allem interessant in Gebäuden, bei denen die dort arbeitenden Personen täglich jeweils einen der Büroräume dynamisch zugewiesen bekommen.
Besonders in diesen Fällen, aber auch in anderen Fällen wo Nachfragen oder ergänzende Hinweise hilfreich oder nötig sind, ist Dialogfähigkeit des Systems vorteilhaft. So kann beispielsweise bei nicht verstandenen Eingaben nachgefragt werden ("Bitte wiederholen Sie die Eingabe"), oder es können bei nicht eindeutigen Kommandos weitere Details erfragt werden ("Meinen Sie Herrn Hans Müller von der Buchhaltung oder Herrn Karl Müller vom Vorstand?"). Vor allem aber können nach verstandener Ortsangabe Hinweise gegeben werden ("Herr Müller befindet sich in Zimmer 12, rechts am Ende des Ganges") oder Entscheidungen des Benutzers erfragt werden ("Herr Müller befindet sich im Besprechungszimmer. Möchten Sie an der Besprechung teilnehmen oder in seinem Büro warten?").
Ein erfindungsgemäßes, auf natürlichsprachliche Eingaben reagierendes Steuersystem kann selbstverständlich parallel zu bisherigen Systemen mit Tastenbedienung verwendet werden. Hierbei wird bevorzugt, dass die Tastenbedienung Vorrang hat und so (insbesondere falsch verstandene) Spracheingaben überschrieben werden können.
Nachfolgend wird eine Ausrührungsform der Erfindung anhand von Zeichnungen näher beschrieben. In den Zeichnungen zeigen:
Fig. 1
Eine schematische Darstellung eines Aufzugssystems mit Busverbindung zu einer Steuerzentrale;
Fig. 2
eine schematische Darstellung der Komponenten einer Steuerzentrale.
In Figur 1 ist eine Steuereinrichtung 10 für einen Aufzug schematisch dargestellt. Die Aufzugkabine 12 fährt in einem Aufzugschacht 14, wobei sie von einer Antriebseinrichtung 16 (hier symbolisch als Seilwinde dargestellt) verfahren wird. Innerhalb der Aufzugkabine 12 ist eine Konsole 18 angeordnet.
Das Gebäude ist mit einem Hausbus 20 ausgerüstet. Dieser ist hier lediglich symbolisch dargestellt, außer gängigen leitungsgebundenen Bussystemen kann es sich auch um eine drahtlose Übertragungstechnik, bspw. Bluetooth, handeln. Die Konsole 18 ist an diesen Hausbus angeschlossen, ebenso wie die Antriebseinrichtung 16. An den Hausbus 20 ist außerdem eine Steuerzentrale 22 angeschlossen, die Zugriff auf eine Datenbank 24 hat. Bei der Steuerzentrale 22 handelt sich um einen Hauszentralrechner, der außer der Aufzugsteuerung noch weitere Steuerungen von Einheiten im Gebäude übernimmt.
Die Komponenten sind hierbei in der folgenden Weise miteinander verbunden:
Die Konsole 18 umfasst eine Sprachaufzeichnungseinheit (nicht dargestellt), bestehend aus einem Mikrophon, einem A/D-Wandler zur Digitalisierung der Audio-Daten und einem Encoder- Baustein zur Codierung der digitalen Daten in ein gängiges Audioformat, z.B. PCM. Die Konsole 18 ist über eine Datenleitung 26 mit einem Businterface 28 verbunden. Über die Datenleitung 26 und das Businterface 28 werden die aufgezeichneten und codierten Audio-Daten zum Hausbus 20 übertragen. Die Audio-Daten werden über den Hausbus zur Steuerzentrale 22 übertragen.
Die Steuerzentrale 22 ist in Figur 2 im Detail dargestellt. Sie umfasst eine Sprachanalyseeinheit 30 und eine Steuereinheit 32. Die Audio-Daten A werden vom Hausbus 20 ausgelesen und in der Sprachanalyseeinheit 30 analysiert. Hierbei handelt es sich um eine elektronische Schaltung bzw. einen Computer mit einem entsprechenden Analyseprogramm, wobei dem Fachmann bekannte Algorithmen zur sprecherunabhängigen Spracherkennung verwendet werden.
An Spracherkennungsprodukten sind dem Fachmann eine Vielzahl von Algorithmen und Verfahren bekannt, wobei er jeweils für die konkrete Anwendung auch geeignete bereits fertige Produkte verwenden kann. Beispiele hierfür umfassen einfache als Hardware-Modul verfügbare Command- and Control-Erkeener wie das Produkt "VoCon" der Firma Philips, mit dem ein sehr begrenztes Vokabular von fest vorgegebenen Sprachkommandos erkennt werden kann. Aber auch komplexe Erkenner wie das Softwreprodukt "Freespeech" der Firma Philips sind bekannt, die kontinuierlich gesprochene Sprache verstehen können und über ein Sprachmodell verfügen sowie über ein Vokabular von einigen zehntausend Worten. Schließlich sind dem Fachmann auch dialogfähige Erkennungssysteme bekannt, darunter sprachgesteuerte Benutzerführungen für Telefonie-Anwendungen.
Die Sprachanalyseeinheit 30 greift hierbei auf die Datenbank 24 zu. In der Datenbank 24 ist das Vokabular abgespeichert, das die Sprachanalyseeinheit 30 erkennen soll. Dies umfasst direkte Ortsangaben wie "erster Stock", relative Ortsangaben "ein Stockwerk nach oben" und indirekte Ortsbeschreibungen (z.B. "zum Konferenzzimmer").
Das Ergebnis der Spracherkennung wird von der Sprachanalyseeinheit in Form von digitalen Daten E (Tokens, die über die Datenbank jeweils erkannten Worten zugeordnet sind) an die Steuereinheit 32 weitergegeben.
Anhand der Analysedaten E entscheidet die Steuereinheit 32, welches Steuerkommando C ausgesendet werden soll. Hierbei greift sie ebenfalls auf die Datenbank 24 zu. In der Datenbank 24 sind zu den möglichen direkten oder indirekten Ortsbeschreibungen die jeweils zugsordneten Steuerkommandos C abgespeichert. Nach Überprüfung der Analysedaten E ruft die Steuereinheit 32 diese Steuerkommandos C ab und übermittelt sie über den Hausbus 20 an die Antriebseinheit 16.
Die Unterscheidung der Sprachanalyseeinheit 30 und der Steuereinheit 32 ist hier rein funktionell. In dem konkreten Beispiel ist die Steuerzentrale 22 ein Zentralrechner. Dieser umfasst die Sprachanalyseeinheit 30 und die Steuereinheit 32 als Softwaremodule.
Nachfolgend wird die Funktionsweise der Steuerung anhand eines Beispiels erläutert:
Ein Benutzer betritt den Fahrstuhl und gibt das Sprachkommando "zu Herrn Meier, bitte". Das Sprachkommando wird innerhalb der Konsole 18 aufgezeichnet, digitalisiert und codiert sowie anschließend über die Datenleitung 26 und das Businterface 28 über den Hausbus 20 zur Steuerzentrale 22 geschickt. In der Steuerzentrale 22 werden die entsprechenden Audio-Daten ausgelesen und einer Sprachanalyse durch die Sprachanalyseeinrichtung 30 unterzogen. Diese erkennt anhand des in der Datenbank 24 abgespeicherten Vokabulars die Worte "zu", "Herrn", "Meier" und "bitte", und sendet diese in digitaler Form (beispielsweise Tokens) als Signal E an die Steuereinheit 32. Die Steuereinheit 32 wendet eine einfache syntaktische Analyse auf die erkannte Wortfolge an und entfernt das als überflüssig erkannte "zu" sowie den Zusatz "bitte". Als (indirekte) Ortsbeschreibung erkennt sie "Herrn Meier". Sie ruft in der Datenbank 24 die mit dem Schlüssel "Herr Meier" verknüpften Ortsinformationen ab. Da Herr Meier im dritten Stock arbeitet, wird aus der Datenbank ein Steuerkommando C ausgelesen, das über den Hausbus 20 an die Antriebseinheit 16 gesendet bewirkt, so dass der Aufzug in das entsprechende Stockwerk fährt. Das Ergebnis "dritter Stock" wird dem Benutzer durch Erleuchten eines entsprechenden Anzeigefeldes auf der Konsole angezeigt, so dass der Benutzer erkennt, dass sein Sprachkommando verstanden wurde.
Somit handelt es sich um einen "ortskundigen" Aufzug, dem über eine natürlichsprachliche Schnittstelle Kommandos gegeben werden können, die vom Steuerungssystem über die Gebäudedatenbank in Stockwerkinformationen umgesetzt und ausgeführt werden.
In einer Erweiterung des Systems ist dieses auch dialogfähig. Hierfür ist in der Konsole ein System zur Sprachausgabe integriert. Es handelt sich entweder um ein System zur synthetischen Sprachausgabe, wobei die auszugebenden Worte als Text von einer Dialogeinheit übermittelt werden. Oder es handelt sich um einen D/A Wandler mit angeschlossenem Lautsprecher, so dass als Audiodaten von der Dialogeinheit übermittelte Worte ausgegeben werden.
Die Dialogeinheit ist ebenfalls in der Steuerzentrale 22 angeordnet. Sie wertet die erkannten Sprachkommandos aus Wenn diese nicht oder nicht eindeutig zuzuordnen sind, fragt sie beim Benutzer nach Hierfür steuert sie über den Hausbus 20 das Sprachausgabesystem in der Konsole 18 an, so dass dieses die Rückfrage an den Benutzer richtet. Erst wenn das Kommando eindeutig zuzuordnen ist, wird es an die Steuereinheit zur entsprechenden Ansteuerung weitergegeben.
Die Dialogeinheit kann auch unter Zugriff auf eine entsprechend ständig aktualisierte Datenbank komplexere Aufgaben der Organisation übernehmen. So kann sie feststellen, dass beispielsweise Herr Müller sein Büro im zweiten Stock hat, aber derzeit in einer Besprechung im dritten Stock ist. Sie kann dies dem Benutzer mitteilen, verschiedene Reaktionen zur Auswahl geben und das Entsprechende veranlassen, beispielsweise, wenn der Benutzer im Büro von Herrn Müller warten möchte, diesen benachrichtigen.
Andere Erweiterung dieses Systems umfassen vor allem die folgenden Punkte:
Die Konsole kann außer Mitteln zur Sprachausgabe auch andere akustische oder graphische Anzeigeelemente umfassen. Solche Anzeigeelemente im Aufzug können auch verwendet werden um weitere Informationen über das Ziel zu liefern. Beispielsweise kann beim Aussteigen aus dem Aufzug ein weiterer Hinweise, z.B. Richtungsinformation "der Raum ist rechts am Ende des Ganges", gegeben werden. Über einen Drucker kann auch eine Wegbeschreibung ausgedruckt werden, die der Benutzer mitnimmt.
Das Sprachinterface kann beim Eintreten einer Person in den Fahrstuhl automatisch aktiviert werden. Dies kann mit Hilfe der Lichtschranke bzw. auch durch die Gewichtsveränderung festgestellt werden. Der Benutzer kann zur Eingabe seines Sprachkommandos durch eine entsprechende Anzeige (Sprachhinweis oder graphische Anzeige) aufgefordert werden.
Die Audio-Funktionen der Konsole können auch zum Herstellen einer Kommunikationsverbindung bei einer Aufzugfehlfunktion verwendet werden. Insbesondere können entsprechende Anfragen bzw. Hilferufe des Benutzers zum Vokabular der Spracherkennung 30 gehören, so dass beim Erkennen dieser Kommandos automatisch ein Notfallsignal ausgelöst wird.

Claims (12)

  1. Steuereinrichtung für einen Aufzug mit einer Konsole (18) zur Eingabe von Steuerungsinformationen
    dadurch gekennzeichnet,
    dass die Konsole (18) Mittel zur Audioaufzeichnung aufweist,
    die mit einer Sprachanalyseeinheit (30) verbunden sind,
    und dass eine Steuereinheit (32) vorgesehen ist, um den Aufzug entsprechend der eingegebenen Steuerungsinformationen zu steuern.
  2. Steinrichtung nach Anspruch 1,
    bei der sich die Konsole (18) in einer Aufzugkabine (12) befindet,
    und eine Steuerungszentrale (22) mit der Steuereinheit (30) an einem Ort außerhalb der Aurzugkabine (12) angeordnet ist,
    wobei Übertragungsmittel (26, 28, 20) zur Übertragung von Informationen zwischen der Konsole (18) und der Steuerungszentrale (22) vorgesehen sind
  3. Steuereinrichtung nach Anspruch 2,
    bei der die Sprachanalyseeinheit (30) an einem Ort außerhalb der Aufzugkabine (12) angeordnet ist und die Audioaufzeichnung von der Konsole (18) zur Sprachanalyse-einheit (30) übertragen wird.
  4. Steuereinrichtung nach Anspruch 2,
    bei der die Sprachanalyseeinheit (30) innerhalb der Aufzugkabine (12) angeordnet ist und von der Sprachanalyseeinheit (30) erkannte Sprachkommandos (E) zu einer Steuerungszentrale (22) übertragen werden.
  5. Steuereinrichtung nach einem der vorangehenden Ansprüche,
    bei der die Steuereinheit (32) Zugriff hat auf eine Datenbank (24),
    in der Ortsbeschreibungen mit hierdurch auszulösenden Steuerkommandos abgespeichert sind.
  6. Steuereinrichtung nach einem der varangehenden Ansprüche,
    bei der die Konsole (18) akustische oder graphische Anzeigsmittd umfasst,
    die ebenfalls durch die Steuereinheit (32) angesteuert werden.
  7. Aufzug mit einer Steuereinrichtung nach einem der vorangehenden Ansprüche.
  8. Steuerverfahren für einen Aufzug
    bei dem vom Benutzer des Aufzuges ein Sprachkommando gegeben wird,
    das von einer Sprachanalyseeinheit (30) analysiert wird
    und eine Steuereinheit (32) den Aufzug entsprechend der Analyseergebnisse der Sprachanalyseeinheit (30) ansteuert.
  9. Steuerverfahren nach Anspruch 8,
    bei dem die Tonaufzeichnung des Sprachkommandos oder das Ergebnis der Analyse des Sprachkommandos an eine Steuerzentrale (22) übermittelt wird, die an einem festen Ort außerhalb der Aufzugkabine (12) angeordnet ist.
  10. Steuerverfahren nach einem der Ansprüche 8 oder 9,
    bei dem das Ergebnis der Analyse des Sprachkommandos mit Einträgen in einer Datenbank (24) verglichen wird,
    und entsprechend dem jeweils zutreffenden Datenbankeintrag der Aufzug so angesteuert wird, dass die Aufzugkabine (12) in das dem Sprachkommando entsprechende Stockwerk fährt,
    wobei in der Datenbank (24) verschiedene Ortsbeschreibungen mit jeweils dazugehörigen Steuerkommandos abgelegt sind,
    und bei Übereinstimmung des analysierten Sprachkommandos (E) mit einer Ortsbeschreibung der Aufzug entsprechend der Steuerkommandos angesteuert wird.
  11. Steuerverfahren nach Anspruch 10,
    bei dem die Ortsbeschreibungen eine oder mehrere der vorhergehenden Typen von indirekten Ortsbeschreibungen umfassen:
    Stockwerknummern, Personennamen, Raumnummern, Funktionsbeschreibungen von Räumen, Abteilungsbezeichnungen, Veranstaltungsbezeichnungen.
  12. Steuerverfahren nach einem der Ansprüche 8-11, bei dem ein Dialog mit dem Benutzer geführt wird.
EP01000352.3A 2000-08-08 2001-08-07 Aufzug mit Sprachsteuerung Expired - Lifetime EP1184325B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10038518 2000-08-08
DE10038518A DE10038518A1 (de) 2000-08-08 2000-08-08 Ortskundiger Aufzug mit Sprachsteuerung

Publications (2)

Publication Number Publication Date
EP1184325A1 true EP1184325A1 (de) 2002-03-06
EP1184325B1 EP1184325B1 (de) 2018-01-24

Family

ID=7651614

Family Applications (1)

Application Number Title Priority Date Filing Date
EP01000352.3A Expired - Lifetime EP1184325B1 (de) 2000-08-08 2001-08-07 Aufzug mit Sprachsteuerung

Country Status (4)

Country Link
US (1) US6510924B2 (de)
EP (1) EP1184325B1 (de)
JP (1) JP5283295B2 (de)
DE (1) DE10038518A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202020001507U1 (de) 2020-04-14 2020-06-09 Sylvia Veit Sprachsteuerung für eine Aufzugskabine nach Aufzugsrichtlinie mittels Anbindung eines Sprach- und Signalverarbeitungsgeräts an eine Kabinentableau-Einheit im Aufzug

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4474460B2 (ja) * 2004-03-16 2010-06-02 オーチス エレベータ カンパニー エレベータ耐荷重部材に用いられる電気コネクタ装置
ES2396688T3 (es) * 2004-06-11 2013-02-25 Otis Elevator Company Sistema de interfaz para transportador de pasajeros
KR20060081076A (ko) * 2005-01-07 2006-07-12 이재호 음성인식으로 층수를 지정하는 엘리베이터
US8447433B2 (en) 2009-09-21 2013-05-21 The Peele Company Ltd. Elevator door wireless controller
CN102712440B (zh) 2009-11-06 2015-03-11 三菱电机株式会社 电梯的呼梯登记装置
KR101045842B1 (ko) * 2010-06-30 2011-07-01 유재혁 엘리베이터의 음성 인식 장치 및 이의 제어 방법
US9384733B2 (en) * 2011-03-25 2016-07-05 Mitsubishi Electric Corporation Call registration device for elevator
US8880200B2 (en) * 2012-05-04 2014-11-04 Inventio Ag Associating user preferences with elevator activity
CN105473483B (zh) 2013-08-21 2017-07-25 三菱电机株式会社 电梯控制装置
US9786276B2 (en) * 2014-08-25 2017-10-10 Honeywell International Inc. Speech enabled management system
US10127492B1 (en) * 2017-07-25 2018-11-13 International Business Machines Corporation Cognitive interactive elevator assistant
CN109422147A (zh) * 2017-08-28 2019-03-05 奥的斯电梯公司 口头命令界面
EP3608269A1 (de) * 2018-08-10 2020-02-12 Otis Elevator Company Aufzugkommunikationssystem
CN111627443B (zh) * 2020-07-27 2020-11-27 北京声智科技有限公司 电梯推荐方法、装置、设备及介质
CN113023512A (zh) * 2021-03-01 2021-06-25 北京电子科技职业学院 智能电梯语音控制方法、装置、电梯设备及存储介质
US20220383870A1 (en) * 2021-05-28 2022-12-01 Otis Elevator Company Usage of voice recognition confidence levels in a passenger interface

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4482032A (en) 1983-04-25 1984-11-13 Westinghouse Electric Corp. Elevator emergency control system
US4558298A (en) 1982-03-24 1985-12-10 Mitsubishi Denki Kabushiki Kaisha Elevator call entry system
GB2237410A (en) 1989-08-14 1991-05-01 Toshiba Kk Command input device for voice controllable elevator system
US5952626A (en) 1998-07-07 1999-09-14 Otis Elevator Company Individual elevator call changing

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5722295A (en) * 1980-07-15 1982-02-05 Nippon Electric Co Speaker recognizing system
US4590604A (en) * 1983-01-13 1986-05-20 Westinghouse Electric Corp. Voice-recognition elevator security system
JPS61151971U (de) * 1985-03-13 1986-09-19
US5255341A (en) * 1989-08-14 1993-10-19 Kabushiki Kaisha Toshiba Command input device for voice controllable elevator system
JP2647207B2 (ja) * 1989-09-12 1997-08-27 株式会社東芝 エレベータの呼び登録装置
JPH03238272A (ja) * 1990-02-14 1991-10-24 Toshiba Corp エレベータの呼び登録装置
JPH03293274A (ja) * 1990-04-10 1991-12-24 Toshiba Corp エレベータの音声登録装置
JPH04191258A (ja) * 1990-11-27 1992-07-09 Toshiba Corp エレベーターの制御装置
JPH04327471A (ja) * 1991-04-26 1992-11-17 Toshiba Corp エレベーターの制御装置
JPH054779A (ja) * 1991-06-28 1993-01-14 Toshiba Erebeeta Technos Kk エレベータの遠隔呼び登録装置
JPH0778183A (ja) * 1993-06-25 1995-03-20 Ricoh Co Ltd デ−タベ−ス検索システム
JP3566977B2 (ja) * 1993-12-27 2004-09-15 株式会社東芝 自然言語処理装置及びその方法
JPH09255243A (ja) * 1996-03-18 1997-09-30 Tatsuhiko Sumi 音声作動エレベータ−
JPH10194618A (ja) * 1997-01-16 1998-07-28 Mitsubishi Denki Bill Techno Service Kk エレベーターの乗場呼登録装置
ATE232503T1 (de) * 1997-05-22 2003-02-15 Inventio Ag Eingabegerät und verfahren zur akustischen befehlseingabe für eine aufzugsanlage
JP2000137496A (ja) * 1998-11-02 2000-05-16 Fujitsu I-Network Systems Ltd 音声認識による電話番号検索方式およびシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4558298A (en) 1982-03-24 1985-12-10 Mitsubishi Denki Kabushiki Kaisha Elevator call entry system
US4482032A (en) 1983-04-25 1984-11-13 Westinghouse Electric Corp. Elevator emergency control system
GB2237410A (en) 1989-08-14 1991-05-01 Toshiba Kk Command input device for voice controllable elevator system
US5952626A (en) 1998-07-07 1999-09-14 Otis Elevator Company Individual elevator call changing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202020001507U1 (de) 2020-04-14 2020-06-09 Sylvia Veit Sprachsteuerung für eine Aufzugskabine nach Aufzugsrichtlinie mittels Anbindung eines Sprach- und Signalverarbeitungsgeräts an eine Kabinentableau-Einheit im Aufzug

Also Published As

Publication number Publication date
EP1184325B1 (de) 2018-01-24
DE10038518A1 (de) 2002-02-21
JP5283295B2 (ja) 2013-09-04
JP2002104745A (ja) 2002-04-10
US6510924B2 (en) 2003-01-28
US20020020586A1 (en) 2002-02-21

Similar Documents

Publication Publication Date Title
EP1184325A1 (de) Aufzug mit Sprachsteuerung
DE69928329T2 (de) Ausrüstung zur Veränderung idividueller Anrufe
DE60032605T2 (de) Verfahren zum Verarbeiten automatischer Aufzugrufe zu vorbestimmten Zielen
EP2209729B1 (de) Verfahren zur festlegung eines zielrufes zur benutzung einer aufzugsanlage und eine aufzugsanlage
EP3212554B1 (de) System und verfahren zur wahrung der privatsphäre von personen in aufzugssystemen
DE60125696T2 (de) Universelle Fernsteuerung geeignet zum Empfang von Spracheingaben
EP0756742B2 (de) Verfahren und vorrichtung zur sprachgesteuerten fernbedienung elektrischer verbraucher
DE10163213A1 (de) Verfahren zum Betrieb eines Spracherkennungssystems
DE102006057159A1 (de) Verfahren zur Klassifizierung der gesprochenen Sprache in Sprachdialogsystemen
DE3029823C2 (de)
EP0879782B1 (de) Eingabegerät und Verfahren zur akustischen Befehlseingabe für eine Aufzugsanlage
DE10156945A1 (de) Verfahren zum Betrieb eines Sprach-Dialogsystems
DE19839466A1 (de) Verfahren und Steuereinrichtung zur Bedienung technischer Einrichtungen eines Fahrzeugs
EP3921263B1 (de) Aufzugsanlage mit aufzugsbedieneinrichtungen für passagiere mit körperlichen einschränkungen
DE3300053A1 (de) Auf sprache ansprechende mobile statuseinheit
DE112018007772T5 (de) Benachrichtigungssteuervorrichtung
DE112018007042T5 (de) Aufzugfahrgastführungsvorrichtung und Fahrgastführungssystem
DE3711582A1 (de) Verfahren zur steuerungseingabe, rechnerverarbeitung und anzeige
DE102022213324A1 (de) Verfahren zum Betrieb eines Systems mit einem autonom fahrenden Fahrzeug
DE102018127010A1 (de) Verfahren, Computerprogramm und Vorrichtung zur automatisierten computerbasierten Kommunikationsverarbeitung
DE19517404A1 (de) Kommunikationsanlage und Verfahren zum Betreiben einer Kommunikationsanlage
DE19817602A1 (de) Computerisiertes System für Empfang und Information von Besuchern
EP4204347A1 (de) Aufzugsanlage mit aufzugsbedieneinrichtungen für passagiere mit eingeschränkter mobilität
EP2875628B1 (de) Verfahren und vorrichtung zur kommunikation
WO2024121047A1 (de) Verfahren zum betrieb eines systems mit einem autonom fahrenden fahrzeug

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

Kind code of ref document: A1

Designated state(s): DE FR GB

AX Request for extension of the european patent

Free format text: AL;LT;LV;MK;RO;SI

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: KONINKLIJKE PHILIPS ELECTRONICS N.V.

Owner name: PHILIPS CORPORATE INTELLECTUAL PROPERTY GMBH

17P Request for examination filed

Effective date: 20020906

AKX Designation fees paid

Free format text: DE FR GB

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: KONINKLIJKE PHILIPS ELECTRONICS N.V.

Owner name: PHILIPS INTELLECTUAL PROPERTY & STANDARDS GMBH

17Q First examination report despatched

Effective date: 20081031

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: PHILIPS INTELLECTUAL PROPERTY & STANDARDS GMBH

Owner name: NUANCE COMMUNICATIONS, INC.

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: NUANCE COMMUNICATIONS, INC.

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20170803

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): DE FR GB

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 50116650

Country of ref document: DE

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 50116650

Country of ref document: DE

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20181025

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 50116650

Country of ref document: DE

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20180807

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190301

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180807