EP2674926A1 - Dispositif d'aide à la communication dans le domaine aéronautique - Google Patents

Dispositif d'aide à la communication dans le domaine aéronautique Download PDF

Info

Publication number
EP2674926A1
EP2674926A1 EP13170919.8A EP13170919A EP2674926A1 EP 2674926 A1 EP2674926 A1 EP 2674926A1 EP 13170919 A EP13170919 A EP 13170919A EP 2674926 A1 EP2674926 A1 EP 2674926A1
Authority
EP
European Patent Office
Prior art keywords
audio
message
messages
text message
aircraft
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP13170919.8A
Other languages
German (de)
English (en)
Other versions
EP2674926B1 (fr
Inventor
Vincent Loubiere
Netra Gowda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus SAS
Original Assignee
Airbus SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Airbus SAS filed Critical Airbus SAS
Publication of EP2674926A1 publication Critical patent/EP2674926A1/fr
Application granted granted Critical
Publication of EP2674926B1 publication Critical patent/EP2674926B1/fr
Not-in-force legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft
    • G08G5/20Arrangements for acquiring, generating, sharing or displaying traffic information
    • G08G5/21Arrangements for acquiring, generating, sharing or displaying traffic information located onboard the aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft
    • G08G5/20Arrangements for acquiring, generating, sharing or displaying traffic information
    • G08G5/26Transmission of traffic-related information between aircraft and ground stations

Definitions

  • the present invention relates to a device for aiding communication in the aeronautical field, in particular for an aircraft and in particular for a transport aircraft, as well as a communication system comprising a plurality of devices of this type which are connected together by radio link.
  • the present invention relates to audio communication between a pilot of an aircraft, including a transport aircraft, and ATC ("Air Traffic Control"), or between pilots of two aircraft, and is intended to facilitate their exchange and mutual understanding.
  • ATC Air Traffic Control
  • Audio communication is one of those tasks. It is therefore generally performed with air traffic control or with surrounding aircraft.
  • the audio communication is, in general, relatively intense in the most critical phases, such as approach and takeoff, for which traffic is more dense than in cruise flight and the number of tasks to be performed in parallel is high.
  • English is the language commonly used at all airports and on all aircraft, the level of speaking and listening comprehension in English, as well as accents, vary widely.
  • the present invention relates to a device for aiding communication in the aeronautical field, particularly on an aircraft, which overcomes the aforementioned drawbacks.
  • each audio message communicated is transcribed into a text message that is displayed.
  • a user of the device according to the invention in particular a pilot of an aircraft, has a real-time transcription of all the audio communications made. It is thus able to access (by reading) each message that has been previously communicated in a voice. This allows him to read a message that he did not understand orally, whatever the reason (imperfect understanding of English, difficult to understand accent or sound transmission problem). This reading is facilitated by the addition of the source (pilot, air traffic control, ...) to the displayed text message.
  • This transcription also enables pilots, in a critical situation, particularly when several tasks are to be performed in parallel, to first implement the tasks they consider to be priorities, paying less attention to the information communicated by radio ( if they are not considered priorities), and to take notice and process this information later.
  • This preferred embodiment allows a user of the device to listen to a message instead (or in addition) to read it.
  • said activation means comprise, for each text message displayed on the screen, an associated sensitive zone which is displayed together with the textual message with which it is associated, and which can be activated for trigger the playback of the audio message corresponding to said text message.
  • said communication aid device furthermore comprises means making it possible to access an automatic terminal information service, such as: ATIS (Automatic Terminal Information Service).
  • ATIS Automatic Terminal Information Service
  • the (pilot) user can initiate the retrieval of the ATIS message by the help device.
  • the device autonomously and in the background, will record the ATIS message.
  • the recording is processed by the device to reorder the audio message, and produce the transcript.
  • an audible signal indicates the end of the operation to the user, and the entire audio and text message is made available to the user, following a request through the interface. displayed on the screen.
  • said device when it is provided on an aircraft, in particular on a transport aircraft, said device can either be integrated in an avionics system or be part of an open-world type system, such as a laptop. for example, or any usual portable computing means.
  • the present invention also relates to a communication aid system for audio communications in the aeronautical field, comprising a plurality of communication units that are provided at different stations (or locations) (airborne control on the ground, aircraft) and which are likely to exchange messages with each other, for example via radio waves or any other existing solution.
  • this system is remarkable in that at least one of said communication units is such that the aforementioned device according to the invention.
  • all the units of the system correspond to a device according to the invention, or only a part of them.
  • a device having the features according to the invention is therefore able to communicate with another device having these characteristics and / or with a device (or communication unit) customary.
  • the present invention further relates to an aircraft and in particular a transport aircraft, which is equipped with a communication device as mentioned above.
  • the communication aid device 1 is intended for ground / flight type and / or flight / flight type audio communications, in particular from the cockpit of an aircraft (not shown), in particular from a transport aircraft.
  • said microphone 2 and said loudspeaker 3 can be mounted on a helmet, in particular a pilot, and be connected by a cable (integrating the links 5 and 6) to said means 4.
  • This device 1 is therefore a radiocommunication device (using OR radio waves for communication), and the aforementioned conventional means are well known and are not described further in the following description.
  • said means 11 and 13 are part of an assembly 18 which is for example connected via links 10 and 12 respectively to said links 5 and 6.
  • each audio message communicated is transcribed into a text message that is displayed.
  • a user of the device 1 according to the invention in particular a pilot of an aircraft, has a transcription of all the audio communications made (both incoming and outgoing). It is thus able to access (by reading the screen 17) to each message that is communicated at the present moment (or that has been previously communicated) in a voice. This allows him to read a message that he did not understand orally, regardless of the reason (imperfect understanding of English, difficult to understand accent or sound transmission problem) or that he would simply like to re-read. This reading is facilitated by the addition of the source (ATC, P1, P2, ...) to the textual message displayed.
  • Transcription and display in accordance with the invention also enable pilots, during a critical situation, particularly when several tasks are to be performed in parallel, to first implement the tasks they consider to be priorities, by carrying reduced attention to radio-reported information (if not considered a priority), and then noting (and processing) this non-priority information until later.
  • said device 1 also comprises usual means for determining the transmission time (expressed preferably in hours, minutes and seconds) of each audio message.
  • said display means 15 also display, on said screen 17, together with the text message M1, M2, M3, M4 with which it is associated, the time the corresponding T1, T2, T3, T4 transmission, as shown in FIG. figure 2 .
  • This preferred embodiment allows the user of the device 1 to listen to a message instead (or in addition) to read it.
  • the activation of the zone Z4 by the means 19 thus triggers the audio restitution (by the rendering means) of the message M4 which has been communicated at a time T4 by an ATC air controller.
  • Each list is presented in a column, and information for the same message is displayed on a line.
  • said device 1 also comprises means, for example the means 20, which allow a pilot to copy at least a portion of a text message displayed, and in particular the value of a flight parameter, and to transmit it to a user system (not shown) of the aircraft, such as a computer for example, thus avoiding to the pilot in the case of a flight parameter d have to enter its value, which reduces the workload as well as the risks of error.
  • a user system not shown
  • the communication device 1 also comprises means, in particular the means 4, which make it possible to access an automatic terminal information service, of the ATIS ("Automatic Terminal Information Service") type. in English), which usually transmits information about an airport in a loop (congestion problem, track condition, ).
  • the transcription means 13 transcribe into text messages, all the audio messages transmitted (looped) by this service and received and recorded by the device 1, and the display means 15 display these text messages on the screen 17.
  • said display means 15 comprise a dedicated single graphic interface corresponding to 17.
  • This graphical interface may comprise a display page 27, as represented by way of illustration on the figure 3 .
  • Said communication device 1 also comprises means 28 which for example form part of the assembly 18, as shown in FIG. figure 1 , and which are shaped to extract (by means of a computer program) an audio message or a text message of the particular data specified below.
  • said means 28 are configured to be able to extract, from each audio or text message, certain values in order to provide them to computing means (not shown and integrated for example in the set 18) for calculate particular parameters.
  • computing means not shown and integrated for example in the set 18
  • said means 28 are configured to be able to extract, from each audio or text message, digital values and transmit them to the device. display 15 so that it presents them on the screen 17 in the form of a table according to a usual display, for example on the table of the window 22 of the figure 3 .
  • said means 28 are configured to be able to extract, from each audio or text message, information specific to the drivers and transmit them to the display device 15 so that it presents them on the screen 17 in a dedicated field 26, for example a field of the type NOTAM (for "Note to Airmen").
  • said communication device 1 also comprises means 29 which are part of the assembly 18, for example, as shown in FIG. figure 1 , and which are formed so as to compare with each other at least two messages from the same source, for example ATC air control, respectively at different times, and to transmit to the display device 15 any differences between these two messages, so that it highlights them on the screen 17, for example on the text messages displayed in the windows 24B and 24C of the figure 3 if it is the comparison of the last two messages received by the device 1.
  • means 29 are part of the assembly 18, for example, as shown in FIG. figure 1 , and which are formed so as to compare with each other at least two messages from the same source, for example ATC air control, respectively at different times, and to transmit to the display device 15 any differences between these two messages, so that it highlights them on the screen 17, for example on the text messages displayed in the windows 24B and 24C of the figure 3 if it is the comparison of the last two messages received by the device 1.
  • Said communication device 1 further comprises a voice recognition unit 30 (comprising a microphone 31 and a software 32 interconnected), as shown in FIG. figure 1 .
  • This voice recognition unit 30 receives from a user a voice message via the microphone 31 and recognizes the word or expression uttered in the voice. microphone 31, then found in a particular text message, including the last message received.
  • the pilot can pronounce the following information request message in the microphone 31: "what is the temperature? Or "I want to know the temperature”, and the voice recognition unit 30 looks in the corresponding text for the word "temperature” and highlights it. The pilot can then see this term on the displayed text message and easily find the numerical value directly associated with this term (and which often comes right after this term in the text).
  • the microphone of the voice recognition unit 30 may be a microphone 31 specially dedicated to voice recognition or said microphone 2 of the device 1 which is then connected by appropriate links (not shown) to said means 32.
  • said speech recognition unit 30 includes a usual speech training unit 34 which allows said unit 30 to learn new voices. This feature ensures that more than 98 percent of the speech recognition functionality is generally reliable.
  • a part of the device 1 can be installed in a laptop (for example of the "Electronic Flight Bag” type) or an electronic tablet that a pilot uses and which includes in particular usual instructions.
  • a laptop for example of the "Electronic Flight Bag” type
  • an electronic tablet that a pilot uses and which includes in particular usual instructions.
  • means 11, 13, 15 and 20 in particular of the figure 1 are for example integrated in this computer or tablet, while the means 2, 3 and 4 are part of a usual communication unit of the aircraft.
  • said computer is capable of being connected to this communication unit, and in particular to the helmet of a pilot comprising the means 2 and 3 (via the links 10 and 12).
  • said device 1 when provided on an aircraft, in particular on a transport aircraft, said device 1 can be integrated in an avionics system or be part of an open world system.
  • a communication device 1 according to the invention as described above can be part of a communication system 35 which comprises a plurality of communication units U1, U2, U3 which are able to communicate with each other via a communication device.
  • radio waves OR as shown on the figure 4 .
  • At least one of the units of the system 35 is a device 1 according to the invention. Of course, this can be the case for all the units of the system 35.
  • the system 35 of the figure 4 therefore comprises usual U3 units and devices 1 according to the invention.
  • This shows the integration capabilities of a device 1 according to the invention that is able to communicate with another device 1 or with a usual communication unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

Dispositif d'aide à la communication dans le domaine aéronautique. Le dispositif (1) comporte des moyens (11) pour enregistrer des messages audio correspondant à toutes les communications audio entrantes et sortantes, des moyens (13) pour transcrire, en temps réel, chacun desdits messages audio en un message textuel, des moyens (15) pour afficher, sur au moins un écran (17), chaque message textuel ainsi généré, et des moyens susceptibles de restituer tout message audio enregistré.

Description

  • La présente invention concerne un dispositif d'aide à la communication dans le domaine aéronautique, en particulier pour un aéronef et notamment pour un avion de transport, ainsi qu'un système de communication comprenant une pluralité de dispositifs de ce type qui sont reliés ensemble par liaison radio.
  • Un tel dispositif de communication est destiné, plus particulièrement bien que non exclusivement, aux communications audio (de type sol/vol ou de type vol/vol) du poste de pilotage d'un aéronef. Un tel dispositif de communication audio comprend notamment :
    • au moins un microphone ;
    • au moins un haut-parleur ; et
    • des moyens de traitement et de transmission de données relatives à une communication audio, qui sont reliés audit microphone et audit haut-parleur et qui sont susceptibles d'émettre des communications sortantes et de recevoir des communications entrantes.
  • Plus précisément, la présente invention concerne la communication audio entre un pilote d'un aéronef, notamment d'un avion de transport, et le contrôle aérien ATC (« Air Traffic Control » en anglais), ou entre les pilotes de deux aéronefs, et a pour objet de faciliter leurs échanges et la compréhension mutuelle.
  • On sait que, lors d'un vol, les pilotes d'un aéronef doivent souvent réaliser en parallèle de nombreuses tâches, ce qui entraîne une charge de travail importante. La communication audio est l'une de ces tâches. Elle est donc généralement réalisée avec le contrôle aérien ou avec des aéronefs environnants.
  • La communication audio est, en général, relativement intense dans les phases les plus critiques, telles que l'approche et le décollage, pour lesquelles le trafic est plus dense qu'en vol de croisière et le nombre de tâches à réaliser en parallèle est élevé. En outre, bien que l'anglais soit la langue communément utilisée dans tous les aéroports et sur tous les avions, le niveau d'expression orale et de compréhension orale de l'anglais, ainsi que les accents varient fortement.
  • Tous ces facteurs peuvent amener à de mauvaises compréhensions lors d'une communication audio, qui peuvent entraîner des retards ou être à l'origine de problèmes plus importants.
  • La présente invention concerne un dispositif d'aide à la communication dans le domaine aéronautique, notamment sur un aéronef, qui permet de remédier aux inconvénients précités.
  • A cet effet, selon l'invention, ledit dispositif d'aide à la communication, du type comprenant :
    • au moins un microphone ;
    • au moins un haut-parleur ; et
    • des moyens de traitement et de transmission de données relatives à une communication audio, qui sont reliés audit microphone et audit haut-parleur et qui sont susceptibles d'émettre des communications sortantes et de recevoir des communications entrantes,
    est remarquable en ce qu'il comporte de plus :
    • des moyens d'enregistrement pour enregistrer des messages audio correspondant à toutes les communications audio entrantes et sortantes, transmises par lesdits moyens de traitement et de transmission de données ;
    • des moyens de transcription pour transcrire, en temps réel, chacun desdits messages audio en un message textuel ; et
    • des moyens d'affichage pour afficher, sur au moins un écran, chaque message textuel généré par lesdits moyens de transcription, en indiquant de plus la source à l'origine de ce message.
  • Ainsi, grâce à l'invention, chaque message audio communiqué est transcrit en un message textuel qui est affiché.
  • Par conséquent, un utilisateur du dispositif conforme à l'invention, notamment un pilote d'un aéronef, dispose d'une transcription en temps réel de toutes les communications audio réalisées. Il est ainsi en mesure d'accéder (par la lecture) à chaque message qui a été communiqué précédemment de manière vocale. Ceci lui permet notamment de lire un message qu'il n'a pas bien compris oralement, quelle que soit la raison (compréhension imparfaite de l'anglais, accent difficile à comprendre ou problème de transmission sonore). Cette lecture est facilitée par l'adjonction de la source (pilote, contrôle aérien,...) au message textuel affiché.
  • Cette transcription permet également aux pilotes, lors d'une situation critique, en particulier lorsque plusieurs tâches sont à réaliser en parallèle, de mettre en oeuvre en premier les tâches qu'ils jugent prioritaires, en portant une attention réduite aux informations communiquées par radio (si elles ne sont pas jugées prioritaires), et de prendre connaissance et de traiter ces informations ultérieurement.
  • Par ailleurs, on connaît, par le document FR-2 773 414 , un système de communication qui est destiné, en particulier, à des personnes présentant des déficiences auditives et qui réalise une transcription directe d'un message audio en un message textuel qui est affiché. Ce système prévoit de ne plus tenir compte du message audio dès que le message textuel est affiché. Ce système ne concerne pas le domaine aéronautique, et il n'enseigne donc pas d'enregistrer également le message audio, en plus de sa transcription textuelle. Or, un tel enregistrement présente des avantages importants, en permettant en particulier une analyse ultérieure dudit message audio ou une restitution ultérieure de ce message, en particulier en relation avec le message textuel correspondant.
  • Par ailleurs, dans un mode de réalisation préféré, le dispositif d'aide à la communication conforme à l'invention comporte de plus :
    • des moyens de restitution qui sont susceptibles de réaliser une restitution audio de tout message audio enregistré ; et
    • des moyens d'activation qui sont susceptibles d'être commandés par un opérateur pour identifier et déclencher la restitution par les moyens de restitution d'un message audio enregistré.
  • Ce mode de réalisation préféré permet à un utilisateur du dispositif de réécouter un message au lieu (ou en plus) de le lire.
  • Dans une variante de réalisation particulière, lesdits moyens d'activation comprennent, pour chaque message textuel affiché sur l'écran, une zone sensible associée qui est affichée conjointement avec le message textuel auquel elle est associée, et qui est susceptible d'être activée pour déclencher la restitution du message audio correspondant audit message textuel.
  • En outre, avantageusement, le dispositif conforme à l'invention comporte également :
    • des moyens permettant à un opérateur de copier au moins une partie d'un message textuel affiché, et notamment la valeur d'un paramètre, et de le transmettre à un système de l'aéronef, ce qui évite au pilote dans le cas d'un paramètre d'avoir à entrer sa valeur et réduit la charge de travail et les risques d'erreur ; et/ou
    • des moyens pour déterminer l'heure d'émission de chaque message audio, cette heure d'émission étant affichée par lesdits moyens d'affichage sur ledit écran conjointement avec le message textuel auquel elle est associée.
  • Par ailleurs, dans un mode de réalisation particulier, ledit dispositif d'aide à la communication comporte, de plus, des moyens permettant d'accéder à un service automatique d'information de terminal, de type ATIS (« Automatic Terminal Information Service » en anglais). Dans ce mode de réalisation, l'utilisateur (pilote) peut lancer la récupération du message ATIS par le dispositif d'aide. Le dispositif, de manière autonome et en tâche de fond, va enregistrer le message ATIS. L'enregistrement est traité par le dispositif pour réordonner le message audio, et produire la transcription. Une fois le traitement complet, un signal sonore indique la fin de l'opération à l'utilisateur, et l'ensemble du message audio et textuel est mis à la disposition de l'utilisateur, suite à une demande au travers de l'interface affichée sur l'écran.
  • En outre, avantageusement, ledit dispositif peut comporter l'une ou plusieurs des caractéristiques suivantes :
    • ledit écran des moyens d'affichage représente une interface graphique unique dédiée ;
    • ledit dispositif comporte des moyens configurés pour extraire d'un message audio ou textuel des données particulières, et des moyens configurés pour utiliser les données ainsi extraites, de la manière précisée ci-dessous ;
    • ledit dispositif comporte des moyens configurés pour comparer entre eux au moins deux messages issus d'une même source, respectivement à des moments différents, et pour mettre en évidence d'éventuelles différences entre ces deux messages ;
    • ledit dispositif comporte, de plus une unité de reconnaissance vocale, qui est configurée pour recevoir une demande d'information de type vocal et pour rechercher dans un message textuel l'information demandée, qui est ensuite mise en évidence sur l'écran ; et
    • ladite unité de reconnaissance vocale comporte une unité d'apprentissage vocal.
  • Dans le cadre de la présente invention, le dispositif d'aide à la communication conforme à l'invention peut :
    • être monté à poste fixe sur un aéronef ; ou
    • être intégré, au moins en partie, dans un moyen de type monde ouvert qui est susceptible d'être relié à au moins un système d'un aéronef, en particulier dans un ordinateur portable usuel ou une tablette électronique usuelle d'un pilote comprenant notamment des instructions ; ou bien
    • être installé au sol dans un poste de contrôle aérien.
  • Par conséquent, lorsqu'il est prévu sur un aéronef, en particulier sur un avion de transport, ledit dispositif peut, soit être intégré dans un système avionique, soit faire partie d'un système de type monde ouvert, tel qu'un ordinateur portable par exemple ou tout moyen informatique portable usuel.
  • La présente invention concerne également un système d'aide à la communication pour des communications audio dans le domaine aéronautique, comprenant une pluralité d'unités de communication qui sont prévues à des postes (ou endroits) différents (contrôle aérien au sol, aéronef) et qui sont susceptibles d'échanger des messages entre elles, via par exemple des ondes radio ou toute autre solution existante.
  • Selon l'invention, ce système est remarquable en ce qu'au moins l'une desdites unités de communication est telle que le dispositif précité conforme à l'invention. Dans le cadre de la présente invention, il est envisageable que l'ensemble des unités du système correspondent à un dispositif conforme à l'invention, ou uniquement une partie d'entre elles.
  • Un dispositif présentant les caractéristiques conformes à l'invention est donc en mesure de communiquer avec un autre dispositif présentant ces caractéristiques et/ou avec un dispositif (ou unité de communication) usuel.
  • La présente invention concerne, en outre, un aéronef et en particulier un avion de transport, qui est équipé d'un dispositif de communication tel que précité.
  • Les figures du dessin annexé feront bien comprendre comment l'invention peut être réalisée. Sur ces figures, des références identiques désignent des éléments semblables.
    • La figure 1 est le schéma synoptique d'un dispositif de communication conforme à l'invention.
    • La figure 2 montre schématiquement un exemple d'affichage illustrant à l'invention.
    • La figure 3 montre schématiquement un autre exemple d'affichage illustrant l'invention.
    • La figure 4 est le schéma synoptique d'un système de communication conforme à l'invention.
  • Le dispositif d'aide à la communication 1 conforme à l'invention et représenté schématiquement sur la figure 1 est destiné aux communications audio de type sol/vol et/ou de type vol/vol, notamment à partir du poste de pilotage d'un aéronef (non représenté), en particulier d'un avion de transport.
  • De façon usuelle, un tel dispositif 1 qui peut être embarqué sur un aéronef, comporte notamment :
    • au moins un microphone 2 ;
    • au moins un haut-parleur 3 ; et
    • des moyens usuels 4 de traitement et de transmission de données relatives à une communication audio, qui sont reliés par l'intermédiaire de liaisons 5 et 6 respectivement audit microphone 2 et audit haut-parleur 3 et qui sont susceptibles d'émettre des communications sortantes (vers l'extérieur du poste (aéronef,...) où est installé le dispositif 1), et de recevoir des communications entrantes (de l'extérieur), sous forme d'ondes radio OR.
  • Ces moyens 4 comprennent, de façon usuelle, notamment les moyens suivants :
    • des antennes 7 pour recevoir et émettre des messages sous forme d'ondes radio OR ;
    • des moyens 8 de réception et de transmission des messages qui sont reliés auxdites antennes 7 ; et
    • des moyens 9 de traitement des messages.
  • De plus, ledit microphone 2 et ledit haut-parleur 3 peuvent être montés sur un casque, en particulier d'un pilote, et être reliés par un câble (intégrant les liaisons 5 et 6) auxdits moyens 4.
  • Ce dispositif 1 est donc un dispositif de radiocommunication (utilisant des ondes radio OR pour la communication), et les moyens usuels précités sont bien connus et ne sont pas décrits davantage dans la description suivante.
  • Selon l'invention, ledit dispositif 1 comporte de plus :
    • des moyens d'enregistrement 11 qui enregistrent des messages audio correspondant à toutes les communications audio entrantes et sortantes, qui sont transmises par lesdits moyens 4 de traitement et de transmission de données ;
    • des moyens de transcription 13 usuels, qui sont reliés par l'intermédiaire d'une liaison 14 aux moyens 11 et qui sont formés de manière à transcrire, en temps réel, de façon usuelle, chacun desdits messages audio en un message textuel correspondant ; et
    • des moyens d'affichage 15 qui sont reliés par l'intermédiaire d'une liaison 16 aux moyens de transcription 13 et qui sont formés de manière à afficher, sur au moins un écran 17, chaque message textuel (M1, M2, M3, M4,...) généré par lesdits moyens de transcription 13, en indiquant de plus la source (contrôle aérien ATC, pilote P1 d'un premier aéronef, pilote P2 d'un second aéronef,...) à l'origine de ce message, comme représenté à titre d'illustration sur la figure 2.
  • De préférence, lesdits moyens 11 et 13 font partie d'un ensemble 18 qui est par exemple relié par l'intermédiaire de liaisons 10 et 12 respectivement auxdites liaisons 5 et 6.
  • Ainsi, grâce à l'invention, chaque message audio communiqué est transcrit en un message textuel qui est affiché.
  • Par conséquent, un utilisateur du dispositif 1 conforme à l'invention, notamment un pilote d'un aéronef, dispose d'une transcription de toutes les communications audio réalisées (aussi bien entrantes que sortantes). Il est ainsi en mesure d'accéder (par la lecture de l'écran 17) à chaque message qui est communiqué à l'instant présent (ou qui a été communiqué précédemment) de façon vocale. Ceci lui permet notamment de lire un message qu'il n'a pas bien compris oralement, quelle que soit la raison (compréhension imparfaite de l'anglais, accent difficile à comprendre ou problème de transmission sonore) ou qu'il aimerait simplement relire. Cette lecture est facilitée par l'adjonction de la source (ATC, P1, P2,...) au message textuel affiché.
  • La transcription et l'affichage conformes à l'invention permettent également aux pilotes, lors d'une situation critique, en particulier lorsque plusieurs tâches sont à réaliser en parallèle, de mettre en oeuvre en premier les tâches qu'ils jugent prioritaires, en portant une attention réduite aux informations communiquées par radio (si elles ne sont pas jugées prioritaires), et puis de ne prendre connaissance (et de traiter) ces informations non prioritaires qu'ultérieurement.
  • En outre, ledit dispositif 1 comporte également des moyens usuels pour déterminer l'heure d'émission (exprimée de préférence en heures, minutes et secondes) de chaque message audio. De plus, lesdits moyens d'affichage 15 affichent également, sur ledit écran 17, conjointement avec le message textuel M1, M2, M3, M4 auquel elle est associée, l'heure d'émission T1, T2, T3, T4 correspondante, comme représenté sur la figure 2.
  • Par ailleurs, dans un mode de réalisation préféré, le dispositif 1 conforme à l'invention comporte de plus :
    • des moyens de restitution qui comprennent de préférence lesdits moyens 11, qui sont par exemple reliés au haut-parleur 3 (ou comprennent un haut-parleur dédié), et qui sont susceptibles de réaliser une restitution audio de tout message audio enregistré par les moyens 11 ; et
    • des moyens d'activation 19 qui sont susceptibles d'être commandés par un opérateur pour identifier et déclencher la restitution par les moyens de restitution d'un message audio enregistré.
  • Ce mode de réalisation préféré permet à l'utilisateur du dispositif 1 de réécouter un message au lieu (ou en plus) de le lire.
  • Dans une variante de réalisation particulière, lesdits moyens d'activation 19 comprennent :
    • pour chaque message textuel affiché sur l'écran 17, une zone sensible associée Z1, Z2, Z3, Z4 qui est affichée conjointement avec le message textuel M1, M2, M3, M4 auquel elle est associée, et qui est susceptible d'être activée pour déclencher la restitution du message audio correspondant audit message textuel ; et
    • des moyens 20, par exemple une souris d'ordinateur ou une boule de commande ou tout autre moyen usuel, qui sont reliés par une liaison 21 aux moyens 15, et qui permettent à un opérateur d'amener un curseur sur une zone Z1, Z2, Z3, Z4 à activer afin de la désigner et l'activer.
  • A titre d'illustration, l'activation de la zone Z4 par les moyens 19 déclenche ainsi la restitution audio (par les moyens de restitution) du message M4 qui a été communiqué à un instant T4 par un contrôleur aérien ATC.
  • La figure 2 montre donc un exemple d'affichage susceptible d'être réalisé sur l'écran 17, qui indique pour chaque message (M1, M2, M3, M4) d'une liste M de messages :
    • la liste S de sources correspondantes : ATC, P1, P2, ATC ;
    • la liste T d'heures d'émission correspondantes : T1, T2, T3, T4 ; et
    • la liste Z de zones d'activation correspondantes : Z1, Z2, Z3, Z4.
  • Chaque liste est présentée en colonne, et les informations pour un même message sont donc affichées sur une ligne.
  • En outre, dans le cas d'un dispositif de communication 1 embarqué sur un aéronef, ledit dispositif 1 comporte également des moyens, par exemple les moyens 20, qui permettent à un pilote de copier au moins une partie d'un message textuel affiché, et notamment la valeur d'un paramètre de vol, et de le transmettre à un système utilisateur (non représenté) de l'aéronef, tel qu'un calculateur par exemple, évitant ainsi au pilote dans le cas d'un paramètre de vol d'avoir à entrer sa valeur, ce qui réduit la charge de travail ainsi que les risques d'erreur.
  • Par ailleurs, dans un mode de réalisation particulier, le dispositif de communication 1 comporte également des moyens, notamment les moyens 4, qui permettent d'accéder à un service automatique d'information de terminal, de type ATIS (« Automatic Terminal Information Service » en anglais), qui émet de façon usuelle en boucle des informations sur un aéroport (problème de congestion, état de piste,...). Dans ce cas, les moyens de transcription 13 transcrivent en messages textuels, tous les messages audio émis (en boucle) par ce service et reçus et enregistrés par le dispositif 1, et les moyens d'affichage 15 affichent ces messages textuels sur l'écran 17.
  • Dans un mode de réalisation préféré, lesdits moyens d'affichage 15 comprennent une interface graphique unique dédiée correspondant à l'écran 17. Cette interface graphique peut comporter une page d'affichage 27, telle que représentée à titre d'illustration sur la figure 3.
  • Cette interface graphique permet notamment de mettre en oeuvre les fonctions suivantes :
    • présentation sous forme de tableau de valeurs numériques, comme illustré schématiquement par une fenêtre 22 sur la figure 3 ;
    • affichage distinct du message textuel en cours, par exemple dans une fenêtre 23 ;
    • affichage séparé dans des fenêtres 24A, 24B et 24C dédiées d'un nombre N de derniers messages reçus. Chacune des fenêtres 24A, 24B et 24C affiche un seul message, N étant par exemple égal à 3 ; et
    • présentation d'un élément graphique 25 apte à afficher une liste déroulante permettant de rappeler des messages précédemment transcrits, en plus des trois derniers, et leur affichage dans une fenêtre particulière, par exemple dans l'une des fenêtres 24A à 24C.
  • Ledit dispositif de communication 1 comporte également des moyens 28 qui font par exemple partie de l'ensemble 18, comme représenté sur la figure 1, et qui sont formés de manière à extraire (au moyen d'un programme informatique) d'un message audio ou d'un message textuel des données particulières précisées ci-dessous.
  • Dans une première variante de réalisation, lesdits moyens 28 sont configurés pour pouvoir extraire, de chaque message audio ou textuel, certaines valeurs dans le but de les fournir à des moyens de calcul (non représentés et intégrés par exemple dans l'ensemble 18) pour calculer des paramètres particuliers. A titre d'illustration, on peut citer une extraction (d'un message audio ou textuel) des valeurs de la direction et de la vitesse du vent à la piste d'atterrissage, pour calculer la composante transversale du vent (« crosswind » en anglais), par la multiplication de la vitesse du vent par le sinus de l'angle entre le vent et la direction de la piste.
  • Dans une seconde variante de réalisation (en complément ou non de ladite première variante), lesdits moyens 28 (ou d'autres moyens appropriés) sont configurés pour pouvoir extraire, de chaque message audio ou textuel, des valeurs numériques et les transmettre au dispositif d'affichage 15 pour qu'il les présente sur l'écran 17 sous forme d'un tableau conformément à un affichage usuel, par exemple sur le tableau de la fenêtre 22 de la figure 3.
  • En outre, dans une troisième variante de réalisation (en complément ou non desdites première et/ou seconde variantes précitées), lesdits moyens 28 (ou d'autres moyens appropriés) sont configurés pour pouvoir extraire, de chaque message audio ou textuel, des informations spécifiques pour les pilotes et les transmettre au dispositif d'affichage 15 pour qu'il les présente sur l'écran 17 dans un champ dédié 26, par exemple un champ de type NOTAM (pour « Note to Airmen »).
  • Par ailleurs, ledit dispositif de communication 1 comporte également des moyens 29 qui font par exemple partie de l'ensemble 18, comme représenté sur la figure 1 , et qui sont formés de manière à comparer entre eux au moins deux messages issus d'une même source, par exemple du contrôle aérien ATC, respectivement à des moments différents, et à transmettre au dispositif d'affichage 15 les éventuelles différences entre ces deux messages, pour qu'il les mette en évidence sur l'écran 17, par exemple sur les messages textuels affichés dans les fenêtres 24B et 24C de la figure 3 s'il s'agit de la comparaison des deux derniers messages reçus par le dispositif 1.
  • Ledit dispositif de communication 1 comporte, de plus, une unité de reconnaissance vocale 30 (comprenant un microphone 31 et un logiciel 32 reliés entre eux), comme représenté sur la figure 1. Cette unité de reconnaissance vocale 30 reçoit d'un utilisateur un message vocal via le microphone 31 et elle reconnaît le mot ou l'expression prononcée dans le microphone 31, puis le retrouve dans un message textuel particulier, notamment le dernier message reçu. A titre d'illustration, le pilote peut prononcer le message de demande d'information suivant dans le micro 31 : « quelle est la température ? » ou « je désire connaître la température », et l'unité de reconnaissance vocale 30 cherche dans le texte correspondant le mot « température » et le met en évidence. Le pilote peut alors voir ce terme sur le message textuel affiché et retrouver facilement la valeur numérique directement associée à ce terme (et qui vient souvent juste après ce terme dans le texte).
  • Le microphone de l'unité de reconnaissance vocale 30 peut être un microphone 31 spécialement dédié à la reconnaissance vocale ou ledit microphone 2 du dispositif 1 qui est alors relié par des liaisons appropriées (non représentées) audit moyen 32.
  • De plus, ladite unité de reconnaissance vocale 30 comporte une unité d'apprentissage vocal usuelle 34 qui permet à ladite unité 30 d'apprendre de nouvelles voix. Cette fonctionnalité garantit une fiabilité généralement à plus de 98% de la fonctionnalité de reconnaissance vocale.
  • Dans le cadre de la présente invention, ledit dispositif 1 peut :
    1. a) être monté à poste fixe sur un aéronef et donc représenter un dispositif avionique ; ou
    2. b) être intégré, au moins en partie, dans un moyen de type monde ouvert qui est susceptible d'être relié à au moins un système d'un aéronef ; ou bien
    3. c) être installé au sol dans un poste de contrôle aérien notamment.
  • Dans le mode de réalisation b), une partie du dispositif 1 peut être installée dans un ordinateur portable (par exemple de type « Electronic Flight Bag » en anglais) ou une tablette électronique qu'utilise un pilote et qui comprend notamment des instructions usuelles. Dans ce cas, les moyens 11, 13, 15 et 20 notamment de la figure 1 sont par exemple intégrés dans cet ordinateur ou cette tablette, alors que les moyens 2, 3 et 4 font partie d'une unité de communication usuelle de l'aéronef. De plus, ledit ordinateur est susceptible d'être relié à cette unité de communication, et notamment au casque d'un pilote comprenant les moyens 2 et 3 (via les liaisons 10 et 12).
  • Dans le cadre de la présente invention, il est également envisageable que la répartition des moyens du dispositif 1 entre l'ordinateur portable (ou la tablette) et l'avionique soit différente, l'ordinateur intégrant par exemple uniquement les moyens de transcription 13.
  • Par conséquent, lorsqu'il est prévu sur un aéronef, en particulier sur un avion de transport, ledit dispositif 1 peut être intégré dans un système avionique ou faire partie d'un système monde ouvert.
  • Un dispositif de communication 1 conforme à l'invention tel que décrit précédemment peut faire partie d'un système de communication 35 qui comprend une pluralité d'unités de communication U1, U2, U3 qui sont susceptibles de communiquer entre elles par l'intermédiaire d'ondes radio OR, comme représenté sur la figure 4.
  • Dans le cadre de la présente invention, au moins l'une des unités du système 35 est un dispositif 1 conforme à l'invention. Bien entendu, cela peut être le cas pour toutes les unités du système 35.
  • Dans l'exemple représenté sur la figure 4 :
    • l'unité U1 qui est, par exemple, montée sur un premier aéronef est un dispositif 1 ;
    • l'unité U2 qui est, par exemple, installée au sol dans un poste de contrôle aérien, est également un dispositif 1 ; et
    • l'unité U3 qui est, par exemple, montée sur un second aéronef, correspond à une unité usuelle comprenant par exemple uniquement les moyens 2, 3 et 4 de la figure 1.
  • Le système 35 de la figure 4 comporte donc des unités U3 usuelles et des dispositifs 1 conformes à l'invention. Ceci montre les capacités d'intégration d'un dispositif 1 conforme à l'invention qui est en mesure de communiquer soit avec un autre dispositif 1, soit avec une unité de communication usuelle.

Claims (15)

  1. Dispositif d'aide à la communication dans le domaine aéronautique, ledit dispositif (1) comprenant :
    - au moins un microphone (2) ;
    - au moins un haut-parleur (3) ;
    - des moyens (4) de traitement et de transmission de données relatives à une communication audio, qui sont reliés audit microphone et audit haut-parleur et qui sont susceptibles d'émettre des communications sortantes et de recevoir des communications entrantes ;
    - des moyens de transcription (13) pour transcrire, en temps réel, chacun desdits messages audio en un message textuel ; et
    - des moyens d'affichage (15) pour afficher, sur au moins un écran (17), chaque message textuel (M1, M2, M3, M4) généré par lesdits moyens de transcription (13), en indiquant de plus la source (ATC, P1 P2) à l'origine de ce message,
    caractérisé en ce qu'il comporte, de plus, des moyens d'enregistrement (11) pour enregistrer des messages audio correspondant à toutes les communications audio entrantes et sortantes, transmises par lesdits moyens (4) de traitement et de transmission de données.
  2. Dispositif selon la revendication 1,
    caractérisé en ce qu'il comporte de plus :
    - des moyens de restitution qui sont susceptibles de réaliser une restitution audio de tout message audio enregistré ; et
    - des moyens d'activation (19) susceptibles d'être activés par un opérateur pour identifier et déclencher la restitution par les moyens de restitution d'un message audio enregistré.
  3. Dispositif selon la revendication 2,
    caractérisé en ce que lesdits moyens d'activation (19) comprennent, pour chaque message textuel (M1, M2, M3, M4) affiché sur l'écran (17), une zone sensible (Z1, Z2, Z3, Z4) associée qui est affichée conjointement avec le message textuel auquel elle est associée, et qui est susceptible d'être activée pour déclencher la restitution du message audio correspondant audit message textuel.
  4. Dispositif selon l'une des revendications 1 à 3,
    caractérisé en ce qu'il comporte des moyens (20) permettant à un opérateur de copier au moins une partie d'un message textuel affiché et de le transmettre à un système de l'aéronef.
  5. Dispositif selon l'une quelconque des revendications précédentes,
    caractérisé en ce qu'il comporte de plus des moyens pour déterminer l'heure d'émission de chaque message audio, et en ce que lesdits moyens d'affichage (15) affichent de plus sur ledit écran (17), conjointement avec le message textuel (M1, M2, M3, M4) auquel elle est associée, l'heure d'émission (T1, T2, T3, T4) correspondante.
  6. Dispositif selon l'une quelconque des revendications précédentes,
    caractérisé en ce qu'il comporte des moyens permettant d'accéder à un service automatique d'information de terminal, de transcrire en messages textuels tous les messages audio émis par ce service, d'afficher lesdits messages textuels sur ledit écran (17), et de restituer tout message audio réordonné pouvant être écouté à la demande.
  7. Dispositif selon l'une quelconque des revendications précédentes,
    caractérisé en ce qu'il comporte des moyens (28) configurés pour extraire d'un message audio ou textuel des données particulières et des moyens (15) configurés pour utiliser les données ainsi extraites.
  8. Dispositif selon l'une quelconque des revendications précédentes,
    caractérisé en ce qu'il comporte des moyens (29) configurés pour comparer entre eux au moins deux messages issus d'une même source, respectivement à des moments différents, et pour mettre en évidence d'éventuelles différences entre ces deux messages.
  9. Dispositif selon l'une quelconque des revendications précédentes,
    caractérisé en ce qu'il comporte, de plus une unité de reconnaissance vocale (30), qui est configurée pour recevoir une demande d'information de type vocal et pour rechercher dans un message textuel l'information demandée, qui est ensuite mise en évidence sur l'écran (17).
  10. Dispositif selon la revendication 9,
    caractérisé en ce que ladite unité de reconnaissance vocale (30) comporte une unité d'apprentissage vocal (32).
  11. Dispositif selon l'une quelconque des revendications 1 à 10, caractérisé en ce qu'il est monté à poste fixe sur un aéronef.
  12. Dispositif selon l'une quelconque des revendications 1 à 10, caractérisé en ce qu'il est intégré, au moins en partie, dans un moyen de type monde ouvert qui est susceptible d'être relié à au moins un système d'un aéronef.
  13. Dispositif selon l'une quelconque des revendications 1 à 10, caractérisé en ce qu'il est installé au sol dans un poste de contrôle aérien.
  14. Système d'aide à la communication pour des communications audio dans le domaine aéronautique, comprenant une pluralité d'unités de communication (U1 U2, U3) qui sont prévues à des postes différents et sont susceptibles d'échanger des messages entre elles, au moyen d'ondes radio (OR),
    caractérisé en ce qu'au moins l'une (U1, U2) desdites unités de communication (U1, U2, U3) est telle que le dispositif (1) spécifié sous l'une quelconque des revendications 1 à 14.
  15. Aéronef,
    caractérisé en ce qu'il comporte un dispositif (1) tel que celui spécifié sous l'une quelconque des revendications 1 à 13.
EP13170919.8A 2012-06-11 2013-06-06 Dispositif d'aide à la communication dans le domaine aéronautique Not-in-force EP2674926B1 (fr)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1255418A FR2991805B1 (fr) 2012-06-11 2012-06-11 Dispositif d'aide a la communication dans le domaine aeronautique.

Publications (2)

Publication Number Publication Date
EP2674926A1 true EP2674926A1 (fr) 2013-12-18
EP2674926B1 EP2674926B1 (fr) 2016-05-25

Family

ID=47002980

Family Applications (1)

Application Number Title Priority Date Filing Date
EP13170919.8A Not-in-force EP2674926B1 (fr) 2012-06-11 2013-06-06 Dispositif d'aide à la communication dans le domaine aéronautique

Country Status (4)

Country Link
US (1) US9666178B2 (fr)
EP (1) EP2674926B1 (fr)
CN (1) CN103489334B (fr)
FR (1) FR2991805B1 (fr)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2874133A1 (fr) * 2013-11-14 2015-05-20 Honeywell International Inc. Systèmes et procédés d'aéronef de réduction et de détection d'erreurs de réécoute et de relecture
US9446852B2 (en) 2013-09-18 2016-09-20 Honeywell International Inc. Aircraft systems and methods for detecting non-compliant pilot action
FR3034594A1 (fr) * 2015-03-31 2016-10-07 Thales Sa Procede et dispositif electronique de gestion de messages echanges entre un aeronef et une station au sol, produit programme d'ordinateur associe
US9620020B2 (en) 2015-08-06 2017-04-11 Honeywell International Inc. Communication-based monitoring of compliance with aviation regulations and operating procedures
EP3171240A1 (fr) 2015-11-19 2017-05-24 Airbus (S.A.S.) Procédé de pilotage automatique d'un aeronef au sol et dispositif pour sa mise en oeuvre
EP3261081A1 (fr) * 2016-06-22 2017-12-27 GE Aviation Systems Limited Système de description de mode de déplacement naturel

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9483755B2 (en) 2008-03-04 2016-11-01 Apple Inc. Portable multifunction device, method, and graphical user interface for an email client
US9922651B1 (en) * 2014-08-13 2018-03-20 Rockwell Collins, Inc. Avionics text entry, cursor control, and display format selection via voice recognition
US10503388B2 (en) 2013-09-03 2019-12-10 Apple Inc. Crown input for a wearable electronic device
US10545657B2 (en) 2013-09-03 2020-01-28 Apple Inc. User interface for manipulating user interface objects
US11068128B2 (en) 2013-09-03 2021-07-20 Apple Inc. User interface object manipulations in a user interface
US12287962B2 (en) 2013-09-03 2025-04-29 Apple Inc. User interface for manipulating user interface objects
EP3042271B1 (fr) 2013-09-03 2020-03-18 Apple Inc. Manipulations d'un objet sur une interface utilisateur
FR3010809B1 (fr) * 2013-09-18 2017-05-19 Airbus Operations Sas Procede et dispositif de gestion automatique a bord d'un aeronef de messages audio de controle aerien.
US9614800B1 (en) * 2014-01-17 2017-04-04 Rockwell Collins, Inc. Threaded datalink message display
EP4036685A1 (fr) 2014-06-27 2022-08-03 Apple Inc. Interface utilisateur de taille réduite
US9665345B2 (en) * 2014-07-29 2017-05-30 Honeywell International Inc. Flight deck multifunction control display unit with voice commands
DE112015003912T5 (de) 2014-08-27 2017-05-11 Gulfstream Aerospace Corporation Luftfahrzeug und Instrumentenausrüstungssystem zur Sprach-Transkription von Funkverkehr
WO2016036510A1 (fr) 2014-09-02 2016-03-10 Apple Inc. Interface utilisateur de musique
US10073590B2 (en) 2014-09-02 2018-09-11 Apple Inc. Reduced size user interface
TWI676127B (zh) * 2014-09-02 2019-11-01 美商蘋果公司 關於電子郵件使用者介面之方法、系統、電子器件及電腦可讀儲存媒體
TW201610758A (zh) 2014-09-02 2016-03-16 蘋果公司 按鈕功能性
US9665645B2 (en) * 2015-01-09 2017-05-30 Garmin International, Inc. System for managing an avionic communications log
FR3032575B1 (fr) * 2015-02-10 2018-02-16 Airbus Operations Procede de communication d'un message vocal comprenant une etape d'affichage d'une transcription du message vocal et d'un identifiant d'un appelant prealablement determine et dispositif pour sa mise en oeuvre
US10365807B2 (en) 2015-03-02 2019-07-30 Apple Inc. Control of system zoom magnification using a rotatable input mechanism
US9430949B1 (en) 2015-03-25 2016-08-30 Honeywell International Inc. Verbal taxi clearance system
CN108292477B (zh) * 2016-08-01 2021-10-29 霍尼韦尔国际公司 用于偷听数据或语音通信的便携式数据链路装备
US10275427B2 (en) * 2016-11-09 2019-04-30 Honeywell International Inc. Systems and methods for contextual tagging of data on vehicle display
US10347136B2 (en) * 2016-12-23 2019-07-09 Wing Aviation Llc Air traffic communication
US10297159B2 (en) * 2017-03-17 2019-05-21 Honeywell International Inc. Systems and methods for graphical visualization of communication transmissions received onboard an aircraft
US10543931B2 (en) * 2017-10-23 2020-01-28 Honeywell International Inc. Method and system for contextually concatenating display, aural, and voice alerts
FR3078524B1 (fr) * 2018-03-02 2020-03-27 Airbus Operations Equipement d'assistance a distance pour aeronef
FR3080941B1 (fr) * 2018-05-04 2020-04-17 Thales Systeme et procede de reconnaissance vocale pour aeronef
FR3080942B1 (fr) * 2018-05-04 2020-04-17 Thales Procede et systeme d'aide au pilotage d'aeronef
CN108694862B (zh) * 2018-07-19 2021-06-04 王立泽 空管信息自动化系统紧急告警语音通知的方法和系统
CN109255981B (zh) * 2018-08-31 2022-09-13 温州云航信息科技有限公司 基于关注焦点感知的增强型管制指令支持系统及其方法
DK179896B1 (en) 2018-09-11 2019-08-30 Apple Inc. CONTENT-BASED TACTILE OUTPUTS
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
EP3664065A1 (fr) * 2018-12-07 2020-06-10 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Appareil, méthode et programme d'ordinateur pour traiter des signaux radio vocaux
US11495221B2 (en) 2020-01-17 2022-11-08 Lockheed Martin Corporation Verification of wireless communications between a vehicle user and a remote entity
CN112185390B (zh) * 2020-09-27 2023-10-03 中国商用飞机有限责任公司北京民用飞机技术研究中心 机上信息辅助方法及装置
US11790785B2 (en) 2021-03-02 2023-10-17 Honeywell International Inc. System and method of producing relative active flight voice tags on a graphical display unit
US12190861B2 (en) 2021-04-22 2025-01-07 Honeywell International Inc. Adaptive speech recognition methods and systems
US11961524B2 (en) * 2021-05-27 2024-04-16 Honeywell International Inc. System and method for extracting and displaying speaker information in an ATC transcription
US12431025B2 (en) 2021-06-16 2025-09-30 Honeywell International Inc. Contextual transcription augmentation methods and systems
US11955012B2 (en) 2021-07-12 2024-04-09 Honeywell International Inc. Transcription systems and message fusion methods
US11605370B2 (en) 2021-08-12 2023-03-14 Honeywell International Inc. Systems and methods for providing audible flight information
US12122531B2 (en) 2021-09-06 2024-10-22 Honeywell International Inc. Systems and methods for transcribing and analyzing broadcast messages in an aircraft
EP4145421B1 (fr) * 2021-09-06 2026-02-18 Honeywell International Inc. Systèmes et procédés de transcription et d'analyse de messages diffusés dans un aéronef
EP4152294B1 (fr) * 2021-09-16 2026-03-18 Honeywell International Inc. Systèmes et procédés pour analyser des messages de contrôle de trafic aérien et analyser des paramètres de performance de vol associés
US11908330B2 (en) * 2021-09-16 2024-02-20 Honeywell International Inc. Systems and methods for analyzing air traffic control messages and generating associated flight performance parameters
US12008908B2 (en) 2021-09-21 2024-06-11 Honeywell International Inc. Systems and methods for providing radio transcription text in a limited display area
US12603086B2 (en) 2022-01-05 2026-04-14 Honeywell International Inc. Contextual editable speech recognition methods and systems
US12488692B2 (en) 2022-01-05 2025-12-02 Honeywell International Inc. Systems and methods for identifying context for cockpit alerts
US12020578B2 (en) * 2022-01-06 2024-06-25 Honeywell International Inc. Systems and methods for adding relevant data to ATC transcription messages
EP4210021A1 (fr) * 2022-01-06 2023-07-12 Honeywell International Inc. Systèmes et procédés pour ajouter des données pertinentes à des messages de transcription atc
US12505751B2 (en) 2022-05-12 2025-12-23 Honeywell International Inc. Transcription systems and related supplementation methods
US11983211B2 (en) * 2022-05-31 2024-05-14 Honeywell International Inc. System and method for merging and splitting of messages with user input in air traffic communication (ATC) transcription
US20230392954A1 (en) * 2022-06-06 2023-12-07 Honeywell International Inc. Vehicle systems and related message prioritization methods
EP4290498A1 (fr) * 2022-06-06 2023-12-13 Honeywell International Inc. Systèmes de véhicule et procédés de priorisation de messages associés
CN115188225A (zh) * 2022-07-07 2022-10-14 中国商用飞机有限责任公司 一种空中交通管制的方法、系统及计算机可读介质
US12437156B2 (en) 2022-10-28 2025-10-07 Honeywell International Inc. Transcription systems and methods for challenging clearances
WO2025255138A1 (fr) * 2024-06-04 2025-12-11 Wisk Aero Llc Communications de trafic aérien améliorées
EP4685769A1 (fr) * 2024-07-24 2026-01-28 Honeywell International Inc. Procédé et système d'augmentation de pilote de messages audio transcrits

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2773414A1 (fr) * 1998-01-06 1999-07-02 Clainche Alice Le Dispositif de transcription et d'affichage d'un message vocal
US6044322A (en) * 1996-05-10 2000-03-28 Deutsche Forschungsantalt Fur Luftund Raumfahrt E.V. Method and arrangement for traffic monitoring
US6356209B1 (en) * 1999-12-20 2002-03-12 Robert P. Mitchell System and method for visually indicating receipt of a radio communication directed to a uniquely identified vehicle
US20020049589A1 (en) * 2000-06-28 2002-04-25 Poirier Darrell A. Simultaneous multi-user real-time voice recognition system
US7809405B1 (en) * 2007-01-31 2010-10-05 Rockwell Collins, Inc. System and method for reducing aviation voice communication confusion
EP2341494A1 (fr) * 2009-12-23 2011-07-06 Thales Système et procédé d'aide à l'identification d'aéronefs présents dans un secteur aérien à surveiller

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1035017A (zh) * 1988-02-13 1989-08-23 余国利 显示-声音转换方法及其装置
FR2780701B1 (fr) * 1998-07-06 2000-09-08 Onera (Off Nat Aerospatiale) Dispositif destine a ameliorer la securite des aeronefs en regime de vol a vue
US20020087319A1 (en) * 2001-01-04 2002-07-04 Stephenson Marc C. Portable electronic voice recognition device capable of executing various voice activated commands and calculations associated with aircraft operation by means of synthesized voice response
JP4829477B2 (ja) * 2004-03-18 2011-12-07 日本電気株式会社 声質変換装置および声質変換方法ならびに声質変換プログラム
FR2882439B1 (fr) * 2005-02-18 2007-04-20 Thales Sa Dispositif embarque de gestion des donnees echangees par un aeronef avec le sol ou d'autres aeronefs
FR2889391B1 (fr) * 2005-07-27 2007-10-05 Airbus France Sas Systeme de transmission de donnees pour aeronef, qui est destine a la transmission de donnees entre l'aeronef et un poste de transmission situe a l'exterieur dudit aeronef
CN1858806A (zh) * 2005-09-06 2006-11-08 上海中策工贸有限公司 多功能用电设备安全系统
CN2927522Y (zh) * 2006-07-05 2007-07-25 北京东方波泰无线电频谱技术研究所 民航无线电监测系统
US7733903B2 (en) * 2006-08-04 2010-06-08 International Business Machines Corporation Text transcriptions for voice communications
US7619555B2 (en) * 2006-11-17 2009-11-17 Raytheon Company Methods and apparatus to contact aircraft
US20100070263A1 (en) * 2006-11-30 2010-03-18 National Institute Of Advanced Industrial Science And Technology Speech data retrieving web site system
EP2124443A4 (fr) * 2006-12-25 2010-02-24 Ptp Inc Serveur de gestion de données de programme, dispositif d'allocation d'identifiant, procédé de gestion de données de programme et programme informatique
CN201051272Y (zh) * 2007-05-09 2008-04-23 深圳市多尼卡电子技术有限公司 一种航空机载快速获取驾驶舱语音记录仪
CN101359473A (zh) * 2007-07-30 2009-02-04 国际商业机器公司 自动进行语音转换的方法和装置
US20090290698A1 (en) * 2008-05-23 2009-11-26 Sony Ericsson Mobile Communications Ab Method and device for transmitting voice data in a communication network
CN101527085A (zh) * 2009-04-21 2009-09-09 中国民航大学 一种航班信息即动报知装置及其处理方法
US9020681B2 (en) * 2010-06-08 2015-04-28 Honeywell International Inc. Display of navigation limits on an onboard display element of a vehicle
US8704701B2 (en) * 2011-10-18 2014-04-22 The Boeing Company Automatic monitoring of flight related radio communications

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044322A (en) * 1996-05-10 2000-03-28 Deutsche Forschungsantalt Fur Luftund Raumfahrt E.V. Method and arrangement for traffic monitoring
FR2773414A1 (fr) * 1998-01-06 1999-07-02 Clainche Alice Le Dispositif de transcription et d'affichage d'un message vocal
US6356209B1 (en) * 1999-12-20 2002-03-12 Robert P. Mitchell System and method for visually indicating receipt of a radio communication directed to a uniquely identified vehicle
US20020049589A1 (en) * 2000-06-28 2002-04-25 Poirier Darrell A. Simultaneous multi-user real-time voice recognition system
US7809405B1 (en) * 2007-01-31 2010-10-05 Rockwell Collins, Inc. System and method for reducing aviation voice communication confusion
EP2341494A1 (fr) * 2009-12-23 2011-07-06 Thales Système et procédé d'aide à l'identification d'aéronefs présents dans un secteur aérien à surveiller

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9446852B2 (en) 2013-09-18 2016-09-20 Honeywell International Inc. Aircraft systems and methods for detecting non-compliant pilot action
EP2874133A1 (fr) * 2013-11-14 2015-05-20 Honeywell International Inc. Systèmes et procédés d'aéronef de réduction et de détection d'erreurs de réécoute et de relecture
FR3034594A1 (fr) * 2015-03-31 2016-10-07 Thales Sa Procede et dispositif electronique de gestion de messages echanges entre un aeronef et une station au sol, produit programme d'ordinateur associe
US9881505B2 (en) 2015-03-31 2018-01-30 Thales Method and electronic device of control of messages exchanged between an aircraft and a ground station, associated computer program product
US9620020B2 (en) 2015-08-06 2017-04-11 Honeywell International Inc. Communication-based monitoring of compliance with aviation regulations and operating procedures
EP3171240A1 (fr) 2015-11-19 2017-05-24 Airbus (S.A.S.) Procédé de pilotage automatique d'un aeronef au sol et dispositif pour sa mise en oeuvre
EP3261081A1 (fr) * 2016-06-22 2017-12-27 GE Aviation Systems Limited Système de description de mode de déplacement naturel
US10825468B2 (en) 2016-06-22 2020-11-03 Ge Aviation Systems Limited Natural travel mode description system

Also Published As

Publication number Publication date
CN103489334B (zh) 2018-10-02
EP2674926B1 (fr) 2016-05-25
US20130346081A1 (en) 2013-12-26
CN103489334A (zh) 2014-01-01
FR2991805A1 (fr) 2013-12-13
US9666178B2 (en) 2017-05-30
FR2991805B1 (fr) 2016-12-09

Similar Documents

Publication Publication Date Title
EP2674926B1 (fr) Dispositif d'aide à la communication dans le domaine aéronautique
US11170779B2 (en) Visualization of audio announcements using augmented reality
FR3009759A1 (fr) Procede et dispositif de gestion automatique de messages atis
FR3096487A1 (fr) Procédé et dispositif de gestion automatique à bord d’un aéronef de messages audio de contrôle aérien
FR3010809A1 (fr) Procede et dispositif de gestion automatique a bord d'un aeronef de messages audio de controle aerien.
FR3056321B1 (fr) Procede et dispositif d'identification d'un aeronef destinataire d'une communication audio
US20200098358A1 (en) Presenting contextually appropriate responses to user queries by a digital assistant device
FR2955687A1 (fr) Systeme et procede de gestion de messages sonores d'alerte dans un aeronef
EP3469583B1 (fr) Système de découpage audio
FR2960723A1 (fr) Dispositif pour la communication d'un aeronef
FR3032575A1 (fr) Procede de communication d'un message vocal comprenant une etape d'affichage d'une transcription du message vocal et d'un identifiant d'un appelant prealablement determine et dispositif pour sa mise en oeuvre
US20220398929A1 (en) Systems, methods, and apparatus for collaborative aircraft checklists
FR3108999A1 (fr) système DE SIMULATION EMBARQUE DE FONCTIONS AVIONIQUES
EP3465649A1 (fr) Systemes comprenant un drone et une entite de commande de ce drone
EP3729420B1 (fr) Dispositif et procede d'assistance vocale
WO2023283965A1 (fr) Procédé et appareil pour écouter une parole à l'aide d'un dispositif au lieu d'oreilles, procédé et appareil pour générer un modèle de reconnaissance vocale, dispositif électronique et support
US20160019892A1 (en) Procedure to automate/simplify internet search based on audio content from a vehicle radio
WO1995016968A1 (fr) Procede et dispositif pour transformer un premier message vocal dans une premiere langue, en un second message dans une seconde langue predeterminee
FR2918206A1 (fr) Procede et systeme de gestion d'une interruption d'une emission d'un message sonore dans un aeronef
US20200135207A1 (en) Spoken microagreements with blockchain
US11961402B2 (en) Anomaly detection for vehicle in motion using external views by established network and cascading techniques
FR2973924A1 (fr) Procede et dispositif de preparation d'un signal vocal concernant un trajet
US20250273197A1 (en) System and method for speech-to-text conversion of passenger announcements on board of an aircraft
US9262926B2 (en) Using pass code verification to organize a vehicle caravan
FR3152628A1 (fr) Procédé d’assistance au pilotage d’un aéronef

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

17P Request for examination filed

Effective date: 20140528

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIC1 Information provided on ipc code assigned before grant

Ipc: G08G 5/00 20060101AFI20160211BHEP

Ipc: G10L 15/26 20060101ALI20160211BHEP

INTG Intention to grant announced

Effective date: 20160225

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

Ref country code: AT

Ref legal event code: REF

Ref document number: 802884

Country of ref document: AT

Kind code of ref document: T

Effective date: 20160615

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602013007806

Country of ref document: DE

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 4

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20160525

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160825

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 802884

Country of ref document: AT

Kind code of ref document: T

Effective date: 20160525

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160826

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160926

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160630

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602013007806

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160630

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160630

26N No opposition filed

Effective date: 20170228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160606

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 5

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20170606

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170606

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20130606

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 6

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160606

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160525

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20240619

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20240628

Year of fee payment: 12

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 602013007806

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20260101

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20250630