EP3274809A1 - Procédé de commande, dispositif de commande, système et véhicule automobile comprenant un tel dispositif de commande - Google Patents

Procédé de commande, dispositif de commande, système et véhicule automobile comprenant un tel dispositif de commande

Info

Publication number
EP3274809A1
EP3274809A1 EP16722267.8A EP16722267A EP3274809A1 EP 3274809 A1 EP3274809 A1 EP 3274809A1 EP 16722267 A EP16722267 A EP 16722267A EP 3274809 A1 EP3274809 A1 EP 3274809A1
Authority
EP
European Patent Office
Prior art keywords
user
analysis
image
analysis module
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP16722267.8A
Other languages
German (de)
English (en)
Inventor
Achraf BEN-HAMADOU
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Comfort and Driving Assistance SAS
Original Assignee
Valeo Comfort and Driving Assistance SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Comfort and Driving Assistance SAS filed Critical Valeo Comfort and Driving Assistance SAS
Publication of EP3274809A1 publication Critical patent/EP3274809A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/148—Instrument input by voice
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics

Definitions

  • Control method, control device, system and motor vehicle comprising such a control device
  • the present invention generally relates to the field of human-machine interfaces allowing a user to interact without contact with electrical or electronic devices.
  • It relates more particularly to a control method, a control device, a system and a motor vehicle comprising such a control device.
  • auxiliary devices such as a radio, a GPS location system, or a mobile phone, that the driver of the vehicle can be led to control while driving the vehicle. motor vehicle.
  • More and more auxiliary electronic devices equip motor vehicles to make them easier to use or to make more enjoyable, such as devices for locating and assisting with GPS navigation, air conditioning devices in the passenger compartment of the vehicle. vehicle, opening and closing electric windows, viewing devices and obstacle detection, or radio.
  • Such devices are generally controlled by the driver of the vehicle through buttons or a touch screen. For this, he uses at least one of his hands, which distracts him from driving the vehicle itself and makes only one of his hands is then available to maneuver.
  • a non-contact control device allowing the user to control an auxiliary device without having to use one of his hands for this is therefore particularly advantageous.
  • a non-contact control device may for example be based on an automatic speech recognition system by which oral instructions given by the driver to control an auxiliary device are identified.
  • Document US 8442820 discloses an interface for contactless control of an auxiliary device present in a motor vehicle.
  • An oral instruction given by a user to order such device is identified by the interface by an automatic speech recognition method.
  • Such oral instruction can also be determined by reading on the lips of the user, that is to say by analyzing images of his lips acquired when he pronounces such a set.
  • the interface then combines the two setpoints identified by each of these two methods, giving priority to the setpoint identified by speech recognition, to produce an instruction for controlling such an auxiliary device.
  • the invention proposes a method for controlling a device by a user, comprising the following steps:
  • identification by analysis of at least one image comprising at least part of the user's face and acquired by an image sensor, of a device located in a user's viewing direction,
  • the command associated with the determined oral instruction is transmitted to the device for which it is intended.
  • This arrangement is particularly advantageous when several devices to be controlled are present in the environment of the user.
  • oral instructions such as “start-up” or “extinguishing” may be common several of these devices, and it is then crucial to specifically transmit the determined oral instruction to the device for which it is intended.
  • the fact of combining information drawn from the user's viewing direction with an orally given instruction makes it possible to control a device more reliably and more precisely, since several control information of different origins but aimed at the same purpose are thus combined.
  • the invention also proposes that said oral instruction is determined by analyzing data acquired after the identification of the device and acquired for a predetermined duration.
  • the search for an oral instruction given by the user begins and after the user has looked at a device to be controlled, and only extends for a predetermined period. Selecting such a time interval advantageously the identification errors of an oral command, which could otherwise occur more frequently, for example during conversations between the driver and a passenger of the motor vehicle.
  • said spoken instruction is determined by the image analysis comprising at least a portion of the user's face acquired by the image sensor; thanks to such a method, a user who is silent, or who has difficulties in formulating words, can control such a device without having to use one of his hands for this purpose;
  • said oral instruction is determined by analysis of an acoustic signal
  • said oral instruction is determined by comparison of acquired data with selected reference data as a function of the previously identified device.
  • the reference data making it possible to identify the oral set point can thus be selected to correspond to oral instructions specifically associated with the device to be controlled, which device has been identified beforehand. This arrangement makes the identification of the oral instruction more reliable and efficient, because it is thus optimally adapted to each of the devices that can be controlled by the user.
  • the invention also proposes a control device comprising an image sensor and an analysis module designed: to identify a device located in a viewing direction of the user by analyzing at least one image comprising at least a portion of the face of a user and acquired by the image sensor,
  • a control device in which the image sensor is a video camera sensitive to visible domain radiation and infrared radiation is also provided.
  • the analysis module is designed to identify a device located in a viewing direction of the user by conjoint analysis of at least one image comprising at least a portion of the face of a user acquired by the sensor image in the infrared range, and at least one image comprising at least a portion of the face of a user simultaneously acquired by the image sensor in the visible range.
  • the combined use of an image acquired in the visible range and an image acquired in the infrared range facilitates the identification of a device located in a viewing direction of the user.
  • the analysis module is designed to repeat said analysis of at least one image comprising at least a part of a user's face (100) as long as a device located in the user's viewing direction (100) has not been identified;
  • the analysis module is designed to determine a position and an orientation of the user's eyes by said analysis of at least one image comprising at least part of the user's face, and is furthermore designed to identify a device located in a viewing direction of the user according to said position and said orientation;
  • the analysis module is designed to acquire data after the identification of said device, for a predetermined duration, and to determine said oral instruction by analysis of said acquired data;
  • the analysis module is designed to determine said spoken instruction by image analysis comprising at least a portion of the user's face acquired by the image sensor;
  • the analysis module is designed to determine said spoken instruction by analyzing an acoustic signal
  • the analysis module is designed to determine said spoken instruction by comparing acquired data with selected reference data according to the previously identified device;
  • the analysis module is designed to determine said spoken instruction by combining the result of the analysis of an acoustic signal with the result of the image analysis comprising at least part of the user's face acquired by the user. image sensor.
  • a system comprising an image sensor, an analysis module, a first device and a second device, in which the analysis module is designed:
  • the invention also proposes a motor vehicle equipped with a control device as presented above.
  • FIG. 1 shows schematically a device in which a method according to the invention can be implemented, this device being in this example embedded in a motor vehicle.
  • FIG. 2 schematically represents the main steps of such a method
  • - Figure 3 schematically shows one of these steps in more detail.
  • FIG. 1 diagrammatically shows a motor vehicle 130 and a user 100, here the driver of the motor vehicle 130.
  • the latter is required to control one or more auxiliary devices, for example:
  • a first device 121 such as a location device 121 using GPS signals (acronym for "Global Positioning System"), and
  • a second device 122 such as a radio set.
  • auxiliary devices may for example comprise a control device of the headlights of the motor vehicle 130 or a device controlling the opening or closing of windows of the motor vehicle 130.
  • An image sensor 111 such as a video camera, is placed facing the face of the user 100, as shown in FIG. 1.
  • the image sensor 111 is designed and placed so that the face of the user is fully included in the field of view of the image sensor 111. It may be advantageous here to use a so-called multi-modal image sensor 111, that is to say, sensitive both to radiation from the visible range that, for example, to radiations of the infra-red domain. Indeed, as described hereinafter, one of the steps of the method proposed here is to locate the position of the user's face within the images acquired.
  • the information provided by additional images taken in the infrared range facilitates this identification, in particular because the body of the user (especially at the level of his face) has a temperature higher than his environment, and thus detaches in an image taken in the infrared domain. Thanks to the images acquired in the infrared range, the user can also control the devices 121 and 122 according to the method described below, even at night or in contexts in which the brightness is too low for the images acquired in the field visible are exploitable.
  • the images acquired by the image sensor 111 are transmitted, in the form of a video stream v, to an analysis module 113.
  • An acoustic signal sensor 112 for example a microphone, is placed near the image sensor 111, facing the user 100. It delivers an electrical signal s representative of the acoustic signals it measures.
  • An analog-to-digital converter 116 converts the electrical signal s into digital form. The audio stream "a" thus produced is transmitted to the analysis module 113.
  • the analysis module 113 comprises a processor 114, such as a microprocessor, and a storage module 115, such as a rewritable non-volatile memory.
  • the analysis module 113 processes the audio stream "a" and the video stream v to identify in these streams, according to a method detailed below in the description of FIGS. 2 and 3, an oral instruction intended to control one of previously mentioned devices. If such a setpoint is identified, it is transmitted to one of the devices 121 or 122, as explained below.
  • a method according to the invention can be implemented in a control device 110 comprising the analysis module 113, the image sensor 111, the acoustic signal sensor 112 and the analog-digital converter 116 associated therewith.
  • the analysis module 113 analyzes the corresponding video stream v, during the steps ED1 to ED4, to detect whether the eyes of the user are directed to one of the devices 121 or 122.
  • the user's face is first identified in an IM image extracted from this video stream v, during step ED1.
  • the analysis of this image makes it possible to determine the position and orientation of the user's face, which is identified by a set of geometric parameters pv.
  • These parameters pv can for example correspond to coordinates locating in the image IM the position of characteristic points of said face.
  • characteristic points may for example correspond to the ends of the chin or eyebrows, or to the nostrils of the user 100. They may also correspond to the vertices of a polyhedron in which the user's face is inscribed.
  • the pv parameters make it possible to locate the face of the user in a three-dimensional way.
  • the three-dimensional character of the user's face identification can be obtained by optimizing the adequacy of the two-dimensional image.
  • This three-dimensional model may for example comprise data representative of the geometry of rigid parts of the user's face, such as coordinates of points identifying the eyebrows, nose, or temples.
  • the processor 114 can for example calculate by projection, for a given orientation and at a given position of the three-dimensional model, the positions of such characteristic points in the two-dimensional image IM.
  • the position and the orientation of the user's face are then determined by seeking the position and the orientation of the three-dimensional model which optimizes the match between the positions of the characteristic points resulting from the three-dimensional model and the positions of the same characteristic points identified in FIG. the IM image.
  • step ED2 data o representative of the position and orientation of the eyes of the user are obtained by analyzing the IM image.
  • the data pv making it possible to locate the face of the user can be used during step ED2 to extract from the IM image the zone corresponding to the eyes of the user.
  • An image of reduced size occupied mainly by the image of the eyes of the user is thus obtained, and then analyzed to determine the position and orientation of each of the eyeballs of the user.
  • the orientation of an eyeball of the user with respect to his face can for example be deduced from the position, in the image IM, of the center of the pupil of this globe with respect to the ends of the eyelid of the eye. user.
  • Analyzing images whose size has been reduced by selecting mainly the area occupied by the eyes of the user decreases the calculation time required for this treatment.
  • the reliability of the latter is also improved, because when analyzing such an image, mainly occupied by the images of the eyes of the user, the analysis module can not confuse, for example, the center of the pupils of the eyes of the user with the center of his nostrils.
  • the analysis module 113 determines whether the user's eyes are turned towards one of the devices 121 or 122. For this, the data pv to identify the face of the user can be combined with ori data representative of the position and orientation of his eyes, to determine which points of space they are turned.
  • the zone occupied in space by each of said devices is also known (the corresponding pod data are stored in the storage module 115), which finally makes it possible to determine whether the user's eyes are turned in the direction of the one or other of the devices 121 or 122.
  • the image analysis technique implemented is static, in that an IM image of the video stream v is analyzed independently of the other images of this stream.
  • Another possibility, to determine whether the user's eyes are turned to one of the devices 121 or 122, is to perform a dynamic analysis of a sequence of several images.
  • changes occurring from one image to another can detect movements of the face or movements of the user's eyes associated with a change of direction of his gaze.
  • Such movements can for example be detected by following the evolution, in such a sequence of images, of the position of characteristic points of the face such as the end of the chin, the ends of the eyebrows, or the centers of the pupils.
  • the analysis module 113 can then analyze such changes in the user's viewing direction, associated with said movements, to determine whether he is looking at one of the devices 121 or 122. In the situation shown in FIG. the analysis module 113 may for example determine that the driver turned his eyes towards the device 122 when a marked movement of his eyes to his right is detected.
  • the result of the image analysis implemented during steps ED1 to ED3 is summarized by the value assigned to a variable rd.
  • This value indicates whether one of the devices 121 or 122 has been targeted by the user's gaze, and, if so, indicates which device was targeted (and therefore selected by the user as explained below).
  • the value 0 will be assigned to the variable rd if the user's eyes are not turned to any of the auxiliary devices, the value 1 will be assigned to him if the eyes of the user are turned to the device 121 for localization by GPS, and the value 2 will be awarded if the eyes of the user are turned to the radio 122.
  • the user's gaze tracking process thus continues as long as none of the devices 121 or 122 has been selected (by user's gaze orientation 100 in the direction of a device 121, 122).
  • step EIC determines, during step ED4 carried out following step ED3, that the user has looked at one of these devices.
  • the audio stream "a” is acquired and processed by the analysis module 113, in order to detect sound sequences corresponding to oral instructions intended to control the device identified at the end of the step ED3 (and designated by the value of variable rd), and
  • the video stream v is simultaneously acquired and processed by the analysis module 113 to detect, in the image stream of the lips of the user 100, sequences corresponding to such instructions.
  • the audio and video streams are acquired for a limited (predetermined) duration. This duration can reach a few seconds; it is for example less than 10 s.
  • the analysis of these flows can be carried out continuously, as and when they are acquired.
  • the analysis module 113 finally combines the result of the two analyzes, audio and video, mentioned above, to determine if the user 100 has given a set of instructions for controlling the device identified at the end of the step ED3, and what instruction it is.
  • This instruction CO is converted during step EC into a command cmd adapted to control the device identified during step ED3.
  • the command cmd is then transmitted to the latter by the analysis module 113.
  • the device can then execute this command cmd. For example, if the device identified in step ED3 is the radio 122, and if the determined setpoint c 0 is the "start" setpoint, the radio 122 may light up at the same time. receiving the cmd command if it was previously off or in the standby state.
  • the cmd command received by the device can be processed and transformed by the device before executing it, for example to merge it with commands received directly via, for example, a touch screen fitted to said device.
  • the search for an oral instruction in the audio and video streams begins only if the user has looked at one of the devices 121 or 122 and it is limited in time. Selecting such a time interval advantageously the identification errors of an oral command, which could otherwise occur more frequently, for example during conversations between the driver 100 and a passenger of the motor vehicle 130.
  • step EA1 The analysis of the audio stream "a” carried out during the step EIC begins with a step EA1 which makes it possible to test whether this stream is exploitable or not. When the sound level of this stream is very low, for example, or when it contains mainly parasites, it is not useful to exploit it.
  • the processing of audio stream “a” then stops at this stage, and a variable pca indicates that no setpoint has been identified in it.
  • step EA2 if the characteristics of the audio stream "a” indicate that it is exploitable, its processing continues with a filtering step (step EA2) which makes it possible to reduce the contribution of parasites in the stream "a".
  • This filtering can for example be performed by a Wiener filter, or consist of a linear filtering favoring a determined frequency range.
  • the audio stream af resulting from this filtering is processed during step EA3, to produce data representative of its content, hereinafter referred to as descriptors.
  • the analysis module can produce such a descriptor da by identifying phonemes in the af audio stream, that is to say by detecting the presence of a phoneme, by determining which phoneme it is, by identifying its position in the audio stream af and assigning a loudness.
  • the set of descriptors da thus extracted is then compared to reference audio descriptors dar, during step EIA.
  • the dar reference audio descriptors may include a list of phoneme sequences, each sequence of phonemes (for example the sequence / status /) corresponding to an oral instruction intended to control one of the devices 121 or 122 (this setpoint being here the instruction "start").
  • the comparison of the descriptors da and dar makes it possible to identify, in the audio stream "a", such an oral instruction.
  • the result of the EIA step is summarized by ca data which indicates whether an oral instruction has been identified in the audio stream "a", which indicates in the affirmative which instruction it is, and which may also indicate a level of reliability associated with the identification of this instruction.
  • a set of descriptors dr accessed by the processor 114, is stored in the storage module 115. This set contains all the audio descriptors and video descriptors corresponding to oral instructions for controlling the various auxiliary devices present in the device. vehicle, for example those mentioned above.
  • the processor selects from these descriptors dr audio descriptors dar and video descriptors dvr which both correspond to instructions associated specifically with the device identified in the previous step ED3.
  • Comparing the audio descriptors da extracts of the audio stream "a" with reference descriptors dar specifically associated with the previously identified device makes here the identification of a reliable and effective oral setpoint, because it is thus optimally adapted to each of the devices can be controlled by the user.
  • the analysis module 113 processes the video stream v to identify oral instructions given by the user, from the images of his lips, as is explained below.
  • This processing begins with a step EL1 in which three-dimensional representations ib describing the geometry of the lips of the user are obtained from the video stream v.
  • the analysis module first proceeds to a three-dimensional identification of the face of the user, through an analysis of the images of the video stream v similar to that made during step ED1. This identification is carried out for all the images that comprise the video stream acquired during the EIC stage.
  • the three-dimensional identification of the user's face in the field of view of the image sensor 111 makes it possible in particular to identify the position of the lips of the user and thus to then associate with each image a rectangular parallelepiped positioned three-dimensionally around them.
  • the position of each vertex of this rectangular parallelepiped in said (two-dimensional) image is then determined, by projection, which makes it possible to delimit an area of said reduced image (vignette), occupied mainly by an image of the lips of the user. .
  • the reduced size images thus extracted are then analyzed to produce a set ib of three-dimensional representations describing the geometry of the lips of the user for any duration during which the video stream has been acquired.
  • Such a three-dimensional representation can be obtained by a process similar to that used to obtain a three-dimensional representation of the face of the user, which is described above.
  • Using images of reduced size reduces the computation time required for this treatment.
  • the reliability of the latter is also improved, because, when analyzing such an image, occupied mainly by the images of the lips of the user, the analysis module can not confuse a characteristic point of the lips of the user with, for example, a point of the temple of the latter.
  • step EL2 descriptors representative of the shape and movement of the lips of the user are extracted from the three-dimensional representations ib produced in step EL1.
  • descriptors are extracted so as to be representative of geometries usually taken by lips during the pronunciation of phonemes, or to be representative of temporal evolutions of geometry corresponding to the pronunciation of phoneme sequences.
  • the process of extracting such descriptors is moreover designed to effectively discriminate two phonemes or two different phoneme sequences.
  • the descriptors thus extracted are gathered in the form of a vector of descriptors vdv.
  • step EL3 the data contained therein is concatenated and put into a standardized form to produce a standard video descriptor dvn whose format is adapted to a comparison to reference video descriptors dvr.
  • the standardized video descriptor dvn is compared with reference video descriptors dvr, during the step EIV to finally identify, in the video stream v, a spoken instruction given by the user.
  • the reference video descriptors dvr are previously selected from descriptors dr, and correspond to instructions specifically associated with the device previously identified during step ED3.
  • comparing the video descriptor dvn extracted from the stream v to reference descriptors dvr, specifically associated with the device previously identified, here makes the identification of an oral command reliable and efficient, because it is thus optimally adapted to each of the devices that can be controlled by the user.
  • the result of the EIV step is summarized by cv data which indicates whether an oral setpoint has been identified in the video stream v, which indicates in the affirmative which instruction it is, and which can also indicate a level of reliability associated with the identification of this instruction.
  • the analysis module 113 combines the result of the two analyzes, audio and video, described above, in order finally to determine whether the user 100 has given an oral instruction intended to control the device identified in FIG. the result of step ED3, and which instruction it is.
  • this oral instruction is used as an oral instruction to be used to control the device identified at the end of the step ED3, as explained below.
  • the setpoint finally selected can be chosen according to the level of reliability associated with each of these identifications.
  • step EF When a setpoint CO is finally determined at the end of step EF, it is then transmitted to the device identified at the end of step ED3.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)

Abstract

L'invention concerne un procédé de commande d'un dispositif par un utilisateur. Selon l'invention, le procédé comprend les étapes suivantes : - identification, par analyse d'au moins une image comprenant une partie au moins du visage de l'utilisateur (100) et acquise par un capteur d'image (111), d'un dispositif situé dans une direction de regard de l'utilisateur (100), - détermination d'une consigne orale, - transmission au dispositif identifié d'une commande associée à la consigne orale déterminée. Un dispositif de commande (110) dans lequel un tel procédé peut être mis en œuvre est également décrit, ainsi qu'un système (110, 121, 122) et un véhicule automobile (130) comprenant un tel dispositif (110).

Description

Procédé de commande, dispositif de commande, système et véhicule automobile comprenant un tel dispositif de commande
DOMAINE TECHNIQUE AUQUEL SE RAPPORTE L'INVENTION La présente invention concerne de manière générale le domaine des interfaces homme-machine permettant à un utilisateur d'interagir sans contact avec des dispositifs électriques ou électroniques.
Elle concerne plus particulièrement un procédé de commande, un dispositif de commande, un système et un véhicule automobile comprenant un tel dispositif de commande.
Elle s'applique particulièrement avantageusement dans un véhicule, automobile équipé de dispositifs auxiliaires, tels qu'un poste de radio, un système de localisation par GPS, ou un téléphone portable, que le conducteur du véhicule peut être amené à commander tout en conduisant le véhicule automobile.
ARRIERE-PLAN TECHNOLOGIQUE
De plus en plus de dispositifs électroniques auxiliaires équipent les véhicules automobiles pour en faciliter l'utilisation ou la rendre plus agréable, comme par exemple des dispositifs de localisation et d'aide à la navigation par GPS, des dispositifs de climatisation de l'habitacle du véhicule, d'ouverture et de fermeture électrique des vitres, des dispositifs de visualisation et de détection d'obstacles, ou encore des postes de radio.
De tels dispositifs sont en général commandés par le conducteur du véhicule par l'intermédiaire de boutons ou d'un écran tactile. Pour cela, il utilise au moins une de ses mains, ce qui le distrait de la conduite du véhicule en elle-même et fait que seule une de ses mains est alors disponible pour le manoeuvrer.
Dans ce cadre, un dispositif de commande sans contact, permettant à l'utilisateur de commander un dispositif auxiliaire sans avoir à utiliser l'une de ses mains pour cela est donc particulièrement avantageux. Un tel un dispositif de commande sans contact peut par exemple être basé sur un système de reconnaissance automatique de la parole grâce auquel des consignes orales données par le conducteur pour commander un dispositif auxiliaire sont identifiées.
On connaît du document US 8442820 une interface permettant de commander sans contact un dispositif auxiliaire présent dans un véhicule automobile. Une consigne orale donnée par un utilisateur pour commander un tel dispositif est identifiée par l'interface par un procédé de reconnaissance automatique de la parole. Une telle consigne orale peut également être déterminée par lecture sur les lèvres de l'utilisateur, c'est-à-dire par analyse d'images de ses lèvres acquises lorsqu'il prononce une telle consigne. L'interface combine ensuite les deux consignes identifiées par chacune de ces deux méthodes, en donnant la priorité à la consigne identifiée par reconnaissance de la parole, pour produire une instruction destinée à commander un tel dispositif auxiliaire.
OBJET DE L'INVENTION
Dans ce contexte, l'invention propose un procédé de commande d'un dispositif par un utilisateur, comprenant les étapes suivantes :
- identification, par analyse d'au moins une image comprenant une partie au moins du visage de l'utilisateur et acquise par un capteur d'image, d'un dispositif situé dans une direction de regard de l'utilisateur,
- détermination d'une consigne orale,
- transmission au dispositif identifié d'une commande associée à la consigne orale déterminée.
Dans un tel procédé, l'utilisateur commande donc un dispositif sans utiliser l'une de ses mains pour cela, avec les avantages, présentés plus haut, que cela comporte.
Par ailleurs, lors de ce procédé, grâce à l'identification préalable d'un dispositif situé dans une direction de regard de l'utilisateur, la commande associée à la consigne orale déterminée est transmise au dispositif auquel elle est destinée. Cette disposition est particulièrement avantageuse lorsque plusieurs dispositifs propres à être commandés sont présents dans l'environnement de l'utilisateur. En particulier, des consignes orales, telles que « mise en marche » ou « extinction » peuvent être communes plusieurs de ces dispositifs, et il est alors crucial de transmettre spécifiquement la consigne orale déterminée au dispositif auquel elle est destinée.
Plus généralement, le fait de combiner des informations tirées de la direction de regard de l'utilisateur avec une consigne donnée oralement permet de commander de manière plus fiable et plus précise un dispositif, puisque plusieurs informations de commande d'origines différentes mais visant le même but sont ainsi combinées. L'invention propose également que ladite consigne orale est déterminée par analyse de données acquises postérieurement à l'identification du dispositif et acquises pendant une durée prédéterminée.
La recherche d'une consigne orale donnée par l'utilisateur ne débute ainsi qu'après que l'utilisateur ait regardé un dispositif propre à être commandé, et ne se prolonge que pendant une durée prédéterminée. Sélectionner un tel intervalle de temps limite avantageusement les erreurs d'identifications d'une consigne orale, qui pourraient sinon se produire plus fréquemment, par exemple lors de conversations entre le conducteur et un passager du véhicule automobile.
D'autres caractéristiques non limitatives et avantageuses du procédé conforme à l'invention sont les suivantes :
- ladite consigne orale est déterminée par l'analyse d'images comprenant une partie au moins du visage de l'utilisateur acquises par le capteur d'image ; grâce à un tel procédé, un utilisateur muet, ou ayant des difficultés pour formuler des paroles, peut commander un tel dispositif, et ce sans avoir à utiliser l'une de ses mains pour cela ;
- ladite consigne orale est déterminée par analyse d'un signal acoustique ; et
- ladite consigne orale est déterminée par comparaison de données acquises avec des données de référence sélectionnées en fonction du dispositif précédemment identifié.
Les données de référence permettant d'identifier la consigne orale peuvent ainsi être sélectionnées pour correspondre à des consignes orales spécifiquement associées au dispositif à commander, dispositif qui a été identifié au préalable. Cette disposition rend l'identification de la consigne orale plus fiable et efficace, car elle est ainsi adaptée de manière optimale à chacun des dispositifs pouvant être commandé par l'utilisateur.
On peut également prévoir un procédé dans lequel une position et une orientation des yeux de l'utilisateur sont déterminées lors de ladite analyse d'au moins une image comprenant une partie au moins du visage de l'utilisateur, et dans lequel un dispositif situé dans la direction de regard de l'utilisateur est en outre identifié en fonction de ladite position et de ladite orientation.
L'invention propose aussi un dispositif de commande comprenant un capteur d'image et un module d'analyse conçu : - pour identifier un dispositif situé dans une direction de regard de l'utilisateur par analyse d'au moins une image comprenant une partie au moins du visage d'un utilisateur et acquise par le capteur d'image,
- pour déterminer une consigne orale, et
- pour transmettre au dispositif identifié une commande associée à la consigne orale déterminée.
Un dispositif de commande dans lequel le capteur d'image est une caméra vidéo sensible à des radiations du domaine visible et à des radiations du domaine infrarouge est également proposé. Dans un tel dispositif, le module d'analyse est conçu pour identifier un dispositif situé dans une direction de regard de l'utilisateur par analyse conjointe d'au moins une image comprenant une partie au moins du visage d'un utilisateur acquise par le capteur d'image dans le domaine infrarouge, et d'au moins une image comprenant une partie au moins du visage d'un utilisateur acquise simultanément par le capteur d'image dans le domaine visible. Comme cela est expliqué plus loin, l'utilisation combinée d'une image acquise dans le domaine visible et d'une image acquise dans le domaine infrarouge facilite l'identification d'un dispositif situé dans une direction de regard de l'utilisateur.
D'autres caractéristiques non limitatives et avantageuses du dispositif conforme à l'invention sont les suivantes :
- le module d'analyse est conçu pour réitérer ladite analyse d'au moins une image comprenant une partie au moins du visage d'un utilisateur (100) tant qu'un dispositif situé dans la direction de regard de l'utilisateur (100) n'a pas été identifié ;
- le module d'analyse est conçu pour déterminer une position et une orientation des yeux de l'utilisateur par ladite analyse d'au moins une image comprenant une partie au moins du visage de l'utilisateur, et est conçu en outre pour identifier un dispositif situé dans une direction de regard de l'utilisateur en fonction de ladite position et de ladite orientation ;
- le module d'analyse est conçu pour acquérir des données postérieurement à l'identification dudit dispositif, pendant une durée prédéterminée, et pour déterminer ladite consigne orale par analyse desdites données acquises ;
- le module d'analyse est conçu pour déterminer ladite consigne orale par analyse d'images comprenant une partie au moins du visage de l'utilisateur acquises par le capteur d'image ;
- le module d'analyse est conçu pour déterminer ladite consigne orale par analyse d'un signal acoustique ;
- le module d'analyse est conçu pour déterminer ladite consigne orale par comparaison de données acquises avec des données de référence sélectionnées en fonction du dispositif précédemment identifié ; et
- le module d'analyse est conçu pour déterminer ladite consigne orale en combinant le résultat de l'analyse d'un signal acoustique avec le résultat de l'analyse d'images comprenant une partie au moins du visage de l'utilisateur acquises par le capteur d'image.
Il est également prévu un système comprenant un capteur d'image, un module d'analyse, un premier dispositif et un deuxième dispositif, dans lequel le module d'analyse est conçu :
- pour déterminer, par analyse d'au moins une image comprenant une partie au moins du visage d'un l'utilisateur, acquise par le capteur d'image, si le premier dispositif ou si le deuxième dispositif est situé dans une direction de regard de l'utilisateur,
- pour déterminer une consigne orale par analyse d'images comprenant une partie au moins du visage de l'utilisateur, acquises par le capteur d'image, et
- pour transmettre audit dispositif situé dans une direction de regard de l'utilisateur une commande associée à la consigne orale déterminée.
L'invention propose aussi un véhicule automobile équipé d'un dispositif de commande tel que présenté ci-dessus.
DESCRIPTION DÉTAILLÉE D'UN EXEMPLE DE RÉALISATION
La description qui va suivre en regard des dessins annexés, donnés à titre d'exemples non limitatifs, fera bien comprendre en quoi consiste l'invention et comment elle peut être réalisée.
Sur les dessins annexés :
- la figure 1 représente schématiquement un dispositif dans lequel un procédé conforme à l'invention peut être mis en œuvre, ce dispositif étant dans cet exemple embarqué dans un véhicule automobile.
- la figure 2 représente schématiquement les principales étapes d'un tel procédé, et - la figure 3 représente schématiquement l'une de ces étapes plus en détail.
Sur la figure 1 , on a représenté schématiquement un véhicule automobile 130 et un utilisateur 100, ici le conducteur du véhicule automobile 130. En plus de conduire le véhicule automobile 130, ce dernier est amené à commander un ou des dispositifs auxiliaires, par exemple :
- un premier dispositif 121 , tel qu'un dispositif de localisation 121 utilisant des signaux GPS (acronyme anglo-saxon de « Global Positioning System »), et
- un deuxième dispositif 122, tel qu'un poste de radio.
Dans d'autres exemples de réalisation, l'utilisateur peut être amené à commander un nombre plus élevé de dispositifs auxiliaires, qui peuvent par exemple comprendre un dispositif de commande des phares du véhicule automobile 130 ou un dispositif commandant l'ouverture ou la fermeture des vitres du véhicule automobile 130.
Un capteur d'image 111 , tel qu'une caméra vidéo, est placé face au visage de l'utilisateur 100, comme cela est représenté sur la figure 1. Le capteur d'image 111 est conçu et placé de sorte que le visage de l'utilisateur soit entièrement compris dans le champ de vision du capteur d'image 111. Il peut être avantageux ici d'utiliser un capteur d'image 111 dit multimodal, c'est-à-dire sensible aussi bien aux radiations du domaine visible que, par exemple, aux radiations du domaine infra-rouge. En effet, comme cela est décrit dans la suite, une des étapes du procédé proposé ici consiste à repérer la position du visage de l'utilisateur au sein des images acquises. Les informations apportées par des images supplémentaires prises dans le domaine infrarouge facilitent ce repérage, notamment car le corps de l'utilisateur (au niveau notamment de son visage) a une température plus élevée que son environnement, et s'en détache donc dans une image prise dans le domaine infrarouge. Grâce aux images acquises dans le domaine infrarouge, l'utilisateur peut par ailleurs commander les dispositifs 121 et 122 conformément au procédé décrit plus bas, même la nuit ou dans des contextes dans lesquels la luminosité est trop faible pour que les images acquises dans le domaine visible soient exploitables.
Les images acquises par le capteur d'image 111 sont transmises, sous forme d'un flux vidéo v, à un module d'analyse 113.
Un capteur de signaux acoustiques 112, par exemple un microphone, est placé à proximité du capteur d'images 111 , face à l'utilisateur 100. Il délivre un signal électrique s représentatif des signaux acoustiques qu'il mesure. Un convertisseur analogique-numérique 116 convertit le signal électrique s sous forme numérique. Le flux audio « a » ainsi produit est transmis au module d'analyse 113.
Le module d'analyse 113 comprend un processeur 114, tel qu'un microprocesseur, et un module de mémorisation 115, tel qu'une mémoire non volatile réinscriptible. Le module d'analyse 113 traite le flux audio « a » et le flux vidéo v pour identifier dans ces flux, selon un procédé détaillé ci-dessous lors de la description des figures 2 et 3, une consigne orale destinée à commander l'un des dispositifs mentionnés précédemment. Si une telle consigne est identifiée, elle est transmise à l'un des dispositifs 121 ou 122, comme expliqué ci-après.
Un procédé conforme à l'invention, tel que celui décrit ci-dessous, peut être mis en œuvre dans un dispositif de commande 110 comprenant le module d'analyse 113, le capteur d'image 111 , le capteur de signaux acoustiques 112 et le convertisseur analogique-numérique 116 qui lui est associé.
Sur la figure 2, on a représenté schématiquement les principales étapes d'un tel procédé.
Au cours de celui-ci, le capteur d'image 111 filme en continu le visage de l'utilisateur 100. Le module d'analyse 113 analyse le flux vidéo v correspondant, au cours des étapes ED1 à ED4, pour détecter si les yeux de l'utilisateur sont orientés vers l'un des dispositifs 121 ou 122.
Le visage de l'utilisateur est tout d'abord identifié, dans une image IM extraite de ce flux vidéo v, lors de l'étape ED1. L'analyse de cette image permet de déterminer la position et l'orientation du visage de l'utilisateur, qui est repéré par un ensemble de paramètres géométriques pv. Ces paramètres pv peuvent par exemple correspondre a des coordonnées repérant dans l'image IM la position de points caractéristiques dudit visage. De tels points caractéristiques peuvent par exemple correspondre aux extrémités du menton ou des sourcils, ou aux narines de l'utilisateur 100. Ils peuvent aussi correspondre aux sommets d'un polyèdre dans lequel s'inscrit le visage de l'utilisateur. Les paramètres pv permettent de repérer le visage de l'utilisateur de manière tridimensionnelle.
Le caractère tridimensionnel du repérage du visage de l'utilisateur peut par exemple être obtenu en optimisant l'adéquation de l'image bidimensionnelle IM et d'un modèle tridimensionnel du visage de l'utilisateur préalablement enregistré dans le module de mémorisation 115.
Ce modèle tridimensionnel peut par exemple comprendre des données représentatives de la géométrie de parties rigides du visage de l'utilisateur, tels que des coordonnées de points repérant les arcades sourcilières, le nez, ou les tempes.
Pour comparer un tel modèle tridimensionnel à l'image bidimensionnelle IM, le processeur 114 peut par exemple calculer par projection, pour une orientation et à une position données du modèle tridimensionnel, les positions de tels points caractéristiques dans l'image bidimensionnelle IM. La position et l'orientation du visage de l'utilisateur sont alors déterminées en cherchant la position et l'orientation du modèle tridimensionnel qui optimise l'adéquation entre les positions des points caractéristiques issus du modèle tridimensionnel et les positions des mêmes points caractéristiques identifiés dans l'image IM.
Lors de l'étape suivante ED2, des données o représentatives de la position et de l'orientation des yeux de l'utilisateur sont obtenues, en analysant l'image IM. Les données pv permettant de repérer le visage de l'utilisateur peuvent être utilisées au cours de l'étape ED2 pour extraire de l'image IM la zone correspondant aux yeux de l'utilisateur.
Une image de taille réduite occupée majoritairement par l'image des yeux de l'utilisateur est ainsi obtenue, puis analysée pour déterminer la position et l'orientation de chacun des globes oculaires de l'utilisateur. L'orientation d'un globe oculaire de l'utilisateur par rapport à son visage peut par exemple être déduite de la position, dans l'image IM, du centre de la pupille de ce globe par rapport aux extrémités de la paupière de l'utilisateur.
Analyser des images dont la taille a été réduite en sélectionnant principalement la zone occupée par les yeux de l'utilisateur, diminue le temps de calcul nécessaire à ce traitement. La fiabilité de ce dernier s'en trouve par ailleurs améliorée, car, lors de l'analyse d'une telle image, occupée majoritairement par les images des yeux de l'utilisateur, le module d'analyse ne peut confondre par exemple, le centre des pupilles des yeux de l'utilisateur avec le centre de ses narines.
Lors de l'étape suivante ED3, le module d'analyse 113 détermine si les yeux de l'utilisateur sont tournés en direction d'un des dispositifs 121 ou 122. Pour cela, les données pv permettant de repérer le visage de l'utilisateur peuvent être combinées aux données ori représentatives de la position et de l'orientation de ses yeux, afin de déterminer vers quels points de l'espace ces derniers sont tournés.
La zone occupée dans l'espace par chacun desdits dispositifs est par ailleurs connue (les données correspondantes pod sont stockées dans le module de mémorisation 115), ce qui permet finalement de déterminer si les yeux de l'utilisateur sont tournés en direction de l'un ou l'autre des dispositifs 121 ou 122.
Dans l'exemple de réalisation décrit ci-dessus, la technique d'analyse d'image mise en œuvre est statique, en ce sens qu'une image IM du flux vidéo v est analysée indépendamment des autres images de ce flux. Une autre possibilité, pour déterminer si les yeux de l'utilisateur sont tournés vers l'un des dispositifs 121 ou 122, est de procéder à une analyse dynamique d'une séquence de plusieurs images.
Au cours d'une telle analyse, des changements se produisant d'une image à l'autre permettent de détecter des mouvements du visage ou des mouvements des yeux de l'utilisateur associés à un changement de direction de son regard. De tels mouvements peuvent par exemple être détectés en suivant l'évolution, dans une telle séquence d'images, de la position de points caractéristiques du visage comme l'extrémité du menton, les extrémités des sourcils, ou les centres des pupilles. Le module d'analyse 113 peut ensuite analyser de tels changements de la direction du regard de l'utilisateur, associés auxdits mouvements, pour déterminer s'il regarde l'un des dispositifs 121 ou 122. Dans la situation représentée sur la figure 1 , le module d'analyse 113 peut par exemple déterminer que le conducteur a tourné son regard vers le dispositif 122 lorsqu'un mouvement marqué de ses yeux vers sa droite est détecté.
Le résultat de l'analyse d'image mise en œuvre lors des étapes ED1 à ED3 est résumé par la valeur attribuée à une variable rd. Cette valeur indique si l'un des dispositifs 121 ou 122 a été visé par le regard de l'utilisateur, et, dans l'affirmative, indique quel dispositif a été visé (et donc sélectionné par l'utilisateur comme expliqué plus bas). Par exemple, la valeur 0 sera attribuée à la variable rd si les yeux de l'utilisateur ne sont tournés vers aucun des dispositifs auxiliaires, la valeur 1 lui sera attribuée si les yeux de l'utilisateur sont tournés vers le dispositif 121 de localisation par GPS, et la valeur 2 lui sera attribuée si les yeux de l'utilisateur sont tournés vers le poste de radio 122.
Si l'analyse précédente indique qu'aucun des dispositifs 121 ou 122 n'a été sélectionné à l'issue de l'étape ED3 (c'est-à-dire s'il est déterminé au cours d'une étape ED4 que rd=0), le processus se poursuit par l'analyse de l'image, ou la séquence d'images, suivante du flux vidéo v, à nouveau selon les étapes ED1 , ED2, puis ED3.
Le processus de suivi du regard de l'utilisateur continue ainsi tant qu'aucun des dispositifs 121 ou 122 n'a été sélectionné (par orientation du regard de l'utilisateur 100 dans la direction d'un dispositif 121 , 122).
En revanche, lorsque le module d'analyse 113 détermine, au cours de l'étape ED4 réalisée suite à l'étape ED3, que l'utilisateur a regardé l'un de ces dispositifs, le processus se poursuit par l'étape EIC.
Au cours de l'étape EIC :
- le flux audio « a » est acquis et traité par le module d'analyse 113, pour y détecter des séquences sonores correspondant à des consignes orales destinées à commander le dispositif identifié à l'issue de l'étape ED3 (et désigné par la valeur de la variable rd), et
- le flux vidéo v est simultanément acquis et traité par le module d'analyse 113 pour détecter de manière visuelle, dans le flux d'images des lèvres de l'utilisateur 100, des séquences correspondant à de telles consignes.
Lors de l'étape EIC, les flux audio et vidéo sont acquis pendant une durée limitée (prédéterminée). Cette durée peut atteindre quelques secondes ; elle est par exemple inférieure à 10 s. L'analyse de ces flux peut être réalisée en continu, au fur et à mesure de leur acquisition.
Le module d'analyse 113 combine pour finir le résultat des deux analyses, audio et vidéo, mentionnées ci-dessus, afin de déterminer si l'utilisateur 100 a donné une consigne destinée à commander le dispositif identifié à l'issue de l'étape ED3, et de quelle consigne co il s'agit.
Cette consigne co est convertie lors de l'étape EC en une commande cmd adaptée à commander le dispositif identifiée lors de l'étape ED3. La commande cmd est transmise ensuite à ce dernier par le module d'analyse 113. Le dispositif peut ensuite exécuter cette commande cmd. Par exemple, si le dispositif identifié lors de l'étape ED3 est le poste de radio 122, et si la consigne co déterminée est la consigne « start », le poste de radio 122 peut s'allumer à la réception de la commande cmd s'il était précédemment éteint ou en état de veille. La commande cmd reçue par le dispositif peut être traitée et transformée par ce dernier avant de l'exécuter, afin par exemple de la fusionner avec des commandes reçues directement par l'intermédiaire par exemple d'un écran tactile équipant ledit dispositif.
Dans l'exemple décrit ici, comme cela est expliqué ci-dessus, la recherche d'une consigne orale dans les flux audio et vidéo (étape EIC) ne débute donc que si l'utilisateur a regardé l'un des dispositifs 121 ou 122, et elle est limitée dans le temps. Sélectionner un tel intervalle de temps limite avantageusement les erreurs d'identifications d'une consigne orale, qui pourraient sinon se produire plus fréquemment, par exemple lors de conversations entre le conducteur 100 et un passager du véhicule automobile 130.
Les opérations réalisées au cours de l'étape EIC décrite ci-dessus sont représentées schématiquement plus en détail sur la figure 3.
L'analyse du flux audio « a » réalisée pendant l'étape EIC débute par une étape EA1 qui permet de tester si ce flux est exploitable ou non. Lorsque le niveau sonore de ce flux est très faible, par exemple, ou lorsqu'il contient majoritairement des parasites, il n'est pas utile de l'exploiter. Le traitement du flux audio « a » cesse alors à ce stade, et une variable pca indique qu'aucune consigne n'a été identifiée dans celui-ci. En revanche, si les caractéristiques du flux audio « a » indiquent qu'il est exploitable, son traitement se poursuit par une étape de filtrage (étape EA2) qui permet de réduire la contribution de parasites dans le flux « a ». Ce filtrage peut par exemple être réalisé par un filtre de Wiener, ou consister en un filtrage linéaire favorisant une gamme de fréquences déterminée.
Le flux audio af résultant de ce filtrage est traité lors de l'étape EA3, pour produire des données da représentatives de son contenu, appelées dans la suite descripteurs. Le module d'analyse peut produire un tel descripteur da en identifiant des phonèmes dans le flux audio af, c'est-à-dire en détectant la présence d'un phonème, en déterminant de quel phonème il s'agit, en repérant sa position dans le flux audio af et en lui attribuant une intensité sonore.
L'ensemble des descripteurs da ainsi extraits est ensuite comparé à des descripteurs audio de référence dar, lors de l'étape EIA. Les descripteurs audio de référence dar peuvent comprendre une liste de séquences de phonèmes, chaque séquence de phonèmes (par exemple la séquence /statut/) correspondant à une consigne orale destinée à commander l'un des dispositifs 121 ou 122 (cette consigne étant ici la consigne « start »). La comparaison des descripteurs da et dar permet d'identifier, dans le flux audio « a », une telle consigne orale.
Le résultat de l'étape EIA est résumé par des données ca qui indiquent si une consigne orale a été identifiée dans le flux audio « a », qui indiquent dans l'affirmative la consigne dont il s'agit, et qui peuvent aussi indiquer un niveau de fiabilité associé à l'identification de cette consigne.
Un ensemble de descripteurs dr, auxquels peut accéder le processeur 114, est stocké dans le module de mémorisation 115. Cet ensemble contient l'ensemble des descripteurs audio et des descripteurs vidéo correspondant à des consignes orales destinées à commander les différents dispositifs auxiliaires présents dans le véhicule, par exemple ceux mentionnés précédemment. Lors d'une étape ESD, le processeur sélectionne parmi ces descripteurs dr des descripteurs audio dar et des descripteurs vidéo dvr qui correspondent tous deux à des consignes associés spécifiquement au dispositif identifié à l'étape ED3 précédente.
Le fait de comparer les descripteurs audio da extraits du flux audio « a » à des descripteurs de référence dar associés spécifiquement au dispositif précédemment identifié rend ici l'identification d'une consigne orale fiable et efficace, car elle est ainsi adaptée de manière optimale à chacun des dispositifs pouvant être commandé par l'utilisateur.
En parallèle de l'analyse du flux audio « a » décrite ci-dessus, le module d'analyse 113 traite le flux vidéo v pour identifier des consignes orales données par l'utilisateur, à partir des images de ses lèvres, comme cela est expliqué ci- dessous.
Ce traitement débute par une étape EL1 au cours de laquelle des représentations tridimensionnelles ib décrivant la géométrie des lèvres de l'utilisateur sont obtenues à partir du flux vidéo v.
Pour obtenir de telles représentations, le module d'analyse procède tout d'abord à un repérage tridimensionnel du visage de l'utilisateur, grâce à une analyse des images du flux vidéo v semblable à celle réalisée lors de l'étape ED1. Ce repérage est réalisé pour l'ensemble des images que comprend le flux vidéo acquis lors de l'étape EIC. Le repérage tridimensionnel du visage de l'utilisateur dans le champ de vision du capteur d'image 111 permet notamment de repérer la position des lèvres de l'utilisateur et ainsi d'associer ensuite à chaque image un parallélépipède rectangle positionné de manière tridimensionnelle autour de celles-ci. La position de chaque sommet de ce parallélépipède rectangle dans ladite image (bidimensionnelle) est ensuite déterminée, par projection, ce qui permet de délimiter une zone de ladite image de taille réduite (vignette), occupée majoritairement par une image des lèvres de l'utilisateur. Les images de taille réduite ainsi extraites sont ensuite analysées pour produire un ensemble ib de représentations tridimensionnelles décrivant la géométrie des lèvres de l'utilisateur pour toute durée pendant laquelle le flux vidéo a été acquis.
Une telle représentation tridimensionnelle peut être obtenue par un processus semblable à celui utilisé pour obtenir une représentation tridimensionnelle du visage de l'utilisateur, et qui est décrit plus haut. Le fait d'utiliser des images de taille réduite, diminue le temps de calcul nécessaire à ce traitement. La fiabilité de ce dernier s'en trouve par ailleurs améliorée, car, lors de l'analyse d'une telle image, occupée majoritairement par les images des lèvres de l'utilisateur, le module d'analyse ne peut confondre un point caractéristique des lèvres de l'utilisateur avec, par exemple, un point de la tempe de ce dernier.
Lors de l'étape suivante EL2, des descripteurs représentatifs de la forme et du mouvement des lèvres de l'utilisateur sont extraits des représentations tridimensionnelles ib produites à l'étape EL1.
Ces descripteurs sont extraits de manière à être représentatifs de géométries prises habituellement par des lèvres lors de la prononciation de phonèmes, ou pour être représentatifs d'évolutions temporelles de géométrie correspondant à la prononciation de séquences de phonèmes. Le processus d'extraction de tels descripteurs est par ailleurs conçu pour discriminer efficacement deux phonèmes ou deux séquences de phonèmes différents.
Les descripteurs ainsi extraits sont rassemblés sous la forme d'un vecteur de descripteurs vdv. Lors de l'étape EL3, les données contenues dans ce dernier sont concaténées et mises sous une forme normalisée pour produire un descripteur vidéo normalisé dvn dont le format est adapté à une comparaison à des descripteurs vidéo de référence dvr. Le descripteur vidéo normalisé dvn est comparé à des descripteurs vidéo de référence dvr, lors de l'étape EIV afin d'identifier finalement, dans le flux vidéo v, une consigne orale donnée par l'utilisateur. Comme mentionné ci-dessus les descripteurs vidéo de référence dvr sont préalablement sélectionné parmi des descripteurs dr, et correspondent à des consignes associés spécifiquement au dispositif précédemment identifié lors de l'étape ED3.
De même que pour l'analyse du flux audio « a », le fait de comparer le descripteur vidéo dvn extrait du flux v à des descripteurs de référence dvr, associés spécifiquement au dispositif précédemment identifié, rend ici l'identification d'une consigne orale fiable et efficace, car elle est ainsi adaptée de manière optimale à chacun des dispositifs pouvant être commandé par l'utilisateur.
Le résultat de l'étape EIV est résumé par des données cv qui indiquent si une consigne orale a été identifiée dans le flux vidéo v, qui indiquent dans l'affirmative la consigne dont il s'agit, et qui peuvent aussi indiquer un niveau de fiabilité associé à l'identification de cette consigne.
Lors de l'étape EF, le module d'analyse 113 combine le résultat des deux analyses, audio et vidéo, décrites ci-dessus, afin de déterminer finalement si l'utilisateur 100 a donné une consigne orale destinée à commander le dispositif identifié à l'issu de l'étape ED3, et de quelle consigne il s'agit.
Lorsque la consigne orale identifiée par analyse du flux audio « a » est identique à la consigne orale identifiée par analyse du flux vidéo v, cette consigne orale est retenue comme consigne orale co à utiliser pour commander le dispositif identifié à l'issue de l'étape ED3, comme expliqué ci-dessous.
Lorsqu'une consigne orale identifiée par analyse du flux audio « a » est différente d'une consigne orale identifiée par analyse du flux vidéo v, la consigne finalement retenue peut être choisie en fonction du niveau de fiabilité associé à chacune de ces identifications.
Lorsqu'une consigne co est finalement déterminée à l'issu de l'étape EF, elle est ensuite transmise au dispositif identifié à l'issu de l'étape ED3.

Claims

REVENDICATIONS
1. Procédé de commande d'un dispositif par un utilisateur (100), caractérisé en ce qu'il comprend les étapes suivantes :
- identification, par analyse d'au moins une image comprenant une partie au moins du visage de l'utilisateur (100) et acquise par un capteur d'image (111), d'un dispositif situé dans une direction de regard de l'utilisateur (100),
- détermination d'une consigne orale,
- transmission au dispositif identifié d'une commande associée à la consigne orale déterminée.
2. Procédé selon la revendication 1 , dans lequel ladite consigne orale est déterminée par analyse de données acquises postérieurement à l'identification du dispositif et acquises pendant une durée prédéterminée.
3. Procédé selon l'une des revendications 1 ou 2, dans lequel ladite consigne orale est déterminée par l'analyse d'images comprenant une partie au moins du visage de l'utilisateur (100) acquises par le capteur d'image (111).
4. Procédé selon l'une des revendications 1 à 3, dans lequel ladite consigne orale est déterminée par analyse d'un signal acoustique.
5. Procédé selon l'une des revendications 1 à 4, dans lequel ladite consigne orale est déterminée par comparaison de données acquises avec des données de référence sélectionnées en fonction du dispositif précédemment identifié.
6. Procédé selon l'une des revendications 1 à 5, dans lequel une position et une orientation des yeux de l'utilisateur (100) sont déterminées lors de ladite analyse d'au moins une image comprenant une partie au moins du visage de l'utilisateur (100), et dans lequel un dispositif situé dans la direction de regard de l'utilisateur (100) est en outre identifié en fonction de ladite position et de ladite orientation.
7. Dispositif de commande (110) comprenant un capteur d'image (111), et un module d'analyse (113) caractérisé :
- en ce que le module d'analyse (113) est conçu pour identifier un dispositif situé dans une direction de regard de l'utilisateur (100) par analyse d'au moins une image comprenant une partie au moins du visage d'un utilisateur (100) et acquise par le capteur d'image (111),
- en ce que le module d'analyse (113) est conçu pour déterminer une consigne orale, et
- en ce que le module d'analyse (113) est conçu pour transmettre au dispositif identifié une commande associée à la consigne orale déterminée.
8. Dispositif de commande (110) selon la revendication 7, dans lequel le module d'analyse (113) est conçu pour réitérer ladite analyse d'au moins une image comprenant une partie au moins du visage d'un utilisateur (100) tant qu'un dispositif situé dans la direction de regard de l'utilisateur (100) n'a pas été identifié.
9. Dispositif de commande (110) selon l'une des revendications 7 ou 8, dans lequel le module d'analyse (113) est conçu pour déterminer une position et une orientation des yeux de l'utilisateur (100) par ladite analyse d'au moins une image comprenant une partie au moins du visage de l'utilisateur (100), et est conçu en outre pour identifier un dispositif situé dans une direction de regard de l'utilisateur (100) en fonction de ladite position et de ladite orientation.
10. Dispositif de commande (110) selon l'une des revendications 7 à 9, dans lequel, le module d'analyse (113) est conçu pour acquérir des données postérieurement à l'identification dudit dispositif, pendant une durée prédéterminée, et pour déterminer ladite consigne orale par analyse desdites données acquises.
11. Dispositif de commande (110) selon l'une des revendications 7 à 10, dans lequel le module d'analyse (113) est conçu pour déterminer ladite consigne orale par analyse d'images comprenant une partie au moins du visage de l'utilisateur (100) acquises par le capteur d'image (111).
12. Dispositif de commande (110) selon l'une des revendications 7 à 11 , dans lequel le module d'analyse (113) est conçu pour déterminer ladite consigne orale par analyse d'un signal acoustique.
13. Dispositif de commande (110) selon l'une des revendications 7 à 12, dans lequel le module d'analyse (113) est conçu pour déterminer ladite consigne orale par comparaison de données acquises avec des données de référence sélectionnées en fonction du dispositif précédemment identifié.
14. Dispositif de commande (110) selon l'une des revendications 12 ou 13 prise dans la dépendance de la revendication 11 , dans lequel le module d'analyse (113) est conçu pour déterminer ladite consigne orale en combinant le résultat de l'analyse d'un signal acoustique avec le résultat de l'analyse d'images comprenant une partie au moins du visage de l'utilisateur (100) acquises par le capteur d'image (111).
15. Système comprenant un capteur d'image (111), un module d'analyse (113), un premier dispositif (121) et un deuxième dispositif ( 22), caractérisé :
- en ce que le module d'analyse (113) est conçu pour déterminer, par analyse d'au moins une image comprenant une partie au moins du visage d'un l'utilisateur (100), acquise par le capteur d'image (111), si le premier dispositif (121) ou si le deuxième dispositif (122) est situé dans une direction de regard de l'utilisateur (100),
- en ce que le module d'analyse (113) est conçu pour déterminer une consigne orale par analyse d'images comprenant une partie au moins du visage de l'utilisateur (100), acquises par le capteur d'image (111), et
- en ce que le module d'analyse (113) est conçu pour transmettre audit dispositif situé dans une direction de regard de l'utilisateur (100) une commande associée à la consigne orale déterminée.
16. Véhicule automobile (130) équipé d'un dispositif de commande (110) selon l'une des revendications 7 à 14.
EP16722267.8A 2015-03-27 2016-03-25 Procédé de commande, dispositif de commande, système et véhicule automobile comprenant un tel dispositif de commande Withdrawn EP3274809A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1552618A FR3034215B1 (fr) 2015-03-27 2015-03-27 Procede de commande, dispositif de commande, systeme et vehicule automobile comprenant un tel dispositif de commande
PCT/FR2016/000059 WO2016156678A1 (fr) 2015-03-27 2016-03-25 Procédé de commande, dispositif de commande, système et véhicule automobile comprenant un tel dispositif de commande

Publications (1)

Publication Number Publication Date
EP3274809A1 true EP3274809A1 (fr) 2018-01-31

Family

ID=53496762

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16722267.8A Withdrawn EP3274809A1 (fr) 2015-03-27 2016-03-25 Procédé de commande, dispositif de commande, système et véhicule automobile comprenant un tel dispositif de commande

Country Status (5)

Country Link
US (1) US10627898B2 (fr)
EP (1) EP3274809A1 (fr)
CN (1) CN107548483B (fr)
FR (1) FR3034215B1 (fr)
WO (1) WO2016156678A1 (fr)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4711957A2 (fr) * 2017-10-18 2026-03-18 Soapbox Labs Ltd. Procédés et systèmes de détection de parole
WO2019118089A1 (fr) 2017-12-11 2019-06-20 Analog Devices, Inc. Interfaces utilisateur multimodales de champ lointain et traitement d'audio assisté par la vision
CN111492426B (zh) * 2017-12-22 2024-02-02 瑞典爱立信有限公司 注视启动的语音控制
CN108389573B (zh) * 2018-02-09 2022-03-08 北京世纪好未来教育科技有限公司 语种识别方法及装置、训练方法及装置、介质、终端

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6795806B1 (en) * 2000-09-20 2004-09-21 International Business Machines Corporation Method for enhancing dictation and command discrimination
CN1174337C (zh) * 2002-10-17 2004-11-03 南开大学 识别人眼注视与否的方法和装置及其应用
US7435227B2 (en) * 2004-09-13 2008-10-14 Biocognisafe (Bcs) Technologies Method and apparatus for generating an indication of a level of vigilance of an individual
JP4797588B2 (ja) * 2005-11-17 2011-10-19 アイシン精機株式会社 車両周辺表示装置
CN101090482B (zh) * 2006-06-13 2010-09-08 唐琎 一种基于图象处理和信息融合技术的驾驶员疲劳监测系统及方法
JP2008058409A (ja) * 2006-08-29 2008-03-13 Aisin Aw Co Ltd 音声認識方法及び音声認識装置
CN101441513B (zh) * 2008-11-26 2010-08-11 北京科技大学 一种利用视觉进行非接触式人机交互的系统
TWI384383B (zh) * 2009-03-02 2013-02-01 Univ Nat Central 視線察覺裝置及其方法
KR101092820B1 (ko) 2009-09-22 2011-12-12 현대자동차주식회사 립리딩과 음성 인식 통합 멀티모달 인터페이스 시스템
US8762846B2 (en) * 2009-11-16 2014-06-24 Broadcom Corporation Method and system for adaptive viewport for a mobile device based on viewing angle
CN101995731B (zh) * 2010-07-30 2013-03-13 西安理工大学 一种基于液晶的直视型防眩光成像仪及防眩光成像方法
KR20120057033A (ko) * 2010-11-26 2012-06-05 한국전자통신연구원 Ｉｐｔｖ 제어를 위한 원거리 시선 추적 장치 및 방법
US20120169582A1 (en) * 2011-01-05 2012-07-05 Visteon Global Technologies System ready switch for eye tracking human machine interaction control system
US20120259638A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Apparatus and method for determining relevance of input speech
US9223415B1 (en) * 2012-01-17 2015-12-29 Amazon Technologies, Inc. Managing resource usage for task performance
CN104094192B (zh) * 2012-04-27 2017-09-29 惠普发展公司，有限责任合伙企业 来自用户的音频输入
US9405982B2 (en) * 2013-01-18 2016-08-02 GM Global Technology Operations LLC Driver gaze detection system
US20140247232A1 (en) * 2013-03-01 2014-09-04 Tobii Technology Ab Two step gaze interaction
US20140350942A1 (en) * 2013-05-23 2014-11-27 Delphi Technologies, Inc. Vehicle human machine interface with gaze direction and voice recognition
CN104253944B (zh) * 2014-09-11 2018-05-01 陈飞 基于目光连接的声音命令下达装置和方法
US10048749B2 (en) * 2015-01-09 2018-08-14 Microsoft Technology Licensing, Llc Gaze detection offset for gaze tracking models

Also Published As

Publication number Publication date
FR3034215A1 (fr) 2016-09-30
WO2016156678A1 (fr) 2016-10-06
US10627898B2 (en) 2020-04-21
CN107548483B (zh) 2021-06-08
US20180203506A1 (en) 2018-07-19
CN107548483A (zh) 2018-01-05
FR3034215B1 (fr) 2018-06-15

Similar Documents

Publication Publication Date Title
CN110167823B (zh) 用于驾驶员监测的系统和方法
US9704038B2 (en) Eye tracking
EP2483758B1 (fr) Systeme et procede de reconnaissance de gestes
US10679376B2 (en) Determining a pose of a handheld object
KR102304701B1 (ko) 사용자의 음성 입력에 대한 답변을 제공하는 방법 및 장치
KR20190129826A (ko) 생체 검측 방법 및 장치, 시스템, 전자 기기, 저장 매체
FR3044784B1 (fr) Dispositif de commande vocale d'un appareil de capture d'images
EP3274809A1 (fr) Procédé de commande, dispositif de commande, système et véhicule automobile comprenant un tel dispositif de commande
EP3866064B1 (fr) Procede d'authentification ou d'identification d'un individu
FR3038770A1 (fr) Systeme de surveillance de l'etat de vigilance d'un operateur
CN120982062A (zh) 防止图像中的恶意攻击
EP3070643B1 (fr) Procédé et système de reconnaissance d'objets par analyse de signaux d'image numérique d'une scène
EP2881841B1 (fr) Procédé de reconnaissance continue de gestes d'un utilisateur d'un terminal mobile préhensible muni d'un ensemble capteur de mouvement, et dispositif associé
FR3029655A1 (fr) Dispositif d'entree notamment d'un vehicule automobile pour la saisie sans contact de la position et/ou d'un changement de position d'au moins un doigt d'une main de l'utilisateur
EP3218219B1 (fr) Interface homme/machine et procédé de contrôle de fonctions d'un véhicule par détection de mouvement et/ou d'expression du conducteur
CN120677450A (zh) 用于高功效眼睛跟踪的自适应算法
CN120344998A (zh) 用于多相机位姿估计的动态相机选择和切换
EP3274913A1 (fr) Dispositif et procede pour l'acquisition biometrique de l'iris
US20260072520A1 (en) Pinch jump suppression in extended reality
WO2025229262A1 (fr) Procédé et dispositif de navigation dans une représentation d'une scéne à partir d'au moins une image de ladite scéne
WO2026054967A1 (fr) Gestes de la main non dominante pour commander une entrée de microphone sur un dispositif pouvant être porté sur la tête
FR3112401A1 (fr) Procédé et système pour la vision stéréoscopique d’une scène d’observation céleste
EP2877979A1 (fr) Methode monocamera de determination d'une direction d'un solide
FR3067561A1 (fr) Procede et dispositif d’aide a l’interaction entre un individu et au moins un objet connecte

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20171024

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20180518