EP4086751A1 - Commande par glissement sur des boutons virtuels - Google Patents

Commande par glissement sur des boutons virtuels Download PDF

Info

Publication number
EP4086751A1
EP4086751A1 EP22170136.0A EP22170136A EP4086751A1 EP 4086751 A1 EP4086751 A1 EP 4086751A1 EP 22170136 A EP22170136 A EP 22170136A EP 4086751 A1 EP4086751 A1 EP 4086751A1
Authority
EP
European Patent Office
Prior art keywords
predefined
microphones
slip
audio reproduction
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP22170136.0A
Other languages
German (de)
English (en)
Other versions
EP4086751B1 (fr
Inventor
Gabriel Bouvigne
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sagemcom Broadband SAS
Original Assignee
Sagemcom Broadband SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sagemcom Broadband SAS filed Critical Sagemcom Broadband SAS
Publication of EP4086751A1 publication Critical patent/EP4086751A1/fr
Application granted granted Critical
Publication of EP4086751B1 publication Critical patent/EP4086751B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H04R3/005—Circuits for transducers for combining the signals of two or more microphones
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of two-dimensional [2D] relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G06F3/0436—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves in which generating transducers and detecting transducers are attached to a single acoustic waves transmission substrate
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1636—Sensing arrangement for detection of a tap gesture on the housing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0339—Touch strips, e.g. orthogonal touch strips to control cursor movement or scrolling; single touch strip to adjust parameter or to implement a row of soft keys
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04103—Manufacturing, i.e. details related to manufacturing processes specially suited for touch sensitive devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/024—Positioning of loudspeaker enclosures for spatial sound reproduction

Definitions

  • the invention relates to the field of audio reproduction equipment comprising at least one loudspeaker and microphones.
  • Some recent electronic equipment incorporate not only one or more loudspeakers to reproduce audio signals, but also one or more microphones to capture sound signals, and are capable of interacting with the user by voice. This equipment can thus acquire commands emitted orally by the user, and respond by emitting sound signals intended for the user.
  • connected speakers are known which can be used to implement the voice recognition method of a virtual personal assistant.
  • decoder boxes or set-top boxes in English which incorporate a voice assistance device.
  • Such equipment conventionally carries out a method of forming channels which allows it to focus the direction in which it is listening and to ignore sounds coming from a direction other than that of the user (we speak of " beamforming " in English) .
  • the channel forming process requires multiple microphones.
  • Such equipment also generally includes one or more buttons allowing quick access to certain functions: start of voice interaction with the user, activation or deactivation of standby mode, on/off, volume adjustment, Bluetooth pairing, etc
  • the object of the invention is to reduce the cost of audio reproduction equipment as previously described and to improve the user's interactions with said audio reproduction equipment.
  • the audio reproduction equipment therefore comprises “virtual buttons”, which each comprise a microphone and a hole via which the microphone communicates with the outside.
  • the virtual buttons allow the user to command predetermined actions by sliding his finger on the casing of the audio reproduction equipment.
  • the detection carried out depends neither on the characteristics of the finger (and in particular on the length of the fingernail) nor on a force with which the finger would tap on the box.
  • the detection does not require a particular level of ambient noise, and therefore works even if the environment is completely silent.
  • the sliding control is particularly suitable for actions with a progressive response, such as for example the adjustment of the volume of sound reproduction.
  • the interactions between the user and the audio reproduction equipment are therefore improved.
  • Audio reproduction equipment is also proposed as previously described, the processing component being arranged to compare the command slip with at least one predefined slip from a predefined list, to determine a particular predefined slip to which the command slip corresponds, and to command at least one predetermined action associated with the particular predefined slip.
  • each predefined sliding corresponds to a succession of predefined occultations of microphones arranged successively.
  • At least one slide predefined associated with a particular predetermined action is defined so as to necessarily begin with a muting of a predefined initial microphone and/or so as to necessarily end with a muting of a predefined final microphone.
  • the predefined list comprises several predefined slides in the same direction but of different lengths.
  • the predefined slips comprise predefined slips in a first direction and predefined slips in a second direction, a predefined slip in the first direction being associated with an increase of a response level of the step-response action whereas a predefined slip in the second direction is associated with a reduction in the response level of the step-response action.
  • audio restitution equipment comprising a sensory transmitter arranged to provide the user with sensory feedback representative of the control slip and/or of a response level of the predetermined action.
  • the sensory transmitter is arranged to emit a feedback sensory signal which depends on a path on the housing of a finger of the user during the control slip .
  • the sensory transmitter being a light transmitter.
  • the sensory transmitter being a sound transmitter.
  • a computer program is also proposed comprising instructions which lead the processing component of the audio reproduction equipment as previously described to execute the steps of the control method as previously described.
  • a computer-readable recording medium is also proposed, on which the computer program which has just been described is recorded.
  • the audio reproduction equipment is here a connected speaker 1 which is used to implement the voice recognition method of a virtual personal assistant.
  • the connected speaker 1 firstly comprises a box 2.
  • box is meant here the physical envelope inside which are integrated the functional components of the connected speaker 1 which will be described.
  • the box 2 can comprise several parts and possibly one or possibly removable covers.
  • the casing 2 can comprise one or more rigid, flexible, metal, plastic, fabric, foam, etc. parts.
  • the box 2 further comprises feet 3 which rest on any support (for example a table or any piece of furniture) when the connected speaker 1 is in its nominal operating position, as is the case on the figure 1 .
  • the connected speaker 1 also includes an internal chassis (not shown in the figures) integrated inside the box 2.
  • the connected speaker 1 further comprises an electric card 4.
  • the electric card 4 is integrated into the casing 2 by being fixed to the internal chassis.
  • the electrical card 4 is positioned parallel to the upper face 5 of the casing 2 and close to the latter.
  • the distance between the electrical card 4 and the upper face 5 of the housing 2 is for example between 5mm and 1.5cm.
  • the connected speaker 1 further comprises a loudspeaker 6 integrated into the casing 2 by being fixed to the internal frame.
  • the loudspeaker 6 "points downwards", that is to say it has a directivity diagram which, when the connected loudspeaker 1 is in its nominal operating position, is oriented towards the down.
  • a plurality of holes 7 are formed on the upper face 5 of the casing 2 (a single hole is shown on the figure 1 ). Each hole 7 passes through the casing 2.
  • holes 7 could also be formed on the side faces of the casing 2, that is to say on the sides of the casing 2, and on any parts of the casing 2 (for example on a removable cover).
  • the connected speaker 1 further comprises a plurality of microphones 10 (a single microphone 10 is shown on the figure 1 ) which here are surface mounted components (SMD).
  • the microphones 10 are mounted on the printed circuit of the electrical card 4.
  • Each microphone 10 is positioned inside the casing 2 and is close to a hole 7 (separate), so that the sensitive part of said microphone 10 is in acoustic communication with the outside via said hole 7.
  • each microphone 10 is positioned opposite a hole 7 so that the axis of the hole 7 passes through the center of the microphone 10.
  • the directivity diagram of loudspeaker 6 is oriented towards an area that does not include a microphone 10: the microphones 10 are in fact positioned here in an upper part of the connected speaker 1.
  • a sound-insulating material is placed around each microphone 10 between the electrical card 4 and the casing 2.
  • the sound-insulating material here is a foam 11.
  • the foam 11 makes it possible to limit the sound disturbances perceived by the microphone 10 and coming from the inside the connected speaker 1. These sound disturbances include, for example, the sound signals emitted by the loudspeaker 6 and the parasitic resonances inside the connected speaker 1.
  • the microphones 10 are acoustically isolated from each other.
  • the electrical card 4 is fixed to the internal frame of the connected enclosure 1 via a fixing piece (not shown) comprising a flexible material.
  • the fixing part is for example a "silentbloc", which is a part comprising for example natural rubber or a elastomer, and which absorbs vibrations and noise.
  • the fixing part makes it possible to limit the direct transmission of vibrations from the loudspeaker 6 to the microphones 10 through the internal frame.
  • the connected speaker 1 further comprises transmission means and processing means.
  • the transmission means comprise electronic components comprising for example an amplifier.
  • the processing means comprise at least one processing component 12 suitable for executing program instructions to implement the different steps of the processing method, of the detection method and of the control method which will be described below.
  • the processing component 12 is linked to at least one memory in which the programs are stored.
  • the processing component 12 is for example a "generalist" processor, a processor specializing in signal processing (or DSP, for Digital Signal Processor ) , a microcontroller, or else a programmable logic circuit such as an FPGA (for Field Programmable Gate Arrays) or an ASIC (for Application Specific Integrated Circuit).
  • the processing component 12 is mounted on the electrical board 4.
  • the connected speaker 1 comprises a plurality of virtual buttons, located on the upper face 5 of the box 2: each virtual button comprises a microphone 10 and the associated hole 7.
  • the virtual buttons allow the user of the connected speaker 1 to control predetermined actions by performing control gestures.
  • a command gesture can be a command press or a command swipe (or a succession of command presses and command swipes).
  • a command press consists, for the user, of concealing a microphone 10 by positioning one of his fingers on or in the immediate vicinity of the hole 7 associated with the microphone 10.
  • the finger is placed on the hole 7 and covers it entirely or partially, or that the finger is approached above the hole 7 at a short distance from it, included for example between 0 and 10mm.
  • a sliding command consists, for the user, of sliding his finger on the box 2 between several distinct microphones 10 .
  • a shift in control therefore produces a succession of occultations of at least two distinct microphones 10 .
  • the transmission means permanently transmit (that is to say as long as the connected speaker 1 is activated) a detection sound signal via the loudspeaker 6.
  • the microphone 10 of the virtual button captures the detection sound signal and produces from the capture of the detection sound signal a detection audio signal.
  • the processing component 12 acquires the detection audio signal and detects in real time, from the detection audio signal, whether the microphone 10 is muted or not.
  • the detection sound signal captured by the microphone 10 is strongly attenuated, that is to say that the energy or the instantaneous power of the captured detection sound signal has strongly decreased.
  • the detection of this attenuation by the processing component 12 makes it possible to detect the presence of the user's finger.
  • the level and the variation of the energy of the detection sound signal captured (and therefore of the detection audio signal) depend solely on the position or not of an object on or in the immediate vicinity of hole 7.
  • the detection sound signal is a predetermined sound signal, for example a sinusoidal signal of constant frequency and amplitude.
  • the detection sound signal is a signal normally inaudible to a human being.
  • the frequency of the detection sound signal is within the operating range of the loudspeaker 6 and the microphone 10.
  • the frequency of the detection sound signal is for example equal to 22 kHz. Indeed, the frequency range of human hearing typically extends between 20 Hz and 20 kHz so that a frequency of 22 kHz is inaudible. Also, consumer audio processing devices (like Smart Speaker 1) typically have a sampling rate of 48kHz and can therefore process signals with frequencies below 24kHz.
  • the signal can also be located in the range of frequencies audible to a human, but at a level too low to be heard.
  • Curve C of the minimum hearing threshold is visible on the figure 2 .
  • a signal with a frequency of 17kHz will require a power of about 55dB above the minimum level to reach the threshold of hearing.
  • a detection sound signal having a frequency equal to 17 kHz and a level equal to 20 dB can therefore be used perfectly: such a detection sound signal can in fact be captured by the microphone 10 while being well below the curve of the threshold d minimal hearing.
  • the detection sound signal is modulated in order to be easily distinguished from the background noise.
  • the detection sound signal comprises a succession of non-zero amplitude signals and zero amplitude signals.
  • the durations of the intervals comprising the signals of non-zero amplitude and of the intervals comprising the signals of zero amplitude can be variable.
  • the microphone 10 samples the detection sound signal that it captures and produces the detection audio signal.
  • the processing component 12 continuously acquires the detection audio signal.
  • the signal is identified according to its frequency fingerprint (which is modulated or not).
  • the processing component 12 then implements a processing method on the audio detection signal in order to detect whether or not the user has placed his finger on or in the immediate vicinity of the hole 7, and therefore whether the microphone 10 is occulted or not.
  • the processing component 12 applies a relatively narrow and selective band-pass filter around the frequency of the detection sound signal (step E1).
  • the microphone 10 samples the detection sound signal captured at a frequency of 48 kHz to produce a sampled detection audio signal.
  • the processing component 12 calculates the instantaneous power of the audio detection signal by calculating the average of y(t) 2 over a short time (for example 1 ms) - step E2.
  • the processing component 12 thus evaluates at time t an instantaneous power present P(t) of the audio detection signal produced by the microphone 10.
  • the processing component 12 compares the present instantaneous power P(t) with a past instantaneous power P(t-T0).
  • T0 is between 1ms and 500ms. Here, T0 is equal to 25ms.
  • the processing component 12 deduces therefrom that the access to the hole 7 has just been at least partially closed off, and therefore that the finger is positioned on or in the immediate vicinity of the hole 7 and that the microphone 10 is obscured (step E3).
  • the predetermined power threshold is here equal to 25%, that is to say that if the present instantaneous power is less than 25% of the past instantaneous power, then the processing component 12 considers that the finger is positioned on or close to hole 7.
  • the processing component 12 here detects a command press when the microphone 10 has been muted and then the microphone 10 has been released. This is not mandatory: the processing component 12 could detect a command press as soon as the occultation of the microphone 10 is detected.
  • the processing component 12 When the processing component 12 has detected a command press, the processing component 12 commands the implementation of the predetermined action associated with the virtual button on which the command press was performed.
  • the predetermined action may consist in starting a voice interaction with the user: as soon as the processing component 12 detects that the user has made a command press, it triggers a process of voice recognition and dialogue with the user.
  • the predetermined action may also consist of deactivating the voice interaction.
  • the predetermined action may also consist of activating or deactivating a standby mode.
  • the connected speaker 1 constantly listens in order to detect a keyword to start an interaction with the user.
  • the functions of the connected speaker 1 allowing to implement the virtual button are also activated.
  • all the functions of the connected speaker 1 are deactivated except those enabling the virtual button to be implemented.
  • the predetermined action can also be the start of the reading of a content (music for example), or even the pausing of the reading.
  • the processing component 12 evaluates, on a given frequency band, the ratio between the power emitted by the loudspeaker 6 and the power picked up by the microphone 10. A change in this ratio makes it possible to conclude that the microphone 10 is blocked.
  • This method is, however, more complex to implement, since it requires the loudspeaker 6 to be playing sounds that can be heard by the user and, even in this case, it may happen that the music restored presents absences temporary signals on a given frequency band.
  • the ratio between the transmitted power and the captured power will be calculated by the processing component 12 over a wide frequency band.
  • the connected speaker 1 can be controlled by pressing a command on a virtual button, but also by sliding the command on the box 2.
  • the predetermined action associated with a control slip may of course be different from that associated with a control press.
  • the detection method starts at step E10 and begins with a first detection phase P1.
  • the processing component 12 tries to detect a first occultation of a first microphone (step E11). As long as the first occultation is not detected, the detection method remains at step E11.
  • the processing component 12 When the processing component 12 has detected the first occultation of the first microphone, the processing component 12 starts a first timer (or “stopwatch”) which expires after a first predefined duration (step E12).
  • the first predefined duration corresponds to the maximum duration of the first occultation of the first microphone which may correspond to a voluntary command slip.
  • the first predefined duration is for example equal to ls or 0.5s.
  • the processing component 12 detects the end of the first occultation, that is to say a release of the press, and verifies whether the end of the first occultation has taken place before the expiration of the first timer, i.e. that is to say if a first duration of the first occultation is less than the first predefined duration (step E13).
  • the detection method therefore comprises a second phase of detection P2 which makes it possible to categorize the command gesture into a command press or a command slip.
  • processing component 12 attempts to detect a second occultation of a second microphone distinct from the first microphone (step E14). Simultaneously, at the end of the first occultation, the processing component 12 starts a second timer which expires after a second predefined duration (step E15).
  • the second predefined duration corresponds to the maximum duration desired for the finger to pass from one microphone to another during the sliding.
  • the second predefined duration is for example equal to 0.5s or to 0.25s.
  • the second predefined duration is longer when the microphones 10 are further apart, and lower when the microphones 10 are less spaced.
  • the processing component 12 detects that the first muting and the second muting (or the first muting only) constitute two separate command supports (or one command support only) - step E16.
  • the processing component 12 detects a slippage of control carried out on the box 2 by the user between the first microphone and the second microphone (step E17).
  • the processing component 12 possibly continues the detection if the connected speaker 1 incorporates more than two microphones 10. In this case, the detection of step E11 will be directly validated, because the second occultation of the second microphone has already been detected at step E14.
  • processing component 12 If the processing component 12 has detected one or more command presses on virtual buttons, then the processing component 12 implements predetermined actions corresponding to said virtual button or buttons (as above).
  • the processing component 12 compares the command slippage with at least one predefined slippage from a predefined list (stored for example in the memory connected to the processing component 12), determines a particular predefined slip to which the control slip corresponds, and controls the connected speaker 1 so that the latter performs at least one predetermined action associated with the particular predefined slip.
  • a predefined list stored for example in the memory connected to the processing component 12
  • each predefined shift of the predefined list corresponds to a succession of predefined occultations of microphones 10 arranged successively.
  • the muting of a first microphone is followed by the muting of a second microphone adjacent to the first microphone.
  • Shifts between microphones 10 which are not arranged successively are therefore not allowed, ie they do not correspond to predefined shifts of the predefined list.
  • the predefined glides are linear glides.
  • a connected speaker 1 comprises two microphones 10a, 10b (and therefore two holes) forming two virtual buttons on the upper face 5 of the box 2.
  • each microphone 10 we assimilate each microphone 10 to the associated hole 7 - but of course, in reality, only the hole 7 is visible on the housing 2, the microphone 10 being positioned inside the housing 2.
  • the processing component 12 will detect successive occultations of the microphones 10a then 10b (sliding to the right), or of the microphones 10b then 10a (sliding to the left) , all within a reduced time interval (for example less than 1 second).
  • a connected speaker 1 according to a second embodiment comprises three microphones 10a, 10b, 10c aligned along the X axis.
  • the predetermined action controlled by the control slip may be a step-response action, and in particular a step-response action.
  • “Progressive response action” means an action whose response level varies according to the control slip (length, duration of occultation of certain microphones, duration of the slip, etc.) and/or the number of ordered.
  • a preset slip in the first direction may be associated with an increase in a response level of the soft-response action, while a preset slip in the second direction may be associated with a reduction in the response level of the progressive response action.
  • the progressive response action is for example the adjustment of the sound reproduction volume of the connected speaker 1.
  • the list of predefined slides can include several predefined slides in the same direction but of different lengths.
  • the length of a preset slide is equal to the number of microphones 10 occulted in the succession of occultations forming the predefined shift.
  • the level of response of the step-response action may depend on the length of said predefined slip.
  • a control slip which would begin with a muting of the microphone 10a and would end with a muting of the microphone 10b would command a slight increase in volume
  • a control slip which would begin with a muting of the microphone 10a and would end with a muting of the microphone 10c would command a strong increase in volume
  • a control slip increases or decreases the volume by a maximum of 20%.
  • a variation in the level of response of the progressive response action is greater if the predefined glide is followed by a maintained occultation of a microphone at the end of the predefined glide.
  • the variation of the level of response can also depend on the duration of the occultation maintained.
  • the increase or decrease in volume could be 10% - or even 0% - in the case of a simple control slip, but be equal to 20% per second for the duration of a muting held at the end of the control slip.
  • control slips (and therefore the predefined slips) are then circular slips.
  • the connected speaker 1 To be able to detect the direction of movement, the connected speaker 1 must include at least three microphones 10 positioned at the periphery. If the connected speaker 1 includes three microphones 10, these are arranged in a triangle.
  • a small number of microphones 10 leads to coarse granularity in the response to the user's gestures, and it is therefore preferable, in order to detect circular slips, to provide the connected speaker 1 with a greater number of microphones 10 located in periphery, for example of six or eight microphones 10.
  • the connected speaker 1 could potentially include both microphones 10 positioned at the periphery, and a central microphone. It is then possible to detect both linear slips along an axis, and circular slips on the periphery.
  • a connected speaker 1 comprises six microphones 10a, 10b, 10c, 10d, 10e, 10f arranged in a circular manner and forming a ring of microphones on the periphery of the upper face 5 of the housing 2 of the speaker connected 1.
  • the predefined slides are therefore circular slides.
  • the particular predetermined action is again the adjustment of the sound reproduction volume: a clockwise slide commands an increase in volume, while a counter-clockwise slide commands a reduction in volume.
  • control slips in a first direction, that is to say according to a clockwise rotation (such as the control slip 14), or control in a second direction, that is to say according to a counter-clockwise rotation.
  • the predefined initial microphone is for example microphone 10a and the predefined final microphone is microphone 10d for the control slide 14 clockwise in the left part of the ring of microphones (volume increase).
  • the predefined initial microphone is, for example, microphone 10d and the predefined final microphone is microphone 10a for the clockwise control slide in the right part of the microphone ring (volume increase).
  • the initial predefined microphone is for example the microphone 10d and the final microphone predefined the microphone 10a for the control slip according to the anti-clockwise direction in the left part of the crown of microphones (volume reduction).
  • the predefined initial microphone is, for example, microphone 10a and the predefined final microphone is microphone 10d for the control sliding in the counter-clockwise direction in the right part of the ring of microphones (volume reduction).
  • the other control shifts (for example from the microphone 10c to the microphone 10e) are then not admissible (at least to adjust the volume).
  • a connected speaker 1 again comprises six microphones 10a, 10b, 10c, 10d, 10e, 10f arranged in a circular manner. This time there is no microphone in the central Y axis.
  • the predefined initial microphone is for example the microphone 10a and the predefined final microphone the microphone 10c for the control slide 15 clockwise in the left part of the ring of microphones.
  • the initial predefined microphone is for example the microphone 10d and the final microphone predefined the microphone 10f for the control sliding according to the clockwise direction in the right part of the ring of microphones.
  • the configuration of the figure 7 makes it possible to obtain a number of control steps (four steps) greater than the configuration of the figure 8 (three steps) for a half turn, and to make a finer adjustment in the case where the predetermined action associated with the control slip is a step response action (as for volume adjustment).
  • the starting point and the ending point of the control slides can also be indifferent, the important thing then being only the arc of the rotation carried out by the user.
  • control slides can be limited, for example to half a turn.
  • these last two lists will be considered as circular lists. To allow shifts of more than one turn to be taken into account, we will also accept that these last two lists be repeated (as many times as turns are accepted during a command slip).
  • the connected speaker 1 comprises a sensory transmitter arranged to provide the user with sensory feedback, representative of the control slippage and/or of a response level of the predetermined action which is controlled following the control slip detection.
  • the sensory transmitter is for example a sound transmitter, which here comprises the loudspeaker 6 and the transmission means of the connected enclosure 1.
  • the sensory feedback is therefore sound feedback.
  • the sound transmitter can for example emit a return sound signal when the response level of the predetermined action crosses (by increasing or decreasing) a predefined level.
  • the sound transmitter here emits a first return sound signal, for example a "tick", each time the sound volume crosses a level of 20%.
  • the sound transmitter can also emit a return sound signal when the response level of the predetermined action reaches a maximum (or minimum) stop associated with the direction of the control slip, that is to say that the response level reaches a maximum (or minimum) value and does not increase (or decrease) further, even if the user performs further control slides in the same direction.
  • the sound transmitter here produces a second feedback sound signal, different from the first feedback sound signal, when the maximum stop (maximum volume) is reached and a third feedback sound signal, different from the first and second feedback beeps, when the minimum stop (minimum volume) is reached.
  • the intensity of the return sound signal or signals may be constant (for example in the case of scrolling through radio stations), or modulated in intensity (for example in the case of adjustment of the volume of sound reproduction).
  • the sensory transmitter can also be a light transmitter which includes light indicators.
  • the luminous indicators comprise for example light-emitting diodes (LEDs).
  • the light emitter also comprises components for driving the light indicators (driver).
  • the visual feedback may consist of the lighting of one or more light indicators, the intensity and/or color of which may vary.
  • the connected speaker 1 controls these light indicators according to the control slip and/or the response level of the predetermined action.
  • the connected speaker can for example turn on the light indicators, or else vary their intensity or their color when the level of response of the predetermined action commanded is passed through.
  • the connected speaker 1 comprises a plurality of light sources each comprising one or more LEDs.
  • Each light source has the shape of a light segment 20 forming an angular sector of a ring of light segments 20.
  • the ring of light segments 20 is located inside the ring of microphones 10.
  • Some of the light segments 20 are associated with microphones 10 with which they are aligned radially: the light segment 20a is associated with the microphone 10a, the light segment 20b is associated with microphone 10b, light segment 20c is associated with microphone 10c, etc.
  • the light emitter emits a return light signal which depends in real time on the path on the box 2 of the user's finger when the control is slid.
  • the light segments 20 in front of which the user's finger passed during the control slip remain lit, while the light segment 20c associated with the microphone 10c, where the user's finger is located, flashes.
  • the sensory transmitter could produce a feedback sensory signal different from those described here, for example a vibration signal.
  • This vibratory signal could for example be produced by means of a dedicated device (device of the vibrator type), or be produced, outside the audible spectrum (infrasound), by means of a loudspeaker (6) of the device.
  • the predetermined actions commanded by the command slides may differ from those described here.
  • the predetermined actions could for example consist of scrolling through radio stations, advancing or rewinding the playback of audio content, etc.
  • the invention can be implemented in any electronic equipment comprising microphones and at least one loudspeaker: voice assistant, decoder box, tablet, smartphone, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Equipement de restitution audio (1) comprenant des microphones (10), un haut-parleur (6), des moyens d'émission agencés pour émettre un signal sonore de détection, et au moins un composant de traitement (12) agencé pour :
o acquérir des signaux audio de détection produits par les microphones (10) à partir d'une capture du signal sonore de détection ;
o détecter à partir des signaux audio de détection une succession d'occultations d'au moins deux microphones distincts ;
o analyser la succession d'occultations de manière à détecter un glissement de commande réalisé sur le boîtier par un utilisateur entre au moins deux microphones distincts ;
o commander au moins une action prédéterminée suite à la détection dudit glissement de commande.

Description

  • L'invention concerne le domaine des équipements de restitution audio comprenant au moins un haut-parleur et des microphones.
    • ARRIERE PLAN DE L'INVENTION
  • Certains équipements électroniques récents intègrent non seulement un ou des haut-parleurs pour restituer des signaux audio, mais aussi un ou des microphones pour capturer des signaux sonores, et sont capables d'interagir avec l'utilisateur par la voix. Ces équipements peuvent ainsi acquérir des commandes émises oralement par l'utilisateur, et répondre en émettant des signaux sonores à destination de l'utilisateur.
  • On connaît par exemple des enceintes connectées qui peuvent être utilisées pour mettre en œuvre le procédé de reconnaissance vocale d'un assistant personnel virtuel. On connaît aussi par exemple des boîtiers décodeurs (ou set-top boxes en anglais) qui intègrent un dispositif d'assistance vocale.
  • Un tel équipement réalise classiquement un procédé de formation de voies qui lui permet de focaliser la direction dans laquelle il écoute et d'ignorer les sons provenant d'une direction autre que celle de l'utilisateur (on parle de « beamforming » en anglais) . Le procédé de formation de voies nécessite plusieurs microphones.
  • Un tel équipement comporte aussi généralement un ou des boutons permettant un accès rapide à certaines fonctionnalités : démarrage d'une interaction vocale avec l'utilisateur, activation ou désactivation d'un mode de veille, marche/arrêt, réglage du volume, appairage Bluetooth, etc.
    • OBJET DE L'INVENTION
  • L'invention a pour objet de réduire le coût d'un équipement de restitution audio tel que précédemment décrit et d'améliorer les interactions de l'utilisateur avec ledit équipement de restitution audio.
    • RESUME DE L'INVENTION
  • En vue de la réalisation de ce but, on propose un équipement de restitution audio comprenant :
    • un boîtier sur lequel sont formés des trous, et des microphones positionnés à l'intérieur du boîtier, chaque microphone étant en communication acoustique avec l'extérieur via l'un des trous ;
    • un haut-parleur ;
    • des moyens d'émission agencés pour émettre via le haut-parleur un signal sonore de détection ;
    • au moins un composant de traitement agencé pour :
      • o acquérir des signaux audio de détection produits par les microphones à partir d'une capture du signal sonore de détection ;
      • o détecter à partir des signaux audio de détection une succession d'occultations d'au moins deux microphones distincts ;
      • o analyser la succession d'occultations de manière à détecter un glissement de commande réalisé sur le boîtier par un utilisateur entre au moins deux microphones distincts ;
      • o commander au moins une action prédéterminée suite à la détection dudit glissement de commande.
  • L'équipement de restitution audio selon l'invention comporte donc des « boutons virtuels », qui comprennent chacun un microphone et un trou via lequel le microphone communique avec l'extérieur.
  • Les boutons virtuels permettent à l'utilisateur de commander des actions prédéterminées en faisant glisser son doigt sur le boîtier de l'équipement de restitution audio.
  • Lorsque l'équipement est équipé de microphones et d'un haut-parleur qui sont utilisés pour une autre fonction, comme c'est le cas pour une enceinte connectée pouvant être utilisée pour réaliser le procédé de reconnaissance vocale d'un assistant personnel virtuel, la mise en œuvre de ces boutons virtuels est très peu onéreuse puisque les boutons virtuels peuvent utiliser les microphones et le haut-parleur « préexistants ». On réduit donc de manière importante le coût de fabrication de l'équipement.
  • Il est aussi possible d'ajouter « a posteriori » des boutons virtuels supplémentaires sur des équipements déjà conçus voire même déjà déployés.
  • Comme la commande nécessite de faire glisser le doigt sur le boîtier, il n'est pas nécessaire de taper sur le boîtier. Ainsi, la détection réalisée ne dépend ni des caractéristiques du doigt (et notamment de la longueur de l'ongle du doigt) ni d'une force avec laquelle le doigt taperait sur le boîtier.
  • Par ailleurs, la détection ne nécessite pas un niveau de bruit ambiant particulier, et fonctionne donc même si l'environnement est complètement silencieux.
  • On note de plus que la commande par glissement est particulièrement adaptée pour des actions à réponse progressive, comme par exemple le réglage du volume de restitution sonore. Les interactions entre l'utilisateur et l'équipement de restitution audio sont donc améliorées.
  • On propose aussi un équipement de restitution audio tel que précédemment décrit, le composant de traitement étant agencé pour :
    • détecter une première occultation d'un premier microphone ;
    • si une première durée de la première occultation est inférieure à une première durée prédéfinie, détecter une deuxième occultation d'un deuxième microphone distinct du premier microphone ;
    • si une deuxième durée entre une fin de la première occultation et un début de la deuxième occultation est inférieure à une deuxième durée prédéfinie, détecter le glissement de commande.
  • On propose aussi un équipement de restitution audio tel que précédemment décrit, le composant de traitement étant agencé pour comparer le glissement de commande avec au moins un glissement prédéfini d'une liste prédéfinie, pour déterminer un glissement prédéfini particulier auquel correspond le glissement de commande, et pour commander au moins une action prédéterminée associée au glissement prédéfini particulier.
  • On propose aussi un équipement de restitution audio tel que précédemment décrit, dans lequel chaque glissement prédéfini correspond à une succession d'occultations prédéfinie de microphones disposés successivement.
  • On propose aussi un équipement de restitution audio tel que précédemment décrit, dans lequel les microphones sont alignés, les glissements prédéfinis étant des glissements linéaires.
  • On propose aussi un équipement de restitution audio tel que précédemment décrit, dans lequel les microphones sont disposés de manière circulaire, les glissements prédéfinis étant des glissements circulaires.
  • On propose aussi un équipement de restitution audio tel que précédemment décrit, dans lequel au moins un glissement prédéfini associé à une action prédéterminée particulière est défini de manière à débuter nécessairement par une occultation d'un microphone initial prédéfini et/ou de manière à s'achever nécessairement par une occultation d'un microphone final prédéfini.
  • On propose aussi un équipement de restitution audio tel que précédemment décrit, dans lequel la liste prédéfinie comprend plusieurs glissements prédéfinis dans un même sens mais de longueurs différentes.
  • On propose aussi un équipement de restitution audio tel que précédemment décrit, dans lequel l'action prédéterminée associée à l'un au moins des glissements prédéfinis est une action à réponse progressive.
  • On propose aussi un équipement de restitution audio tel que précédemment décrit, dans lequel un niveau de réponse de l'action à réponse progressive dépend de la longueur dudit glissement prédéfini.
  • On propose aussi un équipement de restitution audio tel que précédemment décrit, dans lequel les glissements prédéfinis comprennent des glissements prédéfinis dans un premier sens et des glissements prédéfinis dans un deuxième sens, un glissement prédéfini dans le premier sens étant associé à une augmentation d'un niveau de réponse de l'action à réponse progressive alors qu'un glissement prédéfini dans le deuxième sens est associé à une réduction du niveau de réponse de l'action à réponse progressive.
  • On propose aussi un équipement de restitution audio tel que précédemment décrit, dans lequel une variation d'un niveau de réponse de l'action à réponse progressive est plus importante si le glissement prédéfini est suivi d'une occultation maintenue d'un microphone à la fin du glissement prédéfini.
  • On propose aussi un équipement de restitution audio tel que précédemment décrit, dans lequel l'action à réponse progressive est un réglage d'un volume de restitution sonore de l'équipement de restitution audio.
  • On propose aussi un équipement de restitution audio tel que précédemment décrit, comprenant un émetteur sensoriel agencé pour fournir à l'utilisateur un retour sensoriel représentatif du glissement de commande et/ou d'un niveau de réponse de l'action prédéterminée.
  • On propose aussi un équipement de restitution audio tel que précédemment décrit, dans lequel l'émetteur sensoriel est agencé pour émettre un signal sensoriel de retour lorsque le niveau de réponse de l'action prédéterminée franchit un palier prédéfini ou atteint une butée maximale ou minimale.
  • On propose aussi un équipement de restitution audio tel que précédemment décrit, dans lequel l'émetteur sensoriel est agencé pour émettre un signal sensoriel de retour qui dépend d'un parcours sur le boîtier d'un doigt de l'utilisateur lors du glissement de commande.
  • On propose aussi un équipement de restitution audio tel que précédemment décrit, l'émetteur sensoriel étant un émetteur lumineux.
  • On propose aussi un équipement de restitution audio tel que précédemment décrit, l'émetteur sensoriel étant un émetteur sonore.
  • On propose aussi un équipement de restitution audio tel que précédemment décrit, l'équipement de restitution audio étant une enceinte connectée.
  • On propose de plus un procédé de commande d'un équipement de restitution audio tel que précédemment décrit, comprenant les étapes de :
    • émettre via le haut-parleur le signal sonore de détection ;
    • acquérir les signaux audio de détection produits par les microphones ;
    • détecter à partir des signaux audio de détection la succession d'occultations d'au moins deux microphones distincts ;
    • analyser la succession d'occultations de manière à détecter le glissement de commande réalisé sur le boîtier par l'utilisateur entre les au moins deux microphones distincts ;
    • commander l'action prédéterminée suite à la détection du glissement de commande.
  • On propose aussi un programme d'ordinateur comprenant des instructions qui conduisent le composant de traitement de l'équipement de restitution audio tel que précédemment décrit à exécuter les étapes du procédé de commande tel que précédemment décrit.
  • On propose en outre un support d'enregistrement lisible par ordinateur, sur lequel est enregistré le programme d'ordinateur qui vient d'être décrit.
  • L'invention sera mieux comprise à la lumière de la description qui suit de modes de mise en œuvre particuliers non limitatifs de l'invention.
    • BREVE DESCRIPTION DES DESSINS
  • Il sera fait référence aux dessins annexés parmi lesquels :
    • [Fig. 1] la figure 1 représente une enceinte connectée selon l'invention ;
    • [Fig. 2] la figure 2 représente un graphique comprenant une courbe du seuil d'audition minimal ;
    • [Fig. 3] la figure 3 représente des étapes d'un procédé de traitement d'un signal audio de détection produit par un microphone ;
    • [Fig. 4] la figure 4 représente des étapes d'un procédé de détection d'un glissement de commande ;
    • [Fig. 5] la figure 5 représente une face supérieure du boîtier d'une enceinte connectée comprenant deux microphones, et le doigt d'un utilisateur qui effectue un glissement de commande ;
    • [Fig. 6] la figure 6 représente une face supérieure du boîtier d'une enceinte connectée comprenant trois microphones alignés ;
    • [Fig. 7] la figure 7 représente une face supérieure du boîtier d'une enceinte connectée comprenant six microphones disposés de manière circulaire, dont deux positionnés sur un axe central ;
    • [Fig. 8] la figure 8 est une figure similaire à la figure 7, mais sans microphone sur l'axe central ;
    • [Fig. 9] la figure 9 représente une face supérieure du boîtier d'une enceinte connectée comprenant six microphones disposés de manière circulaire, ainsi qu'une couronne de segments lumineux.
    DESCRIPTION DETAILLEE DE L'INVENTION
  • En référence à la figure 1, l'équipement de restitution audio selon l'invention est ici une enceinte connectée 1 qui est utilisée pour mettre en œuvre le procédé de reconnaissance vocale d'un assistant personnel virtuel.
  • L'enceinte connectée 1 comprend tout d'abord un boîtier 2. Par « boîtier », on entend ici l'enveloppe physique à l'intérieur de laquelle sont intégrés les composants fonctionnels de l'enceinte connectée 1 qui vont être décrits. Le boîtier 2 peut comporter plusieurs parties et éventuellement un ou des capots possiblement amovibles. Le boîtier 2 peut comprendre une ou des parties rigides, flexibles, en métal, en plastique, en tissu, en mousse, etc.
  • Le boîtier 2 comporte de plus des pieds 3 qui reposent sur un support quelconque (par exemple une table ou un meuble quelconque) lorsque l'enceinte connectée 1 se trouve dans sa position de fonctionnement nominal, comme c'est le cas sur la figure 1.
  • L'enceinte connectée 1 comporte aussi un châssis interne (non représenté sur les figures) intégré à l'intérieur du boîtier 2.
  • L'enceinte connectée 1 comporte de plus une carte électrique 4. La carte électrique 4 est intégrée dans le boîtier 2 en étant fixée au châssis interne. La carte électrique 4 est positionnée parallèlement à la face supérieure 5 du boîtier 2 et à proximité de celle-ci. La distance entre la carte électrique 4 et la face supérieure 5 du boîtier 2 est par exemple comprise entre 5mm et 1,5cm.
  • L'enceinte connectée 1 comprend de plus un haut-parleur 6 intégré dans le boîtier 2 en étant fixé au châssis interne. Ici, le haut-parleur 6 « pointe vers le bas », c'est-à-dire qu'il présente un diagramme de directivité qui, lorsque l'enceinte connectée 1 se trouve dans sa position de fonctionnement nominal, est orienté vers le bas.
  • Une pluralité de trous 7 (ou perçages) sont formés sur la face supérieure 5 du boîtier 2 (un seul trou est représenté sur la figure 1). Chaque trou 7 traverse le boîtier 2.
  • On note que les trous 7 pourraient aussi être formés sur des faces latérales du boîtier 2, c'est-à-dire sur les côtés du boîtier 2, et sur des parties quelconques du boîtier 2 (par exemple sur un capot amovible).
  • L'enceinte connectée 1 comprend de plus une pluralité de microphones 10 (un seul microphone 10 est représenté sur la figure 1) qui sont ici des composants montés en surface (CMS). Les microphones 10 sont montés sur le circuit imprimé de la carte électrique 4. Chaque microphone 10 est positionné à l'intérieur du boîtier 2 et se trouve à proximité d'un trou 7 (distinct), de sorte que la partie sensible dudit microphone 10 est en communication acoustique avec l'extérieur via ledit trou 7. Ici, chaque microphone 10 est positionné en regard d'un trou 7 de sorte que l'axe du trou 7 passe par le centre du microphone 10.
  • On note que le diagramme de directivité du haut-parleur 6 est orienté vers une zone ne comprenant pas de microphone 10 : les microphones 10 sont en effet positionnés ici dans une partie supérieure de l'enceinte connectée 1.
  • Un matériau isolant phonique est placé autour de chaque microphone 10 entre la carte électrique 4 et le boîtier 2. Le matériau isolant phonique est ici une mousse 11. La mousse 11 permet de limiter les perturbations sonores perçues par le microphone 10 et provenant de l'intérieur de l'enceinte connectée 1. Ces perturbations sonores comprennent par exemple les signaux sonores émis par le haut-parleur 6 et les résonnances parasites à l'intérieur de l'enceinte connectée 1.
  • Les microphones 10 sont isolés acoustiquement les uns des autres.
  • De même, la carte électrique 4 est fixée au châssis interne de l'enceinte connectée 1 via une pièce de fixation (non représentée) comprenant un matériau souple. La pièce de fixation est par exemple un « silentbloc », qui est une pièce comprenant par exemple du caoutchouc naturel ou un élastomère, et qui permet d'absorber les vibrations et les bruits.
  • La pièce de fixation permet de limiter la transmission directe de vibrations depuis le haut-parleur 6 vers les microphones 10 au travers du châssis interne.
  • L'enceinte connectée 1 comprend de plus des moyens d'émission et des moyens de traitement.
  • Les moyens d'émission comprennent des composants électroniques comportant par exemple un amplificateur.
  • Les moyens de traitement comprennent au moins un composant de traitement 12 adapté à exécuter des instructions de programmes pour mettre en œuvre les différentes étapes du procédé de traitement, du procédé de détection et du procédé de commande qui vont être décrits ci-après. Le composant de traitement 12 est relié à au moins une mémoire dans laquelle sont stockés les programmes. Le composant de traitement 12 est par exemple un processeur « généraliste », un processeur spécialisé dans le traitement du signal (ou DSP, pour Digital Signal Processor), un microcontrôleur, ou bien un circuit logique programmable tel qu'un FPGA (pour Field Programmable Gate Arrays) ou un ASIC (pour Application Specific Integrated Circuit). Ici, le composant de traitement 12 est monté sur la carte électrique 4.
  • L'enceinte connectée 1 comporte une pluralité de boutons virtuels, situés sur la face supérieure 5 du boîtier 2 : chaque bouton virtuel comporte un microphone 10 et le trou 7 associé.
  • Les boutons virtuels permettent à l'utilisateur de l'enceinte connectée 1 de commander des actions prédéterminées en effectuant des gestes de commande.
  • Un geste de commande peut être un appui de commande ou un glissement de commande (ou une succession d'appuis de commande et de glissements de commande).
  • Un appui de commande consiste, pour l'utilisateur, à occulter un microphone 10 en positionnant l'un de ses doigts sur ou à proximité immédiate du trou 7 associé au microphone 10.
  • Par « sur ou à proximité immédiate », on entend que le doigt est posé sur le trou 7 et le recouvre entièrement ou partiellement, ou bien que le doigt est approché au-dessus du trou 7 à une faible distance de celui-ci, comprise par exemple entre 0 et 10mm.
  • Un glissement de commande consiste, pour l'utilisateur, à faire glisser son doigt sur le boîtier 2 entre plusieurs microphones 10 distincts. Un glissement de commande produit donc une succession d'occultations d'au moins deux microphones 10 distincts.
  • On décrit tout d'abord le fonctionnement d'un bouton virtuel, et la détection d'un appui de commande sur ledit bouton virtuel.
  • Les moyens d'émission émettent en permanence (c'est-à-dire tant que l'enceinte connectée 1 est activée) un signal sonore de détection via le haut-parleur 6. Le microphone 10 du bouton virtuel capture le signal sonore de détection et produit à partir de la capture du signal sonore de détection un signal audio de détection.
  • Le composant de traitement 12 acquiert le signal audio de détection et détecte en temps réel, à partir du signal audio de détection, si le microphone 10 est occulté ou non.
  • En effet, lorsqu'un doigt (ou un objet quelconque) est positionné sur le trou 7 ou à proximité immédiate de celui-ci, le signal sonore de détection capturé par le microphone 10 est fortement atténué, c'est-à-dire que l'énergie ou la puissance instantanée du signal sonore de détection capturé a diminué fortement. La détection de cette atténuation par le composant de traitement 12 permet de détecter la présence du doigt de l'utilisateur.
  • L'utilisation de la mousse 11 et du silentbloc, et le fait que le diagramme de directivité du haut-parleur 6 soit orienté vers une zone ne contenant pas le microphone 10, permettent d'assurer que le microphone 10 ne capte pas le signal sonore de détection suite à une propagation de celui-ci via l'intérieur du boîtier 2, mais uniquement suite à une propagation de celui-ci par l'extérieur du boîtier 2. Le niveau et la variation de l'énergie du signal sonore de détection capturé (et donc du signal audio de détection) dépendent uniquement de la position ou non d'un objet sur ou à proximité immédiate du trou 7.
  • Le signal sonore de détection est un signal sonore prédéterminé, par exemple un signal sinusoïdal de fréquence et d'amplitude constantes.
  • Le signal sonore de détection est un signal normalement inaudible par un être humain. La fréquence du signal sonore de détection est comprise dans la plage de fonctionnement du haut-parleur 6 et du microphone 10.
  • La fréquence du signal sonore de détection est par exemple égale à 22kHz. En effet, la gamme de fréquences de l'audition humaine s'étend typiquement entre 20 Hz et 20kHz de sorte qu'une fréquence de 22kHz est inaudible. En outre, les appareils de traitement audio grand public (comme l'enceinte connectée 1) ont typiquement une fréquence d'échantillonnage de 48kHz et peuvent donc traiter les signaux de fréquences inférieures à 24kHz.
  • Dans le cas où l'enceinte connectée 1 n'est pas capable de reproduire (via le haut-parleur 6) ou de capter (via le microphone 10) des fréquences situées au-dessus de 20kHz, le signal peut également être situé dans la plage de fréquences audibles pour un humain, mais à un niveau trop faible pour être entendu.
  • La courbe du seuil d'audition minimal (ATH, pour Absolute Threshold of Hearing) d'un humain (âgé de 20 ans, avec une audition non dégradée) peut être modélisée par l'équation suivante, utilisée par exemple par plusieurs encodeurs audionumériques : ATH = 3,64 * f ∧ − 0,8 − 6,8 * e − 0,6 * f − 3,4 ∧ 2 + 6 * e − 0,15 * f − 8,7 ∧ 2 + 0,6 * 0,001 * f ∧ 4 ,
    Figure imgb0001
     où f est la fréquence (en kHz), et ATH le seuil d'audition minimal, en dB.
  • L'équation suivante est équivalente : ATH = 3.640 * pow f , − 0.8 − 6.800 * exp − 0.6 * pow f − 3.4 , 2.0 + 6.000 * exp − 0.15 * pow f − 8.7 , 2.0 + 0.6 * 0.001 * pow f 4.0 .
    Figure imgb0002
  • La courbe C du seuil d'audition minimal est visible sur la figure 2.
  • On constate que la sensibilité de l'oreille humaine décroit fortement dans les hautes fréquences. Par exemple, un signal d'une fréquence de 17kHz demandera une puissance d'environ 55dB au-dessus du niveau minimal pour atteindre le seuil d'audition. Un signal sonore de détection ayant une fréquence égale à 17kHz et un niveau égal à 20dB peut donc parfaitement être utilisé : un tel signal sonore de détection peut en effet être capturé par le microphone 10 tout en étant bien en dessous de la courbe du seuil d'audition minimal.
  • Avantageusement, le signal sonore de détection est modulé afin d'être facilement distingué du bruit de fond. Par exemple, le signal sonore de détection comprend une succession de signaux d'amplitude non nulle et de signaux d'amplitude nulle. Les durées des intervalles comprenant les signaux d'amplitude non nulle et des intervalles comprenant les signaux d'amplitude nulle peuvent être variables.
  • Le signal sonore de détection est par exemple composé de la séquence suivante, répétée « indéfiniment » :
    • sinusoïde à 22 kHz pendant 5ms (appartenant donc aux signaux d'amplitude non nulle) ;
    • silence pendant 5ms (appartenant donc aux silences) ;
    • sinusoïde à 22 kHz pendant 5ms (appartenant donc aux signaux d'amplitude non nulle) ;
    • silence pendant 10ms (appartenant donc aux silences).
  • Le microphone 10 échantillonne le signal sonore de détection qu'il capture et produit le signal audio de détection. Le composant de traitement 12 acquiert en permanence le signal audio de détection.
  • Dans tous les cas, le signal est identifié selon son empreinte fréquentielle (qui est modulée ou non).
  • En référence à la figure 3, le composant de traitement 12 met alors en œuvre un procédé de traitement sur le signal audio de détection afin de détecter si l'utilisateur a placé ou non son doigt sur ou à proximité immédiate du trou 7, et donc si le microphone 10 est occulté ou non.
  • Tout d'abord, le composant de traitement 12 applique un filtre passe-bande, relativement étroit et sélectif, autour de la fréquence du signal sonore de détection (étape E1).
  • Par exemple, dans le cas où le signal sonore de détection a une fréquence de 22kHz, le microphone 10 échantillonne le signal sonore de détection capturé à une fréquence de 48kHz pour produire un signal audio de détection échantillonné. Le composant de traitement 12 applique par exemple le filtre suivant sur le signal échantillonné pour obtenir un signal filtré : y t = 0,00995 × x t − x t − 2 − 1,9125 × y t − 1 − 0,9801 × y t − 2
    Figure imgb0003
     où x(t) représente le signal échantillonné à l'instant t et y(t) représente le signal filtré à l'instant t.
  • Puis, le composant de traitement 12 calcule la puissance instantanée du signal audio de détection en calculant la moyenne de y(t)2 sur un temps court (par exemple 1 ms) - étape E2.
  • Le composant de traitement 12 évalue ainsi au temps t une puissance instantanée présente P(t) du signal audio de détection produit par le microphone 10.
  • Le composant de traitement 12 compare alors la puissance instantanée présente P(t) avec une puissance instantanée passée P(t-T0). T0 est compris entre 1ms et 500ms. Ici, T0 est égal à 25ms.
  • Si le rapport entre la puissance instantanée présente et la puissance instantanée passée est inférieur à un seuil de puissance prédéterminé, le composant de traitement 12 en déduit que l'accès au trou 7 vient d'être au moins partiellement obturé, et donc que le doigt est positionné sur ou à proximité immédiate du trou 7 et que le microphone 10 est occulté (étape E3).
  • Le seuil de puissance prédéterminé est ici égal à 25%, c'est-à-dire que si la puissance instantanée présente est inférieure à 25% de la puissance instantanée passée, alors le composant de traitement 12 considère que le doigt est positionné sur ou à proximité immédiate du trou 7.
  • Le composant de traitement 12 détecte ici un appui de commande lorsque le microphone 10 a été occulté puis que le microphone 10 a été libéré. Cela n'est pas obligatoire : le composant de traitement 12 pourrait détecter un appui de commande dès la détection de l'occultation du microphone 10.
  • Lorsque le composant de traitement 12 a détecté un appui de commande, le composant de traitement 12 commande la mise en œuvre de l'action prédéterminée associée au bouton virtuel sur lequel l'appui de commande a été effectué.
  • L'action prédéterminée peut consister à démarrer une interaction vocale avec l'utilisateur : dès que le composant de traitement 12 détecte que l'utilisateur a réalisé un appui de commande, il déclenche un processus de reconnaissance vocale et de dialogue avec l'utilisateur. L'action prédéterminée peut aussi consister à désactiver l'interaction vocale.
  • L'action prédéterminée peut aussi consister à activer ou à désactiver un mode de veille. Dans ce cas, en fonctionnement normal, l'enceinte connectée 1 écoute en permanence afin de détecter un mot-clef pour démarrer une interaction avec l'utilisateur. Les fonctions de l'enceinte connectée 1 permettant de mettre en œuvre le bouton virtuel sont elles aussi activées. Par contre, en fonctionnement dans le mode de veille, toutes les fonctions de l'enceinte connectée 1 sont désactivées sauf celles permettant de mettre en œuvre le bouton virtuel. Ainsi, chaque fois que le composant de traitement 12 détecte que l'utilisateur a posé le doigt sur ou à proximité immédiate du trou 7, le composant de traitement 12 fait basculer alternativement l'enceinte connectée 1 entre le fonctionnement normal et le fonctionnement en veille.
  • L'action prédéterminée peut aussi être le démarrage de la lecture d'un contenu (musical par exemple), ou bien la mise en pause de la lecture.
  • On note qu'il est possible d'utiliser, comme signal sonore de détection, le signal sonore émis par le haut-parleur 6 lorsque l'enceinte connectée 1 diffuse en utilisation nominale un signal sonore audible, par exemple de la musique.
  • Le composant de traitement 12 évalue alors, sur une bande de fréquence donnée, le rapport entre la puissance émise par le haut-parleur 6 et la puissance captée par le microphone 10. Un changement de ce rapport permet de conclure à une occultation du microphone 10. Cette méthode est cependant plus complexe à mettre en œuvre, car elle nécessite que le haut-parleur 6 soit en train de jouer des sons audibles par l'utilisateur et, même dans ce cas, il peut arriver que la musique restituée présente des absences temporaires de signal sur une bande de fréquence donnée. Avantageusement, pour pallier ce problème, le rapport entre la puissance émise et la puissance captée sera calculé par le composant de traitement 12 sur une large bande de fréquence.
  • Comme on l'a vu plus tôt, l'enceinte connectée 1 peut être commandée par un appui de commande sur un bouton virtuel, mais aussi par un glissement de commande sur le boîtier 2.
  • L'action prédéterminée associée à un glissement de commande peut bien sûr être différente de celle associée à un appui de commande.
  • Il convient donc de distinguer un glissement de commande d'un appui de commande.
  • Bien sûr, il est possible que l'utilisateur réalise une pluralité d'appuis de commande successifs sur des boutons virtuels différents, et il convient donc aussi de distinguer un glissement de commande d'une succession d'appuis de commande.
  • On met donc en œuvre, en référence à la figure 4, un procédé de détection d'un glissement de commande.
  • Le procédé de détection démarre à l'étape E10 et débute par une première phase de détection Pl.
  • Le composant de traitement 12 tente de détecter une première occultation d'un premier microphone (étape E11). Tant que la première occultation n'est pas détectée, le procédé de détection reste à l'étape E11.
  • Lorsque le composant de traitement 12 a détecté la première occultation du premier microphone, le composant de traitement 12 démarre un premier timer (ou « chronomètre ») qui expire après une première durée prédéfinie (étape E12).
  • La première durée prédéfinie correspond à la durée maximale de la première occultation du premier microphone qui peut correspondre à un glissement de commande volontaire. La première durée prédéfinie est par exemple égale à ls ou 0,5s.
  • Le composant de traitement 12 détecte alors la fin de la première occultation, c'est-à-dire un relâchement de l'appui, et vérifie si la fin de la première occultation a eu lieu avant l'expiration du premier timer, c'est-à-dire si une première durée de la première occultation est inférieure à la première durée prédéfinie (étape E13).
  • Si ce n'est pas le cas, le procédé de détection repasse à l'étape E11.
  • Si le relâchement se produit avant l'expiration du premier timer, alors un geste de commande est bien détecté. Il n'est cependant pas encore possible de déterminer s'il s'agit d'un appui de commande ou d'un glissement de commande. Le procédé de détection comprend donc une seconde phase de détection P2 qui permet de catégoriser le geste de commande en un appui de commande ou en un glissement de commande.
  • Ainsi, suite à l'étape E13, le composant de traitement 12 tente de détecter une deuxième occultation d'un deuxième microphone distinct du premier microphone (étape E14). Simultanément, à la fin de la première occultation, le composant de traitement 12 démarre un deuxième timer qui expire après une deuxième durée prédéfinie (étape E15). La deuxième durée prédéfinie correspond à la durée maximale souhaitée pour que le doigt passe d'un microphone à un autre au cours du glissement. La deuxième durée prédéfinie est par exemple égale à 0,5s ou à 0,25s.
  • Avantageusement, on prévoit que la deuxième durée prédéfinie dépend de la distance entre les microphones 10 sur le boîtier 2 de l'enceinte connectée 1 : la deuxième durée prédéfinie est plus importante lorsque les microphones 10 sont plus espacés, et plus faible lorsque les microphones 10 sont moins espacés.
  • Si la deuxième occultation du deuxième microphone se produit après l'expiration de la deuxième durée prédéfinie (ou bien ne se produit pas), alors le composant de traitement 12 détecte que la première occultation et la deuxième occultation (ou bien la première occultation seulement) constituent deux appuis de commande distincts (ou un appui de commande seulement) - étape E16.
  • Par contre, si la deuxième occultation du deuxième microphone se produit avant l'expiration de la deuxième durée prédéfinie, c'est-à-dire si une deuxième durée entre la fin de la première occultation et le début de la deuxième occultation est inférieure à la deuxième durée prédéfinie, alors le composant de traitement 12 détecte un glissement de commande réalisé sur le boîtier 2 par l'utilisateur entre le premier microphone et le deuxième microphone (étape E17).
  • Le composant de traitement 12 poursuit éventuellement la détection si l'enceinte connectée 1 intègre plus de deux microphones 10. Dans ce cas, la détection de l'étape E11 sera directement validée, car la deuxième occultation du deuxième microphone a déjà été détectée à l'étape E14.
  • Si le composant de traitement 12 a détecté un ou des appuis de commande sur des boutons virtuels, alors le composant de traitement 12 met en œuvre des actions prédéterminées correspondant audit ou auxdits boutons virtuels (comme ci-dessus).
  • Si le composant de traitement 12 a détecté un glissement de commande, le composant de traitement 12 compare le glissement de commande avec au moins un glissement prédéfini d'une liste prédéfinie (stockée par exemple dans la mémoire reliée au composant de traitement 12), détermine un glissement prédéfini particulier auquel correspond le glissement de commande, et pilote l'enceinte connectée 1 pour que celle-ci réalise au moins une action prédéterminée associée au glissement prédéfini particulier.
  • Ici, chaque glissement prédéfini de la liste prédéfinie correspond à une succession d'occultations prédéfinie de microphones 10 disposés successivement. Ainsi, dans chaque glissement prédéfini, l'occultation d'un premier microphone est suivie par l'occultation d'un deuxième microphone adjacent au premier microphone.
  • Les glissements entre des microphones 10 qui ne sont pas disposés successivement ne sont donc pas admis, c'est-à-dire qu'ils ne correspondent pas à des glissements prédéfinis de la liste prédéfinie.
  • Lorsque les microphones 10 sont alignés, les glissements prédéfinis sont des glissements linéaires.
  • En référence à la figure 5, une enceinte connectée 1 selon un premier mode de réalisation comporte deux microphones 10a, 10b (et donc deux trous) formant deux boutons virtuels sur la face supérieure 5 du boîtier 2.
  • Sur les figures 5 à 9, on assimile chaque microphone 10 au trou 7 associé - mais bien sûr, en réalité, seul le trou 7 est apparent sur le boîtier 2, le microphone 10 étant positionné à l'intérieur du boîtier 2.
  • Pour détecter un glissement du doigt de l'utilisateur selon l'axe X, le composant de traitement 12 va détecter des occultations successives des microphones 10a puis 10b (glissement vers la droite), ou des microphones 10b puis 10a (glissement vers la gauche), le tout dans un intervalle de temps réduit (par exemple inférieur à 1 seconde).
  • La liste prédéfinie de glissements prédéfinis comprend ici un glissement dans un premier sens, de la gauche vers la droite, c'est-à-dire la succession d'occultations suivante :
    • 10a ; 10b,
    • et un glissement dans un deuxième sens, de la droite vers la gauche, c'est-à-dire la succession d'occultations suivante :
      10b ; 10a.
  • En référence à la figure 6, une enceinte connectée 1 selon un deuxième mode de réalisation comporte trois microphones 10a, 10b, 10c alignés selon l'axe X.
  • La liste prédéfinie de glissements prédéfinis comprend des glissements dans un premier sens, de la gauche vers la droite, formés par les successions d'occultations suivantes :
    • 10a ; 10b,
    • 10a ; 10b ; 10c,
    • 10b ; 10c,
    • et des glissements dans un deuxième sens, de la droite vers la gauche, formés par les successions d'occultations suivantes :
      • 10c ; 10b,
      • 10c ; 10b ; 10a,
      • 10b ; 10a.
  • L'action prédéterminée commandée par le glissement de commande peut être une action à réponse progressive, et notamment une action à réponse graduelle. Par « action à réponse progressive », on entend une action dont le niveau de réponse varie en fonction du glissement de commande (longueur, durée d'occultations de certains microphones, durée du glissement, etc.) et/ou du nombre de glissements de commande.
  • Un glissement prédéfini dans le premier sens peut être associé à une augmentation d'un niveau de réponse de l'action à réponse progressive, alors qu'un glissement prédéfini dans le deuxième sens peut être associé à une réduction du niveau de réponse de l'action à réponse progressive.
  • L'action à réponse progressive est par exemple le réglage du volume de restitution sonore de l'enceinte connectée 1.
  • Ainsi, un glissement de commande de la gauche vers la droite commande ici une augmentation du volume, alors qu'un glissement de commande de la droite vers la gauche commande ici une réduction du volume.
  • La liste de glissements prédéfinis peut comprendre plusieurs glissements prédéfinis dans un même sens mais de longueurs différentes. La longueur d'un glissement prédéfini est égale au nombre de microphones 10 occultés dans la succession d'occultations formant le glissement prédéfini.
  • Si l'action prédéterminée associée à un glissement prédéfini est une action à réponse progressive, le niveau de réponse de l'action à réponse progressive peut dépendre de la longueur dudit glissement prédéfini.
  • Par exemple, dans la configuration de la figure 6, on peut prévoir qu'un glissement de commande qui débuterait par une occultation du microphone 10a et s'achèverait par une occultation du microphone 10b commanderait une faible augmentation du volume, alors qu'un glissement de commande qui débuterait par une occultation du microphone 10a et s'achèverait par une occultation du microphone 10c commanderait une forte augmentation du volume.
  • Dans le cas d'une action à réponse progressive, il pourrait être pertinent de ne pas nécessairement proposer une réponse permettant de passer de 0% à 100%, mais de proposer à la place un ajustement partiel. Par exemple, on pourra définir qu'un glissement de commande augmente ou diminue le volume de 20% maximum.
  • On peut prévoir qu'une variation du niveau de réponse de l'action à réponse progressive est plus importante si le glissement prédéfini est suivi d'une occultation maintenue d'un microphone à la fin du glissement prédéfini. La variation du niveau de réponse peut aussi dépendre de la durée de l'occultation maintenue.
  • Ainsi, l'augmentation ou la réduction du volume pourrait être de 10% - voire même de 0% - dans le cas d'un simple glissement de commande, mais être égale à 20% par seconde pendant la durée d'une occultation maintenue à la fin du glissement de commande.
  • Bien sûr, l'augmentation du nombre de microphones 10 sur l'axe X permet d'avoir des « graduations » d'amplitude plus réduite et donc une réponse de l'action à réponse progressive plus fine et plus précise.
  • On note qu'il est très avantageux de positionner les microphones 10 sur la périphérie du boîtier 2 de l'enceinte connectée 1, afin de pouvoir effectuer lors de la capture des signaux sonores des traitements de type procédé de formation de voies dans plusieurs directions.
  • Les glissements de commande (et donc les glissements prédéfinis) sont alors des glissements circulaires.
  • Pour pouvoir détecter le sens du mouvement, il faut que l'enceinte connectée 1 comprenne au moins trois microphones 10 positionnés en périphérie. Si l'enceinte connectée 1 comprend trois microphones 10, ceux-ci sont disposés en triangle.
  • Un faible nombre de microphones 10 entraîne une granularité grossière dans la réponse aux gestes de l'utilisateur, et il est donc préférable, pour détecter des glissements circulaires, de munir l'enceinte connectée 1 d'un plus grand nombre de microphones 10 situés en périphérie, par exemple de six ou huit microphones 10.
  • L'enceinte connectée 1 pourra potentiellement comprendre à la fois des microphones 10 positionnés en périphérie, et un microphone central. Il est alors possible de détecter à la fois des glissements linéaires selon un axe, et des glissements circulaires sur la périphérie.
  • En référence à la figure 7, une enceinte connectée 1 selon un troisième mode de réalisation comporte six microphones 10a, 10b, 10c, 10d, 10e, 10f disposés de manière circulaire et formant une couronne de microphones en périphérie de la face supérieure 5 du boîtier 2 de l'enceinte connectée 1. Les glissements prédéfinis sont donc des glissements circulaires.
  • L'action prédéterminée particulière est à nouveau le réglage du volume de restitution sonore : un glissement dans le sens horaire commande une augmentation du volume, alors qu'un glissement dans le sens anti-horaire commande une réduction du volume.
  • Avec une telle configuration de microphones 10, il est possible de détecter des glissements de commande dans un premier sens, c'est-à-dire selon une rotation dans le sens horaire (tel que le glissement de commande 14), ou des glissements de commande dans un deuxième sens, c'est-à-dire selon une rotation dans le sens anti-horaire.
  • On peut prévoir qu'au moins un glissement prédéfini associé à une action prédéterminée particulière est défini de manière à débuter nécessairement par une occultation d'un microphone initial prédéfini et/ou de manière à s'achever nécessairement par une occultation d'un microphone final prédéfini.
  • Le microphone initial prédéfini est par exemple le microphone 10a et le microphone final prédéfini le microphone 10d pour le glissement de commande 14 selon le sens horaire dans la partie gauche de la couronne de microphones (augmentation du volume). Le microphone initial prédéfini est par exemple le microphone 10d et le microphone final prédéfini le microphone 10a pour le glissement de commande selon le sens horaire dans la partie droite de la couronne de microphones (augmentation du volume).
  • Inversement, le microphone initial prédéfini est par exemple le microphone 10d et le microphone final prédéfini le microphone 10a pour le glissement de commande selon le sens anti-horaire dans la partie gauche de la couronne de microphones (réduction du volume). Le microphone initial prédéfini est par exemple le microphone 10a et le microphone final prédéfini le microphone 10d pour le glissement de commande selon le sens anti-horaire dans la partie droite de la couronne de microphones (réduction du volume).
  • Les autres glissements de commande (par exemple du microphone 10c vers le microphone 10e) ne sont alors pas admissibles (tout au moins pour régler le volume).
  • En référence à la figure 8, une enceinte connectée 1 selon un quatrième mode de réalisation comporte à nouveau six microphones 10a, 10b, 10c, 10d, 10e, 10f disposés de manière circulaire. Cette fois, il n'y a pas de microphone dans l'axe central Y.
  • Le microphone initial prédéfini est par exemple le microphone 10a et le microphone final prédéfini le microphone 10c pour le glissement de commande 15 selon le sens horaire dans la partie gauche de la couronne de microphones. Le microphone initial prédéfini est par exemple le microphone 10d et le microphone final prédéfini le microphone 10f pour le glissement de commande selon le sens horaire dans la partie droite de la couronne de microphones.
  • La configuration de la figure 7 permet d'obtenir un nombre de pas de commande (quatre pas) plus important que la configuration de la figure 8 (trois pas) pour un demi-tour, et d'effectuer un réglage plus fin dans le cas où l'action prédéterminée associée au glissement de commande est une action à réponse progressive (comme pour le réglage du volume).
  • Le point de départ et le point d'arrivée des glissements de commande peuvent aussi être indifférents, l'important étant alors uniquement l'arc de la rotation effectuée par l'utilisateur.
  • La longueur maximale des glissements de commande peut être limitée, par exemple à un demi-tour.
  • Dans ce cas, en référence à nouveau à la figure 7, les glissements prédéfinis comprennent toutes les successions d'occultations appartenant aux listes suivantes :
    • dans le premier sens (horaire), pour la partie gauche de la couronne :
      [10a ; 10b ; 10c ; 10d] ;
    • dans le premier sens (horaire), pour la partie droite de la couronne :
      [10d ; 10e ; 10f ; 10a] ;
    • dans le deuxième sens (anti-horaire), pour la partie gauche de la couronne :
      [10d ; 10c ; 10b ; 10a] ;
    • dans le deuxième sens (anti-horaire), pour la partie droite de la couronne :
      [10a ; 10f ; 10e ; 10d].
  • La longueur des glissements de commande peut ne pas être limitée aux demi-tours, et dans ce cas, les glissements prédéfinis comprennent toutes les successions d'occultations appartenant aux listes suivantes :
    • dans le premier sens (horaire) :
      [10a ; 10b ; 10c ; 10d ; 10e ; 10f] ;
    • dans le deuxième sens (anti-horaire) :
      [10f ; 10e ; 10d ; 10c ; 10b ; 10a].
  • Afin de permettre de démarrer le glissement de commande circulaire depuis n'importe quel endroit de la couronne de microphones, on considèrera ces deux dernières listes comme des listes circulaires. Pour permettre la prise en compte de glissements de plus d'un tour, on acceptera également que ces deux dernières listes soient répétées (autant de fois que l'on accepte de tours lors d'un glissement de commande).
  • Comme les boutons virtuels ne sont pas visuels et ne sont pas des boutons poussoirs, l'utilisateur se trouve privé de la perception visuelle ou tactile de l'appui ou du glissement sur les boutons. Pour compenser cette absence, l'enceinte connectée 1 comprend un émetteur sensoriel agencé pour fournir à l'utilisateur un retour sensoriel, représentatif du glissement de commande et/ou d'un niveau de réponse de l'action prédéterminée qui est commandée suite à la détection du glissement de commande.
  • L'émetteur sensoriel est par exemple un émetteur sonore, qui comprend ici le haut-parleur 6 et les moyens d'émission de l'enceinte connecté 1. Le retour sensoriel est donc un retour sonore.
  • L'émetteur sonore peut par exemple émettre un signal sonore de retour lorsque le niveau de réponse de l'action prédéterminée franchit (en augmentant ou en diminuant) un palier prédéfini.
  • L'émetteur sonore émet ici un premier signal sonore de retour, par exemple un « tick », à chaque fois que le volume sonore franchit un palier de 20%.
  • L'émetteur sonore peut aussi émettre un signal sonore de retour lorsque le niveau de réponse de l'action prédéterminée atteint une butée maximale (ou minimale) associée au sens du glissement de commande, c'est-à-dire que le niveau de réponse atteint une valeur maximale (ou minimale) et n'augmente (ou ne diminue) plus, même si l'utilisateur effectue d'autres glissements de commande dans le même sens.
  • L'émetteur sonore produit ici un deuxième signal sonore de retour, différent du premier signal sonore de retour, lorsque la butée maximale (volume maximal) est atteinte et un troisième signal sonore de retour, différent des premier et deuxième signaux sonores de retour, lorsque la butée minimale (volume minimal) est atteinte.
  • L'intensité du ou des signaux sonores de retour pourra être constante (par exemple dans le cas de défilement de stations de radio), ou modulée en intensité (par exemple dans le cas du réglage du volume de restitution sonore).
  • L'émetteur sensoriel peut aussi être un émetteur lumineux qui comporte des indicateurs lumineux. Les indicateurs lumineux comprennent par exemple des diodes électroluminescentes (LEDs). L'émetteur lumineux comporte aussi des composants pour piloter les indicateurs lumineux (driver).
  • Le retour visuel pourra consister en l'allumage d'un ou de plusieurs indicateurs lumineux, dont l'intensité et/ou la couleur peuvent être variables. L'enceinte connectée 1 commande ces indicateurs lumineux en fonction du glissement de commande et/ou du niveau de réponse de l'action prédéterminée. L'enceinte connectée peut par exemple allumer les indicateurs lumineux, ou bien faire varier leur intensité ou leur couleur lors de passages de paliers du niveau de réponse de l'action prédéterminée commandée.
  • En référence à la figure 9, l'enceinte connectée 1 comporte une pluralité de sources lumineuses comprenant chacune une ou plusieurs LEDs. Chaque source lumineuse présente la forme d'un segment lumineux 20 formant un secteur angulaire d'une couronne de segments lumineux 20. La couronne de segments lumineux 20 est située à l'intérieur de la couronne de microphones 10.
  • Certains des segments lumineux 20 sont associés à des microphones 10 avec lesquels ils sont alignés radialement : le segment lumineux 20a est associé au microphone 10a, le segment lumineux 20b est associé au microphone 10b, le segment lumineux 20c est associé au microphone 10c, etc.
  • L'émetteur lumineux émet un signal lumineux de retour qui dépend en temps réel du parcours sur le boîtier 2 du doigt de l'utilisateur lors du glissement de commande.
  • Sur la figure 9, on voit que l'utilisateur a tout d'abord posé son doigt sur le microphone 10a, puis, en passant par le microphone 10b, l'a fait glisser jusqu'au microphone 10c.
  • Ici, les segments lumineux 20 devant lesquels le doigt de l'utilisateur est passé lors du glissement de commande restent allumés, alors que le segment lumineux 20c associé au microphone 10c, où se situe le doigt de l'utilisateur, clignote.
  • Bien sûr, d'autres configurations de retour visuel sont possibles. Par exemple, on peut prévoir de faire clignoter plusieurs segments lumineux 20, ou bien d'utiliser une couleur différente lorsque le niveau de réponse de l'action prédéterminée atteint une butée maximale ou une butée minimale.
  • L'émetteur sensoriel pourrait produire un signal sensoriel de retour différent de ceux décrits ici, par exemple un signal vibratoire. Ce signal vibratoire pourrait par exemple être produit au moyen d'un dispositif dédié (dispositif de type vibreur), ou être produit, hors du spectre audible (infrasons), au moyen d'un haut-parleur (6) de l'appareil.
  • Bien entendu, l'invention n'est pas limitée aux modes de réalisation décrits mais englobe toute variante entrant dans le champ de l'invention telle que définie par les revendications.
  • Les actions prédéterminées commandées par les glissements de commande pourraient différer de celles décrites ici.
  • Les actions prédéterminées pourraient par exemple consister à faire défiler des stations radio, à faire avancer ou reculer la lecture d'un contenu audio, etc.
  • L'invention peut être mise en œuvre dans tout équipement électronique comprenant des microphones et au moins un haut-parleur : assistant vocal, boîtier décodeur, tablette, smartphone, etc.

Claims (22)

  1. Equipement de restitution audio (1) comprenant :
    - un boîtier (2) sur lequel sont formés des trous (7), et des microphones (10) positionnés à l'intérieur du boîtier, chaque microphone étant en communication acoustique avec l'extérieur via l'un des trous ;
    - un haut-parleur (6) ;
    - des moyens d'émission agencés pour émettre via le haut-parleur un signal sonore de détection, le signal sonore de détection étant un signal sonore prédéterminé ;
    - au moins un composant de traitement (12) agencé pour :
    o acquérir des signaux audio de détection produits par les microphones (10) à partir d'une capture du signal sonore de détection ;
    o détecter à partir des signaux audio de détection une succession d'occultations d'au moins deux microphones distincts ;
    o analyser la succession d'occultations de manière à détecter un glissement de commande (14 ; 15) réalisé sur le boîtier par un utilisateur entre au moins deux microphones distincts ;
    o commander au moins une action prédéterminée suite à la détection dudit glissement de commande.
  2. Equipement de restitution audio selon la revendication 1, le composant de traitement (12) étant agencé pour :
    - détecter une première occultation d'un premier microphone ;
    - si une première durée de la première occultation est inférieure à une première durée prédéfinie, détecter une deuxième occultation d'un deuxième microphone distinct du premier microphone ;
    - si une deuxième durée entre une fin de la première occultation et un début de la deuxième occultation est inférieure à une deuxième durée prédéfinie, détecter le glissement de commande.
  3. Equipement de restitution audio selon l'une des revendications précédentes, le composant de traitement (12) étant agencé pour comparer le glissement de commande avec au moins un glissement prédéfini d'une liste prédéfinie, pour déterminer un glissement prédéfini particulier auquel correspond le glissement de commande, et pour commander au moins une action prédéterminée associée au glissement prédéfini particulier.
  4. Equipement de restitution audio selon la revendication 3, dans lequel chaque glissement prédéfini correspond à une succession d'occultations prédéfinie de microphones (10) disposés successivement.
  5. Equipement de restitution audio selon la revendication 4, dans lequel les microphones (10) sont alignés, les glissements prédéfinis étant des glissements linéaires.
  6. Equipement de restitution audio selon la revendication 4, dans lequel les microphones (10) sont disposés de manière circulaire, les glissements prédéfinis étant des glissements circulaires.
  7. Equipement de restitution audio selon l'une des revendications 3 à 6, dans lequel au moins un glissement prédéfini associé à une action prédéterminée particulière est défini de manière à débuter nécessairement par une occultation d'un microphone initial prédéfini et/ou de manière à s'achever nécessairement par une occultation d'un microphone final prédéfini.
  8. Equipement de restitution audio selon l'une des revendications 3 à 7, dans lequel la liste prédéfinie comprend plusieurs glissements prédéfinis dans un même sens mais de longueurs différentes.
  9. Equipement de restitution audio selon l'une des revendications 3 à 8, dans lequel l'action prédéterminée associée à l'un au moins des glissements prédéfinis est une action à réponse progressive.
  10. Equipement de restitution audio selon les revendications 8 et 9, dans lequel un niveau de réponse de l'action à réponse progressive dépend de la longueur dudit glissement prédéfini.
  11. Equipement de restitution audio selon l'une des revendications 9 ou 10, dans lequel les glissements prédéfinis comprennent des glissements prédéfinis dans un premier sens et des glissements prédéfinis dans un deuxième sens, un glissement prédéfini dans le premier sens étant associé à une augmentation d'un niveau de réponse de l'action à réponse progressive alors qu'un glissement prédéfini dans le deuxième sens est associé à une réduction du niveau de réponse de l'action à réponse progressive.
  12. Equipement de restitution audio selon l'une des revendications 9 à 11, dans lequel une variation d'un niveau de réponse de l'action à réponse progressive est plus importante si le glissement prédéfini est suivi d'une occultation maintenue d'un microphone à la fin du glissement prédéfini.
  13. Equipement de restitution audio selon l'une des revendications 9 à 12, dans lequel l'action à réponse progressive est un réglage d'un volume de restitution sonore de l'équipement de restitution audio (1).
  14. Equipement de restitution audio selon l'une des revendications précédentes, comprenant un émetteur sensoriel agencé pour fournir à l'utilisateur un retour sensoriel représentatif du glissement de commande et/ou d'un niveau de réponse de l'action prédéterminée.
  15. Equipement de restitution audio selon la revendication 14, dans lequel l'émetteur sensoriel est agencé pour émettre un signal sensoriel de retour lorsque le niveau de réponse de l'action prédéterminée franchit un palier prédéfini ou atteint une butée maximale ou minimale.
  16. Equipement de restitution audio selon la revendication 14, dans lequel l'émetteur sensoriel est agencé pour émettre un signal sensoriel de retour qui dépend d'un parcours sur le boîtier (2) d'un doigt de l'utilisateur lors du glissement de commande.
  17. Equipement de restitution audio selon l'une des revendications 14 à 16, l'émetteur sensoriel étant un émetteur lumineux (20).
  18. Equipement de restitution audio selon l'une des revendications 14 à 16, l'émetteur sensoriel étant un émetteur sonore (6).
  19. Equipement de restitution audio selon l'une des revendications précédentes, l'équipement de restitution audio étant une enceinte connectée (1).
  20. Procédé de commande d'un équipement de restitution audio selon l'une des revendications précédentes, comprenant les étapes de :
    - émettre via le haut-parleur (6) le signal sonore de détection ;
    - acquérir les signaux audio de détection produits par les microphones (10) ;
    - détecter à partir des signaux audio de détection la succession d'occultations d'au moins deux microphones (10) distincts ;
    - analyser la succession d'occultations de manière à détecter le glissement de commande réalisé sur le boîtier (2) par l'utilisateur entre les au moins deux microphones (10) distincts ;
    - commander l'action prédéterminée suite à la détection du glissement de commande.
  21. Programme d'ordinateur comprenant des instructions qui conduisent le composant de traitement (12) de l'équipement de restitution audio (1) selon l'une des revendications 1 à 19 à exécuter les étapes du procédé de commande selon la revendication 20.
  22. Support d'enregistrement lisible par ordinateur, sur lequel est enregistré le programme d'ordinateur selon la revendication 21.
EP22170136.0A 2021-04-30 2022-04-26 Commande par glissement sur des boutons virtuels Active EP4086751B1 (fr)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR2104552A FR3122510A1 (fr) 2021-04-30 2021-04-30 Commande par glissement sur des boutons virtuels

Publications (2)

Publication Number Publication Date
EP4086751A1 true EP4086751A1 (fr) 2022-11-09
EP4086751B1 EP4086751B1 (fr) 2024-01-31

Family

ID=76284003

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22170136.0A Active EP4086751B1 (fr) 2021-04-30 2022-04-26 Commande par glissement sur des boutons virtuels

Country Status (3)

Country Link
US (1) US12317041B2 (fr)
EP (1) EP4086751B1 (fr)
FR (1) FR3122510A1 (fr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12443317B2 (en) * 2022-12-07 2025-10-14 Google Llc Assistant control via detecting tactile modulation of ultrasonic signal
CN119905094B (zh) * 2024-12-24 2025-11-04 海信视像科技股份有限公司 电视设备及会话处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2393305A2 (fr) * 2010-06-01 2011-12-07 Sony Corporation Appareil de traitement de signal sonore, appareil de microphone, procédé de traitement de signal sonore et programme
EP3149966A1 (fr) * 2014-05-30 2017-04-05 Sonova AG Procédé de commande de dispositif auditif par gestes tactiles, dispositif auditif pouvant être commandé par gestes tactiles et procédé d'ajustement de ce dispositif
US10147441B1 (en) * 2013-12-19 2018-12-04 Amazon Technologies, Inc. Voice controlled system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140014548A (ko) * 2012-07-24 2014-02-06 삼성전자주식회사 전자 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
US9569006B2 (en) * 2014-04-10 2017-02-14 Mediatek Inc. Ultrasound-based methods for touchless gesture recognition, and apparatuses using the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2393305A2 (fr) * 2010-06-01 2011-12-07 Sony Corporation Appareil de traitement de signal sonore, appareil de microphone, procédé de traitement de signal sonore et programme
US10147441B1 (en) * 2013-12-19 2018-12-04 Amazon Technologies, Inc. Voice controlled system
EP3149966A1 (fr) * 2014-05-30 2017-04-05 Sonova AG Procédé de commande de dispositif auditif par gestes tactiles, dispositif auditif pouvant être commandé par gestes tactiles et procédé d'ajustement de ce dispositif

Also Published As

Publication number Publication date
FR3122510A1 (fr) 2022-11-04
US20220353611A1 (en) 2022-11-03
US12317041B2 (en) 2025-05-27
EP4086751B1 (fr) 2024-01-31

Similar Documents

Publication Publication Date Title
EP4086751B1 (fr) Commande par glissement sur des boutons virtuels
EP2530673B1 (fr) Equipement audio comprenant des moyens de débruitage d'un signal de parole par filtrage à délai fractionnaire
JP6129343B2 (ja) 録音装置、及び録音装置の制御方法
EP2615850A1 (fr) Dispositif d'enregistrement audio
KR101520799B1 (ko) 개인의 청력 특성에 최적화된 음원의 출력을 가능하게 하는 이어폰 장치
EP3852390B1 (fr) Bouton virtuel utilisant un signal sonore
CA3123970A1 (fr) Mesure temporelle a haute precision d'evenements vibro-acoustiques en synchronisation avec un signal sonore sur dispositif a ecran tactile
EP3563372A1 (fr) Alerte d'utilisateurs concernant des événements
CN105430563B (zh) 多频带闪避器
EP3149968B1 (fr) Procédé d'aide au suivi d'une conversation pour personne malentendante
FR3034887B1 (fr) Dispositif et procede de commande gestuelle en temps reel de signal audio
GB2526980A (en) Sensor input recognition
FR2635680A1 (fr) Prothese auditive
EP3591635B1 (fr) Amélioration de la commande de réglage d'un ou plusieurs dispositifs
US12542147B2 (en) Mapping sound sources in a user interface
CN113891212A (zh) 耳机、耳机运行控制方法及计算机可读存储介质
US20250048041A1 (en) Processing audio signals from unknown entities
EP2206236A1 (fr) Baladeur audio ou audio-video comprenant des moyens de capture d'un signal audio externe
FR2921747A1 (fr) Procede de traitement d'un signal audio dans un dispositif portable
FR3095070A1 (fr) Système d’émission d’un effet sonore
FR3097362A1 (fr) Système vibratoire sensoriel
EP2907021A1 (fr) Procédé et module de commande d'équipements par impulsion sonore
FR2921746A1 (fr) Baladeur audio ou audio-video comprenant des moyens de capture d'un signal audio externe
WO2014053731A1 (fr) Dispositif de commande d'un systeme informatique et/ou electronique

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17P Request for examination filed

Effective date: 20220426

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

17Q First examination report despatched

Effective date: 20221019

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20230831

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SAGEMCOM BROADBAND SAS

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602022001743

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20240131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240531

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240501

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 1654319

Country of ref document: AT

Kind code of ref document: T

Effective date: 20240131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240430

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240430

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240430

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240531

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240501

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240531

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240531

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602022001743

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240426

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20240430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240426

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

26N No opposition filed

Effective date: 20241101

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240426

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240131

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20250319

Year of fee payment: 4

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20220426

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20220426

REG Reference to a national code

Ref country code: CH

Ref legal event code: H13

Free format text: ST27 STATUS EVENT CODE: U-0-0-H10-H13 (AS PROVIDED BY THE NATIONAL OFFICE)

Effective date: 20251125

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20250430

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20260319

Year of fee payment: 5

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20260320

Year of fee payment: 5