EP3721319A1 - Procédé d'interaction avec un sous-titre affiché sur un écran de télévision, dispositif, produit-programme d'ordinateur et support d'enregistrement pour la mise en oeuvre d'un tel procédé - Google Patents

Procédé d'interaction avec un sous-titre affiché sur un écran de télévision, dispositif, produit-programme d'ordinateur et support d'enregistrement pour la mise en oeuvre d'un tel procédé

Info

Publication number
EP3721319A1
EP3721319A1 EP18807360.5A EP18807360A EP3721319A1 EP 3721319 A1 EP3721319 A1 EP 3721319A1 EP 18807360 A EP18807360 A EP 18807360A EP 3721319 A1 EP3721319 A1 EP 3721319A1
Authority
EP
European Patent Office
Prior art keywords
computer
dec
user
film
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP18807360.5A
Other languages
German (de)
English (en)
Inventor
Gilles Bardoux
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sagemcom Broadband SAS
Original Assignee
Sagemcom Broadband SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sagemcom Broadband SAS filed Critical Sagemcom Broadband SAS
Publication of EP3721319A1 publication Critical patent/EP3721319A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4856—End-user interface for client configuration for language selection, e.g. for the menu or subtitles
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Definitions

  • the technical field of the invention is that of the interaction with a subtitle displayed on a digital television screen.
  • the present invention relates to a method of interacting with a subtitle displayed in a display area of a digital television screen.
  • the present invention also relates to a device, a computer program product and a recording medium for implementing such a method.
  • a conventional solution is to provide a static and continuous display of subtitles in two languages, typically the mother tongue and the foreign language being learned, which allows the user to have the translation of all the words from the foreign language into his native language.
  • this helps to overload the image on the screen while delivering translations that are not always necessary for the understanding of the user.
  • subtitle display parameters such as size, color or type of font. This definition typically occurs once before the beginning or the beginning of the broadcast of the closed captioned video.
  • the invention offers a solution to the problems mentioned above, by allowing a user to interact with a subtitle of a video so as to perform targeted and personalized actions that meet precisely the needs of the user without systematically reducing the quality viewing.
  • One aspect of the invention relates to a method of interaction with a subtitle displayed in a display area of a digital television screen, the display area having a first dimension X and a second dimension Y distinct from the first dimension X, the method comprising:
  • a calculator displays a first coordinate point (xi, yi) in the display area;
  • a camera makes a first calibration film of an environment and transmits the first calibration film to the computer;
  • the computer records the first calibration film, detects a first position of a user's finger in the first calibration film and associates the first detected position with the first point;
  • the computer displays a second coordinate point (X2; y2) in the display area, the coordinates (X2; y2) being such that X2 is different from xi and y2 is different from yi;
  • the camera makes a second environmental calibration film and transmits the second calibration film to the computer;
  • the computer records the second calibration film, detects a second position of a user's finger in the second calibration film, the second position being different from the first position, and associates the second detected position with the second point;
  • the calculator calculates a correspondence between the display area of the screen and an interaction zone of the user
  • the camera makes a film of the environment and transmits the film in real time to the computer; the computer records the film and detects a presence of a user's finger in the film; and or
  • a microphone picks up a sound environment in the form of a signal and transmits the signal to the computer; the computer records the signal and detects a keyword in the signal.
  • the computer determines the set of positions in which a user's finger can be when he points to any point of the display area, thus defining an interaction zone of the user. user. Through the definition of its interaction zone, the user interacts with a subtitle of the video that he watches by a few finger movements coupled or not to a voice command.
  • the computer can be integrated in a digital television decoder, the method can be implemented by means of a cheap device since each home is usually equipped with a decoder, a camera and a microphone , which are also low cost equipment.
  • the method according to one aspect of the invention may have one or more additional characteristics among the following, considered individually or in any technically possible combination.
  • the display area is a quadrilateral and the first point and the second point are two corners of the display area located diagonally.
  • two corners of the display area are points easy to point for a user and the fact that they are diagonal can directly calculate the length and height of the interaction area of the user.
  • the computer displays a third point distinct from the first and second points; the camera makes a third environmental calibration film and transmits the third calibration film to the computer; the computer records the third calibration film, detects a third position of a user's finger in the third calibration film, the third position being different from the first and second positions, and associates the third detected position with the third point.
  • the reading of the position of a third point makes it possible to improve the calibration if the user is not facing the television screen but at an angle: the plane of the interaction zone of the user n 'is not parallel to the plane of the subtitle display area.
  • the third point is the center of the display area.
  • the reading of the position of the center of the display area facilitates the management of the perspective.
  • the position of the finger of the user does not vary in absolute value by more than a certain threshold during a certain time interval.
  • the interactive display step includes pausing the video followed by a resumption of the video or a selection of one or more words of a subtitle displayed on the screen.
  • the video is paused and the user has time to perform an action including selecting one or more words without losing the thread of his viewing.
  • the pause of the video is performed by a gesture control according to which the computer detects a presence of a finger of the user in the film.
  • the pausing takes place when the position of the user's finger is raised in the subtitle area of the television for a certain period of time.
  • the video is paused by a voice command in which the microphone picks up the sound environment in the form of a signal and transmits the signal to the computer, the computer records the signal and detects a key word. on break.
  • the selection step is performed by a gesture control according to which the computer detects in the film a first extended station of a user's finger in a first position of the display area.
  • the selection of a word is simple and fast.
  • the computer detects in the film the first extended station followed by a movement and then a second prolonged station of a finger of the user in a second position of the display area, the first and second positions being distinct or confounded.
  • the selection of several words is simple and fast and the user does not need to point the words one by one.
  • the selection step is performed by the gesture control only or by a combination of the gesture control and a voice command according to which the microphone captures the sound environment in the form of a signal and transmits the signal to the computer and the computer records the signal and detects a selection key word.
  • the user can, for example, ask to restart his selection without have to point the option.
  • the interactive display step includes a validation of the selection made by a gesture control according to which the computer detects in the film a prolonged station of a finger of the user in a validation zone.
  • the interactive display step includes a validation of the selection made by a voice command in which the microphone captures the sound environment in the form of a signal and transmits the signal to the computer and the computer records the signal and detects a signal. keyword of validation.
  • the user has only to pronounce a key word allowing him to validate the selection and does not have to point the validation zone.
  • the interactive display step includes the choice of an action to be performed with the selection made by a gesture control according to which the computer detects in the film a prolonged station of a finger of the user in a zone of action.
  • the interactive display step comprises the choice of an action to be performed with the selection made by a gesture control according to which the computer detects in the film a particular gesture corresponding to an action to be performed.
  • the interactive display step comprises the choice of an action to be performed with the selection made by a voice command in which the microphone captures the sound environment in the form of a signal and transmits the signal. signal to the computer and the computer records the signal and detects an action keyword to achieve.
  • the user only has to pronounce a key word allowing him to choose the action to be performed and does not have to point the action zone.
  • the action to be performed with the word (s) previously selected (s) is preconfigured by the user.
  • the score is improved by adding a visual aid on the screen.
  • the interactive display step includes the return to the selection screen by a gesture command in which the computer detects a prolonged station of a finger of the user in a return zone.
  • the interactive display step includes the return to the selection screen by a gesture control according to which the computer detects in the film a particular gesture corresponding to the return to the selection screen.
  • the interactive display step comprises returning to the selection screen by a voice command in which the microphone captures the sound environment in the form of a signal and transmits the signal to the computer and the computer stores the signal and detects a return keyword.
  • the user has only to pronounce a key word allowing him to return to the selection screen and does not have to point the return area.
  • the interactive display step includes the resumption of the video by a gesture control according to which the computer detects in the film a prolonged station of a finger of the user in a recovery zone.
  • the interactive display step includes the resumption of the video by a gesture control according to which the computer detects in the movie a particular gesture corresponding to the resumption of the video.
  • the interactive display step includes the resumption of the video by a voice command in which the microphone captures the sound environment in the form of a signal and transmits the signal to the computer and the computer records the signal and detects a word re-run.
  • a second aspect of the invention relates to an interaction device with a subtitle displayed in a display area of a digital television screen, characterized in that it comprises a computer and a camera, the camera comprising means for making films and transmitting them to the calculator, the calculator comprising:
  • the camera is integrated in the computer.
  • the device for implementing the method is more compact.
  • the camera is connected to the computer.
  • a third aspect of the invention relates to a computer program product comprising instructions which, when the program is executed by a computer, lead it to implement the method according to a first aspect of the invention.
  • a fourth aspect of the invention relates to a computer readable recording medium comprising instructions which, when executed by a computer, lead the computer to implement the method according to a first aspect of the invention.
  • FIG. 1 shows a flow diagram schematically showing the method according to a first aspect of the invention.
  • FIG. 2 shows a schematic representation of the calibration step of the method according to a first aspect of the invention.
  • FIGS. 3A and 3B show a schematic representation of the step of selecting the method according to a first aspect of the invention.
  • a first aspect of the invention relates to a method 100 of interaction with a subtitle displayed in a display area ZA of a digital television screen.
  • the subtitle word must be understood as all the text superimposed on an image extracted from a video at a given moment: it may therefore consist of one or more words.
  • the method 100 comprises several steps, the sequence of which is shown in FIG. These steps are implemented by a computer Dec coupled to a camera Cam and possibly to a microphone.
  • the word computer Dec refers to a device having a memory, image processing functions for tracking one or more fingers of one or more users in the films from the camera and signal processing functions for detecting key words in a sound recording.
  • the computer is integrated within a digital television decoder capable of decoding encrypted television signals.
  • the first step is the calibration step 101 shown in FIG. 2. This step makes it possible to match the display zone ZA with an interaction zone of the user Zu.
  • the interaction zone of the user Zu comprises all the positions in which a user's finger may be when he points to any point of the display zone ZA.
  • This calibration step 101 can be performed by several users at the same time or one after the other.
  • each user has his own Zu interaction zone, taking into account his positioning with respect to the digital television screen.
  • the computer Dec displays a first point C1 on the display area ZA.
  • point is meant a point in the mathematical sense of the term or the center of an area that may have, for example, a circular, square or cross shape.
  • the camera Cam is then started by the computer or by the user, records a first calibration film and transmits it to the computer.
  • a film is understood to mean an image or a plurality of images.
  • the computer Dec detects a finger of a user in the first calibration film, records a first position PC1 of this finger and associates it with the position of the first point C1.
  • the camera Cam then records a second calibration film and transmits it to the computer, which detects a user's finger in the second calibration film, records a second position PC2 of that finger and associates it with the position of the second point C2.
  • the first and second calibration films may be two separate films, the camera interrupting after the calibration of the first point C1 and taking again for the calibration of the second point C2, or two subparts of a single film, the camera filming continuously during the entire calibration step.
  • the calibration step 101 can be performed with a greater number of points, for example three points.
  • the display zone ZA is preferably a quadrilateral and more preferably a rectangle. It has a first dimension X and a second dimension Y which define a 2D XY mark.
  • the three points may for example be the upper left corner, the lower right corner and the center of the display area ZA, the reading of the position of the center of the display area ZA facilitating the management of the perspective.
  • Two points are enough if their two coordinates in the XY coordinate system are different. However, calibration is best when using at least three points. Indeed, the first two points are used to calculate the height H user according to the dimension X and the length L user according to the dimension Y of the interaction zone of the user Zu. This zone is shown in dotted lines, in the foreground in FIGS. 3A and 3B. However, if the user is not facing the television, the Zu user interaction area plane may not be parallel to the ZA display area plane: the position of a third point then makes it possible to evaluate an angle between the plane of the interaction zone of the user Zu and the plane of the display zone ZA. In general, the greater the number of points to be pointed, the more robust the calibration.
  • a follow-up is set up to detect a presence of a finger of the user and to raise its position.
  • This tracking can be performed using, for example a Kalman filter or a recursive Gauss-Newton filter.
  • the computer raises the position of a point when the position of the user's finger pointed at the point whose position is to be read has not varied by more than a certain threshold D in absolute value during an interval of time T.
  • the finger points to the definitive position (X 0 , Y 0 ) if the following condition is satisfied: vt t - 1 0 ⁇ T: d ((X (t), Y (t )), (X ", Y")) ⁇ D
  • t 0 is the moment when the position followed by the finger is the one chosen as the one pointing to the point whose position is to be read
  • the position (X 0 , Y 0 ) is then recorded and the position of the next point is read.
  • the threshold D may, for example be 5 cm.
  • the time interval T may for example be in the range [1 s; 2 s].
  • each point of the display area ZA is in correspondence with a point of the interaction zone of the user Zu.
  • the interactive display step begins.
  • the finger tracking preferably starts at the same time as the video but could also start before. Indeed, the tracking is carried out continuously during the video using, for example, a Kalman filter or a recursive Gauss-Newton filter on the film taken by the camera Cam.
  • the camera Cam has already been started by the computer or by the user at the beginning of the calibration step and has been filming since then, but it may also have been switched off at the end of the calibration step and be turned on again. at the beginning of the interactive display step. In all cases, the camera starts taking a movie at the beginning of the interactive display step.
  • the film during the interactive display step may be separate from the calibration film or films, the camera stopping after the calibration step and resuming in the interactive display step, or the film of the interactive display step and the calibration film or films can be several sub-parts of a single film, the camera filming continuously.
  • the video continues normally as long as there is no pause 103.
  • the interactive display step can be performed by several users by setting up a tracking for each user.
  • the computer Dec to pause, the computer Dec must detect the presence of a finger of the user in the display area ZA.
  • the computer pauses the video when the position of the finger of the user has not varied by more than a certain threshold D2 in absolute value during a time interval T2.
  • the threshold D2 may be the same or different from the threshold D.
  • the threshold D2 may, for example be 10 cm.
  • This time interval T2 may be the same or different from the time interval T.
  • the time interval T2 may for example be in the range [0.5 s; 1.5 s].
  • a microphone captures the sound environment in the form of a signal and transmits it to the computer Dec. If a key word is spoken, the detector pauses the video 103. This key word can be, for example, example "pause”.
  • the detection of keywords can for example be performed by a dynamic programming algorithm based on the normalization of time or a WUW algorithm (for "Wake-Up-Word").
  • a finger of the user marks a single stop in the display area ZA.
  • the position pointed at the screen is estimated using the position of the finger filmed by the camera Cam and data obtained during the calibration step 101.
  • the height H user and the length L user of the interaction zone of the user Zu make it possible to calculate a coefficient of horizontal sensitivity a and a coefficient of vertical sensitivity b with the following formulas:
  • L TV is the length of the display area ZA and H TV is the height of the display area ZA.
  • the display area ZA is always the same, for example the bottom quarter of the television.
  • the position of each point of the display area ZA pointed during the calibration step 101 is associated with the position of the pointing finger.
  • the position of the point C1 (x 1 , y 1 ) of the display area ZA pointed during the calibration step 101 is associated with the position PC1 (X 1 , Y 1 ) of the finger pointing towards this point. If we estimate the position of the finger filmed by the camera Cam at (Xi + dx, YL + dy), the position pointed on the screen will be (X- L + a * dx ⁇ + b * dy).
  • Each word corresponding virtually to a rectangle on the screen the rectangle corresponding to the position (X- L + a * dx, + b * dy) is selected. This case is illustrated in Figure 3A.
  • the user moves his finger in the interaction zone Zu shown in dashed lines, height H user and length L user .
  • a correspondence is established between the position of the user's finger and a position on the screen close to the word "hello" which is thus selected.
  • the computer raises the position (Xi + dx, + dy) when the position of the user's finger has not varied by more than a certain threshold in absolute value during a certain time interval.
  • This threshold may be the same or different from the threshold D and / or the threshold D2.
  • This time interval may be the same or different from the time interval T and / or the time interval T2.
  • the user can select several words if, for example, the calculator is set to select one or more adjacent words of the pointed word or if the gesture command is used in combination with a command voice, for example, the user says "two" to select the word pointed and the two following.
  • the user's finger makes a movement after the first extended station and marks a second stop once the movement is completed. If the position of the first extended station is different from that of the second extended station, the calculator preferentially interprets the fact that the finger points to the place of the beginning of the selection and the place of the end of the selection. This case is illustrated in FIGS. 3A and 3B. The user moves his finger in the interaction zone Zu.
  • the finger marks a first stop at the PS1 position which points a first word "hello".
  • the first word "hello” is then selected which is materialized by a frame of the word.
  • the finger then performs a linear movement before marking a second stop at the PS2 position which points a second word "sir" in Figure 3B.
  • the second word is then added to the selection which is materialized by an extension of the previous frame to encompass the two words.
  • the first and second words may follow or be separated by one or more other words.
  • the calculator is able to draw a frame or outline area by selecting all the words between the first and second words even if the first and second words are not on the same subtitle line.
  • the computer preferentially interprets the case where the user's finger has surrounded the selection.
  • key words pronounced by a user and recorded by a microphone may allow for example to start, start again or finish the drawing of the contour area of the word or words to be selected.
  • a key word can be for example "to start again”.
  • the selection step is performed at least partially by a gestural control, which provides a better comfort for the user by avoiding a tedious and / or difficult step, for example say a word which he is not sure. pronunciation with the risk that his command is not understood by the calculator, or count the position of the first word he wants to select and then count the position of the last word he wants to select or count the number of words in the selection.
  • the duration of the selection step is significantly reduced and contributes to the user keeps the wire of his viewing.
  • the gesture controls are more robust than the voice commands: to detect a key word, it is necessary that the background is low enough and preferably that no one other than the user speaks at the risk of triggering involuntary commands .
  • the voice command is poorly adapted to a multi-user mode.
  • the introduction of a gesture control makes it possible to give a starting point to the selection, making it more precise and faster even combined with a voice command, which makes it possible not to degrade the viewing.
  • a visual aid can be added superimposed on the screen to indicate to the user what is the current position estimated for the pointing of his finger.
  • This visual aid may for example be a color point, for example red or green. Each user may have a different color pointer.
  • This visual aid can be set up from the start of the video 102 or only while the video is paused 103.
  • the validation is performed by gesture control.
  • the user points a validation area being a part of the display area ZA where is indicated for example the word "validation”.
  • the validation is performed by a voice command.
  • the user pronounces the keyword "validation”.
  • a list of action options is displayed on the screen, each option having an action zone being a part of the zone.
  • ZA display A finger of the user marks a stop on the action zone corresponding to the action he wishes to perform with the previously validated selection.
  • each action is associated with a particular gesture, for example raising the thumb corresponds to a translation of the selection. It is therefore necessary to perform the gesture associated with the action to choose to perform this action.
  • a key word of action is pronounced. For example, the user pronounces the keyword "translation”.
  • an action has been previously preconfigured and this action will therefore be performed automatically for each selection.
  • a message confirming the execution of the action may appear on the screen.
  • a selection is returned to the selection screen or a video resumption.
  • a finger of the user marks a stop on a return zone being a part of the display zone ZA where is indicated for example the word "return";
  • the return is made by a voice command.
  • the user pronounces the keyword "return”.
  • a finger of the user marks a stop on a recovery zone being a part of the display zone ZA where is indicated for example the word "recovery";
  • the recovery is performed by a voice command.
  • the user pronounces the keyword "recovery”.
  • the video then goes back to where it left off.
  • the Dec computer is linked to a TV via a wired or wireless link which allows it to display instructions on a digital television screen.
  • the computer Dec is linked to the camera Cam by a wired or non-wired link.
  • the camera Cam is integrated in the computer Dec.
  • Cam camera can for example be a webcam.
  • the Cam camera films the environment and transmits images to the Dec computer, which is able to receive the movies and record them.
  • the computer Dec can also be linked to a microphone by a wired or wireless link.
  • the microphone captures its sound environment in the form of signals and transmits them to the calculator Dec in digital form.
  • the calculator Dec is able to receive the signal and to record it.
  • the computer has image processing functions for tracking one or more fingers of one or more users as well as signal processing functions for detecting key words in a sound recording.
  • the third aspect of the invention relates to a computer program product for implementing the method 100 according to a first aspect of the invention.
  • the computer program product allows the display of instructions on the television screen for carrying out the steps. For example, it displays on the screen the points to be pointed during the calibration step 101. It also tracks the fingers of the users and the detection of keywords.
  • the fourth aspect of the invention relates to a recording medium on which is recorded the computer program product according to a third aspect. of the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Un aspect de l'invention concerne un procédé d'interaction avec un sous-titre affiché dans une zone d'affichage d'un écran de télévision numérique, le procédé comportant : - une étape de calibrage selon laquelle : • un calculateur affiche un premier point dans la zone d'affichage; une caméra fait un premier film d'un environnement; le calculateur détecte une première position d'un doigt d'un utilisateur dans le premier film et associe la première position détectée au premier point; • le calculateur affiche un deuxième point dans la zone d'affichage; la caméra fait un deuxième film de l'environnement; le calculateur détecte une deuxième position d'un doigt de l'utilisateur dans le deuxième film, la deuxième position étant différente de la première position, et associe la deuxième position détectée au deuxième point; • le calculateur calcule une correspondance entre la zone d'affichage de l'écran et une zone d'interaction de l'utilisateur; - une étape d'affichage interactif d'une vidéo sous-titrée sur l'écran de télévision numérique selon laquelle la vidéo sous-titrée est affichée sur l'écran de télévision numérique et : • la caméra fait un troisième film de l'environnement; le calculateur détecte une présence d'un doigt de l'utilisateur dans le troisième film; et/ou • un microphone capte un environnement sonore sous forme d'un signal et transmet le signal au calculateur; le calculateur enregistre le signal et détecte un mot-clef dans le signal.

Description

PROCEDE D’INTERACTION AVEC UN SOUS-TITRE AFFICHE SUR UN ECRAN DE TELEVISION, DISPOSITIF, PRODUIT-PROGRAMME
D’ORDINATEUR ET SUPPORT D’ENREGISTREMENT POUR LA MISE EN
ŒUVRE D’UN TEL PROCEDE
DOMAINE TECHNIQUE DE L’INVENTION
Le domaine technique de l’invention est celui de l’interaction avec un sous-titre affiché sur un écran de télévision numérique.
La présente invention concerne en particulier un procédé d’interaction avec un sous-titre affiché dans une zone d’affichage d’un écran de télévision numérique. La présente invention concerne également un dispositif, un produit-programme d’ordinateur et un support d’enregistrement pour la mise en oeuvre d’un tel procédé.
ARRIERE-PLAN TECHNOLOGIQUE DE L’INVENTION
Dans le domaine de l’apprentissage des langues, une solution classique est de proposer un affichage statique et continuel des sous-titres dans deux langues, typiquement la langue maternelle et la langue étrangère en cours d’apprentissage, ce qui permet à l’utilisateur d’avoir la traduction de tous les mots de la langue étrangère vers sa langue natale. Cependant, cela contribue à surcharger l’image à l’écran tout en délivrant des traductions qui ne sont pas toujours nécessaires à la compréhension de l’utilisateur.
Par ailleurs et de manière générale, les solutions existantes permettent uniquement à l’utilisateur de définir des paramètres d’affichage des sous-titres comme la taille, la couleur ou le type de police. Cette définition a typiquement lieu une seule fois avant le début ou au début de la diffusion de la vidéo sous-titrée.
Il existe un besoin pour l’utilisateur d’interagir avec des sous-titres au cours de la diffusion de la vidéo sous-titrée afin d’obtenir des informations supplémentaires ou de réaliser des actions de manière ciblée et personnalisée qui ne dégrade pas systématiquement le visionnage. RESUME DE L’INVENTION
L’invention offre une solution aux problèmes évoqués précédemment, en permettant à un utilisateur d’interagir avec un sous-titre d’une vidéo de manière à réaliser des actions ciblées et personnalisées répondant précisément aux besoins de l’utilisateur sans diminuer systématiquement la qualité du visionnage.
Un aspect de l’invention concerne un procédé d’interaction avec un sous-titre affiché dans une zone d’affichage d’un écran de télévision numérique, la zone d’affichage possédant une première dimension X et une deuxième dimension Y distincte de la première dimension X, le procédé comportant :
- une étape de calibrage selon laquelle :
• un calculateur affiche un premier point de cordonnées (xi ; yi) dans la zone d’affichage ; une caméra fait un premier film de calibrage d’un environnement et transmet le premier film de calibrage au calculateur ; le calculateur enregistre le premier film de calibrage, détecte une première position d’un doigt d’un utilisateur dans le premier film de calibrage et associe la première position détectée au premier point ;
• le calculateur affiche un deuxième point de cordonnées (X2 ; y2) dans la zone d’affichage, les coordonnées (X2 ; y2) étant telles que X2 est différent de xi et y2 est différent de yi ; la caméra fait un deuxième film de calibrage de l’environnement et transmet le deuxième film de calibrage au calculateur ; le calculateur enregistre le deuxième film de calibrage, détecte une deuxième position d’un doigt de l’utilisateur dans le deuxième film de calibrage, la deuxième position étant différente de la première position, et associe la deuxième position détectée au deuxième point ;
• le calculateur calcule une correspondance entre la zone d’affichage de l’écran et une zone d’interaction de l’utilisateur ;
- une étape d’affichage interactif d’une vidéo sous-titrée sur l’écran de télévision numérique selon laquelle la vidéo sous-titrée est affichée sur l’écran de télévision numérique et :
• la caméra fait un film de l’environnement et transmet en temps réel le film au calculateur ; le calculateur enregistre le film et détecte une présence d’un doigt de l’utilisateur dans le film ; et/ou
• un microphone capte un environnement sonore sous forme d’un signal et transmet le signal au calculateur ; le calculateur enregistre le signal et détecte un mot-clef dans le signal.
Grâce à l’invention, le calculateur détermine l’ensemble des positions dans lesquelles peut se trouver le doigt d’un utilisateur quand il pointe n’importe quel point de la zone d’affichage, définissant ainsi une zone d’interaction de l’utilisateur. Grâce à la définition de sa zone d’interaction, l’utilisateur interagit avec un sous- titre de la vidéo qu’il regarde par quelques mouvements de doigt couplés ou non à une commande vocale. De plus, le calculateur pouvant être intégré dans un décodeur de télévision numérique, le procédé peut être mis en œuvre au moyen d’un dispositif bon marché puisque chaque foyer est généralement équipé d’un décodeur, d’une caméra et d’un microphone, qui sont en outre des équipements à bas coût.
Outre les caractéristiques qui viennent d’être évoquées dans le paragraphe précédent, le procédé selon un aspect de l’invention peut présenter une ou plusieurs caractéristiques complémentaires parmi les suivantes, considérées individuellement ou selon toutes les combinaisons techniquement possibles.
Avantageusement, la zone d’affichage est un quadrilatère et le premier point et le deuxième point sont deux coins de la zone d’affichage situés en diagonale.
Ainsi, deux coins de la zone d’affichage sont des points faciles à pointer pour un utilisateur et le fait qu’ils soient diagonaux permet de calculer directement la longueur et la hauteur de la zone d’interaction de l’utilisateur.
Avantageusement, durant l’étape de calibrage, le calculateur affiche un troisième point distinct du premier et du deuxième point ; la caméra fait un troisième film de calibrage de l’environnement et transmet le troisième film de calibrage au calculateur ; le calculateur enregistre le troisième film de calibrage, détecte une troisième position d’un doigt de l’utilisateur dans le troisième film de calibrage, la troisième position étant différente de la première et de la deuxième position, et associe la troisième position détectée au troisième point.
Ainsi, le relevé de la position d’un troisième point permet d’améliorer le calibrage si l’utilisateur n’est pas face à l’écran de télévision mais de biais : le plan de la zone d’interaction de l’utilisateur n’est alors pas parallèle au plan de la zone d’affichage des sous-titres.
Avantageusement, le troisième point est le centre de la zone d’affichage.
Ainsi, le relevé de la position du centre de la zone d’affichage facilite la gestion de la perspective.
Avantageusement, durant l’étape de calibrage, lorsque la position pointée par l’utilisateur est relevée, la position du doigt de l’utilisateur ne varie pas en valeur absolue de plus d’un certain seuil pendant un certain intervalle de temps.
Ainsi, cela évite un mauvais calibrage ou une trop grande sensibilité, par exemple à cause d’un mouvement brusque de l’utilisateur.
Avantageusement, l’étape d’affichage interactif comporte une mise en pause de la vidéo suivie d’une reprise de la vidéo ou d’une sélection d’un ou plusieurs mots d’un sous-titre affiché à l’écran.
Ainsi, la vidéo est mise en pause et l’utilisateur a le temps de réaliser une action et notamment de sélectionner un ou plusieurs mots sans perdre le fil de son visionnage.
Avantageusement, la mise en pause de la vidéo est réalisée par une commande gestuelle selon laquelle le calculateur détecte une présence d’un doigt de l’utilisateur dans le film.
Ainsi, un mouvement simple et rapide du doigt arrête la vidéo. Avantageusement, la mise en pause a lieu quand la position du doigt de l’utilisateur est relevée dans la zone de sous-titres du téléviseur pendant un certain intervalle de temps.
Ainsi, cela évite des arrêts intempestifs de la vidéo dus à des gestes involontaires de l’utilisateur.
Avantageusement, la mise en pause de la vidéo est réalisée par une commande vocale selon laquelle le microphone capte l’environnement sonore sous forme d’un signal et transmet le signal au calculateur, le calculateur enregistre le signal et détecte un mot-clef de mise en pause.
Ainsi, l’utilisateur n’a qu’à prononcer un mot clef lui permettant d’arrêter la vidéo et n’a pas à pointer la zone d’affichage. Avantageusement, l’étape de sélection est réalisée par une commande gestuelle selon laquelle le calculateur détecte dans le film une première station prolongée d’un doigt de l’utilisateur en une première position de la zone d’affichage.
Ainsi, la sélection d’un mot est simple et rapide. Avantageusement, dans la commande gestuelle, le calculateur détecte dans le film la première station prolongée suivie d’un mouvement puis d’une deuxième station prolongée d’un doigt de l’utilisateur en une deuxième position de la zone d’affichage, les première et deuxième positions étant distinctes ou confondues. Ainsi, la sélection de plusieurs mots est simple et rapide et l’utilisateur n’a pas besoin de pointer les mots un à un.
Avantageusement, l’étape de sélection est réalisée par la commande gestuelle uniquement ou bien par une combinaison de la commande gestuelle et d’une commande vocale selon laquelle le microphone capte l’environnement sonore sous forme d’un signal et transmet le signal au calculateur et le calculateur enregistre le signal et détecte un mot-clef de sélection.
Ainsi, l’utilisateur peut, par exemple, demander à recommencer sa sélection sans avoir à pointer l’option.
Avantageusement, l’étape d’affichage interactif comporte une validation de la sélection réalisée par une commande gestuelle selon laquelle le calculateur détecte dans le film une station prolongée d’un doigt de l’utilisateur dans une zone de validation.
Ainsi, un mouvement simple et rapide du doigt valide la sélection.
Avantageusement, l’étape d’affichage interactif comporte une validation de la sélection réalisée par une commande vocale selon laquelle le microphone capte l’environnement sonore sous forme d’un signal et transmet le signal au calculateur et le calculateur enregistre le signal et détecte un mot-clef de validation.
Ainsi, l’utilisateur n’a qu’à prononcer un mot clef lui permettant de valider la sélection et n’a pas à pointer la zone de validation.
Avantageusement, l’étape d’affichage interactif comporte le choix d’une action à effectuer avec la sélection réalisé par une commande gestuelle selon laquelle le calculateur détecte dans le film une station prolongée d’un doigt de l’utilisateur dans une zone d’action.
Ainsi, le choix de l’action à réaliser est simple et rapide.
Avantageusement, l’étape d’affichage interactif comporte le choix d’une action à effectuer avec la sélection réalisé par une commande gestuelle selon laquelle le calculateur détecte dans le film un geste particulier correspondant à une action à réaliser.
Ainsi, l’utilisateur n’a pas besoin de pointer une zone d’action. Un signe particulier étant associé à une action possible, il lui suffit de faire le signe correspondant à l’action qu’il souhaite réaliser. Avantageusement, l’étape d’affichage interactif comporte le choix d’une action à effectuer avec la sélection réalisé par une commande vocale selon laquelle le microphone capte l’environnement sonore sous forme d’un signal et transmet le signal au calculateur et le calculateur enregistre le signal et détecte un mot-clef d’action à réaliser.
Ainsi, l’utilisateur n’a qu’à prononcer un mot clef lui permettant de choisir l’action à réaliser et n’a pas à pointer la zone d’action.
Avantageusement, l’action à réaliser avec le ou les mot(s) précédemment sélectionné(s) est préconfigurée par l’utilisateur.
Ainsi, l’utilisateur n’a pas besoin de choisir l’action à réaliser, la même action sera appliquée à toutes les sélections.
Avantageusement, le pointage est amélioré par ajout d’une aide visuelle sur l’écran.
Ainsi, un utilisateur peut voir sur l’écran la position actuelle estimée pour le pointage de son doigt, ce qui lui facilite le pointage.
Avantageusement, l’étape d’affichage interactif comporte le retour à l’écran de sélection par une commande gestuelle selon laquelle le calculateur détecte une station prolongée d’un doigt de l’utilisateur dans une zone de retour.
Ainsi, le retour à l’écran de sélection est simple et rapide.
Avantageusement, l’étape d’affichage interactif comporte le retour à l’écran de sélection par une commande gestuelle selon laquelle le calculateur détecte dans le film un geste particulier correspondant au retour à l’écran de sélection.
Ainsi, l’utilisateur n’a pas besoin de pointer la zone de retour. Un signe particulier étant associé au retour à l’écran de sélection, il lui suffit de faire le signe correspondant.
Avantageusement, l’étape d’affichage interactif comporte le retour à l’écran de sélection par une commande vocale selon laquelle le microphone capte l’environnement sonore sous forme d’un signal et transmet le signal au calculateur et le calculateur enregistre le signal et détecte un mot-clef de retour.
Ainsi, l’utilisateur n’a qu’à prononcer un mot clef lui permettant de retourner à l’écran de sélection et n’a pas à pointer la zone de retour.
Avantageusement, l’étape d’affichage interactif comporte la reprise de la vidéo par une commande gestuelle selon laquelle le calculateur détecte dans le film une station prolongée d’un doigt de l’utilisateur dans une zone de reprise.
Ainsi, la reprise de la vidéo est simple et rapide.
Avantageusement, l’étape d’affichage interactif comporte la reprise de la vidéo par une commande gestuelle selon laquelle le calculateur détecte dans le film un geste particulier correspondant à la reprise de la vidéo.
Ainsi, l’utilisateur n’a pas besoin de pointer la zone de reprise. Un signe particulier étant associé à la reprise de la vidéo, il lui suffit de faire le signe correspondant.
Avantageusement, l’étape d’affichage interactif comporte la reprise de la vidéo par une commande vocale selon laquelle le microphone capte l’environnement sonore sous forme d’un signal et transmet le signal au calculateur et le calculateur enregistre le signal et détecte un mot-clef de reprise.
Ainsi, l’utilisateur n’a qu’à prononcer un mot clef lui permettant de reprendre la vidéo et n’a pas à pointer la zone de reprise.
Un deuxième aspect de l’invention concerne un dispositif d’interaction avec un sous-titre affiché dans une zone d’affichage d’un écran de télévision numérique, caractérisé en ce qu’il comporte un calculateur et une caméra, la caméra comportant des moyens de faire des films et de les transmettre au calculateur, le calculateur comportant :
- des moyens d’affichage sur l’écran de télévision numérique,
- des moyens de réception et d’enregistrement de films transmis par la caméra,
- des moyens de traitement d’images et de calcul.
Avantageusement, la caméra est intégrée dans le calculateur.
Ainsi, le dispositif pour mettre en oeuvre le procédé est plus compacte. Avantageusement, la caméra est reliée au calculateur.
Ainsi, l’utilisateur peut utiliser une caméra qu’il possède déjà et la connecter au calculateur. Un troisième aspect de l’invention concerne un produit programme d’ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre le procédé selon un premier aspect de l’invention. Un quatrième aspect de l’invention concerne un support d’enregistrement lisible par ordinateur comprenant des instructions qui, lorsqu’elles sont exécutées par un ordinateur, conduisent celui-ci à mettre en œuvre le procédé selon un premier aspect de l’invention. L’invention et ses différentes applications seront mieux comprises à la lecture de la description qui suit et à l’examen des figures qui l’accompagnent.
BREVE DESCRIPTION DES FIGURES
Les figures sont présentées à titre indicatif et nullement limitatif de l’invention.
- La figure 1 montre un diagramme de flux représentant schématiquement le procédé selon un premier aspect de l’invention.
- La figure 2 montre une représentation schématique de l’étape de calibrage du procédé selon un premier aspect de l’invention.
- Les figures 3A et 3B montre une représentation schématique de l’étape de sélection du procédé selon un premier aspect de l’invention.
DESCRIPTION DETAILLEE D’AU MOINS UN MODE DE REALISATION DE L’INVENTION
Sauf précision contraire, un même élément apparaissant sur des figures différentes présente une référence unique. Un premier aspect de l’invention concerne un procédé 100 d’interaction avec un sous-titre affiché dans une zone d’affichage ZA d’un écran de télévision numérique.
Dans la présente demande, le mot sous-titre doit être entendu comme l’ensemble du texte en surimpression d’une image extraite d’une vidéo à un instant donné : il peut donc être constitué d’un ou de plusieurs mots.
Le procédé 100 selon un premier aspect de l’invention comporte plusieurs étapes dont l’enchaînement est représenté à la figure 1 . Ces étapes sont mises en oeuvre par un calculateur Dec couplé à une caméra Cam et éventuellement à un microphone. Dans la présente demande, le mot calculateur Dec renvoie à un dispositif possédant une mémoire, des fonctions de traitement d’images pour réaliser le suivi d’un ou de plusieurs doigts d’un ou de plusieurs utilisateurs dans les films en provenance de la caméra et des fonctions de traitement du signal pour détecter des mots clefs dans un enregistrement sonore. Préférentiellement, le calculateur est intégré au sein d’un décodeur de télévision numérique capable de décoder des signaux de télévision chiffrés.
La première étape est l’étape de calibrage 101 représentée à la figure 2. Cette étape permet de faire correspondre la zone d’affichage ZA à une zone d’interaction de l’utilisateur Zu. La zone d’interaction de l’utilisateur Zu comprend l’ensemble des positions dans lesquelles peut se trouver le doigt d’un utilisateur quand il pointe n’importe quel point de la zone d’affichage ZA.
Cette étape de calibrage 101 peut être réalisée par plusieurs utilisateurs en même temps ou les uns après les autres. Ainsi, chaque utilisateur possède sa propre zone d’interaction Zu, prenant en compte son positionnement par rapport à l’écran de télévision numérique.
Durant cette étape, le calculateur Dec affiche un premier point C1 sur la zone d’affichage ZA. On entend par point, un point au sens mathématique du terme ou le centre d’une zone pouvant avoir par exemple, une forme circulaire, carrée ou encore en croix. La caméra Cam est alors mise en marche par le calculateur ou par l’utilisateur, enregistre un premier film de calibrage et le transmet au calculateur. D’une manière générale, on entend par film une image ou une pluralité d’images. Le calculateur Dec détecte un doigt d’un utilisateur dans le premier film de calibrage, enregistre une première position PC1 de ce doigt et l’associe à la position du premier point C1. La caméra Cam enregistre ensuite un deuxième film de calibrage et le transmet au calculateur, qui détecte un doigt de l’utilisateur dans le deuxième film de calibrage, enregistre une deuxième position PC2 de ce doigt et l’associe à la position du deuxième point C2. Les premier et deuxième films de calibrage peuvent être deux films distincts, la caméra s’interrompant après le calibrage du premier point C1 et reprenant pour le calibrage du deuxième point C2, ou bien deux sous-parties d’un seul et même film, la caméra filmant en continu pendant toute l’étape de calibrage.
L’étape de calibrage 101 peut être réalisée avec un nombre supérieur de points, par exemple trois points. La zone d’affichage ZA est préférentiellement un quadrilatère et plus préférentiellement un rectangle. Elle possède une première dimension X et une deuxième dimension Y qui définissent un repère 2D XY. Les trois points peuvent par exemple être le coin supérieur gauche, le coin inférieur droit et le centre de la zone d’affichage ZA, le relevé de la position du centre de la zone d’affichage ZA facilitant la gestion de la perspective.
Deux points suffisent si leurs deux coordonnées dans le repère XY sont différentes. Cependant, le calibrage est meilleur quand on utilise au moins trois points. En effet, les deux premiers points servent à calculer la hauteur Huser selon la dimension X et la longueur Luser selon la dimension Y de la zone d’interaction de l’utilisateur Zu. Cette zone est représentée en pointillés, en premier plan sur les figures 3A et 3B. Toutefois, si l’utilisateur n’est pas face au téléviseur, le plan de la zone d’interaction de l’utilisateur Zu peut ne pas être parallèle au plan de la zone d’affichage ZA : le relevé de la position d’un troisième point permet alors d’évaluer un angle entre le plan de la zone d’interaction de l’utilisateur Zu et le plan de la zone d’affichage ZA. De manière générale, plus le nombre de points à pointer est élevé, plus le calibrage est robuste. L’impact de la profondeur sur les déplacements horizontaux et verticaux du doigt de l’utilisateur est négligeable tant que la variation en profondeur est petite devant la distance téléviseur-utilisateur. Durant l’étape de calibrage 101 , un suivi est mis en place pour détecter une présence d’un doigt de l’utilisateur et relever sa position. Ce suivi peut être réalisé en utilisant, par exemple un filtre de Kalman ou un filtre de Gauss-Newton récursif. De préférence, le calculateur relève la position d’un point lorsque la position du doigt de l’utilisateur pointé vers le point dont on veut relever la position n’a pas varié de plus d’un certain seuil D en valeur absolue pendant un intervalle de temps T. En effet, on considère que le doigt pointe vers la position définitive (X0, Y0) si la condition suivante est vérifiée : vt t - 10 < T : d ((X(t), Y(t)), (X„, Y„)) < D
Où d est l’opérateur de distance euclidienne, t0 est l’instant où la position suivie du doigt est celle choisie comme celle pointant vers le point dont on veut relever la position, X0 = X(t0) est l’abscisse en t0 et Y0 = Y(t0) est l’ordonnée de t0. La position (X0, Y0) est alors enregistrée et l’on passe au relevé de la position du point suivant. Le seuil D peut, par exemple être de 5 cm. L’intervalle de temps T peut, par exemple être compris dans l’intervalle [ 1 s ; 2 s ].
Une fois que les positions des deux points PC1 et PC2 ont été relevées, le calculateur Dec associe ces deux positions respectivement aux points C1 et C2 ce qui lui permet de calculer une correspondance entre la zone d’affichage ZA et la zone d’interaction de l’utilisateur Zu. A l’issue de l’étape de calibrage 101 , chaque point de la zone d’affichage ZA est en correspondance avec un point de la zone d’interaction de l’utilisateur Zu.
Une fois l’étape de calibrage 101 terminée commence l’étape d’affichage interactif. Le suivi du doigt démarre de préférence en même temps que la vidéo mais pourrait aussi démarrer avant. En effet, le suivi est réalisé en continu durant la vidéo en utilisant, par exemple, un filtre de Kalman ou un filtre de Gauss-Newton récursif sur le film pris par la caméra Cam. Préférentiellement, la caméra Cam a déjà été mise en marche par le calculateur ou par l’utilisateur au début de l’étape de calibrage et filme depuis lors mais elle peut également avoir été éteinte à la fin de l’étape de calibrage et être rallumée au début de l’étape d’affichage interactif. Dans tous les cas, la caméra commence à prendre un film au début de l’étape d’affichage interactif. Le film lors de l’étape d’affichage interactif peut être distinct du ou des films de calibrage, la caméra s’interrompant après l’étape de calibrage et reprenant lors de l’étape d’affichage interactif, ou bien le film de l’étape d’affichage interactif et le ou les films de calibrage peuvent être plusieurs sous- parties d’un seul et même film, la caméra filmant en continu. La vidéo continue normalement tant qu’il n’y a pas de mise en pause 103.
L’étape d’affichage interactif peut être réalisée par plusieurs utilisateurs en mettant en place un suivi pour chaque utilisateur.
Selon un mode de réalisation, pour mettre en pause, le calculateur Dec doit détecter la présence d’un doigt de l’utilisateur dans la zone d’affichage ZA. De préférence, le calculateur met la vidéo en pause lorsque la position du doigt de l’utilisateur n’a pas varié de plus d’un certain seuil D2 en valeur absolue pendant un intervalle de temps T2. Le seuil D2 peut être le même ou différent du seuil D. Le seuil D2 peut, par exemple être de 10 cm. Cet intervalle de temps T2 peut être le même ou différent de l’intervalle de temps T. L’intervalle de temps T2 peut, par exemple être compris dans l’intervalle [ 0,5 s ; 1 ,5 s ].
Selon un autre mode de réalisation, un microphone capte l’environnement sonore sous forme d’un signal et le transmet au calculateur Dec. Si un mot clef est prononcé, le détecteur met la vidéo en pause 103. Ce mot clef peut être, par exemple « pause ».
La détection de mots clefs peut par exemple être effectuée par un algorithme de programmation dynamique basé sur la normalisation du temps ou un algorithme WUW (pour « Wake-Up-Word »).
Une fois mise en pause 103, la vidéo s’arrête. Selon un mode de réalisation, pour sélectionner un ou plusieurs mots 104, un doigt de l’utilisateur marque un seul arrêt dans la zone d’affichage ZA. La position pointée sur l’écran est estimée à l’aide de la position du doigt filmé par la caméra Cam et de données obtenues pendant l’étape de calibrage 101 . En effet, la hauteur Huser et la longueur Luser de la zone d’interaction de l’utilisateur Zu permettent de calculer un coefficient de sensibilité horizontale a et un coefficient de sensibilité verticale b avec les formules suivantes :
LTy
a = -
Luser
Où LTV est la longueur de la zone d’affichage ZA et HTV est la hauteur de la zone d’affichage ZA. La zone d’affichage ZA est toujours la même, par exemple le quart inférieur du téléviseur. De plus, la position de chaque point de la zone d’affichage ZA pointé pendant l’étape de calibrage 101 est associée à la position du doigt qui le pointe. Ainsi, la position du point Cl(x1,y1) de la zone d’affichage ZA pointé pendant l’étape de calibrage 101 est associée à la position PC1(X1,Y1) du doigt pointant vers ce point. Si on estime la position du doigt filmé par la caméra Cam à (Xi + dx, Y-L + dy) , la position pointée sur l’écran sera (X-L + a * dx^ + b * dy). Chaque mot correspondant virtuellement à un rectangle sur l’écran, le rectangle correspondant à la position (X-L + a * dx, + b * dy) est sélectionné. Ce cas est illustré à la figure 3A. L’utilisateur fait bouger son doigt dans la zone d’interaction Zu représentée en pointillés, de hauteur Huser et de longueur Luser. Une correspondance est établie entre la position du doigt de l’utilisateur et une position sur l’écran proche du mot « bonjour » qui est ainsi sélectionné.
De préférence, le calculateur relève la position (Xi + dx, + dy) lorsque la position du doigt de l’utilisateur n’a pas varié de plus d’un certain seuil en valeur absolue pendant un certain intervalle de temps. Ce seuil peut être le même ou différent du seuil D et/ou du seuil D2. Cet intervalle de temps peut être le même ou différent de l’intervalle de temps T et/ou de l’intervalle de temps T2.
En marquant un seul arrêt dans la zone d’affichage ZA, l’utilisateur peut sélectionner plusieurs mots si par exemple, le calculateur est paramétré pour sélectionner un ou plusieurs mots adjacents du mot pointé ou si la commande gestuelle est utilisée en combinaison avec une commande vocale, par exemple, l’utilisateur dit « deux » pour sélectionner le mot pointé et les deux suivants. Selon un autre mode de réalisation, pour sélectionner un ou plusieurs mots 104, le doigt de l’utilisateur effectue un mouvement après la première station prolongée et marque un deuxième arrêt une fois le mouvement terminé. Si la position de la première station prolongée est différente de celle de la deuxième station prolongée, le calculateur interprète préférentiellement le fait que le doigt pointe l’endroit du début de la sélection puis l’endroit de la fin de la sélection. Ce cas est illustré aux figures 3A et 3B. L’utilisateur fait bouger son doigt dans la zone d’interaction Zu. Sur la figure 3A, le doigt marque un premier arrêt à la position PS1 qui pointe un premier mot « bonjour ». Le premier mot « bonjour » est alors sélectionné ce qui se matérialise par un encadrement du mot. Le doigt réalise ensuite un mouvement linéaire avant de marquer un deuxième arrêt à la position PS2 qui pointe un deuxième mot « monsieur » sur la figure 3B. Le deuxième mot est alors ajouté à la sélection ce qui se matérialise par un élargissement de l’encadrement précédent pour englober les deux mots. Les premier et deuxième mots peuvent se suivre ou être séparés par un ou plusieurs autres mots. Le calculateur est capable de dessiner un encadrement ou une zone de contour en sélectionnant tous les mots entre le premier et le deuxième mot même si le premier et le deuxième mot ne sont pas sur la même ligne de sous-titre.
Si la position de la première station prolongée est la même que celle de la deuxième station prolongée, le calculateur interprète préférentiellement le cas où le doigt de l’utilisateur a entouré la sélection.
En parallèle, des mots clefs prononcés par un utilisateur et enregistrés par un microphone peuvent permettre par exemple de commencer, recommencer ou encore finir le dessin de la zone de contour du ou des mots à sélectionner. Un mot clef peut être par exemple « recommencer ».
Avantageusement, l’étape de sélection est réalisée au moins partiellement par une commande gestuelle, ce qui procure un meilleur confort pour l’utilisateur en lui évitant une étape fastidieuse et/ou difficile, par exemple dire un mot dont il n’est pas sûr de la prononciation avec le risque que sa commande ne soit pas comprise par le calculateur, ou compter la position du premier mot qu’il souhaite sélectionner puis compter la position du dernier mot qu’il souhaite sélectionner ou bien compter le nombre de mots de la sélection. Ainsi, on permet que la durée de l’étape de sélection soit significativement diminuée et on contribue à ce que l’utilisateur garde le fil de son visionnage. De plus, les commandes gestuelles sont plus robustes que les commandes vocales : pour détecter un mot clef, il faut que le fond sonore soit suffisamment bas et de préférence que personne d’autre que l’utilisateur ne parle au risque de déclencher des commandes involontaires. En particulier, la commande vocale est peu adaptée à un mode multiutilisateur. Au contraire, l’introduction d’une commande gestuelle permet de donner un point de départ à la sélection, la rendant plus précise et plus rapide même combinée avec une commande vocale, ce qui permet de ne pas dégrader le visionnage.
Pour améliorer le pointage, une aide visuelle peut être rajoutée en surimpression sur l’écran pour indiquer à l’utilisateur quelle est la position actuelle estimée pour le pointage de son doigt. Cette aide visuelle peut par exemple être un point de couleur, par exemple rouge ou vert. Chaque utilisateur pourra avoir un pointeur de couleur différente. Cette aide visuelle peut être mise en place à partir du démarrage de la vidéo 102 ou seulement pendant que la vidéo est mise en pause 103.
Une fois la sélection 104 terminée, elle est validée par l’utilisateur. Selon un mode de réalisation, la validation s’effectue par une commande gestuelle. Par exemple, l’utilisateur pointe une zone de validation étant une partie de la zone d’affichage ZA où est indiqué par exemple le mot « validation ».
Selon un autre mode de réalisation, la validation s’effectue par une commande vocale. Par exemple, l’utilisateur prononce le mot clef « validation ».
Une fois la sélection 104 validée, plusieurs actions peuvent être réalisées avec le ou les mots sélectionné(s) comme par exemple une traduction ou l’ajout de la sélection à une liste accompagnée de données concernant par exemple, la vidéo d’où elle a été extraite ou encore le moment de la vidéo auquel elle a été extraite. Selon un premier mode de réalisation, une liste d’options d’actions est affichée à l’écran, chaque option possédant une zone d’action étant une partie de la zone d’affichage ZA. Un doigt de l’utilisateur marque un arrêt sur la zone d’action correspondant à l’action qu’il souhaite réaliser avec la sélection précédemment validée. Plusieurs actions peuvent être successivement sélectionnées.
Selon un deuxième mode de réalisation, chaque action est associée à un geste particulier, par exemple lever le pouce correspond à une traduction de la sélection. Il faut donc réaliser le geste associé à l’action pour choisir de réaliser cette action. Selon un troisième mode de réalisation, un mot clef d’action est prononcé. Par exemple, l’utilisateur prononce le mot clef « traduction ».
Selon un quatrième mode de réalisation, une action a été préconfigurée au préalable et cette action sera donc réalisée automatiquement pour chaque sélection.
Pour chaque action réalisée, un message de confirmation de l’exécution de l’action pourra apparaître à l’écran.
Une fois que les actions choisies 105 ont été effectuées, on choisit un retour à l’écran de sélection ou une reprise de la vidéo.
Pour retourner à l’écran de sélection :
- selon un premier mode de réalisation, un doigt de l’utilisateur marque un arrêt sur une zone de retour étant une partie de la zone d’affichage ZA OÙ est indiqué par exemple le mot « retour » ;
- selon un autre mode de réalisation, le retour s’effectue par une commande vocale. Par exemple, l’utilisateur prononce le mot clef « retour ».
Une fois de retour sur l’écran de sélection, une deuxième sélection peut être réalisée en effectuant les mêmes étapes que précédemment.
Pour reprendre la vidéo :
- selon un premier mode de réalisation, un doigt de l’utilisateur marque un arrêt sur une zone de reprise étant une partie de la zone d’affichage ZA OÙ est indiqué par exemple le mot « reprise » ;
- selon un autre mode de réalisation, la reprise s’effectue par une commande vocale. Par exemple, l’utilisateur prononce le mot clef « reprise ». La vidéo reprend alors là où elle s’était arrêtée.
Toutes les étapes précédemment décrites sont mises en oeuvre par le deuxième aspect de l’invention qui concerne un dispositif comportant un calculateur Dec et une caméra Cam.
Le calculateur Dec est lié à un téléviseur par une liaison filaire ou non filaire ce qui lui permet d’afficher des consignes sur un écran de télévision numérique.
Selon un mode de réalisation, le calculateur Dec est lié à la caméra Cam par une liaison filaire ou non filaire.
Selon un autre mode de réalisation, la caméra Cam est intégrée dans le calculateur Dec. La caméra Cam peut par exemple être une webcam. La caméra Cam filme l’environnement et transmet des images au calculateur Dec qui est capable de réceptionner les films et les enregistrer.
Le calculateur Dec peut être également lié à un microphone par une liaison filaire ou non filaire. Le microphone capte son environnement sonore sous forme de signaux et les transmet au calculateur Dec sous forme numérique. Le calculateur Dec est capable de réceptionner le signal et de l’enregistrer.
Le calculateur possède des fonctions de traitement d’images pour réaliser le suivi d’un ou de plusieurs doigts d’un ou de plusieurs utilisateurs ainsi que des fonctions de traitement du signal pour détecter des mots clefs dans un enregistrement sonore.
Le troisième aspect de l’invention concerne un produit-programme d’ordinateur permettant de mettre en oeuvre le procédé 100 selon un premier aspect de l’invention.
Le produit-programme d’ordinateur permet l’affichage de consignes sur l’écran de télévision pour la réalisation des étapes. Par exemple, il affiche à l’écran les points qu’il faut pointer pendant l’étape de calibrage 101. Il réalise également le suivi des doigts des utilisateurs et la détection de mots clefs.
Le quatrième aspect de l’invention concerne un support d’enregistrement sur lequel est enregistré le produit-programme d’ordinateur selon un troisième aspect de l’invention.

Claims

REVENDICATIONS
1. Procédé (100) d’interaction avec un sous-titre affiché dans une zone d’affichage (ZA) d’un écran de télévision numérique, la zone d’affichage (ZA) possédant une première dimension X et une deuxième dimension Y distincte de la première dimension X, le procédé (100) comportant :
- une étape de calibrage (101 ) selon laquelle :
• un calculateur (Dec) affiche un premier point (C1 ) de cordonnées (xi ; yi) dans la zone d’affichage (ZA) ; une caméra (Cam) fait un premier film de calibrage d’un environnement et transmet le premier film de calibrage au calculateur (Dec) ; le calculateur (Dec) enregistre le premier film de calibrage, détecte une première position (PC1 ) d’un doigt d’un utilisateur dans le premier film de calibrage et associe la première position (PC1 ) détectée au premier point (C1 ) ;
• le calculateur (Dec) affiche un deuxième point (C2) de cordonnées (X2 ; y2) dans la zone d’affichage (ZA), les coordonnées (X2 ; y2) étant telles que X2 est différent de xi et y2 est différent de yi ; la caméra (Cam) fait un deuxième film de calibrage de l’environnement et transmet le deuxième film de calibrage au calculateur (Dec) ; le calculateur (Dec) enregistre le deuxième film de calibrage, détecte une deuxième position (PC2) d’un doigt de l’utilisateur dans le deuxième film de calibrage, la deuxième position (PC2) étant différente de la première position (PC1 ), et associe la deuxième position (PC2) détectée au deuxième point (C2) ;
• le calculateur (Dec) calcule une correspondance entre la zone d’affichage (ZA) et une zone d’interaction de l’utilisateur (Zu) ;
- une étape d’affichage interactif d’une vidéo sous-titrée sur l’écran de télévision numérique selon laquelle la vidéo sous-titrée est affichée sur l’écran de télévision numérique (102) et : • la caméra (Cam) fait un film de l’environnement et transmet le film au calculateur (Dec) ; le calculateur (Dec) enregistre le film et détecte une présence d’un doigt de l’utilisateur dans le film ; et/ou
« un microphone capte un environnement sonore sous forme d’un signal et transmet le signal au calculateur (Dec) ; le calculateur (Dec) enregistre le signal et détecte un mot-clef dans le signal.
2. Procédé (100) selon la revendication 1 , caractérisé en ce que l’étape d’affichage interactif comporte une mise en pause de la vidéo (103) suivie d’une reprise de la vidéo ou d’une sélection (104) d’un ou plusieurs mots d’un sous-titre affiché à l’écran.
3. Procédé (100) selon la revendication 2, caractérisé en ce que la mise en pause de la vidéo (103) est réalisée :
- par une commande vocale selon laquelle le microphone capte l’environnement sonore sous forme d’un signal et transmet le signal au calculateur (Dec) ; le calculateur (Dec) enregistre le signal et détecte un mot-clef de mise en pause ; ou
- par une commande gestuelle selon laquelle le calculateur (Dec) détecte une présence d’un doigt de l’utilisateur dans le film.
4. Procédé (100) selon l’une quelconque des revendications 2 ou 3, caractérisé en ce que l’étape de sélection (104) est réalisée par une commande gestuelle selon laquelle le calculateur (Dec) détecte dans le film une première station prolongée d’un doigt de l’utilisateur en une première position (PS1 ) de la zone d’affichage (ZA).
5. Procédé (100) selon la revendication précédente caractérisé en ce que dans la commande gestuelle, le calculateur (Dec) détecte dans le film la première station prolongée suivie d’un mouvement puis d’une deuxième station prolongée d’un doigt de l’utilisateur en une deuxième position (PS2) de la zone d’affichage (ZA), les première (PS1 ) et deuxième positions (PS2) étant distinctes ou confondues.
6. Procédé (100) selon l’une quelconque des revendications 4 ou 5 caractérisé en ce que l’étape de sélection (104) est réalisée par la commande gestuelle uniquement ou bien par une combinaison de la commande gestuelle et d’une commande vocale selon laquelle le microphone capte l’environnement sonore sous forme d’un signal et transmet le signal au calculateur (Dec) et le calculateur (Dec) enregistre le signal et détecte un mot-clef de sélection.
7. Procédé (100) selon la revendication 2 à 6, caractérisé en ce que l’étape d’affichage interactif comporte une validation de la sélection réalisée :
- par une commande gestuelle selon laquelle le calculateur (Dec) détecte dans le film une station prolongée d’un doigt de l’utilisateur dans une zone de validation ; ou
- par une commande vocale selon laquelle le microphone capte l’environnement sonore sous forme d’un signal et transmet le signal au calculateur (Dec) et le calculateur (Dec) enregistre le signal et détecte un mot-clef de validation.
8. Procédé (100) selon la revendication 2 à 7, caractérisé en ce que l’étape d’affichage interactif comporte le choix d’une action à effectuer (105) avec la sélection réalisé :
- par une commande gestuelle selon laquelle :
• le calculateur (Dec) détecte dans le film une station prolongée d’un doigt de l’utilisateur dans une zone d’action ; ou
• le calculateur (Dec) détecte dans le film un geste particulier correspondant à une action à réaliser ; ou
- par une commande vocale selon laquelle le microphone capte l’environnement sonore sous forme d’un signal et transmet le signal au calculateur (Dec) et le calculateur (Dec) enregistre le signal et détecte un mot-clef d’action à réaliser.
9. Dispositif d’interaction avec un sous-titre affiché dans une zone d’affichage d’un écran de télévision numérique, caractérisé en ce qu’il comporte un calculateur (Dec) et une caméra (Cam), la caméra comportant des moyens de faire des films et de les transmettre au calculateur (Dec), le calculateur (Dec) comportant :
- des moyens d’affichage sur l’écran de télévision numérique,
- des moyens de réception et d’enregistrement de films transmis par la caméra (Cam),
- des moyens de traitement d’images et de calcul.
10. Produit programme d’ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre le procédé (100) selon la revendication 1.
11. Support d’enregistrement lisible par ordinateur comprenant des instructions qui, lorsqu’elles sont exécutées par un ordinateur, conduisent celui-ci à mettre en œuvre le procédé (100) selon la revendication 1.
EP18807360.5A 2017-12-08 2018-11-29 Procédé d'interaction avec un sous-titre affiché sur un écran de télévision, dispositif, produit-programme d'ordinateur et support d'enregistrement pour la mise en oeuvre d'un tel procédé Withdrawn EP3721319A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1761872A FR3074938B1 (fr) 2017-12-08 2017-12-08 Procede d'interaction avec un sous-titre affiche sur un ecran de television, dispositif, produit-programme d'ordinateur et support d'enregistrement pour la mise en œuvre d'un tel procede
PCT/EP2018/082930 WO2019110395A1 (fr) 2017-12-08 2018-11-29 Procede d'interaction avec un sous-titre affiche sur un ecran de television, dispositif, produit-programme d'ordinateur et support d'enregistrement pour la mise en œuvre d'un tel procede

Publications (1)

Publication Number Publication Date
EP3721319A1 true EP3721319A1 (fr) 2020-10-14

Family

ID=61873424

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18807360.5A Withdrawn EP3721319A1 (fr) 2017-12-08 2018-11-29 Procédé d'interaction avec un sous-titre affiché sur un écran de télévision, dispositif, produit-programme d'ordinateur et support d'enregistrement pour la mise en oeuvre d'un tel procédé

Country Status (4)

Country Link
US (1) US20200396519A1 (fr)
EP (1) EP3721319A1 (fr)
FR (1) FR3074938B1 (fr)
WO (1) WO2019110395A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11647257B2 (en) * 2020-10-29 2023-05-09 International Business Machines Corporation Pause playback of media content based on closed caption length and reading speed

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9009594B2 (en) * 2010-06-10 2015-04-14 Microsoft Technology Licensing, Llc Content gestures
GB2488785A (en) * 2011-03-07 2012-09-12 Sharp Kk A method of user interaction with a device in which a cursor position is calculated using information from tracking part of the user (face) and an object
KR101641091B1 (ko) * 2013-09-23 2016-07-20 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 모션 인식방법
US9329692B2 (en) * 2013-09-27 2016-05-03 Microsoft Technology Licensing, Llc Actionable content displayed on a touch screen
KR102227088B1 (ko) * 2014-08-11 2021-03-12 엘지전자 주식회사 전자기기 및 그것의 제어방법

Also Published As

Publication number Publication date
FR3074938B1 (fr) 2019-12-27
US20200396519A1 (en) 2020-12-17
WO2019110395A1 (fr) 2019-06-13
FR3074938A1 (fr) 2019-06-14

Similar Documents

Publication Publication Date Title
US8997021B2 (en) Parallax and/or three-dimensional effects for thumbnail image displays
US9807342B2 (en) Collaborative presentation system
EP3369038B1 (fr) Suivi d&#39;objet d&#39;interêt dans une video omnidirectionnelle
EP2778885B1 (fr) Procédé de traitement d&#39;un geste composé, dispositif et terminal d&#39;utilisateur associés
EP3264222A1 (fr) Appareil et procédés associés
WO2019105467A1 (fr) Procédé et dispositif de partage d&#39;informations, support de stockage, et dispositif électronique
WO2013097160A1 (fr) Systèmes de supports interactifs
CN102215339A (zh) 电子设备及摄像装置
US11270115B2 (en) Presentation of augmented reality content based on identification of trigger accompanying video content
TW202324065A (zh) 用以選擇在智慧型眼鏡中的攝影機的視野之使用者介面
US20150010236A1 (en) Automatic image refocusing method
US20230005224A1 (en) Presenting real world view during virtual reality presentation
CN112055258B (zh) 加载直播画面的时延测试方法、装置、电子设备及存储介质
CN112312190A (zh) 视频画面的展示方法、装置、电子设备和存储介质
WO2018095252A1 (fr) Procédé et dispositif d&#39;enregistrement vidéo
CN113709545A (zh) 视频的处理方法、装置、计算机设备和存储介质
CN116257159A (zh) 多媒体内容的分享方法、装置、设备、介质及程序产品
FR3052008A1 (fr) Navigation dans une pluralite de contenus video
US8711247B2 (en) Automatically capturing images that include lightning
FR3045178A1 (fr) Navigation directe dans un extrait video
US10212382B2 (en) Image processing device, method for controlling image processing device, and computer-readable storage medium storing program
EP3721319A1 (fr) Procédé d&#39;interaction avec un sous-titre affiché sur un écran de télévision, dispositif, produit-programme d&#39;ordinateur et support d&#39;enregistrement pour la mise en oeuvre d&#39;un tel procédé
US9525854B2 (en) Information processing method and electronic device
US20240430534A1 (en) Video playback method and apparatus, electronic device, and storage medium
US20220284701A1 (en) Side by side image detection method and electronic apparatus using the same

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20200706

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20220601