EP3092795A2 - Dispositif de création de vidéos augmentées - Google Patents

Dispositif de création de vidéos augmentées

Info

Publication number
EP3092795A2
EP3092795A2 EP15733157.0A EP15733157A EP3092795A2 EP 3092795 A2 EP3092795 A2 EP 3092795A2 EP 15733157 A EP15733157 A EP 15733157A EP 3092795 A2 EP3092795 A2 EP 3092795A2
Authority
EP
European Patent Office
Prior art keywords
video
data
sensors
smartphone
augmented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP15733157.0A
Other languages
German (de)
English (en)
Inventor
Cedric MANGAUD
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PIQ
Original Assignee
PIQ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PIQ filed Critical PIQ
Publication of EP3092795A2 publication Critical patent/EP3092795A2/fr
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6824—Arm or wrist
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/683—Means for maintaining contact with the body
    • A61B5/6831—Straps, bands or harnesses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G08B5/222—Personal calling arrangements or devices, i.e. paging systems
    • G08B5/223—Personal calling arrangements or devices, i.e. paging systems using wireless transmission
    • G08B5/224—Paging receivers with visible signalling details
    • G08B5/225—Display details
    • G08B5/226—Display details with alphanumeric or graphic display means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/028—Microscale sensors, e.g. electromechanical sensors [MEMS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture
    • H04Q2209/43—Arrangements in telecontrol or telemetry systems using a wireless architecture using wireless personal area networks [WPAN], e.g. 802.15, 802.15.1, 802.15.4, Bluetooth or ZigBee
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/50—Arrangements in telecontrol or telemetry systems using a mobile data collecting device, e.g. walk by or drive by

Definitions

  • the present invention relates to a device for creating sequences of "augmented videos".
  • the typical use case is the following: a person equipped with a Smartphone (the Smartphone is a mobile cellular phone with in particular a camera, a screen and a digital processing unit, but it can also be any other terminal capable of making a video recording) film another person (or an object) that has on it sensors (accelerometer, gyrometer, thermometer, heart rate monitor, blood oxygen sensor) , Pressure sensor ). After processing the data from the sensors, they are transmitted via a wireless communication to the smartphone that will aggregate with the video sequence created. It is in this sense that we speak of "augmented video”.
  • the device which is the subject of the invention makes it possible to assist the users in the creation of these sequences merging the video and the data coming from the sensors.
  • Augmented video creation devices are known:
  • the company Amisco (http://www.sport-universal.com/) offers an augmented video creation system based on the analysis of videos captured by cameras during sports events. The elements resulting from the analysis of the videos come then to feed a database which can be exploited for different purposes including the creation of augmented videos.
  • the company Deltatre (http: //www.deltatre.com/) markets a set of services capable on different media (TV, smartphone, tablet ...) to merge different data with video. These data come from static or dynamic databases that are collected, processed and added during a sporting event.
  • Opta http: //www.optasports.com/
  • has an approach close to Deltatre or Amisco it also creates video content or web pages associating images, videos and various statistics collected in databases.
  • the embedding of data in a video is a human operation, the man intervening to interpret the video in order to associate complementary data. These data do not come from sensors worn by the players and moreover the computing power put into play as well as the duration of the human intervention can be very important because little limited by time, size, speed constraints. calculation or dissipation of energy.
  • video recording capture terminals that include sensors (GPS receiver, temperature sensor, humidity sensor %) and which combine to video or photo data from these sensors.
  • the object of the invention is to propose a device including the terminal which films, the connected sensors as well as the data processing and storage servers in order to make possible and efficient the creation of augmented video sequences.
  • the description is made for a case that includes a person making the film and controlling the terminal that records the video and a person carrying the connected sensor or sensors.
  • the person making the film is in the rest of the text designated by the term "the filmmaker” and the person carrying the sensors connected by "the sportsman". It is obvious that this description is in no way limiting and is only used to make the words more concrete by treating a specific case. For example, we can imagine a scenario where "the filmmaker” and "the athlete” are one and the same person, the terminal that records the video is then controlled by the athlete. It is also obvious that those skilled in the art will be able to use the device described in other fields than the sports field.
  • the profile of the user is known (weight, size, key performance for the sport practiced, ). This profile is either available locally in the Smartphone or retrieved from a remote server within the telecommunication network. • The filmmaker triggers the start of the video recording. This trigger can also be controlled remotely by the athlete via a remote control.
  • the Smartphone recorded in its memory the data relating to the video as well as data corresponding to the activity of the athlete. These are synchronized temporally with the video. All of these data "video + activities” is injected into an algorithm responsible for selecting the "highlights” of the video sequence. "Highlights” correspond to the most intense phases of activity. For example, the acceleration is analyzed over all the activities, the peaks are recorded, if we look for the 5 most interesting peaks, 5 time zones will be selected. The duration of each zone depends on the sport practiced: of the order of 2s for example for the tennis, duration which we name "standard duration”.
  • the five time zones thus selected are transmitted to another algorithm that will collect video data on time windows centered on each of the zones and of a length (parameterizable) greater than the "typical duration" of an event, typically 2 to 3 times higher.
  • the Smartphone will be able, thanks to an appropriate program, to generate slowed video sequences relevant because corresponding to moments of intense activities.
  • the data from the activities will be used to add video information such as speed, acceleration, power, jump height ...
  • This data associated with the video viewed in slow motion is what we call a " augmented video "as augmented by data helping to interpret and appreciate sports performance.
  • the process described above corresponds to an automatic generation without the intervention of the filmmaker.
  • the filmmaker can act on various parameters to generate other video sequences, for example by changing the number of videos generated (modification of the parameter "number of videos to generate") or by selecting only the videos where the athlete jumped to more than lm, for example ... or for which the power developed is greater than a certain threshold.
  • the default setting principle allows automatic generation of augmented videos adapted to a simplified and fast use. Changing the default settings (through an "expert" menu, for example) will allow you to change settings for those who want a custom build.
  • this can be done with a number of images per second which will be defined according to certain parameters, for example:
  • the video sequence is filmed at 120 images per second, the visualization in slow motion around the interesting moments is done at a fixed rate of 20 frames per second or at a variable rate ranging from 120 frames per second at the beginning of the sequence, reducing to 10 frames per second during the intense activity phase in order to restore the best performance of the athlete, then returning at a rate of 120 frames per second at the end of the sequence.
  • Creation of synchronized video and photo effects on the data from the sensors Thanks to the data synchronized with the video it is thus possible to automatically create slow motion based on the data from the sensors.
  • pictures extracted from the video can advantageously be created automatically as well.
  • some photos are extracted (4 or 5 typically) around the event.
  • the filmmaker can then select the photo that pleases him the most, or even modify the triggering criteria to generate other photos.
  • Various video or photographic effects can be created thanks to the sensors: succession of photos around the intense moments of activity, effect of trail, specific music accompanying the moment when the activity of the sportsman is at its maximum, effects of light, halot luminous , add a congratulatory message, not to mention the addition of performance information (height, time in the air -no contact with the ground or the sea-, power, acceleration, speed ).
  • augmented videos from unsynchronized (temporally) video sources initially with the sensors:
  • the terminal that records the video is synchronously timed with the sensor data. This is for example the case when a smartphone records the video while collecting the data from the sensors via a radiocommunication connection.
  • the Smartphone defines the time reference: on the basis of its internal clock, a time base derived from a GPS receiver, or a time base receiver receiving information from a terrestrial transmitter. (transmitter of France Inter in France, DCF77 system in Germany ...), or by synchronizing itself on the mobile network.
  • the smartphone communicates with the connected sensor so that they synchronize their respective time bases.
  • the sensor itself has a GPS receiver or a time base receiver in which case the synchronization is effected by means of this common time base between the Smartphone and the connected sensor.
  • the sensor comprises a plurality of dels (electroluminescent diodes) arranged to form a specific luminous pattern whose lighting is controlled temporally by the microprocessor present in the connected sensor.
  • dels electroactive diodes
  • the sensor comprises a plurality of dels (electroluminescent diodes) arranged to form a specific luminous pattern whose lighting is controlled temporally by the microprocessor present in the connected sensor.
  • the dels flash in a particular way and the filmmaker is asked to point his camera (or any other device making the recording) to the dels until the end of the song, this before continue video recording.
  • 2 streams are generated: the video stream of the camera as well as a stream integrating the dels control times and the performance data from the sensors.
  • These two data streams are retrieved by a computer (desktop computer, portable computer, smartphone, digital tablet, etc.) which includes a specific program implementing a signal processing algorithm known to the person in charge.
  • a computer desktop computer, portable computer, smartphone, digital tablet, etc.
  • Applied art on these two streams and to synchronize temporally the two streams.
  • the performance data is synchronized temporally with the video data and the filmmaker or any other person will be able to create augmented videos with the automatic creation mechanisms as seen previously.
  • the luminous graphic pattern can also be replaced by a device generating audible sound (small speaker, generator exploiting the piezoelectric effect - commonly called buzzer-, ...) which will lead to recognizing a specific audio nature sig place and place of the graphical nature of the luminous pattern.
  • Smartphone for building augmented videos.
  • the sportsman activates his connected sensor.
  • the filmmaker films the athlete at special moments during the descent.
  • the filmmaker retrieves the data from the connected sensor in order to build the augmented video.
  • time synchronization is performed.
  • a mixed mode corresponding to a case where the filmmaker and the sportsman wish to be in a real time mode.
  • the connected sensor switches to the delayed mode and will transmit the stored (and processed) data as soon as it can to the Smartphone.
  • the sensor must be miniaturized and for that consume as little energy as possible in order to board a battery having small dimensions.
  • voice transmission devices that adapt the compression ratio to the quality of the link of the communication, in order to transmit the voice even if the quality of the link is degraded.
  • the bracelet (1) is a sensor connected as defined above, it comprises a number of electronic components and sensors.
  • the electronics integrated into the bracelet includes radio communication means able to exchange information with the smartphone (3).
  • the radiocommunication link (2) between (1) and (3) is symbolized in the figure.
  • the product that includes the sensors is here represented in the form of a bracelet, this is in no way limiting, there are other configurations as a small monobloc product that can be accommodated in a holding accessory (on various locations in the body) without electronics. or a product very flat and deformable to adapt to body shapes.
  • the Smartphone retrieves the data from the sensors to exploit them to make the augmented videos.
  • Figure 2 This figure represents an internal view of the bracelet.
  • the sensors (4) use a variety of technologies such as Micro-Electro-Mechanical Systems (MMS) technology, which allows for significant miniaturization and reduced consumption.
  • the bracelet also comprises a rechargeable battery (5) and a set of electronic components (6) of the microprocessor type and integrated radio communication circuits.
  • the radiocommunication standard used for the link (2) can, for example, be of the BLE (Bluetooth Low Energy) type or the Wifi type (802.11 IEEE standard).
  • the sensors (4) transmit their information to the microprocessor which merges the data in order to calculate different parameters such as the speed by means of a simple integration, the displacement by means of a double integration, or changes of reference marks. orthogonal, etc. this before transmit this data to the radiocommunication transmitter which will transmit them to the Smartphone.
  • FIG. 3 This figure shines the descriptions made above, especially with regard to the lines 10 to 35 of page 5.
  • the abscissa represents the time that can be used to identify the moments when the information different sensors are recorded.
  • the ordinate axis represents the modulus of the acceleration A.
  • aX represents the acceleration along the X axis, aY the following along the Y axis and az along the Z axis.
  • aT is the earth-axis acceleration along the Z axis, also measured using sensors in static phases, where ti is the time marker corresponding to the moment when the acceleration modulus exceeds a predefined threshold that i allows to define a phase of intense activity named "strong moment".
  • a temporal window named "Time Zone 1" of the word Zt is set to the time marker t 1. This time window is aj usted to be greater than the typical duration of an activity (service to tennis, punch to boxing ...) of the sport practiced.
  • Figure 5 This is the actual variation that will be applied to make the changes more gradual. This curve is obtained by low-pass filtering, for example, from the second order, starting from the curve of FIG.
  • Figures 6 and 7 show the bracelet (7) incorporating sensors to which has been added the luminous graphical pattern described above. in the section "Creating augmented videos from unsynchronized video sources (temporally) initially with the sensors".
  • Figure 7 shows the local detail of the graphic pattern consisting of 3 light points, each light point is a del identical to (8). This graphic pattern very simple in this example can be more complex and represent lines, a letter for example ...
  • pattern recognition processing (not described here because already known to those skilled in the art) is to determine when this pattern disappears in order to perform time synchronization. Obviously the accuracy is limited by the sampling frequency of the successive images recorded by the camera: 100 images per second for example.
  • the wearer of the bracelet can vocally control (microphone and electronics necessary in the sensor, of course) the moment when the dels will start operation so the user can make sure to have at this moment the camera terminal making the recording properly so that the light pattern is in the field of view of the camera.
  • This vocal triggering can also be achieved by a vibratory trigger, the wearer of the "sensor” tapping in a particular way on the body of the "sensor".
  • this light pattern recognition device with a voice recognition device using a simultaneous recording of the sound in the sensor and in the terminal performing the video recording (and audio).
  • FIG. 8 These figures describe in a simplified manner the functional blocks of the connected sensor.
  • the block (9) represents the sensors consuming an I_Cap current.
  • the block (10) represents the digital part (analog / digital converters, microprocessor, signal processing unit, memory, etc.) processing the information. This block (10) consumes a current noted I_Dig.
  • the block (11) represents the radiofrequency part (digital / analog converters, frequency synthesizers, oscillator, amplifier, mixers, modulators, antennas, etc.) responsible for transmitting and receiving high frequency information (typically at 2.4GHz). This block (11) consume a current noted I_RF.
  • the curve (12) represents the typical evolution of the current consumed by the radiofrequency part as a function of the flow rate D2. This curve is actually a network of curves because the modulation system may be different for the same flow. In order to simplify the presentation, only one curve is shown: for the same modulation, the same power level ... an increase in the average bit rate leads to having to transmit more often (time-division multiplexing system) and therefore leads to a consumption that believes with the average flow.
  • the curve (13) represents the typical evolution of the current as a function of D2, it is easy to understand that the lower the flow rate and the more it requires computing power to exploit the redundancies of the signals. In reality, it is a discontinuous curve because only certain flows are possible depending on the type (limited in number) of algorithm applied. In order to simplify the presentation a continuous curve has been represented.
  • the curve (14) represents the shape of the total current drawn on the battery for a given configuration and the curve (15) for another configuration, in fact the treatments are different depending on the sport and the type of modulation chosen at a given moment given.
  • the connected sensor continuously performs an analysis according to various criteria (modulation in progress, type of sport, types of digital treatments available, ...) in order to choose the best compromise and thus decide if the treatments are carried out locally in the sensor connected or in Smartphone, example for some cases by referring to curves (14) and (15):
  • the quality of the radiofrequency link (2) is such that it can be transmitted at the rate D22. In the case of the curve (14) it is necessary to transmit at the rate D21 in order to optimize the consumption of the connected sensor whereas in the case of the curve (15) it is advantageous to transmit at the rate D22 and thus to choose the type of appropriate digital processing.
  • the quality of the link (2) is such that it can only be transmitted at flow D20. In the case of the curve (14) it is necessary to transmit at the rate D20 and it will be the same for the case of the curve (15).
  • the data of the sensors are simply collected or transmitted to the radio block of the connected sensor, in this case the flow rate D2 is maximum, 30kbps for example and the treatment of Detailed analysis is done by the Smartphone.
  • a treatment consisting in performing all the data analysis and detecting, for a given sport, the type of gesture and its characteristics. For example, "Realized service with a maximum acceleration of 5g and a rotational speed of 600 degrees per second". In this case it is obvious that the bit rate necessary to code this information will be very similar, the bit rate D2 will be very low, for example 300bps. In this case the treatment is very limited on the Smartphone side.
  • the connected sensor analyzes its positioning in the space that it models by a parameterized curve (using a polynomial formulation for example) and then transmits the values of these parameters. settings.
  • the bit rate will be of the order of 5kbps and the Smartphone will have to perform additional data analysis treatments.
  • FIG. 9 This figure gives a general representation of the so-called general public system.
  • the mobile network is interconnected with the internet network (22) for accessing the data servers (23) also connected to the Internet.
  • FIG. 10 Compared to Figure 9 the Smartphone is replaced by a housing (28) responsible for communicating with the connected sensors.
  • the link (26) is preferably identical to that of FIG. 9 (link (16)).
  • the housing (28) also has sensors, so there are cases where the connected sensors (27) are not necessary.
  • the housing (28) communicates with a radio frequency link (29) to a private network (30) to transmit data from the sensors.
  • the link (29) uses for example the so-called ISM frequencies (Scientific and Medical Instrumentation) with a proprietary protocol for connecting to a first private network included in (30) which consists of several fixed radio frequency stations.
  • ISM frequencies Sesific and Medical Instrumentation
  • each player is equipped with a housing and several sensors connected, these boxes (28) communicate with radio stations located around the lawn between the spectators and the playground.
  • the fixed stations belonging to the private network are connected for example via an Ethernet network to a second private network located in (30) connected typically to the trucks used for television production and which collect and control the cameras filming a sporting event.
  • a second private network located in (30) connected typically to the trucks used for television production and which collect and control the cameras filming a sporting event.
  • Private networks (30) can be connected to an Internet network in order to access servers or more simply so that the assembly can be controlled remotely.
  • the data from the sensors are transmitted and stored in the servers (35), these data are then recovered by the trucks used to perform television production through their private network. Augmented videos can be created.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Computer Security & Cryptography (AREA)
  • Chemical & Material Sciences (AREA)
  • Physiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Neurosurgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Electromagnetism (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

"Dispositif de création de vidéos augmentées », il' s'agit d'un dispositif de création de séquences vidéo dans lesquelles sont ajoutées un certain nombre de données afin de mieux interpréter et apprécier la séquence vidéo. Le cas d'usage typique est le suivant : une personne équipée d'un Smartphone (ou de tout autre terminal connecté capable d'effectuer un enregistrement vidéo) filme une autre personne (ou un objet) qui possède sur elle des capteurs (accéléromètres, gyromètres …) communicants. Après traitement les données des capteurs communicants sont transmises par l'intermédiaire d'une communication sans fil au Smartphone qui va les agréger avec la séquence vidéo créée. C'est en ce sens que l'on parle de « vidéo augmentée ».

Description

«Dispositif de création de vidéos augmentées»
Domaine technique
La présente invention concerne un dispositif de création de séquences de « vidéos augmentées ». Le cas d'usage typique est le suivant : une personne équipée d'un Smartphone (le Smartphone est un téléphone cellulaire mobile doté en particulier d'une caméra, d'un écran et d'une unité de traitement numérique, mais il peut également s'agir de tout autre terminal capable d'effectuer un enregistrement vidéo) filme une autre personne (ou un objet) qui possède sur elle des capteurs (accéléromètre, gyromètre, thermomètre, cardio-fréquencemètre, capteur de taux d'oxygène dans le sang, capteur de pression ...). Après traitement des données issues des capteurs, celles-ci sont transmises par l'intermédiaire d'une communication sans fil au Smartphone qui va les agréger avec la séquence vidéo créée. C'est en ce sens que l'on parle de « vidéo augmentée ». Dans la suite du texte on parle de « capteurs connectés » quand il s'agit d'un dispositif (se présentant d'un point de vue mécanique sous diverse formes : bracelet, parallépipède, cylindre plat ...) comportant les capteurs proprement dit, l'électronique de traitement analogique et numérique ainsi que la partie radiofréquence permettant d'assurer la communication sans fil.
Le dispositif objet de l'invention permet d'assister les utilisateurs dans la création de ces séquences fusionnant la vidéo et les données issues des capteurs.
Etat de la technique antérieure
On connaît des dispositifs de création de vidéo augmentée :
La société Amisco (http://www.sport-universal.com/) propose un système de création de vidéos augmentées basée sur l'analyse des vidéos capturées par des caméras lors d'événement sportifs. Les éléments issus de l'analyse des vidéos viennent ensuite alimenter une base de données qui peut être exploitée à différentes fins dont la création de vidéos augmentées. La société Deltatre (http ://www.deltatre.com/) commercialise un ensemble de services capable sur différents supports (téléviseur, Smartphone, Tablette ...) de fusionner différentes données avec la vidéo. Ces données sont issues de base de données statique ou dynamique potentiellement collectées, traitées puis ajoutés durant un événement sportif.
La société Opta (http ://www.optasports.com/) a une approche proche de Deltatre ou Amisco, elle crée également des contenus vidéo ou des pages web associant images, vidéos et des statistiques diverses collectés dans des bases de données.
Sans citer spécifiquement les sociétés réalisant la technique d'ajout d'informations dans les vidéos, il est commun lors d'un événement transmis sur les canaux télévisés de voir diverses informations ajoutées : par exemple lorsqu'un un service au tennis est visualisé au ralenti en y ajoutant la vitesse de la balle.
L'incrustation de données dans une vidéo est une opération humaine, l'homme intervenant pour interpréter la vidéo afin d'y associer des données complémentaires. Ces données ne sont pas issues de capteurs portés par les joueurs et en outre la puissance de calcul mise en jeux ainsi que la durée de l'intervention humaine peuvent être très importantes car peu limitées par des contraintes de temps, de taille, de rapidité de calcul ou de dissipation d'énergie.
En ce qui concerne la fusion entre la vidéo et les données issues de capteurs, nous pouvons également citer les terminaux de saisie d'enregistrement vidéos qui comportent des capteurs (récepteur GPS, capteur de température, d'humidité ...) et qui associent à la vidéo ou à la photo les données de ces capteurs.
D'autres exemples fusionnant la vidéo et les données proviennent du monde cinématographique où les comédiens possèdent des capteurs qui aident le réalisateur à créer des scènes en images et vidéos de synthèse numérique.
Aucun des systèmes existants de l'état de la technique ne permet à un utilisateur réalisant une vidéo augmentée d'interagir aisément avec la ou les personne(s) filmée(s) possédant des capteurs dans le but de créer automatiquement des séquences vidéo augmentées. Le but de l'invention est de proposer un dispositif incluant le terminal qui filme, les capteurs connectés ainsi que les serveurs de traitement et de stockage des données afin de rendre possible et efficace la création de séquences de vidéos augmentées.
Exposé de l'invention
Afin de simplifier l'exposé de l'invention, la description est effectuée pour un cas de figure qui regroupe une personne réalisant le film et contrôlant le terminal qui enregistre la vidéo et une personne portant le ou les capteurs connectés. La personne réalisant le film est dans la suite du texte désignée par le terme « le cinéaste » et la personne portant les capteurs connectés par « le sportif ». Il est évident que cette description n'est nullement limitative et n'est utilisée que pour rendre les propos plus concrets en traitant un cas spécifique. A titre d'exemple on peut imaginer un cas de figure où « le cinéaste » et « le sportif » sont une seule et même personne, le terminal qui enregistre la vidéo étant alors contrôlé par le sportif. Il est également évident que l'homme de l'art saura utiliser le dispositif décrit à d'autres domaines que le domaine sportif.
L'exposé liste les problèmes spécifiques à l'interaction cinéaste - sportif et apporte des solutions qui constituent l'objet de l'invention.
Création automatique des vidéos à partir des données fournies par le ou les capteurs : Comme cela a été évoqué lors de la description de l'état de l'art les systèmes existants se basent sur l'intervention humaine pour détecter ce que fait le sportif à un instant donné afin de créer une séquence vidéo avec un effet de type ralenti, par exemple, qui sera ensuite distribuée sur les différents canaux de diffusion (télévision, second écran de type tablette, site web ...). L'objet de l'invention est en particulier d'autoriser la génération automatique de séquences vidéo ralenties pertinentes. Les étapes suivantes décrivent le processus :
• Le type de sport pratiqué est connu
• Le profil de l'utilisateur est connu (poids, taille, performance clefs pour le sport pratiqué, ...). Ce profil est soit disponible localement dans le Smartphone soit récupéré sur un serveur distant au sein du réseau de télécommunication. • Le cinéaste déclenche le démarrage de l'enregistrement vidéo. Ce déclenchement peut également être piloté à distance par le sportif par le biais d'une télécommande.
• Les différents paramètres issus des capteurs : accélération, vitesse de rotation, orientation, pression atmosphérique ... sont enregistrés aux instants d'échantillonnage du temps.
• Le cinéaste stoppe l'enregistrement de la vidéo. Ce déclenchement peut également être piloté à distance par le sportif.
Ainsi, après la séquence sportive, le Smartphone a enregistré dans sa mémoire les données relatives à la vidéo ainsi que des données correspondant à l'activité du sportif. Ces dernières sont synchronisées temporellement avec la vidéo. L'ensemble de ces données « vidéo+activités » est injecté dans un algorithme chargé de sélectionner les « moments forts » de la séquence vidéo. « Les moments forts » correspondent aux phases d'activités les plus intenses. A titre d'exemple l'accélération est analysée sur l'ensemble des activités, les pics sont relevés, si on recherche les 5 pics les plus intéressants, 5 zones temporelles seront sélectionnées. La durée de chacune des zones dépend du sport pratiqué : de l'ordre de 2s par exemple pour le tennis, durée que nous nommons « durée type » . Les 5 zones temporelles ainsi sélectionnées sont transmises à un autre algorithme qui recueillera les données des vidéos sur des fenêtres temporelles centrées sur chacune des zones et d'une longueur (paramétrable) supérieure à la « durée type » d'un événement, typiquement 2 à 3 fois supérieure. Une fois ces données « vidéo+activités » récupérées, le Smartphone sera à même, grâce à un programme approprié, de générer des séquences vidéos ralenties pertinentes car correspondant à des instants d'activités intenses. En outre les données provenant des activités seront utilisées pour ajouter des informations sur la vidéos comme la vitesse, l'accélération, la puissance, la hauteur de saut ... Ces données associées à la vidéo visualisée au ralenti constitue ce que nous nommons une « vidéo augmentée » car augmentée par des données aidant à interpréter et apprécier la performance sportive. Le processus décrit précédemment correspond à une génération automatique sans intervention du cinéaste. Il sera toutefois possible de modifier des réglages afin d'agir sur les séquences de vidéos augmentées : Si les vidéos ne satisfont pas le cinéaste, celui-ci peut agir sur divers paramètres pour générer d'autres séquences vidéo, par exemple en modifiant le nombre de vidéos générées (modification du paramètre « nombre de vidéos à générer ») ou encore en ne sélectionnant que les vidéos où le sportif a sauté à plus de lm, par exemple ... ou encore pour lesquelles la puissance développée est supérieur à un certain seuil .
Le principe de paramétrage par défaut permet une génération automatique de vidéos augmentées adaptées à un usage simplifié et rapide. La modification des paramètres par défaut (par l'intermédiaire d'un menu « expert » par exemple) autorisera la modification des paramètres pour ceux qui souhaitent une génération sur mesure.
Du processus de génération, les données suivantes seront disponibles :
• Les données de vidéo + données brutes des activités : données brutes issues des capteurs
• Les données de vidéo + données interprétées : performances calculées, par exemple la puissance développée, la valeur efficace de l'accélération sur une durée donnée, la hauteur d'un saut ... ceci à partir des données issues des capteurs
• Les vidéos augmentées : données interprétées directement incrustées dans la vidéo, donc pas de dissociation de la vidéo et des données
Des droits spécifiques donneront accès à l'intégralité des données citées ou uniquement à une partie. Etant entendu que le volume des données varie en fonction de la nature de celle-ci, les données interprétées constituent une compression des données brutes.
En ce qui concerne l'ajustement du ralenti, celui-ci peut s'effectuer avec un nombre d'image par seconde qui sera défini en fonction de certains paramètres, par exemple : La séquence vidéo est filmée à 120 images par seconde, la visualisation au ralenti autour des instants intéressants s'effectue à un rythme fixe de 20 images par secondes ou bien à un rythme variable allant de 120 images par seconde en début de séquence, se réduisant à 10 images par secondes durant la phase d'activité intense afin de restituer au mieux toute la performance du sportif, puis retournant à un rythme de 120 images par seconde à la fin de la séquence. Création d'effets vidéo et photo synchronisés sur les données issues des capteurs : Grâce aux données synchronisées avec la vidéo il est ainsi possible de créer automatiquement des ralentis en fonction des données issues des capteurs. En procédant de façon similaire des photos extraites de la vidéo peuvent avantageusement être crées de façon également automatique. Considérons par exemple le cas de figure d'un saut à moto, quand les capteurs ont détecté le pic de hauteur lors du saut, quelques photos sont extraites (4 ou 5 typiquement) autour de l'événement. Le cinéaste pourra ensuite sélectionner la photo qui lui plait le plus, voire également modifier les critères de déclenchement afin de générer d'autres photos. Divers effets vidéo ou photographiques peuvent être créés grâce aux capteurs : succession de photos autour des instants d'activité intenses, effet de traînée, musique spécifique accompagnant l'instant où l'activité du sportif est à son maximum, effets de lumière, halot lumineux, ajout d'un message de félicitations, sans oublier l'ajout des informations de performance (hauteur, temps dans l'air -sans contact avec le sol ou la mer-, puissance, accélération, vitesse ...) .
Processus d'accélération des traitements consécutifs à la création de la vidéo : Afin de réduire les traitements consécutifs à l'enregistrement de la vidéo augmentée des données de performances du sportif, le processus se déroule en plusieurs étapes :
• Enregistrement des données vidéo ainsi que des données de performances issues des capteurs.
• Vérification en permanence de la valeur maximale de certains paramètres comme l'accélération, la vitesse de rotation, ou une grandeur combinée rendant compte de la puissance instantanée par exemple. Sur la base de ces calculs, maintien à jour et stockage dans la mémoire du Smartphone (ou du capteur connecté suivant le cas) des marqueurs temporels permettant de repérer le démarrage des 5 (paramétrable) séq uences les plus intéressantes.
Sur la base des marq ueurs temporels, création des séq uences vidéo ralenties sur u ne durée de 2s (paramétrable) centré sur les marqueurs temporels.
Ainsi le traitement est beaucoup plus rapide car il ne se focalise que sur les zones d'intérêt. Le ralenti ainsi q ue tous les effets que nous avons vu auparavant (ajout de texte, incrustation de données de performance, ajout d 'un message vocal, création d'une photo au pic de performance ...) ne sont réalisés q ue sur les zones intéressantes afin de prod uire au plus vite la vidéo aug mentée qui sera visual isée par le cinéaste ou partagée avec son entourage. Création de vidéos augmentées à partir de sources de vidéos non synchronisées (temporel lement) initialement avec les capteurs : Dans certains cas le terminal q ui enregistre la vidéo est d irectement synchronisé temporellement avec les données des capteurs. C'est par exemple le cas quand un Smartphone enregistre la vidéo tout en collectant les données issues des capteurs par l'interméd iaire d'une l iaison de radiocommunication .
Dans ce cas le Smartphone défin it la référence de temps : sur la base de son horloge interne, d 'une base de temps issue d 'un récepteur GPS, ou d'un récepteur de base temporelle recevant l'information d 'un émetteur terrestre (émetteur de France Inter en France, système DCF77 en Allemag ne ...), ou encore en se synchronisant sur le réseau de téléphonie mobile . Le Smartphone communique avec le capteur connecté afin q u'ils synchronisent leurs bases de temps respectives. On peut bien évidemment imag iner des situations où le capteur lui-même possède un récepteur GPS ou un récepteur de base temporelle auquel cas la synchronisation s'effectue par l'interméd iaire de cette base de temps commune entre le Smartphone et le capteur connecté.
Mais dans d'autres cas il n'y a pas de moyens de synchronisations similaires à ceux décrits dans le parag raphe précédent. C'est à ce cas de fig ure auquel nous nous intéressons et pour lequel nous proposons une méthode de synchronisation temporel le : Le capteur comporte plusieurs dels (d iodes électrolum inescentes) agencées de façon à constituer un motif g raphiq ue lumineux spécifiq ue dont l'éclairage est contrôlé temporel lement par le microprocesseur présent dans le capteur connecté. En début de séance les dels clignotent d 'une façon particul ière et il est demandé au cinéaste de pointer sa caméra (ou tout autre dispositif réal isant l'enregistrement) vers les dels jusqu 'à la fin d u cl ig notement, ceci avant de poursuivre l'enreg istrement vidéo . Une fois l'enregistrement vidéo effectué et stocké, 2 flux sont générés : le flux vidéo de la caméra ainsi qu'un flux intégrant les instants de contrôle des dels et les données de performances issues des capteurs. Ces deux flux de données sont récupérés par un ordinateur (ordinateur de bureau, ord inateur portable, Smartphone, tablette numérique ...) q ui comporte un programme spécifiq ue mettant en œuvre un algorithme de traitement d u signal connu de l'homme de l'art appl iq ué sur ces deux flux et permettant de synchroniser temporellement les deux flux . Ainsi à l'issue de ce traitement les données de performances sont synchronisées temporel lement avec les données vidéo et le cinéaste ou toute autre personne sera en capacité de créer des vidéos augmentées avec les mécanismes de création automatique tels que vus précédemment. Le motif graphique lumineux peut également être remplacé par un dispositif générant un son aud ible (petit hautparleur, générateur exploitant l'effet piézoélectrique -communément appelé buzzer-, ...) qui conduira à reconnaître une sig nature audio spécifique en l ieu et place de la sig nature graph ique d u motif g raphiq ue lumineux. Dans une autre réal isation il peut être avantageux d 'enregistrer simultanément, dans le terminal réal isant l'enreg istrement vidéo (et aud io pour rappel) et dans le capteur connecté (disposant alors d'un microphone et de l'électronique nécessaire au traitement), un son particul ier (ord re de l'util isateur par exemple) qu i servira ensuite à la synchronisation temporel le. Cette synchronisation temporelle est effectuée par recherche de simil itudes (dans un ordinateur portable par exemple) des deux signaux : celu i stocké dans le terminal effectuant l'enregistrement vidéo et celu i stocké dans le capteur connecté . Modes de fonctionnement : De façon assez similaire à ce qui est décrit dans le paragraphe « Création de vidéos augmentées à partir de sources de vidéos non synchronisées (temporellement) initialement avec les capteurs » dans certains cas le Smartphone et le ou les capteurs connectés ne sont pas reliés de façon permanente : Le cinéaste réalise la vidéo (on le rappelle en enregistrant également le son) indépendamment des enregistrements des capteurs connectés, les capteurs connectés collectent les données des capteurs, les analysent et stockent ces résultats dans une mémoire interne du capteur connecté. Il y a finalement trois modes distinctes de fonctionnement :
• Un mode temps réel où le Smartphone et le ou les capteurs connectés sont synchronisés temporellement. Les données des capteurs sont transmises (après traitement local dans le capteur connecté) vers le Smartphone quasiment en temps réel (à la durée de traitement près).
• Un mode temps différé où le Smartphone et le ou les capteurs connectés sont synchronisés temporellement (avant ou après les enregistrements). Par contre les données des capteurs sont stockées uniquement dans la mémoire interne du capteur connecté et ne sont transmises que ponctuellement vers le
Smartphone pour construction des vidéos augmentées. Afin de fixer les idées imaginons une descente à ski, en début de descente le sportif active son capteur connecté. Le cinéaste filme le sportif à des moments privilégiés durant la descente. Durant la descente ou en fin de descente le cinéaste récupère les données du capteur connecté afin de construire la vidéo augmentée. A chaque échange de donnée entre le Smartphone du cinéaste et le capteur connecté du sportif, la synchronisation temporelle est effectuée.
« Un mode mixte correspondant à un cas où le cinéaste et le sportif souhaitent être dans un mode temps réel. Cependant à cause de la nature de la connexion radiofréquence entre le Smartphone et le capteur connecté il peut y avoir des moments où la connexion est rompue pendant quelques secondes. Dans ce cas le capteur connecté passe en mode temps différé et transmettra les données stockées (et traitées) dès qu'il le pourra vers le Smartphone. Optimisation de la puissance consommée en fonction du sport pratiqué et de la qualité de la liaison sans fil entre le ou les capteurs et le Smartphone : Le capteur se doit d'être miniaturisé et pour cela consommer le moins d'énergie possible afin d'embarquer une batterie ayant de petites dimensions. On connaît déjà des dispositifs de transmission de la voix qui adaptent le taux de compression à la qualité de la liaison de la communication, ceci afin de transmettre la voix même si la qualité de la liaison se dégrade. Ici nous avons une autre préoccupation qui s'ajoute aux principes connus : transmettre de l'information de façon à optimiser la consommation du capteur connecté. Pour cela un modèle mathématique de consommation du capteur connecté est établi et implémenté dans un programme du microprocesseur contenu dans le capteur connecté, ce programme évalue en permanence s'il vaut mieux effectuer les calculs à bord du capteur ou les déporter dans le Smartphone afin de réduire au maximum la consommation énergétique du capteur connecté. Le fonctionnement est explicité plus loin dans la partie « Description des figures et des modes de réalisation ».
Configuration « grand public » et « professionnelle » , implications : Dans un souci de simplification la description effectuée précédemment correspond au cas dit grand public mettant en jeu un Smartphone et un ou plusieurs capteurs connectés. Le dispositif décrit peut également fonctionner dans une configuration dite professionnelle, dans ce cas le ou les capteurs connectés communiquent non pas avec un Smartphone mais avec un boîtier porté sur le corps ou sur un équipement du sportif, ce boîtier est chargé de collecter et traiter les données des capteurs connectés avant de les transmettre à une distance plus importante que ne peut le faire la liaison Smartphone-Capteur connectés. Le boîtier en question peut également comporter des capteurs et comme ce boîtier n'est destiné qu'à collecter, traiter et transmettre l'information des capteurs connectés il n'a pas nécessairement besoin de comporter une caméra, un écran ou un processeur très puissant, de ce fait il est nettement plus léger et moins encombrant qu'un Smartphone conventionnel . Description des figures et des modes de réalisation
Figure 1 : Le bracelet ( 1) est un capteur connecté tel que défini précédemment, il comporte un certain nombre de composants électroniques ainsi que des capteurs. L'électronique intégrée dans le bracelet comporte des moyens de radiocommunication aptes à échanger des informations avec le Smartphone (3) . La liaison de radiocommunication (2) entre ( 1) et (3) est symbolisée sur la figure. Le produit qui comporte les capteurs est ici représenté sous la forme d'un bracelet, cela n'est nullement limitatif, il existe d'autres configurations comme un petit produit monobloc logeable dans un accessoire de maintien (sur divers emplacements du corps) sans électronique, ou encore un produit très plat et déformable afin de s'adapter aux formes du corps. Comme cela a été vu plus haut dans l'exposé, le Smartphone récupère les données issues des capteurs afin de les exploiter pour réaliser les vidéos augmentées. Figure 2 : Cette figure représente une vue interne du bracelet. Les capteurs (4) font appel à des technologies diverses comme la technologie M EMS (Micro-Electro-Mechanical Systems) permettant une importante miniaturisation et une consommation réduite. Le bracelet comporte également une batterie rechargeable (5) ainsi qu'un ensemble de composants électroniques (6) de type microprocesseur et de circuits intégrés de radiocommunication . Le standard de radiocommunication utilisé pour la liaison (2) peut, par exemple, être de type BLE (Bluetooth Low Energy) ou de type Wifi (norme 802.11 IEEE) . Les capteurs (4) transmettent leurs informations au microprocesseur qui fusionnent ces données afin de calculer différents paramètres comme la vitesse à l'aide d'une simple intégration, le déplacement à l'aide d'une double intégration, ou encore des changements de repères orthogonaux, etc ceci avant de transmettre ces données à l'émetteur de radiocommunication qui les transmettra vers le Smartphone.
Figure 3 : Cette fig ure il lustre les descriptions effectuées plus haut, en particu lier en ce q ui concerne les lignes 10 à 35 de la page 5. L'axe des abscisses représente le temps q ui permet de repérer les instants où les informations des différents capteurs sont enreg istrées. L'axe des ordonnées représente le module de l'accélération A. aX représente l'accélération suivant l'axe X, aY cel le su ivant l'axe Y et aZ celle su ivant l'axe Z . aT est l'accélération terrestre suivant l'axe Z, également mesurée à l'aide des capteurs dans des phases statiq ues, ti est le marqueur temporel correspondant à l'instant où le modu le de l'accélération dépasse un seuil prédéfini qu i permet de définir une phase d 'activité intense nommé « moment fort » . U ne fenêtre temporelle nommée « Zone temporel le » de du rée Zt est calée sur le marqueur temporel ti . Cette fenêtre temporelle est aj ustée de façon à être supérieure à la durée type d 'une activité (service au tennis, coup de poing à la boxe ...) du sport pratiqué .
Figure 4 : Cette fig ure est directement dépendante de la fig ure 3 pu isq ue tous les repères temporels en sont déduits. Ce g raphe montre comment le nombre d'images par seconde de la vidéo est rend u variable afin de mieux apprécier le ralenti : N I est typiquement égal à 120 images par seconde, N2 égal à 10 images par seconde et N 3 égal à 5 images par seconde . Afin de préciser les choses, pour le tennis par exemple nous aurons les valeurs suivantes : Durée type = 2 secondes ; Zt = 4 secondes ; tl = 0,5 seconde ; t2 = 1 seconde ; t3 = 0,5 seconde.
Figure 5 : Il s'agit de la variation réel le qui sera appliq uée afin de rend re les évolutions plus progressives. Cette courbe est obtenue par un filtrage passe bas, d u second ord re par exemple, en partant de la courbe de la figure 4.
Figures 6 et 7 : Ces figures représentent le bracelet (7) intég rant des capteurs auq uel a été ajouté le motif graphiq ue lumineux décrit ci-avant dans le paragraphe « Création de vidéos augmentées à partir de sources de vidéos non synchronisées (temporellement) initialement avec les capteurs » . La figure 7 représente le détail local du motif graphique composé de 3 points lumineux, chaque point lumineux est une del identique à (8) . Ce motif graphique très simple dans cet exemple peut être plus complexe et représenter des lignes, une lettre par exemple ...
L'objectif du traitement de reconnaissance de motif (non décrit ici car déjà connu de l'homme de l'art) est de déterminer à quel instant ce motif disparait afin de d'effectuer la synchronisation temporelle. Bien évidemment la précision est limitée par la fréquence d'échantillonnage des images successives enregistrées par la caméra : 100 images par seconde par exemple. Dans le but de faciliter cette synchronisation, le porteur du bracelet peut commander vocalement (microphone et électronique nécessaire dans le capteur, bien évidemment) l'instant où les dels se mettront en fonctionnement ainsi l'utilisateur pourra veiller à disposer à cet instant la caméra du terminal réalisant l'enregistrement convenablement afin que le motif lumineux soit bien dans le champ de prise de vue de la caméra . Ce déclenchement vocal peut également être réalisé par un déclenchement vibratoire, le porteur du « capteur » tapotant d'une façon particulière sur le corps du « capteur » . De façon avantageuse il est possible de combiner ce dispositif de reconnaissance de motif lumineux par un dispositif de reconnaissance vocale exploitant un enregistrement simultané du son dans le capteur et dans le terminal réalisant l'enregistrement vidéo (et audio) .
Figures 8 : Ces figures décrivent de façon simplifiée les blocs fonctionnels du capteur connecté. Le bloc (9) représente les capteurs consommant un courant I_Cap. Le bloc ( 10) représente la partie numérique (convertisseurs analogiques/numériques, microprocesseur, unité de traitement de signal, mémoire ...) traitant l'information . Ce bloc ( 10) consomment un courant noté I_Dig . Le bloc ( 11) représente la partie radiofréquence (convertisseurs numériques/analogiques, synthétiseurs de fréquence, oscillateur, amplificateur, mélangeurs, modulateurs, antennes ...) chargé de transmettre et recevoir de l'information à haute fréquence (typiquement à 2,4GHz). Ce bloc (11) consomment un courant noté I_RF. En sortie du bloc (9) le débit numérique moyen en bit par secondes (noté bps ou kbps = kilobit par seconde) est noté Dl. Il est noté D2 en sortie du bloc (10), ce même débit se retrouve en entrée du bloc (11). La courbe (12) représente l'évolution typique du courant consommé par la partie radiofréquence en fonction du débit D2. Cette courbe est en réalité un réseau de courbes car le système de modulation peut être différent pour un même débit. Afin de simplifier l'exposé une seule courbe est représentée : pour une même modulation, un même niveau de puissance ... une augmentation du débit moyen conduit à devoir transmettre plus souvent (système à multiplexage temporel) et donc conduit à une consommation qui croit avec le débit moyen. La courbe (13) représente l'évolution typique du courant en fonction de D2, il est aisé de comprendre que plus le débit diminue et plus cela requiert de puissance de calcul pour exploiter les redondances des signaux. En réalité il s'agit d'une courbe discontinue car seuls certains débits sont possibles en fonction du type (limité en nombre) d'algorithme appliqué. Afin de simplifier l'exposé une courbe continue a été représentée. La courbe (14) représente l'allure du courant total tiré sur la batterie pour une configuration donnée et la courbe (15) pour une autre configuration, en effet les traitements sont différents en fonction du sport et du type de modulation choisi à un instant donné.
Le capteur connecté réalise en permanence une analyse en fonction de divers critères (modulation en cours, type de sport, types de traitements numériques disponibles, ...) afin de choisir le meilleur compromis et ainsi décider si les traitements sont réalisés localement dans le capteur connecté ou dans le Smartphone, exemple pour quelques cas en se reportant aux courbes (14) et (15) :
• Premier cas : La qualité de la liaison radiofréquence (2) est telle que l'on peut transmettre au débit D22. Dans le cas de la courbe (14) il faut transmettre au débit D21 afin d'optimiser la consommation du capteur connecté alors que dans le cas de la courbe (15) il y a intérêt à transmettre au débit D22 et ainsi choisir le type de traitement numérique approprié. • Deuxième cas : La qual ité de la liaison (2) est telle q ue l'on ne peut transmettre q u'au débit D20. Dans le cas de la courbe ( 14) il faut transmettre au débit D20 et il en sera de même pour le cas de la courbe ( 15) .
En ce q ui concerne les traitements q ui cond uisent à des débits D2 d ifférents, nous pouvons avoir les config urations su ivantes :
• U ne quasi absence de traitement dans le capteur connecté, les don nées des capteurs sont simplement recueill ies pu is transmises vers le bloc rad io d u capteur connecté, dans ce cas le débit D2 est maximum, 30kbps par exemple et le traitement d 'analyse détail lé est effectué par le Smartphone.
• U n traitement consistant à effectuer toute l'analyse des données et à détecter, pour un sport donné, le type de geste et ses caractéristiq ues. Par exemple « service réal isé avec une accélération maximale de 5g et une vitesse de rotation de 600 degrés par seconde » . Dans ce cas il est évident q ue le débit nécessaire pour coder cette information sera très l imité, le débit D2 sera très faible, 300bps par exemple . Dans ce cas le traitement est très limité du côté du Smartphone.
• De façon extrême nous aurons des cas où le traitement effectué dans le capteur connecté ne lui permettra pas de transmettre en temps réel les informations. Prenons par exemple le cas d'un débit maximum autorisé D2 (pour mainten ir la connexion capteur connecté - Smartphone) de 200bps, si le min imum que sait atteind re le capteur connecté par le biais de ses traitement numérique (compte tenu de sa pu issance de calcul limitée) est de 400bps cela ind uira des retard de transmission .
• Dans un autre exemple conduisant à un débit D2 interméd iaire, le capteur connecté analyse son positionnement dans l'espace q u'il modélise par une courbe paramétrée (en util isant une formulation polynôm ia le par exemple) puis transmet les valeurs de ces paramètres. Dans ce cas le débit sera de l'ord re de 5kbps et le Smartphone devra effectuer des traitements complémentaires d'analyse des données.
Figures 9 : Cette figure donne une représentation générale du système dit grand public. Un ou des capteurs connectés ( 17) communicant par l'intermédiaire de la liaison radiofréquence ( 16) avec le Smartphone ( 18), lui-même communicant avec le réseau de téléphonie mobile (20) par l'intermédiaire d'une liaison radiofréquence (de type 2G, 3G, 4G ...) pour envoyer par exemple des vidéos augmentées ou se connecter au serveur pour récupérer ou stocker des données relatives au sportif ou simplement stocker les données des capteurs. Le réseau mobile est interconnecté avec le réseau internet (22) permettant d'accéder aux serveurs de données (23) également relié au réseau Internet.
Figure 10 : Par rapport à la figure 9 le Smartphone est remplacé par un boîtier (28) chargé de communiquer avec le ou les capteurs connectés. La liaison (26) est de façon préférentielle identique à celle de la figure 9 (liaison ( 16)) . Le boîtier (28) comporte également des capteurs, il existe donc des cas de figure où les capteurs connectés (27) ne sont pas nécessaires. On peut par exemple citer le cas du Rugby où pour certains matchs le boîtier (28) sera placé entre les omoplates du sportif sans ajout d'autres capteurs de type (27) . Le boîtier (28) communique à l'aide d'une liaison (29) de type radiofréquence avec un réseau privé (30) afin de transmettre les données provenant des capteurs. La liaison (29) utilise par exemple les fréquences dites ISM (Instrumentation Scientifiques et Médicales) avec un protocole propriétaire pour se connecter à un premier réseau privé compris dans (30) quant à lui constitué de plusieurs stations radiofréquence fixes. Dans le cas d'un match the football par exemple chaque joueur est équipe d'un boîtier et de plusieurs capteurs connectés, ces boîtiers (28) communiquent avec des stations radiofréquences situées autour de la pelouse entre les spectateurs et l'aire de jeu . Les stations fixes faisant partie du réseau privé sont reliées par exemple par l'intermédiaire d'un réseau Ethernet à un deuxième réseau privé situé dans (30) relié typiquement aux camions servant à effectuer la production télévisuelle et qui collectent et contrôlent les caméras filmant un événement sportif. Ainsi les données issues des capteurs et issues des caméras peuvent être fusionnées (comme cela est effectué dans le Smartphone) pour créer les vidéos augmentées. Les réseaux privés (30) peuvent être reliés à un réseau Internet afin d'accéder à des serveurs ou plus simplement afin que l'ensemble puisse être contrôlé à distance. Dans une variante les données issues des capteurs sont transmises et stockées dans les serveurs (35), ces données sont ensuite récupérées par les camions servant à effectuer la production télévisuelle par le biais leur réseau privé. Les vidéos augmentées peuvent ainsi être créées.

Claims

REVENDICATIONS
Dispositif de création de vidéos augmentées composé d'un cinéaste filmant à l'aide d'un Smartphone (ou d'un produit équivalent) et d'un sportif (ou de toute autre personne, animal ou objet en activité) portant sur lui un ensemble de capteurs recueillant des données, caractérisé par le fait que les capteurs transmettent par le biais d'une radiocommunication les données vers le Smartphone afin que celui-ci construise automatiquement des séquences vidéos incrustant des performances et métriques calculées à partir des données des capteurs. Les données issues des capteurs sont synchronisées temporellement avec la vidéo afin que les performances calculées soient incrustées dans la vidéo de façon synchrone temporellement avec celle-ci.
Dispositif de création de vidéos augmentées selon la revendication 1 caractérisé en ce que les séquences vidéo créées sont des séquences de ralenti adaptées à être stockées ou distribuées sur divers supports (télévision, tablette numérique, site web ...).
Dispositif de création de vidéos augmentées selon la revendication 1 ou 2 caractérisé par le fait que le type de sport peut être connu afin d'effectuer des calculs de performances spécifiques au sport. Cette connaissance du sport est soit définie au préalable, avant l'enregistrement vidéo, ou est directement déterminé par un algorithme de reconnaissance gestuelle basé sur l'exploitation des données provenant des capteurs.
Dispositif de création de vidéos augmentées selon la revendication 1 ou 2 caractérisé en ce que certains paramètres sont connus afin d'effectuer des calculs de performances dépendants de l'utilisateur : poids, taille, mensurations plus détaillées (longueur des bras, des jambes, position du centre de gravité), performances déjà atteintes pour le ou les sports considérés. Ces paramètres sont accessibles par le Smartphone, car stockés localement directement dans le Smartphone ou stockés dans un serveur distant situé au sein d'un réseau de télécommunication accessible par le Smartphone. Dispositif de création de vidéos augmentées selon la revendication 1 ou 2 caractérisé par le fait que l'instant où l'enregistrement de la vidéo débute et est stoppé est contrôlé par le Cinéaste ou par le sportif lui-même à l'aide d'un système de télécommande à distance utilisant les mêmes moyens de radiocommunication que pour la transmission des données issus des capteurs.
Dispositif de création de vidéos augmentées selon les revendications 1 ou 2 caractérisé par le fait qu'à l'issue de l'enregistrement de la vidéo augmentée les données suivantes sont récupérées :
• Les données de vidéo + les données brutes issues des capteurs (accélération, vitesse de rotation, orientation, pression atmosphérique ... enregistrés aux instants d'échantillonnage du temps)
• Les données de vidéo + les performances générales ou spécifiques à un sport donné calculées à partir des données des capteurs.
Dispositif de création de vidéos augmentées suivant la revendication 6 caractérisé par le fait que les données citées en revendication 6 sont utilisées par un algorithme de sélection des « moments forts » de la séquence vidéo. Ces « moments forts » correspondent aux phases où certaines performances sont les plus élevées (accélération - après suppression de l'accélération terrestre - par exemple). L'algorithme est chargé de découper le temps en segments de l'ordre de 2 secondes (paramétrable en fonction du sport) et de rechercher les performances maximales afin de déterminer les séquences temporelles correspondant aux « moments forts ».
Dispositif selon la revendication 7 caractérisé par le fait que le nombre de séquences de « moments forts » est paramétrable.
Dispositif selon l'une des revendication 1 à 8 caractérisé par le fait que sur la base des « moments forts » ainsi déterminés divers effets seront incrustés au sein de la vidéo : vitesse, accélération, hauteur d'un saut, temps passé en dehors du contact avec le sol, puissance, effets visuels d ivers (halo lumineux), ajout d 'un message texte, ajout d'une message vocal, mod ification de la scène pour ajouter une foule applaud issant ... succession de photos, photo au pic d'activité.
10. Dispositif selon l'une des revendications 1 à 9 caractérisé par le fait que la génération automatiq ue peut être assistée par le cinéaste q ui pourra définir des réglages sur mesure : nombre de vidéos à générer, hauteur du saut, pu issance développée ... Ce paramétrage sera effectué par le biais d'un menu expert.
11. Dispositif selon l'une des revendications 1 à 10 caractérisé par le fait q ue les données citées en revendication 6 ainsi q ue les séq uences de vidéos augmentées seront accessibles avec des d roits différents afin de pouvoir monétiser leur accès par exemple.
12. Dispositif selon l'une des revend ications 1 à 11 caractérisé en ce q ue le rythme du ralenti est dépendant de celui des paramètres de performance (mod ule de l'accélération par exemple) . Ainsi quand l'accélération est importante le nombre d 'images par seconde est réduit afin de pouvoir mieux visualiser l'évolution du sportif, à l'opposé q uand l'accélération est rédu ite le nombre d'images par seconde est augmenté .
13. Dispositif selon l'une des revendications 1 à 12 caractérisé par le fait que tout au long de l'enreg istrement de la séquence vidéo, les valeurs maximales ( le nombre est paramétrable, typiquement 5) de certaines performances sont actualisées ainsi que les instants correspondant q ue nous nommons « marqueur temporel » . Du rant la séquence vidéo une mise à jour de ces performances et marq ueurs temporel est effectués et stockée dans la mémoire d u Smartphone . Ainsi à l'issue de l'enregistrement de la séq uence vidéo les 5 « moments forts » sont d irectement connus et permettent ainsi de repérer les seg ments les plus intéressants de la séq uence vidéo .
14. Dispositif selon la revend ication 13 caractérisée en ce q ue les « moments forts » sont constitués par des segments de séquences vidéo centrés sur les marqueurs temporels et s'étalant sur une durée totale typique de 2 secondes.
15. Dispositif selon les revendications 13 à 14 caractérisé par le fait que le traitement est accéléré car il ne se focalise que sur les « moments forts » : Le ralenti ainsi que tous les effets tels que l'ajout de texte, l'incrustation de données de performance, l'ajout d'un message vocal, la création d'une photo au pic de performance ne sont réalisés que sur les zones intéressantes afin de produire au plus vite la vidéo augmentée qui sera visualisée par le cinéaste ou partagée avec son entourage.
16. Dispositif selon les revendications 1 ou 2 pour lequel la synchronisation temporelle entre le terminal enregistrant la vidéo et les données des capteurs est effectuée de façon indirecte. Cette méthode indirecte consiste à afficher de façon temporaire un motif à l'aide de del. Ce motif est alors filmé par le terminal enregistrant la vidéo et un traitement effectué à postériori permettra d'effectuer la synchronisation (par exemple en connaissant la date à laquelle le motif cesse de s'éclairer et en détectant cette disparition dans l'image filmée).
17. Dispositif selon les revendications 1 à 16 présentant 3 modes de fonctionnement distincts : Un mode « temps réel », un mode « temps différé » et un mode « mixte »
18. Dispositif selon les revendications 1 ou 2 mettant en œuvre un modèle de consommation implanté dans la mémoire du microprocesseur du capteur. Ce modèle de consommation permet en permanence de savoir s'il est plus intéressant d'un point de vue énergétique d'effectuer les calculs à bord du capteur ou de façon déportée dans le Smartphone.
EP15733157.0A 2014-01-06 2015-01-05 Dispositif de création de vidéos augmentées Ceased EP3092795A2 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CH00004/14A CH709324A2 (fr) 2014-01-06 2014-01-06 Dispositif de création de vidéos augmentées.
PCT/EP2015/050039 WO2015101663A2 (fr) 2014-01-06 2015-01-05 Dispositif de création de vidéos augmentées

Publications (1)

Publication Number Publication Date
EP3092795A2 true EP3092795A2 (fr) 2016-11-16

Family

ID=53494163

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15733157.0A Ceased EP3092795A2 (fr) 2014-01-06 2015-01-05 Dispositif de création de vidéos augmentées

Country Status (4)

Country Link
US (1) US10362370B2 (fr)
EP (1) EP3092795A2 (fr)
CH (1) CH709324A2 (fr)
WO (1) WO2015101663A2 (fr)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10918924B2 (en) 2015-02-02 2021-02-16 RLT IP Ltd. Frameworks, devices and methodologies configured to enable delivery of interactive skills training content, including content with multiple selectable expert knowledge variations
US10942968B2 (en) * 2015-05-08 2021-03-09 Rlt Ip Ltd Frameworks, devices and methodologies configured to enable automated categorisation and/or searching of media data based on user performance attributes derived from performance sensor units
US11074826B2 (en) 2015-12-10 2021-07-27 Rlt Ip Ltd Frameworks and methodologies configured to enable real-time adaptive delivery of skills training data based on monitoring of user performance via performance monitoring hardware
CN116886880B (zh) * 2023-09-08 2023-12-26 中移（杭州）信息技术有限公司 监控视频调整方法、装置、设备及计算机程序产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011250339A (ja) * 2010-05-31 2011-12-08 Nikon Corp デジタルカメラ
US20130225309A1 (en) * 2010-08-26 2013-08-29 Blast Motion, Inc. Broadcasting system for broadcasting images with augmented motion data

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5868578A (en) * 1995-09-21 1999-02-09 Baum; Charles S. Sports analysis and testing system
US20070280463A1 (en) * 2006-05-31 2007-12-06 Farrokh Mohammadzadeh Kouchri Systems, devices, and methods for managing call requests
JP4764329B2 (ja) * 2006-12-27 2011-08-31 富士通東芝モバイルコミュニケーションズ株式会社 情報処理装置
US8375613B2 (en) * 2008-10-03 2013-02-19 Tracer Imaging Llc Illuminated signboard with edge effect
US8477046B2 (en) * 2009-05-05 2013-07-02 Advanced Technologies Group, LLC Sports telemetry system for collecting performance metrics and data
US20110071792A1 (en) 2009-08-26 2011-03-24 Cameron Miner Creating and viewing multimedia content from data of an individual's performance in a physical activity
WO2011043922A1 (fr) * 2009-10-06 2011-04-14 Blum Ronald D Systèmes, dispositifs et/ou procédés de gestion d'informations concernant des soins de santé
US8702516B2 (en) * 2010-08-26 2014-04-22 Blast Motion Inc. Motion event recognition system and method
US9247212B2 (en) * 2010-08-26 2016-01-26 Blast Motion Inc. Intelligent motion capture element
US20120151348A1 (en) * 2010-12-11 2012-06-14 Microsoft Corporation Using Cinematographic Techniques for Conveying and Interacting with Plan Sagas
US20130259446A1 (en) * 2012-03-28 2013-10-03 Nokia Corporation Method and apparatus for user directed video editing
US8934887B2 (en) * 2012-05-31 2015-01-13 Emblaze Ltd. System and method for running mobile devices in the cloud
US8929709B2 (en) 2012-06-11 2015-01-06 Alpinereplay, Inc. Automatic digital curation and tagging of action videos
US20140023201A1 (en) * 2012-07-19 2014-01-23 Shavar Daniels Communication System and Method
US20140115649A1 (en) * 2012-10-19 2014-04-24 Electronics And Telecommunications Research Institute Apparatus and method for providing realistic broadcasting
US9053516B2 (en) * 2013-07-15 2015-06-09 Jeffrey Stempora Risk assessment using portable devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011250339A (ja) * 2010-05-31 2011-12-08 Nikon Corp デジタルカメラ
US20130225309A1 (en) * 2010-08-26 2013-08-29 Blast Motion, Inc. Broadcasting system for broadcasting images with augmented motion data

Also Published As

Publication number Publication date
US20160330533A1 (en) 2016-11-10
CH709324A2 (fr) 2015-08-28
WO2015101663A3 (fr) 2015-10-15
US10362370B2 (en) 2019-07-23
WO2015101663A2 (fr) 2015-07-09

Similar Documents

Publication Publication Date Title
EP3005296B1 (fr) Fusion de plusieurs flux vidéo
US10402445B2 (en) Apparatus and methods for manipulating multicamera content using content proxy
US10187522B2 (en) Caller preview data and call messages based on caller preview data
WO2015101663A2 (fr) Dispositif de création de vidéos augmentées
FR3004565A1 (fr) Fusion de plusieurs flux video
US10334217B2 (en) Video sequence assembly
FR2913510A1 (fr) Procede pour determiner automatiquement une probabilite de saisie d'images avec un terminal a partir de donnees contextuelles
US9787862B1 (en) Apparatus and methods for generating content proxy
US9871994B1 (en) Apparatus and methods for providing content context using session metadata
EP3217658A1 (fr) Procédé d'encodage et de décodage d'une vidéo d'un drone, et dispositifs associés
US20170125058A1 (en) Method for automatically publishing action videos to online social networks
EP3449634A1 (fr) Procédé de composition contextuelle d'une représentation vidéo intermédiaire
US20180232384A1 (en) Methods and apparatus for information capture and presentation
US20150279009A1 (en) Image processing apparatus, image processing method, and program
FR3044852A1 (fr) Procede de gestion de contenus video pour leur edition
CA2927415A1 (fr) Procede de diffusion multipoints
US20240037708A1 (en) Image Processing Method and Electronic Device
FR3131675A1 (fr) procédé et dispositif de capture vidéo, procédé et dispositif de composition d’une vidéo et procédé d’analyse de vidéo.
FR3054062A1 (fr) Systeme et procede de capture embarquee et de reproduction 3d/360° du mouvement d'un operateur dans son environnement
FR3011356A1 (fr) Dispositif et procede de rendu multimedia
WO2020070424A1 (fr) Procede pour afficher une image independamment de l'orientation du moyen de capture ou d'une interface homme-machine de sortie d'un dispositif electronique mettant en oeuvre ledit procede
CN115690272A (zh) 视频生成方法及电子设备
FR2996714A1 (fr) Procede de selection d'un flux video en fonction d'une cible a visualiser, dispositif et programme d'ordinateur correspondants
FR2949898A1 (fr) Procede et systeme de generation de cartes enrichies de lieux d'exploration
FR2872375A1 (fr) Procede de generation d'alea en situation de mobilite

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20160707

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20181122

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20200528