EP3198523A1 - Procede et systeme de detection d'evenements de nature connue - Google Patents

Procede et systeme de detection d'evenements de nature connue

Info

Publication number
EP3198523A1
EP3198523A1 EP15767185.0A EP15767185A EP3198523A1 EP 3198523 A1 EP3198523 A1 EP 3198523A1 EP 15767185 A EP15767185 A EP 15767185A EP 3198523 A1 EP3198523 A1 EP 3198523A1
Authority
EP
European Patent Office
Prior art keywords
events
event
signal
micro
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP15767185.0A
Other languages
German (de)
English (en)
Inventor
Adrien CHAN-HON-TONG
Laurent Lucat
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Original Assignee
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commissariat a lEnergie Atomique et aux Energies Alternatives CEA filed Critical Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Publication of EP3198523A1 publication Critical patent/EP3198523A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Definitions

  • the invention relates to a method and a system for the detection of events. It is used for the detection of events of a known nature in signals, for example data streams, real time or recorded. It applies, for example, to the detection of activity of a listed nature of a person, actions of the everyday life of a person of interest, the detection of emotions of a listed nature of a person of interest , the presence of an object of known nature in a scene, a sound event of known nature, by analysis of a signal typically a video. It also applies to events of the seismography / geological type of known nature.
  • FIG. 1 is a block diagram of detection method according to the prior art. For each observation O, we associate at a given instant t 0 , 10, a vote or confidence value V i0 , 1 1, which will be used to determine the associated event, 13 at t 0 .
  • M 1000 micro-events
  • d 100
  • the memory required for the generic detector is 60 MB and the number of read operations equal to 15 000.
  • the storage memory In the case of methods that use more micro-events, the storage memory must be able to store the equivalent of 1 GB of votes, which is generally not very compatible with a standard microcontroller.
  • One of the known approaches to reduce the memory and the computations required is to compress the table v, v [Ne] [M] [d], for example, by the method described in the document entitled “best piecewise constant approximation of a function of single variable "by Hiroshi Konno et al, Operations Research Letters, Volume 7, Number 4, August 1988.
  • This approach leads to a blind change in votes. Indeed, the votes are intermediaries between micro-events and segmentation. Changing the votes without regard to the effect on the segmentation amounts to making changes to the blind and can lead to a significant increase in error even for small changes.
  • Adrien Chan-Hong-Tong's “Simultaneous segmentation and classification for human actions in video streams using thee optimized optimized” describes a method for detecting actions that takes into account the temporal location of actions.
  • US 20130128045 and US 5430810 disclose line detection methods in images and relate to optimized management of intermediate results.
  • One of the objectives of the present invention is to provide a method and a system for reducing the memory size necessary for the storage of all the votes, and to reduce the number of processing operations without impairing the performance level of the system. detector (that is to say, remaining compatible with learning deemed effective literature).
  • the term "event” is defined as a particular pattern contained in a signal, and the term “micro-event” as a fraction of the event, with several micro-events constituting the event.
  • a micro-event depends on the size of the event.
  • the method according to the invention will seek in a signal the presence of a micro-event.
  • the word “vote” is associated with an elementary belief that a micro-event is associated with a localized event, and we associate with the word “score” an event a value of confidence or probability that the event corresponds to the observation. performed on a signal.
  • the score of the event E is the sum of all the votes of the micro-events in favor of this event E.
  • voting domain or "voting range” a range in which a micro-event or an event is possible.
  • the idea of the present invention is in particular to improve the event detection systems by considering time intervals for which a constant score value is assigned.
  • the invention relates to a method for detecting one or more events associated with a signal received on a detection sensor connected to a processor, the method comprising at least the following steps:
  • the locations ti, .. t N are, for example, time instants.
  • the values of micro-event detection times are chosen as multiples of a given "increment" value.
  • the signal is continuously processed.
  • the invention also relates to an event detection system associated with a signal comprising at least the following elements: A sensor adapted to detect one or more micro-events m n in the signal, at given instants ti, .t N , corresponding to an observation Oi,
  • a processor adapted to perform the steps of the method according to the invention.
  • the system may include a buffer for storing the continuously arriving signal.
  • FIG. 1 a diagram of the process according to the prior art
  • FIG. 2 the principle implemented by the method according to the invention
  • FIG. 3 an exemplary detector architecture according to the invention
  • FIG. 4 an illustration of a first variant of the process
  • the following detailed example is given as an illustration for the detection of an action of a person from data contained in a video stream of a given size, an image for example, arriving continuously on a detection sensor by example.
  • a person's action covers any type of event the nature of which is listed in a database when designing the system.
  • the following description may be implemented, without departing from the scope of the invention and possibly with some adaptations, to any type of events listed during a prior learning phase, for example. More generically, the method applies to a signal in which it is desired to detect predefined patterns.
  • Each video is seen as a succession of images / moments. At each moment corresponds an image and vice versa.
  • the method according to the invention makes use of statistical learning. During this learning, each image of each video is provided with an annotation indicating what is the event associated with the image. This annotation is given, for example, by an expert who can use all the information contained in the video.
  • the learning consists in parameterizing the detector in such a way that it produces coherently outputs that are often equivalent to the pre-established data.
  • one or more types or one or more categories of events will be specified, and the implementation of the method will lead to detecting the presence of an event, by searching for the occurrences of these events in the event. signal picked up.
  • the signal has analogies with the event types, for example for a declared type of "car" event, the image signal may contain a portion of the car deformed.
  • the method and system for its implementation will seek to detect at each frame of the video what events or events seem most in line with an observation.
  • FIG. 2 represents an exemplary architecture of a system for implementing the steps of the method according to the invention.
  • the system comprises a processor 20, a memory 21 adapted to store both the software and the voting values obtained by the execution of the method and which will be read to determine the probable event. This memory can also contain data defined during the learning period.
  • the system also comprises a signal detection sensor 22 (for example a data stream) or video connected to the processor 20, an output 24 connected for example to a display system 25 representing the event selected and associated with a signal. observation.
  • the system may also include a memory or "buffer" 26 for storing the stream to be analyzed when continuously analyzing the signal without interruption.
  • the method and its system will update the score for each event. For this, the method extracts a set of micro-events located in the video. Each micro-event increases by a certain amount the score of each event (i.e., "vote" for each event) in a temporal neighborhood of its extraction image.
  • the type or category of events is specified during system design.
  • a set of Event Types is determined.
  • the analyzed signal locally presents analogies with the types of events, for example, for a declared type of "car" event, the image signal may contain, for example, one half of the deformed car, which will be associated with the type of event " car ".
  • mi ..., m N
  • N a micro event, with N micro events detected at instants ti, ..., t N ,
  • Detection is the set of predictions returned (one per image).
  • the method can comprise the following steps:
  • N the number of micro-events actually detected in a signal received on the detection sensor, (for each micro-event m n located in t n ), 30,
  • the table S is updated by adding a constant value v for all the locations p belonging to the subdomain D ,, 31,
  • Detection [t] arg max on e of S [e] [p], which makes it possible to detect the most likely characteristic event associated with an observation Oi of the received signal, for example, a video.
  • variable p generically designates a temporal variable t or a spatial variable.
  • the method assumes that the instants on which the subdomains D are defined are a multiple of an "increment” value better known in the technical field by the Anglo-Saxon term. "Step" given.
  • the parameters and input data are as follows:
  • E is the number of events of interest to the user
  • Detection is the set of predictions returned (one per image).
  • steps 41, 42, tau (t n + j) / step, multiple instant of step,
  • the method can be implemented to detect events or actions in a continuously observed video stream.
  • the implemented algorithm is then an infinite loop, since the video arrives infinitely, and uses an "Extract" command the next micro-event to get the next extracted word (independent processes).
  • E is the number of events elected or chosen
  • Detection is the set of predictions returned (one per image) B a buffer size (typically 5 * D).
  • Detection [t] arg max on e of S [e] [t% B]; with t% B denoting the rest of the Euclidean division of t by B,
  • the main steps of the method according to the invention apply, adapting them if necessary, in the spatial domain by locating micro-events in space, by defining a spatial score domain and initializing the array S in space. Spatial and not temporal locations will then be considered for the execution of the steps.
  • the technical effect is the sending of a message "E4 to a position (il, j1) in the image” and "E2 detected at the position (i2, j2)";
  • This message can be viewed on a screen, or stored in memory.
  • 2 - Signal 3D video stream from a 3D camera mounted on the front of a car.
  • the technical effect is to send a message E1 to a position (x1, y1, z1) at time t1 in the image and E2 to position (x2, y2, z2) at time t2, and at the position (x3, y3, z3) at time t3;
  • This message can be viewed on a screen to inform the driver of the presence of vulnerable, it can be connected to an audible alarm.
  • 3 - Signal 3D coordinate flow of points of articulation of a human skeleton (these data coming from sensors positioned on the person, or a video processing).
  • the method can consider all the subdomains or time intervals comprising zero constructs on the decomposition: that is to say the set of subdomains [di, dj [with dkCkdj.
  • An additional processing consisting of recombining these subdomains then makes it possible to obtain the desired voting value on each subdomain [d ,, d i + i [.
  • This recombination consists in associating with a subdomain [d ,, d i + i [the sum of the variables associated with the subdomains [di, dj [the container.
  • a possible system for implementing the method according to the invention comprises, for example, a computer on which is connected an active camera.
  • the active camera provides a succession of depth images and the software associated with the camera extracts one or more skeletons.
  • the processor 20 of the computer for example performs three tasks:
  • an annotated video corpus is used.
  • Annotations define which actions will be searched for.
  • the actions taken can be actions of everyday life: drinking, eating, reading, resting, cooking, taking medicine, etc.
  • a voting domain is decided based on the maximum number of consecutive images associated with the same action in a video. Then, we choose a number of time intervals to decompose the domain of votes. This is done using the Deeply Optimized Hough Transform (DOHT) or any other statistical learning method.
  • DOHT Deeply Optimized Hough Transform
  • the use of these votes with the method according to the invention makes it possible to keep a small error while using only few resources, little memory, few readings of this memory, and possibly few additions in the case of the variant. process with subsampling.
  • FIG. 5 illustrates this embodiment in which, for an event, 50, the desired subdomains or intervals, 51, 52 will be chosen and, at the DOHT, 53 will be provided with approximate intervals corresponding to the set of intervals. built on
  • the invention applies in particular to seismographic or sound signals, to 2D images or 2D videos, to 3D images or 3D videos.
  • the signals are solid signals in an N-dimensional matrix, or local, especially in the case of point data associated with a model (such as the skeleton of the body, a mesh on a face).
  • the method and the system according to the invention offer, in particular, the advantage of reducing the memory and the calculation time required, while being compatible with a reputation optimization structure that is deemed to be efficient.
  • the invention proposes a structure for the score value that induces a particular voting process, which reduces to ⁇ * ⁇ , the number of values to be stored, with I being much smaller than (2d + 1), and only ⁇ , the number of read operations per word.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

Procédé pour détecter des événements dans un signal reçu sur un capteur de détection (22) relié à un processeur (20) comportant au moins les étapes suivantes : · étant donné des événements de nature {Ee} e=1..Ne, un domaine de votes D composé de I sous-domaines Di ={ [di, di+1 [ } avec i=1...I et un dictionnaire de micro-événements {mi} i=1..M, • Initialiser à une valeur identique un tableau S contenant des valeurs de scores, S[e][p], où p est un indice de position spatiale ou temporelle (p ∈ D), • détecter un ou plusieurs micro-événements mn (n=1..N), localisés en tn (n=1..N), (20), correspondant à une quantification d'une observation locale On dans le signal, • pour chaque micro-événement mn localisé en tn, pour chaque type d'événement « e », pour chaque sous-domaine Di, mettre à jour le tableau S[e][ tn + p] en ajoutant une valeur constante pour toutes les localisations p ∈ Di, (31), • déterminer un ensemble d'événements associés à une observation dans le signal à partir du tableau S, (32) et détecter l'événement le plus probable associé à une observation du signal.

Description

PROCEDE ET SYSTEME DE DETECTION D'EVENEMENTS DE NATURE
CONNUE
L'invention concerne un procédé et un système pour la détection d'événements. Elle est utilisée pour la détection d'événements de nature connue dans des signaux, par exemple des flux de données, temps réels ou enregistrés. Elle s'applique, par exemple, pour la détection d'activité de nature répertoriée d'une personne, des actions de la vie courante d'une personne d'intérêt, la détection des émotions de nature répertoriée d'une personne d'intérêt, la présence d'un objet de nature connue dans une scène, un événement sonore de nature connue, par analyse d'un signal typiquement une vidéo. Elle s'applique aussi pour des événements de type sismographie/géologique de nature connue.
Le domaine de la détection et de la reconnaissance d'événements tels que l'activité humaine est devenu un axe important de recherche. La possibilité de détecter des activités humaines peut conduire au développement d'applications dans différents domaines, par exemple une protection médicale par vidéo, etc.
Les systèmes connus de l'art antérieur mettent en jeu la détection de micro-événements qui sont caractéristiques d'un ou plusieurs événements différents, et l'accumulation pondérée dans le temps ou dans l'espace de ces micro-événements fait ressortir préférentiellement un événement, puis un autre et ainsi de suite. La détection d'un micro-événement génère des votes pondérés pour chacun des événements, à chaque localisation temporelle/spatiale. Dans les systèmes existants, le vote d'un micro- événement suit une distribution quelconque présentant un poids différent dans le domaine temps/espace. Cela nécessite donc une quantité importante de mémoire et d'opérations. La figure 1 est un schéma de principe de procédé de détection selon l'art antérieur. Pour chaque observation O, on associe à un instant donné t0, 10, une valeur de vote ou de confiance Vi0, 1 1 , qui va servir pour déterminer l'événement associé, 13 en t0. L'approche générique de détection connue de l'art antérieur nécessite une mémoire de taille assez importante. Supposant que chacune des valeurs de la fonction représentative du score v soit stockée sur un double, c'est-à-dire sur 8 octets alors, selon le procédé générique de l'art antérieur, la quantité nécessaire pour stocker v est le produit de huit par le nombre de types d'événements intéressants (Ne), le nombre de micro-événements détectables (M), le domaine temporel des votes, c'est-à-dire Ne*M*(2d+1 ), où d est la demi-taille du domaine temporel sur lequel on regarde l'observation. De plus, la propagation de l'information nécessite Ne*(2d+1 ) opérations d'addition et de lecture de « doubles », la lecture d'un tableau v[Ne][mn][d0bs] où d0bs correspond à un instant d'observation et d'addition à une table d'événement S[e][tn+ dobs] par micro-événement. Par exemple, si Ne= 30, (il y a 30 événements différents possibles), M=1000 micro-événements, d=100, (équivalent de 5 secondes à 25 images par seconde), la mémoire nécessaire au détecteur générique est de 60 Mo et le nombre d'opérations de lecture égal à 15 000. Dans le cas de méthodes qui utilisent plus de micro- événements, la mémoire de stockage doit pouvoir stocker l'équivalent de 1 Go de votes, ce qui est en général peu compatible avec un microcontrôleur standard. L'une des approches connues pour diminuer la mémoire et les calculs requis est de compresser le tableau v, v[Ne][M][d], par exemple, par la méthode décrite dans le document intitulé « best piecewise constant approximation of a function of single variable » de Hiroshi Konno et al, Opérations Research Letters, volume 7, number 4, august 1988. Cette approche conduit à une modification aveugle des votes. En effet, les votes sont des intermédiaires entre les micro-événements et la segmentation. Modifier les votes sans tenir compte de l'effet sur la segmentation revient à faire des modifications à l'aveugle et peut conduire à une augmentation importante de l'erreur même pour de faibles modifications.
Le document intitulé « A Hough Transform-Based Voting Framework for Action Récognition » de Angela Yao et al, Conférence Computer vision and Pattern Récognition, June 13-18, 2010, IEEE, pages 2061 -2068 décrit une méthode pour classifier des actions ou observations contenues dans une séquence vidéo.
Le document intitulé « Simultaneous segmentation and classification for human actions in video streams using deeply optimized Hough transform » de Adrien Chan-Hong-Tong publié en 2014 décrit une méthode de détection d'actions prenant en compte la localisation temporelle des actions.
Les documents US 20130128045 et US 5430810 décrivent des méthodes de détection de ligne dans des images et portent sur la gestion optimisée des résultats intermédiaires.
Les méthodes décrites dans l'art antérieur connues du demandeur requièrent une mémoire assez importante pour traiter les données.
Un des objectifs de la présente invention est d'offrir un procédé et un système permettant de réduire la taille mémoire nécessaire au stockage de l'ensemble des votes, et de réduire le nombre d'opérations de traitement sans porter atteinte au niveau de performance du détecteur (c'est-à-dire en restant compatible avec les apprentissages réputés efficaces de la littérature).
Dans la suite de la description, on définit le terme « événement » comme un motif particulier contenu dans un signal, et le terme « micro- événement » comme une fraction de l'événement, plusieurs micro- événements constituant l'événement. Un micro-événement dépend de la taille de l'événement. Le procédé selon l'invention va rechercher dans un signal la présence un micro-événement. On associe au mot « vote » une confiance élémentaire qu'un micro-événement soit associé à un événement localisé et on associe au mot « score » d'un événement une valeur de confiance ou de probabilité que l'événement corresponde à l'observation effectuée sur un signal. Le score de l'événement E est la somme de tous les votes des micro-événements en faveur de cet événement E. On définira sous l'expression « domaine de vote » ou « étendue de vote » une plage dans laquelle un micro-événement ou un événement est possible. L'idée de la présente invention est notamment d'améliorer les systèmes de détection d'événements en considérant des intervalles de temps pour lesquels on attribue une valeur de score constante.
L'invention concerne un procédé pour détecter un ou plusieurs événements associés à un signal reçu sur un capteur de détection relié à un processeur, le procédé comportant au moins les étapes suivantes :
• Etant donné des événements de nature connue un domaine de votes D composé de I sous-domaines Di =[d,, d,+i[ avec i=1 ..I et un dictionnaire de micro-événements
• Initialiser à une valeur identique un tableau S contenant des valeurs de scores S[e][p] correspondant à un événement « e » localisé en p, où p est un indice désignant une position temporelle ou spatiale avec pe D,
• Détecter un ou plusieurs micro-événements mn (n=1 ..N) localisés en tn (n=1 ..N) correspondant à une quantification d'une observation On du signal,
• Pour chaque micro-événement mn, localisé en tn, pour chaque type d'événement « e » pour chaque sous-domaine D,, mettre à jour le tableau S[e][tn+p] en ajoutant une valeur constante pour toutes les localisations p avec pe [d,, di+i[,
• Déterminer un ensemble d'événements probable associés à une observation du signal à partir du tableau S, et détecter au sein du signal l'événement le plus probable associé à une observation.
Les localisations ti,..tN sont, par exemple, des instants temporels.
Selon une variante de réalisation, on choisit les valeurs d'instants de détection des micro-événements comme des multiples d'une valeur « incrément » donnée.
Selon une autre variante de réalisation, le signal est traité en continu.
L'invention concerne aussi un système de détection d'événements associés à un signal comportant au moins les éléments suivants : • Un capteur adapté à détecter un ou plusieurs micro-événements mn dans le signal, à des instants donnés ti ,..tN, correspondant à une observation Oi,
• Une mémoire de stockage des résultats,
« Un processeur adapté à exécuter les étapes du procédé selon l'invention.
Le système peut comporter une mémoire tampon pour stocker le signal arrivant en continu.
D'autres caractéristiques et avantages de la présente invention apparaîtront mieux à la lecture de la description qui suit d'exemples de réalisation donnés à titre illustratif et nullement limitatif, annexée des figures qui représentent :
• La figure 1 , un schéma du procédé selon l'art antérieur,
• La figure 2, le principe mis en œuvre par le procédé selon l'invention, « La figure 3, un exemple d'architecture de détecteur selon l'invention,
• La figure 4, une illustration d'une première variante du procédé, et
• La figure 5, un exemple de construction de sous-domaines temporels.
L'exemple détaillé qui va suivre est donné à titre illustratif pour la détection d'une action d'une personne à partir de données contenues dans un flux vidéo de taille donnée, une image par exemple, arrivant en continu sur un capteur de détection par exemple. L'action d'une personne couvre tout type d'événement dont la nature est répertoriée dans une base de données lors de la conception du système. La description qui va suivre peut être mise en œuvre, sans sortir du cadre de l'invention et avec éventuellement quelques adaptations, à tout type d'événements répertoriés lors d'une phase préalable d'apprentissage, par exemple. De manière plus générique, le procédé s'applique à un signal dans lequel on souhaite détecter des motifs prédéfinis.
Chaque vidéo est vue comme une succession d'images/d'instants. A chaque instant correspond une image et réciproquement. Le procédé selon l'invention fait appel à un apprentissage statistique. Durant cet apprentissage, chaque image de chaque vidéo est fournie avec une annotation indiquant quel est l'événement associé à l'image. Cette annotation est donnée, par exemple, par un expert qui peut utiliser la totalité des informations contenues dans la vidéo. L'apprentissage consiste notamment à paramétrer le détecteur de façon à ce qu'il produise de manière cohérente des sorties souvent équivalentes aux données préétablies. Lors de la conception du système, on va spécifier un ou plusieurs types ou une ou plusieurs catégories d'événements, et la mise en œuvre du procédé va conduire à détecter la présence d'un événement, par recherche des occurrences de ces événements dans le signal capté. Le signal présente des analogies avec les types d'événements, par exemple pour un type déclaré d'événement « voiture », le signal image peut contenir une partie de la voiture déformée.
Le procédé et le système pour sa mise en œuvre vont chercher à détecter à chaque image de la vidéo quel ou quels événements semblent le plus en adéquation avec une observation.
La figure 2 représente un exemple d'architecture d'un système permettant la mise en œuvre des étapes du procédé selon l'invention. Le système comporte un processeur 20, une mémoire 21 adaptée à stocker à la fois le logiciel et les valeurs de vote obtenues par l'exécution du procédé et qui seront lues pour déterminer l'événement probable. Cette mémoire peut aussi contenir des données définies lors de la période d'apprentissage. Le système comporte aussi un capteur 22 de détection du signal (par exemple un flux de données) ou de la vidéo relié au processeur 20, une sortie 24 reliée par exemple à un système d'affichage 25 représentant l'événement retenu et associé à une observation. Le système peut aussi comporter une mémoire ou « Buffer » 26 pour stocker le flux à analyser lorsque l'on analyse en continu, sans interruption, le signal.
Lors de la phase d'apprentissage, on aura fixé un dictionnaire de micro-évènements possibles {ΓΠΪ}Ϊ=Ι ..Μ de taille M et un nombre Ne de type (nature) d'événements possibles {Ee}e= . Ne. Selon un premier mode de réalisation illustré à la figure 3, le procédé et son système vont mettre à jour le score pour chaque événement. Pour cela, le procédé extrait un ensemble de micro-événements localisés dans la vidéo. Chaque micro-événement augmente d'une certaine quantité le score de chaque événement (c'est-à-dire « vote » pour chaque événement) dans un voisinage temporel de son image d'extraction. Une fois que tous les micro-événements voisins d'un instant ont augmenté les scores des événements possibles de cet instant, un ensemble d'événements pertinents est sélectionné pour caractériser l'observation présente et passée. Par exemple, les événements dont le score dépasse une valeur seuil sont retenus, ou bien les Q événements ayant les Q meilleurs scores (singulièrement le meilleur si Q=1 ). Le type ou catégorie d'événements est spécifié lors de la conception du système. On détermine un ensemble de Types d'événements. Le signal analysé présente localement des analogies avec les types d'événements, par exemple, pour un type déclaré d'événement « voiture », le signal image pourra contenir par exemple une moitié de la voiture déformée, qui sera associé au type d'événement « voiture ».
Pour simplifier la notation, on décrit le cas de sous-domaines, une dimension, étant entendu que, la méthode explicitée s'étend directement au cas de sous-domaines multidimensionnels tels que des zones deux dimensions dans une image, où les bornes du sous-domaine sont alors un multiple d'un incrément potentiellement défini pour chaque dimension.
Les données et paramètres utilisés pour la mise en œuvre du procédé illustré à la figure 3 sont donnés ci-après :
mi,...,mN, un micro événement, avec N micro événements détectés aux instants ti ,...,tN,
T la taille de la vidéo,
Ne le nombre de type d'événements recherchés,
D est le domaine temporel des votes, composé de I sous-domaines Di={[di, di+i [}, avec i=1 ...I, -d = di < d2 < ... < di = d une décomposition du domaine temporel en I sous-domaines, d correspond à un instant d'un sous-domaine Di,
« Détection » est l'ensemble des prédictions renvoyées (une par image). Le procédé peut comporter les étapes suivantes :
Etant donné des événements possibles {Ee}e=i...Ne, de nature connue, le domaine de votes et un dictionnaire de M micro-événements on va :
Initialiser à une valeur identique, typiquement égale à zéro, un tableau S de taille T fois E : S[e][p=t] = K (K est typiquement égal à zéro) ; le tableau S contient les valeurs des variables de scores e correspondant à un événement, où p=t correspond à un instant d'observation donné dans cet exemple,
Pour n = 1 à N, N étant le nombre de micro-événements réellement détectés dans un signal reçu sur le capteur de détection, (pour chaque micro-événement mn localisé en tn), 30,
Pour e de 1 à E, (boucle sur chaque type d'événement « e » possible), Pour i de 1 à I, (pour chaque sous-domaine D,),
On met à jour le tableau S en ajoutant une valeur v constante pour toutes les localisations p appartenant au sous-domaine D,, 31 ,
S[e][tn+p] = S[e][tn+p] + v[e][mn][i] où v[e][mn][i] est une valeur constante pour toutes les localisations p=t appartenant au sous-domaine D,. On va déterminer ensuite (pour t=1 à T) un ensemble d'événements associés à une observation dans le signal, et détecter l'événement le plus probable dans le signal et associé à une observation par exemple en recherchant la valeur maximale sur e dans le tableau S, pour chaque valeur de t=p, 32 :
Detection[t] = arg max sur e de S[e][p], ce qui permet de détecter l'événement caractéristique le plus probable associé à une observation Oi du signal reçu, par exemple, une vidéo.
Toutes les valeurs de score associées à un couple {micro- événement, événement} sont imposées et identiques pour les instants contenus dans le sous-domaine D, et sont stockées dans une seule valeur.
Le nombre de valeurs à stocker diminue de E*M*(2D+1 ) selon les méthodes connues de l'art antérieur à Ε*Μ . De même, le nombre d'opérations de lecture dans la mémoire est réduit.
La variable p désigne de manière générique une variable temporelle t ou une variable spatiale.
Selon un autre mode de réalisation illustré à la figure 4, le procédé suppose que les instants sur lesquels on définit les sous-domaines D, sont un multiple d'une valeur « incrément » plus connue dans le domaine technique par le terme anglo-saxon « step » donnée.
Les paramètres et données d'entrée sont les suivantes :
M-i ,...,mN, N micro événements détectés aux instants ti ,...,tN en supposant que la valeur des instants choisis pour l'observation tn est multiple de
« step »,
T la taille de la vidéo,
E est le nombre d'événements intéressant l'utilisateur,
D est le domaine temporel des votes, -d = di < d2 < ... < di = d une décomposition du domaine temporel telle que pour tout i, d, est un multiple de « step »,
« Détection » est l'ensemble des prédictions renvoyées (une par image). Le procédé « INTERVALLES_STEP » comporte alors les étapes suivantes : Initialiser un tableau S de taille T/step fois E : S[e][t] = 0 ;
Pour n = 1 à N, étape 40,
Pour e de 1 à E
Pour i de 1 à I
Pour j de d, (inclus) à d,+i (exclu) par saut de step, étapes 41 , 42, tau = (tn + j)/step, instant multiple de step,
S[e][tau] = S[e][tau] + v[e][mn][i], étape 43,
Pour t = 1 à T
tau = partieEntiere(t/step) ; Prediction[t] = arg max sur e de S[e][tau] ; on détecte l'événement pour une observation, étape 44.
Cette variante de réalisation permet de diviser par « step » le nombre d'additions de doubles. Dans le cas où « step » = 4, cela équivaut à une réduction de 75% du nombre d'addition de doubles.
Le procédé peut être mis en œuvre pour détecter des événements ou des actions dans un flux de données vidéo observé en continu. L'algorithme mis en œuvre est alors une boucle infinie, puisque la vidéo arrive de façon infinie, et utilise une commande « Extraire » le micro- événement suivant pour obtenir le prochain mot extrait (processus indépendants).
Les paramètres et données d'entrée du processus sont les suivantes :
E est le nombre d'événements élus ou choisis,
D est le domaine temporel des votes, -d = di < d2 < ... < di = d une décomposition du domaine temporel,
« Détection » est l'ensemble des prédictions renvoyées (une par image) B une taille de buffer (typiquement 5*D).
Le procédé « INTERVALLE_FLUX » comprend par exemple les étapes suivantes :
Initialiser un tableau S de taille B fois E : S[e][t] = 0 ;
t = -d
Faire en boucle
Extraire le micro-événement suivant m en t'
Tant que t<t'-d
Detection[t] = arg max sur e de S[e][t%B] ; avec t%B désignant le reste de la division euclidienne de t par B,
S[e][t%B]=0 ;
t = t+1 ;
Pour e de 1 à E
Pour i de 1 à I Pour d de d, (inclus) à d,+i (exclu)
S[e][t'+d] = S[e][t'+d] + v[e][m][i].
Sans sortir du cadre de l'invention, les étapes principales du procédé selon l'invention s'appliquent, en les adaptant si nécessaire, dans le domaine spatial en localisant dans l'espace les micro-événements, en définissant un domaine de score spatial et en initialisant le tableau S dans l'espace. On considérera alors des localisations spatiales et non plus temporelles pour l'exécution des étapes.
Quelques exemples de signaux et d'événements sont donnés à titre illustratifs pour aider à mieux faire comprendre l'invention :
1 - Signal = image 2D.
TYPES d'événements : E1 = « voiture », E2 = « maison », E3 = « personne », E4 = « animal » ;
L'effet technique est l'envoi d'un message « E4 à une position (il , j1 ) dans l'image » et « E2 détecté à la position (i2, j2)» ;
Ce message peut être visualisé sur un écran, ou stocké en mémoire.
2 - Signal = flux vidéo 3D issu d'une caméra 3D montée à l'avant d'une voiture.
TYPES d'événements: E1 = « vélo », E2 = « personne »
L'effet technique est l'envoi d'un message E1 à une position (x1 , y1 , z1 ) à l'instant t1 dans l'image et E2 à la position (x2, y2, z2) à l'instant t2, et à la position (x3, y3, z3) à l'instant t3;
Ce message peut être visualisé sur un écran pour informer le conducteur de présence de vulnérables, il peut être connecté à une alarme sonore.
3 - Signal = flux de coordonnées 3D de points d'articulation d'un squelette humain (ces données provenant de capteurs positionnés sur la personne, ou d'un traitement vidéo).
TYPES d'événements :
E1 = « la personne cuisine », E2 = « la personne prend son repas », E3 = « la personne se déplace » , E4 = « la personne se repose » ; L'effet technique est l'envoi de messages successifs « E4 au temps t1 », « E3 en t2 », « E1 en t3 », « E2 en t4 », « E3 en t5 »,....
Un des avantages du procédé selon l'invention est que, quelque soit le sous-domaine temporel ou spatial choisi et quels que soient les sous- domaines de décompositions choisis (Di,...,Di), il est toujours possible de réaliser les apprentissages connus de la littérature. Durant la phase d'apprentissage, le procédé peut considérer tous les sous-domaines ou intervalles temporels comprenant zéro construits sur la décomposition: c'est- à-dire l'ensemble des sous-domaines [di, dj[ avec dkCkdj. Un traitement supplémentaire consistant à recombiner ces sous-domaines permet alors d'obtenir la valeur de vote recherchée sur chaque sous-domaine [d,, di+i [. Cette recombinaison consiste à associer à un sous-domaine [d,, d i+i [ la somme des variables associées aux sous-domaines [di, dj[ le contenant.
Les différentes variantes de mise en œuvre du procédé selon l'invention décrites précédemment peuvent être combinées les unes aux autres afin d'améliorer la détection d'événements.
Dans le cas où un événement considéré est une action et une observation est le squelette d'une personne, un système possible pour la mise en œuvre du procédé selon l'invention comporte, par exemple, un ordinateur sur lequel est branchée une caméra active. La caméra active fournit une succession d'images de profondeur et le logiciel associé à la caméra extrait un ou plusieurs squelettes. Le processeur 20 de l'ordinateur effectue par exemple trois tâches:
• Extraire le squelette d'une personne observée image par image, et former la trajectoire de chaque articulation,
• Extraire de ces trajectoires, les positions, les vitesses et les suites de positions de taille, chaque fois que cela est possible, ou tous les « step » images. Chacune des ces informations est écrite par un vecteur selon une méthode connue de l'homme du métier. On associe ensuite chacun de ces vecteurs à leur plus proche voisin parmi une banque de vecteurs spécifiques à l'articulation et au type d'information (position, vitesse ou suite). A la suite de cela, chaque information est associée à un symbole correspondant à un micro-évènement.
• Utiliser les micro-évènements extraits et les votes appris pour déterminer l'action effectuée par la personne dans l'image, l'événement, selon l'une des variantes du procédé selon l'invention décrite ci-avant.
Durant l'entraînement, un corpus de vidéos annotées est utilisé. Les annotations définissent quelles actions seront recherchées en test. Typiquement, les actions suivies peuvent être des actions de la vie de tous les jours : boire, manger, lire, se reposer, faire la cuisine, prendre des médicaments, etc. Un domaine de votes est décidé en fonction du nombre maximum d'images consécutives associées à la même action dans une vidéo. Ensuite, on choisit un nombre d'intervalles temporels pour décomposer le domaine de votes. On utilise alors l'apprentissage DOHT approximé (Deeply Optimized Hough Transform) ou toute autre méthode d'apprentissage statistique. L'utilisation de ces votes avec le procédé selon l'invention permet de conserver une faible erreur tout en utilisant que peu de ressources, peu de mémoire, peu de lectures de cette mémoire, et éventuellement peu d'additions dans le cas de la variante de procédé avec sous-échantillonnage. La figure 5 illustre ce mode de réalisation dans lequel, pour un événement, 50, on va choisir les sous-domaines ou intervalles souhaités, 51 , 52 et on va fournir, 53, au DOHT des intervalles approximés correspondant à l'ensemble des intervalles construit sur l'union des extrémités contenant 0.
L'invention s'applique notamment à des signaux sismographiques ou sonores, à des images 2D ou des vidéos 2D, à des images 3D ou des vidéos 3D. Les signaux sont des signaux pleins dans une matrice de dimension N, ou encore locaux, en particulier dans le cas de données ponctuelles associées à un modèle (tels que le squelette du corps, un maillage sur un visage). Le procédé et le système selon l'invention offrent notamment l'avantage de diminuer la mémoire et le temps de calcul nécessaires, tout en étant compatibles avec une structure d'optimisation des votes réputée performante. L'invention propose une structure pour la valeur de score qui induit un processus de vote particulier, lequel réduit à Ε*Μ , le nombre de valeurs à stocker, avec I très inférieur à (2d+1 ), et à seulement Ε , le nombre d'opérations de lecture par mots. Par rapport à l'exemple donné de l'art antérieur, la ressource nécessaire est diminuée à 3 Mo au lieu de 60 et le nombre d'opérations à 10 000 au lieu de 15 000. De plus, cette structure est compatible avec des sélections efficaces de v. Elle conduit donc à des modifications informées de v dont la pertinence est supérieure à celles des modifications aveugles de l'art antérieur.

Claims

REVENDICATIONS
1 - Procédé pour détecter des événements dans un signal reçu sur un capteur de détection (22) relié à un processeur (20) comportant au moins les étapes suivantes :
• Etant donné des événements de nature {Ee} e=-i ..Ne, un domaine de votes D composé de I sous-domaines D, ={ [d,, di+-i[}, avec i=1 ..l et un dictionnaire de micro-événements {m,} i=-i ..M,
• Initialiser à une valeur identique un tableau S contenant des valeurs de scores, S[e][p], où p est un indice de position spatiale ou temporelle (p e D),
• Détecter un ou plusieurs micro-événements mn (n=1 ..N), localisés en tn (n=1 ..N), (20), correspondant à une quantification d'une observation locale On dans le signal,
· Pour chaque micro-événement mn localisé en tn , pour chaque type d'événement « e », pour chaque sous-domaine D, mettre à jour le tableau S[e][ tn + p] en ajoutant une valeur constante pour toutes les localisations p e [d,, di+i [, (31 ),
• Déterminer un ensemble d'événements associés à une observation du signal à partir du tableau S, (32) et détecter l'événement le plus probable.
2 - Procédé selon la revendication 1 caractérisé en ce que les localisations t-i , ..tN sont des instants temporels.
3 - Procédé selon la revendication 2 caractérisé en ce que l'on choisit les valeurs d'instants de détection des micro-événements comme des multiples d'une valeur « incrément » donnée. 4 - Procédé selon la revendication 2 caractérisé en ce que le signal est traité en continu et le procédé comporte au moins les étapes suivantes : E est le nombre d'événements élus ou choisis,
D est le domaine temporel des votes composé de I sous-domaines Di={[di, di+-i[} avec i=1 ..l, -d = di < 02 < ... < di = d une décomposition du domaine temporel,
Initialiser un tableau S de taille B fois E : S[e][t] = 0 ;
t = -d
Exécuter en boucle les étapes suivantes :
Extraire le micro-événement suivant m en t'
Tant que t<t'-d
Detection[t] = arg max sur e de S[e][t%B] ; avec t%B désignant le reste de la division euclidienne de t par B
S[e][t%B]=0 ;
t = t+1 ;
Pour e de 1 à E
Pour i de 1 à I
Pour d de d, (inclus) à di+i (exclu)
S[e][t'+d] = S[e][t'+d] + v[e][m][i].
5 - Procédé selon la revendication 1 caractérisé en ce que l'on détermine l'événement le plus probable en recherchant l'argument maximal sur e du tableau S[e][p] pour chaque valeur de p.
6 - Procédé selon l'une des revendications 1 à 5 caractérisé en ce que le signal se présente sous la forme de signaux sismographiques, de signaux sonores, de flux de données, les signaux étant composés d'images 2D et/ou de vidéos 2D, et/ou d'images 3D ou de vidéos 3D.
7 - Système de détection d'événements dans un signal comportant au moins les éléments suivants : • Un capteur de détection (22) adapté à détecter un ou plusieurs micro- événements mn dans le signal, à des instants donnés ti ,..tN, correspondant à une observation Oi,
• Une mémoire (21 ) de stockage des résultats,
« Un processeur (20) adapté à exécuter les étapes du procédé selon l'une des revendications 1 à 6.
8 - Système de détection selon la revendication 7 caractérisé en ce qu'il comporte une mémoire tampon (26) pour stocker le signal arrivant en continu.
9 - Système de détection selon l'une des revendications 7 ou 8 caractérisé en ce que le signal reçu sur le capteur de détection (22) se présente sous la forme de signaux sismographiques ou de signaux sonores, les signaux étant composés d'images 2D et/ou de vidéos 2D, et/ou d'images 3D ou de vidéos 3D.
10 - Système de détection selon l'une des revendications 7 à 9 caractérisé en ce qu'il comporte une caméra active connectée à un micro-ordinateur.
EP15767185.0A 2014-09-26 2015-09-24 Procede et systeme de detection d'evenements de nature connue Withdrawn EP3198523A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1459143A FR3026526B1 (fr) 2014-09-26 2014-09-26 Procede et systeme de detection d'evenements de nature connue
PCT/EP2015/072023 WO2016046336A1 (fr) 2014-09-26 2015-09-24 Procede et systeme de detection d'evenements de nature connue

Publications (1)

Publication Number Publication Date
EP3198523A1 true EP3198523A1 (fr) 2017-08-02

Family

ID=52589479

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15767185.0A Withdrawn EP3198523A1 (fr) 2014-09-26 2015-09-24 Procede et systeme de detection d'evenements de nature connue

Country Status (4)

Country Link
US (1) US10296781B2 (fr)
EP (1) EP3198523A1 (fr)
FR (1) FR3026526B1 (fr)
WO (1) WO2016046336A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022106545A1 (fr) 2020-11-23 2022-05-27 Commissariat A L'energie Atomique Et Aux Energies Alternatives Dispositif apprenant pour système cyber-physique mobile

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10581945B2 (en) * 2017-08-28 2020-03-03 Banjo, Inc. Detecting an event from signal data
US11025693B2 (en) 2017-08-28 2021-06-01 Banjo, Inc. Event detection from signal data removing private information
US10313413B2 (en) 2017-08-28 2019-06-04 Banjo, Inc. Detecting events from ingested communication signals
US10585724B2 (en) 2018-04-13 2020-03-10 Banjo, Inc. Notifying entities of relevant events

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04287290A (ja) 1990-11-20 1992-10-12 Imra America Inc ハフ変換画像処理装置
JP4556195B2 (ja) * 2008-02-15 2010-10-06 カシオ計算機株式会社 撮像装置、動画再生装置及びそのプログラム
US9111146B2 (en) * 2008-02-15 2015-08-18 Tivo Inc. Systems and methods for semantically classifying and normalizing shots in video
JP2011205599A (ja) * 2010-03-26 2011-10-13 Toshiba Corp 信号処理装置
FR2982684B1 (fr) * 2011-11-10 2014-01-10 Commissariat Energie Atomique Systeme et procede de conception de circuit numerique a capteur d'activite
US9349069B2 (en) 2011-11-21 2016-05-24 Analog Devices, Inc. Dynamic line-detection system for processors having limited internal memory

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None *
See also references of WO2016046336A1 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022106545A1 (fr) 2020-11-23 2022-05-27 Commissariat A L'energie Atomique Et Aux Energies Alternatives Dispositif apprenant pour système cyber-physique mobile
FR3116634A1 (fr) 2020-11-23 2022-05-27 Commissariat A L'energie Atomique Et Aux Energies Alternatives Dispositif apprenant pour système cyber-physique mobile

Also Published As

Publication number Publication date
US10296781B2 (en) 2019-05-21
FR3026526B1 (fr) 2017-12-08
US20170293798A1 (en) 2017-10-12
WO2016046336A1 (fr) 2016-03-31
FR3026526A1 (fr) 2016-04-01

Similar Documents

Publication Publication Date Title
Luo et al. Automated plankton image analysis using convolutional neural networks
González et al. Automatic plankton quantification using deep features
Wu et al. Deep learning for video classification and captioning
Madhusudhana et al. Improve automatic detection of animal call sequences with temporal context
Ezzat et al. Horizontal review on video surveillance for smart cities: Edge devices, applications, datasets, and future trends
EP3198523A1 (fr) Procede et systeme de detection d&#39;evenements de nature connue
CN111382616B (zh) 视频分类方法、装置及存储介质、计算机设备
CN108509827A (zh) 视频流中异常内容的识别方法及视频流处理系统和方法
US12217474B2 (en) Detection of moment of perception
WO2018197693A1 (fr) Procédé et dispositif automatisés aptes à assurer l&#39;invariance perceptive d&#39;un évènement spatio-temporel dynamiquement en vue d&#39;en extraire des représentations sémantiques unifiées
CN112487217A (zh) 跨模态检索方法、装置、设备及计算机可读存储介质
CN111027576A (zh) 基于协同显著性生成式对抗网络的协同显著性检测方法
CN103745201B (zh) 一种节目识别方法及装置
Benlamoudi et al. Face presentation attack detection using deep background subtraction
CN118485823B (zh) 边缘场景下畜牧场中各动物的图像识别方法、设备及介质
CN116030832A (zh) 语音检测方法、装置、设备和存储介质
Lee et al. Three-stage deep learning framework for video surveillance
Li et al. Vehicle detection in remote sensing images using denoizing-based convolutional neural networks
Agrawal et al. Eye blinking feature processing using convolutional generative adversarial network for deep fake video detection
Liu et al. Recent progress in ocean intelligent perception and image processing and the impacts of nonlinear noise
Liu et al. Fine-art recognition using convolutional transformers
Li et al. RCF-YOLOv8: A Multi-Scale Attention and Adaptive Feature Fusion Method for Object Detection in Forward-Looking Sonar Images
CN116311077A (zh) 一种基于显著性图的多光谱融合的行人检测方法及装置
CN115147743A (zh) 无人机检测和识别方法、系统、电子装置和存储介质
Rakhmatulin Increasing FPS for single board computers and embedded computers in 2021 (Jetson Nano and YOVOv4-tiny)

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20170327

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20180627

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20201113