EP3577541A1 - Dispositif d'analyse de la synchronisation d'images sur des voies d'affichage distinctes - Google Patents

Dispositif d'analyse de la synchronisation d'images sur des voies d'affichage distinctes

Info

Publication number
EP3577541A1
EP3577541A1 EP18705683.3A EP18705683A EP3577541A1 EP 3577541 A1 EP3577541 A1 EP 3577541A1 EP 18705683 A EP18705683 A EP 18705683A EP 3577541 A1 EP3577541 A1 EP 3577541A1
Authority
EP
European Patent Office
Prior art keywords
eaj
plj
display
display means
cgj
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP18705683.3A
Other languages
German (de)
English (en)
Other versions
EP3577541B1 (fr
Inventor
Matthieu MIKA
Christophe MION
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PSA Automobiles SA
Original Assignee
PSA Automobiles SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PSA Automobiles SA filed Critical PSA Automobiles SA
Publication of EP3577541A1 publication Critical patent/EP3577541A1/fr
Application granted granted Critical
Publication of EP3577541B1 publication Critical patent/EP3577541B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players

Definitions

  • display channel refers to a set of elements including in particular a graphics card and a display means.
  • Some systems such as for example and not limited to virtual reality immersive systems, comprise at least two separate display channels and responsible for displaying images in a synchronized manner.
  • an immersive virtual reality system is used to immerse users in virtual environments for professional or recreational reasons. This is particularly the case, although not exclusively, in the field of vehicles, possibly of the automotive type. Such an immersion may be intended, for example, to teach a user to evolve in a particular environment or to use objects or functions present in a particular environment, or to analyze the behavior of a user in a particular environment, or to observe a particular environment according to the position of a user in relation to the latter.
  • an immersive virtual reality system usually comprises:
  • At least one target capable of being secured to a user able to move in a predefined space
  • detection means for detecting the current position of this target in this predefined space and for delivering a signal representative of this current position
  • At least one display means responsible for displaying in the predefined space images (possibly three-dimensional (or 3D)) for this screen, and
  • At least one graphics card responsible for defining in real time for an associated display means images (possibly stereoscopic) of a chosen environment, as a function of the current position of the / each target and the position of the display of the associated display means in the predefined space.
  • the immersive system When the immersive system comprises at least two display means associated respectively with separate graphics cards, it must also comprise synchronization means responsible for synchronizing the instant when the images "leave" graphics cards for the display means (screen, projector, ).
  • synchronization means may, for example, be in the form of controller cards such as those called G-Sync® from Nvidia, or software.
  • the invention is therefore particularly intended to improve the situation.
  • an analysis device intended to perform analyzes in a system comprising:
  • At least two display means responsible for displaying new images
  • synchronization means capable of synchronizing the instants of definition of identical new images by the graphics cards.
  • At least two sensors respectively associated with the display means and each adapted to generate a main signal representative of a new image in the event of detection of the display of such a new image by the associated display means, and
  • analysis means capable of determining a first instant of reception of each of the main signals, and then, when the first given reception instants are representative of the same new image, to determine a first time difference between these first times of reception. determined.
  • the analysis device according to the invention may comprise other characteristics that can be taken separately or in combination, and in particular:
  • the analysis means may be able to determine a second reception time of each auxiliary signal, then, when first and second reception instants determined are representative of the same new image, to determine a second time difference between these first and second reception instants determined, then to compare this determined second time difference to a predefined deviation to determine a possible display delay induced by the display means associated with the graphics card which is itself associated with processing means having generated the auxiliary signal;
  • each sensor may be able to detect the color of each new image displayed (by the associated display means) and to generate a main signal which is representative of this color detected.
  • the invention also proposes a system comprising:
  • At least two display means responsible for displaying new images
  • synchronization means capable of synchronizing the instants of definition of identical new images by the graphics cards
  • the system according to the invention may comprise other characteristics that can be taken separately or in combination, and in particular:
  • it may also comprise a computer comprising the graphics cards and the synchronization means;
  • it may also comprise computers respectively comprising the graphics cards, and respectively coupled to the display means;
  • the computers may respectively comprise complementary parts of the synchronization means
  • At least one of its display means may comprise a screen and at least one projector
  • At least one of its display means may comprise a screen and a liquid crystal or diode panel coupled to electronic control means;
  • the object of the invention is in particular to propose a DA analysis device intended to perform analyzes in an SI system comprising at least two display channels, in order to determine whether the latter are synchronized, and possibly, in the negative, of identify which items are not synchronized.
  • display channel is understood to mean a set of elements including in particular a graphic card CGj and a display means Plj, EAj.
  • the IS system is an immersive virtual reality system intended to immerse a user in a virtual environment representative of at least a part of a vehicle, possibly of a type automobile (such as a car).
  • the invention is not limited to this type of system, and therefore even less to the aforementioned virtual environment.
  • the invention relates to any system comprising at least two image display channels which are to be determined if they are synchronized.
  • FIG. 1 schematically shows an example of an immersive (virtual reality) system SI associated with a predefined space EP, in which at least one user equipped with at least one target (not shown) can be moved, and comprising a exemplary embodiment of a DA analysis device according to the invention.
  • an immersive (virtual reality) system SI associated with a predefined space EP, in which at least one user equipped with at least one target (not shown) can be moved, and comprising a exemplary embodiment of a DA analysis device according to the invention.
  • the system (here immersive virtual reality) SI comprises in particular processing means 01 -03, at least two graphic cards CGj, synchronization means MS, and at least two display means Plj, EAj.
  • system SI also comprises, here, detection means MD which are not concerned by the invention, but which are able to detect the current position of each target in the predefined space EP and to deliver a signal which is representative of this position in course, to a computer 03 means of treatment.
  • detection means MD which are not concerned by the invention, but which are able to detect the current position of each target in the predefined space EP and to deliver a signal which is representative of this position in course, to a computer 03 means of treatment.
  • these detection means MD may comprise two cameras each associated with an infrared photon emitter and capable of filming in the infrared.
  • Each transmitter emits an infrared beam that will reflect on the targets carried by the user.
  • Each camera records images of the photons reflected on the targets, and sends each recorded image to the computer 03 which will deduce from the images received the position in the user's space at the moment considered.
  • the MD detection means could include more than two cameras.
  • Each display means Plj, EAj is responsible for displaying images in the predefined space EP. It will be noted that at least one of the display means may comprise a screen EAj and at least one projector P1j, as in the example illustrated in non-limiting manner in the single figure, or a screen EAj and a liquid crystal panel (or LCD) or diodes (LEDs or OLEDs) coupled to its associated electronic control means, for example.
  • a screen EAj and at least one projector P1j as in the example illustrated in non-limiting manner in the single figure, or a screen EAj and a liquid crystal panel (or LCD) or diodes (LEDs or OLEDs) coupled to its associated electronic control means, for example.
  • the number of screens EAj (and therefore display means) is at least two. Generally, it is between two and five. Each EAj screen is installed in the predefined EP space. It will be noted that the neighboring screens (here EA1 and EA2) may possibly be perpendicular to one another.
  • Each projector Plj is responsible for projecting on the associated screen EAj images (possibly three-dimensional) of a chosen environment, defined in real time for him.
  • each display means Plj, EAj is associated with its own graphic card CGj which is responsible for defining each image that it must display on its screen EAj. In normal operation, this definition is based on the current position of the target (s) brought (s) by the user and the position of the associated screen EAj in the predefined space EP.
  • the two graphics cards CG1 and CG2 are part of two separate computers 01 and 02 which are themselves part of the processing means of the system SI. But it could be envisaged that CGj graphics cards are part of the same computer responsible for defining images for several display means Plj, EAj.
  • the computer 03 which is part of the processing means of the SI system and which is coupled to the detection means MD, is here also coupled to the computers 01 and 02 in order to drive them according to the current positions detected by the detection means MD. .
  • the synchronization means MS are responsible for synchronizing the instants of presentation of the images to the display means Plj by the associated graphic cards CGj which generated them.
  • these synchronization means MS may, here, be in the form of controller cards implanted in the computers 01 and 02.
  • These controller cards, which constitute complementary parts of the synchronization means MS may, for example, be those which are called G-Sync® and manufactured by the company Nvidia or those which are called ATI FirePro Synchronization Modules by the company AMD.
  • G-Sync® and manufactured by the company Nvidia
  • ATI FirePro Synchronization Modules by the company AMD.
  • other means of synchronization can be used, and in particular via the network defined by the links between equipment of the system SI and the analysis device DA, or via electrical signals.
  • an analysis device DA comprises at least two sensors Cj and analysis means MA.
  • the number of sensors Cj is equal to the number of display means Plj, EAj, because each sensor Cj is associated with one of the display means Plj, EAj and is adapted to generate a main signal spj which is representative of a new image in case of detection of the display such a new image by the display means Plj, EAj associated.
  • new image displayed is an image that has just been displayed and which differs from the one previously displayed by at least one characteristic.
  • the analysis device DA may inform the graphic cards CGj so that they begin to define new images for the display means Plj, EAj associated. It will be noted that during an analysis of the SI system, neither its detection means MD nor its target (s) are used.
  • each new image may, for example and without limitation, each have a color that is selected from a set of colors, possibly randomly.
  • each new image may, for example, be exclusively defined by pixels all having the same color.
  • each sensor Cj is able to detect the color of each new image displayed and to generate a main signal spj which is representative of this detected color.
  • main signals spj may be of digital or analog type.
  • the analysis means MA receive a main signal spj they determine and record the reception instant which then becomes a first reception instant irlj. Then, they compare main signals spj (received from the different sensors Cj), and when the latter (spj) are identical (and therefore here represent the same color), they determine a first time difference and1 between these first moments of reception ir1j.
  • the analysis means MA are part of a computer 04 which is coupled (here, indirectly) to the sensors Cj. But this is not obligatory. Indeed, in a variant they could constitute an electronic equipment (for example comprising an oscilloscope and an electronic signal analysis circuit) coupled (directly or indirectly) to the sensors Cj. In another variant, the analysis means MA could be implanted in the processing means (for example in the computer 03 which is coupled to the detection means MD). Therefore, these analysis means MA can be made in the form of software modules (or computer (or "software”)), or a combination of electronic circuits (or “hardware”) and software modules.
  • the computer 04 is coupled to the sensors Cj via an electronic box BO.
  • This box puts in a packet the state of all the sensors Cj at a time t and transmits this packet to the computer 04, for example on the USB port so that it is directly exploitable. But the signals could enter directly into the computer 04 via a specific expansion card in the latter (04).
  • each auxiliary signal sa1 is representative of the color of the new image.
  • This predefined difference ep is equal to the difference, in normal operation (that is to say in the absence of malfunction of equipment (s)), between, on the one hand, the time elapsed between the instant of definition of a new image by the graphics card CG1 and the time of reception of the main signal sp1 by the analysis means MA of the computer 04, and, on the other hand, the time required for the transmission of a auxiliary signal sa1 between the computer 01 and the analysis means MA.
  • This predefined distance ep is determined beforehand with the configuration of the system SI and its analysis device DA, and stored in the analysis means MA.
  • the computer 04 (which contains the analysis means MA) receives the auxiliary signals sa1 via the electronic unit BO.
  • the latter receives from the first computer 01 an auxiliary signal sa1 (in COM port format) that it integrates with the sensor packet and transmits to the computer 04 an auxiliary signal sa1 converted to the format of the USB port so to be directly exploitable.
  • the analysis means MA know the second time difference and2, and the latter (and2) is different from the predefined gap ep, they can deduce that there is a malfunction in the display means of the SI system.
  • the first time difference et1 makes it possible to detect a synchronization problem between the display channels (CGj, Plj, EAj), and the second time difference and2 makes it possible to measure the latency of the display means in the case where there is no There is no problem of synchronization between the display channels (CGj, Plj, EAj).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

Un dispositif (DA) analyse un système (SI) comprenant des moyens d'affichage (PI1, EA1; PI2, EA2) chargés d'afficher des images, des cartes graphiques (CG1, CG2) chargées de définir ces images, et des moyens de synchronisation (MS) pour synchroniser les instants de définition d'images identiques par les cartes graphiques (CG1, CG2). Ce dispositif (DA) comprend des capteurs (C1, C2) associés aux moyens d'affichage (PI1, EA1; PI2, EA2) et générant un signal principal représentatif d'une nouvelle image en cas de détection de l'affichage d'une telle nouvelle image par le moyen d'affichage associé, et des moyens d'analyse (MA) chargés de déterminer un premier instant de réception de chacun des signaux principaux, puis, lorsque des premiers instants de réception déterminés sont représentatifs d'une même nouvelle image, de déterminer un premier écart temporel entre ces premiers instants de réception déterminés.

Description

DISPOSITIF D'ANALYSE DE LA SYNCHRONISATION D'IMAGES SUR DES VOIES D'AFFICHAGE DISTINCTES
L'invention concerne les systèmes qui comprennent au moins deux voies d'affichage distinctes.
On entend ici par « voie d'affichage » un ensemble d'éléments comprenant notamment une carte graphique et un moyen d'affichage.
Certains systèmes, comme par exemple et non limitativement les systèmes immersifs de réalité virtuelle, comprennent au moins deux voies d'affichage distinctes et chargées d'afficher des images de façon synchronisée.
Il est rappelé qu'un système immersif de réalité virtuelle est utilisé pour immerger des utilisateurs dans des environnements virtuels pour des raisons professionnelles ou ludiques. C'est notamment le cas, bien que non limitativement, dans le domaine des véhicules, éventuellement de type automobile. Une telle immersion peut être destinée, par exemple, à apprendre à un utilisateur à évoluer dans un environnement particulier ou à se servir d'objets ou fonctions présents dans un environnement particulier, ou à analyser le comportement d'un utilisateur dans un environnement particulier, ou encore à observer un environnement particulier en fonction de la position d'un utilisateur par rapport à ce dernier.
Comme le sait l'homme de l'art, un système immersif de réalité virtuelle comprend habituellement :
- au moins une cible propre à être solidarisée à un utilisateur pouvant se déplacer dans un espace prédéfini,
- des moyens de détection chargés de détecter la position en cours de cette cible dans cet espace prédéfini et de délivrer un signal représentatif de cette position en cours,
- au moins un moyen d'affichage chargé d'afficher dans l'espace prédéfini des images (éventuellement tridimensionnelles (ou 3D)) destinées à cet écran, et
- au moins une carte graphique chargée de définir en temps réel pour un moyen d'affichage associé des images (éventuellement stéréoscopiques) d'un environnement choisi, en fonction de la position en cours de la/chaque cible et de la position de l'écran du moyen d'affichage associé dans l'espace prédéfini.
Lorsque le système immersif comprend au moins deux moyens d'affichage associés respectivement à des cartes graphiques distinctes, il doit également comprendre des moyens de synchronisation chargés de synchroniser l'instant où les images « sortent » des cartes graphiques à destination des moyens d'affichage (écran, projecteur, ...). De tels moyens de synchronisation peuvent, par exemple, se présenter sous la forme de cartes contrôleur telles que celles appelées G-Sync® de la société Nvidia, ou bien de logiciels.
Malgré la présence de tels moyens de synchronisation, il arrive fréquemment que des images, devant être affichées simultanément sur des écrans différents (mais voisins), soient en réalité affichées avec un léger décalage. De tels décalages, qui résultent d'un problème de synchronisation entre cartes graphiques et/ou d'un dysfonctionnement d'au moins un moyen d'affichage, induisent des « cassures » dans chaque image globale qui est observée par l'utilisateur immergé, ce qui perturbe son immersion et donc son expérience, et de surcroît peut induire des malaises.
Or, il n'existe pas aujourd'hui de dispositif permettant d'analyser ces décalages et donc de permettre une détermination de leur origine.
L'invention a donc notamment pour but d'améliorer la situation.
Elle propose notamment à cet effet un dispositif d'analyse destiné à faire des analyses dans un système comprenant :
- au moins deux moyens d'affichage chargés d'afficher des images nouvelles,
- au moins deux cartes graphiques chargées de définir ces images nouvelles respectivement pour les moyens d'affichage, et - des moyens de synchronisation propres à synchroniser les instants de définition d'images nouvelles identiques par les cartes graphiques.
Ce dispositif d'analyse se caractérise par le fait qu'il comprend :
- au moins deux capteurs associés respectivement aux moyens d'affichage et propres chacun à générer un signal principal représentatif d'une nouvelle image en cas de détection de l'affichage d'une telle nouvelle image par le moyen d'affichage associé, et
- des moyens d'analyse propres à déterminer un premier instant de réception de chacun des signaux principaux, puis, lorsque des premiers instants de réception déterminés sont représentatifs d'une même nouvelle image, à déterminer un premier écart temporel entre ces premiers instants de réception déterminés.
On peut ainsi quantifier de façon très précise au moins le décalage temporel résultant d'un temps de latence et donc d'une désynchronisation entre deux voies d'affichage d'un système.
Le dispositif d'analyse selon l'invention peut comporter d'autres caractéristiques qui peuvent être prises séparément ou en combinaison, et notamment :
- il peut également comprendre des moyens de traitement propres à générer un signal auxiliaire représentatif d'une nouvelle image chaque fois qu'une carte graphique associée définit une telle nouvelle image. Dans ce cas, les moyens d'analyse peuvent être propres à déterminer un second instant de réception de chaque signal auxiliaire, puis, lorsque des premier et second instants de réception déterminés sont représentatifs d'une même nouvelle image, à déterminer un second écart temporel entre ces premier et second instants de réception déterminés, puis à comparer ce second écart temporel déterminé à un écart prédéfini afin de déterminer un éventuel retard d'affichage induit par le moyen d'affichage associé à la carte graphique qui est elle-même associée aux moyens de traitement ayant généré le signal auxiliaire ;
ses moyens d'analyse peuvent être propres, lorsque le premier écart temporel est représentatif d'un retard d'affichage par un moyen d'affichage qui n'est pas associé à la carte graphique, qui est associée aux moyens de traitement ayant généré le signal auxiliaire, et que le second écart temporel déterminé est égal à l'écart prédéfini, à signaler un problème de synchronisation des images ;
- en présence d'images présentant chacune une couleur choisie parmi un ensemble de couleurs, chaque capteur peut être propre à détecter la couleur de chaque nouvelle image affichée (par le moyen d'affichage associé) et à générer un signal principal qui est représentatif de cette couleur détectée.
L'invention propose également un système comprenant :
- au moins deux moyens d'affichage chargés d'afficher des images nouvelles,
- au moins deux cartes graphiques chargées de définir ces images nouvelles respectivement pour les moyens d'affichage,
- des moyens de synchronisation propres à synchroniser les instants de définition d'images nouvelles identiques par les cartes graphiques, et
- un dispositif d'analyse du type de celui présenté ci-avant.
Le système selon l'invention peut comporter d'autres caractéristiques qui peuvent être prises séparément ou en combinaison, et notamment :
- il peut également comprendre un ordinateur comprenant les cartes graphiques et les moyens de synchronisation ;
- en variante, il peut également comprendre des ordinateurs comprenant respectivement les cartes graphiques, et couplés respectivement aux moyens d'affichage ;
les ordinateurs peuvent comprendre respectivement des parties complémentaires des moyens de synchronisation ;
- l'un au moins de ses moyens d'affichage peut comprendre un écran et au moins un projecteur ;
- en variante, l'un au moins de ses moyens d'affichage peut comprendre un écran et une dalle à cristaux liquides ou à diodes couplée à des moyens de contrôle électroniques ;
- il peut constituer un système immersif de réalité virtuelle.
D'autres caractéristiques et avantages de l'invention apparaîtront à l'examen de la description détaillée ci-après, et du dessin annexé, sur lequel l'unique figure illustre schématiquement et fonctionnellement un exemple de système immersif de réalité virtuelle comprenant un exemple de réalisation d'un dispositif d'analyse selon l'invention.
L'invention a notamment pour but de proposer un dispositif d'analyse DA destiné à faire des analyses dans un système SI comprenant au moins deux voies d'affichage, afin de déterminer si ces dernière sont synchronisées, et éventuellement, dans la négative, d'identifier quels éléments ne sont pas synchronisés.
Il est rappelé que l'on entend ici par « voie d'affichage » un ensemble d'éléments comprenant notamment une carte graphique CGj et un moyen d'affichage Plj, EAj.
On considère dans ce qui suit, à titre d'exemple non limitatif, que le système SI est un système immersif de réalité virtuelle destiné à immerger un utilisateur dans un environnement virtuel représentatif d'une partie au moins d'un véhicule, éventuellement de type automobile (comme par exemple une voiture). Mais l'invention n'est pas limitée à ce type de système, et donc encore moins à l'environnement virtuel précité. En effet, l'invention concerne tout système comprenant au moins deux voies d'affichage d'images dont on cherche à déterminer si elles sont synchronisées.
On a schématiquement représenté sur la figure 1 un exemple de système immersif (de réalité virtuelle) SI associé à un espace prédéfini EP, dans lequel peut se déplacer au moins un utilisateur équipé d'au moins une cible (non représentée), et comprenant un exemple de réalisation d'un dispositif d'analyse DA selon l'invention.
Comme illustré, le système (ici immersif de réalité virtuelle) SI comprend notamment des moyens de traitement 01 -03, au moins deux cartes graphiques CGj, des moyens de synchronisation MS, et au moins deux moyens d'affichage Plj, EAj.
On notera que le système SI comprend également, ici, des moyens de détection MD qui ne sont pas concernés par l'invention, mais qui sont propres à détecter la position en cours de chaque cible dans l'espace prédéfini EP et à délivrer un signal qui est représentatif de cette position en cours, à destination d'un ordinateur 03 des moyens de traitement.
Par exemple, ces moyens de détection MD peuvent comprendre deux caméras associées chacune à un émetteur de photons infrarouges et capables de filmer dans l'infrarouge. Chaque émetteur émet un faisceau infrarouge qui va se réfléchir sur les cibles portées par l'utilisateur. Chaque caméra enregistre des images des photons réfléchis sur les cibles, et envoie chaque image enregistrée à l'ordinateur 03 qui va déduire des images reçues la position dans l'espace de l'utilisateur à l'instant considéré. Mais les moyens de détection MD pourraient comprendre plus de deux caméras.
Chaque moyen d'affichage Plj, EAj est chargé d'afficher des images dans l'espace prédéfini EP. On notera que l'un au moins des moyens d'affichage peut comprendre un écran EAj et au moins un projecteur Plj, comme dans l'exemple illustré non limitativement sur l'unique figure, ou bien un écran EAj et une dalle à cristaux liquides (ou LCD) ou à diodes (LEDs ou OLEDs) couplée à ses moyens de contrôle électroniques associés, par exemple.
Le nombre d'écrans EAj (et donc de moyens d'affichage) est au moins égal à deux. Généralement, il est compris entre deux et cinq. Chaque écran EAj est installé dans l'espace prédéfini EP. On notera que les écrans voisins (ici EA1 et EA2) peuvent être éventuellement perpendiculaires entre eux.
Dans l'exemple illustré non limitativement sur l'unique figure, le système SI ne comprend que deux moyens d'affichage comportant chacun un écran EAj (j = 1 ou 2) associé à un projecteur Plj (j = 1 ou 2). Mais il pourrait comprendre plus de deux moyens d'affichage Plj, EAj, et par exemple trois, quatre ou cinq.
Chaque projecteur Plj est chargé de projeter sur l'écran EAj associé des images (éventuellement tridimensionnelles) d'un environnement choisi, définies en temps réel à son attention.
Par ailleurs, chaque moyen d'affichage Plj, EAj est associé à sa propre carte graphique CGj qui est chargée de définir chaque image qu'il doit afficher sur son écran EAj. En fonctionnement normal, cette définition se fait en fonction de la position en cours de la (des) cible(s) portée(s) par l'utilisateur et de la position de l'écran EAj associé dans l'espace prédéfini EP.
Dans l'exemple illustré non limitativement sur l'unique figure, les deux cartes graphiques CG1 et CG2 font parties de deux ordinateurs 01 et 02 distincts qui font eux-mêmes partie des moyens de traitement du système SI. Mais on pourrait envisager que les cartes graphiques CGj fassent partie d'un même ordinateur chargé de définir des images pour plusieurs moyens d'affichage Plj, EAj.
L'ordinateur 03 qui fait partie des moyens de traitement du système SI et qui est couplé aux moyens de détection MD, est ici également couplé aux ordinateurs 01 et 02 afin de les piloter en fonction des positions en cours détectées par les moyens de détection MD.
Les moyens de synchronisation MS sont chargés de synchroniser les instants de présentation des images aux moyens d'affichage Plj par les cartes graphiques CGj associées qui les ont générées. Par exemple, ces moyens de synchronisation MS peuvent, ici, se présenter sous la forme de cartes contrôleur implantées dans les ordinateurs 01 et 02. Ces cartes contrôleur, qui constituent des parties complémentaires des moyens de synchronisation MS, peuvent, par exemple, être celles qui sont appelées G-Sync® et fabriquées par la société Nvidia ou bien celles qui sont appelées ATI FirePro Synchronization Modules par la société AMD. Mais d'autres moyens de synchronisation peuvent être utilisés, et notamment via le réseau défini par les liaisons entre équipements du système SI et du dispositif d'analyse DA, ou via des signaux électriques. Dans ce cas, on date dans le temps les images générées par les cartes graphiques CGj, puis on compare les dates de ces images pour vérifier si elles sortent au même moment des cartes graphiques CGj. Ces dates peuvent transiter via un équipement réseau, via un équipement spécifique (GSync), ou via un dispositif logiciel, par exemple.
Comme illustré non limitativement sur l'unique figure, un dispositif d'analyse DA, selon l'invention, comprend au moins deux capteurs Cj et des moyens d'analyse MA. En fait, le nombre de capteurs Cj est égal au nombre de moyens d'affichage Plj, EAj, car chaque capteur Cj est associé à l'un des moyens d'affichage Plj, EAj et est propre à générer un signal principal spj qui est représentatif d'une nouvelle image en cas de détection de l'affichage d'une telle nouvelle image par le moyen d'affichage Plj, EAj associé.
On comprendra que chaque fois qu'une nouvelle image est affichée par un moyen d'affichage Plj, EAj, le capteur Cj, associé à ce dernier (et donc qui observe son écran EAj), génère un signal principal spj qui est représentatif de cette nouvelle image.
On entend ici par « nouvelle image affichée » une image qui vient d'être affichée et qui diffère de celle précédemment affichée par au moins une caractéristique.
Par exemple, au début d'une analyse le dispositif d'analyse DA peut en informer les cartes graphiques CGj afin qu'elles commencent à définir de nouvelles images pour les moyens d'affichage Plj, EAj associés. On notera que pendant une analyse du système SI, on utilise ni ses moyens de détection MD, ni sa (ses) cible(s).
Ces nouvelles images peuvent, par exemple et non limitativement, présenter chacune une couleur qui est choisie parmi un ensemble de couleurs, éventuellement de façon aléatoire. Ainsi, chaque nouvelle image peut, par exemple, être exclusivement définie par des pixels ayant tous la même couleur. Dans ce cas, chaque capteur Cj est propre à détecter la couleur de chaque nouvelle image affichée et à générer un signal principal spj qui est représentatif de cette couleur détectée. En variante, on pourrait afficher autre chose que des images de couleur unie, et notamment des motifs (QRCode ou symboles, par exemple).
On notera que les signaux principaux spj peuvent être de type numérique ou analogique.
Les moyens d'analyse MA sont propres à déterminer un premier instant de réception irlj de chacun des signaux principaux spj. Puis, lorsque des premiers instants de réception irlj déterminés sont représentatifs d'une même nouvelle image, les moyens d'analyse MA sont propres à déterminer un premier écart temporel et1 entre ces premiers instants de réception irlj déterminés (soit ici et1 = ir12 - ir1 1 ).
On comprendra que dès que les moyens d'analyse MA reçoivent un signal principal spj ils déterminent et enregistrent l'instant de réception qui devient alors un premier instant de réception irlj. Puis, ils comparent les signaux principaux spj (reçus des différents capteursCj), et, lorsque ces derniers (spj) sont identiques (et donc ici représentent une même couleur), ils déterminent un premier écart temporel et1 entre ces premiers instants de réception ir1j.
Ainsi un éventuel décalage temporel et1 résultant d'un temps de latence sur une voie d'affichage (CGj, Plj, EAj) d'un système SI peut être quantifié de façon très précise. Mais à ce stade d'une analyse, et en l'absence d'informations complémentaires, on ne sait que si les voies d'affichage du système SI sont synchronisées, mais il n'est pas possible de savoir quel équipement fait l'objet d'un dysfonctionnement au sein de la voie d'affichage qui présente un temps de latence par rapport à une autre voie d'affichage.
On notera que dans l'exemple illustré non limitativement sur l'unique figure, les moyens d'analyse MA font partie d'un ordinateur 04 qui est couplé (ici, indirectement) aux capteurs Cj. Mais cela n'est pas obligatoire. En effet, dans une variante ils pourraient constituer un équipement électronique (par exemple comprenant un oscilloscope et un circuit électronique d'analyse de signaux) couplé (directement ou indirectement) aux capteurs Cj. Dans une autre variante, les moyens d'analyse MA pourraient être implantés dans les moyens de traitement (par exemple dans l'ordinateur 03 qui est couplé aux moyens de détection MD). Par conséquent, ces moyens d'analyse MA peuvent être réalisés sous la forme de modules logiciels (ou informatiques (ou encore « software »)), ou bien d'une combinaison de circuits électroniques (ou « hardware ») et de modules logiciels.
On notera également que dans l'exemple illustré non limitativement sur l'unique figure, l'ordinateur 04 est couplé aux capteurs Cj via un boîtier électronique BO. Ce boîtier met dans un paquet l'état de tous les capteurs Cj à un instant t et transmet ce paquet à l'ordinateur 04, par exemple sur le port USB afin qu'il soit directement exploitable. Mais les signaux pourraient entrer directement dans l'ordinateur 04 via une carte d'extension spécifique dans ce dernier (04).
Afin d'analyser plus finement l'origine des éventuels décalages temporels et1 entre deux voies d'affichage, on peut configurer l'un des moyens de traitement, et plus précisément l'un des ordinateurs 01 et 02 (ici le premier ordinateur 01 (j = 1 )), afin qu'il génère un signal auxiliaire sa1 (si j = 1 ) représentatif d'une nouvelle image chaque fois qu'une telle nouvelle image a été définie et donc chaque fois qu'il déclenche sa transmission au moyen d'affichage EA1 , PU associé. Dans l'exemple qui est ici décrit, chaque signal auxiliaire sa1 est représentatif de la couleur de la nouvelle image.
Dans ce cas, les moyens d'analyse MA sont propres à déterminer un second instant de réception ir21 de chaque signal auxiliaire sa1 . Puis, lorsque des premier ir1 1 et second ir21 instants de réception déterminés sont représentatifs d'une même nouvelle image, les moyens d'analyse MA déterminent un second écart temporel et2 entre ces premier ir1 1 et second ir21 instants de réception déterminés (soit, ici, et2 = ir1 1 - ir21 ). Ensuite, les moyens d'analyse MA comparent ce second écart temporel et2 déterminé à un écart prédéfini ep afin de déterminer un éventuel retard d'affichage ra induit par le moyen d'affichage EA1 , PU qui est associé à l'ordinateur 01 ayant généré le signal auxiliaire sa1 .
Cet écart prédéfini ep est égal à la différence, en fonctionnement normal (c'est-à-dire en l'absence de dysfonctionnement d'équipement(s)), entre, d'une part, le temps écoulé entre l'instant de définition d'une image nouvelle par la carte graphique CG1 et l'instant de réception du signal principal sp1 par les moyens d'analyse MA de l'ordinateur 04, et, d'autre part, le temps nécessaire à la transmission d'un signal auxiliaire sa1 entre l'ordinateur 01 et les moyens d'analyse MA. Cet écart prédéfini ep est déterminé préalablement avec la configuration du système SI et de son dispositif d'analyse DA, et stocké dans les moyens d'analyse MA.
On notera que dans l'exemple illustré non limitativement sur l'unique figure, l'ordinateur 04 (qui contient les moyens d'analyse MA) reçoit les signaux auxiliaires sa1 via le boîtier électronique BO. Par exemple, ce dernier (BO) reçoit du premier ordinateur 01 un signal auxiliaire sa1 (au format du port COM) qu'il intègre au paquet des capteurs et transmet à l'ordinateur 04 un signal auxiliaire sa1 converti au format du port USB afin d'être directement exploitable.
Lorsque les moyens d'analyse MA connaissent le second écart temporel et2, et que ce dernier (et2) est différent de l'écart prédéfini ep, ils peuvent en déduire qu'il existe un dysfonctionnement au niveau des moyens d'affichage du système SI.
Le premier écart temporel et1 permet de détecter un problème de synchronisation entre les voies d'affichage (CGj, Plj, EAj), et le second écart temporel et2 permet de mesurer la latence des moyens d'affichage dans le cas où il n'y a pas de problème de synchronisation entre les voies d'affichage (CGj, Plj, EAj).

Claims

REVENDICATIONS
1 . Dispositif d'analyse (DA) pour un système (SI) comprenant au moins deux moyens d'affichage (Plj, EAj) chargés d'afficher des images nouvelles, au moins deux cartes graphiques (CGj) chargées de définir lesdites images nouvelles respectivement pour lesdits moyens d'affichage (Plj, EAj), et des moyens de synchronisation (MS) propres à synchroniser les instants de définition d'images nouvelles identiques par lesdites cartes graphiques (CGj), caractérisé en ce qu'il comprend i) au moins deux capteurs (Cj) associés respectivement auxdits moyens d'affichage (Plj, EAj) et propres chacun à générer un signal principal représentatif d'une nouvelle image en cas de détection de l'affichage d'une telle nouvelle image par ledit moyen d'affichage (Plj, EAj) associé, et ii) des moyens d'analyse (MA) propres à déterminer un premier instant de réception de chacun desdits signaux principaux, puis, lorsque des premiers instants de réception déterminés sont représentatifs d'une même nouvelle image, à déterminer un premier écart temporel entre lesdits premiers instants de réception déterminés.
2. Dispositif selon la revendication 1 , caractérisé en ce qu'il comprend des moyens de traitement (01 ) propres à générer un signal auxiliaire représentatif d'une nouvelle image chaque fois qu'une carte graphique (CGj) associée définit une telle nouvelle image, et en ce que lesdits moyens d'analyse (MA) sont propres à déterminer un second instant de réception de chaque signal auxiliaire, puis, lorsque des premier et second instants de réception déterminés sont représentatifs d'une même nouvelle image, à déterminer un second écart temporel entre ces premier et second instants de réception déterminés, puis à comparer ce second écart temporel déterminé à un écart prédéfini afin de déterminer un éventuel retard d'affichage induit par le moyen d'affichage (Plj, EAj) associé à ladite carte graphique (CGj) qui est elle-même associée auxdits moyens de traitement (01 ) ayant généré le signal auxiliaire.
3. Dispositif selon la revendication 2, caractérisé en ce que lesdits moyens d'analyse (MA) sont propres, lorsque ledit premier écart temporel est représentatif d'un retard d'affichage par un moyen d'affichage (Plj', EAj') qui n'est pas associé à ladite carte graphique (CGj), qui est associée auxdits moyens de traitement (01 ) ayant généré le signal auxiliaire, et que ledit second écart temporel déterminé est égal audit écart prédéfini, à signaler un problème de synchronisation des images.
4. Dispositif selon l'une des revendications 1 à 3, caractérisé en ce qu'en présence d'images présentant chacune une couleur choisie parmi un ensemble de couleurs, chaque capteur (Cj) est propre à détecter la couleur de chaque nouvelle image affichée et à générer un signal principal représentatif de cette couleur détectée.
5. Système (SI) comprenant i) au moins deux moyens d'affichage (Plj, EAj) chargés d'afficher des images nouvelles, au moins deux cartes graphiques (CGj) chargées de définir lesdites images nouvelles respectivement pour lesdits moyens d'affichage (Plj, EAj), et des moyens de synchronisation (MS) propres à synchroniser les instants de définition d'images nouvelles identiques par lesdites cartes graphiques (CGj), caractérisé en ce qu'il comprend en outre un dispositif d'analyse (DA) selon l'une des revendications précédentes.
6. Système selon la revendication 5, caractérisé en ce qu'il comprend un ordinateur comprenant lesdites cartes graphiques (CGj) et lesdits moyens de synchronisation (MS).
7. Système selon la revendication 5, caractérisé en ce qu'il comprend des ordinateurs (01 , 02) comprenant respectivement lesdites cartes graphiques (CGj), et couplés respectivement auxdits moyens d'affichage (Plj, EAj).
8. Système selon la revendication 7, caractérisé en ce que lesdits ordinateurs (01 , 02) comprennent respectivement des parties complémentaires desdits moyens de synchronisation (MS).
9. Système selon l'une des revendications 5 à 8, caractérisé en ce que l'un au moins desdits moyens d'affichage (Plj, EAj) comprend un écran (EAj) et au moins un projecteur (Plj).
10. Système selon l'une des revendications 5 à 9, caractérisé en ce qu'il constitue un système immersif de réalité virtuelle.
EP18705683.3A 2017-02-01 2018-01-29 Dispositif d'analyse de la synchronisation d'images sur des voies d'affichage distinctes Active EP3577541B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1750848A FR3062495B1 (fr) 2017-02-01 2017-02-01 Dispositif d’analyse de la synchronisation d’images sur des voies d’affichage distinctes
PCT/FR2018/050188 WO2018142049A1 (fr) 2017-02-01 2018-01-29 Dispositif d'analyse de la synchronisation d'images sur des voies d'affichage distinctes

Publications (2)

Publication Number Publication Date
EP3577541A1 true EP3577541A1 (fr) 2019-12-11
EP3577541B1 EP3577541B1 (fr) 2021-03-10

Family

ID=59031063

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18705683.3A Active EP3577541B1 (fr) 2017-02-01 2018-01-29 Dispositif d'analyse de la synchronisation d'images sur des voies d'affichage distinctes

Country Status (4)

Country Link
EP (1) EP3577541B1 (fr)
CN (1) CN110235088A (fr)
FR (1) FR3062495B1 (fr)
WO (1) WO2018142049A1 (fr)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0734011A3 (fr) * 1995-03-21 1999-01-20 Sun Microsystems, Inc. Synchronisation d'une zone de trames indépendantes
WO1998032068A1 (fr) * 1997-01-17 1998-07-23 Intergraph Corporation Dispositif et procede de synchronisation pour affichage multiple
US6157395A (en) * 1997-05-19 2000-12-05 Hewlett-Packard Company Synchronization of frame buffer swapping in multi-pipeline computer graphics display systems
FR2840701A1 (fr) * 2002-06-06 2003-12-12 Artabel Procede et dispositif pour synchroniser un ensemble d'ordinateurs utilises en cluster pour traitement graphique
KR20070077262A (ko) * 2006-01-23 2007-07-26 삼성전자주식회사 쌍방향 통신이 가능한 영상처리장치 및 그의 영상처리방법
US20110149052A1 (en) * 2009-12-22 2011-06-23 Samsung Electronics Co., Ltd. 3d image synchronization apparatus and 3d image providing system
IT1397294B1 (it) * 2010-01-07 2013-01-04 3Dswitch S R L Dispositivo e metodo per il riconoscimento di occhiali per visione stereoscopica, e relativometodo di controllo della visualizzazione di un flusso video stereoscopico.
US9942541B2 (en) * 2012-12-05 2018-04-10 Sony Network Entertainment International Llc Method and apparatus for synchronizing of 3-D display devices

Also Published As

Publication number Publication date
FR3062495B1 (fr) 2020-12-25
FR3062495A1 (fr) 2018-08-03
CN110235088A (zh) 2019-09-13
WO2018142049A1 (fr) 2018-08-09
EP3577541B1 (fr) 2021-03-10

Similar Documents

Publication Publication Date Title
BE1022486B1 (fr) Un systeme d'appareil de prise de vues tof et une methode pour mesurer une distance avec le systeme
CN103026720A (zh) 立体摄像机系统的光学自诊断
JP2014089179A (ja) 待ち時間測定のシステムおよび方法
FR2967324A1 (fr) Procede et dispositif de controle du dephasage entre cameras stereoscopiques
WO2021131508A1 (fr) Dispositif de détection de défaut de surface, procédé et programme de détection de défaut de surface et système de détection de défaut de surface
FR3043901A1 (fr) Procede d'evaluation de la vision d'un individu dans des conditions de luminance predefinies
EP2611169A1 (fr) Dispositif d'acquisition d'images stereoscopiques
EP3577541B1 (fr) Dispositif d'analyse de la synchronisation d'images sur des voies d'affichage distinctes
EP2905771A1 (fr) Procédé et dispositif pour verifier un affichage d'images sur un écran électronique
EP3410303B1 (fr) Procédé, appareil et programme informatique de détection de panne d'un élément de sortie d'un afficheur
EP3884656B1 (fr) Appareil et procédé pour observer une scène comportant une cible
JP2024117960A (ja) 光源識別装置、計測装置、光源識別方法及びプログラム
WO2021255069A1 (fr) Procédé d'authentification d'un élément optiquement variable.
JP2019118201A (ja) アーク放電判定装置
FR3074319A1 (fr) Procede et dispositif de controle d'une interface conducteur-machine
CA3174807A1 (fr) Procede et dispositif d'imagerie de documents
JP2017137045A (ja) 収納庫の使用状況判定装置
WO2018142043A1 (fr) Dispositif d'analyse pour la détermination d'un délai de détection contribuant à un temps de latence au sein d'un système immersif de réalité virtuelle
FR3125146A1 (fr) Procédé et système de génération d’images de synthèse prédictive, et équipement d’acquisition d’environnements lumineux mis en œuvre dans ce système
FR3048104A1 (fr) Procede et dispositif de capture d'images d'un vehicule
EP3273385A1 (fr) Dispositif de détection de siège libre dans un compartiment de véhicule de transport public, notamment de véhicule ferroviaire
CA3064077A1 (fr) Procede pour verifier l'affichage d'un contenu par un dispositif d'affichage numerique et systeme d'affichage numerique
FR3041111A1 (fr) Mire d'etalonnage ou de test
FR2991073A1 (fr) Procede d'affichage d'une donnee emise par deux voies de communication distinctes
EP1929777B1 (fr) Systeme et procede de traitement d'images par annulation d'echo video

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190729

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: PSA AUTOMOBILES SA

INTG Intention to grant announced

Effective date: 20201103

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1370561

Country of ref document: AT

Kind code of ref document: T

Effective date: 20210315

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602018013744

Country of ref document: DE

REG Reference to a national code

Ref country code: DE

Ref legal event code: R084

Ref document number: 602018013744

Country of ref document: DE

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

REG Reference to a national code

Ref country code: GB

Ref legal event code: 746

Effective date: 20210621

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210610

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210310

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210310

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210611

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210610

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210310

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 1370561

Country of ref document: AT

Kind code of ref document: T

Effective date: 20210310

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20210310

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210310

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210310

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210310

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210310

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210310

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210310

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210310

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210310

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210710

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210712

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210310

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210310

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210310

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602018013744

Country of ref document: DE

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210310

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210310

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210310

26N No opposition filed

Effective date: 20211213

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210310

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210310

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210710

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210310

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20220131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220129

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220131

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220129

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20231219

Year of fee payment: 7

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 602018013744

Country of ref document: DE

Owner name: STELLANTIS AUTO SAS, FR

Free format text: FORMER OWNER: PSA AUTOMOBILES SA, POISSY, FR

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210310

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210310

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20231219

Year of fee payment: 7

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20180129

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210310

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20210310

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 602018013744

Country of ref document: DE

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20250129

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20250801

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20250129

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20251218

Year of fee payment: 9