FR3072932A1 - SCREEN DISPLAY DEVICE FIXED TO A PART OF A SYSTEM FOR TRANSPARENCY OF A MASKING MEMBER. - Google Patents

SCREEN DISPLAY DEVICE FIXED TO A PART OF A SYSTEM FOR TRANSPARENCY OF A MASKING MEMBER. Download PDF

Info

Publication number
FR3072932A1
FR3072932A1 FR1760178A FR1760178A FR3072932A1 FR 3072932 A1 FR3072932 A1 FR 3072932A1 FR 1760178 A FR1760178 A FR 1760178A FR 1760178 A FR1760178 A FR 1760178A FR 3072932 A1 FR3072932 A1 FR 3072932A1
Authority
FR
France
Prior art keywords
images
person
masking element
acquisition means
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1760178A
Other languages
French (fr)
Other versions
FR3072932B1 (en
Inventor
Stephane Delalande
Philippe Porral
Dieu Sang Ly
Philippe Fuchs
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PSA Automobiles SA
Original Assignee
PSA Automobiles SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PSA Automobiles SA filed Critical PSA Automobiles SA
Priority to FR1760178A priority Critical patent/FR3072932B1/en
Priority to PCT/FR2018/052474 priority patent/WO2019081829A1/en
Publication of FR3072932A1 publication Critical patent/FR3072932A1/en
Application granted granted Critical
Publication of FR3072932B1 publication Critical patent/FR3072932B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • B60K35/10
    • B60K35/22
    • B60K35/223
    • B60K35/28
    • B60K35/60
    • B60K35/81
    • B60K2360/149
    • B60K2360/167
    • B60K2360/176
    • B60K2360/179
    • B60K2360/21
    • B60K2360/333
    • B60K2360/777
    • B60K2360/797

Abstract

Un dispositif d'affichage (DA) équipe un système (VA) comprenant un espace d'accueil (SC), des premiers moyens d'acquisition (MA1) acquérant des premières images d'une zone extérieure située derrière un élément masquant (EM), et des deuxièmes moyens d'acquisition (MA2) acquérant des deuxièmes images des yeux d'une personne (CV) présente dans l'espace d'accueil (SC). Ce dispositif (DA) comprend : - un écran d'affichage (EA) solidarisé à l'élément masquant (EM), - des moyens de traitement (MT) estimant une première distance d'une sous-zone masquée à la personne (CV) par l'élément masquant (EM) en fonction des premiers (MA1) et deuxièmes (MA2) moyens d'acquisition, de deuxièmes distances séparant la zone extérieure d'un endroit du système (VA) et d'une troisième distance séparant cet endroit des yeux, déterminant dans les premières images cette sous-zone en fonction de la direction d'observation du regard et de la première distance, et générant des troisièmes images de cette sous-zone.A display device (DA) equips a system (VA) comprising a reception area (SC), first acquisition means (MA1) acquiring first images of an outer area located behind a masking element (EM) , and second acquisition means (MA2) acquiring second images of the eyes of a person (CV) present in the reception area (SC). This device (DA) comprises: - a display screen (EA) secured to the masking element (EM), - processing means (MT) estimating a first distance from a masked sub-area to the person (CV) ) by the masking element (EM) as a function of the first (MA1) and second (MA2) acquisition means, second distances separating the outer zone from one point of the system (VA) and a third distance separating said location of the eyes, determining in the first images this sub-area according to the observation direction of the gaze and the first distance, and generating third images of this sub-zone.

Description

® DISPOSITIF D'AFFICHAGE A ECRAN FIXE A UNE PARTIE D'UN SYSTEME POUR RENDRE TRANSPARENT UN ELEMENT MASQUANT.® DISPLAY DEVICE WITH A SCREEN FIXED TO A PART OF A SYSTEM FOR MAKING A MASKING ELEMENT TRANSPARENT.

@) Un dispositif d'affichage (DA) équipe un système (VA) comprenant un espace d'accueil (SC), des premiers moyens d'acquisition (MA1) acquérant des premières images d'une zone extérieure située derrière un élément masquant (EM), et des deuxièmes moyens d'acquisition (MA2) acquérant des deuxièmes images des yeux d'une personne (CV) présente dans l'espace d'accueil (SC). Ce dispositif (DA) comprend:@) A display device (DA) equips a system (VA) comprising a reception space (SC), first acquisition means (MA1) acquiring first images of an external area located behind a masking element ( EM), and second acquisition means (MA2) acquiring second images of the eyes of a person (CV) present in the reception space (SC). This device (DA) includes:

- un écran d'affichage (EA) solidarisé à l'élément mas- quant (EM),- a display screen (EA) secured to the masking element (EM),

- des moyens de traitement (MT) estimant une première distance d'une sous-zone masquée à la personne (CV) par l'élément masquant (EM) en fonction des premiers (MA1 ) et deuxièmes (MA2) moyens d'acquisition, de deuxièmes distances séparant la zone extérieure d'un endroit du système (VA) et d'une troisième distance séparant cet endroit des yeux, déterminant dans les premières images cette souszone en fonction de la direction d'observation du regard et de la première distance, et générant des troisièmes images de cette sous-zone.processing means (MT) estimating a first distance from a sub-area masked from the person (CV) by the masking element (EM) as a function of the first (MA1) and second (MA2) acquisition means, second distances separating the external zone from a place in the system (VA) and a third distance separating this place from the eyes, determining in the first images this subzone as a function of the direction of observation of the gaze and of the first distance , and generating third images of this sub-area.

DISPOSITIF D’AFFICHAGE À ÉCRAN FIXÉ À UNE PARTIE D’UN SYSTÈME POUR RENDRE TRANSPARENT UN ÉLÉMENT MASQUANTDISPLAY DEVICE WITH A SCREEN ATTACHED TO A PART OF A SYSTEM FOR TRANSPARENCY OF A MASKING ELEMENT

L’invention concerne les systèmes qui comprennent un espace d’accueil de personne(s) ayant dans son environnement un élément masquant pouvant gêner l’observation de l’environnement par une personne présente dans cet espace d’accueil.The invention relates to systems which include a reception space for person (s) having in their environment a masking element which can hinder the observation of the environment by a person present in this reception space.

On entend ici par « élément masquant >> un élément (éventuellement structurel) installé de façon inclinée ou verticale à côté d’une vitre (ou glace) ou d’une zone ouverte d’un système, et susceptible de gêner l’observation de l’environnement situé derrière cette vitre ou zone ouverte par une personne qui est présente dans un espace d’accueil (comme par exemple un siège). Dans le cas non limitatif d’un véhicule automobile, l’élément masquant pourra par exemple être un montant de baie auquel est solidarisé l’un des deux côtés latéraux du pare-brise, ou d’un montant (ou pied) milieu situé entre deux vitres latérales, ou encore d’un montant arrière situé à côté d’une lunette arrière. Dans le cas non limitatif d’une tour de contrôle aérien, l’élément masquant pourra par exemple être un montant situé entre deux vitres ou un bâtiment occultant une zone des pistes d’un aéroport. Dans le cas non limitatif d’un espace de surveillance, l’élément masquant pourra par exemple être un pilier d’un bâtiment bloquant partiellement la vue d’un vigile surveillant une zone extérieure (comme par exemple un parking ou une grille d’accès).The term “masking element” is understood here to mean an element (possibly structural) installed in an inclined or vertical manner next to a window (or glass) or an open area of a system, and capable of hindering the observation of the environment behind this window or area opened by a person who is present in a reception area (such as a seat). In the non-limiting case of a motor vehicle, the masking element could for example be a window post to which one of the two lateral sides of the windshield is secured, or a middle post (or foot) located between two side windows, or a rear pillar located next to a rear window. In the non-limiting case of an air traffic control tower, the masking element could for example be an upright located between two windows or a building obscuring an area of the runways of an airport. In the non-limiting case of a surveillance space, the masking element could for example be a pillar of a building partially blocking the view of a security guard monitoring an outside area (such as a parking lot or an access gate ).

Certains systèmes, comme par exemple certains véhicules, généralement de type automobile, comprennent un siège dédié à leur conducteur et à proximité duquel est installé au moins un élément masquant, comme par exemple un montant de baie, qui masque (ou occulte) au conducteur une partie de l’environnement extérieur, ce qui peut s’avérer dangereux.Certain systems, such as for example certain vehicles, generally of the automobile type, include a seat dedicated to their driver and close to which is installed at least one masking element, such as for example an upright of bay, which masks (or conceals) from the driver a part of the outside environment, which can be dangerous.

Pour éviter un tel masquage, il a été proposé, notamment dans le document brevet WO 2013/055513, d’adjoindre à un véhicule un dispositif d’affichage comprenant un écran d’affichage, solidarisé à la face interne du montant de baie (voisin du siège conducteur), et des moyens de traitement. Ces derniers sont chargés de déterminer dans des premières images, représentatives d’au moins une zone extérieure située derrière le montant de baie et acquises par des premiers moyens d’acquisition embarqués, une sous-zone qui est masquée par ce montant de baie au conducteur compte tenu de la direction d’observation de son regard, déterminée à partir de deuxièmes images d’au moins sa tête, acquises par des deuxièmes moyens d’acquisition installés dans l’habitacle. Les moyens de traitement sont également chargés de générer des troisièmes images de la sous-zone déterminée afin qu’elles soient immédiatement affichées (en « temps réel ») par l’écran d’affichage.To avoid such masking, it has been proposed, in particular in patent document WO 2013/055513, to add to a vehicle a display device comprising a display screen, secured to the internal face of the rack post (neighbor driver's seat), and processing means. The latter are responsible for determining in the first images, representative of at least one external zone located behind the amount of bay and acquired by first on-board acquisition means, a sub-area which is masked by this amount of bay from the driver taking into account the direction of observation of his gaze, determined from second images of at least his head, acquired by second acquisition means installed in the passenger compartment. The processing means are also responsible for generating third images of the determined sub-area so that they are immediately displayed (in "real time") by the display screen.

Ce type de dispositif d’affichage est donc destiné à donner l’impression au conducteur que le montant de baie est transparent. Cependant, il présente un inconvénient qui est de nature à perturber le conducteur. En effet, il ne prend pas en compte la distance qui sépare les yeux du conducteur de la zone extérieure observée par les premiers moyens d’acquisition. Or, selon cette distance la portion de la zone extérieure qui est effectivement occultée (ou masquée) au conducteur par le montant de baie est plus ou moins grande. Par conséquent, il arrive fréquemment que la sous-zone déterminée dans les premières images soit plus petite ou plus grande que la portion de la zone extérieure qui est effectivement occultée (ou masquée) par le montant de baie.This type of display device is therefore intended to give the driver the impression that the window pillar is transparent. However, it has a drawback which is likely to disturb the driver. Indeed, it does not take into account the distance between the driver's eyes and the outside area observed by the first acquisition means. However, according to this distance, the portion of the external area which is effectively obscured (or hidden) from the driver by the amount of window is more or less large. Consequently, it frequently happens that the sub-zone determined in the first images is smaller or larger than the portion of the external zone which is effectively obscured (or masked) by the amount of opening.

Lorsque la sous-zone déterminée est plus petite que la portion précitée, elle apparaît agrandit, une fois affichée, par rapport au reste de la zone extérieure qui l’entoure et qui est directement observé par le conducteur, et une petite partie masquée de cette zone extérieure n’est pas observable par le conducteur. Lorsque la sous-zone déterminée est plus grande que la portion précitée, elle apparaît, une fois affichée, réduite en proportion par rapport au reste de la zone extérieure qui l’entoure et qui est directement observé par le conducteur, et de surcroît en partie redondante avec une petite partie non masquée de cette zone extérieure et donc observable par le conducteur. Dans les deux cas, il existe une absence de continuité entre ce qui est observé par le conducteur directement (en dehors de l’écran d’affichage) et ce qui est observé par ce même conducteur indirectement (sur l’écran d’affichage).When the determined sub-area is smaller than the aforementioned portion, it appears enlarged, once displayed, compared to the rest of the outside area which surrounds it and which is directly observed by the driver, and a small hidden part of this outside area is not visible to the driver. When the determined sub-area is larger than the aforementioned portion, it appears, once displayed, reduced in proportion compared to the rest of the outside area which surrounds it and which is directly observed by the driver, and in addition in part redundant with a small unmasked part of this exterior area and therefore observable by the driver. In both cases, there is a lack of continuity between what is observed by the driver directly (outside the display screen) and what is observed by the same driver indirectly (on the display screen) .

L’invention a donc notamment pour but d’améliorer la situation.The invention therefore aims in particular to improve the situation.

Elle propose notamment à cet effet un dispositif d’affichage, d’une part, destiné à équiper un système comprenant un espace d’accueil de personne(s) propre à avoir dans son environnement un élément masquant pouvant gêner l’observation de l’environnement par une personne présente dans cet espace d’accueil, des premiers moyens d’acquisition acquérant des premières images représentatives d’au moins une zone extérieure située derrière cet élément masquant, et des deuxièmes moyens d’acquisition acquérant des deuxièmes images d’au moins une tête de la personne, et, d’autre part, comprenant des moyens de traitement déterminant dans ces premières images une sous-zone qui est masquée par l’élément masquant à la personne en fonction d’une direction d’observation de son regard déterminée à partir des deuxièmes images, et générant des troisièmes images de cette sous-zone, et un écran d’affichage destiné à être solidarisé à une face interne d’une partie du système interceptant cette direction d’observation et chargé d’afficher les troisièmes images générées.To this end, it proposes in particular a display device, on the one hand, intended to equip a system comprising a reception area for person (s) capable of having in its environment a masking element which can hinder the observation of the environment by a person present in this reception area, first acquisition means acquiring first images representative of at least one external area located behind this masking element, and second acquisition means acquiring second images minus a head of the person, and, on the other hand, comprising processing means determining in these first images a sub-area which is masked by the masking element from the person as a function of a direction of observation of his gaze determined from the second images, and generating third images of this sub-area, and a display screen intended to be secured to a internal face of a part of the system intercepting this direction of observation and responsible for displaying the third images generated.

Ce dispositif d’affichage se caractérise par le fait que ses moyens de traitement :This display device is characterized by the fact that its processing means:

- estiment une première distance séparant des yeux de la personne de la souszone en fonction de caractéristiques techniques des premiers et deuxièmes moyens d’acquisition et de données représentatives de deuxièmes distances séparant des objets détectés dans la zone extérieure d’un endroit prédéfini du système et d’une troisième distance séparant cet endroit prédéfini des yeux, et- estimate a first distance separating from the eyes of the person from the subzone as a function of technical characteristics of the first and second acquisition means and of data representative of second distances separating objects detected in the external zone from a predefined place in the system, and a third distance separating this predefined location from the eyes, and

- déterminent la sous-zone en fonction également de cette première distance estimée.- determine the sub-area also according to this first estimated distance.

Grâce à l’invention, on est désormais sûr que la sous-zone déterminée correspond précisément à la portion de la zone extérieure qui est effectivement masquée par l’élément masquant, et donc on obtient une continuité effective de ce qui est observé directement et indirectement par la personne présente dans l’espace d’accueil, ce qui rend l’élément masquant transparent.Thanks to the invention, it is now certain that the determined sub-zone precisely corresponds to the portion of the external zone which is effectively masked by the masking element, and therefore an effective continuity of what is observed directly and indirectly is obtained. by the person present in the reception area, which makes the masking element transparent.

Le dispositif d’affichage selon l’invention peut comporter d’autres caractéristiques qui peuvent être prises séparément ou en combinaison, et notamment :The display device according to the invention may include other characteristics which can be taken separately or in combination, and in particular:

- ses moyens de traitement peuvent utiliser des données qui sont représentatives de deuxièmes distances déterminées par des troisièmes moyens d’acquisition solidarisés au système ;- its processing means can use data which is representative of second distances determined by third acquisition means secured to the system;

- en variante, ses moyens de traitement peuvent choisir les données qui sont représentatives des deuxièmes distances en fonction d’une position géographique en cours du système et/ou d’au moins un paramètre représentatif d’une dynamique en cours du système ;- as a variant, its processing means can choose the data which are representative of the second distances as a function of a current geographic position of the system and / or of at least one parameter representative of a current dynamic of the system;

- ses moyens de traitement peuvent utiliser des caractéristiques techniques comprenant au moins des première et seconde focales respectivement des premiers et deuxièmes moyens d’acquisition, un centre et des dimensions de chaque première image, et un centre et des dimensions de chaque deuxième image, ainsi que d’éventuels paramètres de distorsion des première et deuxième images ;its processing means can use technical characteristics comprising at least first and second focal lengths respectively of the first and second acquisition means, a center and dimensions of each first image, and a center and dimensions of each second image, as well that possible distortion parameters of the first and second images;

- ses moyens de traitement peuvent déterminer la sous-zone en fonction également de premières position et orientation d’une caméra qui fait partie des premiers moyens d’acquisition par rapport à un référentiel choisi rattaché au système, de deuxièmes position et orientation d’une caméra qui fait partie des deuxièmes moyens d’acquisition par rapport à ce référentiel choisi, et de troisièmes position et orientation de l’écran d’affichage par rapport à ce référentiel choisi ;- its processing means can determine the sub-area also as a function of the first position and orientation of a camera which is one of the first acquisition means with respect to a chosen reference frame attached to the system, of second position and orientation of a camera which is part of the second acquisition means with respect to this chosen frame of reference, and of third position and orientation of the display screen with respect to this chosen frame of reference;

> les premières position et orientation, les deuxièmes position et orientation, et les troisièmes position et orientation peuvent être déterminées au moyen d’au moins une mire dans une phase de calibration préliminaire, ainsi que d’éventuels paramètres de distorsion des moyens d’acquisition ;> the first position and orientation, the second position and orientation, and the third position and orientation can be determined by means of at least one test pattern in a preliminary calibration phase, as well as possible distortion parameters of the acquisition means ;

- son écran d’affichage peut être de type flexible. Par exemple, cet écran d’affichage peut comprendre une dalle flexible, éventuellement à diodes électroluminescentes organiques flexibles, afin que sa forme puisse être non plane, par exemple dans le but d’épouser la forme d’un montant de baie ;- its display screen can be flexible. For example, this display screen may include a flexible panel, possibly with flexible organic light-emitting diodes, so that its shape can be non-planar, for example in order to match the shape of a rack upright;

- il peut comprendre les premiers moyens d’acquisition et/ou les deuxièmes moyens d’acquisition et/ou les troisièmes moyens d’acquisition.- it can include the first means of acquisition and / or the second means of acquisition and / or the third means of acquisition.

L’invention propose également un système comprenant :The invention also provides a system comprising:

- un espace d’accueil de personne propre à avoir dans son environnement un élément masquant pouvant gêner l’observation de l’environnement par une personne présente dans cet espace d’accueil,- a reception area for a person capable of having a masking element in their environment which may interfere with the observation of the environment by a person present in this reception area,

- des premiers moyens d’acquisition acquérant des premières images représentatives d’au moins une zone extérieure située derrière cet élément masquant,- first acquisition means acquiring first images representative of at least one external area located behind this masking element,

- des deuxièmes moyens d’acquisition acquérant des deuxièmes images d’au moins des yeux de la personne, et- second means of acquisition acquiring second images of at least the eyes of the person, and

- un dispositif d’affichage du type de celui présenté ci-avant.- a display device of the type presented above.

Par exemple, ce système peut comprendre l’élément masquant, et les premiers moyens d’acquisition peuvent être au moins en partie solidarisés fixement à une face externe de l’élément masquant.For example, this system can include the masking element, and the first acquisition means can be at least partially fixedly attached to an external face of the masking element.

Egalement par exemple, ce système peut être agencé sous la forme d’un véhicule, éventuellement de type automobile. Dans ce cas, les deuxièmes moyens d’acquisition peuvent être au moins en partie solidarisés fixement à une planche de bord ou à un rétroviseur intérieur qui est orienté vers la personne.Also for example, this system can be arranged in the form of a vehicle, possibly of the automobile type. In this case, the second acquisition means can be at least partially fixedly secured to a dashboard or to an interior mirror which is oriented towards the person.

D’autres caractéristiques et avantages de l’invention apparaîtront à l’examen de la description détaillée ci-après, et des dessins annexés, sur lesquels :Other characteristics and advantages of the invention will appear on examining the detailed description below, and the attached drawings, in which:

- la figure 1 illustre schématiquement, dans une vue de côté, une partie d’un exemple de véhicule automobile comprenant un siège conducteur, situé à côté d’un montant de baie et sur lequel est assis un conducteur, et un exemple de réalisation d’un dispositif d’affichage selon l’invention,- Figure 1 schematically illustrates, in a side view, part of an example of a motor vehicle comprising a driver's seat, located next to an upright and on which a driver sits, and an exemplary embodiment of '' a display device according to the invention,

- les figures 2 et 3 illustrent schématiquement, dans des vues respectivement de côté et du dessus, la position relative de la tête d’un conducteur (assis sur un siège conducteur) par rapport à une caméra intérieure, une caméra extérieure et un écran d’affichage (solidarisé à un montant de baie et faisant partie d’un dispositif d’affichage selon l’invention), et- Figures 2 and 3 schematically illustrate, in views respectively from the side and from above, the relative position of the head of a driver (seated on a driver's seat) with respect to an indoor camera, an outdoor camera and a screen '' display (secured to a rack post and forming part of a display device according to the invention), and

- la figure 4 illustre schématiquement, dans une vue en perspective, les repères associés respectivement aux caméra intérieure, caméra extérieure et écran d’affichage des figures 2 et 3, et à une mire de calibration utilisée pendant une phase de calibration.- Figure 4 illustrates schematically, in a perspective view, the pins associated respectively with the indoor camera, outdoor camera and display screen of Figures 2 and 3, and a calibration target used during a calibration phase.

L’invention a notamment pour but de proposer un dispositif d’affichage DA destiné, d’une part, à équiper un système VA comprenant un espace d’accueil de personne(s) SC, propre à avoir dans son environnement un élément masquant EM pouvant gêner l’observation de l’environnement par une personneThe object of the invention is in particular to propose a display device DA intended, on the one hand, to equip a VA system comprising a reception space for person (s) SC, suitable for having in its environment a masking element EM may interfere with a person's observation of the environment

CV présente dans cet espace d’accueil SC, et, d’autre part, à rendre cet élément masquant EM transparent pour cette personne CV.CV present in this space of reception SC, and, on the other hand, to make this masking element EM transparent for this person CV.

Dans ce qui suit, on considère, à titre d’exemple non limitatif, que le système VA est un véhicule de type automobile, comme par exemple une voiture. Mais l’invention n’est pas limitée à ce type de système. Elle concerne en effet tout type de système comportant au moins un espace d’accueil de personne pouvant avoir dans son environnement un élément masquant pouvant gêner l’observation de l’environnement par une personne présente dans cet espace d’accueil. Par conséquent, elle concerne notamment les véhicules (terrestres, maritimes (ou fluviaux) et aériens), et les bâtiments (notamment les tours de contrôle aérien).In what follows, we consider, by way of nonlimiting example, that the VA system is a vehicle of automobile type, such as for example a car. However, the invention is not limited to this type of system. It relates in fact to any type of system comprising at least one reception area for people who may have in their environment a masking element which may interfere with the observation of the environment by a person present in this reception area. Consequently, it concerns in particular vehicles (land, sea (or river) and air), and buildings (in particular air traffic control towers).

Dans le cas d’un véhicule VA de type automobile l’espace d’accueil SC est un siège, par exemple celui du conducteur CV, et l’élément masquant EM peut être un montant de baie auquel est solidarisé l’un des deux côtés latéraux du pare-brise, ou un montant (ou pied) milieu situé entre deux vitres latérales, ou encore un montant arrière situé à côté d’une lunette arrière.In the case of a vehicle VA of the automobile type, the reception space SC is a seat, for example that of the driver CV, and the masking element EM can be an amount of opening to which one of the two sides is secured. side of the windshield, or a center pillar (or foot) located between two side windows, or a rear pillar located next to a rear window.

Dans le cas non limitatif d’une tour de contrôle aérien, l’espace d’accueil SC peut être un siège de contrôleur aérien ou tout autre espace prédéfini situé à l’intérieur de la tour de contrôle aérien, et l’élément masquant EM pourra par exemple être un montant situé entre deux vitres ou un bâtiment occultant une zone des pistes d’un aéroport.In the non-limiting case of an air traffic control tower, the reception area SC can be an air traffic controller seat or any other predefined space located inside the air traffic control tower, and the masking element EM could for example be an amount located between two windows or a building obscuring an area of the runways of an airport.

Dans le cas non limitatif d’un bâtiment, l’espace d’accueil SC peut être un siège de vigile ou tout autre espace d’observation prédéfini situé à l’intérieur de ce bâtiment, et l’élément masquant EM pourra par exemple être un pilier d’un bâtiment bloquant partiellement la vue d’un vigile surveillant une zone extérieure (comme par exemple un parking ou une grille d’accès).In the non-limiting case of a building, the reception space SC can be a vigilance seat or any other predefined observation space located inside this building, and the masking element EM could for example be a pillar of a building partially blocking the view of a security guard monitoring an outside area (such as a parking lot or an access gate).

D’une manière générale, un élément masquant EM est un élément (éventuellement structurel) installé de façon inclinée ou verticale à côté d’une vitre (ou glace) ou d’une zone ouverte d’un système, et susceptible de gêner l’observation de l’environnement situé derrière cette vitre ou zone ouverte par une personne qui est présente dans un espace d’accueil SC (comme par exemple un siège). Un tel élément masquant EM fait éventuellement partie du système VA. C’est notamment le cas lorsque ce système VA est un véhicule.In general, an EM masking element is an element (possibly structural) installed in an inclined or vertical manner next to a window (or glass) or an open area of a system, and liable to hinder the observation of the environment behind this window or open area by a person who is present in a reception area SC (such as a seat). Such a masking element EM is possibly part of the VA system. This is particularly the case when this VA system is a vehicle.

On a schématiquement représenté sur la figure 1 un exemple non limitatif de système VA (ici un véhicule) comprenant, d’une part, un espace d’accueil SC (ici un siège conducteur sur lequel est assise une personne CV (ici un conducteur) et associé à un volant VV), et, d’autre part, un dispositif d’affichage DA selon l’invention. Dans l’exemple illustré, le siège SC est installé à côté d’un élément masquant EM (ici un montant de baie gauche installé dans une partie avant d’un habitacle H du véhicule VA).There is schematically shown in Figure 1 a non-limiting example of VA system (here a vehicle) comprising, on the one hand, a reception area SC (here a driver seat on which sits a CV person (here a driver) and associated with a steering wheel VV), and, on the other hand, a display device DA according to the invention. In the example illustrated, the seat SC is installed next to a masking element EM (here a left bay upright installed in a front part of a cabin H of the vehicle VA).

Le système VA (ici un véhicule) illustré sur la figure 1 comprend également un pare-brise PB solidarisé au montant de baie EM et auquel est solidarisé un rétroviseur intérieur RI et/ou une planche de bord, des premiers moyens d’acquisition MA1, et des deuxièmes moyens d’acquisition MA2.The VA system (here a vehicle) illustrated in FIG. 1 also includes a windshield PB secured to the upright of the bay EM and to which is secured an interior mirror RI and / or a dashboard, the first acquisition means MA1, and second MA2 acquisition means.

Les premiers moyens d’acquisition MA1 sont agencés de manière à acquérir des premières images il qui sont représentatives d’au moins une zone extérieure ZE située derrière l’élément masquant EM.The first acquisition means MA1 are arranged so as to acquire first images il which are representative of at least one external zone ZE situated behind the masking element EM.

Par exemple, et comme illustré non limitativement sur les figures 1 à 3, ces premiers moyens d’acquisition MA1 peuvent être au moins en partie solidarisés fixement à la face externe du montant de baie EM. Plus précisément, et comme illustré sur les figures 2 et 3, ils peuvent, par exemple, comprendre une caméra externe Cext de type numérique et solidarisée fixement à la face externe du montant de baie EM.For example, and as illustrated without limitation in FIGS. 1 to 3, these first acquisition means MA1 can be at least partially fixedly attached to the external face of the amount of rack EM. More specifically, and as illustrated in FIGS. 2 and 3, they can, for example, include an external Cext camera of the digital type and fixedly fixed to the external face of the amount of EM bay.

On notera que les premiers moyens d’acquisition MA1 peuvent éventuellement faire partie du dispositif d’affichage DA. Mais cela n’est pas obligatoire. En effet, ils pourraient acquérir des images de l’environnement du système VA (ici au moins sur l’un de ses côtés longitudinaux) pour au moins un autre dispositif embarqué dans le système VA, comme par exemple un dispositif d’assistance à la conduite lorsqu’il s’agit d’un véhicule.It will be noted that the first acquisition means MA1 may possibly be part of the display device DA. But it is not compulsory. Indeed, they could acquire images of the environment of the VA system (here at least on one of its longitudinal sides) for at least one other device embedded in the VA system, such as for example a device for assisting in the driving in the case of a vehicle.

Les deuxièmes moyens d’acquisition MA2 sont agencés de manière à acquérir des deuxièmes images i2 d’au moins les yeux YC de la personne CV (ici le conducteur).The second acquisition means MA2 are arranged so as to acquire second images i2 of at least the eyes YC of the person CV (here the driver).

Par exemple, et comme illustré non limitativement sur les figures 1 à 3, ces deuxièmes moyens d’acquisition MA2 peuvent être au moins en partie solidarisés fixement au rétroviseur intérieur RI qui est installé dans l’habitacle en étant orienté vers le conducteur CV. Plus précisément, et comme illustré sur les figures 2 et 3, ils peuvent, par exemple, comprendre une caméra interne Cint de type numérique et solidarisée fixement au rétroviseur intérieur RI.For example, and as illustrated without limitation in Figures 1 to 3, these second acquisition means MA2 can be at least partially fixedly secured to the interior mirror RI which is installed in the passenger compartment while being oriented towards the driver CV. More specifically, and as illustrated in FIGS. 2 and 3, they can, for example, include an internal camera Cint of the digital type and fixedly secured to the interior mirror RI.

On notera que les deuxièmes moyens d’acquisition MA2 peuvent éventuellement faire partie du dispositif d’affichage DA. Mais cela n’est pas obligatoire. En effet, ils pourraient acquérir des images de l’intérieur de l’habitacle H pour au moins un autre dispositif embarqué dans le système VA, comme par exemple un dispositif de détection de passagers dans le cas d’un véhicule, ou bien seulement des images du visage de la personne CV pour un autre dispositif embarqué dans le système VA et chargé d’analyser les yeux YC de cette personne CV, par exemple pour détecter une perte de vigilance et/ou assurer un contrôle des positions respectives des différents rétroviseurs dans le cas d’un véhicule.Note that the second acquisition means MA2 may possibly be part of the display device DA. But it is not compulsory. In fact, they could acquire images of the interior of the passenger compartment H for at least one other device on board the VA system, such as for example a passenger detection device in the case of a vehicle, or else only images of the face of the person CV for another device embedded in the VA system and responsible for analyzing the eyes YC of this person CV, for example to detect a loss of alertness and / or to ensure a control of the respective positions of the various mirrors in the case of a vehicle.

Comme illustré sur la figure 1, un dispositif d’affichage DA selon l’invention comprend au moins des moyens de traitement MT et un écran d’affichage EA.As illustrated in FIG. 1, a display device DA according to the invention comprises at least processing means MT and a display screen EA.

L’écran d’affichage EA est destiné à être solidarisé à une face interne Fl d’une partie du système VA qui intercepte la direction d’observation do du regard de la personne CV. Il est chargé d’afficher des troisièmes images i3 qui sont générées par les moyens de traitement MT, comme on le verra plus loin.The display screen EA is intended to be secured to an internal face F1 of a part of the system VA which intercepts the direction of observation do from the gaze of the person CV. It is responsible for displaying third i3 images which are generated by the processing means MT, as will be seen below.

Dans l’exemple qui est ici décrit, l’écran d’affichage EA est solidarisé à la face interne Fl de l’élément masquant EM, qui est orientée vers l’intérieur (ici de l’habitacle H).In the example which is described here, the display screen EA is secured to the internal face Fl of the masking element EM, which is oriented towards the inside (here of the passenger compartment H).

On notera que cet écran d’affichage EA peut être rigide ou bien de type flexible. Dans cette dernière alternative il peut avantageusement épouser la forme d’une portion de la face interne Fl de la partie du système VA (ici l’élément masquant EM). Pour ce faire il peut, par exemple, comprendre une dalle flexible, éventuellement à diodes électroluminescentes organiques flexibles.Note that this EA display screen can be rigid or flexible. In this latter alternative, it can advantageously follow the shape of a portion of the internal face F1 of the part of the system VA (here the masking element EM). To do this, it can, for example, comprise a flexible panel, possibly with flexible organic light-emitting diodes.

Par ailleurs, cet écran d’affichage EA peut masquer (ou recouvrir) soit la totalité de cette face interne Fl (ici de l’élément masquant EM), soit une partie de cette face interne Fl (comme dans l’exemple illustré non limitativement sur la figure 1).Furthermore, this display screen EA can mask (or cover) either all of this internal face F1 (here of the masking element EM), or part of this internal face F1 (as in the example illustrated without limitation in Figure 1).

Les moyens de traitement MT sont notamment agencés de manière à déterminer dans les premières images il (déterminées par les premiers moyens d’acquisition MA1) une sous-zone SZ de la zone externe ZE, qui est masquée par l’élément masquant EM à la personne CV (ici le conducteur), en fonction de la direction d’observation do de son regard (définie par ses yeux YC), laquelle est déterminée à partir des deuxièmes images i2, et d’une première distance d1 estimée qui sépare cette sous-zone SZ des yeux YC.The processing means MT are in particular arranged so as to determine in the first images it (determined by the first acquisition means MA1) a subzone SZ of the external zone ZE, which is masked by the masking element EM at the person CV (here the driver), as a function of the direction of observation do of his gaze (defined by his eyes YC), which is determined from the second images i2, and from a first estimated distance d1 which separates this sub - SZ zone of the eyes YC.

Ce sont les moyens de traitement MT qui estiment cette première distance d1 en fonction de caractéristiques techniques des premiers MA1 et deuxièmes MA2 moyens d’acquisition, de données qui sont représentatives de deuxièmes distances d2 qui séparent des objets détectés dans la zone extérieure ZE d’un endroit prédéfini du système (ici un véhicule) VA, et d’une troisième distance d3 qui sépare cet endroit prédéfini des yeux YC.It is the processing means MT which estimate this first distance d1 as a function of technical characteristics of the first MA1 and second MA2 acquisition means, of data which are representative of second distances d2 which separate objects detected in the outer zone ZE from a predefined place in the system (here a vehicle) VA, and a third distance d3 which separates this predefined place from the eyes YC.

On notera que le dispositif d’affichage DA (et par exemple ses moyens de traitement MT) peu(ven)t être éventuellement agencé(s) de manière à déterminer la direction d’observation do du regard de la personne CV à partir des deuxièmes images i2.It will be noted that the display device DA (and for example its processing means MT) can (possibly) be arranged so as to determine the direction of observation do of the gaze of the person CV from the second i2 images.

Toute technique connue de l’homme de l’art peut être mise en oeuvre pour effectuer cette détermination de la direction d’observation do. A titre d’exemple non limitatif, cette détermination peut se faire comme suit. On peut tout d’abord commencer par détecter le visage, éventuellement au moyen de la méthode dite de « Boost Cascade » développée par Viola et Jones. Puis, on peut détecter dans le visage la région des yeux YC grâce à la relation anthropométrique entre le visage et les yeux YC. Puis, on peut détecter dans les yeux YC les iris et leurs centres, par exemple en utilisant le gradient d’image. Enfin, on peut reconstruire les iris dans l’espace tridimensionnelle en supposant que leurs caractéristiques (par exemple leurs rayons) sont connues, puis on peut considérer que la direction d’observation do est la normale aux iris.Any technique known to those skilled in the art can be used to make this determination of the direction of observation do. By way of nonlimiting example, this determination can be made as follows. We can start by detecting the face first, possibly using the so-called "Boost Cascade" method developed by Viola and Jones. Then, one can detect in the face the region of the eyes YC thanks to the anthropometric relationship between the face and the eyes YC. Then, the irises and their centers can be detected in the eyes YC, for example by using the image gradient. Finally, we can reconstruct the irises in three-dimensional space by assuming that their characteristics (for example their rays) are known, then we can consider that the direction of observation do is normal to the irises.

Comme évoqué plus haut, les moyens de traitement MT sont également agencés de manière à générer des troisièmes images i3 de la sous-zone SZ de la zone externe ZE qui doivent être affichées par l’écran d’affichage EA. On comprendra que ces troisièmes images i3 sont définies à partir des fichiers de données numériques qui définissent les premières images il, puisqu’elles constituent des sous-parties de ces dernières (il) adaptées à un affichage au format de l’écran d’affichage EA.As mentioned above, the processing means MT are also arranged so as to generate third images i3 of the subzone SZ of the external zone ZE which must be displayed by the display screen EA. It will be understood that these third images i3 are defined on the basis of digital data files which define the first images il, since they constitute sub-parts of the latter (he) suitable for display in the format of the display screen. EA.

La première distance d1 séparant les yeux YC de la personne CV de la zone extérieure ZE observée par les premiers moyens d’acquisition MA1 étant désormais prise en compte dans la détermination de la sous-zone SZ (à afficher), on est désormais sûr que cette dernière correspond précisément à la portion de la zone extérieure ZE qui est effectivement occultée (ou masquée) par l’élément masquant EM. Par conséquent, il existe une continuité effective entre ce qui est observé par la personne CV directement (en dehors de l’écran d’affichage EA) et ce qui est observé par cette même personne CV indirectement (sur l’écran d’affichage EA (c’est-à-dire la sous-zone SZ)), sans agrandissement et sans réduction, ce qui évite de perturber la personne CV.The first distance d1 separating the eyes YC of the person CV from the external zone ZE observed by the first acquisition means MA1 now being taken into account in the determination of the sub-zone SZ (to be displayed), we are now sure that the latter precisely corresponds to the portion of the outer zone ZE which is effectively obscured (or masked) by the masking element EM. Consequently, there is an effective continuity between what is observed by the CV person directly (outside the EA display screen) and what is observed by this same CV person indirectly (on the EA display screen). (i.e. the SZ subzone)), without enlargement and without reduction, which avoids disturbing the person CV.

Dans ce qui précède il a été indiqué que l’écran d’affichage EA est solidarisé à la face interne Fl d’une partie du système VA qui intercepte la direction d’observation do. Cela signifie que cet écran d’affichage EA est placé dans le système VA entre les yeux YC de la personne CV et l’élément masquant EM qui masque la sous-zone ZS. Ici, c’est l’élément masquant EM (montant de baie gauche) qui intercepte la direction d’observation do.In the foregoing, it has been indicated that the display screen EA is secured to the internal face Fl of a part of the system VA which intercepts the direction of observation do. This means that this display screen EA is placed in the system VA between the eyes YC of the person CV and the masking element EM which masks the subzone ZS. Here, it is the masking element EM (left bay upright) which intercepts the direction of observation do.

La détermination des données représentatives des deuxièmes distances d2 (séparant des objets détectés dans la zone extérieure ZE d’un endroit prédéfini du système VA) peut se faire d’au moins deux façons.The determination of the data representative of the second distances d2 (separating objects detected in the external zone ZE from a predefined location of the VA system) can be done in at least two ways.

Dans une première façon, ces données représentatives de deuxièmes distances d2 peuvent être déterminées par des troisièmes moyens d’acquisition MA3 qui sont solidarisés au système VA, et utilisées par les moyens de traitement MT.In a first way, these data representative of second distances d2 can be determined by third acquisition means MA3 which are secured to the system VA, and used by the processing means MT.

Ces troisièmes moyens d’acquisition MA3 peuvent, par exemple, comprendre au moins un laser de balayage (ou télémètre tridimensionnelle (ou 3D)) ou au moins un radar ou lidar ou au moins un capteur d’ultrasons ou au moins une caméra 3D ou des caméras stéréoscopiques. Lorsque le système VA est un véhicule, les troisièmes moyens d’acquisition MA3 peuvent être au moins en partie installés sur le côté longitudinal de ce véhicule VA à côté duquel est assis le conducteur CV. Ainsi, ils peuvent être au moins en partie installés à côté de la caméra externe Cext sur la face externe du montant de baie EM ou sur le rétroviseur extérieur placé à côté de ce dernier (EM).These third MA3 acquisition means can, for example, comprise at least one scanning laser (or three-dimensional range finder (or 3D)) or at least one radar or lidar or at least one ultrasound sensor or at least one 3D camera or stereoscopic cameras. When the VA system is a vehicle, the third MA3 acquisition means can be at least partially installed on the longitudinal side of this VA vehicle next to which the CV driver sits. Thus, they can be at least partially installed next to the Cext external camera on the external face of the EM bay upright or on the exterior mirror placed next to the latter (EM).

L’endroit prédéfini du système VA peut, par exemple, être le lieu où est installé l’élément des troisièmes moyens d’acquisition MA3 qui effectue la détection des objets présents dans la zone extérieure ZE et déduit les deuxièmes distances d2, ou bien un lieu prédéfini dont la distance à l’élément précité est connue. Dans l’exemple illustré non limitativement sur la figure 2, on considère que l’endroit prédéfini est le lieu où sont installés les premiers moyens d’acquisition MA1 (on a donc ici d1 = d2 + d3 à titre d’exemple).The predefined location of the VA system can, for example, be the place where the element of the third acquisition means MA3 is installed, which detects the objects present in the external zone ZE and deduces the second distances d2, or else a predefined place whose distance to the aforementioned element is known. In the example illustrated without limitation in FIG. 2, it is considered that the predefined location is the place where the first acquisition means MA1 are installed (we therefore have here d1 = d2 + d3 by way of example).

On notera que les troisièmes moyens d’acquisition MA3 peuvent éventuellement faire partie du dispositif d’affichage DA. Mais cela n’est pas obligatoire. En effet, ils pourraient acquérir des données représentatives de l’environnement du système VA (au moins sur l’un de ses côtés longitudinaux lorsqu’il s’agit d’un véhicule) pour au moins un autre dispositif embarqué dans le système VA, comme par exemple un dispositif d’assistance à la conduite.It will be noted that the third acquisition means MA3 may possibly be part of the display device DA. But it is not compulsory. Indeed, they could acquire data representative of the environment of the VA system (at least on one of its longitudinal sides when it is a vehicle) for at least one other device on board the VA system, such as for example a driving assistance device.

Dans une seconde façon applicable aux systèmes pouvant se déplacer, les moyens de traitement MT peuvent choisir les données qui sont représentatives des deuxièmes distances d2 en fonction de la position géographique en cours du système VA et/ou d’au moins un paramètre représentatif de la dynamique en cours du système VA, comme par exemple sa vitesse ou son accélération. A titre d’exemple purement illustratif, lorsque le véhicule VA est en ville, les moyens de traitement MT peuvent choisir des deuxièmes distances d2 égales à 5 mètres.In a second way applicable to systems that can move, the processing means MT can choose the data that is representative of the second distances d2 as a function of the current geographic position of the VA system and / or of at least one parameter representative of the current dynamics of the VA system, such as its speed or acceleration. As a purely illustrative example, when the vehicle VA is in town, the processing means MT can choose second distances d2 equal to 5 meters.

On notera que les moyens de traitement MT peuvent, par exemple, utiliser des caractéristiques techniques comprenant au moins des première et seconde focales respectivement des premiers MA1 et deuxièmes MA2 moyens d’acquisition, le centre et les dimensions de chaque première image il, et le centre et les dimensions de chaque deuxième image i2, ainsi que d’éventuels paramètres de distorsion des première il et deuxième i2 images.It will be noted that the processing means MT can, for example, use technical characteristics comprising at least first and second focal lengths respectively of the first MA1 and second MA2 acquisition means, the center and the dimensions of each first image il, and the center and dimensions of each second i2 image, as well as possible distortion parameters of the first it and second i2 images.

Par exemple, on peut utiliser une caméra extérieure Cext ayant un capteur 1/1.2” ou 10,67 mm x 8 mm et une focale de 6 mm, une caméra intérieure Cint ayant un capteur 1/2” ou 6,4 mm x 4,8 mm et une focale de 4 mm, et un écran d’affichage EA de 498 mm x 121 mm.For example, you can use a Cext outdoor camera with a 1 / 1.2 ”or 10.67 mm x 8 mm sensor and a focal length of 6 mm, a Cint indoor camera with a 1/2” or 6.4 mm x 4 sensor , 8 mm and a focal length of 4 mm, and an EA display screen of 498 mm x 121 mm.

Le centre et les dimensions d’une première il ou seconde i2 image peuvent être déterminés pendant une phase de calibration préliminaire en usine.The center and dimensions of a first il or second i2 image can be determined during a preliminary factory calibration phase.

On notera également que les moyens de traitement MT peuvent, par exemple, déterminer la sous-zone SZ en fonction également de premières position et orientation de la caméra extérieure Cext (faisant partie des premiers moyens d’acquisition MA1) par rapport à un référentiel choisi rattaché au système VA, de deuxièmes position et orientation de la caméra intérieure Cint (faisant partie des deuxièmes moyens d’acquisition MA2) par rapport à ce référentiel choisi, et de troisièmes position et orientation de l’écran d’affichage EA par rapport à ce référentiel choisi.It will also be noted that the processing means MT can, for example, determine the subzone SZ also as a function of the first position and orientation of the outdoor camera Cext (forming part of the first acquisition means MA1) relative to a chosen frame of reference. attached to the VA system, second position and orientation of the indoor camera Cint (part of the second acquisition means MA2) relative to this chosen reference frame, and third position and orientation of the display screen EA with respect to this repository chosen.

Par exemple, les premières position et orientation, les deuxièmes position et orientation, et les troisièmes position et orientation, ainsi qu’éventuellement les focales et dimensions et centre des images il et i2 peuvent être déterminées au moyen d’au moins une mire de calibration MC dans une phase de calibration préliminaire.For example, the first position and orientation, the second position and orientation, and the third position and orientation, as well as possibly the focal lengths and dimensions and center of the images il and i2 can be determined by means of at least one calibration test pattern. MC in a preliminary calibration phase.

Pour ce faire, on peut, comme illustré schématiquement sur la figure 4, associer des référentiels respectivement aux caméra extérieure Cext, caméra intérieure Cint et écran d’affichage EA. Sur cette figure 4, le référentiel (Xcext, Ycext, Zcext) est associé à la caméra extérieure Cext, le référentiel (Xcint, Yen, Zcint) est associé à la caméra intérieure Cint, le référentiel S (Xs, Ys, Zs) est associé à l’écran d’affichage EA, et le référentiel W (Xw, Yw, Zw) est associé à la mire de calibration MC dont la position est précisément connue par rapport au référentiel choisi rattaché au système VA. A titre d’exemple, ce référentiel choisi rattaché au système VA peut être celui qui est associé à l’écran d’affichage EA.To do this, it is possible, as illustrated diagrammatically in FIG. 4, to associate reference frames respectively with the Cext outdoor camera, Cint indoor camera and EA display screen. In this figure 4, the frame of reference (Xcext, Ycext, Zcext) is associated with the outdoor camera Cext, the frame of reference (Xcint, Yen, Zcint) is associated with the indoor camera Cint, the frame of reference S (Xs, Ys, Zs) is associated with the display screen EA, and the reference frame W (Xw, Yw, Zw) is associated with the calibration target MC whose position is precisely known with respect to the chosen reference frame attached to the VA system. As an example, this chosen repository linked to the VA system can be the one associated with the EA display screen.

Pendant la phase de calibration, on peut placer la mire de calibration MC dans plusieurs positions différentes (par exemple dix), afin d’acquérir avec chaque caméra Cext, Cint des images de cette mire de calibration MC. De nombreux points de référence de la mire de calibration MC peuvent être détectés dans chaque image puis utilisés comme informations tridimensionnelles pour estimer la focale, le centre de l’image, les dimensions de l’image, la position et la désorientation (ou rotation) entre la caméra et la mire de calibration MC (dans chaque position), et les éventuels coefficients de distorsion.During the calibration phase, the MC calibration target can be placed in several different positions (for example ten), in order to acquire with each Cext, Cint camera images of this MC calibration target. Numerous reference points of the MC calibration target can be detected in each image and then used as three-dimensional information to estimate the focal length, the center of the image, the dimensions of the image, the position and the disorientation (or rotation). between the camera and the MC calibration target (in each position), and any distortion coefficients.

A titre d’exemple, la mire de calibration MC peut être exposée dans le champ de la caméra extérieure Cext pour calculer la position et l’orientation de cette dernière dans le repère W associé à cette mire de calibration MC. La position est définie par une translation T et l’orientation est définie par une rotation R. Comme cette mire de calibration MC n’est pas initialement dans le champ da la caméra intérieure Cint, on calcule la position et l’orientation de cette dernière dans le repère W associé à cette mire de calibration MC en utilisant un miroir Ml. Autrement dit, la caméra intérieure Cint observe la mire de calibration MC réfléchie par le miroir Ml. Ensuite, la position et l’orientation relatives entre les caméra extérieure Cext et caméra intérieure Cint peuvent être déduite de leurs position et orientation respectives par rapport au référentiel W associé à la mire de calibration MC en utilisant, par exemple, les équations suivantes :For example, the MC calibration target can be exposed in the field of the Cext outdoor camera to calculate the position and the orientation of the latter in the W reference associated with this MC calibration target. The position is defined by a translation T and the orientation is defined by a rotation R. As this calibration target MC is not initially in the field of the indoor camera Cint, the position and orientation of the latter are calculated in the frame W associated with this calibration target MC using a mirror Ml. In other words, the indoor camera Cint observes the calibration pattern MC reflected by the mirror M1. Then, the relative position and orientation between the outdoor camera Cext and indoor camera Cint can be deduced from their respective position and orientation relative to the frame of reference W associated with the calibration target MC by using, for example, the following equations:

R(Cint)Cext = R(Cint)w * R(W)cext etR (Cint) Cext = R (Cint) w * R (W) cext and

T(Cint)Cext = T(Cint)w — (R(Cint)Cext * T(Cext)w.T (Cint) Cext = T (Cint) w - (R (Cint) Cext * T (Cext) w.

Dans ces deux équations R(Cint)cext est la rotation de Cint par rapport au référentiel associé à Cext, R(Cint)w est la rotation de Cint par rapport au référentiel W associé à la mire de calibration MC, R(W)cext est la rotation de la mire de calibration MC par rapport au référentiel associé à Cext, T(Cint)cext est la translation de Cint par rapport au référentiel associé à Cext, T(Cint)w est la translation de Cint par rapport au référentiel W associé à la mire de calibration MC, et T(Cext)w est la translation de Cext par rapport au référentiel W associé à la mire de calibration MC.In these two equations R (Cint) cext is the rotation of Cint relative to the frame of reference associated with Cext, R (Cint) w is the rotation of Cint relative to the frame of reference W associated with the calibration target MC, R (W) cext is the rotation of the calibration target MC relative to the reference frame associated with Cext, T (Cint) cext is the translation of Cint relative to the reference frame associated with Cext, T (Cint) w is the translation of Cint relative to the reference frame W associated with the calibration target MC, and T (Cext) w is the translation of Cext with respect to the reference frame W associated with the calibration target MC.

On notera également que les moyens de traitement MT peuvent être réalisés sous la forme de modules logiciels (ou informatiques ou encore « software »), ou bien d’une combinaison de circuits électroniques (ou « hardware ») et de modules logiciels. Par conséquent, ils peuvent faire partie d’un calculateur CA du système VA (comme illustré sur la figure 1) ou bien constituer un calculateur dédié à la détermination et la génération des troisièmes images i3.It will also be noted that the processing means MT can be produced in the form of software modules (or computer or even "software"), or else a combination of electronic circuits (or "hardware") and software modules. Consequently, they can be part of a CA computer of the VA system (as illustrated in FIG. 1) or else constitute a computer dedicated to the determination and generation of the third i3 images.

On notera également que lorsque l’écran d’affichage EA est flexible et épouse la forme d’une partie de la face interne Fl (ici de l’élément masquant EM), il peut présenter au moins une courbure. Dans ce cas, les troisièmes images i3 5 qu’il affiche sont préférentiellement générées en prenant en compte chaque courbure de manière à ne pas introduire de déformation.It will also be noted that when the display screen EA is flexible and conforms to the shape of a part of the internal face F1 (here of the masking element EM), it may have at least one curvature. In this case, the third i3 5 images that it displays are preferably generated by taking into account each curvature so as not to introduce deformation.

On notera également qu’afin d’éviter un rafraîchissement trop fréquent des troisièmes images i3, potentiellement perturbant pour la personne assise CV, les moyens de traitement MT peuvent effectuer un filtrage de manière à générer 10 les troisièmes images i3 selon une période qui est plus grande que la période d’acquisition des premières images il.It will also be noted that in order to avoid too frequent refreshment of the third images i3, potentially disturbing for the seated person CV, the processing means MT can perform filtering so as to generate the third images i3 according to a period which is more great that the period of acquisition of the first images there.

On notera également que lorsque le système VA est un véhicule, on peut être amené, lorsqu’il se déplace à une vitesse supérieure à un seuil, à tenir compte du décalage temporel entre les instants d’acquisition des premières 15 images il par les premiers moyens d’acquisition MA1 et les instants d’affichage des troisièmes images i3 sur l’écran d’affichage EA. A cet effet, on peut effectuer des traitements d’images prenant en compte la vitesse du véhicule VA. De tels traitements sont bien connus de l’homme de l’art.It will also be noted that when the VA system is a vehicle, it may be necessary, when it moves at a speed greater than a threshold, to take account of the time difference between the instants of acquisition of the first 15 images by the first acquisition means MA1 and the instants for displaying the third images i3 on the display screen EA. For this purpose, image processing can be carried out taking into account the speed of the vehicle VA. Such treatments are well known to those skilled in the art.

Claims (10)

REVENDICATIONS 1. Dispositif d’affichage (DA) pour un système (VA) comprenant i) un espace d’accueil de personne(s) (SC) propre à avoir dans son environnement un élément masquant (EM) pouvant gêner l’observation de l’environnement par une personne présente dans ledit espace d’accueil (SC), ii) des premiers moyens d’acquisition (MA1) acquérant des premières images représentatives d’au moins une zone extérieure (ZE) située derrière ledit élément masquant (EM), et iii) des deuxièmes moyens d’acquisition (MA2) acquérant des deuxièmes images d’au moins des yeux de ladite personne (CV), ledit dispositif (DA) comprenant a) des moyens de traitement (MT) déterminant dans lesdites premières images une sous-zone (SZ) masquée par ledit élément masquant (EM) à ladite personne (CV) en fonction d’une direction d’observation de son regard déterminée à partir desdites deuxièmes images, et générant des troisièmes images de cette souszone (SZ), et b) un écran d’affichage (EA) destiné à être solidarisé à une face interne (Fl) d’une partie dudit système (VA) interceptant ladite direction d’observation et chargé d’afficher lesdites troisièmes images générées, caractérisé en ce que lesdits moyens de traitement (MT) estiment une première distance séparant ladite sous-zone (SZ) des yeux de ladite personne (CV) en fonction de caractéristiques techniques desdits premiers (MA1) et deuxièmes (MA2) moyens d’acquisition et de données représentatives de deuxièmes distances séparant des objets détectés dans ladite zone extérieure (ZE) d’un endroit prédéfini dudit système (VA) et d’une troisième distance séparant ledit endroit prédéfini desdits yeux, et déterminent ladite sous-zone (SZ) en fonction en outre de ladite première distance estimée.1. Display device (DA) for a system (VA) comprising i) a reception space for person (s) (SC) capable of having in its environment a masking element (EM) which may interfere with the observation of the environment by a person present in said reception space (SC), ii) first acquisition means (MA1) acquiring first images representative of at least one external area (ZE) located behind said masking element (EM) , and iii) second acquisition means (MA2) acquiring second images of at least the eyes of said person (CV), said device (DA) comprising a) processing means (MT) determining in said first images a subzone (SZ) masked by said masking element (EM) from said person (CV) as a function of a direction of observation of his gaze determined from said second images, and generating third images of this subzone (SZ ), and b) a display screen display (EA) intended to be secured to an internal face (Fl) of a part of said system (VA) intercepting said direction of observation and responsible for displaying said third generated images, characterized in that said processing means (MT ) estimate a first distance separating said sub-area (SZ) from the eyes of said person (CV) as a function of technical characteristics of said first (MA1) and second (MA2) acquisition means and data representative of second distances separating objects detected in said outer area (ZE) of a predefined location of said system (VA) and of a third distance separating said predefined location from said eyes, and determine said sub-area (SZ) further depending on said first estimated distance. 2. Dispositif selon la revendication 1, caractérisé en ce que lesdits moyens de traitement (MT) utilisent des données représentatives de deuxièmes distances déterminées par des troisièmes moyens d’acquisition (MA3) solidarisés audit système (VA).2. Device according to claim 1, characterized in that said processing means (MT) use data representative of second distances determined by third acquisition means (MA3) secured to said system (VA). 3. Dispositif selon la revendication 1, caractérisé en ce que lesdits moyens de traitement (MT) choisissent lesdites données représentatives de deuxièmes distances en fonction d’une position géographique en cours dudit système (VA) et/ou d’au moins un paramètre représentatif d’une dynamique en cours dudit système (VA).3. Device according to claim 1, characterized in that said processing means (MT) choose said data representative of second distances as a function of a current geographic position of said system (VA) and / or of at least one representative parameter of a dynamic in progress of said system (VA). 4. Dispositif selon l’une des revendications 1 à 3, caractérisé en ce que lesdits moyens de traitement (MT) utilisent des caractéristiques techniques comprenant au moins des première et seconde focales respectivement desdits premiers (MA1) et deuxièmes (MA2) moyens d’acquisition, un centre et des dimensions de chaque première image, et un centre et des dimensions de chaque deuxième image.4. Device according to one of claims 1 to 3, characterized in that said processing means (MT) use technical characteristics comprising at least first and second focal lengths respectively of said first (MA1) and second (MA2) means of acquisition, a center and dimensions of each first image, and a center and dimensions of each second image. 5. Dispositif selon l’une des revendications 1 à 4, caractérisé en ce que lesdits moyens de traitement (MT) déterminent ladite sous-zone (SZ) en fonction en outre de premières position et orientation d’une caméra (Cext), faisant partie desdits premiers moyens d’acquisition (MA1), par rapport à un référentiel choisi rattaché audit système (VA), de deuxièmes position et orientation d’une caméra (Cint), faisant partie desdits deuxièmes moyens d’acquisition (MA2), par rapport à ce référentiel choisi, et de troisièmes position et orientation dudit écran d’affichage (EA) par rapport à ce référentiel choisi.5. Device according to one of claims 1 to 4, characterized in that said processing means (MT) determine said sub-area (SZ) further depending on first position and orientation of a camera (Cext), making part of said first acquisition means (MA1), relative to a chosen frame of reference attached to said system (VA), of second position and orientation of a camera (Cint), forming part of said second acquisition means (MA2), by relative to this chosen reference frame, and third position and orientation of said display screen (EA) relative to this chosen reference frame. 6. Dispositif selon la revendication 5, caractérisé en ce que lesdites premières position et orientation, lesdites deuxièmes position et orientation, et lesdites troisièmes position et orientation sont déterminées au moyen d’au moins une mire (MC) dans une phase de calibration préliminaire.6. Device according to claim 5, characterized in that said first position and orientation, said second position and orientation, and said third position and orientation are determined by means of at least one test pattern (MC) in a preliminary calibration phase. 7. Dispositif selon l’une des revendications 1 à 6, caractérisé en ce que ledit écran d’affichage (EA) est de type flexible.7. Device according to one of claims 1 to 6, characterized in that said display screen (EA) is of the flexible type. 8. Système (VA) comprenant i) un espace d’accueil de personne(s) (SC) propre à avoir dans son environnement un élément masquant (EM) pouvant gêner l’observation de l’environnement par une personne présente dans ledit espace d’accueil (SC), ii) des premiers moyens d’acquisition (MA1) acquérant des premières images représentatives d’au moins une zone extérieure (ZE) située derrière ledit élément masquant (EM), et iii) des deuxièmes moyens d’acquisition (MA2) acquérant des deuxièmes images d’au moins des yeux de ladite personne (CV), caractérisé en ce qu’il comprend en outre un dispositif d’affichage (DA) selon l’une des revendications 1 à 7.8. System (VA) comprising i) a reception space for person (s) (SC) suitable for having in its environment a masking element (EM) which may interfere with the observation of the environment by a person present in said space reception (SC), ii) first acquisition means (MA1) acquiring first images representative of at least one external area (ZE) located behind said masking element (EM), and iii) second means of acquisition (MA2) acquiring second images of at least the eyes of said person (CV), characterized in that it further comprises a display device (DA) according to one of claims 1 to 7. 9. Système selon la revendication 8, caractérisé en ce qu’il comprend ledit élément masquant (EM), et en ce que lesdits premiers moyens d’acquisition (MA1) sont au moins en partie solidarisés fixement à une face externe dudit élément masquant (EM).9. System according to claim 8, characterized in that it comprises said masking element (EM), and in that said first acquisition means (MA1) are at least partially fixedly secured to an external face of said masking element ( EM). 55 10. Système selon la revendication 8 ou 9, caractérisé en ce qu’il est agencé sous la forme d’un véhicule.10. System according to claim 8 or 9, characterized in that it is arranged in the form of a vehicle.
FR1760178A 2017-10-27 2017-10-27 SCREEN DISPLAY DEVICE FIXED TO PART OF A SYSTEM TO MAKE A MASKING ELEMENT TRANSPARENT. Active FR3072932B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR1760178A FR3072932B1 (en) 2017-10-27 2017-10-27 SCREEN DISPLAY DEVICE FIXED TO PART OF A SYSTEM TO MAKE A MASKING ELEMENT TRANSPARENT.
PCT/FR2018/052474 WO2019081829A1 (en) 2017-10-27 2018-10-08 Display device having a screen fixed to part of a system for making a masking element transparent

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1760178A FR3072932B1 (en) 2017-10-27 2017-10-27 SCREEN DISPLAY DEVICE FIXED TO PART OF A SYSTEM TO MAKE A MASKING ELEMENT TRANSPARENT.
FR1760178 2017-10-27

Publications (2)

Publication Number Publication Date
FR3072932A1 true FR3072932A1 (en) 2019-05-03
FR3072932B1 FR3072932B1 (en) 2021-08-06

Family

ID=61187425

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1760178A Active FR3072932B1 (en) 2017-10-27 2017-10-27 SCREEN DISPLAY DEVICE FIXED TO PART OF A SYSTEM TO MAKE A MASKING ELEMENT TRANSPARENT.

Country Status (2)

Country Link
FR (1) FR3072932B1 (en)
WO (1) WO2019081829A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6809704B2 (en) * 2002-02-08 2004-10-26 Charles J. Kulas Reduction of blind spots by using display screens
US20070081262A1 (en) * 2005-10-07 2007-04-12 Nissan Motor Co., Ltd. Blind spot image display apparatus and method thereof for vehicle
JP2008213649A (en) * 2007-03-02 2008-09-18 Toyota Motor Corp Periphery monitoring device for vehicle
DE102015204745A1 (en) * 2015-03-17 2016-09-22 Bayerische Motoren Werke Aktiengesellschaft Apparatus and method for rendering data in an augmented reality

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130096820A1 (en) 2011-10-14 2013-04-18 Continental Automotive Systems, Inc. Virtual display system for a vehicle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6809704B2 (en) * 2002-02-08 2004-10-26 Charles J. Kulas Reduction of blind spots by using display screens
US20070081262A1 (en) * 2005-10-07 2007-04-12 Nissan Motor Co., Ltd. Blind spot image display apparatus and method thereof for vehicle
JP2008213649A (en) * 2007-03-02 2008-09-18 Toyota Motor Corp Periphery monitoring device for vehicle
DE102015204745A1 (en) * 2015-03-17 2016-09-22 Bayerische Motoren Werke Aktiengesellschaft Apparatus and method for rendering data in an augmented reality

Also Published As

Publication number Publication date
WO2019081829A1 (en) 2019-05-02
FR3072932B1 (en) 2021-08-06

Similar Documents

Publication Publication Date Title
EP2133237B1 (en) Process of displaying a parking aid
FR2993509A1 (en) ELECTRONIC DEVICE FOR PROTECTION AGAINST LIGHTENING OF A PILOT OR DRIVER.
WO2018158163A1 (en) Device for determining the attentiveness of a driver of a vehicle, on-board system comprising such a device, and associated method
EP3717956B1 (en) Viewing device for aircraft pilot
EP1936330B1 (en) Method and system for processing and visualising images of the surroundings of an aircraft
EP2750961B1 (en) Device for estimating a future path of a vehicle and associating with parts that it comprises aspects that differ according to their positions in relation to an obstacle, for a drive-assist system
FR2942064A1 (en) Method for alerting driver of motor vehicle e.g. bus, during event occurred on back side of vehicle, involves displaying pictogram in form of contour of visible part of reflection of vehicle on glass of rear-view mirrors
WO2010133785A1 (en) Method and device for extending a visibility area
EP2729328B1 (en) Driver aid device for making available to a driver, in anticipation, a synthetic image representative of a chosen zone around his vehicle
FR3016573B1 (en) VEHICLE MIRROR INSTALLATION
FR3072932A1 (en) SCREEN DISPLAY DEVICE FIXED TO A PART OF A SYSTEM FOR TRANSPARENCY OF A MASKING MEMBER.
EP3263406B1 (en) Driving assistance system for a vehicle, related railway vehicle and use method
FR3040816A1 (en) DEVICE AND METHOD FOR DETECTING THE EMOTIONAL STATE OF A DRIVER
EP3418121B1 (en) Device for displaying a motion of a vehicle door and associated method
FR2991045A1 (en) Processing device for display system equipped in e.g. car, has processing unit to generate images including horizontal line and pictogram whose position varies based on difference between current speed and target speed of vehicle
EP3867126B1 (en) Method and device for assisting with driving a motor vehicle during reversing
FR2941307A1 (en) Information e.g. opening frame state information, displaying system for car, has analyzing unit analyzing movements of driver eyes to display types of information when driver watches and does not watch display, respectively
FR3039918A1 (en) PARKING AID DEVICE AND METHOD FOR A MOTOR VEHICLE.
FR3122391A1 (en) Method and device for determining a state of attention of a driver of an autonomous vehicle
FR2956364A1 (en) Driver assistance device for handling e.g. car around building site, has processing unit generating image data defining image to be displayed in vehicle, where image data represents part of vehicle based on relative position of head
FR3061780A1 (en) METHOD FOR CONTROLLING A MOTOR VEHICLE DISPLAY AND CORRESPONDING DISPLAY
FR3082485A1 (en) DISPLAY DEVICE FOR ASSISTING THE DRIVING OF A DRIVER OF A VEHICLE
FR3104444A1 (en) System and method for providing visual assistance to an individual suffering from motion sickness
FR3098620A1 (en) Method of generating a visual representation of the driving environment of a vehicle
FR3132780A1 (en) Method for calibrating a digital exterior side rear-view device of a motor vehicle

Legal Events

Date Code Title Description
PLSC Publication of the preliminary search report

Effective date: 20190503

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 7