FR3028703A1 - METHOD FOR STEREOSCOPIC RENDERING OF A 3D SCENE ON A SCREEN, DEVICE, SYSTEM AND COMPUTER PROGRAM THEREOF - Google Patents
METHOD FOR STEREOSCOPIC RENDERING OF A 3D SCENE ON A SCREEN, DEVICE, SYSTEM AND COMPUTER PROGRAM THEREOF Download PDFInfo
- Publication number
- FR3028703A1 FR3028703A1 FR1460973A FR1460973A FR3028703A1 FR 3028703 A1 FR3028703 A1 FR 3028703A1 FR 1460973 A FR1460973 A FR 1460973A FR 1460973 A FR1460973 A FR 1460973A FR 3028703 A1 FR3028703 A1 FR 3028703A1
- Authority
- FR
- France
- Prior art keywords
- screen
- pixel
- scene
- center
- opacity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
L'invention concerne un procédé de rendu stéréoscopique d'une scène tridimensionnelle destinée à être affichée sur un écran d'un dispositif de restitution, comprenant les étapes suivantes, mises en œuvre pour un pixel d'une dite image issu de la projection d'un point d'un objet de la scène identifié comme possédant une parallaxe négative dans un référentiel d'un plan de l'écran selon une pyramide de vue d'une caméra d'un observateur de l'écran: - détermination (R41, R42) d'une appartenance du pixel à une zone de bordure intérieure de l'écran, ladite zone étant délimitée par une mesure de distance minimale et une mesure de distance maximale au centre de l'écran selon une première métrique prédéterminée, la distance minimale étant inférieure à la mesure de distance du bord physique au centre de l'écran; - lorsque le pixel est déterminé comme appartenant à une zone de bordure intérieure, calcul (R51, R52) d'un coefficient multiplicatif d'opacité, ledit coefficient d'opacité étant calculé comme une fonction décroissante d'une distance du pixel au centre de l'écran ;et - correction (R61,R62) des composantes couleurs du pixel par application du coefficient multiplicatif d'opacité.The invention relates to a stereoscopic rendering method of a three-dimensional scene intended to be displayed on a screen of a rendering device, comprising the following steps, implemented for a pixel of a said image resulting from the projection of a point of an object of the scene identified as having a negative parallax in a repository of a plane of the screen according to a pyramid of a camera view of an observer of the screen: - determination (R41, R42 ) of a pixel belonging to an inner border area of the screen, said area being delimited by a minimum distance measurement and a maximum distance measurement in the center of the screen according to a first predetermined metric, the minimum distance being less than the distance measurement from the physical edge to the center of the screen; when the pixel is determined to belong to an inner edge zone, calculating (R51, R52) a opacity multiplying coefficient, said opacity coefficient being calculated as a decreasing function of a distance from the pixel at the center of the screen; and - correcting (R61, R62) the color components of the pixel by applying the opacity multiplication coefficient.
Description
1 Procédé de rendu stéréoscopique d'une scène 3D sur un écran, dispositif, système et programme d'ordinateur associés. 1. Domaine de l'invention Le domaine de l'invention est celui du rendu stéréoscopique d'une scène tridimensionnelle sur un écran d'un dispositif de restitution distant d'un utilisateur, par exemple un écran de télévision 3D. L'invention concerne plus particulièrement le rendu des objets à parallaxe négative qui sont projetés à la périphérie de l'écran. 2. Présentation de l'art antérieur En relation avec la Figure 1A, on considère un objet virtuel Obj représenté devant un écran et projeté sur la partie gauche de l'écran.A stereoscopic rendering method of a 3D scene on a screen, device, system and associated computer program. FIELD OF THE DISCLOSURE The field of the invention is that of the stereoscopic rendering of a three-dimensional scene on a screen of a remote rendering device of a user, for example a 3D television screen. The invention relates more particularly to the rendering of negative parallax objects which are projected at the periphery of the screen. 2. Presentation of the Prior Art In relation to FIG. 1A, a virtual object Obj represented in front of a screen and projected on the left part of the screen is considered.
Dans le cas d'un rendu stéréoscopique d'une scène tridimensionnelle l'acquisition de la scène est faite par deux caméras virtuelles qui correspondent aux deux yeux de l'observateur. Les deux caméras sont séparées par une distance d'environ 6,5cm conformément équivalente à l'écart inter pupillaire d'une personne lambda. Chacune des deux images est ensuite envoyée à l'oeil correspondant de l'observateur. Ce filtrage par oeil est effectué par le dispositif de restitution (écran stéréoscopique avec ou sans lunettes, casque de réalité virtuelle, lunettes de réalité augmentée). Chacune de ces caméras à une zone de visibilité décrite par une pyramide qu'on appelle pyramide de vue. Ces deux pyramides PV1, PV2 ont respectivement pour sommet un oeil OG, OD de l'observateur Ob et pour base la surface de l'écran. On considère une zone particulière de ces pyramides de vue, située devant l'écran. Les objets appartenant à cette zone ont des valeurs de parallaxes négatives et qui sont donc vus par l'observateur comme jaillissants de l'écran. Toutefois, parmi ces points, ceux qui n'appartiennent pas à l'intersection des deux pyramides de vues, subissent un effet de« frame cancellation , connu de l'homme de métier qui déclenche chez l'observateur un inconfort visuel plus ou moins marqué. Cet effet a deux causes principales. Il est tout d'abord le résultat d'un conflit 3028703 2 entre deux indices de profondeur, tout d'abord la disparité entre les deux vues restituées. En relation avec la Figure 1B, l'objet virtuel Obj est vu par l'oeil gauche comme une forme Obj1 (représentée en blanc) et par l'oeil droit comme une 5 forme Obj2 (représentée avec des hachures) décalée par rapport à la première. Cette disparité indique à l'utilisateur que l'objet est devant l'écran. Or l'occultation du bord physique BP de l'écran, représenté comme un rectangle vertical hachuré , indique qu'il est placé devant l'objet virtuel Obj, fournit un autre indice de profondeur qui vient contredire le premier indice. Le système 10 visuel tente donc d'assimiler deux informations contradictoires et s'en trouve perturbé. Ce conflit apparaît sur les bords verticaux tout comme sur les bords horizonta ux. Une deuxième cause de l'effet de « frame cancellation » vient du fait qu'en dehors de la zone d'intersection des deux pyramides, l'utilisateur ne perçoit 15 pas la même proportion des objets virtuels Obj. En relation avec la Figure 1B, on remarque que l'objet hachuré Obj2 vu par l'oeil droit est coupé par le bord de l'écran alors que l'objet blanc vu par l'oeil gauche est visible en entier et n'est pas coupé. L'observateur ne voyant pas la même proportion d'un même objet virtuel à droite et à gauche aura donc du mal 20 à fusionner les deux images pour obtenir l'effet de profondeur et ressentira un inconfort visuel. Ce second problème est visible uniquement pour les bords verticaux si on considère les yeux alignés sur un axe horizontal, étant donné que dans ce cas, la disparité ne peut être qu'horizontale. Lorsque la position de l'utilisateur est suivie en rotation, les yeux ne sont plus forcément alignés sur cet 25 axe horizontal, car la disparité peut également être verticale et ainsi les bords horizontaux de l'écran peuvent également être concernés. On connait de l'article de Ardouin et al, intitulé « Design and Evaluation of Methods to prevent Frame Cancellation in Real-Time Stereoscopic 30 Rendering", publié dans les Proceedings de la conference IEEE Symposium on 3D User Interfaces, qui s'est tenue à Singapour du 19 au 20 Mars 2011, une méthode pour éviter le problème de « frame cancellation ». qui consiste à n'afficher que la partie des points d'un objet situé devant l'écran qui ne génère 3028703 3 pas de conflit entre la pyramide de vues de l'oeil gauche et la pyramide de vues de l'oeil droit. Cette partie ou volume est appelé volume stéréo compatible (SCV pour Stereo Compatible Volume en anglais). Les points extérieurs à ce volume sont supprimées (pour « clippés », en anglais) en utilisant un plan de clipping 5 gauche correspondant à la caméra de l'oeil droit et un plan de clipping droit correspondant à la caméra de l'oeil gauche, comme représenté sur la Figure 2. Lorsqu'une technique de suivi de l'orientation de la tête de l'observateur (pour « head tracking », en anglais) est mise en oeuvre, elle prend en compte le fait que les yeux puissent être non alignés horizontalement en 10 ajoutant deux plans supplémentaires : un plan haut et un plan bas, l'un ou l'autre étant utilisé. Un premier avantage de cette méthode est qu'elle produit deux vues (images) cohérentes d'un objet placé devant l'écran.In the case of a stereoscopic rendering of a three-dimensional scene the acquisition of the scene is made by two virtual cameras which correspond to the two eyes of the observer. The two cameras are separated by a distance of about 6.5cm in accordance with the interpupillary distance of a lambda person. Each of the two images is then sent to the corresponding eye of the observer. This filtering by eye is performed by the rendering device (stereoscopic screen with or without glasses, virtual reality headset, augmented reality glasses). Each of these cameras has an area of visibility described by a pyramid called pyramid of view. These two pyramids PV1, PV2 respectively have for vertex an eye OG, OD of the observer Ob and for base the surface of the screen. We consider a particular area of these pyramids view, located in front of the screen. The objects belonging to this zone have negative parallax values and are thus seen by the observer as springing from the screen. However, among these points, those which do not belong to the intersection of the two pyramids of views undergo a "frame cancellation" effect, known to those skilled in the art which triggers in the observer a visual discomfort more or less marked . This effect has two main causes. It is first of all the result of a conflict between two depth indices, first the disparity between the two rendered views. In relation to FIG. 1B, the virtual object Obj is seen by the left eye as a shape Obj1 (represented in white) and by the right eye as a shape Obj2 (represented with hatches) offset from the first. This disparity indicates to the user that the object is in front of the screen. But the occultation of the physical edge BP of the screen, represented as a hatched vertical rectangle, indicates that it is placed in front of the virtual object Obj, provides another depth index which contradicts the first index. The visual system therefore tries to assimilate two contradictory information and is disturbed. This conflict appears on the vertical edges as well as on the horizontal edges. A second cause of the "frame cancellation" effect comes from the fact that outside the intersection zone of the two pyramids, the user does not perceive the same proportion of the virtual objects Obj. In relation to FIG. 1B, we notice that the hatched object Obj2 seen by the right eye is cut off by the edge of the screen while the white object seen by the left eye is visible in its entirety and is not not cut. The observer who does not see the same proportion of the same virtual object on the right and on the left will therefore have trouble merging the two images to obtain the effect of depth and will feel visual discomfort. This second problem is visible only for the vertical edges if we consider the eyes aligned on a horizontal axis, since in this case, the disparity can only be horizontal. When the user's position is rotated, the eyes are no longer necessarily aligned on this horizontal axis because the disparity may also be vertical and thus the horizontal edges of the screen may also be affected. Ardouin et al., Entitled "Design and Evaluation of Methods to prevent Frame Cancellation in Real-Time Stereoscopic Rendering", published in the Proceedings of the IEEE Symposium on 3D User Interfaces conference, was held. in Singapore from March 19 to 20, 2011, a method to avoid the problem of "frame cancellation" which consists of displaying only the part of the points of an object located in front of the screen that generates no conflict between the pyramid of views of the left eye and the pyramid of views of the right eye.This part or volume is called stereo volume compatible (SCV for Stereo Compatible Volume.) The points outside this volume are deleted (for " clipped ", in English) using a left clipping plane corresponding to the camera of the right eye and a right clipping plane corresponding to the camera of the left eye, as shown in FIG. follow-up the orientation of the head of the observer (for "head tracking" in English) is implemented, it takes into account the fact that the eyes can be unaligned horizontally by adding two additional planes: a high plane and a low shot, one or the other being used. A first advantage of this method is that it produces two coherent views (images) of an object placed in front of the screen.
15 Un deuxième avantage de cette méthode est qu'elle est compatible avec un rendu temps réel de la scène tridimensionnelle. 3. Inconvénients de l'art antérieur Un inconvénient de cette méthode est qu'elle ne traite qu'une partie du problème. Certes, elle évite la « non visibilité » d'une partie d'un objet par l'une 20 des caméras, mais le conflit entre deux indices de profondeur est toujours présent. En effet, l'objet peut encore être perçu à la fois comme placé devant l'écran à l'aide de la disparité qui existe entre les deux vues, et comme placé derrière l'écran à cause de l'occultation d'un de ses bords physiques. Ce conflit nuit à la perception de la forme de l'objet et de la profondeur.A second advantage of this method is that it is compatible with real-time rendering of the three-dimensional scene. 3. Disadvantages of the Prior Art A disadvantage of this method is that it only addresses part of the problem. Admittedly, it avoids the "non-visibility" of part of an object by one of the cameras, but the conflict between two depth indices is always present. Indeed, the object can still be perceived both as being placed in front of the screen using the disparity that exists between the two views, and as being placed behind the screen because of the occultation of one of its physical edges. This conflict is detrimental to the perception of the shape of the object and the depth.
25 Un autre inconvénient de cette méthode est que, pour un objet projeté à proximité d'un bord donné, la méthode provoque une coupure brutale uniquement pour une des deux images restituées à l'utilisateur. Cette coupure brutale génère chez l'utilisateur un inconfort visuel. 30 4. Objectifs de l'invention L'invention a notamment pour objectif de pallier ces inconvénients de l'art antérieur. Plus précisément, un objectif de l'invention est de proposer une solution de 3028703 4 rendu stéréoscopique qui évite les coupes brutales des objets périphériques de la scène dues aux bords de l'écran. L'invention a également pour objectif de fournir une solution de rendu stéréoscopique qui évite les conflits entre différents indices de perception 5 de la profondeur, en particulier l'occultation due au bord de l'écran et la disparité entre la première et la deuxième pyramide de vues. Un autre objectif de l'invention est de proposer une solution qui améliore le confort visuel de l'utilisateur en situation de « frame cancellation ». 10 5. Exposé de l'invention Ces objectifs, ainsi que d'autres qui apparaîtront par la suite, sont atteints à l'aide d'un procédé de rendu stéréoscopique destinée à être affichée sur un écran d'un dispositif de restitution, comprenant les étapes suivantes : identification de points de la scène possédant une parallaxe négative, 15 - projection des points de la scène dans un référentiel d'un plan de l'écran selon une première pyramide de vue d'une première caméra et une deuxième pyramide de vue d'une deuxième caméra d'un observateur de l'écran et formation respectivement d'une première image 2D et d'une deuxième image 2D; 20 - rendu des composantes de couleur d'un pixel d'une dite image à partir des composantes de couleur des points de la scène projetés en ce pixel. Selon l'invention, le procédé comprend en outre les étapes suivantes, mises en oeuvre pour un pixel d'une dite image issu d'un point d'un objet de la scène identifié comme possédant une parallaxe négative : 25 - détermination d'une appartenance du pixel à une zone de bordure intérieure de l'écran , ladite zone étant délimitée par une mesure de distance minimale et une mesure de distance minimale au centre de l'écran selon une première métrique prédéterminée, la distance maximale 3028703 5 étant inférieure à la mesure de distance du bord physique au centre de l'écran; - lorsque le pixel est déterminé comme appartenant à une zone de bordure intérieure, calcul d'un coefficient multiplicatif d'opacité, ledit coefficient 5 d'opacité étant calculé comme une fonction décroissante d'une distance du pixel au centre de l'écran ;et - correction des composantes couleurs du pixel par application du coefficient multiplicatif d'opacité.Another disadvantage of this method is that, for an object projected near a given edge, the method causes a sharp cutoff only for one of the two images rendered to the user. This abrupt cutoff causes the user visual discomfort. 4. OBJECTIVES OF THE INVENTION The object of the invention is in particular to overcome these disadvantages of the prior art. More specifically, an object of the invention is to provide a stereoscopic rendering solution that avoids rough cuts of peripheral objects of the scene due to the edges of the screen. The invention also aims to provide a stereoscopic rendering solution that avoids conflicts between different depth perception indices, in particular the occultation due to the edge of the screen and the disparity between the first and the second pyramid of views. Another objective of the invention is to propose a solution that improves the visual comfort of the user in a "frame cancellation" situation. 5. OBJECT OF THE INVENTION These and other objects which will appear later are achieved by means of a stereoscopic rendering method intended to be displayed on a screen of a rendering device, comprising: the following steps: identification of points of the scene having a negative parallax, 15 - projection of the points of the scene in a repository of a plane of the screen according to a first pyramid of a first camera view and a second pyramid of view of a second camera of an observer of the screen and forming respectively a first 2D image and a second 2D image; Rendering the color components of a pixel of a said image from the color components of the points of the scene projected in this pixel. According to the invention, the method further comprises the following steps, implemented for a pixel of a said image coming from a point of an object of the scene identified as having a negative parallax: 25 - determination of a belonging of the pixel to an inner border area of the screen, said area being delimited by a minimum distance measurement and a minimum distance measurement in the center of the screen according to a first predetermined metric, the maximum distance 3028703 being less than distance measurement from the physical edge to the center of the screen; when the pixel is determined as belonging to an inner border zone, calculating a multiplicative coefficient of opacity, said opacity coefficient being calculated as a decreasing function of a distance from the pixel in the center of the screen; and - correcting the color components of the pixel by applying the opacity multiplication coefficient.
10 Avec l'invention, les pixels correspondant aux objets de la scène tridimensionnelle situés devant l'écran et à proximité d'un bord physique de l'écran sont rendus d'autant plus transparents qu'ils sont plus périphériques, que ce soit pour la première ou pour la deuxième caméra. De cette manière, les objets concernés se fondent progressivement au reste de la 15 scène, ce qui a pour effet d'atténuer une éventuelle coupe par un bord de l'écran et par conséquent de réduire pour l'observateur l'effet d'occultation produit par ce bord, tout en conservant l'effet de profondeur. Une telle correction des composantes couleurs des pixels périphériques situés en avant de la scène peut être réalisée dans une ou plusieurs directions, donc pour 20 un ou plusieurs bords de l'écran, selon l'effet souhaité. On peut aussi choisir la taille et la forme de la zone de correction pour le bord de l'écran considéré. Ainsi, l'invention repose sur une approche tout à fait nouvelle et inventive 25 du rendu stéréoscopique, qui résout de façon douce les conflits entre différents indices de perception visuelle de la profondeur détectés par l'observateur. En effet, contrairement à l'art antérieur qui coupe toutes les contributions des points d'un objet en parallaxe négative qui sont présents dans une pyramide de vue mais ne sont pas présents dans l'autre, l'invention propose d'agir au niveau du 30 plan de l'écran de restitution lui-même et de rendre progressivement transparents les pixels d'un objet coupé par un bord physique de l'écran.With the invention, the pixels corresponding to the objects of the three-dimensional scene located in front of the screen and close to a physical edge of the screen are rendered all the more transparent because they are more peripheral, whether for the first or for the second camera. In this way, the objects concerned gradually melt to the rest of the scene, which has the effect of attenuating a possible cut by an edge of the screen and consequently reducing for the observer the occultation effect produced by this edge, while maintaining the effect of depth. Such correction of the color components of the peripheral pixels situated in front of the scene may be performed in one or more directions, thus for one or more edges of the screen, depending on the desired effect. One can also choose the size and the shape of the correction zone for the edge of the screen considered. Thus, the invention is based on an entirely new and inventive approach to stereoscopic rendering, which softly resolves conflicts between different visual depth perception indices detected by the observer. Indeed, unlike the prior art which cuts all the contributions of the points of an object in negative parallax which are present in a pyramid of view but are not present in the other, the invention proposes to act at from the plane of the rendering screen itself and gradually rendering the pixels of an object cut off by a physical edge of the screen.
3028703 6 Selon un aspect de l'invention, la métrique utilisée pour mesurer la distance du pixel au centre de l'écran est adaptée à la forme physique de l'écran. Un avantage est que la correction est appliquée dans des zones de bordure qui épousent les contours de l'écran.According to one aspect of the invention, the metric used to measure the distance of the pixel in the center of the screen is adapted to the physical form of the screen. One advantage is that the correction is applied in border areas that conform to the contours of the screen.
5 Selon un aspect de l'invention, la métrique utilisée pour mesurer la distance au centre de l'écran est définie par la formule suivante : d(x, y) = 4'/X4 + y4 Un avantage de la forme de carré arrondi est qu'elle permet d'obtenir une correction progressive de l'opacité d'un pixel jusque dans les coins de l'écran.According to one aspect of the invention, the metric used to measure the distance to the center of the screen is defined by the following formula: d (x, y) = 4 '/ X4 + y4 An advantage of the rounded square shape is that it allows to obtain a progressive correction of the opacity of a pixel until in the corners of the screen.
10 Le procédé qui vient d'être décrit dans ses différents modes de réalisation est avantageusement mis en oeuvre par un dispositif de rendu stéréoscopique selon l'invention. Corrélativement l'invention concerne aussi un dispositif de rendu 15 stéréoscopique d'une scène tridimensionnelle destinée à être affichée sur un écran d'un dispositif de restitution, comprenant les unités suivantes : - identification de points de la scène possédant une parallaxe négative, - projection des points de la scène dans un référentiel d'un plan de l'écran selon une première pyramide de vue d'une première caméra et une deuxième 20 pyramide de vue d'une deuxième caméra d'un observateur de l'écran et formation respectivement d'une première image 2D et d'une deuxième image 2D; rendu des composantes de couleur d'un pixel d'une dite image à partir des composantes de couleur des points de la scène projetés en ce pixel.The method which has just been described in its different embodiments is advantageously implemented by a stereoscopic rendering device according to the invention. Correlatively, the invention also relates to a stereoscopic rendering device of a three-dimensional scene intended to be displayed on a screen of a rendering device, comprising the following units: identification of points of the scene having a negative parallax, projection scene points in a repository of a screen plane according to a first pyramid of a first camera view and a second pyramid of a second camera view of a screen observer and training respectively a first 2D image and a second 2D image; rendering the color components of a pixel of a said image from the color components of the points of the scene projected in this pixel.
25 Selon l'invention, le dispositif comprend en outre les unités suivantes, aptes à être mises en oeuvre pour un pixel d'une dite image issu d'un point d'un objet de la scène identifié comme possédant une parallaxe négative : - détermination d'une appartenance du pixel à une zone de bordure intérieure de l'écran , ladite zone étant délimitée par une mesure de distance 3028703 7 minimale et une mesure de distance maximale au centre de l'écran selon une première métrique prédéterminée, la distance minimale étant inférieure à la mesure de distance du bord physique au centre de l'écran; - lorsque le pixel est déterminé comme appartenant à une zone de bordure 5 intérieure, calcul d'un coefficient multiplicatif d'opacité, ledit coefficient d'opacité étant calculé comme une fonction décroissante d'une distance du pixel au centre de l'écran ; et - correction des composantes couleurs du pixel par application du coefficient multiplicatif d'opacité.According to the invention, the device further comprises the following units, which can be implemented for a pixel of a said image coming from a point of an object of the scene identified as having a negative parallax: of a pixel belonging to an inner border area of the screen, said area being delimited by a minimum distance measurement and a maximum distance measurement in the center of the screen according to a first predetermined metric, the minimum distance being less than the distance measurement from the physical edge to the center of the screen; when the pixel is determined to belong to an inner border area, calculating a multiplicative opacity coefficient, said opacity coefficient being calculated as a decreasing function of a distance from the pixel in the center of the screen; and - correcting the color components of the pixel by applying the opacity multiplication coefficient.
10 Avantageusement, un tel dispositif peut être intégré à un système de rendu stéréoscopique selon l'invention. Corrélativement, l'invention concerne donc aussi un système de rendu stéréoscopique d'une scène tridimensionnelle à un observateur comprenant un 15 dispositif de rendu stéréoscopique selon l'invention et un dispositif de restitution apte à afficher la première et la deuxième images 2D produites par ledit dispositif. L'invention concerne aussi un programme d'ordinateur comportant des instructions pour la mise en oeuvre des étapes d'un procédé de rendu 20 stéréoscopique d'une scène tridimensionnelle tel que décrit précédemment, lorsque ce programme est exécuté par un processeur. Ces programmes peuvent utiliser n'importe quel langage de programmation. Ils peuvent être téléchargés depuis un réseau de communication et/ou enregistrés sur un support lisible par ordinateur.Advantageously, such a device can be integrated into a stereoscopic rendering system according to the invention. Correlatively, the invention therefore also relates to a system for stereoscopic rendering of a three-dimensional scene to an observer comprising a stereoscopic rendering device according to the invention and a rendering device able to display the first and second 2D images produced by said device. The invention also relates to a computer program comprising instructions for carrying out the steps of a stereoscopic rendering method of a three-dimensional scene as described above, when this program is executed by a processor. These programs can use any programming language. They can be downloaded from a communication network and / or recorded on a computer-readable medium.
25 L'invention se rapporte enfin à des supports d'enregistrement, lisibles par un processeur, intégrés ou non au dispositif de rendu stéréoscopique d'une scène tridimensionnelle, éventuellement amovible, mémorisant respectivement un programme d'ordinateur mettant en oeuvre un procédé de codage et un programme d'ordinateur mettant en oeuvre un procédé de rendu stéréoscopique, 30 tels que décrits précédemment. 3028703 8 6. Liste des figures D'autres avantages et caractéristiques de l'invention apparaîtront plus clairement à la lecture de la description suivante d'un mode de réalisation particulier de l'invention, donné à titre de simple exemple illustratif et non 5 limitatif, et des dessins annexés, parmi lesquels : - la Figure 1A (déjà décrite) illustre de façon schématique un objet d'une scène tridimensionnelle, en parallaxe négative, situé en périphérie de la scène, de telle sorte qu'il n'est visible qu'au travers d'une des deux pyramides de vues ; 10 - la figure 1B (déjà décrite) illustre de façon schématique le problème de « frame cancellation » ; - la Figure 2 (déjà décrite) présente de façon schématique une solution de correction de l'effet de « frame cancellation » selon l'art antérieur ; - la Figure 3 présente de façon schématique un exemple de structure 15 matérielle d'un dispositif de rendu stéréoscopique selon l'invention, dans son environnement ; - la Figure 4 détaille les étapes d'un procédé de rendu stéréoscopique selon un mode de réalisation de l'invention ; - les Figures 5A et 5B illustrent des exemples de zones de bordure interne 20 de l'écran selon un mode de réalisation de l'invention ; - la Figure 6 présente un exemple de métrique de distance mis en oeuvre par le procédé de rendu stéréoscopique pour corriger l'opacité d'un pixel dans le plan de l'écran du dispositif de restitution selon un mode de réalisation de l'invention ; et 25 - la Figure 7 présente un exemple de courbe du coefficient d'opacité selon l'invention en fonction d'une distance d'un pixel au centre de l'écran du dispositif de restitution. 7. Description d'un mode de réalisation particulier de l'invention 30 Le principe général de l'invention repose sur l'application d'un coefficient multiplicatif d'opacité aux valeurs de pixels issus de points d'un objet d'une scène tridimensionnelle ayant une parallaxe négative, lorsqu'ils appartiennent à une zone de bordure interne prédéterminée de l'écran physique destiné à restituer la 3028703 9 scène tridimensionnelle. Pour assurer une transition douce entre les points de cet objet qui sont restitués par l'écran et ceux qui sont coupés, et de ce fait réduire l'effet de « frame cancellation », la valeur du coefficient d'opacité est choisie comme une fonction décroissante d'une distance du pixel au centre de l'écran.The invention finally relates to recording media, readable by a processor, integrated or not to the stereoscopic rendering device of a three-dimensional scene, possibly removable, respectively storing a computer program implementing a coding method. and a computer program implementing a stereoscopic rendering method as previously described. 6. BRIEF DESCRIPTION OF THE FIGURES Other advantages and characteristics of the invention will appear more clearly on reading the following description of a particular embodiment of the invention, given as a simple illustrative and nonlimiting example. and the accompanying drawings, in which: FIG. 1A (already described) schematically illustrates an object of a three-dimensional scene, in negative parallax, situated at the periphery of the scene, so that it is not visible only through one of the two pyramids of views; Figure 1B (already described) schematically illustrates the problem of "frame cancellation"; - Figure 2 (already described) schematically shows a solution for correcting the effect of "frame cancellation" according to the prior art; Figure 3 shows schematically an example of a hardware structure of a stereoscopic rendering device according to the invention in its environment; FIG. 4 details the steps of a stereoscopic rendering method according to one embodiment of the invention; Figures 5A and 5B illustrate examples of inner border areas of the screen according to one embodiment of the invention; FIG. 6 shows an example of a distance metric implemented by the stereoscopic rendering method for correcting the opacity of a pixel in the plane of the screen of the rendering device according to one embodiment of the invention; and FIG. 7 shows an exemplary curve of the opacity coefficient according to the invention as a function of a distance of one pixel in the center of the screen of the rendering device. 7. DESCRIPTION OF A PARTICULAR EMBODIMENT OF THE INVENTION The general principle of the invention rests on the application of a multiplicative coefficient of opacity to the pixel values derived from points of an object of a scene. three-dimensional having a negative parallax, when they belong to a predetermined internal border area of the physical screen for rendering the three-dimensional scene. To ensure a smooth transition between the points of this object that are restored by the screen and those that are cut, and thus reduce the effect of "frame cancellation", the value of the opacity coefficient is chosen as a function decreasing by a distance from the pixel in the center of the screen.
5 On notera que l'invention qui va être décrite plus en détails, peut être mise en oeuvre au moyen de composants logiciels et/ou matériels. Dans cette optique, les termes « module » et « entité », utilisés dans ce document, peuvent correspondre soit à un composant logiciel, soit à un composant matériel, soit 10 encore à un ensemble de composants matériels et/ou logiciels, aptes à mettre en oeuvre la ou les fonctions décrites pour le module ou l'entité concerné(e). En relation avec la Figure 3, on considère un exemple de système S de rendu stéréoscopique d'une scène tridimensionnelle ST à un ou plusieurs observateurs Ob sous la forme de deux images 2D Il, 12, qui sont restituées par 15 un dispositif stéréoscopique de restitution DR. Un tel dispositif comprend un un écran stéréoscopique ES. A titre d'exemple, cet écran a une dimension diagonale de 82 pouces, un format 16/9 et une résolution 4K Dans cet exemple, le dispositif stéréoscopique est passif. Il comprend en outre une paire de lunettes stéréoscopiques polarisées LS que porte l'observateur Ob. Cette paire de lunettes 20 LS est adaptée à séparer les deux images Il, 12 affichées à l'écran, l'image I1 étant par exemple destinée à son oeil gauche OG et l'image 12 à son oeil droit OD. De façon alternative, le dispositif de restitution DR pourrait également comprendre un écran stéréoscopique actif, agencé pour communiquer, par exemple en infra rouge, avec une paire de lunettes actives à occultations 25 alternées , adaptée pour occulter l'image I1 à l'oeil droit et l'image 12 à l'oeil gauche sur commande du dispositif de restitution DR. Bien sûr, l'invention n'est pas limitée à ces exemples. Elle pourrait s'appliquer tout aussi bien à un écran auto-stéréoscopique ou à un casque de réalité virtuelle ou à des lunettes de réalité augmentée binoculaires.It will be appreciated that the invention which will be described in more detail can be implemented by means of software and / or hardware components. In this context, the terms "module" and "entity" used in this document may correspond either to a software component or to a hardware component or to a set of hardware and / or software components capable of the function (s) described for the module or entity concerned. In relation to FIG. 3, an exemplary stereoscopic rendering system S of a three-dimensional scene ST is considered to be one or more observers Ob in the form of two 2D images 11, 12, which are reproduced by a stereoscopic rendering device. DR. Such a device comprises a stereoscopic screen ES. By way of example, this screen has a diagonal dimension of 82 inches, a 16/9 format and a 4K resolution. In this example, the stereoscopic device is passive. It further includes a pair of LS polarized stereoscopic glasses worn by the observer Ob. This pair of glasses 20 LS is adapted to separate the two images 11, 12 displayed on the screen, the image I1 being for example intended for his left eye OG and the image 12 to his right eye OD. Alternatively, the DR rendering device could also include an active stereoscopic screen, arranged to communicate, for example infra-red, with a pair of active glasses with alternating occultations, adapted to mask the image I1 with the right eye. and the image 12 to the left eye on command of the DR rendering device. Of course, the invention is not limited to these examples. It could apply equally well to an auto-stereoscopic screen or a virtual reality headset or binocular augmented reality glasses.
30 Le système S comprend aussi un dispositif 100 de rendu stéréoscopique selon l'invention. Un tel dispositif prend en entrée, d'une part les données de la scène tridimensionnelle ST constituées entre autre de sa géométrie, et surtout de un modèle de projection stéréoscopique MPS défini par deux caméras virtuelles 3028703 10 CV1, CV2, qui correspondent aux yeux OG et OD de l'observateur, positionnées dans un référentiel commun REF de la scène tridimensionnelle ST. En relation avec la Figure 2, les pyramides de vue PV1, PV2, respectivement associées à la première et à la deuxième caméra virtuelle CV1, CV2, constituent une 5 représentation visuelle du modèle de projection MPS. On considère une pyramide de vue ayant pour base une représentation virtuelle à l'échelle 1 :1 de l'écran du dispositif d'affichage DA et pour sommet le centre optique de la caméra virtuelle. On notera que ce point de vue peut être 10 rendu dépendant de la position de l'observateur Ob dans l'espace et de la rotation de sa tête, de façon à adapter la visualisation du mouvement et donc de définir un effet de parallaxe plus cohérent. On comprend que la pyramide de vue d'une caméra virtuelle permet de déterminer la projection d'un point de la scène ST 3D sur un pixel de l'écran du dispositif de restitution DR.The system S also comprises a stereoscopic rendering device 100 according to the invention. Such a device takes as input, on the one hand, the data of the three-dimensional scene ST made up inter alia of its geometry, and especially of a stereoscopic projection model MPS defined by two virtual cameras 3028703 10 CV1, CV2, which correspond to the OG eyes. and OD of the observer, positioned in a common reference frame REF of the three-dimensional scene ST. In relation to FIG. 2, the view pyramids PV1, PV2 respectively associated with the first and second virtual cameras CV1, CV2 constitute a visual representation of the MPS projection model. A view pyramid based on a 1: 1 virtual representation of the screen of the display device DA and for the optical center of the virtual camera is considered. It should be noted that this point of view can be made dependent on the position of the observer Ob in space and the rotation of its head, so as to adapt the visualization of the movement and thus to define a more coherent parallax effect. . It is understood that the pyramid of view of a virtual camera makes it possible to determine the projection of a point of the scene ST 3D on a pixel of the screen of the rendering device DR.
15 Bien sûr, l'invention n'est pas limitée à cet exemple d'implémentation et peut être étendue à d'autres modèles de projection stéréoscopiques comprenant deux caméras virtuelles mettant en oeuvre une projection en perspective convergeant en un point donné ou à l'infini. Typiquement, les deux caméras CV1, CV2 sont séparées par une distance 20 d'environ 6,5 cm conformément au principe de rendu stéréoscopique qui consiste à les séparer d'une distance équivalence à l'écart inter pupillaire moyen d'un observateur. Le dispositif 100 met en oeuvre le procédé de rendu stéréoscopique d'une scène tridimensionnelle à au moins un observateur selon l'invention qui sera 25 décrit plus en détails en relation avec la Figure 4. Par exemple, le dispositif 100 comprend respectivement une unité de traitement 110, équipée d'un processeur p, et pilotée par un programme d'ordinateur Pg1 120, stocké dans une mémoire 130 et mettant en oeuvre le procédé de rendu stéréoscopique selon l'invention.Of course, the invention is not limited to this example of implementation and can be extended to other stereoscopic projection models comprising two virtual cameras implementing a perspective projection converging at a given point or at the same time. infinite. Typically, the two cameras CV1, CV2 are separated by a distance of about 6.5 cm in accordance with the stereoscopic rendering principle of separating them by a distance equivalent to the average interpupillary distance of an observer. The device 100 implements the method of stereoscopic rendering of a three-dimensional scene to at least one observer according to the invention which will be described in more detail in relation to FIG. 4. For example, the device 100 comprises respectively a unit of processing 110, equipped with a processor p, and driven by a computer program Pg1 120, stored in a memory 130 and implementing the stereoscopic rendering method according to the invention.
30 A l'initialisation, les instructions de code du programme d'ordinateur Pgi 120 sont par exemple chargées dans une mémoire RAM avant d'être exécutées respectivement par les processeurs des unités de traitement 110. Le processeur 3028703 11 de l'unité de traitement 110 met en oeuvre les étapes du procédé décrit précédemment, selon les instructions des programmes d'ordinateur 120. En variante, le dispositif 100 selon l'invention, comprend en outre un processeur graphique CG 140 apte à mettre en oeuvre une ou plusieurs étapes du 5 procédé de rendu stéréoscopique selon l'invention, telle que par exemple l'étape de calcul du coefficient d'opacité et l'étape de correction des composantes de couleur. Un avantage d'un tel processeur est qu'il a été spécifiquement conçu pour réaliser de tels calculs en temps réel. Dans cet exemple de réalisation de l'invention, le dispositif 100 comprend 10 au moins une unité GET d'obtention de la scène 3D ST et du modèle de projection stéréoscopique MPS, une unité PROJ de projection des points de la scène ST 3D sur des pixels d'une image Il, ou 12 dans le référentiel Ref de l'écran, une unité COL de calcul des composantes de couleur des pixels d'une image Il, 12 à partir des contributions des points de la scène projetés, puis, pour un pixel d'une 15 image, une unité DET de détermination d'une appartenance à une zone de bordure interne de l'écran, une unité CAL de calcul d'un coefficient multiplicatif d'opacité au moins en fonction d'une distance du pixel au centre de l'écran, une unité COR de correction de la valeur de couleur du pixel par application du coefficient multiplicatif d'opacité calculé. Le dispositif 100 comprend aussi une 20 unité DISP de commande d'affichage des images Il, 12 obtenues au dispositif de restitution DR . En sortie du dispositif de rendu 100, les deux images sont restituées par l'écran et visualisées par l'observateur Ob, chaque image correspondant à un oeil de l'observateur Le dispositif 100 est agencé pour coopérer au moins avec : 25 - Le module MS de stockage de la scène 3D ST comprenant les données de la scène et le modèle géométrique tridimensionnelle de la scène ; - le dispositif de restitution DR, afin de lui transmettre les images Il, 12 qu'il a produites. Avantageusement, le dispositif comprend un mémoire MB 150, par exemple 30 de type buffer, agencée pour stocker les images Il, 12, une fois calculées, avant leur transmission au dispositif de restitution DR.At initialization, the code instructions of the computer program Pgi 120 are for example loaded into a RAM before being executed by the processors of the processing units 110 respectively. The processor 3028703 11 of the processing unit 110 implements the steps of the method described above, according to the instructions of the computer programs 120. In a variant, the device 100 according to the invention furthermore comprises a graphics processor CG 140 able to implement one or more stages of the Stereoscopic rendering method according to the invention, such as, for example, the step of calculating the opacity coefficient and the step of correcting the color components. An advantage of such a processor is that it has been specifically designed to perform such calculations in real time. In this exemplary embodiment of the invention, the device 100 comprises at least one GET unit for obtaining the 3D scene ST and the stereoscopic projection model MPS, a projection unit PROJ of the points of the scene ST 3D on pixels of an image Il, or 12 in the Ref reference of the screen, a COL unit for calculating the color components of the pixels of an image Il, 12 from the contributions of the points of the projected scene, then, for a pixel of an image, a unit DET for determining a membership in an internal border area of the screen, a unit CAL for calculating a multiplicative coefficient of opacity at least as a function of a distance of the pixel in the center of the screen, a COR unit for correcting the color value of the pixel by applying the calculated opacity multiplying coefficient. The device 100 also comprises a DISP unit for controlling the display of the images 11, 12 obtained at the rendering device DR. At the output of the rendering device 100, the two images are rendered by the screen and visualized by the observer Ob, each image corresponding to an eye of the observer. The device 100 is arranged to cooperate at least with: MS of ST 3D scene storage including scene data and three-dimensional geometric model of the scene; the DR rendering device, in order to transmit to it the images II, which it has produced. Advantageously, the device comprises a memory MB 150, for example 30 of buffer type, arranged to store the images 11, 12, once calculated, before transmission to the DR rendering device.
3028703 12 Selon un aspect de l'invention, représenté sur la Figure 3, le dispositif de rendu 100 constitue un module indépendant. Selon une variante de l'invention, le dispositif 100 est intégré au dispositif de restitution DR.According to one aspect of the invention, shown in FIG. 3, the rendering device 100 constitutes an independent module. According to a variant of the invention, the device 100 is integrated with the rendering device DR.
5 En relation avec la Figure 4, on détaille maintenant les étapes du procédé de rendu stéréoscopique mis en oeuvre par le dispositif 100 qui vient d'être présenté, selon un exemple de réalisation de l'invention. En RO, on obtient les données de la scène 3D ST et le modèle géométrique 3G MGT. Par exemple, les données de la scène comprennent des coordonnées de 10 points 3D, dits « sommets » (pour « vertex », en anglais) dans un référentiel REF du système S et des informations de texture ou de couleur associées à ces points. La scène a généralement été créée au préalable par un module de création local ou distant, puis reçue et éventuellement stockée en mémoire dans le module MS. En R1, on identifie les points de la scène qui possèdent une parallaxe 15 négative, c'est-à-dire les points de la scène qui présentent une disparité négative entre la pyramide de vue PV1 et la pyramide de vue PV2. Pour identifier ces points il suffit de comparer la distance d'un point 3D à la caméra courante CV1, CV2 sur l'axe des Z par rapport à la distance de parallaxe zéro du système de caméras. Cette distance est définie par les paramètres de projection des deux 20 caméras. Si la distance du point à la caméra est inférieure à cette valeur, l'objet est en parallaxe négative et inversement. En R21 , les points Pt(X,Y,Z) de la scène 3D ST dans le référentiel REF du système S sont projetés en une image I1 dans le référentiel Ref du plan de l'écran du dispositif d'affichage D1, selon le modèle de projection de la pyramide 25 de vue PV1 de la caméra virtuelle CV1 correspondant à l'oeil gauche de l'observateur Ob. En R22 , les points Pt(X,Y,Z) de la scène 3D ST dans le référentiel REF du système S sont projetés en une image 12 dans le référentiel Ref du plan de 30 l'écran du dispositif d'affichage D1 selon le modèle de projection de la pyramide de vue PV1 de la caméra virtuelle CV2 correspondant à l'oeil gauche de l'observateur Ob. Lors de cette projection, on repère les pixels des images I1, 12 3028703 13 correspondant à points d'objets PPN de la scène présentant une parallaxe négative. En R31, R32, on calcule les composantes de couleur, par exemple RGB (pour « Red Green Blue », en anglais) des pixels obtenus pour les images Il, 12 à 5 partir des informations de texture et de couleur associées aux points 3D de la scène, dont sont issus les pixels. Les pixels des images fi et 12 sont ensuite traités de la façon suivante, pour chacune des images Il, 12 : au cours d'une étape R41, respectivement R42, on détermine si le pixel Pi(x,y), 10 avec i entier égal à 1 ou 2, appartient à une zone de bordure interne ZB prédéterminée pour l'écran du dispositif d'affichage DA. En relation avec les Figures 5A et 5B, on présente des exemples de zones de bordure interne, ZBG pour le bord vertical gauche, ZBD pour le bord vertical droit, ZBH pour le bord horizontal haut et ZBB pour le bord horizontal bas de 15 l'écran. . La figure 5A présente la zone de bordure interne gauche ZBG et la zone de bordure interne droite ZBD vues de dessus dans la pyramide de vue PV1 de l'oeil gauche (Ces zones de bordures sont les même pour la pyramide de vue PV2 de l'oeil droit), elles sont délimitées par les flèches. La figure 5B présente la zone de 20 bordure interne haute ZBH et la zone de bordure interne droite de côté, en considérant les deux yeux de l'observateur Ob alignés selon un axe horizontal. En relation avec la Figure 6, on considère les mêmes zones de bordure sur l'écran du dispositif de restitution DR. Avantageusement, la zone de bordure est définie à l'aide d'une fonction de 25 distance minimale Dmin et d'une fonction de distance maximale Dmax au centre C de l'écran, que l'on calcule à l'aide d'une métrique particulière dans le repère écran Ref défini par ses bornes, le point (0,0) étant le coin en bas à gauche, le point (1,1) le coin en haut à droite. On détermine l'appartenance du pixel courant Pi(x,y) à une de ces zones à l'aide de cette même métrique. Si la distance D(C, 30 Pi) du pixel Pi au centre de l'écran selon cette métrique a une valeur comprise entre une distance Dmin et Dmax correspondant à la bordure considérée, par 3028703 14 exemple ZBG, alors le pixel Pi est considéré comme appartenant à la zone de bordure et comme candidat à une correction de couleur. Selon un aspect de l'invention, on utilise la métrique définie par la formule suivante : d(x, y) = 4\ix4 + y4 5 Cette métrique présente l'avantage de définir une forme de type carré arrondi, ce qui correspond bien à la géométrie d'un écran de téléviseur. Bien sûr, d'autres métriques peuvent être utilisées, qui seront mieux adaptées à d'autres géométries d'écran telles que par exemple : - D(x,y)=.1x2 +y2 pour une forme circulaire ; 10 - D'x,y) = max(x,y)pour un carré. Au cours d'une étape R51, respectivement R52, on calcule un coefficient d'opacitéa à appliquer à la valeur de couleur du pixel Pi(x,y) lorsqu'il appartient à une zone de bordure interne de l'écran. Avantageusement, la valeur de ce coefficient décroit avec la distance au centre C selon la métrique choisie.With reference to FIG. 4, the steps of the stereoscopic rendering method implemented by the device 100 which has just been presented, according to an exemplary embodiment of the invention, are now described. In RO, we obtain the data of the 3D ST scene and the 3G MGT geometric model. For example, the data of the scene includes coordinates of 10 3D points, called "vertices" (for "vertex" in English) in a REF reference system S and texture or color information associated with these points. The scene has generally been previously created by a local or remote authoring module, then received and possibly stored in memory in the MS module. In R1, we identify the points of the scene that have a negative parallax, that is, the points in the scene that have a negative disparity between the view pyramid PV1 and the view pyramid PV2. To identify these points it is sufficient to compare the distance of a 3D point to the current camera CV1, CV2 on the Z axis with respect to the zero parallax distance of the camera system. This distance is defined by the projection parameters of the two cameras. If the distance from the point to the camera is less than this value, the object is in negative parallax and vice versa. In R21, the points Pt (X, Y, Z) of the 3D scene ST in the REF reference system S are projected into an image I1 in the Ref reference of the plane of the screen of the display device D1, according to the projection model of the pyramid 25 of view PV1 of the virtual camera CV1 corresponding to the left eye of the observer Ob. In R22, the points Pt (X, Y, Z) of the 3D ST scene in the system S REF repository are projected into an image 12 in the display plane Ref reference of the display device D1 according to model of projection of the pyramid of view PV1 of the virtual camera CV2 corresponding to the left eye of the observer Ob. During this projection, the pixels of the images I1, 12 corresponding to points of objects PPN of the scene having a negative parallax are identified. In R31, R32, the color components are calculated, for example RGB (for "Red Green Blue") pixels obtained for the images 11, 12 from the texture and color information associated with the 3D points of the scene, from which the pixels are derived. The pixels of the images f 1 and 12 are then processed as follows, for each of the images 11, 12: during a step R 41, respectively R 42, it is determined whether the pixel Pi (x, y), with integer i equal to 1 or 2, belongs to a predetermined internal border zone ZB for the display of the display device DA. In connection with FIGS. 5A and 5B, there are examples of inner border areas, ZBG for the left vertical edge, ZBD for the right vertical edge, ZBH for the top horizontal edge and ZBB for the horizontal bottom edge of 15 screen. . FIG. 5A shows the left internal border zone ZBG and the right inner border zone ZBD viewed from above in the left eye PV1 view pyramid (These border zones are the same for the PV2 view pyramid of FIG. right eye), they are delimited by the arrows. Figure 5B shows the upper inner border area ZBH and the right inner side edge area, considering the two eyes of the observer Ob aligned along a horizontal axis. In relation to FIG. 6, the same border zones are considered on the screen of the reproduction device DR. Advantageously, the border zone is defined using a minimum distance function Dmin and a maximum distance function Dmax at the center C of the screen, which is calculated using a particular metric in the screen reference Ref defined by its terminals, the point (0,0) being the bottom left corner, the point (1,1) the top right corner. The membership of the current pixel Pi (x, y) is determined to one of these areas using this same metric. If the distance D (C, 30 Pi) of the pixel Pi in the center of the screen according to this metric has a value between a distance Dmin and Dmax corresponding to the considered border, for example ZBG, then the pixel Pi is considered as belonging to the border area and as a candidate for color correction. According to one aspect of the invention, the metric defined by the following formula is used: d (x, y) = 4 \ ix4 + y4 This metric has the advantage of defining a rounded square type of shape, which corresponds well to the geometry of a TV screen. Of course, other metrics can be used, which will be better adapted to other screen geometries such as for example: - D (x, y) = 1x2 + y2 for a circular form; 10 - D'x, y) = max (x, y) for a square. During a step R51, respectively R52, an opacity coefficient is calculated to be applied to the color value of the pixel Pi (x, y) when it belongs to an inner border area of the screen. Advantageously, the value of this coefficient decreases with the distance to the center C according to the chosen metric.
15 Par exemple, la formule de décroissance du facteur d'opacitéa utilisé,est la suivante : a = 1 D(x,y)-DminOn contraint ensuite la valeur entre 0 et 1 (si a < 0 alors a = 0 ; Dmax-Dmin si a> 1 alors a =1) Par exemple, on choisit Dmax =0.97 et Dmin =0.8, pour toutes les zones de 20 bordure.Avec cette formule la décroissance est linéaire. Un exemple de courbe de valeurs du coefficient d'opacité en fonction de la distance est présenté en relation avec la Figure 7. Bien sûr, on pourrait choisir une fonction de décroissance d'un autre type, par exemple 25 - pour-accélérer cette décroissance en mettant la fraction sous une racine carré, ou - - pour réduire la vitesse de décroissance en mettant la fraction au carré. On pourrait aussi choisir une valeur de Dmax supérieure à la distance du bord physique au centre de l'écran.For example, the opacity factor decreasing formula used is: a = 1 D (x, y) -DminOn then constrains the value between 0 and 1 (if a <0 then a = 0; Dmax- Dmin if a> 1 then a = 1) For example, we choose Dmax = 0.97 and Dmin = 0.8, for all border zones. With this formula, the decay is linear. An example of a curve of values of the opacity coefficient as a function of the distance is presented in relation to FIG. 7. Of course, one could choose a decay function of another type, for example to accelerate this decay. putting the fraction under a square root, or - - to reduce the decay rate by squaring the fraction. One could also choose a value of Dmax greater than the distance of the physical edge in the center of the screen.
30 Au cours d'une étape R61, respectivement R42, on applique le coefficient d'opacité 0( calculé pour le pixel Pi(x,y) courant à sa valeur de couleur Ci(x,v) et on obtient une valeur corrigée CCi(x,y). Cette correction a pour effet de rendre le 3028703 15 pixel d'autant plus transparent, c'est-à-dire d'autant moins opaque qu'il est plus proche du bord physique de l'écran, l'effet recherché étant d'adoucir la rupture avec le bord de l'écran, en contribuant à ce que le pixel issu de l'objet concerné se fonde davantage dans le décor de la scène et ne semble plus brutalement 5 coupé par le bord physique de l'écran. A titre d'exemple, dans le cas précédent, l'épaisseur des zones de bordure horizontales ZBB et ZBH représente 7% de la hauteur de l'écran, et celle des zones de bordure verticale gauche et droite ZBG et ZBG représente 8% de la 10 largeur de l'écran. On comprend que la taille et la forme des zones de bordure de chacun des côtés de l'écran sont réglables et ne sont pas nécessairement choisies de façon symétrique. On peut aussi décider de n'utiliser que des zones de bordure 15 latérales. Les étapes R41 à R61 et R42 à R62 sont répétées pour tous les pixels des Images Il, 12. En R71, respectivement R72, on commande l'affichage des images obtenues au dispositif de restitution DR. 20During a step R61, respectively R42, the opacity coefficient 0 (calculated for the current pixel Pi (x, y) is applied to its color value Ci (x, v) and a corrected value CCi is obtained. (x, y) This correction has the effect of rendering the pixel even more transparent, that is all the less opaque since it is closer to the physical edge of the screen. sought effect being to soften the break with the edge of the screen, contributing to the fact that the pixel from the object concerned is based more in the scenery of the scene and no longer seems brutally cut off by the physical edge For example, in the previous case, the thickness of the horizontal border zones ZBB and ZBH represents 7% of the height of the screen, and that of the left and right vertical border zones ZBG and ZBG represents 8% of the width of the screen It is understood that the size and shape of the border areas of each side of the screen are adjustable and are not necessarily chosen symmetrically. It may also be decided to use only side edge areas. The steps R41 to R61 and R42 to R62 are repeated for all the pixels of Images II, 12. In R71, respectively R72, the display of the images obtained is controlled by the rendering device DR. 20
Claims (7)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1460973A FR3028703A1 (en) | 2014-11-13 | 2014-11-13 | METHOD FOR STEREOSCOPIC RENDERING OF A 3D SCENE ON A SCREEN, DEVICE, SYSTEM AND COMPUTER PROGRAM THEREOF |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1460973A FR3028703A1 (en) | 2014-11-13 | 2014-11-13 | METHOD FOR STEREOSCOPIC RENDERING OF A 3D SCENE ON A SCREEN, DEVICE, SYSTEM AND COMPUTER PROGRAM THEREOF |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR3028703A1 true FR3028703A1 (en) | 2016-05-20 |
Family
ID=52477855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1460973A Withdrawn FR3028703A1 (en) | 2014-11-13 | 2014-11-13 | METHOD FOR STEREOSCOPIC RENDERING OF A 3D SCENE ON A SCREEN, DEVICE, SYSTEM AND COMPUTER PROGRAM THEREOF |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3028703A1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050195478A1 (en) * | 2004-03-02 | 2005-09-08 | Shingo Yanagawa | Apparatus for and method of generating image, and computer program product |
| US20100091097A1 (en) * | 2006-09-25 | 2010-04-15 | Lachlan Pockett | Supporting A 3D Presentation |
| US20120056885A1 (en) * | 2010-09-08 | 2012-03-08 | Namco Bandai Games Inc. | Image generation system, image generation method, and information storage medium |
| US20140055564A1 (en) * | 2012-08-23 | 2014-02-27 | Eunhyung Cho | Apparatus and method for processing digital signal |
| US20140152768A1 (en) * | 2012-10-30 | 2014-06-05 | Korea Advanced Institute Of Science And Technology | Method and system for creating dynamic floating window for stereoscopic contents |
-
2014
- 2014-11-13 FR FR1460973A patent/FR3028703A1/en not_active Withdrawn
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050195478A1 (en) * | 2004-03-02 | 2005-09-08 | Shingo Yanagawa | Apparatus for and method of generating image, and computer program product |
| US20100091097A1 (en) * | 2006-09-25 | 2010-04-15 | Lachlan Pockett | Supporting A 3D Presentation |
| US20120056885A1 (en) * | 2010-09-08 | 2012-03-08 | Namco Bandai Games Inc. | Image generation system, image generation method, and information storage medium |
| US20140055564A1 (en) * | 2012-08-23 | 2014-02-27 | Eunhyung Cho | Apparatus and method for processing digital signal |
| US20140152768A1 (en) * | 2012-10-30 | 2014-06-05 | Korea Advanced Institute Of Science And Technology | Method and system for creating dynamic floating window for stereoscopic contents |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9204128B2 (en) | Stereoscopic shooting device | |
| JP4707368B2 (en) | Stereoscopic image creation method and apparatus | |
| US9445075B2 (en) | Image processing apparatus and method to adjust disparity information of an image using a visual attention map of the image | |
| EP2070338B1 (en) | Display device for stereoscopic display | |
| WO2010007285A1 (en) | Method and device for filling in the zones of occultation of a map of depth or of disparities estimated on the basis of at least two images | |
| JP4562457B2 (en) | Image processing apparatus and image processing method | |
| JP2015522198A (en) | Depth map generation for images | |
| EP2755187A2 (en) | 3d-animation effect generation method and system | |
| US20110229012A1 (en) | Adjusting perspective for objects in stereoscopic images | |
| US9087406B2 (en) | Automated stereoscopic computer-animation techniques for determining scaled stereo parameters | |
| EP3547672A1 (en) | Data processing method, device, and apparatus | |
| FR2917845A1 (en) | METHOD OF VISUALIZING A SEQUENCE OF IMAGES PRODUCING A RELIEF SENSATION | |
| US10769852B2 (en) | Method for simulating natural perception in virtual and augmented reality scenes | |
| EP3324619B1 (en) | Three-dimensional (3d) rendering method and apparatus for user' eyes | |
| JP2000207549A (en) | Image processor | |
| US9363498B2 (en) | Method, system and computer program product for adjusting a convergence plane of a stereoscopic image | |
| WO2012020558A1 (en) | Image processing device, image processing method, display device, display method and program | |
| US10957063B2 (en) | Dynamically modifying virtual and augmented reality content to reduce depth conflict between user interface elements and video content | |
| JP5175910B2 (en) | Image processing apparatus, image processing method, and program | |
| US20240296531A1 (en) | System and methods for depth-aware video processing and depth perception enhancement | |
| CA2949683A1 (en) | Method of determining at least one behavioural parameter | |
| US20230152883A1 (en) | Scene processing for holographic displays | |
| CN102883174B (en) | 2D (two-dimensional)-to-3D (three dimensional) conversion method | |
| TW201605241A (en) | Systems, methods and software product for embedding stereo imagery | |
| FR3028703A1 (en) | METHOD FOR STEREOSCOPIC RENDERING OF A 3D SCENE ON A SCREEN, DEVICE, SYSTEM AND COMPUTER PROGRAM THEREOF |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLSC | Publication of the preliminary search report |
Effective date: 20160520 |
|
| ST | Notification of lapse |
Effective date: 20160729 |