EP2540089A2 - Method for visualizing three-dimensional images on a 3d display device and 3d display device - Google Patents
Method for visualizing three-dimensional images on a 3d display device and 3d display deviceInfo
- Publication number
- EP2540089A2 EP2540089A2 EP11720977A EP11720977A EP2540089A2 EP 2540089 A2 EP2540089 A2 EP 2540089A2 EP 11720977 A EP11720977 A EP 11720977A EP 11720977 A EP11720977 A EP 11720977A EP 2540089 A2 EP2540089 A2 EP 2540089A2
- Authority
- EP
- European Patent Office
- Prior art keywords
- display device
- image
- subpixels
- display
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/324—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2300/00—Aspects of the constitution of display devices
- G09G2300/04—Structural and physical details of display devices
- G09G2300/0439—Pixel structures
- G09G2300/0452—Details of colour pixel setup, e.g. pixel composed of a red, a blue and two green components
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10T—TECHNICAL SUBJECTS COVERED BY FORMER US CLASSIFICATION
- Y10T29/00—Metal working
- Y10T29/49—Method of mechanical manufacture
- Y10T29/49002—Electrical device making
- Y10T29/49004—Electrical device making including measuring or testing of device or component part
Definitions
- the invention relates to a method for visualizing three-dimensional images on a 3D display device, wherein an image to be visualized is supplied as an input image. Furthermore, the invention relates to an SD display device, in particular a stereoscopic or autostereoscopic display, for the visualization of three-dimensional images.
- autostereoscopic visualization systems that allow one or more viewers, who are in front of an autostereoscopic display, to view a three-dimensional image without visual aids.
- e.g. Parallax barrier systems or lenticular lens systems positioned in front of the display panel. Since one or more observers may be at different angles relative to a direction perpendicular to the display, more than two perspectives must always be generated and fed to the respective left and right eyes in order to provide as natural a three-dimensional image impression as possible for the viewer allow respective viewer.
- These systems are also referred to as multi-viewer systems or multiview systems.
- the present invention is therefore based on the object, a method for the visualization of three-dimensional images on a 3D display device of the type mentioned in such a way and further, that the
- CONFIRMATION COPY Visualization of three-dimensional images is improved with simple constructive means. Furthermore, a corresponding 3D display device is to be specified.
- the above object is solved by the features of claim 1.
- the present method for visualizing three-dimensional images on a 3D display device is characterized in that using the input image at least one feature matrix is determined, wherein the feature matrices define light / dark information, and that from the input image using the Hell / Dark information, a display image for reproduction is generated on the SD display device.
- the SD display device in question in particular a stereoscopic or autostereoscopic display, for the visualization of three-dimensional images, is characterized in that the 3D display device has means which determine at least one feature matrix using an input image supplied, wherein the feature matrices Define bright / dark information, and that the means from the input image using the light / dark information to generate a display image for playback on the 3D display device.
- the input image may comprise two perspectives - partial images - which correspond to a left and a right partial image.
- the sub-images may be rectified, i. be brought to stereo normal form.
- features can be extracted from the input image (s).
- the features can describe local properties. For example, shapes, textures and / or edges can be considered as local properties.
- a feature extraction Sobel feature extraction can be used.
- a feature matrix comprises edge information.
- the human brain essentially uses edges on objects to build up the three-dimensional space image in the brain. Consequently, the edge information greatly facilitates the work of the observer's brain and improves the adaptation to the anatomy of the eye and the downstream information processing in the brain.
- feature extraction can be carried out using a Speed up Robust Features (SURF) feature extraction.
- SURF Speed up Robust Features
- H. Bay, T. Tuytelaars and LV Gool Speeded Up Robust Features
- Computer Vision and Image Understanding 110 (3), 2008, pp. 346-359.
- a feature matrix may include information about prominent pixels.
- a characteristic value can be assigned to a pixel of a perspective of the input image as light / dark information by a feature matrix. Consequently, feature values can be assigned to each pixel of a perspective of the input image as light / dark information.
- the feature value can be added to the subpixels of the associated pixel in the display image and / or multiplied.
- the feature value can be weighted with a scaling factor.
- the scaling factor can be changed interactively by a control unit, preferably with a remote control.
- RGB subpixels In a display device with RGB subpixels, the features of an edge operator used to emphasize the edges in the RGB subpixels can be used.
- a pixel e.g. consisting of the RGB subpixels, can be adapted to the anatomy of the eye as follows:
- R new (i, j): R (i, j) + M (i, j, 1) - s,
- B new (U): B (i, j) + M (ij, 1) - s, where R (i, j), G (i, j) and B (i, j) are the respective colors red, green and define blue.
- M (i, j, 1) is the value of the edge operator or edge information feature matrix for the pixel (i, j).
- s is a freely adjustable scaling parameter. When controlled via a remote control, each viewer can adjust the edge enhancement for their own feelings. This method slightly emphasizes the color values of the stereo image in the edges (but not color distorted) and makes them more easily recognizable for the light / dark receptors.
- R new (i, j): R (iJ) + s * ZM, (i, j) * s "
- G new (i, j): G (ij) + s * ZM, (i, j) * s "
- the light / dark information can be displayed with additionally supplemented light / dark subpixels in the display image.
- the bright / dark subpixels can significantly improve the viewer's spatial image impression by displaying edge information.
- an autostereoscopic display could be characterized by a panel of subpixels and an upstream optical element.
- the subpixels can be both color subpixels such as RGB or CMY and bright / dark subpixels.
- the color information of the subpixels of the perspectives to be displayed can be displayed.
- the light / dark subpixels can contain, for example, grayscale image features that support the impression of the image.
- the human eye has about 1 10 million light / dark receptors and only about 6.5 million color receptors.
- edge information can be displayed via light / dark subpixels, and thus, this image information becomes taken over the much larger number of light / dark receptors. The work of the brain is relieved.
- a pseudoholographic display may e.g. contain at least 10 to 20 times as many subpixels as are present in an input image supplied as a stereo image. This greater number of subpixels makes it possible to represent a larger number of pixels per perspective out of the many perspectives that are synthesized.
- High-definition images and videos of today's generation have about 1920x1080 pixels with 5760 subpixels per line.
- a display may advantageously have at least 76,800x1080 subpixels. It is taken into account that in the autostereoscopic displays, the assignment of perspectives takes place at the subpixel level. A summary of pixels is not relevant there.
- a stereoscopic display or an autostereoscopic display can be used as the 3D display device.
- the input image may have a first perspective and a second perspective, wherein the second perspective is generated by shifting the first perspective by an amount m> 0.
- the supplied 2D image can be used as a left partial image.
- the same 2D image can be used to shift to the right by an amount m> 0.
- a disparity matrix of the following kind can be generated:
- the viewer could let the viewer choose the amount m interactively, e.g. By means of a remote control, the viewer can adjust the "pop-out” or "pop-in” effect at any time.
- the 3D display device may comprise subpixels comprising subpixels for representing a color of a predeterminable color system and light / dark subpixels for displaying feature information.
- subpixels can be advantageously designed as independent elements.
- the subpixels can have the same extent in the horizontal and vertical directions.
- the subpixels are square, whereby a higher resolution can be achieved.
- a round design of the subpixels Thus, the hitherto customary requirement that all subpixels of a pixel together form a square is dropped. Rather, each subpixel is an independent element.
- Each of these subpixels has a color of the selected color system and has the same extent in the horizontal and vertical directions. With the OLED or Nano technology, this is technically easy to implement.
- FIG. 1 shows a block diagram for illustrating the overall system according to an embodiment of the method according to the invention and the 3D display device according to the invention
- FIG. 1 is a flowchart of the overall system of FIG. 1,
- Fig. 3 is a conventional subpixel layout compared to a new one
- FIG. 5 shows the subpixel layout of FIG. 4, wherein a larger number of different perspectives are activated.
- FIG. 1 shows a block diagram for illustrating the overall system according to an exemplary embodiment of the method according to the invention and the 3D display device according to the invention.
- the exemplary embodiment according to FIG. 1 relates to a method for the visualization of three-dimensional images on an autostereoscopic display as a 3D display device, on which a plurality of perspectives, generally more than 100, from a supplied stereo image in any 3D format are interlaced on the display are displayed.
- the display consists of an optical element and an image-forming unit. The multitude of perspectives is generated in such a way that only those pixels of a perspective are generated, which also have to be displayed.
- the imaging unit of the display consists of subpixels emitting a color, eg red, green or blue.
- the autostereoscopic display is capable of receiving a 3D image or an SD image sequence in any format, such as a stereo image or a stereo image sequence. Other formats, such as stereo image including a disparity card, can also be received and processed.
- a received stereo image is first rectified, i. brought to stereo normal form or in the epipolar standard configuration. If this is already the case, then the identical figure arises here.
- the disparity map of the stereo image is calculated. It contains an assignment of the pixels of the left and right field, which are present in both received perspectives. In addition, the left and right occlusions are identified.
- any number of perspectives are synthesized. This is done so that only those subpixels are synthesized, which must be displayed on the display actually. Thus, for 100 perspectives to be displayed, only 1% of the subpixels are calculated from each perspective.
- the information about which perspective is to be displayed on which subpixel is defined in the perspective map P.
- the perspective map is defined and stored in the production of the display by a calibration process between subpixels and optical system. Adjacent subpixels are generally associated with different perspectives. The storage of different subpixels from the different perspectives in the pseudoholographic image B is referred to as mating.
- the autostereoscopic display is characterized by a panel of subpixels and an upstream optical element.
- the subpixels are color subpixels, e.g. RGB or CMY.
- RGB or CMY color subpixels
- the color information of the subpixels of the perspectives to be displayed is displayed.
- a pseudoholographic display according to FIG. 1 has at least 10 to 20 times as many subpixels as are present in the received stereo image. This greater number of subpixels makes it possible to represent a larger number of pixels per perspective out of the many perspectives that are synthesized.
- FIG. 2 shows a flowchart with the individual steps to the overall system from FIG. 1.
- FIG. 1 and FIG. 2 The steps according to FIG. 1 and FIG. 2 are described in more detail below.
- a picture sequence of stereo images is received, decoded and made available in the memory areas I, and I r by a receiving module, for example via an antenna or the Internet.
- a display with a resolution of 19,200 x 10,800 pixels can be considered high-resolution.
- a stereo HD image enlarged tenfold horizontally and vertically.
- a first step the rectification is performed.
- These methods are known from the literature.
- nine prominent points which are distributed uniformly over the image, are searched for by the SURF method.
- the coordinate of each distinctive Point is used as the center of a search block in the right field l r .
- this search block the most similar point in the right field l r is searched.
- SURF Speed up Robust Features
- Sobel Edge Detector method For calculating features, e.g. the SURF (Speed up Robust Features) or the Sobel Edge Detector method are used.
- This method is based on approximating the determinant of the Hesse matrix for each pixel.
- the procedure is as follows.
- NZ the number of rows
- NS the number of columns
- M r (/, y ' , 1): (/, j) ⁇ Dyy (, j) - 0.81 ⁇ (/, j) ⁇ (, j)
- the Sobel operator is just one of a large number of edge operators and is therefore described as an example.
- an edge operator is of particular importance, as it helps to assign more importance to edges than to smooth surfaces. Since an edge is always a regional property, this procedure within a row also allows to take into account the properties of local regions.
- the Sobel-Prewitt operator works with 3x3 matrices that detect the edges in different directions. Basically, here are horizontal, vertical, left and right diagonal edges to distinguish. For their detection, the following 3x3 matrices are used:
- each row i is assigned a row calculation unit i.
- the computational-local field edge (1) to edge (9) is filled from the right-rectified partial image R r as follows:
- ⁇ ⁇ : 2 ⁇ edge (2) + 2 ⁇ edge (5) + 2 ⁇ edge (8)
- FIG. 3 shows on the left a conventional pixel layout with the three subpixels R (red), G (green) and B (blue). With these subpixels, the three perspectives 1, 2 and 3 are operated using a lenticular lens as optical element O.
- FIG. 3 shows a new subpixel layout on the right, wherein the autonomous subpixels according to an embodiment of the 3D display device according to the invention as a autostereoscopic display a square Design have. 9 perspectives can be controlled by the optical element O with 9 subpixels.
- FIG. 4 once again shows a conventional pixel layout on the left.
- Fig. 4 right another embodiment of an SD display device according to the invention is shown as autostereoscopic display.
- a much finer and more detailed subpixel structure is created.
- 144 subpixels are generated in the subpixel layout of the embodiment.
- the subpixels R (red), G (green) and B (blue) are another subpixel W (eg white or yellow) for Presentation of light / dark information added.
- these 144 subpixels 36 perspectives are activated in the illustrated embodiment.
- FIG. 5 shows the subpixel layout of FIG. 4, wherein the 144 individual, independent subpixels are used to drive 144 perspectives.
- the procedure for an autostereoscopic display can be as follows.
- the resolution of the human eye is i.A. between 0.5 'and 1 .5'. Therefore today's displays usually have a dot pitch of 0.2 to 0.3 mm. That is, from a distance of about 1 m, the pixels of the display are no longer visible.
- the lens width of the lens grid used is in the range of 0.2 mm. That is about 125 LPI (lenses per inch).
- the lens structure is no longer recognizable from a viewing distance of about 1 m.
- the number of subpixels behind a lens is on the order of 10 subpixels per lens. That is, the dot pitch of a pseudo-holographic display is on the order of about 0.06 mm. While in conventional displays, e.g. 1920 x 1080 pixels (HD-TV), a pseudo-holographic display presented here consists of at least 19,200 x 1080 pixels.
- the lenticular may consist of lenticular lenses or hexagonal lenses, for example, which in this case have a diameter of 0.2 mm.
- lenticular lenses or hexagonal lenses for example, which in this case have a diameter of 0.2 mm.
- the human brain uses the edge information to a great extent for the generation of the inner space image. Edges give information about the front / back relationship of objects with the existing right and left covers.
- the known subpixels RGB or YMC are particularly advantageously supplemented by light / dark subpixels which indicate the edge information generated in the feature extraction phase by the edge operators.
- Homogeneous surfaces contain no edges.
- the light / dark subpixels do not represent any information in the image.
- Edges are brightened in the light / dark subpixels according to the intensity of the detected edge. As a result, the edges present in the image are highlighted and more easily recognized by the 100 million light / dark receptors.
- the brain has it so easier to create the inner space image. Patterns on homogeneous surfaces are recognized as such in the human brain due to the learning effect and do not affect the spatial impression.
- the geometric arrangement of the light / dark subpixels can be varied according to the invention.
- Fig. 3 Fig. 4 and Fig. 5, various divisions are shown.
- further features for spatial image generation can be added.
- the SURF operator is an example, but not exclusive, called the SURF operator.
- each color or light / dark subpixel is in itself a self-contained light element associated with a particular perspective and has the same extent in the horizontal and vertical directions. This is already taken into account in FIGS. 3, 4 and 5 on the right-hand side. A backward compatibility is still given, so that all 2D images and videos can be displayed easily.
- the production of such an autostereoscopic display is possible based on the OLED technology.
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
A method for visualizing three-dimensional images on a 3D display device, wherein an image to be visualized is supplied as an input image, is characterized in that at least one feature matrix is determined using the input image, the feature matrices defining light/dark information, and in that a display image for reproduction on the 3D display device is produced from the input image using said light/dark information. The invention further relates to a corresponding 3D display device.
Description
VERFAHREN ZUR VISUALISIERUNG VON DREIDIMENSIONALEN BILDERN AUF EINER 3D-ANZEIGEVORRICHTUNG UND METHOD FOR VISUALIZING THREE-DIMENSIONAL IMAGES ON A 3D DISPLAY DEVICE AND
3D-ANZEIGEVORRICHTUNG 3D DISPLAY DEVICE
Die Erfindung betrifft ein Verfahren zur Visualisierung von dreidimensionalen Bildern auf einer 3D- Anzeigevorrichtung, wobei ein zu visualisierendes Bild als ein Eingabebild zugeführt wird. Des Weiteren betrifft die Erfindung eine SD- Anzeigevorrichtung, insbesondere ein stereoskopisches oder autostereo- skopisches Display, zur Visualisierung von dreidimensionalen Bildern. The invention relates to a method for visualizing three-dimensional images on a 3D display device, wherein an image to be visualized is supplied as an input image. Furthermore, the invention relates to an SD display device, in particular a stereoscopic or autostereoscopic display, for the visualization of three-dimensional images.
Verfahren und 3D-Anzeigevorrichtungen der in Rede stehenden Art sind seit Jahren aus der Praxis bekannt. Es gibt stereoskopische Vorrichtungen, die mit Sehhilfen wie z.B. rot/blau-Brillen, Shutter- oder Polarisationsbrillen etc. das Betrachten eines dreidimensionalen Bildes ermöglichen. Methods and 3D display devices of the type in question have been known from practice for years. There are stereoscopic devices equipped with vision aids such as red / blue glasses, shutter or polarization glasses etc. allow viewing of a three-dimensional image.
Des Weiteren gibt es autostereoskopische Visualisierungssysteme, die es einem oder mehreren Betrachtern, die sich vor einem autostereoskopischen Display befinden, ermöglichen, ein dreidimensionales Bild ohne Sehhilfen betrachten zu können. Zu diesem Zweck dienen z.B. Parallaxen-Barriere-Systeme oder Lentikularlinsen-Systeme, die vor dem Display-Panel angeordnet sind. Da sich ein oder mehrere Betrachter in verschiedenen Winkeln relativ zu einer Richtung senkrecht zum Display befinden können, müssen stets mehr als zwei Perspektiven erzeugt und dem jeweiligen linken bzw. rechten Auge zugeführt werden, um in allen Positionen der Betrachter einen möglichst natürlichen dreidimensionalen Bildeindruck für den jeweiligen Betrachter zu ermöglichen. Diese Systeme werden auch als Mehr-Betrachter-Systeme oder Multiview- Systeme bezeichnet. Furthermore, there are autostereoscopic visualization systems that allow one or more viewers, who are in front of an autostereoscopic display, to view a three-dimensional image without visual aids. For this purpose, e.g. Parallax barrier systems or lenticular lens systems positioned in front of the display panel. Since one or more observers may be at different angles relative to a direction perpendicular to the display, more than two perspectives must always be generated and fed to the respective left and right eyes in order to provide as natural a three-dimensional image impression as possible for the viewer allow respective viewer. These systems are also referred to as multi-viewer systems or multiview systems.
Bei den bekannten 3D-Anzeigevorrichtungen ist jedoch problematisch, dass die Qualität der Bildwiedergabe für den Betrachter bisher nicht zufriedenstellend ist. In the known 3D display devices, however, is problematic that the quality of the image reproduction for the viewer is not satisfactory.
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zur Visualisierung von dreidimensionalen Bildern auf einer 3D-Anzeigevorrichtung der eingangs genannten Art derart auszugestalten und weiterzubilden, dass die The present invention is therefore based on the object, a method for the visualization of three-dimensional images on a 3D display device of the type mentioned in such a way and further, that the
BESTÄTIGUNGSKOPIE
Visualisierung von dreidimensionalen Bildern mit einfachen konstruktiven Mitteln verbessert ist. Des Weiteren ist eine entsprechende 3D-Anzeigevorrichtung anzugeben. CONFIRMATION COPY Visualization of three-dimensional images is improved with simple constructive means. Furthermore, a corresponding 3D display device is to be specified.
Erfindungsgemäß ist die voranstehende Aufgabe durch die Merkmale des Patentanspruchs 1 gelöst. Danach ist das in Rede stehende Verfahren zur Visualisierung von dreidimensionalen Bildern auf einer 3D-Anzeigevorrichtung dadurch gekennzeichnet, dass unter Verwendung des Eingabebilds mindestens eine Merkmalsmatrix bestimmt wird, wobei die Merkmalsmatrizen Hell/Dunkel- Informationen definieren, und dass aus dem Eingabebild unter Verwendung der Hell/Dunkel-Informationen ein Anzeigebild zur Wiedergabe auf der SD- Anzeigevorrichtung erzeugt wird. According to the invention the above object is solved by the features of claim 1. Thereafter, the present method for visualizing three-dimensional images on a 3D display device is characterized in that using the input image at least one feature matrix is determined, wherein the feature matrices define light / dark information, and that from the input image using the Hell / Dark information, a display image for reproduction is generated on the SD display device.
Des Weiteren ist die voranstehende Aufgabe durch die Merkmale des Patentanspruchs 17 gelöst. Danach ist die in Rede stehende SD- Anzeigevorrichtung, insbesondere ein stereoskopisches oder autostereo- skopisches Display, zur Visualisierung von dreidimensionalen Bildern, dadurch gekennzeichnet, dass die 3D-Anzeigevorrichtung Mittel aufweist, die unter Verwendung eines zugeführten Eingabebilds mindestens eine Merkmalsmatrix bestimmen, wobei die Merkmalsmatrizen Hell/Dunkel-Informationen definieren, und dass die Mittel aus dem Eingabebild unter Verwendung der Hell/Dunkel- Informationen ein Anzeigebild zur Wiedergabe auf der 3D-Anzeigevorrichtung erzeugen. Furthermore, the above object is solved by the features of claim 17. Accordingly, the SD display device in question, in particular a stereoscopic or autostereoscopic display, for the visualization of three-dimensional images, is characterized in that the 3D display device has means which determine at least one feature matrix using an input image supplied, wherein the feature matrices Define bright / dark information, and that the means from the input image using the light / dark information to generate a display image for playback on the 3D display device.
In erfindungsgemäßer Weise ist zunächst einmal erkannt worden, dass es für die Visualisierung von dreidimensionalen Bildern von ganz erheblichem Vorteil ist, wenn man berücksichtigt, dass das menschliche Auge ein Vielfaches mehr an Hell/Dunkel-Rezeptoren als an Farbrezeptoren besitzt. In weiter erfindungsgemäßer Weise ist erkannt worden, dass es von besonderem Vorteil ist, wenn man das Verfahren bzw. die 3D-Anzeigevorrichtung an die Anatomie des Auges und die nachgeschaltete Informationsanzeige anpasst. Im Konkreten wird unter Verwendung des Eingabebildes mindestens eine Merkmalsmatrix bestimmt, wobei die Merkmalsmatrix bzw. die Merkmalsmatrizen Hell/Dunkel-Informationen definieren. Unter Verwendung der Hell/Dunkel-Informationen wird aus dem
Eingabebild ein Anzeigebild zur Wiedergabe auf der 3D-Anzeigevorrichtung erzeugt. Folglich ist mit einfachen konstruktiven Mitteln die Visualisierung von dreidimensionalen Bildern verbessert. In accordance with the invention, it has first been recognized that it is of considerable advantage for the visualization of three-dimensional images when one considers that the human eye possesses many times more light / dark receptors than color receptors. In a further inventive manner has been recognized that it is particularly advantageous if one adapts the method or the 3D display device to the anatomy of the eye and the downstream information display. Specifically, at least one feature matrix is determined using the input image, with the feature matrix or feature matrices defining light / dark information. Using the light / dark information is extracted from the Input image generates a display image for playback on the 3D display device. Consequently, the visualization of three-dimensional images is improved with simple constructive means.
In vorteilhafter Weise kann das Eingabebild zwei Perspektiven - Teilbilder - umfassen, die einem linken und einem rechten Teilbild entsprechen. Advantageously, the input image may comprise two perspectives - partial images - which correspond to a left and a right partial image.
Hinsichtlich einer einfachen Verarbeitung/Bearbeitung können die Teilbilder rektifiziert werden, d.h. auf Stereo-Normalform gebracht werden. For ease of processing / editing, the sub-images may be rectified, i. be brought to stereo normal form.
In vorteilhafter Weise können zur Erzeugung einer Merkmalsmatrix mittels einer Merkmalsextraktion Merkmale aus dem Eingabebild bzw. den Teilbildern extrahiert werden. Advantageously, to generate a feature matrix by means of feature extraction, features can be extracted from the input image (s).
Dabei können die Merkmale lokale Eigenschaften beschreiben. Zum Beispiel können als lokale Eigenschaften Formen, Texturen und/oder Kanten berücksichtigt werden. The features can describe local properties. For example, shapes, textures and / or edges can be considered as local properties.
In einer vorteilhaften Ausgestaltung kann zur Merkmalsextraktion eine Sobel- Merkmalsextraktion verwendet werden. In an advantageous embodiment, a feature extraction Sobel feature extraction can be used.
In besonders vorteilhaftere Weise umfasst eine Merkmalsmatrix Kanteninformationen. Das menschliche Gehirn verwendet zu einem wesentlichen Teil Kanten an Objekten dazu, um im Gehirn das dreidimensionale Raumbild aufzubauen. Folglich werden durch die Kanteninformationen die Arbeit des Gehirns des Betrachters erheblich erleichtert und die Anpassung an die Anatomie des Auges und die nachgeschaltete Informationsverarbeitung im Gehirn verbessert. In a particularly advantageous manner, a feature matrix comprises edge information. The human brain essentially uses edges on objects to build up the three-dimensional space image in the brain. Consequently, the edge information greatly facilitates the work of the observer's brain and improves the adaptation to the anatomy of the eye and the downstream information processing in the brain.
In einer weiter vorteilhaften Ausgestaltung kann zur Merkmalsextraktion eine Speed up Robust Features (SURF) Merkmalsextraktion verwendet werden. Hinsichtlich weiterer Details in Bezug auf das SURF Verfahren sei auf H. Bay, T. Tuytelaars and L. V. Gool, "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding, 110(3), 2008, pp. 346-359 verwiesen.
In vorteilhafter Weise kann eine Merkmalsmatrix Informationen über markante Bildpunkte umfassen. In a further advantageous embodiment, feature extraction can be carried out using a Speed up Robust Features (SURF) feature extraction. For further details regarding the SURF process, see H. Bay, T. Tuytelaars and LV Gool, "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding, 110 (3), 2008, pp. 346-359. Advantageously, a feature matrix may include information about prominent pixels.
In weiter vorteilhafter Weise kann durch eine Merkmalsmatrix einem Pixel einer Perspektive des Eingabebildes als Hell/Dunkel-Information ein Merkmalswert zugeordnet werden. Folglich können jedem Pixel einer Perspektive des Eingabebildes als Hell/Dunkel-Informationen Merkmalswerte zugeordnet werden. In a further advantageous manner, a characteristic value can be assigned to a pixel of a perspective of the input image as light / dark information by a feature matrix. Consequently, feature values can be assigned to each pixel of a perspective of the input image as light / dark information.
In einer vorteilhaften Ausgestaltung kann der Merkmalswert auf die Subpixel des zugehörigen Pixels im Anzeigebild addiert und/oder multipliziert werden. In an advantageous embodiment, the feature value can be added to the subpixels of the associated pixel in the display image and / or multiplied.
In vorteilhafterweise kann der Merkmalswert mit einem Skalierungsfaktor gewichtet werden. Zudem kann der Skalierungsfaktor durch eine Kontrolleinheit interaktiv, vorzugsweise mit einer Fernbedienung, veränderbar sein. Advantageously, the feature value can be weighted with a scaling factor. In addition, the scaling factor can be changed interactively by a control unit, preferably with a remote control.
Es können bei einer Anzeigevorrichtung mit RGB-Subpixeln die Merkmale eines verwendeten Kanten-Operators zur Hervorhebung der Kanten in den RGB- Subpixeln verwendet werden. Ein Pixel, z.B. bestehend aus den RGB-Subpixeln, kann wie folgt an die Anatomie des Auges angepasst werden: In a display device with RGB subpixels, the features of an edge operator used to emphasize the edges in the RGB subpixels can be used. A pixel, e.g. consisting of the RGB subpixels, can be adapted to the anatomy of the eye as follows:
Rneu(i,j) := R(i,j) + M(i,j,1 ) - s, R new (i, j): = R (i, j) + M (i, j, 1) - s,
Gneu(«J) := G(i,j) + M(i,j,1 ) . s, G new ("J): = G (i, j) + M (i, j, 1). s
Bneu(U) := B(i,j) + M(ij,1 ) - s, wobei R(i,j), G(i,j) und B(i,j) die jeweiligen Farben rot, grün und blau definieren. M(i,j,1) ist der Wert des Kanten-Operators bzw. der Merkmalsmatrix mit Kanteninformationen für den Pixel (i,j). s ist ein frei einzustellender Skalierungsparameter. Wenn er über eine Fernbedienung gesteuert wird, so kann sich jeder Betrachter die Kantenhervorhebung für sein Empfinden individuell einstellen.
Durch dieses Verfahren werden die Farbwerte des Stereobildes in den Kanten leicht hervorgehoben (aber nicht farbverfälscht) und für die Hell/Dunkel- Rezeptoren leichter erkennbar. B new (U): = B (i, j) + M (ij, 1) - s, where R (i, j), G (i, j) and B (i, j) are the respective colors red, green and define blue. M (i, j, 1) is the value of the edge operator or edge information feature matrix for the pixel (i, j). s is a freely adjustable scaling parameter. When controlled via a remote control, each viewer can adjust the edge enhancement for their own feelings. This method slightly emphasizes the color values of the stereo image in the edges (but not color distorted) and makes them more easily recognizable for the light / dark receptors.
Dabei können mehrere Merkmale wie folgt integriert werden: Several features can be integrated as follows:
Rneu(i,j) := R(iJ) + s · ZM,(i,j) · s„ R new (i, j): = R (iJ) + s * ZM, (i, j) * s "
Gneu(i,j) := G(ij) + s · ZM,(i,j) · s„ G new (i, j): = G (ij) + s * ZM, (i, j) * s "
Bneu(i,j) := B(i,j) + s · M,(i,j) · s„ mit den Merkmalsvektoren M(i,j) := (M(i,j,1 ),..., M(i,j,K)), wobei K die Anzahl der unterschiedlichen extrahierten Merkmale ist, und dem Wichtungsvektor B new (i, j): = B (i, j) + s · M, (i, j) · s "with the feature vectors M (i, j): = (M (i, j, 1) ,. .., M (i, j, K)), where K is the number of different extracted features, and the weighting vector
S:= (s,,..., sK) für jeden Pixel (i,j). Eine solche optische Aufwertung kann natürlich auch multiplikativ erfolgen. S: = (s ,, ..., s K ) for each pixel (i, j). Of course, such an optical enhancement can also be multiplicative.
Des Weiteren können in einer besonders vorteilhaften Ausgestaltung die Hell/Dunkel-Informationen mit zusätzlich ergänzten Hell/Dunkel-Subpixeln im Anzeigebild dargestellt werden. Die Hell/Dunkel-Subpixel können den Raumbildeindruck des Betrachters durch Anzeigen von Kanteninformationen erheblich verbessern. Furthermore, in a particularly advantageous embodiment, the light / dark information can be displayed with additionally supplemented light / dark subpixels in the display image. The bright / dark subpixels can significantly improve the viewer's spatial image impression by displaying edge information.
Beispielsweise könnte als 3D-Anzeigevorrichtung ein autostereoskopisches Display charakterisiert sein durch ein Panel von Subpixeln und einem vorgeschalteten optischen Element. Die Subpixel können sowohl Farbsubpixel wie z.B. RGB oder CMY als auch Hell/Dunkel-Subpixel sein. In den Farbsubpixeln kann die Farbinformation der Subpixel der darzustellenden Perspektiven angezeigt werden. Die Hell/Dunkel-Subpixel können z.B. als Grauwerte den SD- Eindruck unterstützende Bildmerkmale enthalten. So wird berücksichtigt, dass das menschliche Auge ca. 1 10 Mio. Hell/Dunkel-Rezeptoren und nur ca. 6.5 Mio. Farbrezeptoren besitzt. Da außerdem das menschliche Gehirn zu einem wesentlichen Teil Kanten an Objekten dazu verwendet, um im Gehirn das dreidimensionale Raumbild aufzubauen, können über Hell/Dunkel-Subpixel Kanteninformationen angezeigt werden, und somit werden diese Bildinformationen
über die viel größere Anzahl der Hell/Dunkel-Rezeptoren aufgenommen. Die Arbeit des Gehirns wird erleichtert. For example, as a 3D display device, an autostereoscopic display could be characterized by a panel of subpixels and an upstream optical element. The subpixels can be both color subpixels such as RGB or CMY and bright / dark subpixels. In the color subpixels, the color information of the subpixels of the perspectives to be displayed can be displayed. The light / dark subpixels can contain, for example, grayscale image features that support the impression of the image. Thus, it is considered that the human eye has about 1 10 million light / dark receptors and only about 6.5 million color receptors. In addition, since the human brain uses a substantial amount of edges on objects to construct the three-dimensional space image in the brain, edge information can be displayed via light / dark subpixels, and thus, this image information becomes taken over the much larger number of light / dark receptors. The work of the brain is relieved.
Zur Verbesserung der Qualität des Anzeigebildes kann zusätzlich die Anzahl der angezeigten Subpixel wesentlich erhöht werden. Ein pseudoholographisches Display kann z.B. mindestens 10 bis 20 mal so viele Subpixel enthalten wie in einem als Stereobild zugeführten Eingabebild vorhanden sind. Diese größere Anzahl der Subpixel ermöglicht es, aus den vielen Perspektiven, die synthetisiert werden, eine größere Anzahl von Pixeln pro Perspektive darzustellen. High- Definition-Bilder und -Videos der heutigen Generation besitzen etwa 1920x1080 Pixel mit 5760 Subpixel pro Zeile. Bei einer Verzehnfachung und unter Berücksichtigung derjenigen Subpixel, welche Merkmalsinformationen anzeigen, kann ein Display in vorteilhafter Weise mindestens 76.800x1080 Subpixel besitzen. Dabei wird berücksichtigt, dass bei den autostereoskopischen Displays die Zuordnung der Perspektiven auf Subpixel-Ebene erfolgt. Eine Zusammenfassung zu Pixeln ist dort nicht relevant. In addition, to improve the quality of the display image, the number of displayed subpixels can be significantly increased. A pseudoholographic display may e.g. contain at least 10 to 20 times as many subpixels as are present in an input image supplied as a stereo image. This greater number of subpixels makes it possible to represent a larger number of pixels per perspective out of the many perspectives that are synthesized. High-definition images and videos of today's generation have about 1920x1080 pixels with 5760 subpixels per line. At a tenfold, and taking into account those subpixels indicating feature information, a display may advantageously have at least 76,800x1080 subpixels. It is taken into account that in the autostereoscopic displays, the assignment of perspectives takes place at the subpixel level. A summary of pixels is not relevant there.
In einer konkreten vorteilhaften Ausgestaltung kann als 3D-Anzeigevorrichtung ein stereoskopisches Display oder ein autostereoskopisches Display verwendet werden. In a specific advantageous embodiment, a stereoscopic display or an autostereoscopic display can be used as the 3D display device.
In einer weiteren vorteilhaften Ausgestaltung kann das Eingabebild eine erste Perspektive und eine zweite Perspektive aufweisen, wobei die zweite Perspektive durch Verschiebung der ersten Perspektive um einen Betrag m > 0 erzeugt wird. So kann in einem ersten Schritt das zugeführte 2D-Bild als linkes Teilbild verwendet werden. Als rechtes Teilbild kann das gleiche 2D-Bild jedoch um einen Betrag m > 0 nach rechts verschoben verwendet werden. Zudem kann eine Disparitätsmatrix der folgenden Art erzeugt werden: In a further advantageous embodiment, the input image may have a first perspective and a second perspective, wherein the second perspective is generated by shifting the first perspective by an amount m> 0. Thus, in a first step, the supplied 2D image can be used as a left partial image. However, as a right-hand sub-image, the same 2D image can be used to shift to the right by an amount m> 0. In addition, a disparity matrix of the following kind can be generated:
D2D' : = { m l i = 1 NZ ; j = 1 NS }, wobei NZ die Anzahl der Zeilen und NS die Anzahl der Spalten ist.
Dadurch haben alle Betrachter den Eindruck, das 2D-Bild (welches noch als solches empfunden wird) schwebt in einem gewissen Abstand vor dem Display. D 2D ': = {mli = 1 NZ; j = 1 NS}, where NZ is the number of rows and NS is the number of columns. As a result, all viewers have the impression that the 2D image (which is still perceived as such) floats in front of the display at a certain distance.
Würde das 2D-Bild um einen gewissen Betrag m < 0 nach links verschoben, so haben die Betrachter den Eindruck, das Bild wird ins Display nach innen verschoben. If the 2D image were shifted to the left by a certain amount m <0, then the viewers would have the impression that the image is shifted inwards into the display.
Des Weiteren könnte man den Betrachter den Betrag m interaktiv wählen lassen, z.B. mittels einer Fernbedienung, so kann der Betrachter sich den„Pop-out"- oder „Pop-in"-Effekt jederzeit selbst einstellen. Furthermore, one could let the viewer choose the amount m interactively, e.g. By means of a remote control, the viewer can adjust the "pop-out" or "pop-in" effect at any time.
In vorteilhafter Weise kann die 3D-Anzeigevorrichtung Subpixel aufweisen, die Subpixel zur Darstellung einer Farbe eines vorgebbaren Farbsystems und Hell/Dunkel-Subpixel zur Darstellung von Merkmalsinformationen umfassen. Advantageously, the 3D display device may comprise subpixels comprising subpixels for representing a color of a predeterminable color system and light / dark subpixels for displaying feature information.
Des Weiteren können die Subpixel in vorteilhafter Weise als eigenständige Elemente ausgebildet sein. Furthermore, the subpixels can be advantageously designed as independent elements.
In vorteilhafter Weise können die Subpixel in horizontaler und vertikaler Richtung die gleiche Ausdehnung aufweisen. In besonders vorteilhafter Weise sind die Subpixel quadratisch ausgebildet, wodurch eine höhere Auflösung erzielt werden kann. Denkbar ist auch eine runde Ausgestaltung der Subpixel. So wird die bisher übliche Anforderung, dass alle Subpixel eines Pixels zusammen ein Quadrat bilden, fallen gelassen. Vielmehr ist jeder Subpixel ein eigenständiges Element. Jeder dieser Subpixel besitzt eine Farbe des gewählten Farbsystems und besitzt in horizontaler und vertikaler Richtung die gleiche Ausdehnung. Mit der OLED- oder Nano-Technologie ist dies technisch problemlos realisierbar. Advantageously, the subpixels can have the same extent in the horizontal and vertical directions. In a particularly advantageous manner, the subpixels are square, whereby a higher resolution can be achieved. Also conceivable is a round design of the subpixels. Thus, the hitherto customary requirement that all subpixels of a pixel together form a square is dropped. Rather, each subpixel is an independent element. Each of these subpixels has a color of the selected color system and has the same extent in the horizontal and vertical directions. With the OLED or Nano technology, this is technically easy to implement.
Es gibt nun verschiedene Möglichkeiten, die Lehre der vorliegenden Erfindung in vorteilhafter Weise auszugestalten und weiterzubilden. Dazu ist einerseits auf die den Patentansprüchen 1 und 17 nachgeordneten Ansprüche und andererseits auf die nachfolgende Erläuterung eines bevorzugten Ausführungsbeispiels der Erfindung anhand der Zeichnung zu verweisen. In Verbindung mit der Erläuterung des bevorzugten Ausführungsbeispiels der Erfindung anhand der Zeichnung
werden auch im Allgemeinen bevorzugte Ausgestaltungen und Weiterbildungen der Lehre erläutert. In der Zeichnung zeigen There are now various possibilities for designing and developing the teaching of the present invention in an advantageous manner. For this purpose, on the one hand to the claims 1 and 17 subordinate claims and on the other hand to refer to the following explanation of a preferred embodiment of the invention with reference to the drawing. In conjunction with the explanation of the preferred embodiment of the invention with reference to the drawing Also generally preferred embodiments and developments of the teaching are explained. In the drawing show
Fig. 1 ein Blockdiagramm zur Darstellung des Gesamtsystems gemäß einem Ausführungsbeispiel des erfindungsgemäßen Verfahrens und der erfindungsgemäßen 3D-Anzeigevorrichtung, 1 shows a block diagram for illustrating the overall system according to an embodiment of the method according to the invention and the 3D display device according to the invention,
Fig. 2 ein Flussdiagramm zu dem Gesamtsystem aus Fig. 1 , 2 is a flowchart of the overall system of FIG. 1,
Fig. 3 ein herkömmliches Subpixel-Layout im Vergleich zu einem neuen Fig. 3 is a conventional subpixel layout compared to a new one
Subpixel-Layout gemäß einem Ausführungsbeispiel einer erfindungsgemäßen 3D-Anzeigevorrichtung, Subpixel layout according to an embodiment of a 3D display device according to the invention,
Fig. 4 ein herkömmliches Subpixel-Layout im Vergleich zu einem neuen 4 shows a conventional subpixel layout compared to a new one
Subpixel-Layout gemäß einem weiteren Ausführungsbeispiel einer erfindungsgemäßen 3D-Anzeigevorrichtung und Subpixel layout according to another embodiment of a 3D display device according to the invention and
Fig. 5 das Subpixel-Layout aus Fig. 4, wobei eine größere Anzahl von unterschiedlichen Perspektiven angesteuert wird. FIG. 5 shows the subpixel layout of FIG. 4, wherein a larger number of different perspectives are activated.
Fig. 1 zeigt ein Blockdiagramm zur Darstellung des Gesamtsystems gemäß einem Ausführungsbeispiel des erfindungsgemäßen Verfahrens und der erfindungsgemäßen 3D-Anzeigevorrichtung. Das Ausführungsbeispiel gemäß Fig. 1 betrifft ein Verfahren zur Visualisierung von dreidimensionalen Bildern auf einem autostereoskopischen Display als 3D-Anzeigevorrichtung, auf welchem aus einem zugeführten Stereobild in einem beliebigen 3D-Format eine Vielzahl von Perspektiven, im allgemeinen mehr als 100, verkämmt auf dem Display angezeigt werden. Das Display besteht aus einem optischen Element und einer bilderzeugenden Einheit. Die Vielzahl von Perspektiven wird in der Weise erzeugt, dass immer nur diejenigen Pixel einer Perspektive erzeugt werden, welche auch angezeigt werden müssen. Die bilderzeugende Einheit des Displays besteht aus Subpixeln, welche eine Farbe, z.B. Rot, Grün oder Blau, abstrahlen.
Das autostereoskopische Display ist in der Lage ein 3D-Bild oder eine SD- Bildfolge in jedem Format, wie z.B. einem Stereobild oder einer Stereobildfolge, zu empfangen. Andere Formate, wie z.B. Stereobild inklusive einer Disparitätskarte, können ebenso empfangen und verarbeitet werden. 1 shows a block diagram for illustrating the overall system according to an exemplary embodiment of the method according to the invention and the 3D display device according to the invention. The exemplary embodiment according to FIG. 1 relates to a method for the visualization of three-dimensional images on an autostereoscopic display as a 3D display device, on which a plurality of perspectives, generally more than 100, from a supplied stereo image in any 3D format are interlaced on the display are displayed. The display consists of an optical element and an image-forming unit. The multitude of perspectives is generated in such a way that only those pixels of a perspective are generated, which also have to be displayed. The imaging unit of the display consists of subpixels emitting a color, eg red, green or blue. The autostereoscopic display is capable of receiving a 3D image or an SD image sequence in any format, such as a stereo image or a stereo image sequence. Other formats, such as stereo image including a disparity card, can also be received and processed.
Ein empfangenes Stereobild wird zunächst rektifiziert, d.h. auf Stereo-Normalform bzw. in die epipolare Standardkonfiguration gebracht. Ist dies schon der Fall, so ergibt sich hier die identische Abbildung. A received stereo image is first rectified, i. brought to stereo normal form or in the epipolar standard configuration. If this is already the case, then the identical figure arises here.
Anschließend werden gemäß Fig. 1 in den beiden Bildern R, und Rr verschiedene Merkmale wie z.B. Kanten oder markante Bildpunkte (SURF) identifiziert. Verschiedene Merkmale können hier extrahiert werden. Eine besondere Einschränkung ist nicht gegeben. Diese Merkmale werden sowohl für die Berechnung der Disparitätskarte, falls dies erforderlich ist, als auch für die Visualisierung in bestimmten zusätzlichen Subpixeln verwendet. Subsequently, according to FIG. 1, various features such as edges or prominent pixels (SURF) are identified in the two images R 1 and R r . Various features can be extracted here. A special restriction is not given. These features are used both for calculating the disparity map, if required, and for visualization in certain additional subpixels.
Wurde die Disparitätskarte bereits mit dem Eingabebild empfangen, so wird der nächste Schritt übersprungen. Ansonsten wird die Disparitätskarte des Stereobildes berechnet. Sie enthält eine Zuordnung der Pixel vom linken und rechten Teilbild, die in beiden empfangenen Perspektiven vorhanden sind. Außerdem werden die Links- und Rechtsverdeckungen identifiziert. If the disparity card has already been received with the input image, the next step is skipped. Otherwise, the disparity map of the stereo image is calculated. It contains an assignment of the pixels of the left and right field, which are present in both received perspectives. In addition, the left and right occlusions are identified.
Mittels der Disparitätskarte D des empfangenen Stereobildes und der Merkmale werden sodann beliebig viele Perspektiven synthetisiert. Dabei wird so vorgegangen, dass immer nur diejenigen Subpixel synthetisiert werden, die auf dem Display auch tatsächlich angezeigt werden müssen. Folglich werden bei 100 anzuzeigenden Perspektiven aus jeder Perspektive nur 1 % der Subpixel berechnet. By means of the disparity map D of the received stereo image and the features then any number of perspectives are synthesized. This is done so that only those subpixels are synthesized, which must be displayed on the display actually. Thus, for 100 perspectives to be displayed, only 1% of the subpixels are calculated from each perspective.
Die Information, welche Perspektive auf welchem Subpixel angezeigt werden soll, ist in der Perspektivenkarte P festgelegt. Die Perspektivenkarte wird bei der Produktion des Displays durch einen Kalibrierungsprozess zwischen Subpixeln und optischem System festgelegt und abgespeichert. Benachbarte Subpixel sind im Allgemeinen unterschiedlichen Perspektiven zugeordnet. Die Speicherung der
verschiedenen Subpixel aus den unterschiedlichen Perspektiven im pseudoholographischen Bild B wird als Verkämmung bezeichnet. The information about which perspective is to be displayed on which subpixel is defined in the perspective map P. The perspective map is defined and stored in the production of the display by a calibration process between subpixels and optical system. Adjacent subpixels are generally associated with different perspectives. The storage of different subpixels from the different perspectives in the pseudoholographic image B is referred to as mating.
Das autostereoskopische Display ist charakterisiert durch ein Panel von Subpixeln und einem vorgeschalteten optischen Element. Die Subpixel sind Farbsubpixel wie z.B. RGB oder CMY. In den Farbsubpixeln wird die Farbinformation der Subpixel der darzustellenden Perspektiven angezeigt. The autostereoscopic display is characterized by a panel of subpixels and an upstream optical element. The subpixels are color subpixels, e.g. RGB or CMY. In the color subpixels, the color information of the subpixels of the perspectives to be displayed is displayed.
Zur Verbesserung der Qualität des Bildes B wird zusätzlich die Anzahl der angezeigten Subpixel wesentlich erhöht. Ein pseudoholographisches Display gemäß Fig. 1 besitzt mindestens 10 bis 20 mal so viele Subpixel wie im empfangenen Stereobild vorhanden sind. Diese größere Anzahl der Subpixel ermöglicht es, aus den vielen Perspektiven, die synthetisiert werden, eine größere Anzahl von Pixeln pro Perspektive darzustellen. In addition, to improve the quality of the image B, the number of displayed subpixels is substantially increased. A pseudoholographic display according to FIG. 1 has at least 10 to 20 times as many subpixels as are present in the received stereo image. This greater number of subpixels makes it possible to represent a larger number of pixels per perspective out of the many perspectives that are synthesized.
Fig. 2 zeigt ein Flussdiagramm mit den einzelnen Schritten zu dem Gesamtsystem aus Fig. 1. FIG. 2 shows a flowchart with the individual steps to the overall system from FIG. 1.
Im Folgenden werden die Schritte gemäß Fig. 1 und Fig. 2 näher beschrieben. Im Rahmen des Ausführungsbeispiels wird davon ausgegangen, dass durch ein Empfangsmodul z.B. über eine Antenne oder das Internet eine Bildfolge von Stereobildern empfangen, dekodiert und in den Speicherbereichen I, und lr zur Verfügung gestellt wird. The steps according to FIG. 1 and FIG. 2 are described in more detail below. In the context of the exemplary embodiment, it is assumed that a picture sequence of stereo images is received, decoded and made available in the memory areas I, and I r by a receiving module, for example via an antenna or the Internet.
Nach dem Empfang wird das Stereobild auf die Auflösung des angeschlossenen pseudoholographischen Displays vergrößert bzw. verkleinert. Ein Display der Auflösung 19.200 x 10.800 Pixel kann als hochauflösend angenommen werden. In diesem Fall wird z.B. ein Stereo-HD-Bild zehnfach horizontal und vertikal vergrößert. After receiving the stereo image is enlarged or reduced to the resolution of the connected pseudo-holographic display. A display with a resolution of 19,200 x 10,800 pixels can be considered high-resolution. In this case, e.g. a stereo HD image enlarged tenfold horizontally and vertically.
In einem ersten Schritt wird die Rektifizierung durchgeführt. Diese Verfahren sind aus der Literatur bekannt. Im Ausführungsbeispiel gemäß Fig. 1 und Fig. 2 werden im linken Teilbild I, neun markante Punkte, die gleichmäßig über das Bild verteilt sind, nach dem SURF- Verfahren gesucht. Die Koordinate eines jeden markanten
Punktes wird als Mittelpunkt eines Suchblockes im rechten Teilbild lr verwendet. In diesem Suchblock wird der ähnlichste Punkt im rechten Teilbild lr gesucht. Mittels der Disparitäten der neun markanten Punkte wird eine lineare Transformationsmatrix definiert, mit welcher jedes der Teilbilder I, und lr nach R, und Rr rektifiziert wird: In a first step, the rectification is performed. These methods are known from the literature. In the exemplary embodiment according to FIGS. 1 and 2, in the left partial image I, nine prominent points, which are distributed uniformly over the image, are searched for by the SURF method. The coordinate of each distinctive Point is used as the center of a search block in the right field l r . In this search block, the most similar point in the right field l r is searched. By means of the disparities of the nine distinctive points is defined a linear transformation matrix, with which each of the partial images I, and l r to R, and R r rectified:
/, -> R, und \, -> Rr /, -> R, and \, -> R r
Damit ist die Rektifizierung durchgeführt, sodass nun die Epipolaren parallel zu den Zeilen des Bildes laufen und alle späteren Operationen zeilenweise durchgeführt werden können. With this, the rectification is carried out, so that now the epipolars can run parallel to the lines of the image and all subsequent operations can be performed line by line.
Zur Berechnung von Merkmalen können z.B. das SURF (Speed up Robust Features) oder das Sobel-Edge-Detector Verfahren angewendet werden. For calculating features, e.g. the SURF (Speed up Robust Features) or the Sobel Edge Detector method are used.
SURF-Merkmalsextraktion: SURF feature extraction:
Dieses Verfahren beruht darauf, dass für jeden Pixel die Determinante der Hesse- Matrix approximiert wird. Dabei wird wie folgt vorgegangen. This method is based on approximating the determinant of the Hesse matrix for each pixel. The procedure is as follows.
In einer Matrix Isum, welche jeweils für das linke und rechte rektifizierte Teilbild erstellt wird, werden für jeden Pixel die Teilsummen der Grauwerte des unteren Bildbereiches gespeichert: süm(/,y') := ^ X /(/■ ,;' ) In a matrix Isum, which is created for the left and right rectified partial image, the partial sums of the gray values of the lower image area are stored for each pixel: süm (/, y ' ): = ^ X / (/ ■,; ' )
/,=o y,=o /, = o y, = o
mit i :=1 ,...NZ und j :=1 ,...NS, wobei NZ die Anzahl der Zeilen und NS die Anzahl der Spalten ist. with i: = 1, ... NZ and j: = 1, ... NS, where NZ is the number of rows and NS is the number of columns.
In der Berechnung wird so vorgegangen, dass zunächst jeder Zeile i eine Zeilenrecheneinheit i zugeordnet wird, welche die Teilsumme rekursiv berechnet:
Isum, (y) := Isum, (y - i)+ Rr (/', y) In the calculation, the procedure is such that first of all each row i is assigned a row calculation unit i which calculates the partial sum recursively: Isum, (y): = Isum, (y - i) + R r (/ ' , y)
für i := 1 ....NZ und j := 1 ,..NS und in Isum abspeichert. Danach wird jeder Spalte j eine Recheneinheit j zugeordnet, welche die Spaltensumme rekursiv berechnet: lsum(i, j) := lsum(j - 1, j) + lsumt (y) for i: = 1 .... NZ and j: = 1, .. NS and stored in Isum. Thereafter, each column j is assigned a computation unit j, which computes the column sum recursively: lsum (i, j): = lsum (j-1, j) + lsum t (y)
für i := 1 ....NZ und j := 1 ...NS. for i: = 1 .... NZ and j: = 1 ... NS.
Die so berechnete Matrix enthält nun für jedes Teilbild links und rechts die gewünschten Teilsummen. Nun wird jeder Zeile i wieder eine Recheneinheit iThe matrix thus calculated now contains the desired partial sums for each field left and right. Now each line i is again a computing unit i
(=Zeilenrecheneinheit i) zugeordnet, welche zunächst die folgenden Zwischenwerte berechnet: (= Row calculation unit i), which first calculates the following intermediate values:
Dxx ('· y) := lsum(i - 4, j - 5) - lsum(i + 2 - 5) D xx ('· y) : = lsum (i - 4, j - 5) - lsum (i + 2 - 5)
+ lsum(i + 2, j ' + 4) - lsum(i - 4, j ' + 4) + lsum (i + 2, j ' + 4) - lsum (i - 4, j ' + 4)
- 3 · lsum(i + 2, j + 1) + 3 · lsum(i + 2 - 2) - lsum (i + 2, j + 1) + 3 · lsum (i + 2 - 2)
+ 3 · lsum(i - 4, j ' + 1) - 3 · lsum(i - 4, j - 2) + 3 · lsum (i - 4, j ' + 1) - 3 · lsum (i - 4, j - 2)
Dyy (i> y) := lsum(i + 4, y + 2) - lsum(i + 4, j - 3) D yy (i > y) : = isum (i + 4, y + 2) - isum (i + 4, j - 3)
+ lsum(i - 5, j + 2} + lsum(i - 5, j - 3) + lsum (i - 5, j + 2} + lsum (i - 5, j - 3)
- 3 · lsum(i + 1, y ' + 2) + 3 · lsum(i + 1, j - 3) - lsum (i + 1, y ' + 2) + 3 · lsum (i + 1, j - 3)
+ 3 · lsum(i - 2, y + 2) - 3 · lsum(i - 2, j - 3) + 3 · lsum (i - 2, y + 2) - 3 · lsum (i - 2, j - 3)
DRO (/', y) := lsum(i + 3, j + 3) - lsum(i + 3, y) D RO (/ ' , y): = lsum (i + 3, j + 3) - lsum (i + 3, y)
- Isum(i, y + 3) + lsum(i, j) - Isum (i, y + 3) + lsum (i, j)
DLO (/', y) := lsum(i + 3, j - 1) - lsum(i + 3, y - 4) D LO (/ ' , y): = isum (i + 3, j - 1) - isum (i + 3, y - 4)
- Isum(i, lsum(i, j - 4) - Isum (i, lsum (i, j - 4)
DLU ( , y) := lsum(i - 1, y - 1) - lsum(i - 1, y - 4) D LU (, y): = lsum (i - 1, y - 1) - lsum (i - 1, y - 4)
- /st m(/' - 4, y - 1) + /st m(/' - 4, y - 4)
DRU ('> J) '■= lsum(i - 1, y + 3) - lsum(i - 1, j) - / st m (/ ' - 4, y - 1) + / st m (/ ' - 4, y - 4) D RU ('> J) ' ■ = lsum (i - 1, y + 3) - lsum (i - 1, j)
- Isum(i - 4, y + 3) + lsum(i - 4, j ) - Isum (i - 4, y + 3) + lsum (i - 4, j)
Danach ergibt sich After that arises
£> y (/'. y) := oto ( , j) + (/, j)■ DRO (/, y) - DLU ( , y) £> y (/ ' . Y): = o to (, j) + (/, j) ■ D RO (/, y) - D LU (, y)
Die approximierte Determinante der Hessematrix wird sodann für jeden Pixel des rechten Teilbildes in der Merkmalsmatrix Mr(1 ) abgespeichert: The approximated determinant of the Hessian matrix is then stored for each pixel of the right field in the feature matrix M r (1):
Mr (/, y',1) := (/, j)■ Dyy ( , j) - 0,81 · (/, j)■ ( , j) M r (/, y ' , 1): = (/, j) ■ Dyy (, j) - 0.81 · (/, j) ■ (, j)
Die gleiche Vorgehensweise wird für jeden Pixel des linken Teilbildes R, durchgeführt und in der Merkmalsmatrix M,(1 ) abgespeichert. Insgesamt ergeben sich die Merkmalsmatrizen Mr(1 ) und M,(1 ). Hinsichtlich weiterer Details sei auf H. Bay, T. Tuytelaars and L. V. Gool, "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding, 1 10(3), 2008, pp. 346-359 verwiesen. The same procedure is performed for each pixel of the left field R, and stored in the feature matrix M, (1). Overall, the feature matrices M r (1) and M, (1) result. For further details, see H. Bay, T. Tuytelaars and LV Gool, "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding, 1 10 (3), 2008, pp. 346-359.
Sobel-Merkmalsextraktion: Sobel feature extraction:
Der Sobel-Operator ist nur einer aus einer großen Anzahl von Kanten-Operatoren und ist daher exemplarisch beschrieben. The Sobel operator is just one of a large number of edge operators and is therefore described as an example.
Für die Disparitätskarte ist ein Kanten-Operator von besonderer Bedeutung, da er hilft, dass bei der Zuordnung den Kanten eine höhere Bedeutung zugeteilt wird als den glatten Flächen. Da eine Kante immer auch eine regionale Eigenschaft ist, ermöglicht diese Vorgehensweise innerhalb einer Zeile auch die Eigenschaften von lokalen Regionen mit berücksichtigen zu können. For the disparity map, an edge operator is of particular importance, as it helps to assign more importance to edges than to smooth surfaces. Since an edge is always a regional property, this procedure within a row also allows to take into account the properties of local regions.
Der Sobel-Prewitt-Operator arbeitet z.B. mit 3x3.Matrizen, welche die Kanten in verschiedene Richtungen detektieren. Grundsätzlich sind hier horizontale,
vertikale, links und rechts diagonale Kanten zu unterscheiden. Zu ihrer Detektion werden die folgenden 3x3-Matrizen verwendet: For example, the Sobel-Prewitt operator works with 3x3 matrices that detect the edges in different directions. Basically, here are horizontal, vertical, left and right diagonal edges to distinguish. For their detection, the following 3x3 matrices are used:
Eine Implementierung gemäß einem Ausführungsbeispiel des erfindungsgemäßen Verfahrens geht dabei so vor, dass jeder Zeile i eine Zeilenrecheneinheit i zugeordnet wird. Für alle Zeilen i und Spalten j wird das recheneinheiten-lokale Feld Kante(1) bis Kante(9) aus dem rechten rektifizierten Teilbild Rr wie folgt gefüllt: An implementation according to an embodiment of the method according to the invention proceeds in such a way that each row i is assigned a row calculation unit i. For all rows i and columns j, the computational-local field edge (1) to edge (9) is filled from the right-rectified partial image R r as follows:
Kante ):=Rr(i-Xj-i) Kante{2):= Rr{j-\j) Kante(3):= F?r( -1,y' + l) Kante(4) := Rr(i,j-i) Kantei ) := Rr{i,j) Kante(6) :=Rr(i,j + i) Kante(7) := F?r( + 1,/-1) Kanteiß) := Rr(i + Xj) Kante(9) :=Rr(i + j + i) für i := 1.....NZ undj := 1.....NS Sodann berechnet jede Zeilenrecheneinheit i für jeden Index j: Edge): = R r (i-Xj-i) edge {2): = R r {j- \ j) edge (3): = F? r (-1, y ' + l) edge (4): = R r (i, ji) edge i): = R r {i, j) edge (6): = R r (i, j + i) edge (7): = F? r (+ 1, / - 1) edge fissure): = R r (i + Xj) edge (9): = R r (i + j + i) for i: = 1 ..... NZ andj: = 1 ..... NS Then calculate each row calculation unit i for each index j:
ΗΛ := 2 · Kante(2) + 2 · Kante(5) + 2 · Kante(8) Η Λ : = 2 · edge (2) + 2 · edge (5) + 2 · edge (8)
- Kantet) - Kante(4) - Kante(7) - Kantet) - edge (4) - edge (7)
- Kante(3) - Kante(6) - Kante(9)
H2 := 2■ Kante(A) + 2 · Kante(5) + 2 · Kante{6) - edge (3) - edge (6) - edge (9) H 2 : = 2 ■ edge (A) + 2 · edge (5) + 2 · edge {6)
- Kante(1) - Kante(2) - Kante(3) - edge (1) - edge (2) - edge (3)
- Kante(7) - Kante(8) - Kante(9) - edge (7) - edge (8) - edge (9)
H3 := 2 - Kante(7) + 2■ Kante(5) + 2■ Kante(3) H 3 : = 2 - edge (7) + 2 ■ edge (5) + 2 ■ edge (3)
- Kante(1) - Kante(2) - Kante(4) - edge (1) - edge (2) - edge (4)
- Kante{8) - Kantefß) - Kante(6) - edge {8) - edge leg) - edge (6)
H4 := 2 - Kante(1) + 2 · Kante(5) + 2■ Kante{9) H 4 : = 2 - edge (1) + 2 · edge (5) + 2 ■ edge {9)
- Kante(2) - Kante(3) - Kante(6) - edge (2) - edge (3) - edge (6)
- Kante(4) - Kante(7) - Kante(8) Edge (4) edge (7) edge (8)
Mr(i,j,2) ergibt sich dann als Mr(i,j,2) := Η + H2 + H3 + H4 für i = 1 ,...,NZ und j = 1 ,...NS. M r (i, j, 2) then results as M r (i, j, 2): = Η + H 2 + H 3 + H 4 for i = 1, ..., NZ and j = 1,. ..NS.
Dieses Verfahren wird in gleicher Weise für das linke rektifizierte Teilbild R, durchgeführt. Insgesamt ergeben sich die Merkmalsmatrizen Mr(2) und M,(2). This process is carried out in the same way for the left-hand rectified partial image R 1. Overall, the feature matrices M r (2) and M, (2) result.
Fig. 3 zeigt links ein herkömmliches Pixel-Layout mit den drei Subpixeln R (rot), G (grün) und B (blau). Mit diesen Subpixeln werden die drei Perspektiven 1 , 2 und 3 bedient unter Verwendung einer Lentikularlinse als optisches Element O. Fig. 3 zeigt rechts ein neues Subpixel-Layout, wobei die eigenständigen Subpixel gemäß einem Ausführungsbeispiel der erfindungsgemäßen 3D-Anzeigevorrichtung als autostereoskopisches Display eine quadratische Ausgestaltung aufweisen. Dabei können mit 9 Subpixeln 9 Perspektiven durch das optische Element O angesteuert werden. 3 shows on the left a conventional pixel layout with the three subpixels R (red), G (green) and B (blue). With these subpixels, the three perspectives 1, 2 and 3 are operated using a lenticular lens as optical element O. FIG. 3 shows a new subpixel layout on the right, wherein the autonomous subpixels according to an embodiment of the 3D display device according to the invention as a autostereoscopic display a square Design have. 9 perspectives can be controlled by the optical element O with 9 subpixels.
In Fig. 4 ist links wiederum ein herkömmliches Pixel-Layout dargestellt. In Fig. 4 rechts ist ein weiteres Ausführungsbeispiel einer erfindungsgemäßen SD- Anzeigevorrichtung als autostereoskopisches Display gezeigt. Dort ist eine wesentlich feinere und detailliertere Subpixel-Struktur erzeugt. Anstelle von drei Subpixel im herkömmlichen Pixel-Layout sind im Subpixel-Layout des Ausführungsbeispiels 144 Subpixel erzeugt. Dabei sind die Subpixel R (rot), G (grün) und B (blau) um ein weiteres Subpixel W (z.B. weiss oder gelb) zur
Darstellung von Hell/Dunkel-Informationen ergänzt. Mit diesen 144 Subpixeln werden in der dargestellten Ausführung 36 Perspektiven angesteuert. FIG. 4 once again shows a conventional pixel layout on the left. In Fig. 4 right another embodiment of an SD display device according to the invention is shown as autostereoscopic display. There, a much finer and more detailed subpixel structure is created. Instead of three subpixels in the conventional pixel layout, 144 subpixels are generated in the subpixel layout of the embodiment. The subpixels R (red), G (green) and B (blue) are another subpixel W (eg white or yellow) for Presentation of light / dark information added. With these 144 subpixels, 36 perspectives are activated in the illustrated embodiment.
Fig. 5 zeigt das Subpixel-Layout aus Fig. 4, wobei die 144 einzelnen, eigenständigen Subpixel zur Ansteuerung von 144 Perspektiven verwendet werden. FIG. 5 shows the subpixel layout of FIG. 4, wherein the 144 individual, independent subpixels are used to drive 144 perspectives.
Gemäß einem weiteren Ausführungsbeispiels des erfindungsgemäßen Verfahrens und einer erfindungsgemäßen 3D-Anzeigevorrichtung, kann für ein autostereoskopisches Display wie folgt vorgegangen werden. According to a further embodiment of the method according to the invention and a 3D display device according to the invention, the procedure for an autostereoscopic display can be as follows.
Zur Anpassung an die anatomischen Gegebenheiten des menschlichen Auges werden zwei Eigenschaften berücksichtigt. Dies sind: To adapt to the anatomical conditions of the human eye, two properties are considered. These are:
1. die Auflösung des Auges und 1. the resolution of the eye and
2. die Anzahl und Eigenschaften der Rezeptoren im Auge. 2. the number and characteristics of the receptors in the eye.
Die Auflösung des menschlichen Auges liegt i.A. zwischen 0,5' und 1 .5'. Daher haben heutige Displays meistens einen Dot-Pitch von 0,2 bis 0,3 mm. Das heißt, ab einem Abstand von ca. 1 m sind die Pixel des Displays nicht mehr zu erkennen. Bei dem hier vorgestellten Ausführungsbeispiel einer erfindungsgemäßen 3D-Anzeigevorrichtung liegt die Linsenbreite des verwendeten Linsenrasters im Bereich von 0,2 mm. Das heißt ca. 125 LPI (Linsen pro Inch). Dadurch ist die Linsenstruktur ab einem Betrachtungsabstand von ca. 1 m nicht mehr zu erkennen. Die Anzahl der Subpixel, die hinter einer Linse liegen, liegt in der Größenordnung von 10 Subpixeln pro Linse. Das heißt, dass der Dot-Pitch eines pseudoholographischen Displays in der Größenordnung von ca. 0,06 mm liegt. Während man bei konventionellen Displays z.B. 1920 x 1080 Pixel (HD-TV) darstellt, besteht ein hier vorgestelltes pseudoholographisches Display aus mindestens 19.200 x 1080 Pixeln. The resolution of the human eye is i.A. between 0.5 'and 1 .5'. Therefore today's displays usually have a dot pitch of 0.2 to 0.3 mm. That is, from a distance of about 1 m, the pixels of the display are no longer visible. In the embodiment of a 3D display device according to the invention presented here, the lens width of the lens grid used is in the range of 0.2 mm. That is about 125 LPI (lenses per inch). As a result, the lens structure is no longer recognizable from a viewing distance of about 1 m. The number of subpixels behind a lens is on the order of 10 subpixels per lens. That is, the dot pitch of a pseudo-holographic display is on the order of about 0.06 mm. While in conventional displays, e.g. 1920 x 1080 pixels (HD-TV), a pseudo-holographic display presented here consists of at least 19,200 x 1080 pixels.
Das Linsenraster kann z.B. aus Lentikularlinsen oder auch aus Hexagonallinsen bestehen, die in diesem Falle einen Durchmesser von 0,2 mm besitzen.
Berücksichtigt man, dass im menschlichen Auge ca. 6,5 Mio. Farbrezeptoren vorhanden sind und ca. 100 Mio. Hell/Dunkel-Rezeptoren, so ist ersichtlich, dass ca. 15 mal so viele Hell/Dunkel-Rezeptoren vorhanden sind wie Farbrezeptoren. Des Weiteren verwendet das menschliche Gehirn für die Erzeugung des inneren Raumbildes zu einem sehr großen Teil die Kanteninformation. Kanten geben mit den dort vorhandenen Rechts- und Linksverdeckungen Auskunft über die Vorne/Hinten-Beziehung von Objekten. The lenticular may consist of lenticular lenses or hexagonal lenses, for example, which in this case have a diameter of 0.2 mm. Considering that in the human eye about 6.5 million color receptors are present and about 100 million light / dark receptors, it can be seen that about 15 times as many light / dark receptors are available as color receptors. Furthermore, the human brain uses the edge information to a great extent for the generation of the inner space image. Edges give information about the front / back relationship of objects with the existing right and left covers.
In einem Ausführungsbeispiel werden daher besonders vorteilhaft die bekannten Subpixel RGB oder YMC durch Hell/Dunkel-Subpixel ergänzt, welche die in der Merkmalextraktionsphase durch die Kanten-Operatoren erzeugte Kanteninformation anzeigen. In one exemplary embodiment, therefore, the known subpixels RGB or YMC are particularly advantageously supplemented by light / dark subpixels which indicate the edge information generated in the feature extraction phase by the edge operators.
Homogene Flächen enthalten keine Kanten. Die Hell/Dunkel-Subpixel stellen dort im Bild keine Information dar. Homogeneous surfaces contain no edges. The light / dark subpixels do not represent any information in the image.
Kanten werden in den Hell/Dunkel-Subpixeln gemäß der Intensität der erkannten Kante heller dargestellt. Dadurch werden die im Bild vorhandenen Kanten hervorgehoben und durch die 100 Mio. Hell/Dunkel-Rezeptoren leichter erkannt. Edges are brightened in the light / dark subpixels according to the intensity of the detected edge. As a result, the edges present in the image are highlighted and more easily recognized by the 100 million light / dark receptors.
Das Gehirn hat es so leichter das innere Raumbild zu erzeugen. Muster auf homogenen Flächen werden im menschlichen Gehirn aufgrund des Lerneffektes als solche erkannt und beeinflussen den Raumbildeindruck nicht. The brain has it so easier to create the inner space image. Patterns on homogeneous surfaces are recognized as such in the human brain due to the learning effect and do not affect the spatial impression.
Die geometrische Anordnung der Hell/Dunkel-Subpixel kann erfindungsgemäß variiert werden. In Fig. 3, Fig. 4 und Fig. 5 sind verschiedene Aufteilungen dargestellt. Neben den Hell/Dunkel-Subpixeln zur Verbesserung der Kanten- Erkennung können noch weitere Merkmale zur Raumbilderzeugung hinzugefügt werden. Hier sei exemplarisch, aber nicht ausschließlich, der SURF-Operator genannt. The geometric arrangement of the light / dark subpixels can be varied according to the invention. In Fig. 3, Fig. 4 and Fig. 5, various divisions are shown. In addition to the light / dark subpixels for improving the edge detection, further features for spatial image generation can be added. Here is an example, but not exclusive, called the SURF operator.
Zusätzlich wird die Aufteilung der Pixel in Farb-Subpixel (i. A. RGB-Subpixel) aufgehoben. Berücksichtigt man, dass die Zuordnung der Perspektiven für ein autostereoskopisches Display immer auf der Ebene der Subpixel mit Färb- und
Hell/Dunkel-Subpixeln stattfindet, so wird in dem hier beschriebenen Display auf die Gruppierung von Subpixeln zu Pixeln verzichtet. Jeder Färb- oder Hell/Dunkel- Subpixel ist für sich ein eigenständiges Lichtelement, dem eine bestimmte Perspektive zugeordnet ist, und besitzt in horizontaler und vertikaler Richtung die gleiche Ausdehnung. Dies ist in Fig. 3, Fig. 4 und Fig. 5 jeweils auf der rechten Seite bereits berücksichtigt. Eine Rückwärts-Kompatibilität ist weiterhin gegeben, sodass auch alle 2D-Bilder und -Videos problemlos dargestellt werden können. Die Herstellung eines solchen autostereoskopischen Displays ist auf Basis der OLED-Technologie möglich. In addition, the division of pixels into color subpixels (usually RGB subpixels) is canceled. Taking into account that the assignment of perspectives for an autostereoscopic display always at the level of subpixels with color and Light / dark sub-pixels takes place, so in the display described here, the grouping of sub-pixels to pixels is omitted. Each color or light / dark subpixel is in itself a self-contained light element associated with a particular perspective and has the same extent in the horizontal and vertical directions. This is already taken into account in FIGS. 3, 4 and 5 on the right-hand side. A backward compatibility is still given, so that all 2D images and videos can be displayed easily. The production of such an autostereoscopic display is possible based on the OLED technology.
Hinsichtlich weiterer vorteilhafter Ausgestaltungen des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Anzeigevorrichtung wird zur Vermeidung von Wiederholungen auf den allgemeinen Teil der Beschreibung sowie auf die beigefügten Ansprüche verwiesen. With regard to further advantageous embodiments of the method according to the invention and of the display device according to the invention, reference is made to avoid repetition to the general part of the description and to the appended claims.
Schließlich sei ausdrücklich darauf hingewiesen, dass die voranstehend beschriebenen Ausführungsbeispiele des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung lediglich zur Erörterung der beanspruchten Lehre dienen, diese jedoch nicht auf die Ausführungsbeispiele einschränken.
Finally, it should be expressly understood that the above-described embodiments of the method according to the invention and the device according to the invention are merely for the purpose of discussion of the claimed teaching, but do not limit these to the exemplary embodiments.
Claims
1. Verfahren zur Visualisierung von dreidimensionalen Bildern auf einer SD- Anzeigevorrichtung, wobei ein zu visualisierendes Bild als ein Eingabebild zugeführt wird, A method for visualizing three-dimensional images on an SD display device, wherein an image to be visualized is supplied as an input image,
d a d u r c h g e k e n n z e i c h n e t, dass unter Verwendung des Eingabebilds mindestens eine Merkmalsmatrix bestimmt wird, wobei die Merkmalsmatrizen Hell/Dunkel-Informationen definieren, und dass aus dem Eingabebild unter Verwendung der Hell/Dunkel-Informationen ein Anzeigebild zur Wiedergabe auf der 3D-Anzeigevorrichtung erzeugt wird. That is, at least one feature matrix is determined using the input image, wherein the feature matrices define bright / dark information, and that a display image is generated from the input image using the light / dark information for display on the 3D display device.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das Eingabebild zwei Perspektiven - Teilbilder - umfasst, die einem linken und einem rechten Teilbild entsprechen. 2. The method according to claim 1, characterized in that the input image comprises two perspectives - partial images - which correspond to a left and a right partial image.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Teilbilder rektifiziert werden. 3. The method according to claim 2, characterized in that the partial images are rectified.
4. Verfahren nach einem Ansprüche 1 bis 3, dadurch gekennzeichnet, dass zur Erzeugung einer Merkmalsmatrix mittels einer Merkmalsextraktion Merkmale aus dem Eingabebild bzw. den Teilbildem extrahiert werden. 4. The method according to any one of claims 1 to 3, characterized in that for generating a feature matrix by means of a feature extraction features from the input image and the sub-image are extracted.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Merkmale lokale Eigenschaften beschreiben. 5. The method according to claim 4, characterized in that the features describe local properties.
6. Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass zur Merkmalsextraktion eine Sobel-Merkmalsextraktion verwendet wird. 6. The method according to claim 4 or 5, characterized in that a feature extraction Sobel feature extraction is used.
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass eine Merkmalsmatrix Kanteninformationen umfasst. 7. The method according to any one of claims 1 to 6, characterized in that a feature matrix comprises edge information.
8. Verfahren nach einem der Ansprüche 4 bis 7, dadurch gekennzeichnet, dass zur Merkmalsextraktion eine Speed up Robust Features (SURF) Merkmalsextraktion verwendet wird. 8. The method according to any one of claims 4 to 7, characterized in that the feature extraction is a Speed up Robust Features (SURF) feature extraction is used.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass eine Merkmalsmatrix Informationen über markante Bildpunkte umfassen. 9. The method according to any one of claims 1 to 8, characterized in that a feature matrix information about prominent pixels.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass durch eine Merkmalsmatrix einem Pixel einer Perspektive des Eingabebildes als Hell/Dunkel-Information ein Merkmalswert zugeordnet wird. 10. The method according to any one of claims 1 to 9, characterized in that a feature value is assigned to a pixel of a perspective of the input image as light / dark information by a feature matrix.
1 1. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass der Merkmalswert auf die Subpixel des zugehörigen Pixels im Anzeigebild addiert und/oder multipliziert wird. 1 1. A method according to claim 10, characterized in that the feature value is added to the subpixels of the associated pixel in the display image and / or multiplied.
12. Verfahren nach Anspruch 10 oder 1 1 , dadurch gekennzeichnet, dass der Merkmalswert mit einem Skalierungsfaktor gewichtet wird. 12. The method according to claim 10 or 1 1, characterized in that the feature value is weighted with a scaling factor.
13. Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass der Skalierungsfaktor durch eine Kontrolleinheit interaktiv, vorzugsweise mit einer Fernbedienung, veränderbar ist. 13. The method according to claim 13, characterized in that the scaling factor by a control unit interactively, preferably with a remote control, is changeable.
14. Verfahren nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass die Hell/Dunkel-Informationen mit Hell/Dunkel-Subpixeln im Anzeigebild dargestellt werden. 14. The method according to any one of claims 1 to 13, characterized in that the light / dark information with light / dark subpixels are displayed in the display image.
15. Verfahren nach einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, dass als 3D-Anzeigevorrichtung ein stereoskopisches Display oder ein autostereoskopisches Display verwendet wird. 15. The method according to any one of claims 1 to 14, characterized in that a stereoscopic display or an autostereoscopic display is used as a 3D display device.
16. Verfahren nach einem der Ansprüche 1 bis 15, dadurch gekennzeichnet, dass das Eingabebild eine erste Perspektive und eine zweite Perspektive aufweist, wobei die zweite Perspektive durch Verschiebung der ersten Perspektive um einen Betrag m > 0 erzeugt wird. 16. The method according to any one of claims 1 to 15, characterized in that the input image has a first perspective and a second perspective, wherein the second perspective by shifting the first perspective by an amount m> 0 is generated.
17. 3D-Anzeigevorrichtung, insbesondere ein stereoskopisches oder auto- stereoskopisches Display, zur Visualisierung von dreidimensionalen Bildern, insbesondere zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 16, 17. 3D display device, in particular a stereoscopic or autostereoscopic display, for the visualization of three-dimensional images, in particular for carrying out a method according to one of claims 1 to 16,
d a d u r c h g e k e n n z e i c h n e t, dass die 3D-Anzeigevorrichtung Mittel aufweist, die unter Verwendung eines zugeführten Eingabebilds mindestens eine Merkmalsmatrix bestimmen, wobei die Merkmalsmatrizen Hell/Dunkel- Informationen definieren, und dass die Mittel aus dem Eingabebild unter Verwendung der Hell/Dunkel-Informationen ein Anzeigebild zur Wiedergabe auf der 3D-Anzeigevorrichtung erzeugen. characterized in that the 3D display device comprises means for determining at least one feature matrix using a supplied input image, the feature matrices defining light / dark information, and the means from the input image using the light / dark information for displaying a display image on the 3D display device.
18. 3D-Anzeigevorrichtung nach Anspruch 17, dadurch gekennzeichnet, dass die 3D-Anzeigevorrichtung Subpixel aufweist, die Subpixel zur Darstellung einer Farbe eines vorgebbaren Farbsystems und Hell/Dunkel-Subpixel zur Darstellung von Merkmalsinformationen umfassen. 18. 3D display device according to claim 17, characterized in that the 3D display device has subpixels which comprise subpixels for representing a color of a predefinable color system and light / dark subpixels for displaying feature information.
19. 3D-Anzeigevorrichtung nach Anspruch 18, dadurch gekennzeichnet, dass die Subpixel als eigenständige Elemente ausgebildet sind. 19. 3D display device according to claim 18, characterized in that the subpixels are formed as independent elements.
20. 3D-Anzeigevorrichtung nach Anspruch 18 oder 19, dadurch gekennzeichnet, dass die Subpixel in horizontaler und vertikaler Richtung die gleiche Ausdehnung aufweisen, insbesondere quadratisch ausgestaltet sind. 20. A 3D display device according to claim 18 or 19, characterized in that the subpixels in the horizontal and vertical directions have the same extent, in particular are designed square.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102010009291A DE102010009291A1 (en) | 2010-02-25 | 2010-02-25 | Method and apparatus for an anatomy-adapted pseudo-holographic display |
PCT/DE2011/000187 WO2011103866A2 (en) | 2010-02-25 | 2011-02-25 | Method for visualizing three-dimensional images on a 3d display device and 3d display device |
Publications (1)
Publication Number | Publication Date |
---|---|
EP2540089A2 true EP2540089A2 (en) | 2013-01-02 |
Family
ID=44149833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP11720977A Withdrawn EP2540089A2 (en) | 2010-02-25 | 2011-02-25 | Method for visualizing three-dimensional images on a 3d display device and 3d display device |
Country Status (6)
Country | Link |
---|---|
US (4) | US9396579B2 (en) |
EP (1) | EP2540089A2 (en) |
JP (3) | JP6060329B2 (en) |
KR (2) | KR101825759B1 (en) |
DE (1) | DE102010009291A1 (en) |
WO (3) | WO2011103865A2 (en) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102010009291A1 (en) * | 2010-02-25 | 2011-08-25 | Expert Treuhand GmbH, 20459 | Method and apparatus for an anatomy-adapted pseudo-holographic display |
US9420268B2 (en) | 2011-06-23 | 2016-08-16 | Lg Electronics Inc. | Apparatus and method for displaying 3-dimensional image |
KR102009049B1 (en) | 2011-11-11 | 2019-08-08 | 소니 주식회사 | Transmitting apparatus, transmitting method, receiving apparatus and receiving method |
US20130293547A1 (en) * | 2011-12-07 | 2013-11-07 | Yangzhou Du | Graphics rendering technique for autostereoscopic three dimensional display |
KR101349784B1 (en) * | 2012-05-08 | 2014-01-16 | 엘지디스플레이 주식회사 | A supporting member for attacting functional panel to display panel, display device having thereof, and mehtod of fabricating display device |
TWI637348B (en) * | 2013-04-11 | 2018-10-01 | 緯創資通股份有限公司 | Apparatus and method for displaying image |
ITTO20130784A1 (en) | 2013-09-30 | 2015-03-31 | Sisvel Technology Srl | METHOD AND DEVICE FOR EDGE SHAPE ENFORCEMENT FOR VISUAL ENHANCEMENT OF DEPTH IMAGE BASED RENDERING |
CN103680325A (en) * | 2013-12-17 | 2014-03-26 | 京东方科技集团股份有限公司 | Display substrate, display panel and stereoscopic display device |
CN105787877B (en) * | 2016-02-18 | 2018-11-23 | 精实万维软件(北京)有限公司 | A kind of more figure composition methods of dynamic and device |
WO2020117841A1 (en) * | 2018-12-04 | 2020-06-11 | Sony Interactive Entertainment LLC | Fluid display device |
US11056081B2 (en) * | 2019-08-09 | 2021-07-06 | Wuhan China Star Optoelectronics Semiconductor Display Technology Co., Ltd. | Display panel and display device |
Family Cites Families (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0646461A (en) * | 1992-06-26 | 1994-02-18 | Matsushita Electric Ind Co Ltd | Flat stereoscopic image display device and its production |
US5457574A (en) * | 1993-05-06 | 1995-10-10 | Dimension Technologies Inc. | Autostereoscopic display with high power efficiency |
JP2944850B2 (en) * | 1993-05-25 | 1999-09-06 | シャープ株式会社 | 3D display device |
JPH08220477A (en) * | 1995-02-13 | 1996-08-30 | Toppan Printing Co Ltd | Production of lenticular display and apparatus for production therefor |
JP2000081918A (en) * | 1998-09-04 | 2000-03-21 | Canon Inc | Heater |
JP3593466B2 (en) * | 1999-01-21 | 2004-11-24 | 日本電信電話株式会社 | Method and apparatus for generating virtual viewpoint image |
FR2798708B1 (en) | 1999-09-17 | 2001-11-16 | Snfa | HYBRID BALL BEARING WITH AN OBLIQUE CONTACT, AND AN AXIAL STOP THEREWITH |
EP1252756B1 (en) | 2000-01-25 | 2006-05-31 | NewSight GmbH | Method and system for the three-dimensional representation |
US20020075566A1 (en) * | 2000-12-18 | 2002-06-20 | Tutt Lee W. | 3D or multiview light emitting display |
US7103234B2 (en) * | 2001-03-30 | 2006-09-05 | Nec Laboratories America, Inc. | Method for blind cross-spectral image registration |
GB0119176D0 (en) * | 2001-08-06 | 2001-09-26 | Ocuity Ltd | Optical switching apparatus |
JP2003339060A (en) * | 2002-05-20 | 2003-11-28 | Denso Corp | Display apparatus for back image/side image of vehicle |
JP2007072476A (en) * | 2002-07-29 | 2007-03-22 | Sharp Corp | Method for producing substrate with parallax barrier layer |
AU2002952874A0 (en) * | 2002-11-25 | 2002-12-12 | Dynamic Digital Depth Research Pty Ltd | 3D image synthesis from depth encoded source view |
JP4042615B2 (en) * | 2003-04-17 | 2008-02-06 | 株式会社デンソー | Image processing method and image processing apparatus |
KR20060065731A (en) * | 2003-09-22 | 2006-06-14 | 진 돌고프 | Omnidirectional lenticular and barrier-grid image displays and methods for making them |
JP4839598B2 (en) * | 2003-10-30 | 2011-12-21 | ブラザー工業株式会社 | Image display device |
JP4402578B2 (en) * | 2004-03-31 | 2010-01-20 | 独立行政法人科学技術振興機構 | 3D display |
JP4440066B2 (en) * | 2004-10-14 | 2010-03-24 | キヤノン株式会社 | Stereo image generation program, stereo image generation system, and stereo image generation method |
JP4327758B2 (en) * | 2005-03-24 | 2009-09-09 | 株式会社東芝 | Stereoscopic image display device |
KR101254032B1 (en) * | 2005-05-20 | 2013-04-12 | 삼성디스플레이 주식회사 | Multiprimary color subpixel rendering with metameric filtering |
JP4532372B2 (en) * | 2005-09-02 | 2010-08-25 | トヨタ自動車株式会社 | Road marking line detection device |
JP2007081635A (en) * | 2005-09-13 | 2007-03-29 | Sanyo Epson Imaging Devices Corp | Display apparatus |
JP2007110303A (en) * | 2005-10-12 | 2007-04-26 | Matsushita Electric Ind Co Ltd | Contour correction circuit |
US8358330B2 (en) * | 2005-10-21 | 2013-01-22 | True Vision Systems, Inc. | Stereoscopic electronic microscope workstation |
JP4337823B2 (en) * | 2005-11-04 | 2009-09-30 | セイコーエプソン株式会社 | Printer and printing method |
TWI294750B (en) * | 2005-11-21 | 2008-03-11 | Whe Yi Chiang | Three dimensional organic electroluminescent display |
DE102006019169A1 (en) | 2006-04-21 | 2007-10-25 | Expert Treuhand Gmbh | Autostereoscopic adapter disc with real-time image synthesis |
WO2008023416A1 (en) * | 2006-08-23 | 2008-02-28 | Fujitsu Limited | Display element, and electronic paper and electronic terminal employing the same |
US8687273B2 (en) * | 2006-09-07 | 2014-04-01 | Sharp Kabushiki Kaisha | Image display device, electronic device, and parallax barrier element |
US20100103175A1 (en) * | 2006-10-25 | 2010-04-29 | Tokyo Institute Of Technology | Method for generating a high-resolution virtual-focal-plane image |
JP2008112060A (en) * | 2006-10-31 | 2008-05-15 | Seiko Epson Corp | Display device |
JP2008216971A (en) * | 2007-02-08 | 2008-09-18 | Seiko Epson Corp | Image display device |
EP3480649B1 (en) * | 2007-02-13 | 2021-08-25 | Samsung Display Co., Ltd. | Subpixel layouts and subpixel rendering methods for directional displays and systems |
GB0708676D0 (en) * | 2007-05-04 | 2007-06-13 | Imec Inter Uni Micro Electr | A Method for real-time/on-line performing of multi view multimedia applications |
JP5263751B2 (en) * | 2007-06-07 | 2013-08-14 | 学校法人立命館 | Single screen display device |
JP5115840B2 (en) * | 2007-08-23 | 2013-01-09 | 国立大学法人東京農工大学 | 3D display device |
JP2009080144A (en) * | 2007-09-25 | 2009-04-16 | Toshiba Corp | Stereoscopic image display apparatus and stereoscopic image display method |
JP2009162620A (en) * | 2008-01-07 | 2009-07-23 | Toshiba Corp | Inspection apparatus and its method |
US8072448B2 (en) * | 2008-01-15 | 2011-12-06 | Google Inc. | Three-dimensional annotations for street view data |
GB2457692A (en) * | 2008-02-21 | 2009-08-26 | Sharp Kk | A display device with a plurality of viewing modes |
JP4987767B2 (en) * | 2008-03-18 | 2012-07-25 | 株式会社東芝 | 3D image display device manufacturing apparatus and 3D image display device manufacturing method |
JP2010033447A (en) * | 2008-07-30 | 2010-02-12 | Toshiba Corp | Image processor and image processing method |
KR101476219B1 (en) * | 2008-08-01 | 2014-12-24 | 삼성디스플레이 주식회사 | Method of manufacturing display device and apparatus using the same |
KR20100033067A (en) * | 2008-09-19 | 2010-03-29 | 삼성전자주식회사 | Image display apparatus and method for both 2d and 3d image |
JP4625517B2 (en) * | 2008-10-27 | 2011-02-02 | 富士フイルム株式会社 | Three-dimensional display device, method and program |
RU2512135C2 (en) * | 2008-11-18 | 2014-04-10 | Панасоник Корпорэйшн | Reproduction device, reproduction method and programme for stereoscopic reproduction |
ES2563728T3 (en) * | 2009-01-20 | 2016-03-16 | Koninklijke Philips N.V. | 3D image data transfer |
CN102326395A (en) * | 2009-02-18 | 2012-01-18 | 皇家飞利浦电子股份有限公司 | The transmission of 3D beholder metadata |
EP2455796A4 (en) * | 2009-07-13 | 2013-04-24 | Kenji Yoshida | Parallax barrier for autostereoscopic display, autostereoscopic display, and method for designing parallax barrier for autostereoscopic display |
DE102010009291A1 (en) * | 2010-02-25 | 2011-08-25 | Expert Treuhand GmbH, 20459 | Method and apparatus for an anatomy-adapted pseudo-holographic display |
-
2010
- 2010-02-25 DE DE102010009291A patent/DE102010009291A1/en not_active Ceased
-
2011
- 2011-02-25 JP JP2012554214A patent/JP6060329B2/en active Active
- 2011-02-25 WO PCT/DE2011/000186 patent/WO2011103865A2/en active Application Filing
- 2011-02-25 KR KR1020127024212A patent/KR101825759B1/en active IP Right Grant
- 2011-02-25 KR KR1020127024214A patent/KR101852209B1/en active IP Right Grant
- 2011-02-25 WO PCT/DE2011/000187 patent/WO2011103866A2/en active Application Filing
- 2011-02-25 US US13/580,909 patent/US9396579B2/en not_active Expired - Fee Related
- 2011-02-25 WO PCT/DE2011/000188 patent/WO2011103867A1/en active Application Filing
- 2011-02-25 JP JP2012554215A patent/JP6142985B2/en active Active
- 2011-02-25 EP EP11720977A patent/EP2540089A2/en not_active Withdrawn
- 2011-02-25 US US13/580,924 patent/US9324181B2/en not_active Expired - Fee Related
-
2016
- 2016-03-23 US US15/078,596 patent/US10134180B2/en active Active
- 2016-06-13 US US15/181,282 patent/US10229528B2/en active Active
- 2016-10-24 JP JP2016208015A patent/JP6278323B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20130147804A1 (en) | 2013-06-13 |
JP2013520890A (en) | 2013-06-06 |
US9324181B2 (en) | 2016-04-26 |
JP2013527932A (en) | 2013-07-04 |
US20130135720A1 (en) | 2013-05-30 |
JP2017078859A (en) | 2017-04-27 |
DE102010009291A1 (en) | 2011-08-25 |
WO2011103865A2 (en) | 2011-09-01 |
US9396579B2 (en) | 2016-07-19 |
JP6142985B2 (en) | 2017-06-07 |
JP6060329B2 (en) | 2017-01-18 |
WO2011103866A3 (en) | 2012-03-01 |
KR20130008555A (en) | 2013-01-22 |
KR20130036198A (en) | 2013-04-11 |
US20160205393A1 (en) | 2016-07-14 |
US20160300517A1 (en) | 2016-10-13 |
WO2011103867A1 (en) | 2011-09-01 |
WO2011103865A3 (en) | 2012-02-09 |
WO2011103866A2 (en) | 2011-09-01 |
US10229528B2 (en) | 2019-03-12 |
US10134180B2 (en) | 2018-11-20 |
KR101825759B1 (en) | 2018-03-22 |
JP6278323B2 (en) | 2018-02-14 |
KR101852209B1 (en) | 2018-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2540089A2 (en) | Method for visualizing three-dimensional images on a 3d display device and 3d display device | |
EP2027728B1 (en) | Method and device for the creation of pseudo-holographic images | |
DE10145133C1 (en) | Spatial representation method | |
DE112012000563B4 (en) | Method and device for sending / receiving a digital transmission signal | |
DE102014205519A1 (en) | Method and apparatus for adapting a display of an autostereoscopic display for a vehicle | |
DE102010028668B4 (en) | Method for spatial representation | |
DE112013004718B4 (en) | Image processing apparatus and method, and program, printer and display apparatus | |
EP3170307B1 (en) | Method for displaying three dimensional scene on an autostereoscopic display | |
AT513369A2 (en) | Method for generating, transmitting and receiving stereoscopic images, and associated apparatus | |
DE202006013777U1 (en) | Auto-stereoscopic display device especially for flat-surface image display systems, has parallax-barrier with structural elements distributed over barrier surface | |
DE102009013912A1 (en) | Method for autostereoscopic visualization of scene or object, involves partially seeing different image elements and/or parts of image elements by observers with both eyes due to vision limitation effect of parallax barrier screen | |
EP1535202A1 (en) | Method for simulating optical components for the stereoscopic production of spatial impressions | |
DE102010021550B4 (en) | Image display device and method for image reproduction | |
DE112015006086B4 (en) | Image processing device, image display device and image processing method | |
WO2011032642A1 (en) | Method and device for generating partial views and/or a stereoscopic image master from a 2d-view for stereoscopic playback | |
DE102010018083B4 (en) | Simultaneous reproduction of a plurality of images by means of a two-dimensional image representation matrix | |
DE102005036744B4 (en) | Method and device for autostereoscopic reproduction of 3D representations | |
DE102006012059B3 (en) | Three dimensional picture information creation method, e.g. using matrix display, involves screening subpixels with line-by-line picture offset in direction of raster, and selecting multiplex schema for formation of samples | |
WO2020141133A1 (en) | Autostereoscopic display | |
WO2007085482A1 (en) | Method for producing and displaying images which can be perceived in three dimensions | |
DE112012002679T5 (en) | Apparatus and method for encoding / decoding multi-view images | |
EP2495978A1 (en) | Image output method for an auto-stereoscopic display | |
DE202010007397U1 (en) | display device | |
DE102015000178A1 (en) | Method for controlling a screen, display device and add-on module for a display device | |
AT503743A1 (en) | METHOD FOR THE COMPUTER-BASED PRESENTATION OF OBJECTS |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
17P | Request for examination filed |
Effective date: 20120921 |
|
AK | Designated contracting states |
Kind code of ref document: A2 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: EXPERT TREUHAND GMBH |
|
DAX | Request for extension of the european patent (deleted) | ||
17Q | First examination report despatched |
Effective date: 20140626 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN |
|
18D | Application deemed to be withdrawn |
Effective date: 20150901 |