DE102015112474A1

DE102015112474A1 - Method and device for displaying multifocal images

Info

Publication number: DE102015112474A1
Application number: DE102015112474.2A
Authority: DE
Inventors: Christoph Nieten; Arne Schob; Enrico Geissler
Original assignee: Carl Zeiss Sports Optics GmbH
Current assignee: Carl Zeiss Sports Optics GmbH
Priority date: 2015-07-30
Filing date: 2015-07-30
Publication date: 2017-02-02

Abstract

Die Erfindung umfasst ein Verfahren sowie eine Vorrichtung zur schnellen Darstellung von Bildinformationen aus verschiedenen Fokusebenen.The invention comprises a method and a device for the rapid display of image information from different focal planes.

Description

Gebiet der ErfindungField of the invention

Die vorliegende Erfindung betrifft ein Verfahren zur verbesserten Darstellung von multifokalen Bildern sowie eine entsprechende Vorrichtung zur verbesserten Bildwiedergabe multifokaler Bilder.The present invention relates to a method for improved display of multifocal images and to a corresponding device for improved image reproduction of multifocal images.

Hintergrund der ErfindungBackground of the invention

In den letzten Jahren hat sich der Trend entwickelt, bestimmte optische Gerate wie z. B. Operationsmikroskope (OPMIs) als vollständig digitale Systeme auszulegen, beispielsweise aus Gründen der Ergonomie. In solchen Systemen wird das zu betrachtende Objekt, z. B. das OP-Feld mit einer digitalen (Video-)Kamera beobachtet. Der Beobachter (im Beispiel der Chirurg) betrachtet die Szene in der Regel in einem ihm gewohnten Okularsystem; meist handelt es sich dabei um eine Art Lupeneinblick auf ein Mikrodisplay, auf dem das Kamerabild dargestellt wird.In recent years, the trend has developed, certain optical devices such. As surgical microscopes (OPMIs) designed as fully digital systems, for example, for reasons of ergonomics. In such systems, the object to be considered, e.g. As observed the surgical field with a digital (video) camera. The observer (in the example of the surgeon) usually looks at the scene in a conventional eyepiece system; usually it is a kind of magnifying glass on a microdisplay, on which the camera image is displayed.

Der Benutzer eines klassischen optischen Systems ist es gewohnt, durch die Akkommodation der Augen im zu betrachtenden Objekt über mehrere Tiefenschärfen hindurch zu fokussieren (je nach Alter um mehrere Dioptrien). Für einen Tiefeneindruck des zu beobachtenden Objektes ist das Fokussieren in der Probe für den Betrachter von großer Bedeutung und liefert (neben der Stereobeobachtung) für nahe Objekte das beste Kriterium für eine dreidimensionale Orientierung innerhalb der Probe (Tiefenwahrnehmung). Aus diesem Grunde wird der Benutzer eines digitalen Systems diese Orientierungsmöglichkeit vermissen.The user of a classical optical system is accustomed to focus through the accommodation of the eyes in the object to be observed over several depth of field (depending on the age by several dioptres). For a depth impression of the object to be observed, focusing in the sample is of great importance to the observer and provides (in addition to the stereo observation) for nearby objects the best criterion for a three-dimensional orientation within the sample (depth perception). For this reason, the user of a digital system will miss this orientation opportunity.

Kennzeichnend für ein solches digitales Darstellungssystem ist es jedoch, dass der Betrachter keine Möglichkeit einer Schärfeneinstellung mit den Augen besitzt, d. h. der Beobachter ist nicht in der Lage, durch eine Akkomodation der Augen die Fokuslage im zu betrachtenden Objekt zu ändern, da die Fokuslage durch die Optik der Kamera bestimmt wird. In diesem Sinne werden unter den nachfolgend beschriebenen digitaloptischen Systemen alle Anordnungen und Vorrichtungen verstanden, bei welchen es durch die Auftrennung des optischen Weges zwischen der Bildaufnahmeeinheit und der Bildwiedergabeeinheit dazu kommt, dass eine Akkomodation des Auges nicht zu einer Änderung der Fokuslage im Objekt führt. Neben den erwähnten Operationsmikroskopen, OPMIs, sind beispielsweise auch Nachtsichtgeräte, digitale Ferngläser oder Sucher von Filmkameras darunter zu verstehen. Derartige Anordnungen und Vorrichtungen sind einem Fachmann auf diesem technischen Gebiet wohlbekannt.Characteristic of such a digital display system, however, is that the viewer has no possibility of focusing with the eyes, d. H. The observer is not able to change the focus position in the object to be considered by accommodating the eyes, since the focus position is determined by the optics of the camera. In this sense, among the digital optical systems described below, all arrangements and devices are understood in which it comes through the separation of the optical path between the image recording unit and the image display unit that an accommodation of the eye does not lead to a change in focus position in the object. In addition to the surgical microscopes mentioned, OPMIs, for example, night vision devices, digital binoculars or viewfinders of film cameras to understand it. Such arrangements and devices are well known to those skilled in the art.

Sobald bei einem solchen vollständig digitalen System der Betrachter beim Blick auf das elektronische Display versucht, auf einen unscharfen Bildbereich zu akkommodieren, verliert dieser zwangsläufig das digitale Display aus dem Fokus. Das Beobachtungsgerät könnte als Antwort auf die Akkomodation des Auges zwar auf den unscharfen Bildbereich fokussieren und den betroffenen Bildbereich scharf auf dem Display abbilden, allerdings wird der Betrachter das Bild auf dem Display nicht scharf wahrnehmen können, da es wegen des veränderten Akkomodationszustands nicht mehr in der Fokusebene seines Auges liegt.As soon as, in such a fully digital system, the viewer, when looking at the electronic display, tries to accommodate a blurred image area, the viewer inevitably loses the digital display out of focus. Although the observation device could, in response to the accommodation of the eye, focus on the blurred image area and image the affected image area sharply on the display, however, the viewer will not be able to perceive the image on the display sharply, since it is no longer in the image due to the changed state of accommodation Focus plane of his eye lies.

Aus diesem Grund wurden in den vergangenen Jahren Systeme vorgeschlagen, bei welchen in vollständig digitalen Systemen eine Darstellung unterschiedlicher Fokusebenen realisiert wird, welche es dem Betrachter erlaubt, wie in einem analogen System auf unterschiedliche Bereiche mit dem Auge zu akkommodieren.For this reason, systems have been proposed in recent years in which a representation of different focal planes is realized in completely digital systems, which allows the viewer, as in an analog system to accommodate different areas with the eye.

Ein Ansatz, der einer natürlichen Wahrnehmung sehr nahe kommt, ist beispielsweise in der US 5,880,711 beschrieben. Hier werden mit hoher Geschwindigkeit Bilder für verschiedene Fokuslagen in einem Visualisierungssystem angezeigt. Die beschriebene Lösung beruht dabei darauf, dass innerhalb einer normalen Einzelbildwiedergabe, somit innerhalb eines „normalen Frames”, also mit einer Bildwiederholfrequenz bzw. einer Framerate von ungefähr 60 Hz, Bilder in allen verfügbaren Fokuslagen für den Beobachter angeboten werden. Dabei beschreibt die US 5,880,711 eine zeitlich sequenzielle Darstellung der Bilder in verschiedenen Fokusebenen. Werden beispielsweise sechs Fokusebenen angeboten, muss der Bildgeber für eine Bildwiederholfrequenz von 60 Hz für das volle 3D-Datenvolumen eine Bildwiederholrate von 6 × 60 Hz = 360 Hz bereitstellen. Dabei handelt es sich um verschiedene Bilder (je eines für jede Fokusebene) – anders als bei modernen TFT-Monitoren, die bei 100 Hz eine Interpolation von Bildern durchführen, wobei die Bilder jeweils mit 60 Hz zur Verfügung gestellt werden. Eine Lösung, wie die benötigte Bildwiederholrate für eine Darstellung eines Bildstapels ohne Flackern mit einem einzigen Bildgeber realisiert werden kann, wird in US 5,880,711 nicht aufgezeigt.An approach that comes very close to a natural perception, for example, in the US 5,880,711 described. Here, images for different focal positions are displayed at high speed in a visualization system. The solution described is based on the fact that within a normal frame reproduction, thus within a "normal frame", ie with a refresh rate or a frame rate of about 60 Hz, images are offered in all available focus positions for the observer. US Pat. No. 5,880,711 describes a temporally sequential representation of the images in different focal planes. For example, if you have six focal planes, the imager needs to provide a frame rate of 6 × 60 Hz = 360 Hz for the full 3D data volume for a refresh rate of 60 Hz. These are different images (one for each focal plane) - unlike modern TFT monitors, which perform interpolation at 100 Hz, with the images being provided at 60 Hz each. A solution, such as the required refresh rate for a representation of an image stack without flickering can be realized with a single imager is not shown in US 5,880,711.

Ein Bildstapel wird dabei gebildet durch Bilder, welche verschiedene Fokusebenen abbilden. Im Rahmen der vorliegenden Erfindung wird ein solcher Bildstapel auch als Fokusstapel oder Stapel von Fokusebenen bezeichnet. An image stack is formed by images that depict different focal planes. In the context of the present invention, such an image stack is also referred to as a focus stack or stack of focal planes.

In DE 10 2005 034 990 A1 werden ein Verfahren und eine Vorrichtung zur Digitalprojektion mit hoher Bildschärfe vorgeschlagen. Das dort beschriebene Verfahren sieht vor, dass zur Darstellung mehrere digitaler Bilder auf einer Projektionsfläche mehrere Projektoren, die auf unterschiedliche Bildebenen eingestellt sind, Inhalte von Bildpuffern in Bereiche der Projektionsfläche projizieren. Allerdings wird nichts über die Bildwiederholfrequenz der Projektoren gesagt.In DE 10 2005 034 990 A1 For example, a high definition digital projection method and apparatus is proposed. The method described there provides that, to display a plurality of digital images on a projection surface, a plurality of projectors that are set to different image planes project contents of image buffers into regions of the projection surface. However, nothing is said about the refresh rate of the projectors.

In DE 10 2006 025 149 A1 wird ein optisches Gerät mit erhöhter Tiefenschärfe vorgestellt. Auch hier wird keine Aussage über die Bildwiederholfrequenz des Bildgebers getroffen.In DE 10 2006 025 149 A1 An optical device with increased depth of focus is presented. Again, no statement is made about the image refresh rate of the imager.

Ferner beschreibt WO 2014/012694 A1 eine multifokale Darstellungsvorrichtung und ein multifokales Darstellungsverfahren zur dreidimensionalen Darstellung eines Objektes, ohne dass eine Angabe über die Bildwiederholfrequenz des Bildgebers gemacht wird.Further describes WO 2014/012694 A1 a multifocal display device and a multifocal display method for three-dimensional representation of an object, without an indication of the image refresh rate of the imager is made.

In US 2006/250336 A1 wird ein Verfahren zur Erzeugung von Graustufen mit einem DMD (Digital Micromirror Device) beschrieben. Es wird die Helligkeit der Beleuchtung für die verschiedenen Bit-Stufen angepasst. Die Anpassung der Helligkeiten erfolgt dabei über

a) die Verwendung von mehreren Lampen, die ein- und ausgeschaltet werden können, oder
b) eine oder mehrere Lampen, die – je nach Bit-Stufe – mit unterschiedlichen Intensitäten betrieben werden können, oder
c) eine Lampe konstanter Helligkeit, deren Licht mit schaltbaren Abschwächern (mittels rotierenden Abschwächern oder mittels Flüssigkristall zur Abschwächung oder Pulsweitenmodulation) geschwächt werden kann, oder
d) die Verwendung eines Farbrads, das mit einem Vielfachen der Framerate rotiert, so dass das längste Bit auf mehrere Umläufe des Farbrads verteilt werden kann, oder
e) die Beleuchtung der DMD-Spiegel aus zwei Richtungen mit zwei verschiedenen Farben, wobei die ON-Stellung für eine erste Beleuchtung (mit einer ersten Farbe) der OFF-Stellung der zweiten Beleuchtung (einer zweiten Farbe) entspricht, wobei hierbei jedoch unklar ist, wie auf diese Weise Graustufen bzw. ein schwarzes Bild erzeugt werden können.

In US 2006/250336 A1 A method for generating grayscale with a DMD (Digital Micromirror Device) is described. It adjusts the brightness of the lighting for the different bit levels. The adaptation of the brightnesses takes place via

a) the use of several lamps that can be switched on or off, or
b) one or more lamps which - depending on the bit level - can be operated with different intensities, or
c) a lamp of constant brightness whose light can be attenuated with switchable attenuators (by means of rotating attenuators or by liquid crystal for attenuation or pulse width modulation), or
d) the use of a color wheel which rotates at a multiple of the frame rate, so that the longest bit can be distributed over several cycles of the color wheel, or
e) the illumination of the DMD mirrors from two directions with two different colors, wherein the ON position for a first illumination (with a first color) corresponds to the OFF position of the second illumination (a second color), but this is unclear how to create grayscale or a black image in this way.

Das Verfahren bezieht sich auf DMDs (Digital Micromirror Devices), die mit „global reset” (alle Pixel stellen gleichzeitig dieselbe Bit-Stufe dar) und mit „phased reset” (Bit-Stufen werden zeilenweise oder in Blöcken von beispielsweise 8 Zeilen gleichzeitig dargestellt) betrieben werden.The method relates to digital micromirror devices (DMDs) that have "global reset" (all pixels simultaneously represent the same bit level) and "phased reset" (bit steps are displayed line by line or in blocks of, for example, 8 lines simultaneously ) operate.

Den in US 2006/250336 A1 beschriebenen Varianten ist dabei gemeinsam, dass diese mehrere Lichtquellen verwenden und/oder das Beleuchtungslicht mittels zusätzlicher Elemente (beispielsweise rotierende Abschwächer, Flüssigkristall) zeitlich variabel abschwächen und/oder dass die Helligkeit der Lichtquelle direkt gesteuert wird.The in US 2006/250336 A1 variants described here is common that they use multiple light sources and / or attenuate the illumination light by means of additional elements (for example, rotating attenuator, liquid crystal) variable in time and / or that the brightness of the light source is controlled directly.

In DE 10 2008 045 075 A1 wird ein Verfahren und eine Vorrichtung zur Erhöhung der Bit-Tiefe und der quasi-gleichzeitigen Darstellung zweier Bilder für eine Stereobild-Darstellung mit einem einzigen Bildgeber beschrieben. Die Beleuchtung wird dabei in deren Pulsweite moduliert.In DE 10 2008 045 075 A1 For example, a method and apparatus for increasing bit depth and quasi-concurrent representation of two images for a stereo image representation with a single imager will be described. The lighting is modulated in their pulse width.

Allerdings beziehen sich weder US 2006/250336 A1 noch DE 10 2008 045 075 A1 auf eine Darstellung von Bildern in verschiedenen Fokuslagen. So wird beispielsweise auch keine Anpassung der Fokuslage zwischen den (Teil-)Bildern vorgenommen.However, neither relate US 2006/250336 A1 yet DE 10 2008 045 075 A1 on a representation of images in different focal positions. For example, no adjustment of the focus position between the (partial) images is made.

Folglich besteht für die Darstellung von Bildern in verschiedenen Fokuslagen ein begrenzender Parameter in deren Bildwiederholfrequenz. So ist es beispielsweise schwierig, mit einem 60 Hz-Projektor eine flackerfreie, hoch auflösende, sequenziell-multifokale Darstellung zu verwirklichen.Consequently, there is a limiting parameter in their refresh rate for displaying images in different focal positions. For example, it is difficult to realize flicker-free, high-resolution, sequential-multifocal imaging with a 60 Hz projector.

Eine Aufgabe der Erfindung ist es, eine multifokale Bildwiedergabe für digitale Bildwiedergabesysteme zu ermöglichen, bei welcher die resultierende Bildwiederholrate des Bildgebers 59 Hz oder mehr liegt, so dass die dargestellten Bildinhalte weder flackern noch ruckeln, sowie ein entsprechendes Verfahren und eine entsprechende Vorrichtung zur schnellen multifokalen Bildwiedergabe bereitzustellen.An object of the present invention is to provide multifocal image reproduction for digital image display systems in which the resultant image refresh rate of the imager is 59 Hz or more, so that the displayed image contents neither flicker nor jerk, and a corresponding method and apparatus for fast multifocal To provide image reproduction.

Als Bildinhalt wird im Rahmen der vorliegenden Erfindung die Gesamtheit der Bildinformation für ein Bild, also beispielsweise eine bestimmte Fokusebene, bezeichnet. Die Gesamtheit der Bildinformation wird gebildet aus der Gesamtheit der Grauwerte der einzelnen Pixel eines abzubildenden Bildes für jede abzubildende Farbe. Within the scope of the present invention, the entirety of the image information for an image, that is to say for example a specific focal plane, is referred to as image content. The entirety of the image information is formed from the totality of the gray values of the individual pixels of an image to be imaged for each color to be imaged.

Diese Aufgabe der Erfindung wird durch ein Verfahren zur schnellen multifokalen Bildwiedergabe nach Anspruch 1 sowie durch eine Vorrichtung zur schnellen multifokalen Bildwiedergabe nach Anspruch 15 gelöst.This object of the invention is achieved by a method for fast multifocal image reproduction according to claim 1 and by a device for fast multifocal image reproduction according to claim 15.

Bei dem erfindungsgemäßen Verfahren zur schnellen Wiedergabe von Bildinformationen aus verschiedenen Fokusebenen mit einer Bildwiederholrate von 59 Hz oder mehr wird jedem Bildpunkt für jede Fokusebene und für jede der mindestens einen Farbe ein Grauwert zugeordnet, und das Verfahren umfasst

– die Beleuchtung mindestens eines Lichtmodulators für jeden der einzelnen Bildpunkte während n Zeitsegmenten, wobei n größer oder gleich 1 ist, wobei sich die Dauer der Beleuchtung von Zeitsegment zu Zeitsegment unterscheiden kann und wobei der mindestens eine Lichtmodulator derart ausgestaltet ist, dass dieser in einem ersten Zustand Licht zu einer Bildausgabe lenkt und in einem zweiten Zustand Licht nicht zu einer Bildausgabe lenkt, und
– die Ansteuerung des mindestens einen Lichtmodulators in Abhängigkeit von dem Grauwert derart, dass während jedem der n Zeitsegmente der Lichtmodulator entweder durchgehend in dem ersten oder durchgehend in dem zweiten Zustand ist, und
– die Ansteuerung von mindestens einem Lichtmodulator und Beleuchtungseinrichtung in Abhängigkeit einer optischen Einheit, die die Fokuslage der Bildausgabe verändert.

In the method according to the invention for fast reproduction of image information from different focal planes with a refresh rate of 59 Hz or more, each pixel is assigned a gray value for each focal plane and for each of the at least one color, and the method comprises

- The illumination of at least one light modulator for each of the individual pixels during n time segments, where n is greater than or equal to 1, wherein the duration of the illumination from time segment to time segment may differ and wherein the at least one light modulator is configured such that this in a first State directs light to an image output and in a second state does not direct light to an image output, and
- The control of the at least one light modulator in dependence on the gray value such that during each of the n time segments of the light modulator is either continuously in the first or continuously in the second state, and
- The control of at least one light modulator and illumination device in response to an optical unit that changes the focus position of the image output.

Als Lichtmodulator wird hierbei eine Vorrichtung bezeichnet, welche Licht eine räumliche Modulation aufprägt. Eine Lichtmodulatoranordnung ist dabei eine Anordnung mehrerer solcher einzelner Lichtmodulatoren. Wird als Lichtmodulatoranordnung beispielsweise ein Digital Micromirror Device verwendet, so sind die Mikrospiegel des DMD als Lichtmodulatoren zu betrachten, wobei deren Gesamtheit die Lichtmodulatoranordnung bildet.In this case, a light modulator is a device which imparts a spatial modulation to light. A light modulator arrangement is an arrangement of a plurality of such individual light modulators. If, for example, a digital micromirror device is used as the light modulator arrangement, then the micromirrors of the DMD are to be regarded as light modulators, the entirety of which forms the light modulator arrangement.

Vorteilhaft weisen bei dem Verfahren die n Zeitsegmente jeweils die gleiche Dauer auf.Advantageously, in the method, the n time segments each have the same duration.

Ferner beträgt bei dem Verfahren die Zeitdauer der Beleuchtung in einem k-ten Zeitsegment, k = 1, ..., n, 1/(2^k) mal der Zeitdauer eines der n Zeitsegmente.Further, in the method, the duration of illumination in a k-th time segment is k = 1, ..., n, 1 / (2 ^k ) times the time duration of one of the n time segments.

Bevorzugt ist dem Bildpunkt eine Mehrzahl von Farbanteilen zugeordnet, wobei jedem Farbanteil ein jeweiliger Grauwert zugeordnet ist, wobei das Beleuchten und das Ansteuern für jeden Farbanteil separat durchgeführt wird.Preferably, the pixel is associated with a plurality of color components, wherein each color component is assigned a respective gray value, wherein the lighting and the driving for each color component is performed separately.

Bevorzugt ist bei dem Verfahren ferner jedem Farbanteil eine separate Lichtmodulatoranordnung und eine separate Lichtquelle bzw. Beleuchtungseinrichtung zur Beleuchtung zugeordnet.In the method, furthermore, each color component is assigned a separate light modulator arrangement and a separate light source or illumination device for illumination.

Dabei kann die Zeitdauer der Beleuchtung vorteilhaft durch entsprechendes Ansteuern einer Lichtquelle zur Erzeugung der Beleuchtung erzeugt werden.In this case, the duration of the illumination can advantageously be generated by corresponding activation of a light source for generating the illumination.

Bei einer bevorzugten Ausführungsform des Verfahrens umfasst dieses das Beleuchten mindestens eines Lichtmodulators während m weiterer Zeitsegmente unterschiedlicher Dauer mit m größer oder gleich 1, wobei die Beleuchtung der m weiteren Zeitsegmente kontinuierlich erfolgt, und das Ansteuern des Lichtmodulators in Abhängigkeit von dem Grauwert während der m weiteren Zeitsegmente derart erfolgt, dass während jedes Zeitsegments der m weiteren Zeitsegmente sich der Lichtmodulator jeweils durchgehend in dem ersten Zustand oder durchgehend in dem zweiten Zustand befindet.In a preferred embodiment of the method, this comprises illuminating at least one light modulator during m further time segments of different duration with m greater than or equal to 1, the illumination of the further m time segments taking place continuously, and driving the light modulator as a function of the gray value during the further m Time segments is performed such that during each time segment of the m other time segments, the light modulator is continuously in the first state or continuously in the second state.

Bevorzugt beträgt bei diesem Verfahren die Länge des l-ten Zeitsegments der m weiteren Zeitsegmente, l = 1, ..., n, 2^l-1 mal der Zeitdauer eines der n Zeitsegmente.Preferably, in this method, the length of the l-th time segment of the m further time segments, l = 1, ..., n, 2 ^l-1 times the duration of one of the n time segments.

Diese Zeitsegmente werden dabei im Rahmen der vorliegenden Erfindung auch als Bits bezeichnet. Ein „langes” Bit oder Zeitsegment weist im Vergleich zu einem „kurzen” Bit oder Zeitsegment also eine längere Dauer auf.These time segments are also referred to as bits in the context of the present invention. A "long" bit or time segment thus has a longer duration compared to a "short" bit or time segment.

Weiterhin weisen diese Zeitsegmente oder Bits je nach ihrer Abfolge auch einen unterschiedlichen Stellenwert auf. Beispielsweise weist das erste Zeitsegment oder Bit den Stellenwert 0 auf, das fünfte Bit den Stellenwert 4. Als Stellenwert wird dabei die Stelle innerhalb einer Abfolge mehrerer Bits bezeichnet, innerhalb welcher das Bit in einer Abfolge von Bits steht. Das Zeitsegment bzw. Bit mit dem höchstens Stellenwert wird dabei auch als das „most significant bit” bezeichnet.Furthermore, these time segments or bits also have a different significance depending on their sequence. For example, the first time segment or bit has the value 0, the fifth bit the value 4. The position within a sequence of several bits is designated as a value within which bit is in a sequence of bits. The time segment or bit with the maximum significance is also referred to as the "most significant bit".

Bevorzugt erfolgt bei dem Verfahren zur Wiedergabe eines Bildstapels, bei welchem der Bildstapel N Bilder mit N größer als 1 aufweist, wobei jedes der N Bilder eine Mehrzahl von Bildpunkten aufweist, wobei zur Wiedergabe jedes Bildpunktes jedes der N Bilder das Verfahren nach einem der Ansprüche 1 bis 14 durchgeführt wird, wobei jedem Bildpunkt jedes der N Bilder ein separater Lichtmodulator zugeordnet ist, die Beleuchtung der den Bildpunkten zugeordneten Lichtmodulatoren gemeinsam.Preferably, in the method for reproducing an image stack, wherein the image stack comprises N images with N greater than 1, each of the N images having a plurality of pixels, each image of each of the N images comprising the method of any one of claims 1 to reproduce each pixel 14, wherein each pixel of each of the N images is assigned a separate light modulator, the illumination of the light modulators associated with the pixels is common.

Vorteilhaft bilden die den Bildpunkten zugeordneten Lichtmodulatoren ein Mikrospiegel-Array.Advantageously, the light modulators associated with the pixels form a micromirror array.

Ebenfalls vorteilhaft wird, wenn n einstellbar ist, die Helligkeit der Beleuchtung in Abhängigkeit von n eingestellt.Likewise, if n is adjustable, the brightness of the illumination is set as a function of n.

Dabei kann die Beleuchtung auch innerhalb mindestens eines der n Zeitsegmente gepulst werden.The illumination can also be pulsed within at least one of the n time segments.

Bevorzugt wird bei dem Verfahren die Beleuchtungseinrichtung mit minimalen Pulszeiten von 0,5 ms oder kleiner betrieben.In the method, the illumination device is preferably operated with minimum pulse times of 0.5 ms or less.

Bei einer weiteren bevorzugten Ausführungsform des Verfahrens ist die Lichtleistung der Beleuchtungseinrichtung gegenüber der Lichtleistung in einem Standardsystem um den Faktor 5, bevorzugt um den Faktor 10, besonders bevorzugt um den Faktor 15 und ganz besonders bevorzugt um den Faktor 20 oder mehr erhöht.In a further preferred embodiment of the method, the light output of the illumination device is increased by a factor of 5, preferably by a factor of 10, particularly preferably by a factor of 15 and very particularly preferably by a factor of 20 or more compared with the light output in a standard system.

Als Standardsystem wird hierbei ein System, somit eine Vorrichtung und ein Verfahren verstanden, bei welchem die Beleuchtung nicht gepulst ist. Hierbei werden Beleuchtungen, beispielsweise mit Schwarzkörperstrahlern, welche mit periodischen Wechselspannungen oder periodischen Wechselströmen betrieben werden und folglich periodische Schwankungen der Lichtintensität aufweisen, jedoch nicht als gepulste Beleuchtungen verstanden. Im Rahmen der vorliegenden Erfindung werden solche nicht gepulsten Beleuchtungen auch als cw-Beleuchtungen bezeichnet. Als gepulste Beleuchtung wird im Sinne der Erfindung eine Beleuchtung verstanden, bei welcher definierte, und vorzugsweise änder- und einstellbare, Pulszeiten generiert werden.A standard system is understood to be a system, thus a device and a method in which the illumination is not pulsed. In this case, illuminations, for example with black body radiators, which are operated with periodic alternating voltages or periodic alternating currents and consequently have periodic variations in the light intensity, are not understood as pulsed illuminations. In the context of the present invention, such non-pulsed illuminations are also referred to as cw illuminations. In the context of the invention, pulsed illumination is understood to mean illumination in which defined, and preferably changeable and adjustable, pulse times are generated.

Bevorzugt umfasst die Vorrichtung zur Darstellung von Bildinformationen aus verschiedenen Fokusebenen

– einen digitalen Bildgeber, beispielsweise eine Lichtmodulatoranordnung, der eine Vielzahl von Bildpunkten aufweist, wobei jeder einzelne Bildpunkt entweder in einem ersten Zustand ist, der Licht zum Betrachter lenkt, oder in einem zweiten Zustand ist, in dem Licht nicht zum Betrachter gelenkt wird,
– eine Optik, die den Bildinhalt des Bildgebers für einen Betrachter sichtbar macht,
– ein Element zur Änderung der Fokuslage derart, dass der Bildgeber für den Betrachter in unterschiedliche Fokusebenen verschoben werden kann,
– eine Beleuchtungseinheit zur Beleuchtung des Bildgebers und
– eine Steuerungseinheit zur Steuerung von Beleuchtungseinheit, Lichtmodulatoranordnung und Element zur Änderung der Fokuslage,

wobei die Steuerungseinheit derart ausgestaltet ist, dass die Beleuchtungseinheit während n Zeitsegmenten mit n größer oder gleich 1 derart angesteuert ist, dass eine Dauer der Beleuchtung sich von Zeitsegment zu Zeitsegment unterscheiden kann, und wobei die Steuerungseinheit weiterhin derart ausgestaltet ist, dass die Bildpunkte des Bildgebers, beispielsweise der Lichtmodulatoranordnung, jeweils in Abhängigkeit von der Fokuslage so angesteuert sind, dass jeder Bildpunkt während jedem der n Zeitsegmente jeweils entweder den ersten oder den zweiten Zustand annimmt.The device preferably comprises image information from different focal planes

A digital imager, for example a light modulator arrangement having a multiplicity of pixels, each individual pixel being either in a first state directing light to the viewer or being in a second state in which light is not directed to the viewer,
An optic that makes the image content of the imager visible to a viewer,
An element for changing the focal position in such a way that the imager can be shifted for the observer to different focal planes,
A lighting unit for illuminating the imager and
A control unit for controlling the lighting unit, light modulator arrangement and element for changing the focus position,

wherein the control unit is configured such that the lighting unit is controlled during n time segments with n greater than or equal to 1 such that a duration of the illumination may differ from time segment to time segment, and wherein the control unit is further configured such that the image points of the imager , For example, the light modulator arrangement, each driven in response to the focus position so that each pixel during each of the n time segments each assumes either the first or the second state.

Bei einer Ausführungsform der Vorrichtung zur Darstellung von Bildinformationen aus verschiedenen Fokusebenen weisen die n Zeitsegmente vorteilhaft jeweils die gleiche Dauer auf.In one embodiment of the device for displaying image information from different focal planes, the n time segments advantageously each have the same duration.

Bevorzugt umfasst bei der Vorrichtung zur Darstellung von Bildinformationen aus verschiedenen Fokusebenen die Beleuchtungseinheit eine erste Beleuchtungseinheit für einen ersten Farbanteil, eine zweite Beleuchtungseinheit für einen zweiten Farbanteil und eine dritte Beleuchtungseinheit für einen dritten Farbanteil, wobei die Steuerungseinheit so ausgestaltet ist, dass die erste Beleuchtungseinheit, die zweite Beleuchtungseinheit und die dritte Beleuchtungseinheit sequenziell angesteuert sind.In the device for displaying image information from different focal planes, the illumination unit preferably comprises a first illumination unit for a first color component, a second illumination unit for a second color component and a third illumination unit for a third color component, wherein the control unit is configured such that the first illumination unit, the second illumination unit and the third illumination unit are driven sequentially.

Bei einer weiteren bevorzugten Ausführungsform der Vorrichtung zur Darstellung von Bildinformationen aus verschiedenen Fokusebenen umfasst die eine Lichtmodulatoranordnung eine erste Lichtmodulatoranordnung für einen ersten Farbanteil, eine zweite Lichtmodulatoranordnung für einen zweiten Farbanteil und eine dritte Lichtmodulatoranordnung für einen dritten Farbanteil, wobei die Beleuchtungseinheit eine der ersten Lichtmodulatoranordnung zugeordnete erste Beleuchtungseinheit, eine der zweiten Lichtmodulatoranordnung zugeordnete zweite Beleuchtungseinheit und eine der dritten Lichtmodulatoranordnung zugeordnete dritte Beleuchtungseinheit umfasst. In a further preferred embodiment of the device for displaying image information from different focal planes, the one light modulator arrangement comprises a first light modulator arrangement for a first color component, a second light modulator arrangement for a second color component and a third light modulator arrangement for a third color component, wherein the illumination unit is associated with one of the first light modulator arrangement first illumination unit, a second illumination unit assigned to the second light modulator arrangement, and a third illumination unit assigned to the third light modulator arrangement.

Besonders bevorzugt beträgt hierbei die Zeitdauer der Beleuchtung in einem k-ten Zeitsegment, k = 1, ..., n, 1/(2^k) mal der Zeitdauer eines der n Zeitsegmente.Particularly preferred here is the duration of the illumination in a k-th time segment, k = 1,..., N, 1 / (2 ^k ) times the duration of one of the n time segments.

Bei einer nochmals weiteren bevorzugten Ausführungsform der Vorrichtung zur Darstellung von Bildinformationen aus verschiedenen Fokusebenen ist die Steuerungseinheit so ausgestaltet, dass die Beleuchtung der mindestens einen Lichtmodulatoranordnung während m weiterer Zeitsegmente unterschiedlicher Dauer kontinuierlich erfolgt, wobei die Lichtmodulatoren der mindestens einen Lichtmodulatoranordnung in Abhängigkeit von dem Grauwert während der m weiteren Zeitsegmente derart angesteuert werden, dass während jedes Zeitsegments der m weiteren Zeitsegmente sich jeder Lichtmodulator jeweils durchgehend in dem ersten Zustand oder in dem zweiten Zustand befindet.In yet another preferred embodiment of the device for displaying image information from different focal planes, the control unit is designed so that the illumination of the at least one light modulator arrangement continuously takes place during further time segments of different duration, the light modulators of the at least one light modulator arrangement depending on the gray value during the m other time segments are controlled such that during each time segment of the m other time segments each light modulator is continuously in the first state or in the second state.

Hierbei kann bei der Vorrichtung zur Darstellung von Bildinformationen aus verschiedenen Fokusebenen eine Länge des l-ten Zeitsegments der n weiteren Zeitsegmente, l = 1, ..., n, 2^l-1 mal der Zeitdauer eines der n Zeitsegmente betragen.In this case, in the device for displaying image information from different focal planes, a length of the l-th time segment of the n further time segments, l = 1,..., N, 2 ^l-1 times the duration of one of the n time segments.

Besonders bevorzugt umfasst bei der Vorrichtung zur Darstellung von Bildinformationen aus verschiedenen Fokusebenen die mindestens eine Lichtmodulatoranordnung ein Mikrospiegel-Array.In the device for displaying image information from different focal planes, the at least one light modulator arrangement particularly preferably comprises a micromirror array.

Mit der Vorrichtung zur Darstellung von Bildinformationen aus verschiedenen Fokusebenen ist insbesondere auch das hier beschriebene Verfahren durchführbar.With the device for displaying image information from different focal planes in particular also the method described here is feasible.

Die Erfindung wird nachfolgend detaillierter und anhand bevorzugter Ausführungsformen beschrieben.The invention will be described below in more detail and with reference to preferred embodiments.

Als Bildgeber bzw. Bildausgabesystem oder Bildausgabe wird hierbei ein System verwendet, bei welchem die Bildwiedergabe über Pulsweitenmodulation erfolgt. Solche Bildgeber basieren in der Regel auf Mikrospiegel-Arrays als Lichtmodulatoranordnung, wie beispielsweise Digital Micromirror Devices (DMDs) oder LCoS-Systeme. Die Lichtmodulatoren, ausgestaltet als Mikrospiegel, können dabei zwischen einer Position, bei der Licht zum Betrachter gelenkt wird, und einer Position, bei der Licht nicht zum Betrachter gelangt, sondern beispielsweise auf eine absorbierende Fläche gelenkt wird, geschaltet werden. Durch das zeitlich gesteuerte Umschalten der einzelnen Spiegel kann das Licht, das zu einer Projektionsoptik gelenkt wird, digital moduliert werden, beispielsweise, um eine entsprechende Helligkeit des entsprechenden Bildpunktes einzustellen. Derzeit beträgt die sogenannte Umschaltzeit mindestens 15 μs.In this case, a system is used as the imager or image output system or image output, in which the image reproduction takes place via pulse width modulation. Such imagers are typically based on micromirror arrays as light modulator devices, such as digital micromirror devices (DMDs) or LCoS systems. The light modulators, configured as micromirrors, can be switched between a position in which light is directed to the viewer and a position in which light does not reach the viewer but is directed onto an absorbing surface, for example. By the temporally controlled switching of the individual mirrors, the light which is directed to a projection optics can be digitally modulated, for example in order to set a corresponding brightness of the corresponding pixel. Currently, the so-called switching time is at least 15 μs.

Die Helligkeit eines Bildpunktes bzw. einer Farbkomponente wird bei der Beschreibung der Erfindung auch als Grauwert bezeichnet.The brightness of a pixel or a color component is also referred to as a gray value in the description of the invention.

Sollen mit einer derartigen Vorrichtung farbige Bilder erzeugt werden, besteht die Wahl zwischen einer farbsequenziellen oder einer farbparallelen Beleuchtung. Bei einer farbsequenziellen Beleuchtung kann beispielsweise eine Weißlichtquelle mit einem Farbrad kombiniert werden, oder es werden entsprechend schaltbare Lichtquellen verwendet, wohingegen eine farbparallele Vorrichtung mit drei Mikrospiegel-Anordnungen arbeitet, wobei jede Anordnung entsprechend mit nur einer Farbe (rot, grün oder blau) beleuchtet wird, wobei die Ausgaben der einzelnen Arrays dann mit einem Strahlvereiniger wieder zusammengeführt werden.If colored images are to be generated with such a device, it is possible to choose between a color-sequential or a color-parallel illumination. In color sequential lighting, for example, a white light source may be combined with a color wheel, or equivalent switchable light sources may be used, whereas a color parallel device operates with three micromirror arrays, each array being appropriately illuminated with only one color (red, green, or blue) wherein the outputs of the individual arrays are then recombined with a beam combiner.

Neben der vorstehend genannten Umschaltzeit ist eine weitere charakteristische Größe eines solchen Bildgebers die Bandbreite B, mit der Daten in die einzelnen Pixel transferiert werden können. Aus dieser Bandbreite ergibt sich die Zeit τ_plane, welche für den Transfer einer kompletten Bitebene, d. h. also einer Bitinformation für jeden Bildpunkt, in das Mikrospiegel-Array benötigt wird:

Besides the above-mentioned switching time, another characteristic size of such an imager is the bandwidth B at which data can be transferred to the individual pixels. From this bandwidth results the time τ _plane , which is required for the transfer of a complete bit plane, ie bit information for each pixel, into the micromirror array:

Hierbei bezeichnen n_x und n_y die Anzahl der Pixelzeilen bzw. -spalten. Für eine Vorrichtung mit HDTV-Auflösung (1920×1080 Pixel) beträgt die verfügbare Bandbreite B 25,6 GBit/s und τ_plane ist damit 81 μs. Somit ist die Bildwiederholrate nicht durch die Umschaltzeit, sondern allein durch die verfügbare Bandbreite B begrenzt. Here n _x and n _y denote the number of pixel rows or columns. For a device with HDTV resolution (1920 × 1080 pixels) the available bandwidth B is 25.6 GBit / s and τ _plane is thus 81 μs. Thus, the refresh rate is not limited by the switching time, but only by the available bandwidth B.

Zur Darstellung von Grauwerten wird beim DMD die Pulsweitenmodulation verwendet. Für Farbtiefen von bt Bit und 3 Farbkanäle ist τ_Bild = τ_plane·3·(2^bt – 1) (2) dann diejenige Zeit, welche für die Darstellung eines kompletten Bildes benötigt wird. Die sich daraus ergebende Bildwiederholfrequenz ist

und beträgt für eine Bit-Tiefe von 8 Bit etwa 16 Hz. Durch einen segmentweisen Transfer der Daten in einen DMD, einen sogenannten „phased reset”, lässt sich diese Frequenz noch vervierfachen, so dass sich letztendlich für einen Projektor ausreichende 64 Hz realisieren lassen.To display gray values, DMD uses pulse width modulation. For color depths of bt bit and 3 color channels is

τ _image = τ _plane · 3 · (2 ^bt - 1) (2)

then the time needed to render a complete image. The resulting refresh rate is

and amounts to about 16 Hz for a bit depth of 8 bits. By a segment-wise transfer of the data in a DMD, a so-called "phased reset", this frequency can be quadrupled, so that ultimately a sufficient 64 Hz can be realized for a projector ,

Für den Fall, dass die Farbtiefe nicht für alle Farben gleich ist, sondern unterschiedliche Bit-Tiefen für Rot bt_R, Grün bt_G und Blau bt_B dargestellt werden sollen, so ergibt sich für die Formeln (2) und (3)

bzw.In the case that the color depth is not the same for all colors but different bit depths for red bt _R , green bt _G and blue bt _B are to be displayed, the following results for formulas (2) and (3)

respectively.

Eine Optimierung der bekannten Bildgeber auf Basis von Mikrospiegelanordnungen ist möglich, wenn man die Lichtquelle des Systems zeitlich sehr präzise mit der Mikrospiegelanordnung synchronisiert und so die Pulsweitenmodulation für die Grauwerteinstellung zumindest teilweise durch eine Modulation der Beleuchtung realisiert. Dies wird im Folgenden beispielhaft für eine Farbtiefe von 8 Bit erläutert:
Bei einem System mit drei Farbkanälen und jeweils 8 Bit pro Farbkanal ergibt sich nach Gleichung (2) τ_Bild = τ_plane·3·(2⁸ – 1) diejenige Zeit, die für die Darstellung eines kompletten Bildes benötigt wird. Werden nun die ersten b Bit davon über eine Modulation der Beleuchtung kodiert, ergibt sich, dass zur Darstellung eines kompletten Bildinhalts die folgende Zeitspanne notwendig ist: τ * / Bild = τ_plane·3·(2^bt-b – 1 + b) (6) wobei τ^* _Bild kleiner als τ_Bild nach Gleichung (2) für die konventionelle Kodierung ist.An optimization of the known imagers based on micromirror arrangements is possible if the light source of the system is synchronized very precisely in time with the micromirror arrangement, thus realizing the pulse width modulation for the gray value adjustment at least partially by a modulation of the illumination. This is explained below by way of example for a color depth of 8 bits:
In a system with three color channels and 8 bits per color channel, equation (2) yields τ _image = τ _plane · 3 · (2 ⁸ - 1) the time needed to display a complete image. If now the first b bits of these are coded via a modulation of the illumination, it follows that the following time span is necessary for the representation of a complete picture content: τ * / image = τ _plane · 3 · (2 ^bt-b - 1 + b) (6) where τ ^* _{image is} smaller than τ _image according to equation (2) for the conventional coding.

Werden die Farbtiefen für rot, grün und blau jeweils unterschiedlich gewählt, ergibt sich

If the color depths for red, green and blue are each chosen differently, the result is

In den Gleichungen (6) und (7) bezeichnet dabei jeweils b die Zahl der Bits, die über eine Modulation der Beleuchtung kodiert werden.In equations (6) and (7), b in each case denotes the number of bits which are coded via a modulation of the illumination.

Auf diese Weise verkürzt sich die Zeitdauer gegenüber dem Stand der Technik für die komplette Übertragung eines Bildes um etwa den Faktor 1/2^b bzw. erhöht sich entsprechend Gleichung (3) die Bildwiederholfrequenz um den Faktor 2^b.In this way, the time duration compared with the prior art for the complete transmission of an image is shortened by about a factor of 1/2 ^b or increased according to equation (3) the refresh rate by a factor of 2 ^b .

Im Unterschied zur konventionellen Kodierung gibt es hierbei Phasen, in welchen der Bildgeber unabhängig vom dargestellten Grauwert niemals Licht aussendet, nämlich während der b niedrigsten Bits, wenn die Leuchtquelle kein Licht aussendet. Um beim Betrachter denselben Lichteindruck zu gewährleisten wie bei einer Vorrichtung mit kontinuierlicher Beleuchtung, muss die Helligkeit der Lichtquelle zur Kompensation entsprechend erhöht werden. So ist die Lichtleistung der Beleuchtung beim erfindungsgemäßen Verfahren gegenüber der Lichtleistung in einem Standardsystem erhöht. Dieser Anpassungsfaktor errechnet sich zu:

In contrast to conventional coding, there are phases in which the imager never emits light, regardless of the displayed gray value, namely during the b lowest bits, when the light source does not emit light. To ensure the same light impression in the viewer as in a device with continuous illumination, the brightness of the light source must be increased to compensate accordingly. Thus, the light output of the illumination in the method according to the invention is increased compared to the light output in a standard system. This adjustment factor is calculated to:

Hierbei bezeichnet τ_rs die Zeitspanne zwischen zwei Umschaltvorgängen für einen Mikrospiegel in einem Mikrospiegel-Array (sogenannte reset&settle-time). Diese kann technisch bedingt nicht kleiner als etwa 15 μs werden.Here, τ _rs denotes the time span between two micromirror switching operations in a micromirror array (so-called reset & settle-time). For technical reasons, this can not be less than about 15 μs.

In der folgenden Tabelle sind für unterschiedliche Anzahlen von „gepulsten” Bits und bei unterschiedlichen Pulszeiten τ_Puls der Leuchtquelle die Werte für τ*_Bild, d. h. für die Zeit, die für die Darstellung eines Bildes bei einer Bit-Tiefe von 8 für die drei Farben Rot, Grün, Blau bei einer Bandbreite von 25,6 GBit/s benötigt wird, aufgeführt. Tabelle 1 B Referenz 1 2 3 4 5 6 7 τ_puls [μs] cw (81) 20,736 10,37 5,18 2,59 1,30 0,65 0,32 τ*_Bild [μs] 16667 74318 37283 18828 9663 5143 2945 1908 f^* [Hz] 60 13 27 53 103 194 340 524 k_illum 1 1,001 1,004 1,014 1,041 1,108 1,269 1,644 In the following table, for different numbers of "pulsed" bits and at different pulse times τ _{pulse of} the luminous source, the values for τ * _image , ie for the time taken for the representation of an image at a bit depth of 8 for the three colors Red, Green, Blue is required at a bandwidth of 25.6 Gbps. Table 1 B reference 1 2 3 4 5 6 7 τ _pulse [μs] cw (81) 20.736 10.37 5.18 2.59 1.30 0.65 0.32 τ * _Image [μs] 16667 74318 37283 18828 9663 5143 2945 1908 f ^* [Hz] 60 13 27 53 103 194 340 524 k _illum 1 1.001 1,004 1,014 1,041 1,108 1,269 1,644

Es zeigt sich, dass schon durch das Pulsen der untersten b = 5 Bits eine Bildwiederholrate von mehr als 300 Hz ermöglicht wird. Da sich mit aktuell verfügbaren LED-Ansteuerungen auch Pulse mit τ_Puls < 0,5 μs realisieren lassen, ist eine Umsetzung mit solch hohen Bildraten möglich.It turns out that even by pulsing the lowest b = 5 bits a frame rate of more than 300 Hz is possible. Since it is also possible to realize pulses with τ _pulse <0.5 μs with currently available LED drives, a conversion with such high frame rates is possible.

Diese erhöhte Bildrate wird erfindungsgemäß dafür genutzt, sequenziell Bilder in verschiedenen Fokuslagen darzustellen.This increased frame rate is used according to the invention to sequentially display images in different focal positions.

Hierfür wird ein verfügbarer Bildgeber, der eigentlich nur mit einer Rate von etwa 59 Hz neue Bildinhalte darstellen kann, verwendet, um eine Abfolge von N Bildern in verschiedenen Fokuslagen „sehr schnell” darzustellen. Dabei sollte ein Bildstapel mit mindestens 24 Hz dargestellt werden, besser mit mehr als 50 Hz.For this purpose, an available imager, which can actually display new image content only at a rate of about 59 Hz, is used to display a sequence of N images in different focal positions "very fast". It should display a picture stack with at least 24 Hz, better with more than 50 Hz.

Wenn τ_Schalt die Zeit ist, die benötigt wird, im Bildwiedergabesystem zwischen zwei Fokuslagen umzuschalten, z. B. durch Bewegung von Linsen, Alvarez-Elementen, Schalten einer Vario-Linse etc., so ergibt sich nach dem Stand der Technik für die Zeit T, die für die Darstellung eines Bildstapels von N Fokusebenen benötigt wird: T = N·(τ_Bild + τ_umschalt) (9) When τ _{switching is} the time required to _switch between two focal positions in the image display system, e.g. B. by movement of lenses, Alvarez elements, switching a Vario lens, etc., it follows from the prior art for the time T, which is required for the representation of a picture stack of N focal planes: T = N · (τ _picture + τ _switchover ) (9)

Für einen Stapel von N = 5 Bildern, einer Umschaltzeit von 1 ms sowie einer Zeit zur Darstellung eines Bildes von ungefähr 16,7 ms ergibt sich eine Zeit von 88 ms zur Darstellung eines ganzen Bildstapels, was einer Bildwiederholrate für einen Fokusstapel nach dem Stand der Technik von 11,3 Hz entspricht. Dieser Wert liegt deutlich unter dem, was als ruckel- und flackerfreies Bild gefordert wird.For a stack of N = 5 images, a 1 ms switching time, and an image display time of about 16.7 ms, there is a time of 88 ms to display an entire image stack, which is a refresh rate for a focus stack of the prior art Technique of 11.3 Hz corresponds. This value is well below what is required as a smooth and flicker-free image.

Diesen Forderungen kann jedoch Genüge getan werden, wenn wie vorstehend beschrieben eine Anpassung der Beleuchtung für die untersten b Bits durchgeführt wird ((Doppelter Satz!)). Es ergibt sich dann für die Darstellung eines Bildstapels von N Bildern und einer Bit-Tiefe bt (bzw. bt_R, bt_G, bt_B) T* = N·(τ * / Bild + τ_umschalt) = N·(τ_plane·3·(2^bt-b – 1 + b) + τ_umschalt) (10) bzw.

However, these requirements can be met if an adjustment of the illumination for the lowest b bits is carried out as described above ((double sentence!)). It then results for the representation of a picture stack of N pictures and a bit depth bt (or bt _R , bt _G , bt _B )

T * = N * (τ * / picture + τ _switchover ) = N * (τ _plane * 3 * (2 ^bt-b - 1 + b) + τ _switchover ) (10)

respectively.

Für die daraus resultierenden Bildwiederholraten eines Bildstapels mit angepasster Beleuchtung ergibt sich F* = ¹/_T* (12) bzw.

For the resulting image refresh rates of a picture stack with adapted lighting results

F * = ¹ / _{T *} (12)

respectively.

Während der Umschaltzeit muss die Beleuchtung des Mikrospiegel-Arrays ausgeschaltet bleiben, und auch während der gepulst dargestellten Bits verbleibt die Beleuchtung zeitweise dunkel. Dies führt dazu, dass die Lichtleistung der Beleuchtung erhöht werden muss, um im gepulsten Fall in der Darstellung eines Bildstapels die gleiche Helligkeit zu erzielen, wie diese bei einer kontinuierlichen Beleuchtung erreicht wird. Analog zu Gleichung (8) ergibt sich für die Beleuchtung eines Bildstapels:

During the switching time, the illumination of the micromirror array must remain switched off, and the illumination remains temporarily dark during the bits shown in pulsed form. As a result, the luminous power of the illumination has to be increased in order to achieve the same brightness in the representation of an image stack in the pulsed case as is achieved in the case of continuous illumination. Analogously to equation (8), the illumination of a picture stack results in:

Wichtig ist hierbei zu beachten, dass die Helligkeit für jedes einzelne Bild eines Stapels so hell sein sollte wie bei der Anzeige eines Einzelbildes ohne Bildstapel. Zur Vermeidung eines Kontrastverlustes ist es bei der Darstellung eines Bildstapels sinnvoll, jedem Pixel x, y möglichst genau eine Ebene z zuzuordnen. Das hat zur Folge, dass die Gesamthelligkeit eines Bildstapels um den Faktor N geringer ist als die Helligkeit eines einzelnen Bildes, das nicht Teil eines Stapels ist. Aus diesem Grund ist es sinnvoll, die Helligkeit bei einer angepassten Beleuchtung nicht nur um K_illum zu erhöhen, sondern um das N-fache davon: N_illum = N·K_illum (15) It is important to note that the brightness should be as bright for each individual image in a stack as when displaying a single image without a stack of images. In order to avoid a loss of contrast, it makes sense to associate each pixel x, y as precisely as possible with one plane z when displaying a picture stack. As a result, the overall brightness of an image stack is smaller by a factor of N than the brightness of a single image that is not part of a stack. For this reason, it makes sense not only to increase the brightness by a limited _{amount of} illumination, but by about N times: _Illum = N · _Illum (15)

Die Gleichungen (14) und (15) lassen sich leicht anpassen für Beleuchtungen, bei welchen nicht alle Farben die gleiche Bit-Tiefe aufweisen.Equations (14) and (15) are easily adaptable for illuminations in which not all colors have the same bit depth.

BeispieleExamples

Ausführungsbeispiel 1Embodiment 1

In Ausführungsbeispiel 1 wird die maximale Bildwiederholrate F* nach Gleichung (12) und der Faktor K_illum, um den die Beleuchtung heller sein muss als bei einer nicht gepulsten oder cw-Beleuchtung, nach Gleichung (14), bzw. der Faktor KN_illum, um den die Beleuchtung heller sein muss als bei einer Beleuchtung, welche eine zeitlich konstante Lichtleistung aufweist, für ein Einzelbild nach Gleichung (15) berechnet. Dafür werden die minimalen Pulszeiten τ_Puls zu einer gegebenen Anzahl von Bits, in denen nicht kontinuierlich beleuchtet, sondern die Beleuchtung an- und ausgeschaltet wird, angegeben, sowie die Zeiten T*, die für die Darstellung eines Bildstapels aus N = 5 Bildern bei einer Bit-Tiefe von 8 für die drei Farben Rot, Grün und Blau und einer Bandbreite von B = 25,6 GBit/s, berechnet. Zugrunde gelegt wurde dabei eine Auflösung von 1920×1080 Pixel.In Embodiment 1, the maximum refresh rate F * according to Equation (12) and the factor K _illum by which the illumination must be brighter than in non-pulsed or cw illumination according to Equation (14), or the factor KN _illum , by which the illumination must be brighter than with illumination having a temporally constant light output, calculated for a single image according to equation (15). For this purpose, the minimum pulse times τ _{pulse are given} for a given number of bits in which the illumination is not switched on continuously but the illumination is switched on and off, and the times T * for the representation of an image stack of N = 5 images at a bit depth of 8 for the three colors red, green and blue and a bandwidth of B = 25.6 GBit / s. It was based on a resolution of 1920 × 1080 pixels.

Die Daten finden sich zusammengestellt in der folgenden Tabelle: Tabelle 2

The data can be found in the following table: Table 2

In der mit „0 – Referenz” überschriebenen Spalte sind dabei die Parameter für eine konventionelle Beleuchtung, d. h. 0 Bits, während welchen die Beleuchtung an- und ausgeschaltet bzw. „geblitzt” wird, mit einem klassischen 60 Hz Bildgeber gegeben. Die entsprechende Bildrate beträgt dabei etwas weniger als 60 Hz und wird beispielsweise auch mit 59,94 Hz angegeben.In the column headed "0 - Reference", the parameters for a conventional illumination, i. H. 0 bits, during which the lighting is switched on and off or "flashed", given with a classic 60 Hz imager. The corresponding frame rate is slightly less than 60 Hz and is also given, for example, as 59.94 Hz.

Es zeigt sich dabei, dass bereits nach einem Pulsen der untersten b = 5 Bits eine Bildstapel-Wiederholrate bei N = 5 Bildern von mehr als 50 Hz möglich ist. Die dafür erforderliche Erhöhung der Lichtleistung in der Beleuchtung um den Faktor KN_illum von ungefähr 10 ist für digitale Okularsysteme mit den verfügbaren LEDs realisierbar.It turns out that even after a pulse of the lowest b = 5 bits, an image stack repetition rate at N = 5 images of more than 50 Hz is possible. The required increase in the light output in the illumination by the factor KN _illum of about 10 is feasible for digital eyepiece systems with the available LEDs.

Ausführungsbeispiel 2Embodiment 2

Für Ausführungsbeispiel 2 wird von einer derzeit noch nicht realisierten, aber zukünftig möglichen Bandbreite B von 50 GBit/s ausgegangen. Für ein solches System ist es sinnvoll, die Bit-Tiefe zu erhöhen. Hier wird davon ausgegangen, dass die Bit-Tiefe für Rot 10, für Grün 11 und für Blau 9 beträgt. Mit diesen Annahmen wird die maximale Bildwiederholrate F* nach Gleichung (12) und der Faktor K_illum, um den die Beleuchtung heller sein muss als bei der cw-Beleuchtung nach Gleichung (14) bzw. der Faktor KN_illum, um den die Beleuchtung heller sein muss als bei einer cw-Beleuchtung für ein Einzelbild nach Gleichung (15) berechnet. Dafür werden die minimalen Pulszeiten τ_Puls zu einer gegebenen Anzahl von Bits, in welchen nicht kontinuierlich beleuchtet, sondern die Beleuchtung an- und ausgeschaltet wird, angegeben, sowie die Zeiten T* berechnet. Hierbei wird wieder von einer Auflösung von 1920×1080 Pixel ausgegangen.For example embodiment 2, a bandwidth B of 50 Gbit / s, which is currently not yet realized but is possible in the future, is assumed. For such a system, it makes sense to increase the bit depth. Here, it is assumed that the bit depth is 10 for red, 9 for green, and 9 for blue. With these assumptions, the maximum refresh rate F * according to equation (12) and the factor K _illum , by which the illumination must be brighter than with the cw illumination according to equation (14) or the factor KN _illum , makes the illumination brighter must be calculated as for a cw illumination for a single frame according to equation (15). For this purpose, the minimum pulse times τ _{pulse are given} for a given number of bits, in which the light is not switched on continuously but the lighting is switched on and off, and the times T * are calculated. Here again, a resolution of 1920 × 1080 pixels is assumed.

Die Daten finden sich zusammengestellt in der folgenden Tabelle: Tabelle 3

The data can be found in the following table: Table 3

Hier zeigt es sich, dass nach einem Pulsen der untersten b = 6 Bits eine Bildstapel-Wiederholrate bei N = 5 Bildern von mehr als 50 Hz möglich ist. Die erforderliche Erhöhung der Lichtleistung in der Beleuchtung um einen Faktor KN_illum < 10 ist für digitale Okularsysteme mit den verfügbaren LEDs realisierbar.Here it turns out that after a pulse of the lowest b = 6 bits an image stack repetition rate with N = 5 images of more than 50 Hz is possible. The required increase in the light output in the lighting by a factor of KN _illum <10 is feasible for digital eyepiece systems with the available LEDs.

Ausführungsbeispiel 3Embodiment 3

Bei einem erfindungsgemäßen System zur schnellen, multifokalen Bildwiedergabe mit einer Bandbreite von 25,6 GBit/s oder 50 GBit/s wie in den Ausführungsbeispielen 1 und 2 ist es weiterhin möglich, zur Vermeidung des Regenbogeneffekts nicht alle Farben nacheinander darzustellen, sondern die Bits der einzelnen Farben zu mischen. Dabei ist es insbesondere vorteilhaft, auf ein „langes” Bit einer Farbe zwei „kürzere” Bits der anderen Farben folgen zu lassen.In a system according to the invention for fast, multifocal image reproduction with a bandwidth of 25.6 Gbit / s or 50 Gbit / s as in embodiments 1 and 2, it is still possible not to display all the colors one after the other, but rather the bits in order to avoid the rainbow effect to mix individual colors. It is particularly advantageous to let follow a "long" bit of a color two "shorter" bits of the other colors.

Als Bits werden hierbei die Zustände des Lichtmodulators verstanden.In this case, bits are understood to be the states of the light modulator.

Darüber hinaus ist es weiterhin möglich, die „längsten” Bits wie beispielsweise das most significant bit zeitlich zu teilen und diese Teile des Bits nicht aufeinanderfolgend darzustellen.Moreover, it is still possible to temporally divide the "longest" bits, such as the most significant bit, and not represent these parts of the bit sequentially.

Ausführungsführungsbeispiel 4Exemplary embodiment 4

Für den Fall, dass die Umschaltung zwischen den verschiedenen Fokuslagen deutlich schneller geht als mit der angenommenen Umschaltzeit τ_Umschalt = 1 ms, ist es möglich, nicht erst dann die Fokuslage zu wechseln, wenn das komplette Bild zu dieser Fokuslage dargestellt wurde, sondern schon nach einem Teilbild die Fokuslage zu ändern und das „Restbild” zu einem späteren Zeitpunkt darzustellen.In the event that the switching between the different focus positions is much faster than with the assumed switching time τ _switching = 1 ms, it is possible not only to change the focus position when the complete picture was shown at this focus position, but already after to change the focal position of a partial image and to display the "residual image" at a later point in time.

In diesem Fall wird ein Vielfaches entsprechend der Anzahl der Teilbilder je Fokuslage der Umschaltzeit τ_Umschalt benötigt, um einen kompletten Bildstapel darzustellen. Die resultierenden Zeiten zur Darstellung eines Bildstapels ergeben sich in den Formeln (10) und (11) durch eine Multiplikation mit der Umschaltzeit mit der Anzahl der Teilbilder.In this case, a multiple corresponding to the number of fields per focal position of the switching time τ _{switching is} required to represent a complete image stack. The resulting times for displaying a picture stack are shown in formulas (10) and (11) by multiplying by the switching time with the number of fields.

Diese Variante lässt sich dabei bevorzugt mit einer Fokussier-Einrichtung realisieren, die auf bewegte Teile verzichten kann. Der Einsatz von Flüssiglinsen oder Flüssigkristall-Linsen ist hier möglich, sofern hier Flüssiglinsen mit ausreichenden Durchmessern für den Einsatz in Okularen zur Verfügung gestellt werden.This variant can preferably be realized with a focusing device that can dispense with moving parts. The use of liquid lenses or liquid crystal lenses is possible here, provided that liquid lenses with sufficient diameters are provided for use in eyepieces.

Ausführungsbeispiel 5Embodiment 5

Die Vorrichtung und das Verfahren kann auch für Bildgebung verwendet werden, bei welcher jede Farbe über einen eigenen Bildgeber moduliert wird, d. h. die Farben über einen Farbteiler aufgeteilt sind. Dabei befinden sich alle Bildgeber zu einem gegebenen Zeitpunkt in einer gemeinsamen Fokuslage oder aber auch in unterschiedlichen, sofern diese dabei den gesamten Fokusbereich jeder Farbe abdecken.The apparatus and method may also be used for imaging in which each color is modulated via its own imager, i. H. the colors are split over a color divider. At the same time, all imagers are in a common focus position at a given point in time or else in different ones, as long as they cover the entire focus area of each color.

Ausführungsbeispiel 6Embodiment 6

Die dargestellte Bit-Tiefe kann für die einzelnen Fokuslagen angepasst werden. Dies kann beispielsweise in Abhängigkeit des Bildinhalts erfolgen, beispielsweise, falls eine Fokuslage nur dunkle Rottöne aufweist, so dass beispielsweise die hohen Bits zeitlich eingespart werden können. Auch ist es möglich, bei Fokuslagen mit geringen Farbvariationen deren Bit-Tiefe zu reduzieren.The illustrated bit depth can be adjusted for the individual focus positions. This can be done, for example, depending on the image content, for example, if a focal position only dark reds so that, for example, the high bits can be saved in time. It is also possible to reduce their bit depth in focal positions with small color variations.

Ist es möglich, die „relevante Region” im Bild zu erkennen, so kann die Bit-Tiefe für entsprechende Fokuslagen erhöht werden, wobei im Gegenzug die Bit-Tiefen anderer Fokuslagen reduziert werden können. Auf diese Weise ist es möglich, die Bildwiederholrate für einen Fokusstapel zu erhöhen bzw. die Bildqualität in der für den Beobachter relevanten Region zu verbessern.If it is possible to recognize the "relevant region" in the image, the bit depth for corresponding focal positions can be increased, in turn, the bit depths of other focal positions can be reduced. In this way it is possible to increase the refresh rate for a focus stack or to improve the image quality in the region relevant to the observer.

Folglich ist im Rahmen dieser Erfindung auch ein Verfahren zur schnellen, multifokalen Bildwiedergabe offenbart, bei dem innerhalb einer 60stel Sekunde sämtliche Fokusebenen durchfahren werden, wobei diese Fokusebenen andauernd und unabhängig davon, wohin der Betrachter gerade schaut, zur Verfügung gestellt werden.Consequently, in the context of this invention, a method for fast, multifocal image reproduction is disclosed in which all focal planes are traversed within a 60th of a second, these focal planes are constantly provided regardless of where the viewer is looking.

Dies bedeutet beispielhaft, dass bei beispielsweise 5 Fokusebenen das Bildwiedergabesystem 300 mal pro Sekunde die Fokusebene wechselt. Weiterhin wechselt auch das Okular ebenfalls 300 mal pro Sekunde die Fokusebene, um die entsprechenden 5 Fokuslagen anzubieten.This means, by way of example, that, for example, 5 focal planes, the image display system 300 times per second changes the focal plane. Furthermore, the eyepiece also changes the focal plane 300 times per second to offer the corresponding 5 focus positions.

Weiterhin können bei dem hier offenbarten Verfahren in jeder Fokusebene auch nur die scharfen Pixel aus dieser Ebene dargestellt werden, wobei die restlichen Pixel zur Vermeidung von Streulicht generell auch schwarz dargestellt werden können.Furthermore, in the method disclosed here, only the sharp pixels from this plane can be displayed in each focal plane, with the remaining pixels also generally being able to be displayed in black to avoid scattered light.

Liste der in der Erfindung gebrauchten SymboleList of symbols used in the invention

b Number of bit stages that are realized by an adapted (pulsed, dimmed, ...) illumination within a bit plane τ plane
B Bandwidth with which data can be loaded into the memory of the imager
bt Bit depth to be displayed in the imager (for all three colors)
bt R , bt RG , bt B Bit depth for red, green and blue to be displayed in the imager
f Refresh rate at given bit depth bt
f RGB frame rate at given bit depths bt R , bt RG , bt B
f * Refresh rate for a given bit depth bt, if the lowest b bit levels have adjusted illumination
f * / RGB Refresh rate at given bit depths bt R , bt RG , bt B , if the lowest b bit levels have adapted illumination
F Frame rate at given bit depth bt and N focus levels
F RGB frame rate at given bit depths bt R , bt RG , bt B and N focus planes
F * Refresh rate at given bit depth bt and N focus planes if the lowest b bit levels have matched illumination
F * / RGB Refresh rate at given bit depths bt R , bt RG , bt B and N focus planes if the bottom b bit steps have matched illumination
k illum The factor by which the lighting must be increased in the case of adapted lighting in order to produce the same brightness in the image as is achieved in a display with cw lighting
Illum K factor by which the illumination must be increased with an adjusted illumination to generate the same brightness in the image of an image stack, as a representation of a single image of an image stack with cw-lighting is achieved
CN Illum factor by which the illumination must be increased with an adjusted illumination to generate the same brightness in an image each image stack, as a representation of a single image (no Bildstapell) with cw-lighting is achieved
N Number of focal planes to be displayed in a series
n x , n y Number of pixels of the imager in the x or y direction
T * Time required to display a stack of images with N focal planes at a given bit depth bt, if the bottom b bit steps have adjusted illumination
T * / RGB Time required to display an image stack with N focal planes at given bit depths bt R , bt RG , bt B , if the bottom b bit steps have adapted illumination
τ image time, which is needed for the representation of an image at a given bit depth bt
τ Image.RGB Time required for displaying an image at given bit depths bt R , bt RG , bt B
τ * / picture The time it takes to display an image at a given bit depth bt when the lowest b bit levels have appropriate lighting

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 5880711 [0007]
DE 102005034990 A1 [0009]
DE 102006025149 A1 [0010]
WO 2014/012694 A1 [0011]
US 2006/250336 A1 [0012, 0014, 0016]
DE 102008045075 A1 [0015, 0016]

Claims

A method for rapidly reproducing image information from different focal planes at a refresh rate of 59 Hz or more, wherein each pixel is assigned a gray level for each focal plane and for each of the at least one color - The illumination of at least one light modulator for each of the individual pixels during n time segments, where n is greater than or equal to 1, wherein the duration of the illumination from time segment to time segment may differ and wherein the at least one light modulator is configured such that this in a first State directs light to an image output and in a second state does not direct light to an image output, and - Controlling the at least one light modulator in dependence on the gray value such that during each of the n time segments of the light modulator is either continuously in the first or continuously in the second state, and - Control of at least one light modulator and illumination device in response to an optical unit that changes the focus position of the image output.

The method of claim 1, wherein the n time segments each have the same duration.

Method according to one of Claims 1 or 2, in which the duration of illumination in a k-th time segment, k = 1, ..., n, 1 / (2 ^k ) times the duration of one of the n time segments.

Method according to one of claims 1 to 3, wherein the pixel is associated with a plurality of color components, each color component is assigned a respective gray value, wherein the lighting and the driving for each color component is performed separately.

Method according to Claim 4, in which each color component is assigned a separate light modulator arrangement and a separate light source or illumination device for illumination.

Method according to one of Claims 1 to 5, in which the durations of the illumination are generated by corresponding activation of a light source for generating the illumination.

Method according to one of claims 1 to 6, further comprising: Illuminating at least one light modulator during m further time segments of different duration with m greater than or equal to 1, the illumination of the further m time segments taking place continuously, and - Controlling the light modulator as a function of the gray value during the m other time segments such that during each time segment of the m other time segments, the light modulator is continuously in the first state or continuously in the second state.

Method according to Claim 7, in which the length of the l-th time segment of the m further time segments, l = 1,..., N, is 2 ^l-1 times the duration of one of the n time segments.

A method of reproducing an image stack, wherein the image stack comprises N images with N greater than 1, each of the N images having a plurality of pixels, the process of any one of claims 1 to 8 being performed to render each pixel of each of the N images , wherein each pixel of each of the N images is associated with a separate light modulator, and wherein the illumination of the light modulators associated with the pixels takes place together.

The method of claim 9, wherein the light modulators associated with the pixels form a micromirror array.

Method according to one of Claims 1 to 10, in which n is adjustable, the brightness of the illumination being adjusted as a function of n.

Method according to one of claims 1 or 2, characterized in that the illumination is pulsed within at least one of the n time segments.

Method according to one of claims 1 to 12, characterized by a lighting device with minimum pulse times of 0.5 ms or less.

Method according to one of claims 1 to 13, characterized in that the light output of the illumination device compared to the light output in a standard system by a factor of 5, preferably by a factor of 10, more preferably by a factor of 15 and most preferably by a factor of 20 or more is increased.

Device for displaying image information from different focal planes, comprising A digital imager, for example a light modulator arrangement having a multiplicity of pixels, each individual pixel being either in a first state directing light to the viewer or being in a second state in which light is not directed to the viewer, An optic that makes the image content of the imager visible to a viewer, An element for changing the focal position in such a way that the imager can be shifted for the observer to different focal planes, A lighting unit for illuminating the imager and A control unit for controlling the lighting unit, light modulator arrangement and element for changing the focus position, wherein the control unit is configured such that the lighting unit is controlled during n time segments with n greater than or equal to 1 such that a duration of the illumination may differ from time segment to time segment, and wherein the control unit is further configured such that the image points of the imager , For example, the light modulator arrangement, each driven in response to the focus position so that each pixel during each of the n time segments each assumes either the first or the second state.

Apparatus for displaying image information from different focal planes according to claim 15, wherein the n time segments each have the same duration.

Apparatus for displaying image information from different focal planes according to one of claims 15 or 16, wherein the illumination comprises a first illumination unit for a first color component, a second illumination unit for a second color component and a third illumination unit for a third color component, wherein the control unit is configured in that the first illumination unit, the second illumination unit and the third illumination unit are activated sequentially.

A device for displaying image information from different focal planes according to one of claims 15 to 17, wherein the one light modulator arrangement comprises a first light modulator arrangement for a first color component, a second light modulator arrangement for a second color component and a third light modulator arrangement for a third color component The first illumination unit associated with the first light modulator arrangement, a second illumination unit assigned to the second light modulator arrangement, and a third illumination unit assigned to the third light modulator arrangement.

An apparatus for displaying image information from different focal planes according to any one of claims 15 to 18, wherein the duration of illumination in a k-th time segment, k = 1, ..., n, 1 / (2 ^k ) times the time duration of one of n time segments is.

Device for displaying image information from different focal planes according to one of Claims 15 to 19, in which the control unit is designed so that the illumination of the at least one light modulator arrangement is continuous during m other time segments of different duration, the light modulators of the at least one light modulator arrangement being dependent on the gray value during the m further time segments are controlled such that during each time segment of the m other time segments, each light modulator is continuously in the first state or in the second state.

An apparatus for displaying image information from different focal planes according to claim 20, wherein a length of the l-th time segment of said n further time segments, l = 1, ..., n, 2 ^l-1 times the time duration of one of n time segments.

Apparatus for displaying image information from different focal planes according to any one of claims 15 to 21, wherein the at least one light modulator arrangement comprises a micromirror array.

Device for displaying image information from different focal planes according to one of Claims 15 to 22, in which the method according to one of Claims 1 to 14 can be carried out with the device for displaying image information from different focal planes.