DE102011123037B3 - Method of capturing images of an observation object with an electronic image sensor and optical observation device - Google Patents
Method of capturing images of an observation object with an electronic image sensor and optical observation device Download PDFInfo
- Publication number
- DE102011123037B3 DE102011123037B3 DE102011123037.1A DE102011123037A DE102011123037B3 DE 102011123037 B3 DE102011123037 B3 DE 102011123037B3 DE 102011123037 A DE102011123037 A DE 102011123037A DE 102011123037 B3 DE102011123037 B3 DE 102011123037B3
- Authority
- DE
- Germany
- Prior art keywords
- image
- sensor
- exposure
- image sensor
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Microscoopes, Condenser (AREA)
Abstract
Verfahren zum Aufnehmen von Bildern eines Beobachtungsobjekts (17) mit einem elektronischen Bildsensor (5), in dem:
- ein Vollbild auf eine belichtete Sensorfläche (19) des Bildsensors (5) abgebildet wird, wobei eine interessierende Bildregion des Vollbildes auf eine Teilfläche (21) des Bildsensors (5) abgebildet wird, und
- die Aufnahme der Bilder erfolgt, indem der Bildsensor (5) für das jeweilige Bild belichtet und nach jeder Belichtung ausgelesen wird, wobei auf ein Belichten des Bildsensors (5) und ein Auslesen der gesamten für ein Vollbild belichteten Sensorfläche (19) wenigstens ein mal ein Belichten des Bildsensors (5) und ein Auslesen nur der Teilfläche (21) des Bildsensors (5) mit der interessierenden Bildregion erfolgt, bevor wieder ein Belichten des Bildsensors (5) und ein Auslesen der gesamten belichteten Sensorfläche (19) erfolgt, wobei
Belichtungs- und Auslesezyklen vorhanden sind und
in einem Belichtungs- und Auslesezyklus Belichtungen bei M verschiedenen Fokuslagen erfolgen und nach der Belichtung bei einer bestimmten Fokuslage der M Fokuslagen ein Auslesen der gesamten belichteten Sensorfläche (19) erfolgt wohingegen nach den Belichtungen bei den übrigen M-1 Fokuslagen jeweils nur ein Auslesen der Teilfläche (21) des Bildsensors (5) mit der interessierenden Bildregion erfolgt..
Method for capturing images of an observation object (17) with an electronic image sensor (5), in which:
a full image is imaged onto an exposed sensor surface (19) of the image sensor (5), an image region of interest of the frame being imaged onto a partial surface (21) of the image sensor (5), and
- The images are recorded by the image sensor (5) is exposed for each image and read out after each exposure, with an exposure of the image sensor (5) and reading the entire exposed for a frame sensor surface (19) at least once an exposure of the image sensor (5) and reading only the partial surface (21) of the image sensor (5) with the image region of interest takes place before again exposing the image sensor (5) and a readout of the entire exposed sensor surface (19)
Exposure and readout cycles are available and
In an exposure and read-out cycle, exposures are made at M different focus positions and, after exposure at a specific focus position of the M focus positions, the entire exposed sensor surface (19) is read out, whereas after the exposures at the remaining M-1 focal positions, only one readout of the partial surface is performed (21) of the image sensor (5) with the image region of interest takes place.
Description
Die vorliegende Erfindung betrifft ein Verfahren zum Aufnehmen von Bildern eines Beobachtungsobjekts mit einem elektronischen Bildsensor. Daneben betrifft die Erfindung ein optisches Beobachtungsgerät zum Aufnehmen von Bildern eines Beobachtungsobjekts mit wenigstens einem elektronischen Bildsensor.The present invention relates to a method of capturing images of an observation object with an electronic image sensor. In addition, the invention relates to an optical observation device for taking pictures of an observation object with at least one electronic image sensor.
Um beispielsweise einem Operateur bei einem chirurgischen Eingriff unter Verwendung eines Operationsmikroskops gute Sichtverhältnisse zu verschaffen, wird das Operationsfeld beleuchtet. Typischerweise handelt es sich bei einem Operationsmikroskop um eine Optik, die ein sogenanntes Varioskop zur Fokussierung des Operationsfeldes, eine Zoom-Einheit (für die Stereobildgebung Pankrat genannt) sowie ein Okular als Schnittstelle zum Auge umfasst. Die Beleuchtung wird in der Regel durch thermische Strahler, etwa durch eine Halogen- oder Xenonlampe, mit einer nachgeschalteten Optik zur Fokussierung des Lichtes auf das Operationsfeld realisiert. Häufig werden dabei der Beleuchtungsstrahlengang und der Beobachtungsstrahlengang teilweise durch eine gemeinsame Optik, beispielsweise im Varioskop, geführt.For example, to provide good visibility to a surgeon in a surgical procedure using a surgical microscope, the surgical field is illuminated. Typically, a surgical microscope is an optic comprising a so-called varioscope for focusing the surgical field, a zoom unit (called pancake for stereoscopic imaging), and an eyepiece as an interface to the eye. The lighting is usually realized by thermal radiators, such as a halogen or xenon lamp, with a downstream optics to focus the light on the surgical field. Frequently, the illumination beam path and the observation beam path are partially guided by a common optical system, for example in the varioscope.
Geht man dazu über, die Bildaufnahme mittels Kamerachips zu digitalisieren und die Bildwiedergabe über Displays, insbesondere Stereodisplays oder digitale Okulare vorzunehmen, lassen sich nicht nur die Bildaufnahme und die Bildwiedergabe räumlich entkoppeln. Zusätzlich ist es möglich, die Belastung des Patienten durch die Beleuchtung des Operationsfeldes zu vermindern, da die Empfindlichkeit der Kamera der des Auges überlegen ist, zumindest für die Adaption des Auges an die typische Helligkeit im Operationssaal. Untersuchungen haben bestätigt, dass die Lichtintensität im Operationsfeld verringert werden kann, wenn eine Operation nicht mit einem rein optischen Mikroskop durchgeführt wird, sondern eine Kamera für eine Bildaufnahme verwendet wird.If one goes on to digitize the image recording by means of camera chips and to carry out the image reproduction via displays, in particular stereo displays or digital eyepieces, not only the image recording and the image reproduction can be spatially decoupled. In addition, it is possible to reduce the burden on the patient by illuminating the surgical field, since the sensitivity of the camera is superior to that of the eye, at least for the adaptation of the eye to the typical brightness in the operating theater. Studies have confirmed that the light intensity in the surgical field can be reduced if an operation is not performed with a purely optical microscope, but a camera is used for image acquisition.
Bei der Bildaufnahme von Farbbildern, beispielsweise während eines chirurgischen Eingriffs, werden typischerweise Farbkameras verwendet. Dabei handelt es sich entweder um teure Kameras mit drei Chips, je einem für den roten, den grünen und den blauen Spektralbereich, oder Kameras mit einem einzigen Chip, wobei ein sogenannter Bayer-Filter vor dem Chip angeordnet ist, in dem jedem Pixel des Sensorchips ein rotes, grünes oder blaues Filterelement vorgelagert ist. Gegebenenfalls können zudem Spektralfilter für andere Spektralbereiche vorhanden sein. Ein Kamerachip mit vorgeschaltetem Bayer-Filter ist beispielsweise in der deutschen Patentanmeldung
Alternativ ist es möglich, ein Farbbild mit einer monochromen und damit preisgünstigeren Kamera zeitsequentiell aufzunehmen. Das Beobachtungsobjekt wird dabei nacheinander mit verschiedenen Grundfarben beleuchtet und die Bilder während der Beleuchtung in den jeweiligen Grundfarben nacheinander mit einem einzigen Kamerachip aufgenommen. Die Bilder in den Grundfarben werden anschließend elektronisch überlagert, um ein Bild zu erhalten, das einer Weißlichtbeleuchtung entspricht. Derartige Verfahren zum zeitsequentiellen Aufnehmen sind beispielsweise in
Auch in anderen Situationen, etwa dem Aufnehmen stereoskopischer Bilder mit einem einzigen Kamerachip, wobei die stereoskopischen Teilbilder dann nacheinander mit demselben Kamerachip aufgenommen werden, spielt die Bildwiederholrate des Kamerachips eine Rolle. Hohe Bildwiederholraten sind hier ebenfalls wünschenswert, um ein Flimmern des Stereobildes zu vermeiden.Also in other situations, such as recording stereoscopic images with a single camera chip, wherein the stereoscopic partial images are then taken in succession with the same camera chip, the image refresh rate of the camera chip plays a role. High frame rates are also desirable here to avoid flickering the stereo image.
ADAMS, Andrew et al.: The Frankencamera: An Experimental Platform for Computational Photography. ACM Transactions on Graphics, Vol. 29, No. 4, July 2010. Article 29, pp. 29:1 - 29:12. beschreiben eine Kamera zum Aufnehmen von Bildern eines Beobachtungsobjekts mit einem elektronischen Bildsensor, wobei mit dem Bildsensor eine Folge von Bildern aufgenommen wird, bei der jeweils die gesamte Szene und ein Ausschnitt der Szene aufgenommen werden, wobei die Aufnahmen der gesamten Szene und die Aufnahmen des Ausschnittes einander abwechseln. Dabei werden sowohl die gesamte Szene als auch der Ausschnitt der Szene jeweils mit 640x480 Pixel aufgenommen. Hierzu erfolgt bei der Aufnahme des Vollbildes ein Zusammenfassen von Pixeln zu Pixelblöcken.ADAMS, Andrew et al .: The Frankencamera: An Experimental Platform for Computational Photography. ACM Transactions on Graphics, Vol. 29, no. 4, July 2010. Article 29, pp. 29: 1 - 29:12. describe a camera for capturing images of an observation object with an electronic image sensor, wherein the image sensor records a sequence of images in which the entire scene and a section of the scene are taken, the images of the entire scene and the images of the detail alternate each other. Both the entire scene and the scene are shot with 640x480 pixels. For this purpose, when capturing the full screen, a combination of pixels to pixel blocks.
Eine Ladungsableitung, die in einem Fokussierungsmodus durch die Zeitsteuerungseinrichtung steuerbar ist, eliminiert ein Zeilenmuster des Ladungsbildes aus dem Teilbereich und überträgt die Zwischenzeilen des Ladungsbildes innerhalb des Teilbereichs. Ein Prozessor erzeugt ein Scharfeinstellungssignal auf der Grundlage der aus dem Teilbereich übertragenen Zwischenzeilen des Ladungsbildes.A charge dissipation, controllable in a focus mode by the timing device, eliminates a line pattern of the charge image from the subregion and transmits the intervening lines of the charge image within the subregion. A processor generates an in-focus signal based on the intermediate lines of the charge image transmitted from the subarea.
Die
Es ist daher eine Aufgabe der vorliegenden Erfindung, ein Verfahren und ein optisches Beobachtungsgerät zur Verfügung zu stellen, mit dem sich ausreichend hohe Bildwiederholraten auch bei Verwendung einer preisgünstigen Kamera realisieren lassen.It is therefore an object of the present invention to provide a method and an optical observation device with which sufficiently high frame rates can be realized even when using a low-cost camera.
Diese Aufgabe wird durch ein Verfahren zum Aufnehmen von Bildern eines Beobachtungsobjekts mit einem elektronischen Bildsensor nach Anspruch 1 und durch ein optisches Beobachtungsgerät nach Anspruch 13 gelöst. Die abhängigen Ansprüche enthalten vorteilhafte Ausgestaltungen der Erfindung.This object is achieved by a method for capturing images of an observation object with an electronic image sensor according to
In den erfindungsgemäßen Verfahren zum Aufnehmen von Bildern eines Beobachtungsobjekts mit einem elektronischen Bildsensor wird ein Vollbild auf die Sensorfläche, vorzugsweise auf die gesamte Sensorfläche des Bildsensors abgebildet. Eine interessierende Bildregion (region of interest, ROI) des Vollbildes wird dabei auf eine Teilfläche des Bildsensors abgebildet. Die Aufnahme der Bilder erfolgt, indem der Bildsensor für das jeweilige Bild belichtet und nach jeder Belichtung ausgelesen wird. Dabei erfolgt auf ein Belichten des Bildsensors und ein Auslesen der gesamten für ein Vollbild belichteten Sensorfläche wenigstens einmal ein Belichten des Bildsensors und ein Auslesen nur der Teilfläche des Sensors mit der interessierenden Bildregion, bevor wieder ein Belichten des Bildsensors und ein Auslesen der gesamten belichteten Sensorfläche erfolgt. Ein Auslesen der gesamten belichteten Sensorfläche soll hierbei als ein auf die Fläche des Sensors bezogenes Auslesen und nicht als ein auf die Gesamtzahl der Pixel in dieser Fläche bezogenes Auslesen verstanden werden. Das Auslesen der gesamten belichteten Sensorfläche kann ein Auslesen aller Pixel dieser Fläche bedeuten, aber auch ein Auslesen nur eines Teils der Pixel wobei die Pixel über die gesamte Fläche verteilt sind, beispielsweise wenn nur jede n-ten Pixelzeile und/oder jede m-ten Pixelspalte im Falle eines Subsamplings ausgelesen werden. Ebenso ist ein sog. Pixel-Binning möglich, in dem Pixel (Bildelemente) des Sensors zu Pixelblöcken zusammengefasst und die Pixel eines Pixelblockes jeweils gemeinsam ausgelesen werden.In the method according to the invention for capturing images of an observation object with an electronic image sensor, a full image is imaged on the sensor surface, preferably on the entire sensor surface of the image sensor. An interesting region of interest (ROI) of the frame is imaged on a partial surface of the image sensor. The images are captured by exposing the image sensor for each image and reading it out after each exposure. In this case, an exposure of the image sensor and a readout of the entire illuminated for a frame sensor surface at least once exposing the image sensor and reading out only the partial surface of the sensor with the image region of interest, before again exposing the image sensor and reading the entire exposed sensor surface , A readout of the entire exposed sensor area is to be understood here as a read-out related to the area of the sensor and not as a read-out related to the total number of pixels in this area. Reading out the entire exposed sensor area may mean reading out all pixels of this area, but also reading out only a part of the pixels, with the pixels being distributed over the entire area, for example if only every n-th pixel row and / or every m-th pixel column be read in the case of subsampling. Likewise, a so-called pixel-binning is possible in which pixels (picture elements) of the sensor are combined into blocks of pixels and the pixels of a block of pixels are read together in each case.
Die Erfindung beruht auf der folgenden Überlegung:The invention is based on the following consideration:
Beispielsweise bei einem chirurgischen Eingriff, der unter Verwendung eines Operationsmikroskops durchgeführt wird, wird dem Operateur das Vollbild unter einem Sichtwinkel von ca. 30° bis 40° (field of view, FoV) dargeboten. Die Macula, also derjenige Bereich im Auge, der das scharfe Sehen ermöglicht, beschränkt denjenigen Sichtwinkel, in dem scharfes Sehen möglich ist, auf etwa 5°. Der Erfindung liegt die Erkenntnis zu Grunde, dass es daher eigentlich häufig nicht notwendig ist, im gesamten Sichtwinkel eine hohe Bildqualität aufrecht zu erhalten. Vielmehr reicht es aus, eine hohe Bildqualität im Bereich des scharfen Sehens aufrecht zu erhalten.For example, in a surgical procedure performed using a surgical microscope, the operator is presented with the full image at a viewing angle of about 30 ° to 40 ° (field of view, FoV). The macula, which is the area in the eye that allows for sharp vision, limits the viewing angle, where sharp vision is possible, to about 5 °. The invention is based on the realization that it is therefore often not necessary to maintain a high image quality in the entire viewing angle. Rather, it is sufficient to maintain a high image quality in the field of sharp vision.
Verzichtet man also darauf, jedes Mal die gesamte belichtete Sensorfläche auszulesen, sondern konzentriert sich auf den interessierenden Bereich (region of interest, ROI), der nur einem Bruchteil der Sensorfläche entspricht, so vermindert sich auch die Zeit, die für das Auslesen dieses Ausschnittes benötigt wird, auf genau diesen Bruchteil. Wenn beispielsweise der interessierende Bereich in beiden Bildrichtungen jeweils nur einem Drittel der Gesamtausdehnung der belichteten Sensorfläche in den beiden Bilddimensionen entspricht, befinden sich im interessierenden Bereich lediglich ein Neuntel der Pixel der belichteten Sensorfläche. Wird nun beispielsweise das Vollbild mit einer preisgünstigen 60 Hz-Kamera in 16,67 Millisekunden (ein Sechzigstel Sekunde) ausgelesen, so beträgt die Auslesezeit des interessierenden Bereichs lediglich ein Neuntel der Gesamtauslesedauer, also nur 1,85 Millisekunden. Wegen der für das Auslesen der Teilfläche der belichteten Sensorfläche deutlich geringeren Auslesezeit gegenüber dem Auslesen der gesamten belichteten Sensorfläche ist es möglich, die Bildwiederholrate der verwendeten Kamera gegenüber dem Stand der Technik zu erhöhen, indem nur bei jedem k-ten Auslesen des Bildsensors die gesamte belichtete Sensorfläche ausgelesen wird. Bei den übrigen Belichtungen wird dagegen lediglich diejenige Teilfläche des Sensors ausgelesen, die der interessierenden Bildregion entspricht.If one thus omits to read out the entire exposed sensor area each time, but concentrates on the region of interest (ROI), which corresponds to only a fraction of the sensor area, then the time required for reading this section is also reduced will, on just that fraction. If, for example, the region of interest in both image directions corresponds in each case to only one third of the total extent of the exposed sensor surface in the two image dimensions, only one ninth of the pixels of the exposed sensor surface are located in the region of interest. If, for example, the full image is read out with a low-
Wenn beispielsweise auf ein Auslesen der gesamten belichteten Sensorfläche dreimal ein Auslesen der dem interessierenden Bereich entsprechenden Teilfläche erfolgt, bevor die gesamte belichtete Sensorfläche ausgelesen wird, die zum Auslesen der gesamten belichteten Sensorfläche benötigte Zeit mit T bezeichnet wird und die Fläche des interessierenden Bereiches wie im zuvor erwähnten Beispiel ein Neuntel der Gesamtfläche beträgt, so wird für das Auslesen der Teilfläche eine Auslesedauer von 1/9 T benötigt. Für die drei Teilbilder werden also insgesamt dreimal 1/9 T benötigt, was 1/3 T entspricht. Die Zeitdauer die zwischen dem Auslesen zweier Vollbilder vergeht, hat sich durch das Auslesen der Teilbilder um ein Drittel erhöht. In dieser Zeit erfolgt jedoch ein viermaliges Auslesen des den interessierenden Bereich repräsentierenden Teilbildes, das ja auch zusammen mit dem Vollbild ausgelesen wird, sodass ein Auslesen dieses Teilbildes im Durchschnitt alle ((1+1/3)/4) T erfolgt. Für den interessierenden Bereich hat sich also die Dauer zwischen dem Auslesen im Vergleich zum Stand der Technik, in dem immer ein Vollbild ausgelesen wird, auf ein Drittel reduziert, sodass sich die Bildwiederholfrequenz für den interessierenden Bereich verdreifacht hat. Außerhalb des interessierenden Bereichs hat sich die Dauer zwischen dem Auslesen zweier Vollbilder zwar auf 4/3 T erhöht, jedoch entspricht dies immer noch ¾ der Bildwiederholrate, die erreicht würde, wenn immer nur Vollbilder ausgelesen würden.If, for example, a readout of the entire exposed sensor surface occurs three times the partial area corresponding to the region of interest before the entire exposed sensor surface is read out, the time required to read the entire exposed sensor surface is denoted by T and the area of the region of interest is the same as previously mentioned example is a ninth of the total area, then a read-out of 1/9 T is required for the reading of the partial area. For the three fields, a total of three
Tatsächlich ist in vielen Anwendungen der interessierende Bereich erheblich kleiner als das Gesamtbild. Etwa im Falle des bereits erwähnten Operationsmikroskops, besitz der interessierende Bereich einen Sehwinkel von etwa 5° gegenüber dem Sehwinkel von 30° bis 40° des Vollbildes. In diesem Fall können beispielsweise bei Inkaufnahme einer Reduzierung der Bildwiederholrate der Vollbilder im Vergleich zu der eigentlich möglichen Rate zwischen zwei Vollbildern eine Vielzahl Teilbilder aufgenommen werden, so dass sich die Bildwiederholfrequenz für den entsprechenden Bildausschnitt um so mehr steigern lässt, je kleiner dessen Fläche in Bezug auf die Fläche des Vollbildes ist.In fact, in many applications the area of interest is considerably smaller than the overall picture. For example, in the case of the surgical microscope already mentioned, the region of interest has a visual angle of about 5 ° with respect to the angle of vision of 30 ° to 40 ° of the full image. In this case, for example, if a reduction in the frame rate of the frames is accepted, then a multiplicity of partial pictures can be taken in comparison to the actually possible rate between two frames, so that the smaller the area of the frame, the more the frame rate for the corresponding image segment can be increased on the area of the full screen.
Insbesondere für einen Chirurgen ist es außerdem wichtig, dass eine geringe Verzögerung zwischen einer Bildaufnahme und der Wiedergabe der Bilder (Delay) vorliegt. Nur so kann eine gute Hand-Auge-Koordination, wie sie für eine Operation von großer Bedeutung ist, erzielt werden. Im Vergleich zum Stand der Technik kann dieser Delay für das den interessierenden Bereich repräsentierende Teilbild mit dem erfindungsgemäßen Verfahren im Vergleich zum Stand der Technik reduziert werden. Die etwas erhöhte Verzögerung im Bereich der Vollbilder außerhalb des interessierenden Bereichs ist dabei von geringerer Bedeutung, da sie nur im peripheren Bereich des Betrachters stattfindet, der für das Durchführen der Operation von untergeordneter Bedeutung ist.It is also important for a surgeon, in particular, that there is a slight delay between image acquisition and image playback (delay). Only then can a good hand-eye coordination, as it is of great importance for an operation, be achieved. In comparison with the prior art, this delay for the partial image representing the region of interest can be reduced by the method according to the invention in comparison to the prior art. The slightly increased delay in the area outside the area of interest is of less importance since it only takes place in the peripheral area of the observer, which is of minor importance for carrying out the operation.
Neben dem Erhöhen der Bildwiederholrate im interessierenden Bereich bietet das erfindungsgemäße Verfahren auch weitere Anwendungsmöglichkeiten. Bei Systemen, in denen aufgenommene Bilder über eine Datenverbindung mit beschränkter Bandbreite übertragen werden, ermöglicht das erfindungsgemäße Verfahren bspw. das Übertragen der interessierenden Bildregion mit einer hohen Bildwiederholrate, während die übrigen Bereiche mit einer niedrigen Bildwiederholrate übertragen werden, um Bandbreite zu sparen. Weiterhin kann das erfindungsgemäße Verfahren beim Erhöhen der Tiefenschärfe eines optischen Bobachtungsgerätes zum Einsatz kommen.In addition to increasing the refresh rate in the area of interest, the inventive method also offers other applications. In systems where captured images are transmitted over a limited bandwidth data link, for example, the method of the present invention allows the image region of interest to be transmitted at a high frame rate while the remaining regions are transmitted at a low frame rate to save bandwidth. Furthermore, the inventive method can be used to increase the depth of field of an optical observation device.
Bei elektronischen Bildsensoren, bspw. bei CCD-Sensoren oder CMOS-Sensoren, erfolgt eine Belichtung des Bildsensors für das i-te Bild während des Auslesens des (i-1)-ten Bildes. Das Auslesen der gesamten belichteten Sensorfläche erfordert jedoch mehr Zeit als das Auslesen der den interessierenden Bereich repräsentierenden Teilfläche. Die prinzipiell mögliche Belichtungszeit eines Bildes, das während des Auslesens der gesamten belichteten Sensorfläche belichtet wird, ist daher größer als die Belichtungszeit eines Bildes, das während des Auslesens der Teilfläche des Sensors belichtet wird. Um eine ausgewogene Aussteuerung des Sensors zu erzielen, ist es daher vorteilhaft, wenn die Intensität der Beleuchtung für die i-te Belichtung gegenüber der Beleuchtung für die (i-1)-te Belichtung herabgesetzt ist, wenn zum Auslesen des (i-1)-ten Bildes die gesamte belichtete Sensorfläche ausgelesen wird, um die längere Belichtungsdauer auszugleichen. Alternativ ist es auch möglich, die Belichtungsdauer für die i-te Belichtung gegenüber der Belichtungsdauer für die (i-1)-te Belichtung herabzusetzen, wenn zum Auslesen des (i-1)-ten Bildes die gesamte belichtete Sensorfläche ausgelesen wird. Mit anderen Worten, es wird dann nur ein Teil der grundsätzlich möglichen Belichtungsdauer genutzt. Selbstverständlich ist es auch möglich, eine verkürzte Belichtungsdauer und eine reduzierte Beleuchtungsintensität miteinander zu verknüpfen. Die Verknüpfung sollte dabei so erfolgen, dass beide Effekte kombiniert zu einer Belichtung führen, wie sie während des Auslesens nur der Teilfläche des Sensors, ggf. unter Berücksichtigung spektraler Empfindlichkeiten des Sensors, stattfinden würde.In the case of electronic image sensors, for example in the case of CCD sensors or CMOS sensors, exposure of the image sensor for the i-th image takes place during the readout of the (i-1) -th image. Reading out the entire exposed sensor surface, however, requires more time than reading out the partial area representing the region of interest. The theoretically possible exposure time of an image which is exposed during the readout of the entire exposed sensor area is therefore greater than the exposure time of an image which is exposed during the readout of the partial area of the sensor. In order to achieve a balanced modulation of the sensor, it is therefore advantageous if the intensity of the illumination for the i-th illumination is reduced compared to the illumination for the (i-1) -th exposure if it is necessary to read the (i-1). -th image the entire exposed sensor surface is read out to compensate for the longer exposure time. Alternatively, it is also possible to reduce the exposure time for the i-th exposure to the exposure time for the (i-1) th exposure when the entire exposed sensor area is read out to read the (i-1) -th image. In other words, only part of the basically possible exposure time is used. Of course, it is also possible to combine a shortened exposure time and a reduced illumination intensity. The combination should be done in such a way that both effects combined result in an exposure, as they only during the readout the partial area of the sensor, if necessary, taking into account spectral sensitivities of the sensor, would take place.
Eine Erhöhung der reduzierten Bildrate für das Vollbild sowie eine Erhöhung der Bildrate für den interessierenden Bereich sind möglich, wenn beim Auslesen der gesamten Sensorfläche, also beim Auslesen eines Vollbildes, nur jede j-te Sensorzeile und/oder nur jede k-te Sensorspalte mit j > 1, k > 1 ausgelesen wird bzw. werden. Hierbei können die Parameter j und k gleich oder ungleich sein. Je mehr Auflösung des Vollbildes durch Subsampling herabgesetzt wird, desto höhere Bildraten lassen sich erzielen. Da nur das Vollbild mit reduzierter Auflösung ausgelesen wird, die Teilbilder jedoch mit der vollen Auflösung, führt dies insgesamt lediglich im peripheren Sichtbereich des Betrachters zu einer Reduzierung der Bildauflösung. Da im interessierenden Bereich weiterhin der überwiegende Teil der Bilder, nämlich alle Teilbilder, mit der vollen Auflösung aufgenommen werden, macht sich die Reduzierung der Auflösung des Vollbildes im interessierenden Bereich praktisch nicht bemerkbar.An increase in the reduced frame rate for the frame as well as an increase in the frame rate for the region of interest are possible if when reading the entire sensor surface, ie when reading a frame, only every jth sensor row and / or only every k th sensor column with j > 1, k> 1 is read out. Here, the parameters j and k can be the same or different. The more resolution of the frame is reduced by subsampling, the higher frame rates can be achieved. Since only the full-screen is read with reduced resolution, but the sub-images with the full resolution, this leads to a total reduction only in the peripheral field of view of the viewer to a resolution of the image. Since in the area of interest the majority of the images, namely all partial images, are still recorded with the full resolution, the reduction of the resolution of the full image in the area of interest is practically not noticeable.
Im Rahmen des erfindungsgemäßen Verfahrens erfolgen innerhalb eines Belichtungs- und Auslesezyklus Belichtungen bei M verschiedenen Fokuslagen. Nach der Belichtung bei einer bestimmten Fokuslage der M Fokuslagen erfolgt ein Auslesen der gesamten belichteten Sensorfläche, wohingegen nach den Belichtungen bei den übrigen M-1 Fokuslagen jeweils nur ein Auslesen der Teilfläche des Sensors mit der interessierenden Bildregion erfolgt. Die bestimmte Fokuslage, bei der ein Auslesen der gesamten belichteten Sensorfläche erfolgt, kann hierbei insbesondere eine mittlere Fokuslage der M Fokuslagen sein. Über eine schnelle Änderung der Fokuslage lässt sich so ein z-Stapel im interessierenden Bereich eines zu untersuchenden Objekts aufnehmen. In einer nachgeschalteten Software kann dann ein Bild mit erhöhter Schärfentiefe (sog. EDOF-Bild) im interessierenden Bereich errechnet werden. Außerhalb des interessierenden Bereiches findet dagegen keine Erhöhung der Schärfentiefe statt. Um eine Echtzeitfähigkeit zu erreichen, wie sie bspw. im Operationssaal gefordert ist, ist eine Bildwiederholrate nötig, die wesentlich höher ist (möglichst größer 300 Hz), als sie typischerweise von einer preisgünstigen Conumser-Kamera zur Verfügung gestellt wird (typischerweise Bildwiederholraten 60 Hz). Dadurch, dass lediglich ein einziges Bild des z-Stapels (vorteilhafterweise eines in mittlerer Fokuslage) als Vollbild aufgenommen wird, während alle anderen Bilder entsprechend der interessierenden Bildregion lediglich als Ausschnittsbild aufgenommen werden, kann auch mit einer Consumer-Kamera für das Ausschnittsbild eine hohe Bildwiederholfrequenz erreicht werden, wenn die Teilfläche des Bildsensors, die das Ausschnittsbild repräsentiert, gegenüber der gesamten belichteten Sensorfläche klein genug ist. Beispielsweise bei Operationsmikroskopen, bei denen das Ausschnittsbild durch den Blickwinkel des scharfen Sehens (etwa 5°) repräsentiert ist und das Vollbild einen Sichtwinkel von 30° bis 40° aufweist, können für das Ausschnittsbild hohe Bildraten beim Aufnehmen eines z-Stapels erzielt werden. Das Erhöhen der Schärfentiefe kann bei zeitsequentieller Farbbeleuchtung sowie bei Weißlichtbeleuchtung erfolgen. Sofern Farbbilder aufgenommen werden, können diese mittels zeitsequentieller Bildaufnahme, mittels Bayer-Filter oder mittels dreier Bildsensoren aufgenommen werden.Within the scope of the method according to the invention, exposures at M different focal positions occur within an exposure and readout cycle. After the exposure at a certain focus position of the M focal positions, the entire exposed sensor surface is read out, whereas after the exposures in the remaining M-1 focal positions, only one readout of the partial surface of the sensor with the image region of interest takes place. The particular focus position, in which a readout of the entire exposed sensor surface takes place, may in this case be, in particular, a middle focus position of the M focal positions. A rapid change of the focus position makes it possible to record a z-stack in the region of interest of an object to be examined. In a downstream software, an image with increased depth of field (so-called EDOF image) in the region of interest can then be calculated. Outside the region of interest, on the other hand, there is no increase in the depth of field. In order to achieve a real-time capability, as required, for example, in the operating theater, a refresh rate is necessary, which is much higher (possibly greater than 300 Hz), as is typically provided by a low-cost Conumser camera (typically refresh
In vielen Anwendungen wird die interessierende Bildregion eines Bildes nicht immer dieselbe Position im Vollbild einnehmen. Beispielsweise bei einem Operationsmikroskop hängt die interessierende Bildregion von der Blickrichtung des Beobachters ab. Es ist daher vorteilhaft, wenn die Position der interessierenden Bildregion im Vollbild durch Bestimmen der Blickrichtung eines das Vollbild betrachtenden Beobachters ermittelt wird. In einem optischen Beobachtungssystem wie etwa einem Operationsmikroskop kann dies mittels eines sogenannten Eyetracking-Systems, welches die Blickrichtung erfasst, erfolgen. Wenn die Blickrichtung wiederholt ermittelt wird, kann die Position der die interessierende Bildregion repräsentierenden Teilfläche des Bildsensors auf der Sensorfläche anhand der jeweils aktuell ermittelten Blickrichtung aktualisiert werden. Vorzugsweise erfolgt hierbei das Ermitteln der Blickrichtung mit einer Rate von weniger als 20 Hz, vorzugsweise weniger als 10 Hz und insbesondere mit einer Rate im Bereich von 5 bis 10 Hz. Das Auge bewegt sich sehr schnell in sogenannten Sakkaden, ohne dass die dabei gewonnenen Informationen vom Gehirn verarbeitet werden. Sakkaden sind in der Regel nach 50 Millisekunden abgeschlossen. Eine Frequenz beim Ermitteln der Blickrichtung von mehr als 20 Hz könnte daher dazu führen, dass die Position der Teilfläche des Bildsensors anhand von Sakkaden nachgeführt wird, was jedoch nicht derjenigen Blickrichtung entspricht, die vom Gehirn auch verarbeitet wird. Auch wenn eine Rate von weniger als 20 Hz grundsätzlich ausreichen sollte, um das Nachführen der Teilfläche anhand von Sakkaden zu vermeiden, ist es vorteilhaft, wenn die Rate, mit der die Blickrichtung aktualisiert wird, die weniger als 10 Hz beträgt. Ein Bereich von 5 bis 10 Hz ist dabei besonders vorteilhaft, da bei einer Aktualisierung mit einer Rate von weniger als 5 Hz die Synchronisierung der die interessierende Bildregion repräsentierenden Teilfläche des Sensors auf der Sensorfläche mit der Blickrichtung störende Verzögerungen aufweisen könnte, die bspw. bei Operationen nicht hingenommen werden können.In many applications, the image region of interest of an image will not always occupy the same position in the frame. For example, in a surgical microscope, the image region of interest depends on the viewing direction of the observer. It is therefore advantageous if the position of the image region of interest in the frame is determined by determining the viewing direction of an observer viewing the frame. In an optical observation system such as a surgical microscope, this can be done by means of a so-called eye-tracking system, which detects the viewing direction. If the viewing direction is determined repeatedly, the position of the partial area of the image sensor representing the region of interest of the image sensor on the sensor surface can be updated on the basis of the currently determined viewing direction. In this case, the viewing direction is preferably determined at a rate of less than 20 Hz, preferably less than 10 Hz and in particular at a rate in the range of 5 to 10 Hz. The eye moves very quickly in so-called saccades, without the information obtained thereby processed by the brain. Saccades are usually completed after 50 milliseconds. A frequency in determining the viewing direction of more than 20 Hz could therefore lead to the position of the partial surface of the image sensor is tracked by means of saccades, but this does not correspond to the line of sight, which is also processed by the brain. Although a rate of less than 20 Hz should in principle be sufficient to avoid tracking the patch using saccades, it is advantageous if the rate at which the gaze direction is updated is less than 10 Hz. A range of 5 to 10 Hz is particularly advantageous since, in the case of an update at a rate of less than 5 Hz, the synchronization of the partial area of the sensor representing the region of interest on the sensor surface with the viewing direction could have disturbing delays, for example during operations can not be accepted.
Da die zuvor dargelegten Abschätzungen hinsichtlich der Auslesezeit für die interessierende Bildregion nicht von der Lage der entsprechenden Teilfläche des Bildsensors auf der belichteten Sensorfläche abhängen, gelten die Abschätzungen unabhängig von der Lage dieser Teilfläche auf dem Bildsensor.Since the above-described estimates with regard to the read-out time for the image region of interest do not depend on the position of the corresponding image region Depending on the position of this partial surface on the image sensor, the estimates apply regardless of the position of this partial surface on the exposed sensor surface.
Alternativ zum Nachführen der die interessierende Bildregion des Vollbildes repräsentierenden Teilfläche des Bildsensors anhand der Blickrichtung besteht auch die Möglichkeit, ein im Vollbild vorhandenes bewegtes Objekt zur Nachführung heranzuziehen. Hierzu wird mittels einer Bilderkennungssoftware ein bewegtes Objekt im Vollbild erkannt und die Teilfläche des Bildsensors so auf der Sensorfläche positioniert und dem Bild des bewegten Objekts auf der Sensorfläche nachgeführt, dass das Bild des bewegten Objekts in dieser Teilfläche verbleibt. Diese Ausgestaltung des erfindungsgemäßen Verfahrens eignet sich insbesondere für automatisierbare Beobachtungsvorgänge, wie etwa im Rahmen von Überwachungssystemen. Sobald beispielsweise eine Bewegung im zu überwachenden Bereich erfasst wird, kann die Teilfläche des Bildsensors so positioniert werden, dass die Teilfläche die Bewegung erfasst, solange sie von der Überwachungskamera beobachtet werden kann. Wenn die Bewegung des Objektes im Bild auf eine Bewegung des Beobachtungsgerätes etwa auf Grund von Schwingungen zurückgeht, kann die Nachführung zum Ausgleichen der Schwingungen dienen. Dies ist bspw. bei Operationsmikroskopen vorteilhaft.As an alternative to tracking the partial area of the image sensor representing the region of interest of the image frame on the basis of the viewing direction, it is also possible to use a moving object present in full image for tracking purposes. For this purpose, a moving object is detected in full screen by means of an image recognition software and positioned the subarea of the image sensor on the sensor surface and tracked the image of the moving object on the sensor surface that the image of the moving object remains in this subarea. This embodiment of the method according to the invention is particularly suitable for automated observation operations, such as in the context of monitoring systems. For example, as soon as a movement is detected in the area to be monitored, the partial area of the image sensor can be positioned such that the partial area detects the movement as long as it can be observed by the surveillance camera. If the movement of the object in the image is due to a movement of the observation device due to vibrations, the tracking can be used to compensate for the vibrations. This is advantageous, for example, in surgical microscopes.
In allen beschriebenen Ausführungsvarianten des erfindungsgemäßen Verfahrens können als Bilder des Beobachtungsobjekts dreidimensionale Bilder aufgenommen werden, die aus wenigstens zwei unter verschiedenen Sichtwinkeln aufgenommenen Perspektivbildern zusammengesetzt sind. Insbesondere können als dreidimensionale Bilder stereoskopische Bilder aufgenommen werden, die aus stereoskopischen Teilbildern zusammengesetzt sind. Alle Perspektivbilder (oder stereoskopischen Teilbilder beim Aufnehmen eines stereoskopischen Bildes) werden dabei mit einem elektronischen Bildsensor aufgenommen, wobei das erfindungsgemäße Verfahren auf das Aufnehmen der Perspektivbilder angewandt wird.In all described embodiments of the method according to the invention, three-dimensional images can be recorded as images of the observation object, which are composed of at least two perspective images recorded at different viewing angles. In particular, as three-dimensional images, stereoscopic images composed of stereoscopic partial images can be recorded. All perspective images (or stereoscopic partial images when taking a stereoscopic image) are recorded with an electronic image sensor, whereby the method according to the invention is applied to taking the perspective images.
Das erfindungsgemäße Verfahren kann als Computerprogramm mit Anweisungen zur Durchführung des Verfahrens realisiert sein.The method according to the invention can be realized as a computer program with instructions for carrying out the method.
Ein erfindungsgemäßes optisches Beobachtungsgerät zum Aufnehmen von Bildern eines Beobachtungsobjekts umfasst wenigstens einen elektronischen Bildsensor und eine Beobachtungsoptik, die ein Objektfeld des Beobachtungsobjekts als Vollbild auf die Sensorfläche des Bildsensors abbildet. Außerdem umfasst das erfindungsgemäße optische Beobachtungsgerät eine Auswahleinrichtung zum Auswählen einer Teilfläche des Bildsensors, die einer interessierenden Bildregion des Vollbildes entspricht, und eine Sensorsteuereinheit, die zum Steuern des Belichtens und Auslesens des Bildsensors nach dem erfindungsgemäßen Verfahren ausgebildet ist. Die Auswahleinrichtung kann dabei eine manuelle Auswahleinrichtung oder eine automatische Auswahleinrichtung sei, bspw. eine auf einen Eye-Traker beruhende Einrichtung.An optical observation device according to the invention for recording images of an observation object comprises at least one electronic image sensor and observation optics which images an object field of the observation object as a full image onto the sensor surface of the image sensor. In addition, the optical observation apparatus according to the present invention comprises selecting means for selecting a partial area of the image sensor corresponding to an image region of interest of the frame, and a sensor control unit configured to control the exposure and readout of the image sensor according to the method of the present invention. The selection device can be a manual selection device or an automatic selection device, for example a device based on an eye-traker.
Mit dem erfindungsgemäßen optischen Beobachtungsgerät lässt sich das erfindungsgemäße Verfahren durchführen. Die mit Bezug auf das Verfahren beschriebenen Eigenschaften und Vorteile lassen sich daher mit dem erfindungsgemäßen optischen Beobachtungsgerät realisieren. Das optische Beobachtungsgerät kann dabei beispielsweise als medizinisch-optisches Beobachtungsgerät wie etwa ein Operationsmikroskop oder ein Endoskop, als Überwachungskamera, als wissenschaftliches Mikroskop, als Mikroskop für Materialuntersuchungen, etc. ausgebildet sein.With the optical observation device according to the invention, the inventive method can be performed. The properties and advantages described with reference to the method can therefore be realized with the optical observation device according to the invention. The optical observation device can be designed, for example, as a medical-optical observation device such as a surgical microscope or an endoscope, as a surveillance camera, as a scientific microscope, as a microscope for material examinations, etc.
Das erfindungsgemäße optische Beobachtungsgerät kann insbesondere eine Beobachtungsoptik umfassen, die das Aufnehmen von Perspektivbildern aus wenigstens zwei unterschiedlichen Sichtwinkeln erlaubt. Insbesondere kann die Beobachtungsoptik als stereoskopische Beobachtungsoptik ausgebildet sein. In einer Weiterbildung dieser das Aufnehmen von Perspektivbildern erlaubenden Beobachtungsoptik kann diese derart ausgebildet sein, dass die Strahlenbündel der Perspektivbilder, also der Stereokanäle im Falle einer stereoskopischen Beobachtungsoptik, zeitsequentiell auf denselben Bildsensor abgebildet werden. Derartige Beobachtungsoptiken sind beispielsweise in der deutschen Patentanmeldung
Weitere Merkmale, Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbespielen unter Bezugnahme auf die beiliegenden Figuren.
-
1 zeigt ein Beispiel für ein optisches Beobachtungssystem in einer stark schematisierten Darstellung. -
2 zeigt die belichtete Sensorfläche eines Bildsensors mit einer die interessierende Bildregion eines Bildes repräsentierenden Teilfläche des Sensors. -
3 zeigt ein Zeitschema für eine zeitsequentielle Farbbildaufnahme mit einem monochromen Bildsensor und einer zeitsequentiellen Beleuchtung in den Grundfarben eines RGB-Farbraums. -
4 zeigt ein Zeitschema für eine zeitsequentielle Bildaufnahme mit einem monochromen Bildsensor und einer zeitsequentiellen Beleuchtung mit weißem Licht sowie den Grundfarben eines RGB-Farbraums. -
5 zeigt ein zweites Beispiel für das optische Beobachtungsgerät. -
6 zeigt ein Zeitschema für eine zeitsequentielle Bildaufnahme mit einem monochromen Bildsensor und einer zeitsequentiellen Beleuchtung mit einer Fluoreszenz generierenden Strahlungsquelle und den Grundfarben eines RGB-Farbraums. -
7 zeigt ein Zeitschema für eine zeitsequentielle Bildaufnahme mit einem monochromen Bildsensor und einer zeitsequentiellen Beleuchtung mit weißem Licht, Fluoreszenz anregender Strahlung und den Grundfarben eines RGB-Farbraums. -
8 zeigt eine Anpassung des Zeitschemas aus3 an ein stereoskopisches optisches Beobachtungsgerät. -
9 zeigt eine Variante desAusleseschemas aus 8 , mit dem sich die Auslesezeit für ein Vollbild verkürzen lässt. -
10 zeigt eine alternative Variante der Anpassung des Zeitschemas aus3 an ein stereoskopisches optisches Beobachtungsgerät. -
11 zeigt eine Anpassung des Zeitschemas aus4 an ein stereoskopisches optisches Beobachtungsgerät. -
12 zeigt eine Anpassung des Zeitschemas aus6 an ein stereoskopisches optisches Beobachtungsgerät. -
13 zeigt eine alternative Variante der Anpassung des Zeitschemas aus6 an ein stereoskopisches optisches Beobachtungsgerät. -
14 zeigt eine Anpassung des Zeitschemas aus7 an ein stereoskopisches optisches Beobachtungsgerät. -
15 zeigt ein Zeitschema für eine Bildaufnahme mit erhöhter Tiefenschärfe. -
16 zeigt einen Vergleich zwischen der Bildwiederholrate, die mit dem in15 dargestellten Zeitschema realisierbar ist im Vergleich zu der im Stand der Technik realisierten Bildwiederholrate.
-
1 shows an example of an optical observation system in a highly schematic representation. -
2 shows the exposed sensor surface of an image sensor with a partial area of the sensor representing the region of interest of an image. -
3 shows a timing diagram for a time-sequential color image recording with a monochrome Image sensor and a time-sequential lighting in the primary colors of an RGB color space. -
4 shows a timing diagram for a time-sequential image acquisition with a monochrome image sensor and a time-sequential illumination with white light and the basic colors of an RGB color space. -
5 shows a second example of the optical observation device. -
6 shows a timing diagram for a time-sequential image acquisition with a monochrome image sensor and a time-sequential illumination with a fluorescence-generating radiation source and the basic colors of an RGB color space. -
7 shows a timing diagram for a time-sequential image acquisition with a monochrome image sensor and a time-sequential illumination with white light, fluorescence exciting radiation and the basic colors of an RGB color space. -
8th shows an adaptation of thetime scheme 3 to a stereoscopic optical observation device. -
9 shows a variant of the readout scheme8th , which can shorten the read-out time for a full screen. -
10 shows an alternative variant of the adaptation of thetiming scheme 3 to a stereoscopic optical observation device. -
11 shows an adaptation of thetime scheme 4 to a stereoscopic optical observation device. -
12 shows an adaptation of thetime scheme 6 to a stereoscopic optical observation device. -
13 shows an alternative variant of the adaptation of thetiming scheme 6 to a stereoscopic optical observation device. -
14 shows an adaptation of thetime scheme 7 to a stereoscopic optical observation device. -
15 shows a timing diagram for an image acquisition with increased depth of field. -
16 shows a comparison between the refresh rate associated with the in15 shown time scale is realized in comparison to the image refresh rate realized in the prior art.
Ein Beispiel für ein optisches Beobachtungsgerät ist stark schematisiert in
Weiterhin umfasst das optische Beobachtungsgerät wenigstens eine Lichtquelle
Das optische Beobachtungsgerät wird von einer Steuereinheit
Das Prinzip, das der Aufnahme von Bildern mit Hilfe des in
Beim Aufnehmen von Bildern mit dem optischen Beobachtungsgerät wird der Bildsensor
Das Aufnehmen von Farbbildern erfolgt dabei, indem das Beobachtungsobjekt
Eine typische Consumer-Kamera verfügt über eine Bildwiederholrate von 60 Hz, das heißt das für das Auslesen eines Bildes rund 16,67 Millisekunden notwendig sind. Wenn mit einer derartigen Consumer-Kamera nach dem oben beschriebenen Verfahren Farbbilder synthetisiert werden sollen, können diese lediglich mit einer Bildwiederholrate von 20 Hz dargestellt werden, da für ein Farbbild jeweils drei monochrome Bilder in Rot, Grün und Blau aufgenommen werden müssen. Verzichtet man jedoch darauf, immer die gesamte Sensorfläche
In dem in
Nach der Beleuchtung des Beobachtungsobjekts
Im Rahmen des zweiten Beleuchtungszyklus erfolgt dann ein erneutes Beleuchten mit dem Licht der Lichtquelle
Im dritten Beleuchtungszyklus erfolgt wiederum nacheinander ein Beleuchten des Beobachtungsobjekts
Im vierten und letzten Beleuchtungszyklus des Belichtungs- und Auslesezyklus werden nur ROI-Bilder in allen Farben aufgenommen. Danach ist der erste Belichtungs- und Auslesezyklus beendet, und der nachfolgende Belichtungs- und Auslesezyklus kann beginnen. Dieser nachfolgende Zyklus entspricht dem ersten Zyklus. In jedem Belichtungs- und Auslesezyklus werden so ein farbiges Vollbild und zusätzlich drei farbige ROI-Bilder aufgenommen.In the fourth and final exposure cycle of the exposure and readout cycle, only ROI images are captured in all colors. Thereafter, the first exposure and readout cycle is completed, and the subsequent exposure and readout cycle may begin. This subsequent cycle corresponds to the first cycle. In each exposure and read-out cycle, a full color image and additionally three color ROI images are recorded.
Die Tabelle in
Wie sich aus
Es soll noch einmal angemerkt werden, dass, wie zuvor erwähnt, bei einer Kamera mit Global Shutter das Auslesen eines Bildes während der Belichtung des nächsten Bildes stattfindet. Die Auslesezeit, die zum Auslesen des n-ten Bildes benötigt wird, bestimmt deshalb die minimale Zeit, die für das Belichten des Bildes n+1 zur Verfügung steht. In dem in
Mit dem beschriebenen Verfahren lässt sich mit einer preisgünstigen Kamera, die nur eine beschränkte Bildwiederholrate ermöglicht, im Bereich der ROI eine flackerfreie, farbsequentielle Bildaufnahme realisieren. Dabei macht man sich zunutze, dass ein Beobachter in der Regel lediglich im ROI die volle Bildqualität benötigt. Die Herabsetzung der Bildwiederholrate im Bereich außerhalb der ROI kann dabei hingenommen werden.With the described method can be realized with a low-priced camera, which allows only a limited refresh rate, in the area of the ROI flicker-free, color sequential image acquisition. It makes use of the fact that an observer usually only needs the full picture quality in the ROI. Reducing the refresh rate outside the ROI can be tolerated.
Im allgemeinen Fall, dass für die Aufnahme eines farbigen Vollbildes nfarb einfarbige Vollbilder aufgenommen werden und zwischen zwei einfarbigen Vollbildern nROI einfarbige ROI-Bilder aufgenommen werden, verringert sich die Bildwiederholrate für die farbigen Vollbilder gegenüber einem Aufnehmen ausschließlich von Vollbildern um nfarb/(nfarb + y · nROI), wobei y das Flächenverhältnis eines ROI-Bildes zu einem Vollbild darstellt. Die Bildwiederholrate der farbigen ROI-Bilder erhöht sich dagegen deutlich um den Faktor (nfarb + nROI)/(nfarb + y · nROI).In the general case that for the recording of a full color image n color monochrome frames and monochrome ROI images are recorded between two monochrome frames n ROI , the refresh rate for the colored frames decreases as compared to capturing frames only by n color / (n color + y * n ROI ), where y is the area ratio of an ROI Picture to a full screen. In contrast, the refresh rate of the colored ROI images increases significantly by the factor (n color + n ROI ) / (n color + y · n ROI ).
Falls es nicht erforderlich ist, außerhalb der ROI Farbinformationen über das Beobachtungsobjekt zu erhalten, kann ein alternatives Zeitschema zur Anwendung kommen. Dieses ist in
In dem in
Nach dem Beleuchten des Beobachtungsobjekts mit dem Licht der Lichtquelle
Nach Beleuchten des Beobachtungsobjektes
Wie bereits erwähnt, wird, wenn die Bildaufnahme gemäß diesem Zeitschema erfolgt, lediglich das ROI-Bild farbig dargestellt. Dafür sind jedoch die Bildwiederholraten für das Vollbild und das farbige ROI-Bild identisch. Wenn wieder davon ausgegangen wird, dass die Teilfläche
Ein zweites Beispiel für das optische Beobachtungsgerät ist in
Das in
Diese Ausgestaltung des optischen Beobachtungsgeräts ist beispielsweise vorteilhaft, wenn einem Operateur medizinisch relevante Informationen zur Verfügung gestellt werden sollen, die außerhalb des sichtbaren Spektralbereichs liegen oder sich mit diesen überlagern. Beispielhaft ist hier Fluoreszenzbildgebung genannt, für die zur Zeit drei in der Medizin zugelassene fluoreszierende Farbstoffe existieren, nämlich die Verbindung
Bei der Verbindung
Bei ICG handelt es sich um einen Farbstoff, der für die Darstellung von Blutgefäßen (Angiographie) verwendet wird. ICG lässt sich beispielsweise bei Wellenlängen < 780 nm anregen, während die Fluoreszenz oberhalb 780 nm nachgewiesen wird - typischerweise mit einer Kamera. In der Hirnchirurgie ist es wichtig, Gefäßaussackungen, sogenannte Aneurysmen, beispielsweise mit einen Clip abzuklemmen, da die Aussackungen leicht reißen und zu Hirnbluten führen können. Nach dem Anbringen des Clips wird typischerweise ICG in die Blutbahn injiziert. Mit einer Kamera wird anschließend festgehalten, wie der Fluoreszenzfarbstoff in die Blutgefäße einströmt. Um zu erkennen, ob der Clip richtig gesetzt wurde, muss der Chirurg feststellen können, ob die Fluoreszenz im abgeklemmten Aneurysma über das große Blutgefäß oder über Kapillare einströmt. Dies bedeutet, dass eine schnelle Abfolge von Kamerabildern zu bewerten ist. Häufig ist die Bildrate bei typischen Kameras mit 60 Hz nicht ausreichend, um das Einströmverhalten bewerten zu können. Da gleichzeitig sowohl das Einströmen beobachtet werden muss - typischerweise an einem Monitor, der das infrarote Fluoreszenzbild als Graustufenbild darstellt - als auch der Patient zu überwachen ist, sind dazu mehrere Personen nötig. Hier ist eine Lösung gesucht, die sowohl ein Fluoreszenzbild mit hoher Bildrate (> 60 Hz) darstellen kann, als auch gleichzeitig eine Überwachung des Patienten erlaubt, beispielsweise über ein Bild im VIS-Bereich.ICG is a dye used to visualize blood vessels (angiography). For example, ICG can be excited at wavelengths <780 nm, while fluorescence above 780 nm is detected - typically with a camera. In brain surgery, it is important to clamp Gefäßaussackungen, so-called aneurysms, for example, with a clip, as the Aussackungen tear easily and can lead to brain bleeding. After attaching the clip, ICG is typically injected into the bloodstream. A camera is then used to record how the fluorescent dye flows into the blood vessels. To determine if the clip has been set correctly, the surgeon must be able to determine if the fluorescence in the clamped aneurysm is flowing in through the large blood vessel or through capillary. This means that a fast sequence of camera images is to be evaluated. Often the frame rate is not sufficient for typical 60 Hz cameras to evaluate the flow behavior. Since both the influx must be observed at the same time - typically on a monitor that displays the infrared fluorescence image as a grayscale image - as well as the patient is monitored, several people are required to do so. Here, a solution is sought, which can represent both a fluorescence image with high frame rate (> 60 Hz), and at the same time allows monitoring of the patient, for example via an image in the VIS area.
Bei Fluorescein handelt es sich um einen Fluoreszenzfarbstoff, der im Operationssaal sowohl in der Angiographie als auch für Gewebedifferenzierung verwendet wird. Eine Anregung wird typischerweise bei Wellenlängen von etwa 480 nm vorgenommen, um eine Fluoreszenz im Grünen zu beobachten. Dies bedeutet, dass sowohl Anregung als auch Fluoreszenz mitten im sichtbaren Spektralbereich liegen.Fluorescein is a fluorescent dye used in the operating room for both angiography and tissue differentiation. Excitation is typically done at wavelengths of about 480 nm to observe fluorescence in the green. This means that both excitation and fluorescence are in the middle of the visible spectral range.
Unabhängig von den drei genannten Fluoreszenzfarbstoffen wird generell auch für Farbstoffe, die in Zukunft eine medizinische Zulassung erhalten, die Herausforderung darin bestehen, bei einer Gewebedifferenzierung gleichzeitig sowohl ein unspezifisches Übersichtsbild, als auch die spezifische Fluoreszenz zu visualisieren bzw. bei einer Angiographie sowohl eine schnelle Fluoreszenzbilderfassung als auch eine Überwachung des Patienten zu ermöglichen.Regardless of the three fluorescent dyes mentioned above, the challenge for dyes that will receive medical approval in the future is to simultaneously visualize both a nonspecific overview image and the specific fluorescence in the case of tissue differentiation or fast fluorescence imaging in angiography as well as to allow monitoring of the patient.
Die in
Die Aufnahme des Fluoreszenzbildes kann ohne weiteres in das mit Bezug auf
Außer in das Zeitschema aus
Die bisher beschriebenen Zeitschemata zur Aufnahme von Farbbildern oder zur Aufnahme von Farbbildern und Fluoreszenzbildern können auch auf stereoskopische optische Beobachtungsgeräte wie etwa Operationsmikroskope übertragen werden. Eine erste Variante, gemäß der das in
Wenn die farbigen Vollbilder nicht dieselbe räumliche Auflösung wie die farbigen ROI-Bilder aufzuweisen brauchen, kann eine Erhöhung der Bildwiederholrate für die Vollbilder und die ROI-Bilder dadurch erzielt werden, dass beim Auslesen der gesamten Sensorfläche
Allgemein lässt sich durch Subsampling, bei dem nur jedes n-te Pixel in einer für ein Vollbild erforderlichen Zeile und nur jede m-te Zeile ausgelesen werden, eine Verkürzung der Auslesedauer um den Faktor n · m erreichen. Da die ROI in der Regel der Blickrichtung des Auges entspricht und das Auge außerhalb der Blickrichtung über eine geringere Winkelauflösung verfügt als in Blickrichtung ist das Aufnehmen der Vollbilder mit Subsampling häufig ohne weiteres möglich.In general, subsampling, in which only every nth pixel in a line required for a frame and only every mth line is read out, can shorten the read duration by the factor n × m. Since the ROI usually corresponds to the viewing direction of the eye and the eye has a smaller angular resolution outside the viewing direction than in the viewing direction, the recording of the frames with subsampling is often readily possible.
Eine Verkürzung der Auslesedauer lässt sich auch durch ein sog. Pixel-Binning erreichen. Bei einem Pixel-Binning werden benachbarte Pixel zu Pixelblöcken zusammengefasst und alle Pixel eines Blocks gemeinsam ausgelesen. Wenn ein Block n · m Pixel aufweist, ist eine Verkürzung der Auslesedauer um ebendiesen Faktor möglich.A shortening of the readout duration can also be achieved by a so-called pixel binning. at pixel binning, adjacent pixels are grouped into blocks of pixels, and all the pixels in a block are read together. If a block has n × m pixels, it is possible to shorten the read duration by the same factor.
Eine alternative Variante, wie das Zeitschema aus
Der dritte Belichtungs- und Auslesezyklus entspricht dann wieder dem ersten Belichtungs- und Auslesezyklus, der vierte Belichtungs- und Auslesezyklus wieder dem zweiten Belichtungs- und Auslesezyklus usw. Mit andern Worten, im vorliegenden Beispiel wird bei allen ungeradzahlige Belichtungs- und Auslesezyklen das erste Vollbild bei der roten Beleuchtung aufgenommen, bei allen geradzahligen Belichtungs- und Auslesezyklus wird dagegen das erste Vollbild bei grüner Beleuchtung aufgenommen. Dies hat zur Folge, dass bei einem Wechsel zwischen einem ungeradzahligen Belichtungs- und Auslesezyklus vier ROI-Bilder nacheinander aufgenommen werden, bei einem Wechsel von einem geradzahligen Belichtungs- und Auslesezyklus zu einem ungeradzahligen Belichtungs- und Auslesezyklus dagegen nur zwei einfarbige ROI-Bilder. Der beschriebene Wechsel beim Aufnehmen des ersten Vollbildes dient der Sicherstellung, dass für jeden Stereokanal auch tatsächlich Vollbilder in rot, grün und blau aufgenommen werden. Wären im vorliegenden Beispiel alle Belichtungs- und Auslesezyklen identisch, so würden für den rechten Stereokanal stets nur rote und blaue Vollbilder, für den linken Stereokanal stets nur grüne Vollbilder aufgenommen.The third exposure and readout cycle then again corresponds to the first exposure and readout cycle, the fourth exposure and readout cycle again to the second exposure and readout cycle, etc. In other words, in the present example, the first frame is included in all odd-numbered exposure and readout cycles the red illumination, however, in all even-numbered exposure and read-out cycle, the first frame is taken in green illumination. As a result, when changing between an odd-numbered exposure and read-out cycle, four ROI images are successively taken, but when changing from an even-numbered exposure and readout cycle to an odd-numbered exposure and readout cycle, only two monochrome ROI images are taken. The change described when recording the first frame is to ensure that for each stereo channel actually frames are recorded in red, green and blue. In the present example, if all the exposure and read-out cycles were identical, only red and blue frames would always be recorded for the right stereo channel, and only green frames for the left stereo channel.
Die mit dem in
Wie sich aus
In dem in
Auch das Zeitschema aus
Außer dem Aufnehmen von Farbbildern lässt sich auch das Aufnehmen von Farbbildern und beispielsweise Fluoreszenzbildern oder Bildern außerhalb des visuellen Spektralbereichs auf die Aufnahme stereoskopischer Bilder übertragen. Die dabei möglichen Zeitschemata sind in den
In dem in
Im Falle des in
Auch die in
Das beschriebene Verfahren kann aber nicht nur zum Aufnehmen von Farbbildern oder zum Aufnehmen Farbbildern und Fluoreszenzbildern oder Bildern außerhalb des visuellen Spektralbereichs herangezogen werden, sondern erfindungsgemäß auch zum schnellen Erweitern der Tiefenschärfe von Bildern. Beispielsweise bei Operationsmikroskopen mit Varioskop kann die Fokuslage des Mikroskops im Beobachtungsobjekt durch geeignetes Einstellen des Varioskops verändert werden. Wenn nun in rascher Folge Bilder bei verschiedenen Fokuslagen aufgenommen werden (sog. z-Stapel), so kann aus diesem z-Stapel ein Bild mit erhöhter Tiefenschärfe (EDOF-Bild, EDOF: Extended Depth of Field) synthetisiert werden. Um eine Echtzeitfähigkeit dieses Verfahrens zu erreichen, wie sie bei einer Operation gefordert ist, muss die Bildwiederholrate der Kamera beim ausschließlichen Aufnehmen von Vollbildern wesentlich höher (möglichst > 300 Hz) sein, als sie typischerweise von einer preisgünstigen Consumer-Kamera zur Verfügung gestellt wird (60 Hz). Das erfindungsgemäße Verfahren kann aber auch im Rahmen von anderen Methoden zum Erweitern der Tiefenschärfe Verwendung finden, in denen Bilder bei verschiedenen Fokuslagen aufgenommen werden.However, the method described can be used not only for taking color images or for taking color images and fluorescence images or images outside the visual spectral range, but according to the invention also for rapidly expanding the depth of field of images. For example, in surgical microscopes with a varioscope, the focus position of the microscope in the observation object can be changed by suitably adjusting the varioscope. If images are taken in rapid succession at different focal positions (so-called z-stacks), then an image with increased depth of focus (EDOF image, EDOF: Extended Depth of Field) can be synthesized from this z-stack. In order to achieve a real-time capability of this method, as required in an operation, the refresh rate of the camera when capturing only frames must be much higher (preferably> 300 Hz) than is typically provided by a low-cost consumer camera ( 60 Hz). However, the method according to the invention can also be used in the context of other methods for widening the depth of focus, in which images are recorded at different focal positions.
Wie beim Aufnehmen von Farbbildern gilt auch beim Aufnehmen von Bildern mit erhöhter Tiefenschärfe, dass sich die wichtigste Bildinformation in der Regel im ROI befindet. Dies ermöglicht es, das Vollbild lediglich für eine einzige Fokuslage des z-Stapels auszulesen, vorzugsweise für eine mittlere Fokuslage, und für die übrigen Fokuslagen lediglich das ROI-Bild auszulesen, also lediglich denjenigen Teilbereich
Ein Zeitschema zum Aufnehmen eines z-Stapels mit sieben Fokuslagen mit Hilfe einer Consumer-Kamera, die eine Bildwiederholrate von 60 Hz für Vollbilder besitzt, ist in
In allen beschriebenen Verfahren kann die Positionierung der die ROI repräsentierende Teilfläche
Im Rahmen des erfindungsgemäßen Verfahrens können darüber hinaus Bewegungen des optischen Beobachtungssystems ausgeglichen werden. Erfolgt beispielsweise eine Bewegung senkrecht zur optischen Achse (etwa aufgrund Vibrationen) so besteht die Möglichkeit, diese beispielsweise mittels Beschleunigungssensoren oder einer Registrierung von zeitlich aufeinanderfolgenden Bildern zu erkennen und eine Verschiebung der ROI auf dem Bildsensor durchzuführen, welche die Bewegung des optischen Beobachtungssystems kompensiert.In the context of the method according to the invention, moreover, movements of the optical observation system can be compensated. If, for example, a movement takes place perpendicular to the optical axis (for example due to vibrations), it is possible to detect them, for example by means of acceleration sensors or registration of temporally successive images, and to perform a shift of the ROI on the image sensor, which compensates the movement of the optical observation system.
Zudem kann das beschriebene Verfahren auch vorteilhaft bei Überwachungskameras eingesetzt werden. Bei einer Überwachung mittels Kamera (beispielsweise in öffentlichen Gebäuden, zur Grenzraumüberwachung oder bei militärischer Aufklärung) tritt häufig das Problem auf, dass nur eine begrenzte Bandbreite zur Übertragung der gewonnenen Bildinformation an eine Überwachungsstelle zur Verfügung steht. Auch für derartige Anwendungen lässt sich das beschriebene Prinzip heranziehen, wobei jedoch nicht eine ausreichend hohe Bildwiederholrate erzielt werden soll, sondern die Übertragungsrate von der zur Überwachung eingesetzten Kamera an die Überwachungsstelle verringert werden soll. Das beschriebene Verfahren ermöglicht es dabei, Vollbilder mit geringer Bildwiederholrate zu übertragen und ROI-Bilder mit einer normalen Bildwiederholrate. Da für ein ROI-Bild eine geringere Bandbreite nötig ist, kann insgesamt die Bandbreite, die zum Übertragen der Überwachungsbilder nötig ist, verringert werden. Wenn zudem am Ort der Kamera eine Auswerteeinheit vorhanden ist, die beispielsweise anhand von Bewegungen im Bild die ROI festlegen kann, kann eine solche Überwachungskamera weitgehend autonom agieren.In addition, the described method can also be used advantageously in surveillance cameras. When monitoring by means of a camera (for example in public buildings, for border surveillance or in military intelligence), the problem frequently arises that only a limited bandwidth is available for transmitting the acquired image information to a monitoring station. The described principle can also be used for such applications, but the aim is not to achieve a sufficiently high refresh rate but to reduce the transmission rate from the camera used for monitoring to the monitoring point. The method described makes it possible to transmit frames at a low frame rate and ROI images at a normal frame rate. Since a lower bandwidth is required for an ROI image, overall the bandwidth required to transmit the surveillance images can be reduced. If, moreover, an evaluation unit is present at the location of the camera, which can determine the ROI, for example based on movements in the image, such a surveillance camera can act largely autonomously.
Bei den im optischen Beobachtungsgerät verwendeten Lichtquellen kann es sich insbesondere um LEDs handeln, die im roten, grüne bzw. blauen Wellenlängenbereich emittieren. Aber auch andere Wellenlängenbereiche, die einen RGB-Farbraum oder CMY-Farbraum aufspannen, können zur Anwendung kommen. Zudem besteht die Möglichkeit weitere Lichtquellen vorzusehen, die beispielsweise im infraroten oder ultravioletten Spektralbereich emittieren.The light sources used in the optical observation device may in particular be LEDs which emit in the red, green or blue wavelength range. But also other wavelength ranges that span an RGB color space or CMY color space can be used. In addition, it is possible to provide additional light sources that emit, for example, in the infrared or ultraviolet spectral range.
Für optische Beobachtungsgeräte, die für Anwendungen am Auge vorgesehen sind, ist es vorteilhaft, die Belastung des Patienten mit Licht gering zu halten, um die Sehzellen nicht zu schädigen. Die Verwendung einer Infrarotbeleuchtung ermöglicht es, die Belastung zu verringern, da diese eine spektrale Abhängigkeit aufweist. So kann beispielsweise das IR-Bild dazu verwendet werden, dem behandelnden Chirurgen eine Orientierung zu ermöglichen, und das Farbbild dazu, verschiedene Gewebearten im Auge zu erkennen.For optical observation devices intended for use on the eye, it is advantageous to keep the burden of the patient on light low so as not to damage the visual cells. The use of infrared lighting makes it possible to reduce the load since it has a spectral dependence. For example, the IR image can be used to guide the treating surgeon and the color image to detect different types of tissue in the eye.
Eine UV-Beleuchtung kann dazu Verwendung finden, Fluoreszenz im Untersuchungsobjekt anzuregen. Dabei kann entweder eine Autofluoreszenz des Gewebes oder Fluoreszenz eines injizierten Farbstoffes angeregt werden.UV illumination can be used to stimulate fluorescence in the examination subject. In this case, either an autofluorescence of the tissue or fluorescence of an injected dye can be excited.
In Rahmen des beschriebenen Verfahrens können zudem die Beleuchtungszeiten mit den einzelnen Lichtquellen so gesteuert werden, dass die Einzelbilder optimal ausgesteuert sind, das heißt ein optimales Signal-zu-Rauschen-Verhältnis aufweisen. Außerdem ist es möglich, die Beleuchtungszeiten im Hinblick auf eine möglichst geringe Gewebebelastung zu wählen. Weiterhin ermöglicht es das Vorsehen getrennter Lichtquellen mit unterschiedlichen Spektralbereichen den Weißpunkt der Beleuchtung zu optimieren und gleichzeitig die aufzubringende Lichtmenge zu optimieren.In the context of the described method, moreover, the illumination times with the individual light sources can be controlled such that the individual images are optimally controlled, that is to say have an optimum signal-to-noise ratio. In addition, it is possible to choose the illumination times with regard to the lowest possible tissue load. Furthermore, the provision of separate light sources with different spectral ranges makes it possible to optimize the white point of the illumination and at the same time to optimize the amount of light to be applied.
Wird die Bildaufnahme außerdem um ein weiteres Bild erweitert, bei dem alle Beleuchtungen ausgeschaltet sind, so kann dieses „dunkle Bild“ dazu verwendet werden, das Umgebungslicht von den „Farbbildern“ abzuziehen, um eine Beeinflussung der Farbdarstellung sowohl im visuellen als auch im außervisuellen Bereich durch Umgebungslicht zu vermindern. Es ist auch möglich, mehr als drei Farben im visuellen Bereich zu verwenden, um die Differenzierung von Farben zu verbessern, das heißt um Farbunterschiede von Objekten besser erkennen zu können. Die Auswertung der Farbunterschiede kann automatisiert werden. Beispielsweise ist es auch möglich, lediglich die Farbunterschiede zur Darstellung zu bringen. Bei Verwendung von Vier-Farben-Displays ist es außerdem möglich, über die Benutzung von vier spektral angepassten Lichtquellen auf eine Verrechnung von Farbbildern verzichten zu können. Vielmehr werden der aufgenommene und der wiedergegebene Farbraum aneinander angepasst.If the image acquisition is also extended by another image in which all the lights are turned off, this "dark image" can be used to subtract the ambient light from the "color images", to influence the color representation both in the visual and in the external area to diminish by ambient light. It is also possible to use more than three colors in the visual area to improve the differentiation of colors, that is, to better recognize color differences of objects. The evaluation of color differences can be automated. For example, it is also possible to show only the color differences for illustration. When using four-color displays, it is also possible to dispense with the use of four spectrally matched light sources on a billing of color images. Rather, the recorded and reproduced color space are adapted to each other.
Obwohl in den Beispielen das Aufnehmen dreidimensionaler Bilder am Beispiel von stereoskopischen Bildern beschrieben worden ist, kann das beschriebene Verfahren auch bei anderen Arten der Aufnahme von dreidimensionalen Bildern zur Anwendung kommen, etwa bei der Aufnahme von Bildern mit einer plenoptischen Beobachtungsoptik oder einer Beobachtungsoptik, wie sie in
Mit dem beschriebene Verfahren und dem beschriebene optischen Beobachtungsgerät lässt sich die Bildwiederholrate im interessierenden Bildbereich (ROI) gegenüber dem Stand der Technik deutlich erhöhen, wohingegen die Bildwiederholrate für Vollbilder lediglich geringfügig verringert wird. Auf diese Weise ist es möglich, selbst mit langsamen Consumer-Kameras, die lediglich eine Bildwiederholrate von 60 Hz realisieren können, eine Farbbildaufnahme mit zeitsequentieller farbiger Beleuchtung zu realisieren, wobei im ROI eine Bildwiederholrate von mehr als 50 Hz erreicht werden kann. Selbst für eine Stereoaufnahme mit lediglich einem Bildsensor lassen sich Bildwiederholraten erreichen, die über der Kino-Norm von 24 Hz liegen. Weiterhin bieten das beschriebene Verfahren und das optische Beobachtungsgerät den Vorteil, dass die Wahrnehmung von Farbsäumen durch bewegte Objekte verringert wird. Darüber hinaus bieten das beschriebene Verfahren und das beschriebene optische Beobachtungsgerät den Vorteil, dass die Verzögerung zwischen der Bildaufnahme und der Bilddarstellung für die ROI geringer als im Stand der Technik ist.With the method described and the optical observation apparatus described, the image refresh rate in the image area of interest (ROI) can be significantly increased compared to the prior art, whereas the frame rate for frames is only slightly reduced. In this way it is possible, even with slow consumer cameras, which can realize only a refresh rate of 60 Hz, to realize a color image with time-sequential color illumination, wherein in the ROI a refresh rate of more than 50 Hz can be achieved. Even for a stereo recording with only one image sensor can achieve refresh rates that are above the cinema standard of 24 Hz. Furthermore, the described method and the optical observation device offer the advantage that the perception of color fringes by moving objects is reduced. Moreover, the method described and the optical observation device described offer the advantage that the delay between the image acquisition and the image representation for the ROI is lower than in the prior art.
BezugszeichenlisteLIST OF REFERENCE NUMBERS
- 11
- Beobachtungsoptikobservation optics
- 33
- Kameracamera
- 55
- elektronischer Bildsensorelectronic image sensor
- 77
- Recheneinheitcomputer unit
- L1 ... LNL1 ... LN
- Lichtquellenlight sources
- 99
- Darstellungseinheitdisplay unit
- 1111
- ZusammenführeinrichtungCombining device
- 1313
- Beleuchtungsoptikillumination optics
- 1515
- Steuereinheitcontrol unit
- 1717
- Beobachtungsobjektobservation object
- 1919
- Sensorflächesensor surface
- 2121
- ROI (region of intrest)ROI (region of intrest)
- 2323
- Spektralfilterspectral
Claims (13)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102011123037.1A DE102011123037B3 (en) | 2011-09-05 | 2011-09-05 | Method of capturing images of an observation object with an electronic image sensor and optical observation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102011123037.1A DE102011123037B3 (en) | 2011-09-05 | 2011-09-05 | Method of capturing images of an observation object with an electronic image sensor and optical observation device |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102011123037B3 true DE102011123037B3 (en) | 2019-10-10 |
Family
ID=67991274
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102011123037.1A Active DE102011123037B3 (en) | 2011-09-05 | 2011-09-05 | Method of capturing images of an observation object with an electronic image sensor and optical observation device |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102011123037B3 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020116473A1 (en) | 2020-06-23 | 2021-12-23 | Olympus Winter & Ibe Gmbh | Endoscopic Imaging Process, Endoscopic Imaging System, and Software Program Product |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0601179A1 (en) | 1992-06-26 | 1994-06-15 | Apollo Camera, L.L.C. | Single sensor video imaging system and method using sequential color object illumination |
WO1997011636A2 (en) | 1995-09-26 | 1997-04-03 | Karl Storz Gmbh & Co. | Apparatus for photodynamic diagnosis |
DE69515833T2 (en) | 1994-12-30 | 2000-10-12 | Eastman Kodak Co | Electronic camera with fast automatic focusing of the image on an image sensor |
DE10250568A1 (en) | 2002-10-28 | 2004-05-13 | Carl Zeiss Jena Gmbh | Procedures to improve the depth discrimination of optical imaging systems |
DE102008017390A1 (en) | 2008-04-02 | 2009-10-08 | Carl Zeiss Surgical Gmbh | Method and apparatus for capturing color images and LDI signals from an object |
EP2362641A1 (en) | 2010-02-18 | 2011-08-31 | Raytheon Company | Imaging System |
DE102011010262A1 (en) | 2011-01-27 | 2012-08-02 | Carl Zeiss Meditec Ag | Optical observation device e.g. digital operating microscope, for observing stereoscopic images, has intermediate imaging optics passed on path from main objective to mirror-matrix and another path from mirror-matrix to image sensor |
-
2011
- 2011-09-05 DE DE102011123037.1A patent/DE102011123037B3/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0601179A1 (en) | 1992-06-26 | 1994-06-15 | Apollo Camera, L.L.C. | Single sensor video imaging system and method using sequential color object illumination |
DE69515833T2 (en) | 1994-12-30 | 2000-10-12 | Eastman Kodak Co | Electronic camera with fast automatic focusing of the image on an image sensor |
WO1997011636A2 (en) | 1995-09-26 | 1997-04-03 | Karl Storz Gmbh & Co. | Apparatus for photodynamic diagnosis |
DE10250568A1 (en) | 2002-10-28 | 2004-05-13 | Carl Zeiss Jena Gmbh | Procedures to improve the depth discrimination of optical imaging systems |
DE102008017390A1 (en) | 2008-04-02 | 2009-10-08 | Carl Zeiss Surgical Gmbh | Method and apparatus for capturing color images and LDI signals from an object |
EP2362641A1 (en) | 2010-02-18 | 2011-08-31 | Raytheon Company | Imaging System |
DE102011010262A1 (en) | 2011-01-27 | 2012-08-02 | Carl Zeiss Meditec Ag | Optical observation device e.g. digital operating microscope, for observing stereoscopic images, has intermediate imaging optics passed on path from main objective to mirror-matrix and another path from mirror-matrix to image sensor |
DE102011010262B4 (en) | 2011-01-27 | 2013-05-16 | Carl Zeiss Meditec Ag | Optical observation device with at least two each having a partial beam path having optical transmission channels |
Non-Patent Citations (1)
Title |
---|
ADAMS, Andrew et al.: The Frankencamera: An Experimental Platform for Computational Photography. ACM Transactions on Graphics, Vol. 29, No. 4, July 2010. Article 29, pp. 29:1 - 29:12. * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020116473A1 (en) | 2020-06-23 | 2021-12-23 | Olympus Winter & Ibe Gmbh | Endoscopic Imaging Process, Endoscopic Imaging System, and Software Program Product |
CN113827171A (en) * | 2020-06-23 | 2021-12-24 | 奥林匹斯冬季和Ibe有限公司 | Endoscopic imaging method, endoscopic imaging system and software program product |
EP3928680A1 (en) * | 2020-06-23 | 2021-12-29 | OLYMPUS Winter & Ibe GmbH | Endoscopic imaging method, endoscope imaging system, and software program product |
US11857165B2 (en) | 2020-06-23 | 2024-01-02 | Olympus Winter & Ibe Gmbh | Method for endoscopic imaging, endoscopic imaging system and software program product |
CN113827171B (en) * | 2020-06-23 | 2024-05-03 | 奥林匹斯冬季和Ibe有限公司 | Endoscopic imaging method, endoscopic imaging system and software program product |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE10362402B3 (en) | Microscopy system and microscopy method | |
DE19535114B4 (en) | Endoscope system with fluorescence diagnosis | |
DE102014110131B4 (en) | Image capture device | |
DE102004062226B4 (en) | Device for viewing a fundus | |
DE102005034332A1 (en) | Apparatus and method for observation, documentation and / or diagnosis of the ocular fundus | |
DE102014016850B9 (en) | Optical system for fluorescence observation | |
DE102010044502A1 (en) | Special lighting Video Operations stereomicroscope | |
DE102010045364A1 (en) | Method for generating high-quality fundus image of eye of patient, involves obtaining color intensity distribution for correcting color composition of resultant color fundus image based on dark image representing noise of sensor | |
DE10204430A1 (en) | Stereo microscopy method and stereo microscopy system | |
DE10290005B4 (en) | Apparatus and method for imaging, stimulation, measurement and therapy, especially on the eye | |
DE102009024943A1 (en) | Imaging system and method for fluorescence-optical visualization of an object | |
EP1772726B1 (en) | Microscopy system for visualising a fluorescence | |
DE102011053250B4 (en) | A method of capturing images of an observation object with an electronic image sensor and an optical observation device | |
DE102017107178B4 (en) | Microscope with apparatus for generating reflex-corrected images and reflex correction method for correcting digital microscopic images | |
DE102015216570A1 (en) | microscopy system | |
DE102020105459A1 (en) | MEDICAL IMAGING DEVICE WITH MULTIPLE IMAGING MODES | |
DE19502472A1 (en) | Method and device for picking up an object | |
DE102009010446B4 (en) | Method and apparatus for quantifying blood flow in a tissue area | |
DE102011123037B3 (en) | Method of capturing images of an observation object with an electronic image sensor and optical observation device | |
DE3818278C2 (en) | Examination device for the eye, in particular the fundus, and method for operating the same | |
DE102018110643B3 (en) | Stereo microscope and method for stereomicroscopy | |
DE19532095C1 (en) | Endoscope with stereoscopic image effect | |
WO2014166954A1 (en) | Method for photographically observing and/or documenting the fundus of an eye, and fundus camera | |
DE102018110642B4 (en) | Microscopy method for imaging an object and microscope | |
DE102004019583B3 (en) | Method of combining image from optical apparatus with additional information as for an operation microscope varies intensity or color of image or information over time |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R129 | Divisional application from |
Ref document number: 102011053250 Country of ref document: DE |
|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final | ||
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: H04N0005345000 Ipc: H04N0025440000 |