DE102011053250A1 - Method for recording images of e.g. brain of patient during surgical intervention by operation microscope, involves performing exposing of sensor and reading of partial surface before once again exposing sensor and reading sensor surface - Google Patents
Method for recording images of e.g. brain of patient during surgical intervention by operation microscope, involves performing exposing of sensor and reading of partial surface before once again exposing sensor and reading sensor surface Download PDFInfo
- Publication number
- DE102011053250A1 DE102011053250A1 DE102011053250A DE102011053250A DE102011053250A1 DE 102011053250 A1 DE102011053250 A1 DE 102011053250A1 DE 102011053250 A DE102011053250 A DE 102011053250A DE 102011053250 A DE102011053250 A DE 102011053250A DE 102011053250 A1 DE102011053250 A1 DE 102011053250A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- exposure
- sensor
- image sensor
- illumination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Microscoopes, Condenser (AREA)
Abstract
Description
Die vorliegende Erfindung betrifft ein Verfahren zum Aufnehmen von Bildern eines Beobachtungsobjekts mit einem elektronischen Bildsensor. Daneben betrifft die Erfindung ein optisches Beobachtungsgerät zum Aufnehmen von Bildern eines Beobachtungsobjekts mit wenigstens einem elektronischen Bildsensor.The present invention relates to a method of capturing images of an observation object with an electronic image sensor. In addition, the invention relates to an optical observation device for taking pictures of an observation object with at least one electronic image sensor.
Um beispielsweise einem Operateur bei einem chirurgischen Eingriff unter Verwendung eines Operationsmikroskops gute Sichtverhältnisse zu verschaffen, wird das Operationsfeld beleuchtet. Typischerweise handelt es sich bei einem Operationsmikroskop um eine Optik, die ein sogenanntes Varioskop zur Fokussierung des Operationsfeldes, eine Zoom-Einheit (für die Stereobildgebung Pankrat genannt) sowie ein Okular als Schnittstelle zum Auge umfasst. Die Beleuchtung wird in der Regel durch thermische Strahler, etwa durch eine Halogen- oder Xenonlampe, mit einer nachgeschalteten Optik zur Fokussierung des Lichtes auf das Operationsfeld realisiert. Häufig werden dabei der Beleuchtungsstrahlengang und der Beobachtungsstrahlengang teilweise durch eine gemeinsame Optik, beispielsweise im Varioskop, geführt.For example, to provide good visibility to a surgeon in a surgical procedure using a surgical microscope, the surgical field is illuminated. Typically, a surgical microscope is an optic comprising a so-called varioscope for focusing the surgical field, a zoom unit (called pancake for stereoscopic imaging), and an eyepiece as an interface to the eye. The lighting is usually realized by thermal radiators, such as a halogen or xenon lamp, with a downstream optics to focus the light on the surgical field. Frequently, the illumination beam path and the observation beam path are partially guided by a common optical system, for example in the varioscope.
Geht man dazu über, die Bildaufnahme mittels Kamerachips zu digitalisieren und die Bildwiedergabe über Displays, insbesondere Stereodisplays oder digitale Okulare vorzunehmen, lassen sich nicht nur die Bildaufnahme und die Bildwiedergabe räumlich entkoppeln. Zusätzlich ist es möglich, die Belastung des Patienten durch die Beleuchtung des Operationsfeldes zu vermindern, da die Empfindlichkeit der Kamera der des Auges überlegen ist, zumindest für die Adaption des Auges an die typische Helligkeit im Operationssaal. Untersuchungen haben bestätigt, dass die Lichtintensität im Operationsfeld verringert werden kann, wenn eine Operation nicht mit einem rein optischen Mikroskop durchgeführt wird, sondern eine Kamera für eine Bildaufnahme verwendet wird.If one goes on to digitize the image recording by means of camera chips and to carry out the image reproduction via displays, in particular stereo displays or digital eyepieces, not only the image recording and the image reproduction can be spatially decoupled. In addition, it is possible to reduce the burden on the patient by illuminating the surgical field, since the sensitivity of the camera is superior to that of the eye, at least for the adaptation of the eye to the typical brightness in the operating theater. Studies have confirmed that the light intensity in the surgical field can be reduced if an operation is not performed with a purely optical microscope, but a camera is used for image acquisition.
Bei der Bildaufnahme von Farbbildern, beispielsweise während eines chirurgischen Eingriffs, werden typischerweise Farbkameras verwendet. Dabei handelt es sich entweder um teure Kameras mit drei Chips, je einem für den roten, den grünen und den blauen Spektralbereich, oder Kameras mit einem einzigen Chip, wobei ein sogenannter Bayer-Filter vor dem Chip angeordnet ist, in dem jedem Pixel des Sensorchips ein rotes, grünes oder blaues Filterelement vorgelagert ist. Gegebenenfalls können zudem Spektralfilter für andere Spektralbereiche vorhanden sein. Ein Kamerachip mit vorgeschaltetem Bayer-Filter ist beispielsweise in der deutschen Patentanmeldung
Alternativ ist es möglich, ein Farbbild mit einer monochromen und damit preisgünstigeren Kamera zeitsequentiell aufzunehmen. Das Beobachtungsobjekt wird dabei nacheinander mit verschiedenen Grundfarben beleuchtet und die Bilder während der Beleuchtung in den jeweiligen Grundfarben nacheinander mit einem einzigen Kamerachip aufgenommen. Die Bilder in den Grundfarben werden anschließend elektronisch überlagert, um ein Bild zu erhalten, das einer Weißlichtbeleuchtung entspricht. Derartige Verfahren zum zeitsequentiellen Aufnehmen sind beispielsweise in
Auch in anderen Situationen, etwa dem Aufnehmen stereoskopischer Bilder mit einem einzigen Kamerachip, wobei die stereoskopischen Teilbilder dann nacheinander mit demselben Kamerachip aufgenommen werden, spielt die Bildwiederholrate des Kamerachips eine Rolle. Hohe Bildwiederholraten sind hier ebenfalls wünschenswert, um ein Flimmern des Stereobildes zu vermeiden.Also in other situations, such as recording stereoscopic images with a single camera chip, wherein the stereoscopic partial images are then taken in succession with the same camera chip, the image refresh rate of the camera chip plays a role. High frame rates are also desirable here to avoid flickering the stereo image.
Es ist daher eine Aufgabe der vorliegenden Erfindung, ein Verfahren und ein optisches Beobachtungsgerät zur Verfügung zu stellen, mit dem sich ausreichend hohe Bildwiederholraten auch bei Verwendung einer preisgünstigen Kamera realisieren lassen.It is therefore an object of the present invention to provide a method and an optical observation device with which sufficiently high frame rates can be realized even when using a low-cost camera.
Diese Aufgabe wird durch ein Verfahren zum Aufnehmen von Bildern eines Beobachtungsobjekts mit einem elektronischen Bildsensor nach Anspruch 1 und durch ein optisches Beobachtungsgerät nach Anspruch 23 gelöst. Die abhängigen Ansprüche enthalten vorteilhafte Ausgestaltungen der Erfindung.This object is achieved by a method for capturing images of an observation object with an electronic image sensor according to
In den erfindungsgemäßen Verfahren zum Aufnehmen von Bildern eines Beobachtungsobjekts mit einem elektronischen Bildsensor wird ein Vollbild auf die Sensorfläche, vorzugsweise auf die gesamte Sensorfläche des Bildsensors abgebildet. Eine interessierende Bildregion (region of interest, ROI) des Vollbildes wird dabei auf eine Teilfläche des Bildsensors abgebildet. Die Aufnahme der Bilder erfolgt, indem der Bildsensor für das jeweilige Bild belichtet und nach jeder Belichtung ausgelesen wird. Dabei erfolgt auf ein Belichten des Bildsensors und ein Auslesen der gesamten für ein Vollbild belichteten Sensorfläche wenigstens einmal ein Belichten des Bildsensors und ein Auslesen nur der Teilfläche des Sensors mit der interessierenden Bildregion, bevor wieder ein Belichten des Bildsensors und ein Auslesen der gesamten belichteten Sensorfläche erfolgt. Ein Auslesen der gesamten belichteten Sensorfläche soll hierbei als ein auf die Fläche des Sensors bezogenes Auslesen und nicht als ein auf die Gesamtzahl der Pixel in dieser Fläche bezogenes Auslesen verstanden werden. Das Auslesen der gesamten belichteten Sensorfläche kann ein Auslesen aller Pixel dieser Fläche bedeuten, aber auch ein Auslesen nur eines Teils der Pixel wobei die Pixel über die gesamte Fläche verteilt sind, beispielsweise wenn nur jede n-ten Pixelzeile und/oder jede m-ten Pixelspalte im Falle eines Subsamplings ausgelesen werden. Ebenso ist ein sog. Pixel-Binning möglich, in dem Pixel (Bildelemente) des Sensors zu Pixelblöcken zusammengefasst und die Pixel eines Pixelblockes jeweils gemeinsam ausgelesen werden.In the method according to the invention for capturing images of an observation object with an electronic image sensor, a full image is imaged on the sensor surface, preferably on the entire sensor surface of the image sensor. An interesting region of interest (ROI) of the frame is imaged on a partial surface of the image sensor. The images are captured by exposing the image sensor for each image and reading it out after each exposure. there takes place on an exposure of the image sensor and readout of the entire exposed for a frame sensor surface at least once an exposure of the image sensor and reading only the partial area of the sensor with the image region of interest, before again exposing the image sensor and reading the entire exposed sensor surface. A readout of the entire exposed sensor area is to be understood here as a read-out related to the area of the sensor and not as a read-out related to the total number of pixels in this area. Reading out the entire exposed sensor area may mean reading out all pixels of this area, but also reading out only a part of the pixels, with the pixels being distributed over the entire area, for example if only every n-th pixel row and / or every m-th pixel column be read in the case of subsampling. Likewise, a so-called pixel-binning is possible in which pixels (picture elements) of the sensor are combined into blocks of pixels and the pixels of a block of pixels are read together in each case.
Die Erfindung beruht auf der folgenden Überlegung:
Beispielsweise bei einem chirurgischen Eingriff, der unter Verwendung eines Operationsmikroskops durchgeführt wird, wird dem Operateur das Vollbild unter einem Sichtwinkel von ca. 30° bis 40° (field of view, FoV) dargeboten. Die Macula, also derjenige Bereich im Auge, der das scharfe Sehen ermöglicht, beschränkt denjenigen Sichtwinkel, in dem scharfes Sehen möglich ist, auf etwa 5°. Der Erfindung liegt die Erkenntnis zu Grunde, dass es daher eigentlich häufig nicht notwendig ist, im gesamten Sichtwinkel eine hohe Bildqualität aufrecht zu erhalten. Vielmehr reicht es aus, eine hohe Bildqualität im Bereich des scharfen Sehens aufrecht zu erhalten.The invention is based on the following consideration:
For example, in a surgical procedure performed using a surgical microscope, the operator is presented with the full image at a viewing angle of about 30 ° to 40 ° (field of view, FoV). The macula, which is the area in the eye that allows for sharp vision, limits the viewing angle, where sharp vision is possible, to about 5 °. The invention is based on the realization that it is therefore often not necessary to maintain a high image quality in the entire viewing angle. Rather, it is sufficient to maintain a high image quality in the field of sharp vision.
Verzichtet man also darauf, jedes Mal die gesamte belichtete Sensorfläche auszulesen, sondern konzentriert sich auf den interessierenden Bereich (region of interest, ROI), der nur einem Bruchteil der Sensorfläche entspricht, so vermindert sich auch die Zeit, die für das Auslesen dieses Ausschnittes benötigt wird, auf genau diesen Bruchteil. Wenn beispielsweise der interessierende Bereich in beiden Bildrichtungen jeweils nur einem Drittel der Gesamtausdehnung der belichteten Sensorfläche in den beiden Bilddimensionen entspricht, befinden sich im interessierenden Bereich lediglich ein Neuntel der Pixel der belichteten Sensorfläche. Wird nun beispielsweise das Vollbild mit einer preisgünstigen 60 Hz-Kamera in 16,67 Millisekunden (ein Sechzigstel Sekunde) ausgelesen, so beträgt die Auslesezeit des interessierenden Bereichs lediglich ein Neuntel der Gesamtauslesedauer, also nur 1,85 Millisekunden. Wegen der für das Auslesen der Teilfläche der belichteten Sensorfläche deutlich geringeren Auslesezeit gegenüber dem Auslesen der gesamten belichteten Sensorfläche ist es möglich, die Bildwiederholrate der verwendeten Kamera gegenüber dem Stand der Technik zu erhöhen, indem nur bei jedem k-ten Auslesen des Bildsensors die gesamte belichtete Sensorfläche ausgelesen wird. Bei den übrigen Belichtungen wird dagegen lediglich diejenige Teilfläche des Sensors ausgelesen, die der interessierenden Bildregion entspricht.If one thus omits to read out the entire exposed sensor area each time, but concentrates on the region of interest (ROI), which corresponds to only a fraction of the sensor area, then the time required for reading this section is also reduced will, on just that fraction. If, for example, the region of interest in both image directions corresponds in each case to only one third of the total extent of the exposed sensor surface in the two image dimensions, only one ninth of the pixels of the exposed sensor surface are located in the region of interest. If, for example, the full image is read out with a low-
Wenn beispielsweise auf ein Auslesen der gesamten belichteten Sensorfläche dreimal ein Auslesen der dem interessierenden Bereich entsprechenden Teilfläche erfolgt, bevor die gesamte belichtete Sensorfläche ausgelesen wird, die zum Auslesen der gesamten belichteten Sensorfläche benötigte Zeit mit T bezeichnet wird und die Fläche des interessierenden Bereiches wie im zuvor erwähnten Beispiel ein Neuntel der Gesamtfläche beträgt, so wird für das Auslesen der Teilfläche eine Auslesedauer von 1/9 T benötigt. Für die drei Teilbilder werden also insgesamt dreimal 1/9 T benötigt, was 1/3 T entspricht. Die Zeitdauer die zwischen dem Auslesen zweier Vollbilder vergeht, hat sich durch das Auslesen der Teilbilder um ein Drittel erhöht. In dieser Zeit erfolgt jedoch ein viermaliges Auslesen des den interessierenden Bereich repräsentierenden Teilbildes, das ja auch zusammen mit dem Vollbild ausgelesen wird, sodass ein Auslesen dieses Teilbildes im Durchschnitt alle ((1 + 1/3)/4) T erfolgt. Für den interessierenden Bereich hat sich also die Dauer zwischen dem Auslesen im Vergleich zum Stand der Technik, in dem immer ein Vollbild ausgelesen wird, auf ein Drittel reduziert, sodass sich die Bildwiederholfrequenz für den interessierenden Bereich verdreifacht hat. Außerhalb des interessierenden Bereichs hat sich die Dauer zwischen dem Auslesen zweier Vollbilder zwar auf 4/3 T erhöht, jedoch entspricht dies immer noch ¾ der Bildwiederholrate, die erreicht würde, wenn immer nur Vollbilder ausgelesen würden.If, for example, a readout of the entire exposed sensor surface occurs three times the partial area corresponding to the region of interest before the entire exposed sensor surface is read out, the time required to read the entire exposed sensor surface is denoted by T and the area of the region of interest is the same as previously mentioned example is a ninth of the total area, then a read-out of 1/9 T is required for the reading of the partial area. For the three fields, a total of three
Tatsächlich ist in vielen Anwendungen der interessierende Bereich erheblich kleiner als das Gesamtbild. Etwa im Falle des bereits erwähnten Operationsmikroskops, besitz der interessierende Bereich einen Sehwinkel von etwa 5° gegenüber dem Sehwinkel von 30° bis 40° des Vollbildes. In diesem Fall können beispielsweise bei Inkaufnahme einer Reduzierung der Bildwiederholrate der Vollbilder im Vergleich zu der eigentlich möglichen Rate zwischen zwei Vollbildern eine Vielzahl Teilbilder aufgenommen werden, so dass sich die Bildwiederholfrequenz für den entsprechenden Bildausschnitt um so mehr steigern lässt, je kleiner dessen Fläche in Bezug auf die Fläche des Vollbildes ist.In fact, in many applications the area of interest is considerably smaller than the overall picture. For example, in the case of the surgical microscope already mentioned, the region of interest has a visual angle of about 5 ° with respect to the angle of vision of 30 ° to 40 ° of the full image. In this case, for example, if a reduction in the frame rate of the frames is accepted, then a multiplicity of partial pictures can be taken in comparison to the actually possible rate between two frames, so that the smaller the area of the frame, the more the frame rate for the corresponding image segment can be increased on the area of the full screen.
Insbesondere für einen Chirurgen ist es außerdem wichtig, dass eine geringe Verzögerung zwischen einer Bildaufnahme und der Wiedergabe der Bilder (Delay) vorliegt. Nur so kann eine gute Hand-Auge-Koordination, wie sie für eine Operation von großer Bedeutung ist, erzielt werden. Im Vergleich zum Stand der Technik kann dieser Delay für das den interessierenden Bereich repräsentierende Teilbild mit dem erfindungsgemäßen Verfahren im Vergleich zum Stand der Technik reduziert werden. Die etwas erhöhte Verzögerung im Bereich der Vollbilder außerhalb des interessierenden Bereichs ist dabei von geringerer Bedeutung, da sie nur im peripheren Bereich des Betrachters stattfindet, der für das Durchführen der Operation von untergeordneter Bedeutung ist.It is also important for a surgeon, in particular, that there is a slight delay between image acquisition and image playback (delay). Only so can a good hand-eye coordination, as for an operation of great importance is to be achieved. In comparison with the prior art, this delay for the partial image representing the region of interest can be reduced by the method according to the invention in comparison to the prior art. The slightly increased delay in the area outside the area of interest is of less importance since it only takes place in the peripheral area of the observer, which is of minor importance for carrying out the operation.
Neben dem Erhöhen der Bildwiederholrate im interessierenden Bereich bietet das erfindungsgemäße Verfahren auch weitere Anwendungsmöglichkeiten. Bei Systemen, in denen aufgenommene Bilder über eine Datenverbindung mit beschränkter Bandbreite übertragen werden, ermöglicht das erfindungsgemäße Verfahren bspw. das Übertragen der interessierenden Bildregion mit einer hohen Bildwiederholrate, während die übrigen Bereiche mit einer niedrigen Bildwiederholrate übertragen werden, um Bandbreite zu sparen. Weiterhin kann das erfindungsgemäße Verfahren beim Erhöhen der Tiefenschärfe eines optischen Bobachtungsgerätes zum Einsatz kommen.In addition to increasing the refresh rate in the area of interest, the inventive method also offers other applications. In systems where captured images are transmitted over a limited bandwidth data link, for example, the method of the present invention allows the image region of interest to be transmitted at a high frame rate while the remaining regions are transmitted at a low frame rate to save bandwidth. Furthermore, the inventive method can be used to increase the depth of field of an optical observation device.
Bei elektronischen Bildsensoren, bspw. bei CCD-Sensoren oder CMOS-Sensoren, erfolgt eine Belichtung des Bildsensors für das i-te Bild während des Auslesens des (i-1)-ten Bildes. Das Auslesen der gesamten belichteten Sensorfläche erfordert jedoch mehr Zeit als das Auslesen der den interessierenden Bereich repräsentierenden Teilfläche. Die prinzipiell mögliche Belichtungszeit eines Bildes, das während des Auslesens der gesamten belichteten Sensorfläche belichtet wird, ist daher größer als die Belichtungszeit eines Bildes, das während des Auslesens der Teilfläche des Sensors belichtet wird. Um eine ausgewogene Aussteuerung des Sensors zu erzielen, ist es daher vorteilhaft, wenn die Intensität der Beleuchtung für die i-te Belichtung gegenüber der Beleuchtung für die (i-1)-te Belichtung herabgesetzt ist, wenn zum Auslesen des (i-1)-ten Bildes die gesamte belichtete Sensorfläche ausgelesen wird, um die längere Belichtungsdauer auszugleichen. Alternativ ist es auch möglich, die Belichtungsdauer für die i-te Belichtung gegenüber der Belichtungsdauer für die (i-1)-te Belichtung herabzusetzen, wenn zum Auslesen des (i-1)-ten Bildes die gesamte belichtete Sensorfläche ausgelesen wird. Mit anderen Worten, es wird dann nur ein Teil der grundsätzlich möglichen Belichtungsdauer genutzt. Selbstverständlich ist es auch möglich, eine verkürzte Belichtungsdauer und eine reduzierte Beleuchtungsintensität miteinander zu verknüpfen. Die Verknüpfung sollte dabei so erfolgen, dass beide Effekte kombiniert zu einer Belichtung führen, wie sie während des Auslesens nur der Teilfläche des Sensors, ggf. unter Berücksichtigung spektraler Empfindlichkeiten des Sensors, stattfinden würde.In the case of electronic image sensors, for example in the case of CCD sensors or CMOS sensors, exposure of the image sensor for the i-th image takes place during the readout of the (i-1) -th image. Reading out the entire exposed sensor surface, however, requires more time than reading out the partial area representing the region of interest. The theoretically possible exposure time of an image which is exposed during the readout of the entire exposed sensor area is therefore greater than the exposure time of an image which is exposed during the readout of the partial area of the sensor. In order to achieve a balanced modulation of the sensor, it is therefore advantageous if the intensity of the illumination for the i-th illumination is reduced compared to the illumination for the (i-1) -th exposure if it is necessary to read the (i-1). -th image the entire exposed sensor surface is read out to compensate for the longer exposure time. Alternatively, it is also possible to reduce the exposure time for the i-th exposure to the exposure time for the (i-1) th exposure when the entire exposed sensor area is read out to read the (i-1) -th image. In other words, only part of the basically possible exposure time is used. Of course, it is also possible to combine a shortened exposure time and a reduced illumination intensity. The combination should be such that both effects combined result in an exposure that would take place during the reading out of only the partial area of the sensor, possibly taking into account spectral sensitivities of the sensor.
Eine Erhöhung der reduzierten Bildrate für das Vollbild sowie eine Erhöhung der Bildrate für den interessierenden Bereich sind möglich, wenn beim Auslesen der gesamten Sensorfläche, also beim Auslesen eines Vollbildes, nur jede j-te Sensorzeile und/oder nur jede k-te Sensorspalte mit j > 1, k > 1 ausgelesen wird bzw. werden. Hierbei können die Parameter j und k gleich oder ungleich sein. Je mehr Auflösung des Vollbildes durch Subsampling herabgesetzt wird, desto höhere Bildraten lassen sich erzielen. Da nur das Vollbild mit reduzierter Auflösung ausgelesen wird, die Teilbilder jedoch mit der vollen Auflösung, führt dies insgesamt lediglich im peripheren Sichtbereich des Betrachters zu einer Reduzierung der Bildauflösung. Da im interessierenden Bereich weiterhin der überwiegende Teil der Bilder, nämlich alle Teilbilder, mit der vollen Auflösung aufgenommen werden, macht sich die Reduzierung der Auflösung des Vollbildes im interessierenden Bereich praktisch nicht bemerkbar.An increase in the reduced frame rate for the frame as well as an increase in the frame rate for the region of interest are possible if when reading the entire sensor surface, ie when reading a frame, only every jth sensor row and / or only every k th sensor column with j > 1, k> 1 is read out. Here, the parameters j and k can be the same or different. The more resolution of the frame is reduced by subsampling, the higher frame rates can be achieved. Since only the full-screen is read with reduced resolution, but the sub-images with the full resolution, this leads to a total reduction only in the peripheral field of view of the viewer to a resolution of the image. Since in the area of interest the majority of the images, namely all partial images, are still recorded with the full resolution, the reduction of the resolution of the full image in the area of interest is practically not noticeable.
Im Rahmen des erfindungsgemäßen Verfahrens kann als Bildsensor ein monochromer Bildsensor Verwendung finden. Dieser kann ein CCD-Sensor oder insbesondere ein CMOS-Sensor sein. Für das Belichten des monochromen Bildsensors erfolgt ein Beleuchten des Beobachtungsobjekts in Beleuchtungszyklen, in denen das Beobachtungsobjekt zeitsequentiell mit N unterschiedlichen Wellenlängenverteilungen beleuchtet wird. Das Auslesen des Bildsensors erfolgt in Belichtungs- und Auslesezyklen, wobei die Beleuchtungszyklen mit den Belichtungs- und Auslesezyklen derart synchronisiert sind, dass pro Belichtungs- und Auslesezyklus
- a) ein Belichten des Bildsensors bei Beleuchtung des Beobachtungsobjekts mit einer ersten der N Wellenlängenverteilung eines Beleuchtungszyklus und ein anschließendes Auslesen der gesamten belichteten Sensorfläche erfolgt,
- b) danach wenigstens einmal eine Belichtungs- und Auslesesequenz des Bildsensors erfolgt, in der das Beobachtungsobjekt nacheinander mit verschiedenen Wellenlängenverteilungen eines Beleuchtungszyklus beleuchtet wird, bei jedem Beleuchten des Beobachtungsobjekts mit einer der Wellenlängenverteilungen eine Belichtung erfolgt und nach jedem Belichten jeweils nur ein Auslesen der Teilfläche des Sensors mit der interessierenden Bildregion erfolgt, und
- c) die Schritte a) und b) N mal durchgeführt werden, wobei in Schritt a) jedes mal eine andere Wellenlängenverteilung Verwendung findet.
- a) exposing the image sensor when the observation object is illuminated with a first of the N wavelength distribution of an illumination cycle and then reading out the entire exposed sensor surface,
- b) thereafter at least once an exposure and read sequence of the image sensor takes place, in which the observation object is illuminated successively with different wavelength distributions of a lighting cycle, with each illumination of the observation object with one of the wavelength distributions an exposure takes place and after each exposure only one readout of the partial surface of the Sensor with the image region of interest takes place, and
- c) the steps a) and b) are performed N times, wherein in step a) each time a different wavelength distribution is used.
Hierbei können die N unterschiedlichen Wellenlängenverteilungen wenigstens die Grundfarben eines RGB-Farbraums oder eines CMY-Farbraums umfassen. Zusätzlich zu den Grundfarben des RGB-Farbraums bzw. des CMY-Farbraums kann optional wenigstens eine weitere Wellenlängenverteilung vorhanden sein, beispielsweise für Fluoreszenzmessungen, Laser-Doppler-Imaging (LDI), Funktionsmessungen an funktionstragenden Gehirnarealen, etc. Die Grundfarben des RGB-Farbraums oder des CMY-Farbraums können hierbei insbesondere zum Generieren eines Farbbildes Verwendung finden.Here, the N different wavelength distributions may comprise at least the basic colors of an RGB color space or a CMY color space. In addition to the basic colors of the RGB Color space or the CMY color space may optionally be present at least one further wavelength distribution, for example, for fluorescence measurements, laser Doppler imaging (LDI), function measurements on functional brain areas, etc. The primary colors of the RGB color space or the CMY color space in this case in particular to generate a color image use find.
In der beschriebenen Weiterbildung des erfindungsgemäßen Verfahrens beginnt ein Belichtungs- und Auslesezyklus also mit der Aufnahme eines Vollbildes bei einer bestimmten Wellenlängenverteilung des Beleuchtungszyklus. Nach dem Aufnehmen des Vollbildes schließt sich eine Belichtungs- und Auslesesequenz an, in der bspw. nacheinander Teilbilder für alle im Beleuchtungszyklus enthaltenen Wellenlängenverteilungen aufgenommen werden. Wenn dann der Schritt a) im Rahmen des Belichtungs- und Auslesezyklus erneut durchgeführt wird, findet eine Aufnahme eines Vollbildes für den nächsten der N Wellenlängenbereiche statt. Auch hier schließt sich bspw. wieder die Aufnahme von Teilbildern für alle Wellenlängenverteilungen des Beleuchtungszyklus an. Der Belichtungs- und Auslesezyklus ist beendet, wenn der Schritt a) für alle im Beleuchtungszyklus enthaltenen Wellenlängenverteilungen einmal durchgeführt worden ist und für den letzten Schritt a) auch Schritt b) zu Ende geführt ist. Wenn in jeder Belichtungs- und Auslesesequenz das Beobachtungsobjekt wenigstens einmal nacheinander mit allen N Wellenlängenverteilungen beleuchtet wird, umfasst ein Belichtungs- und Auslesezyklus daher insgesamt mindestens xN + 1 Beleuchtungszyklus, wobei x angibt, wie oft nacheinander Teilbilder mit allen N Wellenlängenverteilungen aufgenommen werden, bevor eine erneute Aufnahme eines Vollbildes erfolgt. Wenn beispielsweise nach dem Aufnehmen eines Vollbildes genau einmal Teilbilder für alle N Wellenlängenverteilungen aufgenommen werden, beträgt x = 1, sodass ein gesamter Belichtungs- und Auslesezyklus N + 1 Beleuchtungszyklen einschließt. Um den mit der beschriebenen Weiterbildung des Verfahrens ermöglichten Zeitgewinn – und die daraus resultierende Bildwiederholrate – abschätzen zu können, kann folgende Rechnung aufgestellt werden: Wenn T die Zeit ist, die für das Auslesen eines Vollbildes benötigt wird und y das Flächenverhältnis des Teilbildes zu dem Vollbild darstellt, so beträgt die Auslesezeit für ein Teilbild TT = y·T. Sei N die Anzahl der für ein farbiges Vollbild nötigen Teilbilder (beispielsweise drei Teilbilder im RGB-Farbraum), so beträgt die Zeit für das Auslesen eines farbigen Vollbildes im Rahmen der beschriebenen Weiterbildung des Verfahrens N·T (für die N während eines Belichtungs- und Auslesezyklus aufgenommenen Vollbilder) + (x·N·Y·T) (für die zwischen zwei Vollbildern aufgenommenen Teilbilder).In the described development of the method according to the invention, therefore, an exposure and readout cycle begins with the acquisition of a full image at a specific wavelength distribution of the illumination cycle. After the frame has been taken, an exposure and read-out sequence follows, in which, for example, partial images are taken successively for all wavelength distributions contained in the illumination cycle. Then, if step a) is performed again as part of the exposure and read cycle, one frame is taken for the next of the N wavelength ranges. Here too, for example, the inclusion of partial images for all wavelength distributions of the illumination cycle follows again. The exposure and readout cycle is terminated when step a) has been performed once for all wavelength distributions contained in the illumination cycle and also for the last step a) step b) is completed. Therefore, if in each exposure and read sequence the observation object is illuminated at least once in succession with all N wavelength distributions, a total exposure and read cycle will comprise at least xN + 1 illumination cycle, where x indicates how many frames are taken successively with all N wavelength distributions before one resume a full screen. For example, if frames are captured exactly once for all N wavelength distributions after capturing a frame, x = 1, so that one entire exposure and read cycle will include N + 1 lighting cycles. In order to be able to estimate the time saving made possible by the described development of the method - and the resulting frame rate - the following calculation can be made: If T is the time required for reading one frame and y is the area ratio of the frame to the frame represents, the read-out time for a field T T = y · T. If N is the number of partial images necessary for a full color image (for example three partial images in the RGB color space), then the time for the readout of a full color image in the described development of the method N · T (for the N during an exposure and Read-out cycle) + (x * N * Y * T) (for the fields captured between two frames).
Für den Fall x = 1 und N = 3 (für drei Grundfarben des RGB-Farbraums) erhält man so die Zeitdauer für die Aufnahme eines Farbbildes von 3·T + N·yT. In einem Verfahren nach Stand der Technik, in dem nur Vollbilder aufgenommen werden, würde die Zeitdauer für das Aufnehmen eines Farbbildes 3·T betragen. Mit dem erfindungsgemäßen Verfahren verlängert sich also die Zeitdauer um N·y·T. Es ist ohne weiteres zu erkennen, dass die Verlängerung der Zeitdauer gegenüber dem Stand der Technik umso weniger ins Gewicht fällt, je kleiner der Faktor y ist, also je kleiner die für ein Teilbild benötigte Sensorfläche in Bezug auf die gesamte belichtete Sensorfläche ist. Wenn beispielsweise die Teilfläche einem Neuntel der gesamten belichteten Sensorfläche entspricht, gelangt man zu einer Auslesedauer T, die
Im interessierenden Bereich werden in derselben Zeit zusätzlich zum Vollbild, das ebenfalls den interessierenden Bereich enthält, x·N Teilbilder aufgenommen. Dies bedeutet, dass bei x = 1 in der Zeit, in der ein Vollbild aufgenommen wird, insgesamt vier Bilder des interessierenden Bereiches aufgenommen werden. Die Bildwiederholrate für den interessierenden Bereich ist daher einen Faktor 4 höher als für das Vollbild.In the region of interest, x.n frames are taken at the same time in addition to the frame which also contains the region of interest. This means that at x = 1 in the time in which a frame is recorded, a total of four images of the area of interest are recorded. The refresh rate for the region of interest is therefore a factor of 4 higher than for the frame.
In einer alternativen Ausgestaltung des erfindungsgemäßen Verfahrens, in dem als Bildsensor ein monochromer Bildsensor Verwendung findet und in dem ebenfalls ein Beleuchten des Beobachtungsobjekts in Beleuchtungszyklen erfolgt, wird das Beobachtungsobjekt zeitsequentiell mit weißem Licht und N unterschiedlichen Wellenlängenverteilungen beleuchtet. Das weiße Licht kann dabei bspw. dadurch realisiert sein, dass alle N unterschiedlichen Wellenlängenverteilungen gleichzeitig das Beobachtungsobjekt beleuchten. Auch in dieser Weiterbildung des Verfahrens erfolgt das Auslesen des Bildsensors in Belichtungs- und Auslesezyklen. Die Beleuchtungszyklen sind dabei mit den Belichtungs- und Auslesezyklen derart synchronisiert, dass pro Belichtungs- und Auslesezyklus
- a) ein Belichten des Bildsensors mit dem weißen Licht eines Beleuchtungszyklus und ein anschließendes Auslesen der gesamten Sensorfläche erfolgt,
- b) danach wenigstens einmal eine Belichtungs- und Auslesesequenz des Bildsensors erfolgt, in der das Beobachtungsobjekt nacheinander mit verschiedenen Wellenlängenverteilungen eines Beleuchtungszyklus beleuchtet wird, bei jedem Beleuchten des Beobachtungsobjekts mit einer der Wellenlängenverteilungen eine Belichtung erfolgt und nach jedem Belichten jeweils nur ein Auslesen der Teilfläche des Sensors mit der interessierenden Bildregion erfolgt.
- a) exposing the image sensor to the white light of a lighting cycle and then reading out the entire sensor surface,
- b) thereafter at least once an exposure and read-out sequence of the image sensor takes place, in which the observation object is illuminated successively with different wavelength distributions of an illumination cycle, each time the observation object is illuminated with a the wavelength distributions an exposure takes place and after each exposure takes place only one readout of the partial area of the sensor with the image region of interest.
In dieser Weiterbildung des erfindungsgemäßen Verfahrens umfasst ein Beleuchtungszyklus also einmal ein Beleuchten mit weißem Licht und xN zeitsequentielle Beleuchtungen mit den unterschiedlichen Wellenlängenverteilungen, wenn in der Belichtungs- und Auslesesequenz jedes mal alle N Wellenlängenverteilungen enthalten sind. Im einfachsten Fall ist x = 1, sodass ein Beleuchtungszyklus N + 1 Beleuchtungen umfasst, nämlich einmal die Beleuchtung mit weißem Licht und, daran anschließend, die zeitsequentielle Beleuchtung mit den N unterschiedlichen Wellenlängenverteilungen. Wie in der zuvor beschriebenen Weiterbildung des erfindungsgemäßen Verfahrens können die N Wellenlängenverteilungen wenigstens die Grundfarben eines RGB-Farbraums umfassen. Optional kann zusätzlich zu den Grundfarben des RGB-Farbraums und dem weißen Licht wenigstens eine weitere Wellenlängenverteilung vorhanden sein, beispielsweise für Fluoreszenzmessungen, Laser-Doppler-Imaging, Funktionsmessungen an funktionstragenden Gehirnarealen, etc. Aus den N Grundfarben des RGB-Farbraums kann ein Farbbild generiert werden. In der beschriebenen Weiterbildung des erfindungsgemäßen Verfahrens, in der weißes Licht zur Aufnahme der Vollbilder herangezogen wird, wird wegen des monochromen Bildsensors lediglich der interessierende Bereich farbig dargestellt, während die Peripherie lediglich schwarzweiß dargestellt wird. Für viele Anwendungen, in denen es häufig nur auf den interessierenden Bereich ankommt, ist eine derartige Darstellung jedoch völlig ausreichend.In this development of the method according to the invention, an illumination cycle thus comprises once a illumination with white light and xN time-sequential illuminations with the different wavelength distributions, if in the exposure and read-out sequence every N wavelength distributions are included. In the simplest case, x = 1, so that one illumination cycle comprises N + 1 illuminations, namely the illumination with white light and, subsequently, the time-sequential illumination with the N different wavelength distributions. As in the previously described development of the method according to the invention, the N wavelength distributions may comprise at least the basic colors of an RGB color space. Optionally, in addition to the primary colors of the RGB color space and the white light, at least one further wavelength distribution may be present, for example for fluorescence measurements, laser Doppler imaging, functional measurements on functional brain areas, etc. A color image can be generated from the N primary colors of the RGB color space become. In the described development of the method according to the invention, in which white light is used to take the frames, because of the monochrome image sensor, only the region of interest is shown in color, while the periphery is shown only in black and white. However, for many applications where often only the area of interest matters, such a representation is quite sufficient.
Im Rahmen des erfindungsgemäßen Verfahrens besteht auch die Möglichkeit, dass innerhalb eines Belichtungs- und Auslesezyklus Belichtungen bei M verschiedenen Fokuslagen erfolgen. Nach der Belichtung bei einer bestimmten Fokuslage der M Fokuslagen erfolgt ein Auslesen der gesamten belichteten Sensorfläche, wohingegen nach den Belichtungen bei den übrigen M-1 Fokuslagen jeweils nur ein Auslesen der Teilfläche des Sensors mit der interessierenden Bildregion erfolgt. Die bestimmte Fokuslage, bei der ein Auslesen der gesamten belichteten Sensorfläche erfolgt, kann hierbei insbesondere eine mittlere Fokuslage der M Fokuslagen sein. Über eine schnelle Änderung der Fokuslage lässt sich so ein z-Stapel im interessierenden Bereich eines zu untersuchenden Objekts aufnehmen. In einer nachgeschalteten Software kann dann ein Bild mit erhöhter Schärfentiefe (sog. EDOF-Bild) im interessierenden Bereich errechnet werden. Außerhalb des interessierenden Berieches findet dagegen keine Erhöhung der Schärfentiefe statt. Um eine Echtzeitfähigkeit zu erreichen, wie sie bspw. im Operationssaal gefordert ist, ist eine Bildwiederholrate nötig, die wesentlich höher ist (möglichst größer 300 Hz), als sie typischerweise von einer preisgünstigen Conumser-Kamera zur Verfügung gestellt wird (typischerweise Bildwiederholraten 60 Hz). Dadurch, dass lediglich ein einziges Bild des z-Stapels (vorteilhafterweise eines in mittlerer Fokuslage) als Vollbild aufgenommen wird, während alle anderen Bilder entsprechend der interessierenden Bildregion lediglich als Ausschnittsbild aufgenommen werden, kann auch mit einer Consumer-Kamera für das Ausschnittsbild eine hohe Bildwiederholfrequenz erreicht werden, wenn die Teilfläche des Bildsensors, die das Ausschnittsbild repräsentiert, gegenüber der gesamten belichteten Sensorfläche klein genug ist. Beispielsweise bei Operationsmikroskopen, bei denen das Ausschnittsbild durch den Blickwinkel des scharfen Sehens (etwa 5°) repräsentiert ist und das Vollbild einen Sichtwinkel von 30° bis 40° aufweist, können für das Ausschnittsbild hohe Bildraten beim Aufnehmen eines z-Stapels erzielt werden. Das Erhöhen der Schärfentiefe kann bei zeitsequentieller Farbbeleuchtung sowie bei Weißlichtbeleuchtung erfolgen. Sofern Farbbilder aufgenommen werden, können diese mittels zeitsequentieller Bildaufnahme, mittels Bayer-Filter oder mittels dreier Bildsensoren aufgenommen werden.In the context of the method according to the invention, it is also possible for exposures at M different focus positions to take place within an exposure and readout cycle. After the exposure at a certain focus position of the M focal positions, the entire exposed sensor surface is read out, whereas after the exposures in the remaining M-1 focal positions, only the partial surface of the sensor with the image region of interest is read out. The particular focus position, in which a readout of the entire exposed sensor surface takes place, may in this case be, in particular, a middle focus position of the M focal positions. A rapid change of the focus position makes it possible to record a z-stack in the region of interest of an object to be examined. In a downstream software, an image with increased depth of field (so-called EDOF image) in the region of interest can then be calculated. Outside the area of interest, on the other hand, there is no increase in the depth of field. In order to achieve a real-time capability, as required, for example, in the operating theater, a refresh rate is necessary, which is much higher (possibly greater than 300 Hz), as is typically provided by a low-cost camera Conumser (typically refresh
In vielen Anwendungen wird die interessierende Bildregion eines Bildes nicht immer dieselbe Position im Vollbild einnehmen. Beispielsweise bei einem Operationsmikroskop hängt die interessierende Bildregion von der Blickrichtung des Beobachters ab. Es ist daher vorteilhaft, wenn die Position der interessierenden Bildregion im Vollbild durch Bestimmen der Blickrichtung eines das Vollbild betrachtenden Beobachters ermittelt wird. In einem optischen Beobachtungssystem wie etwa einem Operationsmikroskop kann dies mittels eines sogenannten Eyetracking-Systems, welches die Blickrichtung erfasst, erfolgen. Wenn die Blickrichtung wiederholt ermittelt wird, kann die Position der die interessierende Bildregion repräsentierenden Teilfläche des Bildsensors auf der Sensorfläche anhand der jeweils aktuell ermittelten Blickrichtung aktualisiert werden. Vorzugsweise erfolgt hierbei das Ermitteln der Blickrichtung mit einer Rate von weniger als 20 Hz, vorzugsweise weniger als 10 Hz und insbesondere mit einer Rate im Bereich von 5 bis 10 Hz. Das Auge bewegt sich sehr schnell in sogenannten Sakkaden, ohne dass die dabei gewonnenen Informationen vom Gehirn verarbeitet werden. Sakkaden sind in der Regel nach 50 Millisekunden abgeschlossen. Eine Frequenz beim Ermitteln der Blickrichtung von mehr als 20 Hz könnte daher dazu führen, dass die Position der Teilfläche des Bildsensors anhand von Sakkaden nachgeführt wird, was jedoch nicht derjenigen Blickrichtung entspricht, die vom Gehirn auch verarbeitet wird. Auch wenn eine Rate von weniger als 20 Hz grundsätzlich ausreichen sollte, um das Nachführen der Teilfläche anhand von Sakkaden zu vermeiden, ist es vorteilhaft, wenn die Rate, mit der die Blickrichtung aktualisiert wird, die weniger als 10 Hz beträgt. Ein Bereich von 5 bis 10 Hz ist dabei besonders vorteilhaft, da bei einer Aktualisierung mit einer Rate von weniger als 5 Hz die Synchronisierung der die interessierende Bildregion repräsentierenden Teilfläche des Sensors auf der Sensorfläche mit der Blickrichtung störende Verzögerungen aufweisen könnte, die bspw. bei Operationen nicht hingenommen werden können.In many applications, the image region of interest of an image will not always occupy the same position in the frame. For example, in a surgical microscope, the image region of interest depends on the viewing direction of the observer. It is therefore advantageous if the position of the image region of interest in the frame is determined by determining the viewing direction of an observer viewing the frame. In an optical observation system such as a surgical microscope, this can be done by means of a so-called eye-tracking system, which detects the viewing direction. If the viewing direction is determined repeatedly, the position of the partial area of the image sensor representing the region of interest of the image sensor on the sensor surface can be updated on the basis of the currently determined viewing direction. In this case, the viewing direction is preferably determined at a rate of less than 20 Hz, preferably less than 10 Hz and in particular at a rate in the range of 5 to 10 Hz. The eye moves very quickly in so-called saccades, without the information obtained thereby processed by the brain. Saccades are usually completed after 50 milliseconds. A frequency in determining the viewing direction of more than 20 Hz could therefore lead to the position of the partial surface of the image sensor is tracked by means of saccades, but this does not correspond to the line of sight, which is also processed by the brain. Although a rate of less than 20 Hz should in principle be sufficient to avoid the tracking of the partial area by means of saccades, it is advantageous if the rate at which the viewing direction is updated, which is less than 10 Hz. A range of 5 to 10 Hz is particularly advantageous since, in the case of an update at a rate of less than 5 Hz, the synchronization of the partial area of the sensor representing the region of interest on the sensor surface with the viewing direction could have disturbing delays, for example during operations can not be accepted.
Da die zuvor dargelegten Abschätzungen hinsichtlich der Auslesezeit für die interessierende Bildregion nicht von der Lage der entsprechenden Teilfläche des Bildsensors auf der belichteten Sensorfläche abhängen, gelten die Abschätzungen unabhängig von der Lage dieser Teilfläche auf dem Bildsensor.Since the above-described estimates with respect to the read-out time for the image region of interest do not depend on the position of the corresponding subarea of the image sensor on the exposed sensor surface, the estimates apply irrespective of the position of this subarea on the image sensor.
Alternativ zum Nachführen der die interessierende Bildregion des Vollbildes repräsentierenden Teilfläche des Bildsensors anhand der Blickrichtung besteht auch die Möglichkeit, ein im Vollbild vorhandenes bewegtes Objekt zur Nachführung heranzuziehen. Hierzu wird mittels einer Bilderkennungssoftware ein bewegtes Objekt im Vollbild erkannt und die Teilfläche des Bildsensors so auf der Sensorfläche positioniert und dem Bild des bewegten Objekts auf der Sensorfläche nachgeführt, dass das Bild des bewegten Objekts in dieser Teilfläche verbleibt. Diese Ausgestaltung des erfindungsgemäßen Verfahrens eignet sich insbesondere für automatisierbare Beobachtungsvorgänge, wie etwa im Rahmen von Überwachungssystemen. Sobald beispielsweise eine Bewegung im zu überwachenden Bereich erfasst wird, kann die Teilfläche des Bildsensors so positioniert werden, dass die Teilfläche die Bewegung erfasst, solange sie von der Überwachungskamera beobachtet werden kann. Wenn die Bewegung des Objektes im Bild auf eine Bewegung des Beobachtungsgerätes etwa auf Grund von Schwingungen zurückgeht, kann die Nachführung zum Ausgleichen der Schwingungen dienen. Dies ist bspw. bei Operationsmikroskopen vorteilhaft.As an alternative to tracking the partial area of the image sensor representing the region of interest of the image frame on the basis of the viewing direction, it is also possible to use a moving object present in full image for tracking purposes. For this purpose, a moving object is detected in full screen by means of an image recognition software and positioned the subarea of the image sensor on the sensor surface and tracked the image of the moving object on the sensor surface that the image of the moving object remains in this subarea. This embodiment of the method according to the invention is particularly suitable for automated observation operations, such as in the context of monitoring systems. For example, as soon as a movement is detected in the area to be monitored, the partial area of the image sensor can be positioned such that the partial area detects the movement as long as it can be observed by the surveillance camera. If the movement of the object in the image is due to a movement of the observation device due to vibrations, the tracking can be used to compensate for the vibrations. This is advantageous, for example, in surgical microscopes.
In allen beschriebenen Ausführungsvarianten des erfindungsgemäßen Verfahrens können als Bilder des Beobachtungsobjekts dreidimensionale Bilder aufgenommen werden, die aus wenigstens zwei unter verschiedenen Sichtwinkeln aufgenommenen Perspektivbildern zusammengesetzt sind. Insbesondere können als dreidimensionale Bilder stereoskopische Bilder aufgenommen werden, die aus stereoskopischen Teilbildern zusammengesetzt sind. Alle Perspektivbilder (oder stereoskopischen Teilbilder beim Aufnehmen eines stereoskopischen Bildes) werden dabei mit einem elektronischen Bildsensor aufgenommen, wobei das erfindungsgemäße Verfahren auf das Aufnehmen der Perspektivbilder angewandt wird. Wenn dabei ein monochromer Bildsensor Verwendung findet, für das Belichten ein Beleuchten des Beobachtungsobjekts in Beleuchtungszyklen erfolgt, in denen das Beobachtungsobjekt Zeitsequentiell mit N unterschiedlichen Wellenlängenverteilungen beleuchtet wird, und das Auslesen des Bildsensors in Belichtungs- und Auslesezyklen erfolgt, wobei die Beleuchtungszyklen mit den Belichtungs- und Auslesezyklen gemäß der zuvor beschriebenen Schritte a) bis c) synchronisiert sind, können zum Aufnehmen eines dreidimensionalen Bildes zuerst nacheinander die Schritte a), b) und c) eines Belichtungs- und Auslesezyklus für ein Perspektivbild ausgeführt werden, bevor die Schritte a), b) und c) für das nächste Perspektivbild ausgeführt werden. Alternativ besteht die Möglichkeit, zum Aufnehmen eines dreidimensionalen Bildes den Belichtungs- und Auslesezyklus so oft nacheinander auszuführen, wie das dreidimensionale Bild Perspektivbild aufweist und einen Wechsel zwischen dem Aufnehmen eines Perspektivbildes und dem Aufnehmen des nächsten Perspektivbildes immer dann vorzunehmen, wenn ein Belichten und Auslesen des Bildsensors mit allen N Wellenlängenverteilungen des Beleuchtungszyklus erfolgt ist. Jedes Perspektivbild des dreidimensionalen Bildes setzt sich dann aus N den interessierenden Bereich repräsentierenden Teilbildern (nachfolgend Ausschnittsbilder genannt, um sie von den stereoskopischen Teilbildern sprachlich zu unterscheiden) oder aus N – 1 Ausschnittsbildern und einem Vollbild zusammen. Dabei kann es vorteilhaft sein, wenn die Beilichtungs- und Auslesezyklen jeweils im Wechsel das Auslesen des ersten Vollbildes bei verschiedenen Wellenlängenverteilungen des Beleuchtungszyklus beginnen, so dass sich für die Belichtungs- und Auslesezyklen bspw. im Wechsel N, N + 1, N + 2 und N + 1, N + 2, N für die Reihenfolge der Beleuchtungen, bei denen die Vollbilder aufgenommen werden, ergibt.In all described embodiments of the method according to the invention, three-dimensional images can be recorded as images of the observation object, which are composed of at least two perspective images recorded at different viewing angles. In particular, as three-dimensional images, stereoscopic images composed of stereoscopic partial images can be recorded. All perspective images (or stereoscopic partial images when taking a stereoscopic image) are recorded with an electronic image sensor, whereby the method according to the invention is applied to taking the perspective images. If a monochrome image sensor is used for this purpose, for which illumination the observation object is illuminated in illumination cycles in which the observation object is time-sequentially illuminated with N different wavelength distributions, and the image sensor is read in exposure and read-out cycles, the illumination cycles being determined by the illumination exposure. and read-out cycles according to the above-described steps a) to c) are synchronized, for taking a three-dimensional image, steps a), b) and c) of a perspective image exposure and readout cycle may first be carried out in sequence, before steps a), b) and c) are executed for the next perspective image. Alternatively, for taking a three-dimensional image, it is possible to perform the exposure and read-out cycle as many times as the three-dimensional image has perspective image and to make a change between taking a perspective image and taking the next perspective image whenever exposing and reading the image Image sensor with all N wavelength distributions of the lighting cycle is done. Each perspective image of the three-dimensional image is then composed of N sub-images representing the region of interest (hereinafter referred to as clipping images to distinguish them from the stereoscopic sub-images) or from N-1 clipping images and a full image. It may be advantageous if the Beilichtungs- and Auslesezyklen each alternately begin the reading of the first frame at different wavelength distributions of the lighting cycle, so that for the exposure and readout cycles, for example. Alternately N, N + 1, N + 2 and N + 1, N + 2, N for the order of illuminations at which the frames are taken.
Wenn ein Beleuchtungszyklus N Wellenlängenverteilungen und weißes Licht umfasst, kann zum Aufnehmen eines stereoskopischen Bildes der Belichtungs- und Auslesezyklus ebenfalls so oft nacheinander ausgeführt werden, wie das dreidimensionale Bild Perspektivbilder aufweist. Ein Wechsel zwischen dem Aufnehmen eines Perspektivbildes und dem Aufnehmen des nächsten Perspektivbildes erfolgt dann, nachdem ein Belichten und Auslesen des Bildsensors mit dem weißen Licht und allen N Wellenlängenverteilungen des Beleuchtungszyklus erfolgt ist.If an illumination cycle includes N wavelength distributions and white light, the exposure and read-out cycle may also be performed as often as the three-dimensional image has perspective images to capture a stereoscopic image. A change between the taking of a perspective image and the taking of the next perspective image takes place after an exposure and readout of the image sensor with the white light and all N wavelength distributions of the illumination cycle has taken place.
Das erfindungsgemäße Verfahren kann als Computerprogramm mit Anweisungen zur Durchführung des Verfahrens realisiert sein.The method according to the invention can be realized as a computer program with instructions for carrying out the method.
Ein erfindungsgemäßes optisches Beobachtungsgerät zum Aufnehmen von Bildern eines Beobachtungsobjekts umfasst wenigstens einen elektronischen Bildsensor und eine Beobachtungsoptik, die ein Objektfeld des Beobachtungsobjekts als Vollbild auf die Sensorfläche des Bildsensors abbildet. Außerdem umfasst das erfindungsgemäße optische Beobachtungsgerät eine Auswahleinrichtung zum Auswählen einer Teilfläche des Bildsensors, die einer interessierenden Bildregion des Vollbildes entspricht, und eine Sensorsteuereinheit, die zum Steuern des Belichtens und Auslesens des Bildsensors nach dem erfindungsgemäßen Verfahren ausgebildet ist. Die Auswahleinrichtung kann dabei eine manuelle Auswahleinrichtung oder eine automatische Auswahleinrichtung sei, bspw. eine auf einen Eye-Traker beruhende Einrichtung.An optical observation device according to the invention for recording images of an observation object comprises at least one electronic image sensor and observation optics which images an object field of the observation object as a full image onto the sensor surface of the image sensor. In addition, the optical observation apparatus according to the present invention comprises selecting means for selecting a partial area of the image sensor corresponding to an image region of interest of the frame, and a sensor control unit configured to control the exposure and readout of the image sensor according to the method of the present invention. The selection device can be a manual selection device or an automatic selection device, for example a device based on an eye-traker.
Mit dem erfindungsgemäßen optischen Beobachtungsgerät lässt sich das erfindungsgemäße Verfahren durchführen. Die mit Bezug auf das Verfahren beschriebenen Eigenschaften und Vorteile lassen sich daher mit dem erfindungsgemäßen optischen Beobachtungsgerät realisieren. Das optische Beobachtungsgerät kann dabei beispielsweise als medizinisch-optisches Beobachtungsgerät wie etwa ein Operationsmikroskop oder ein Endoskop, als Überwachungskamera, als wissenschaftliches Mikroskop, als Mikroskop für Materialuntersuchungen, etc. ausgebildet sein.With the optical observation device according to the invention, the inventive method can be performed. The properties and advantages described with reference to the method can therefore be realized with the optical observation device according to the invention. The optical observation device can be designed, for example, as a medical-optical observation device such as a surgical microscope or an endoscope, as a surveillance camera, as a scientific microscope, as a microscope for material examinations, etc.
In einer weiteren Ausgestaltung umfasst das optische Beobachtungsgerät außerdem eine Beleuchtungseinrichtung mit in unterschiedlichen Wellenlängenverteilungen emittierenden, gepulst betreibbaren Beleuchtungslichtquellen. Außerdem weist es eine Beleuchtungsoptik zur Zufuhr des Lichtes der Beleuchtungslichtquellen zum Beobachtungsobjekt sowie eine Beleuchtungssteuereinheit auf. Die Beleuchtungssteuereinheit wirkt auf die Beleuchtungslichtquellen derart ein, dass diese im Wechsel, insbesondere im zyklischen Wechsel, gepulst betrieben werden. Weiterhin ist eine mit der Sensorsteuereinheit und der Beleuchtungssteuereinheit verbundene Synchronisationseinheit zum Synchronisieren des gepulsten Betriebs der Beleuchtungslichtquellen mit dem Belichten und Auslesen des Bildsensors gemäß der weiter oben beschriebenen Ausführungsvarianten des erfindungsgemäßen Verfahrens vorhanden. In der Beleuchtungseinrichtung können dabei wenigstens drei Beleuchtungslichtquellen vorhanden sein, von denen jede eine Wellenlängenverteilung mit einem Maximum bei einer Grundfarbe eines RGB-Farbraums oder CMY-Farbraums aufweist. Zusätzlich kann optional wenigstens eine Beleuchtungslichtquelle vorhanden sein, deren Wellenlängenverteilung wenigstens ein Maximum außerhalb des Bereiches von 430 bis 750 nm, insbesondere außerhalb des Bereiches von 400 nm bis 800 nm aufweist. Eine derartige Beleuchtungslichtquelle kann beispielweise für Fluoreszenzmessungen, Laser-Doppler-Imaging, Funktionsmessungen an funktionstragenden Gehirnarealen, etc. herangezogen werden.In a further embodiment, the optical observation device also comprises a lighting device with pulsed light sources that can be pulsed in different wavelength distributions. In addition, it has an illumination optics for supplying the light of the illumination light sources to the observation object and a lighting control unit. The illumination control unit acts on the illumination light sources in such a way that they are operated pulsed alternately, in particular in cyclical change. Furthermore, a synchronization unit connected to the sensor control unit and the lighting control unit for synchronizing the pulsed operation of the illumination light sources with the exposure and readout of the image sensor according to the embodiment variants of the inventive method described above is provided. At least three illumination light sources can be present in the illumination device, each of which has a wavelength distribution with a maximum for a base color of an RGB color space or CMY color space. In addition, optionally at least one illumination light source may be present whose wavelength distribution has at least a maximum outside the range from 430 to 750 nm, in particular outside the range from 400 nm to 800 nm. Such an illumination light source can be used, for example, for fluorescence measurements, laser Doppler imaging, functional measurements on functional brain areas, etc.
Wenn eine Beleuchtungslichtquelle mit einer Wellenlängenverteilung, die ein Maximum außerhalb des Bereiches von 430–750 nm, insbesondere außerhalb des Bereiches von 400–800 nm aufweist, vorhanden ist, kann das optische Beobachtungsgerät außerdem eine Darstellungseinheit umfassen, die aus denjenigen Belichtungen des Bildsensors, die bei Beleuchtung des Beobachtungsobjekts mit einer Beleuchtungslichtquelle mit einem Maximum bei einer Grundfarbe eines RGB-Farbraums erfolgen, ein Farbbild synthetisiert und aus derjenigen Belichtung des Bildsensors, die bei Beleuchtung des Beobachtungsobjekts mit der Beleuchtungslichtquelle, in deren Wellenlängenverteilung wenigstens ein Maximum außerhalb des Bereichs von 430 bis 750 nm, insbesondere außerhalb des Bereiches von 400 bis 800 nm, vorhanden ist, erfolgt, ein von dem Farbbild unabhängiges Bild generiert.If an illumination light source having a wavelength distribution having a maximum outside the range of 430-750 nm, especially outside the range of 400-800 nm, is present, the optical observation apparatus may further comprise a display unit composed of those exposures of the image sensor, the when illuminating the observation object with an illumination light source having a maximum in a basic color of an RGB color space, a color image synthesized and from that exposure of the image sensor, which in the illumination of the observation object with the illumination light source, in the wavelength distribution at least a maximum outside the range of 430 to 750 nm, in particular outside the range of 400 to 800 nm, is present, an independent of the color image generated image.
Das von der Darstellungseinheit des optischen Beobachtungsgerätes genierte vom Farbbild unabhängige Bild kann in einer Überlagerungseinheit dem Farbbild überlagert werden. Hierbei kann beispielsweise eine Überlagerung in Form von Falschfarben, von Konturen, von Helligkeitsänderungen, etc. erfolgen. Insbesondere kann die wenigstens eine weitere Beleuchtungslichtquelle in deren Wellenlängenverteilung wenigstens ein Maximum außerhalb des Bereichs von 430–750 nm, insbesondere außerhalb des Bereiches von 400 bis 800 nm, liegt, ein Wellenlängenmaximum besitzen, das eine Fluoreszenz im Beobachtungsobjekt anregt. Im Beobachtungsstrahlengang des optischen Beobachtungsgeräts kann dann ein Filter vorhanden oder einbringbar sein, der die Wellenlängen dieses Wellenlängenmaximums blockiert. Dieser kann insbesondere auch nur für die Aufnahme des von dem Farbbild unabhängigen Bildes in den Strahlengang eingebracht, beispielsweise eingeschwenkt, werden.The image, which is independent of the color image and is formed by the visual display unit, can be superimposed on the color image in an overlay unit. In this case, for example, an overlay in the form of false colors, contours, changes in brightness, etc. take place. In particular, the at least one further illumination light source in whose wavelength distribution is at least a maximum outside the range of 430-750 nm, in particular outside the range of 400 to 800 nm, have a maximum wavelength that excites fluorescence in the observed object. In the observation beam path of the optical observation device may then be present or einbringbar a filter which blocks the wavelengths of this wavelength maximum. This can also be introduced into the beam path, for example, pivoted, only for the purpose of recording the image independent of the color image.
Wenn das erfindungsgemäße optische Beobachtungsgerät eine Beleuchtungseinrichtung mit in unterschiedlichen Wellenlängenverteilungen emittierenden Beleuchtungslichtquellen aufweist, kann die Beleuchtungsoptik eine Zusammenführeinrichtung zum Zusammenführen der Beleuchtungsstrahlengänge der einzelnen Beleuchtungslichtquellen aufweisen. Dadurch kann die Anzahl der optischen Komponenten gering gehalten werden, da keine optischen Komponenten für unterschiedliche Beleuchtungsstrahlengänge mehrfach vorhanden sein müssen, sodass ein kompaktes Design möglich wird. Zudem kann durch ein Zusammenführen der Beleuchtungsstrahlengänge vermieden werden, dass das Beleuchtungslicht der unterschiedlichen Beleuchtungslichtquellen dem Beobachtungsobjekt unter unterschiedlichen Beleuchtungswinkeln zugeführt wird. Beides ist beispielsweise bei Operationsmikroskopen von Bedeutung.If the optical observation device according to the invention has an illumination device with illumination light sources emitting in different wavelength distributions, the illumination optics can have an association device for merging the illumination beam paths of the individual illumination light sources. As a result, the number of optical components can be kept low, since no optical components for different illumination beam paths must be present multiple times, so that a compact design is possible. In addition, by combining the illumination beam paths, it can be avoided that the illumination light of the different illumination light sources is supplied to the observation object at different illumination angles. Both are important, for example, in surgical microscopes.
Das erfindungsgemäße optische Beobachtungsgerät kann insbesondere eine Beobachtungsoptik umfassen, die das Aufnehmen von Perspektivbildern aus wenigstens zwei unterschiedlichen Sichtwinkeln erlaubt. Insbesondere kann die Beobachtungsoptik als stereoskopische Beobachtungsoptik ausgebildet sein. In einer Weiterbildung dieser das Aufnehmen von Perspektivbildern erlaubenden Beobachtungsoptik kann diese derart ausgebildet sein, dass die Strahlenbündel der Perspektivbilder, also der Stereokanäle im Falle einer stereoskopischen Beobachtungsoptik, zeitsequentiell auf denselben Bildsensor abgebildet werden. Derartige Beobachtungsoptiken sind beispielsweise in oder deutschen Patentanmeldung
Weitere Merkmale, Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbespielen unter Bezugnahme auf die beiliegenden Figuren.Further features, properties and advantages of the present invention will become apparent from the following description of exemplary embodiments with reference to the accompanying figures.
Ein Ausführungsbeispiel für ein erfindungsgemäßes optisches Beobachtungsgerät ist stark schematisiert in
Weiterhin umfasst das optische Beobachtungsgerät wenigstens eine Lichtquelle L1 bis LN, wobei im vorliegenden Ausführungsbeispiel wenigstens drei Lichtquellen vorhanden sind, die Wellenlängenverteilungen aufweisen, welche unterschiedlichen Grundfarben eines RGB-Farbraums entsprechen. Die Anzahl der Lichtquellen und deren Wellenlängenverteilungen können von dem geplanten Einsatzgebiet des Beobachtungsgeräts abhängen. Falls wenigstens zwei Lichtquellen vorhanden sind, umfasst das optische Beobachtungsgerät zudem vorteilhafterweise eine Zusammenführeinrichtung
Das optische Beobachtungsgerät wird von einer Steuereinheit
Das Prinzip, das der Aufnahme von Bildern mit Hilfe des in
Beim Aufnehmen von Bildern mit dem optischen Beobachtungsgerät wird der Bildsensor
Das Aufnehmen von Farbbildern erfolgt dabei, indem das Beobachtungsobjekt
Eine typische Consumer-Kamera verfügt über eine Bildwiederholrate von 60 Hz, das heißt das für das Auslesen eines Bildes rund 16,67 Millisekunden notwendig sind. Wenn mit einer derartigen Consumer-Kamera nach dem oben beschriebenen Verfahren Farbbilder synthetisiert werden sollen, können diese lediglich mit einer Bildwiederholrate von 20 Hz dargestellt werden, da für ein Farbbild jeweils drei monochrome Bilder in Rot, Grün und Blau aufgenommen werden müssen. Verzichtet man jedoch darauf, immer die gesamte Sensorfläche
In dem in
Nach der Beleuchtung des Beobachtungsobjekts
Im Rahmen des zweiten Beleuchtungszyklus erfolgt dann ein erneutes Beleuchten mit dem Licht der Lichtquelle L1, wobei ein Belichten des Bildsensors
Im dritten Beleuchtungszyklus erfolgt wiederum nacheinander ein Beleuchten des Beobachtungsobjekts
Im vierten und letzten Beleuchtungszyklus des Belichtungs- und Auslesezyklus werden nur ROI-Bilder in allen Farben aufgenommen. Danach ist der erste Belichtungs- und Auslesezyklus beendet, und der nachfolgende Belichtungs- und Auslesezyklus kann beginnen. Dieser nachfolgende Zyklus entspricht dem ersten Zyklus. In jedem Belichtungs- und Auslesezyklus werden so ein farbiges Vollbild und zusätzlich drei farbige ROI-Bilder aufgenommen.In the fourth and final exposure cycle of the exposure and readout cycle, only ROI images are captured in all colors. Thereafter, the first exposure and readout cycle is completed, and the subsequent exposure and readout cycle may begin. This subsequent cycle corresponds to the first cycle. In each exposure and read-out cycle, a full color image and additionally three color ROI images are recorded.
Die Tabelle in
Wie sich aus
Es soll noch einmal angemerkt werden, dass, wie zuvor erwähnt, bei einer Kamera mit Global Shutter das Auslesen eines Bildes während der Belichtung des nächsten Bildes stattfindet. Die Auslesezeit, die zum Auslesen des n-ten Bildes benötigt wird, bestimmt deshalb die minimale Zeit, die für das Belichten des Bildes n + 1 zur Verfügung steht. In dem in
Mit dem beschriebenen Verfahren lässt sich mit einer preisgünstigen Kamera, die nur eine beschränkte Bildwiederholrate ermöglicht, im Bereich der ROI eine flackerfreie, farbsequentielle Bildaufnahme realisieren. Dabei macht man sich zunutze, dass ein Beobachter in der Regel lediglich im ROI die volle Bildqualität benötigt. Die Herabsetzung der Bildwiederholrate im Bereich außerhalb der ROI kann dabei hingenommen werden.With the described method can be realized with a low-priced camera, which allows only a limited refresh rate, in the area of the ROI flicker-free, color sequential image acquisition. It makes use of the fact that an observer usually only needs the full picture quality in the ROI. Reducing the refresh rate outside the ROI can be tolerated.
Im allgemeinen Fall, dass für die Aufnahme eines farbigen Vollbildes nfarb einfarbige Vollbilder aufgenommen werden und zwischen zwei einfarbigen Vollbildern nROI einfarbige ROI-Bilder aufgenommen werden, verringert sich die Bildwiederholrate für die farbigen Vollbilder gegenüber einem Aufnehmen ausschließlich von Vollbildern um nfarb/(nfarb + y·nROI), wobei y das Flächenverhältnis eines ROI-Bildes zu einem Vollbild darstellt. Die Bildwiederholrate der farbigen ROI-Bilder erhöht sich dagegen deutlich um den Faktor (nfarb + nROI)/(nfarb + y·nROI).In the general case that n color monochrome frames are taken for the capture of a full color image and monochrome ROI images are taken between two monochrome frames n ROI , the refresh rate for the colored frames decreases compared to capturing frames only by n color / ( n color + y * n ROI ), where y represents the area ratio of an ROI image to a frame. In contrast, the refresh rate of the colored ROI images increases significantly by the factor (n color + n ROI ) / (n color + y · n ROI ).
Falls es nicht erforderlich ist, außerhalb der ROI Farbinformationen über das Beobachtungsobjekt zu erhalten, kann ein alternatives Zeitschema zur Anwendung kommen. Dieses ist in
In dem in
Nach dem Beleuchten des Beobachtungsobjekts mit dem Licht der Lichtquelle L1 und dem entsprechenden Belichten des Bildsensors
Nach Beleuchten des Beobachtungsobjektes
Wie bereits erwähnt, wird, wenn die Bildaufnahme gemäß diesem Zeitschema erfolgt, lediglich das ROI-Bild farbig dargestellt. Dafür sind jedoch die Bildwiederholraten für das Vollbild und das farbige ROI-Bild identisch. Wenn wieder davon ausgegangen wird, dass die Teilfläche
Ein zweites Ausführungsbeispiel für das erfindungsgemäße optische Beobachtungsgerät ist in
Das in
Diese Ausgestaltung des optischen Beobachtungsgeräts ist beispielsweise vorteilhaft, wenn einem Operateur medizinisch relevante Informationen zur Verfügung gestellt werden sollen, die außerhalb des sichtbaren Spektralbereichs liegen oder sich mit diesen überlagern. Beispielhaft ist hier Fluoreszenzbildgebung genannt, für die zur Zeit drei in der Medizin zugelassene fluoreszierende Farbstoffe existieren, nämlich die Verbindung 5-Aminolävulinsäure (kurz 5-ALA), Indocyaningrün (kurz ICG) und Fluorescein.This embodiment of the optical observation device is advantageous, for example, if a surgeon is to be provided with medically relevant information that lies outside the visible spectral range or overlaps with it. Exemplary here is called fluorescence imaging, for which there are currently three approved in the field of medical fluorescent dyes, namely the compound 5-aminolevulinic acid (short 5-ALA), indocyanine green (short ICG) and fluorescein.
Bei der Verbindung 5-ALA handelt es sich um eine Verbindung, die beispielsweise in der Hirnchirurgie als Farbstoff eingesetzt wird. Bei Verabreichung von 5-ALA finden in den Zellen mit erhöhtem Stoffwechsel – typischerweise Tumorzellen – Anreicherungen von fluoreszierenden Verbindungen statt. Die Fluoreszenz wird typischerweise bei einer Wellenlänge < 430 nm angeregt, während die Emission im roten Spektralbereich stattfindet. In rein optischen Operationsmikroskopen wird die Fluoreszenz nach einer Behandlung mit 5-ALA dadurch sichtbar gemacht, dass die Beleuchtung mit einem Kantenfilter versehen wird, sodass lediglich Licht ≤ 430 nm auf das Operationsfeld gelangt. In den Beobachtungsstrahlengang wird wiederum ein Filter eingebracht, der lediglich Licht mit Wellenlängen ≥ 430 nm zum Auge des Operateurs gelangen lässt. Die Filter sind dabei so ausgelegt, dass es einen sehr schmalen Wellenlängenbereich bei 430 nm gibt, in dem Anregungsstrahlung den Filter passieren kann, sodass ein Teil des Anregungslichtes bei der Beobachtung verfügbar ist, wie dies in
Bei ICG handelt es sich um einen Farbstoff, der für die Darstellung von Blutgefäßen (Angiographie) verwendet wird. ICG lässt sich beispielsweise bei Wellenlängen < 780 nm anregen, während die Fluoreszenz oberhalb 780 nm nachgewiesen wird – typischerweise mit einer Kamera. In der Hirnchirurgie ist es wichtig, Gefäßaussackungen, sogenannte Aneurysmen, beispielsweise mit einen Clip abzuklemmen, da die Aussackungen leicht reißen und zu Hirnbluten führen können. Nach dem Anbringen des Clips wird typischerweise ICG in die Blutbahn injiziert. Mit einer Kamera wird anschließend festgehalten, wie der Fluoreszenzfarbstoff in die Blutgefäße einströmt. Um zu erkennen, ob der Clip richtig gesetzt wurde, muss der Chirurg feststellen können, ob die Fluoreszenz im abgeklemmten Aneurysma über das große Blutgefäß oder über Kapillare einströmt. Dies bedeutet, dass eine schnelle Abfolge von Kamerabildern zu bewerten ist. Häufig ist die Bildrate bei typischen Kameras mit 60 Hz nicht ausreichend, um das Einströmverhalten bewerten zu können. Da gleichzeitig sowohl das Einströmen beobachtet werden muss – typischerweise an einem Monitor, der das infrarote Fluoreszenzbild als Graustufenbild darstellt – als auch der Patient zu überwachen ist, sind dazu mehrere Personen nötig. Hier ist eine Lösung gesucht, die sowohl ein Fluoreszenzbild mit hoher Bildrate (> 60 Hz) darstellen kann, als auch gleichzeitig eine Überwachung des Patienten erlaubt, beispielsweise über ein Bild im VIS-Bereich.ICG is a dye used to visualize blood vessels (angiography). For example, ICG can be excited at wavelengths <780 nm, while fluorescence above 780 nm is detected - typically with a camera. In brain surgery, it is important to vascular bagging, so-called aneurysms, for example, with a clip clamp off, as the Aussackungen tear easily and can lead to brain bleeding. After attaching the clip, ICG is typically injected into the bloodstream. A camera is then used to record how the fluorescent dye flows into the blood vessels. To determine if the clip has been set correctly, the surgeon must be able to determine if the fluorescence in the clamped aneurysm is flowing in through the large blood vessel or through capillary. This means that a fast sequence of camera images is to be evaluated. Often the frame rate is not sufficient for typical 60 Hz cameras to evaluate the flow behavior. Since both the influx must be observed at the same time - typically on a monitor that displays the infrared fluorescence image as a grayscale image - as well as the patient is monitored, several people are required to do so. Here, a solution is sought, which can represent both a fluorescence image with high frame rate (> 60 Hz), and at the same time allows monitoring of the patient, for example via an image in the VIS area.
Bei Fluorescein handelt es sich um einen Fluoreszenzfarbstoff, der im Operationssaal sowohl in der Angiographie als auch für Gewebedifferenzierung verwendet wird. Eine Anregung wird typischerweise bei Wellenlängen von etwa 480 nm vorgenommen, um eine Fluoreszenz im Grünen zu beobachten. Dies bedeutet, dass sowohl Anregung als auch Fluoreszenz mitten im sichtbaren Spektralbereich liegen.Fluorescein is a fluorescent dye used in the operating room for both angiography and tissue differentiation. Excitation is typically done at wavelengths of about 480 nm to observe fluorescence in the green. This means that both excitation and fluorescence are in the middle of the visible spectral range.
Unabhängig von den drei genannten Fluoreszenzfarbstoffen wird generell auch für Farbstoffe, die in Zukunft eine medizinische Zulassung erhalten, die Herausforderung darin bestehen, bei einer Gewebedifferenzierung gleichzeitig sowohl ein unspezifisches Übersichtsbild, als auch die spezifische Fluoreszenz zu visualisieren bzw. bei einer Angiographie sowohl eine schnelle Fluoreszenzbilderfassung als auch eine Überwachung des Patienten zu ermöglichen.Regardless of the three fluorescent dyes mentioned above, the challenge for dyes that will receive medical approval in the future is to simultaneously visualize both a nonspecific overview image and the specific fluorescence in the case of tissue differentiation or fast fluorescence imaging in angiography as well as to allow monitoring of the patient.
Die in
Die Aufnahme des Fluoreszenzbildes kann ohne weiteres in das mit Bezug auf
Außer in das Zeitschema aus
Die bisher beschriebenen Zeitschemata zur Aufnahme von Farbbildern oder zur Aufnahme von Farbbildern und Fluoreszenzbildern können auch auf stereoskopische optische Beobachtungsgeräte wie etwa Operationsmikroskope übertragen werden. Eine erste Variante, gemäß der das in
Wenn die farbigen Vollbilder nicht dieselbe räumliche Auflösung wie die farbigen ROI-Bilder aufzuweisen brauchen, kann eine Erhöhung der Bildwiederholrate für die Vollbilder und die ROI-Bilder dadurch erzielt werden, dass beim Auslesen der gesamten Sensorfläche
Allgemein lässt sich durch Subsampling, bei dem nur jedes n-te Pixel in einer für ein Vollbild erforderlichen Zeile und nur jede m-te Zeile ausgelesen werden, eine Verkürzung der Auslesedauer um den Faktor n·m erreichen. Da die ROI in der Regel der Blickrichtung des Auges entspricht und das Auge außerhalb der Blickrichtung über eine geringere Winkelauflösung verfügt als in Blickrichtung ist das Aufnehmen der Vollbilder mit Subsampling häufig ohne weiteres möglich.In general, subsampling, in which only every nth pixel in a line required for a frame and only every mth line is read out, can shorten the read duration by the factor n × m. Since the ROI usually corresponds to the viewing direction of the eye and the eye has a smaller angular resolution outside the viewing direction than in the viewing direction, the recording of the frames with subsampling is often readily possible.
Eine Verkürzung der Auslesedauer lässt sich auch durch ein sog. Pixel-Binning erreichen. Bei einem Pixel-Binning werden benachbarte Pixel zu Pixelblöcken zusammengefasst und alle Pixel eines Blocks gemeinsam ausgelesen. Wenn ein Block n·m Pixel aufweist, ist eine Verkürzung der Auslesedauer um ebendiesen Faktor möglich.A shortening of the readout duration can also be achieved by a so-called pixel binning. In pixel binning, adjacent pixels are grouped into blocks of pixels, and all the pixels in a block are read together. If a block has n × m pixels, it is possible to shorten the read duration by the same factor.
Eine alternative Variante, wie das Zeitschema aus
Die mit dem in
Wie sich aus
In dem in
Auch das Zeitschema aus
Außer dem Aufnehmen von Farbbildern lässt sich auch das Aufnehmen von Farbbildern und beispielsweise Fluoreszenzbildern oder Bildern außerhalb des visuellen Spektralbereichs auf die Aufnahme stereoskopischer Bilder übertragen. Die dabei möglichen Zeitschemata sind in den
In dem in
Im Falle des in
Auch die in
Das erfindungsgemäße Verfahren kann aber nicht nur zum Aufnehmen von Farbbildern oder zum Aufnehmen Farbbildern und Fluoreszenzbildern oder Bildern außerhalb des visuellen Spektralbereichs herangezogen werden, sondern auch zum schnellen Erweitern der Tiefenschärfe von Bildern. Beispielsweise bei Operationsmikroskopen mit Varioskop kann die Fokuslage des Mikroskops im Beobachtungsobjekt durch geeignetes Einstellen des Varioskops verändert werden. Wenn nun in rascher Folge Bilder bei verschiedenen Fokuslagen aufgenommen werden (sog. z-Stapel), so kann aus diesem z-Stapel ein Bild mit erhöhter Tiefenschärfe (EDOF-Bild, EDOF: Extended Depth of Field) synthetisiert werden. Um eine Echtzeitfähigkeit dieses Verfahrens zu erreichen, wie sie bei einer Operation gefordert ist, muss die Bildwiederholrate der Kamera beim ausschließlichen Aufnehmen von Vollbildern wesentlich höher (möglichst > 300 Hz) sein, als sie typischerweise von einer preisgünstigen Consumer-Kamera zur Verfügung gestellt wird (60 Hz). Das erfindungsgemäße Verfahren kann aber auch im Rahmen von anderen Methoden zum Erweitern der Tiefenschärfe Verwendung finden, in denen Bilder bei verschiedenen Fokuslagen aufgenommen werden.However, the method according to the invention can not only be used for taking color images or for taking color images and fluorescence images or images outside the visual spectral range but also to quickly extend the depth of field of images. For example, in surgical microscopes with a varioscope, the focus position of the microscope in the observation object can be changed by suitably adjusting the varioscope. If images are taken in rapid succession at different focal positions (so-called z-stacks), then an image with increased depth of focus (EDOF image, EDOF: Extended Depth of Field) can be synthesized from this z-stack. In order to achieve a real-time capability of this method, as required in an operation, the refresh rate of the camera when capturing only frames must be much higher (preferably> 300 Hz) than is typically provided by a low-cost consumer camera ( 60 Hz). However, the method according to the invention can also be used in the context of other methods for widening the depth of focus, in which images are recorded at different focal positions.
Wie beim Aufnehmen von Farbbildern gilt auch beim Aufnehmen von Bildern mit erhöhter Tiefenschärfe, dass sich die wichtigste Bildinformation in der Regel im ROI befindet. Dies ermöglicht es, das Vollbild lediglich für eine einzige Fokuslage des z-Stapels auszulesen, vorzugsweise für eine mittlere Fokuslage, und für die übrigen Fokuslagen lediglich das ROI-Bild auszulesen, also lediglich denjenigen Teilbereich
Ein Zeitschema zum Aufnehmen eines z-Stapels mit sieben Fokuslagen mit Hilfe einer Consumer-Kamera, die eine Bildwiederholrate von 60 Hz für Vollbilder besitzt, ist in
In allen beschriebenen Verfahren kann die Positionierung der die ROI repräsentierende Teilfläche
Im Rahmen des erfindungsgemäßen Verfahrens können darüber hinaus Bewegungen des optischen Beobachtungssystems ausgeglichen werden.In the context of the method according to the invention, moreover, movements of the optical observation system can be compensated.
Erfolgt beispielsweise eine Bewegung senkrecht zur optischen Achse (etwa aufgrund Vibrationen) so besteht die Möglichkeit, diese beispielsweise mittels Beschleunigungssensoren oder einer Registrierung von zeitlich aufeinanderfolgenden Bildern zu erkennen und eine Verschiebung der ROI auf dem Bildsensor durchzuführen, welche die Bewegung des optischen Beobachtungssystems kompensiert.If, for example, a movement takes place perpendicular to the optical axis (for example due to vibrations), it is possible to detect them, for example by means of acceleration sensors or registration of temporally successive images, and to perform a shift of the ROI on the image sensor, which compensates the movement of the optical observation system.
Zudem kann das erfindungsgemäße Verfahren auch vorteilhaft bei Überwachungskameras eingesetzt werden. Bei einer Überwachung mittels Kamera (beispielsweise in öffentlichen Gebäuden, zur Grenzraumüberwachung oder bei militärischer Aufklärung) tritt häufig das Problem auf, dass nur eine begrenzte Bandbreite zur Übertragung der gewonnenen Bildinformation an eine Überwachungsstelle zur Verfügung steht. Auch für derartige Anwendungen lässt sich das erfindungsgemäße Prinzip heranziehen, wobei jedoch nicht eine ausreichend hohe Bildwiederholrate erzielt werden soll, sondern die Übertragungsrate von der zur Überwachung eingesetzten Kamera an die Überwachungsstelle verringert werden soll. Das erfindungsgemäße Verfahren ermöglicht es dabei, Vollbilder mit geringer Bildwiederholrate zu übertragen und ROI-Bilder mit einer normalen Bildwiederholrate. Da für ein ROI-Bild eine geringere Bandbreite nötig ist, kann insgesamt die Bandbreite, die zum Übertragen der Überwachungsbilder nötig ist, verringert werden. Wenn zudem am Ort der Kamera eine Auswerteeinheit vorhanden ist, die beispielsweise anhand von Bewegungen im Bild die ROI festlegen kann, kann eine solche Überwachungskamera weitgehend autonom agieren.In addition, the inventive method can also be used advantageously in surveillance cameras. When monitoring by means of a camera (for example in public buildings, for border surveillance or in military intelligence), the problem frequently arises that only a limited bandwidth is available for transmitting the acquired image information to a monitoring station. Also for such applications, the principle of the invention can be However, although not a sufficiently high refresh rate should be achieved, but the transmission rate of the camera used for monitoring should be reduced to the monitoring site. The method according to the invention makes it possible to transmit frames at a low frame rate and ROI images at a normal frame rate. Since a lower bandwidth is required for an ROI image, overall the bandwidth required to transmit the surveillance images can be reduced. If, moreover, an evaluation unit is present at the location of the camera, which can determine the ROI, for example based on movements in the image, such a surveillance camera can act largely autonomously.
Bei den im erfindungsgemäßen optischen Beobachtungsgerät verwendeten Lichtquellen kann es sich insbesondere um LEDs handeln, die im roten, grüne bzw. blauen Wellenlängenbereich emittieren. Aber auch andere Wellenlängenbereiche, die einen RGB-Farbraum oder CMY-Farbraum aufspannen, können zur Anwendung kommen. Zudem besteht die Möglichkeit weitere Lichtquellen vorzusehen, die beispielsweise im infraroten oder ultravioletten Spektralbereich emittieren.The light sources used in the optical observation device according to the invention may in particular be LEDs which emit in the red, green or blue wavelength range. But also other wavelength ranges that span an RGB color space or CMY color space can be used. In addition, it is possible to provide additional light sources that emit, for example, in the infrared or ultraviolet spectral range.
Für optische Beobachtungsgeräte, die für Anwendungen am Auge vorgesehen sind, ist es vorteilhaft, die Belastung des Patienten mit Licht gering zu halten, um die Sehzellen nicht zu schädigen. Die Verwendung einer Infrarotbeleuchtung ermöglicht es, die Belastung zu verringern, da diese eine spektrale Abhängigkeit aufweist. So kann beispielsweise das IR-Bild dazu verwendet werden, dem behandelnden Chirurgen eine Orientierung zu ermöglichen, und das Farbbild dazu, verschiedene Gewebearten im Auge zu erkennen.For optical observation devices intended for use on the eye, it is advantageous to keep the burden of the patient on light low so as not to damage the visual cells. The use of infrared lighting makes it possible to reduce the load since it has a spectral dependence. For example, the IR image can be used to guide the treating surgeon and the color image to detect different types of tissue in the eye.
Eine UV-Beleuchtung kann dazu Verwendung finden, Fluoreszenz im Untersuchungsobjekt anzuregen. Dabei kann entweder eine Autofluoreszenz des Gewebes oder Fluoreszenz eines injizierten Farbstoffes angeregt werden.UV illumination can be used to stimulate fluorescence in the examination subject. In this case, either an autofluorescence of the tissue or fluorescence of an injected dye can be excited.
In Rahmen des erfindungsgemäßen Verfahrens können zudem die Beleuchtungszeiten mit den einzelnen Lichtquellen so gesteuert werden, dass die Einzelbilder optimal ausgesteuert sind, das heißt ein optimales Signal-zu-Rauschen-Verhältnis aufweisen. Außerdem ist es möglich, die Beleuchtungszeiten im Hinblick auf eine möglichst geringe Gewebebelastung zu wählen. Weiterhin ermöglicht es das Vorsehen getrennter Lichtquellen mit unterschiedlichen Spektralbereichen den Weißpunkt der Beleuchtung zu optimieren und gleichzeitig die aufzubringende Lichtmenge zu optimieren.In the context of the method according to the invention, moreover, the illumination times with the individual light sources can be controlled so that the individual images are optimally controlled, that is to say have an optimum signal-to-noise ratio. In addition, it is possible to choose the illumination times with regard to the lowest possible tissue load. Furthermore, the provision of separate light sources with different spectral ranges makes it possible to optimize the white point of the illumination and at the same time to optimize the amount of light to be applied.
Wird die Bildaufnahme außerdem um ein weiteres Bild erweitert, bei dem alle Beleuchtungen ausgeschaltet sind, so kann dieses ”dunkle Bild” dazu verwendet werden, das Umgebungslicht von den ”Farbbildern” abzuziehen, um eine Beeinflussung der Farbdarstellung sowohl im visuellen als auch im außervisuellen Bereich durch Umgebungslicht zu vermindern. Es ist auch möglich, mehr als drei Farben im visuellen Bereich zu verwenden, um die Differenzierung von Farben zu verbessern, das heißt um Farbunterschiede von Objekten besser erkennen zu können. Die Auswertung der Farbunterschiede kann automatisiert werden. Beispielsweise ist es auch möglich, lediglich die Farbunterschiede zur Darstellung zu bringen. Bei Verwendung von Vier-Farben-Displays ist es außerdem möglich, über die Benutzung von vier spektral angepassten Lichtquellen auf eine Verrechnung von Farbbildern verzichten zu können. Vielmehr werden der aufgenommene und der wiedergegebene Farbraum aneinander angepasst.If the image acquisition is also extended by another image in which all the lights are turned off, this "dark image" can be used to subtract the ambient light from the "color images", to influence the color representation both in the visual and in the external area to diminish by ambient light. It is also possible to use more than three colors in the visual area to improve the differentiation of colors, that is, to better recognize color differences of objects. The evaluation of color differences can be automated. For example, it is also possible to show only the color differences for illustration. When using four-color displays, it is also possible to dispense with the use of four spectrally matched light sources on a billing of color images. Rather, the recorded and reproduced color space are adapted to each other.
Obwohl in den Ausführungsbeispielen das Aufnehmen dreidimensionaler Bilder am Beispiel von stereoskopischen Bildern beschrieben worden ist, kann das beschriebene Verfahren auch bei anderen Arten der Aufnahme von dreidimensionalen Bildern zur Anwendung kommen, etwa bei der Aufnahme von Bildern mit einer plenoptischen Beobachtungsoptik oder einer Beobachtungsoptik, wie sie in
Mit dem erfindungsgemäßen Verfahren und dem erfindungsgemäßen optischen Beobachtungsgerät lässt sich die Bildwiederholrate im interessierenden Bildbereich (ROI) gegenüber dem Stand der Technik deutlich erhöhen, wohingegen die Bildwiederholrate für Vollbilder lediglich geringfügig verringert wird. Auf diese Weise ist es möglich, selbst mit langsamen Consumer-Kameras, die lediglich eine Bildwiederholrate von 60 Hz realisieren können, eine Farbbildaufnahme mit zeitsequentieller farbiger Beleuchtung zu realisieren, wobei im ROI eine Bildwiederholrate von mehr als 50 Hz erreicht werden kann. Selbst für eine Stereoaufnahme mit lediglich einem Bildsensor lassen sich Bildwiederholraten erreichen, die über der Kino-Norm von 24 Hz liegen. Weiterhin bieten das erfindungsgemäße Verfahren und das erfindungsgemäße optische Beobachtungsgerät den Vorteil, dass die Wahrnehmung von Farbsäumen durch bewegte Objekte verringert wird. Darüber hinaus bieten das erfindungsgemäße Verfahren und das erfindungsgemäße optische Beobachtungsgerät den Vorteil, dass die Verzögerung zwischen der Bildaufnahme und der Bilddarstellung für die ROI geringer als im Stand der Technik ist.With the method according to the invention and the optical observation device according to the invention, the image repetition rate in the image area of interest (ROI) can be significantly increased compared to the prior art, whereas the image refresh rate for frames is only slightly reduced. In this way it is possible, even with slow consumer cameras, which can realize only a refresh rate of 60 Hz, to realize a color image with time-sequential color illumination, wherein in the ROI a refresh rate of more than 50 Hz can be achieved. Even for a stereo recording with only one image sensor can achieve refresh rates that are above the cinema standard of 24 Hz. Furthermore, the method according to the invention and the optical observation device according to the invention have the advantage that the perception of color fringes by moving objects is reduced. In addition, the inventive method and the optical observation device according to the invention offer the advantage that the delay between the image acquisition and the image representation for the ROI is lower than in the prior art.
BezugszeichenlisteLIST OF REFERENCE NUMBERS
- 11
- Beobachtungsoptikobservation optics
- 33
- Kameracamera
- 55
- elektronischer Bildsensorelectronic image sensor
- 77
- Recheneinheitcomputer unit
- L1...LN L1 ... LN
- Lichtquellenlight sources
- 99
- Darstellungseinheitdisplay unit
- 1111
- ZusammenführeinrichtungCombining device
- 1313
- Beleuchtungsoptikillumination optics
- 1515
- Steuereinheitcontrol unit
- 1717
- Beobachtungsobjektobservation object
- 1919
- Sensorflächesensor surface
- 2121
- ROI (region of intrest)ROI (region of intrest)
- 2323
- Spektralfilterspectral
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- DE 102008017390 A1 [0004, 0005, 0005] DE 102008017390 A1 [0004, 0005, 0005]
- EP 0601179 [0005] EP 0601179 [0005]
- DE 102011010262 [0038, 0115] DE 102011010262 [0038, 0115]
- WO 1997/011636 [0082] WO 1997/011636 [0082]
Claims (32)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102011053250.1A DE102011053250B4 (en) | 2011-09-05 | 2011-09-05 | A method of capturing images of an observation object with an electronic image sensor and an optical observation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102011053250.1A DE102011053250B4 (en) | 2011-09-05 | 2011-09-05 | A method of capturing images of an observation object with an electronic image sensor and an optical observation device |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102011053250A1 true DE102011053250A1 (en) | 2013-03-07 |
DE102011053250B4 DE102011053250B4 (en) | 2016-11-17 |
Family
ID=47710418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102011053250.1A Active DE102011053250B4 (en) | 2011-09-05 | 2011-09-05 | A method of capturing images of an observation object with an electronic image sensor and an optical observation device |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102011053250B4 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013104060A1 (en) * | 2013-04-22 | 2014-10-23 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Method and device for videographic tracking of fast moving objects |
DE102013226196A1 (en) * | 2013-12-17 | 2015-06-18 | Volkswagen Aktiengesellschaft | Optical sensor system |
CN112584066A (en) * | 2020-11-20 | 2021-03-30 | 格科微电子(上海)有限公司 | Exposure and reading control method and device, storage medium and image processing equipment |
US11493729B2 (en) | 2015-09-16 | 2022-11-08 | Canon Kabushiki Kaisha | Image sensor capable of reducing readout time and image capturing apparatus |
US11719908B2 (en) | 2015-09-16 | 2023-08-08 | Canon Kabushiki Kaisha | Image sensor and image capturing apparatus |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0601179A1 (en) | 1992-06-26 | 1994-06-15 | Apollo Camera, L.L.C. | Single sensor video imaging system and method using sequential color object illumination |
WO1997011636A2 (en) | 1995-09-26 | 1997-04-03 | Karl Storz Gmbh & Co. | Apparatus for photodynamic diagnosis |
DE102008017390A1 (en) | 2008-04-02 | 2009-10-08 | Carl Zeiss Surgical Gmbh | Method and apparatus for capturing color images and LDI signals from an object |
EP2362641A1 (en) * | 2010-02-18 | 2011-08-31 | Raytheon Company | Imaging System |
DE102011010262A1 (en) | 2011-01-27 | 2012-08-02 | Carl Zeiss Meditec Ag | Optical observation device e.g. digital operating microscope, for observing stereoscopic images, has intermediate imaging optics passed on path from main objective to mirror-matrix and another path from mirror-matrix to image sensor |
-
2011
- 2011-09-05 DE DE102011053250.1A patent/DE102011053250B4/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0601179A1 (en) | 1992-06-26 | 1994-06-15 | Apollo Camera, L.L.C. | Single sensor video imaging system and method using sequential color object illumination |
EP0601179B1 (en) * | 1992-06-26 | 1998-12-30 | Apollo Camera, L.L.C. | Single sensor video imaging system and method using sequential color object illumination |
WO1997011636A2 (en) | 1995-09-26 | 1997-04-03 | Karl Storz Gmbh & Co. | Apparatus for photodynamic diagnosis |
DE102008017390A1 (en) | 2008-04-02 | 2009-10-08 | Carl Zeiss Surgical Gmbh | Method and apparatus for capturing color images and LDI signals from an object |
EP2362641A1 (en) * | 2010-02-18 | 2011-08-31 | Raytheon Company | Imaging System |
DE102011010262A1 (en) | 2011-01-27 | 2012-08-02 | Carl Zeiss Meditec Ag | Optical observation device e.g. digital operating microscope, for observing stereoscopic images, has intermediate imaging optics passed on path from main objective to mirror-matrix and another path from mirror-matrix to image sensor |
Non-Patent Citations (4)
Title |
---|
ADAMS, Andrew et al.: The Frankencamera: An Experimental Platform for Computational Photography. ACM Transactions on Graphics, Vol. 29, No. 4, July 2010. Article 29, pp. 29:1 - 29:12. * |
APTINA Imaging Corp.: MT9P031: 1/2.5-Inch 5Mp CMOS Digital Image Sensor. Data Sheet F. Firmenschrift, MT9P031_DS - Rev. F 5/11 EN, Copyright 2005, 16.08.2011. Singapore: Aptina, 2011. * |
CYPRESS Semiconductor Corp.: LUPA-4000 - 4M Pixel CMOS Image Sensor. Data Sheet. Firmenschrift, Document Number 38-05712 Rev. *B, Revised January 4, 2007. San Jose, CA: CYPRESS, 2007. * |
PULLI, Kari et al.: FCam: An Architecture and API for Computational Cameras. SA'11: SIGGRAPH Asia 2011 Courses, December 2011. ISBN: 978-1-4503-1135-9. New York, NY: ACM, 2011. * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013104060A1 (en) * | 2013-04-22 | 2014-10-23 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Method and device for videographic tracking of fast moving objects |
DE102013104060B4 (en) * | 2013-04-22 | 2016-10-13 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Method and device for videographic tracking of fast moving objects |
DE102013226196A1 (en) * | 2013-12-17 | 2015-06-18 | Volkswagen Aktiengesellschaft | Optical sensor system |
US11493729B2 (en) | 2015-09-16 | 2022-11-08 | Canon Kabushiki Kaisha | Image sensor capable of reducing readout time and image capturing apparatus |
US11719908B2 (en) | 2015-09-16 | 2023-08-08 | Canon Kabushiki Kaisha | Image sensor and image capturing apparatus |
CN112584066A (en) * | 2020-11-20 | 2021-03-30 | 格科微电子(上海)有限公司 | Exposure and reading control method and device, storage medium and image processing equipment |
CN112584066B (en) * | 2020-11-20 | 2024-01-05 | 格科微电子(上海)有限公司 | Exposure and reading control method and device, storage medium, and image processing apparatus |
Also Published As
Publication number | Publication date |
---|---|
DE102011053250B4 (en) | 2016-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE19535114B4 (en) | Endoscope system with fluorescence diagnosis | |
DE10362402B3 (en) | Microscopy system and microscopy method | |
DE10304267B9 (en) | Eye surgery microscopy system | |
DE102005034332A1 (en) | Apparatus and method for observation, documentation and / or diagnosis of the ocular fundus | |
DE102004062226B4 (en) | Device for viewing a fundus | |
DE102010045364A1 (en) | Method for generating high-quality fundus image of eye of patient, involves obtaining color intensity distribution for correcting color composition of resultant color fundus image based on dark image representing noise of sensor | |
EP2786696B1 (en) | Dental camera system | |
DE102010044502A1 (en) | Special lighting Video Operations stereomicroscope | |
DE102009015598B4 (en) | Method and device for finding functional tissue areas in a tissue area | |
DE10204430A1 (en) | Stereo microscopy method and stereo microscopy system | |
DE3743920A1 (en) | ENDOSCOPE DEVICE | |
DE102009059979A1 (en) | Endoscope system with scraper function | |
DE10290005B4 (en) | Apparatus and method for imaging, stimulation, measurement and therapy, especially on the eye | |
DE102011053250B4 (en) | A method of capturing images of an observation object with an electronic image sensor and an optical observation device | |
DE102017107178B4 (en) | Microscope with apparatus for generating reflex-corrected images and reflex correction method for correcting digital microscopic images | |
DE102015216570A1 (en) | microscopy system | |
DE102018110641B3 (en) | Microscopy method for imaging an object and microscope | |
DE102020105459A1 (en) | MEDICAL IMAGING DEVICE WITH MULTIPLE IMAGING MODES | |
DE19502472A1 (en) | Method and device for picking up an object | |
DE102009010446B4 (en) | Method and apparatus for quantifying blood flow in a tissue area | |
DE102011123037B3 (en) | Method of capturing images of an observation object with an electronic image sensor and optical observation device | |
DE3818278C2 (en) | Examination device for the eye, in particular the fundus, and method for operating the same | |
EP2983576B1 (en) | Method for photographically observing and/or documenting the fundus of an eye, and fundus camera | |
DE102018110642B4 (en) | Microscopy method for imaging an object and microscope | |
DE102004019583B3 (en) | Method of combining image from optical apparatus with additional information as for an operation microscope varies intensity or color of image or information over time |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R012 | Request for examination validly filed | ||
R083 | Amendment of/additions to inventor(s) | ||
R016 | Response to examination communication | ||
R082 | Change of representative |
Representative=s name: PATERIS THEOBALD ELBEL FISCHER, PATENTANWAELTE, DE |
|
R081 | Change of applicant/patentee |
Owner name: CARL ZEISS AG, DE Free format text: FORMER OWNER: CARL ZEISS AG, 73447 OBERKOCHEN, DE Effective date: 20130423 Owner name: CARL ZEISS MEDITEC AG, DE Free format text: FORMER OWNER: CARL ZEISS AG, 73447 OBERKOCHEN, DE Effective date: 20130423 |
|
R082 | Change of representative |
Representative=s name: PATERIS PATENTANWAELTE, DE Effective date: 20130423 Representative=s name: PATERIS THEOBALD ELBEL FISCHER, PATENTANWAELTE, DE Effective date: 20130423 |
|
R016 | Response to examination communication | ||
R130 | Divisional application to |
Ref document number: 102011123037 Country of ref document: DE |
|
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final | ||
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: H04N0005345000 Ipc: H04N0025440000 |