DE102013005524A1 - Apparatus and method for color image acquisition of medical objects - Google Patents

Apparatus and method for color image acquisition of medical objects Download PDF

Info

Publication number
DE102013005524A1
DE102013005524A1 DE102013005524.5A DE102013005524A DE102013005524A1 DE 102013005524 A1 DE102013005524 A1 DE 102013005524A1 DE 102013005524 A DE102013005524 A DE 102013005524A DE 102013005524 A1 DE102013005524 A1 DE 102013005524A1
Authority
DE
Germany
Prior art keywords
filter elements
color
filter
image
green
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102013005524.5A
Other languages
German (de)
Inventor
Auf Nichtnennung Antrag
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to DE102013005524.5A priority Critical patent/DE102013005524A1/en
Publication of DE102013005524A1 publication Critical patent/DE102013005524A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Abstract

Es wird ein Endoskop (300) mit nur einem Halbleiterbildsensor (301) und einem Farbfiltermosaik beschrieben, das zur Bewegtbilderfassung von medizinischen Objekten dient. Es werden sowohl ein visuelles Bild von hoher Qualität als auch ein Bild eines Fluoreszenzspektrums erfasst und entsprechend dem neuen Verfahren unter Verwendung einer Verarbeitungseinheit (306) für das medizinische Personal auf einem Bildschirm (317) dargestellt.An endoscope (300) with only one semiconductor image sensor (301) and a color filter mosaic is described, which is used to capture moving images of medical objects. Both a visual image of high quality and an image of a fluorescence spectrum are acquired and displayed on a screen (317) for the medical personnel using a processing unit (306) in accordance with the new method.

Description

Anwendungsgebietfield of use

Die vorliegende Erfindung betrifft eine Vorrichtung entsprechend dem Oberbegriff des Anspruchs 1.The present invention relates to a device according to the preamble of claim 1.

Stand der TechnikState of the art

In der medizinischen Diagnostik werden bildgebende Verfahren eingesetzt, die neben einem normalen Farbbild auch ein Fluoreszenzbild erfassen. Dies ist insbesondere bei der Fluoreszenzendoskopie der Fall. Dabei wird das medizinische Gewebe mit einem Fluoreszenzfarbstoff angereichert, wobei die sich ergebende Farbstoffkonzentration je nach Gesundheitszustand des Gewebes unterschiedlich ist. Bei geeigneter Beleuchtung mit einem Anregungslicht erfasst eine Kamera das Fluoreszenzbild, das diese Unterschiede sichtbar macht. Der Farbstoff Indocyaningrün und andere emittieren Fluoreszenzlicht im langwelligen, roten Spektralbereich.In medical diagnostics, imaging methods are used which, in addition to a normal color image, also capture a fluorescence image. This is the case in particular in fluorescence endoscopy. In this case, the medical tissue is enriched with a fluorescent dye, wherein the resulting dye concentration is different depending on the health of the tissue. With suitable illumination with an excitation light, a camera captures the fluorescence image that makes these differences visible. The dye indocyanine green and others emit fluorescent light in the long-wavelength, red spectral range.

Üblicherweise erfassen diese Kameras Bewegtbilder, auch Videosignale genannt, damit auch die Beobachtung zeitlicher Entwicklungen oder chirurgische Arbeitsvorgänge mit Hilfe einer Bildschirmdarstellung möglich sind. Im Weiteren wird von einem „Bild” gesprochen, damit sollen aber sowohl Standbilder als auch Bewegtbilder gemeint sein.Usually, these cameras capture motion pictures, also called video signals, so that the observation of temporal developments or surgical operations using a screen display are possible. In the following, we speak of a "picture", but we mean both still pictures and moving pictures.

Die Erfassung der beiden Bildinformationen, also des visuellen Bildes mit Weißlichtbeleuchtung und des Floureszenzbildes kann durch zwei getrennte Kameras erfolgen, die unterschiedliche Bereiche des Lichtspektrums erfassen. Alternativ kann auch eine Kamera verwendet werden, die zwischen den zwei Moden der Bildererfassung zeitlich schnell umgeschaltet wird. Dazu werden optische Filter an der Beleuchtungsquelle oder der Detektionsfilter vor der Kamera schnell gewechselt, wie dies z. B. mit einem rotierenden Farbfilterrad möglich ist.The capture of the two image information, ie the visual image with white light illumination and the fluorescent image can be done by two separate cameras that capture different areas of the light spectrum. Alternatively, a camera can be used, which is quickly switched between the two modes of image acquisition time. For this purpose, optical filters are quickly changed at the illumination source or the detection filter in front of the camera, as z. B. is possible with a rotating Farbfilterrad.

In DE 10 2009 025 662 A1 ist ein weiteres Verfahren beschrieben, das nur eine Standardkamera mit den Grundfarben Rot, Grün und Blau verwendet. Dabei wird auf die Erfassung von Bildinformationen im visuellen blauen Spektralbereich verzichtet, was durch eine geeignete Filterung des Beleuchtungslichtes erfolgt. Die spektrale Durchlasskurve des blauen Farbkanales bei einer Standardkamera wird nun oft im Bereich langwelligen roten Lichtes wieder durchlässig. Diese Eigenschaft nutzt man zur selektiven Detektion des Fluoreszenzlichtes. Zusammengefasst detektiert der Blaukanal der Kamera das langwellige Fluoreszenzlicht und ist zur Erfassung echter Blauinformationen für das visuelle Bild nicht nutzbar. Die fehlenden Bildinformationen des Blaukanales versucht man ersatzweise aus Informationen der anderen Farbkanäle nachzubilden.In DE 10 2009 025 662 A1 Another method is described which uses only a standard camera with the primary colors red, green and blue. In this case, the acquisition of image information in the visual blue spectral range is omitted, which is done by a suitable filtering of the illumination light. The spectral transmission curve of the blue color channel in a standard camera is now again permeable in the area of long-wave red light. This property is used for the selective detection of the fluorescent light. In summary, the camera's blue channel detects the long-wavelength fluorescent light and is not usable to capture true blue information for the visual image. The missing image information of the blue channel is attempted to be replaced by information from the other color channels.

Halbleiter-Bildsensoren sind die heute gebräuchlichen Elemente zur Bildwandlung in Video- und Standbildkameras. Eine Übersicht der heute dominierenden CMOS Bildsensortechnik enthält z. B. der Artikel von E. Fossum „CMOS Image Sensors: Electronic Camera-On-A-Chip”; IEEE TrED; Oct. 1997 .Semiconductor image sensors are the elements commonly used today for image conversion in video and still cameras. An overview of today's dominant CMOS image sensor technology contains z. B. the article of E. Fossum "CMOS Image Sensors: Electronic Camera-On-A-Chip"; IEEE TrED; Oct. 1997 ,

Zur Erfassung der Farbinformation des Bildes hat sich die Verwendung von Farbfilterelementen durchgesetzt, die in einem regelmäßigen Mosaik auf der Oberfläche des Bildsensors mittels eines chemisch-physikalischen Herstellungsprozesses abgeschieden werden.To capture the color information of the image, the use of color filter elements has been established, which are deposited in a regular mosaic on the surface of the image sensor by means of a chemical-physical manufacturing process.

Bei Bildern zur Betrachtung durch einen menschlichen Beobachter ist die Erzeugung von 3 Bildern, die jeweils unterschiedliche Bereiche des Lichtspektrums repräsentieren, ausreichend.In images for observation by a human observer, the generation of 3 images each representing different regions of the light spectrum is sufficient.

Am häufigsten werden bei elektronischen Kameras Filterelemente r, g, b eingesetzt, die für Licht der Farbe Rot, bzw. Grün, bzw. Blau durchlässig sind. Dabei wird in der Regel eine Anordnung der Filterelemente im Bayer Farbfiltermosaik gewählt, wie dies in 4 dargestellt ist. Diese Anordnung geht zurück auf die Schrift US 000003971065 . In 3 sind die spektralen Durchlasskurven für die Farbkanäle Rot, Grün, Blau dargestellt, die durch ein Farbfiltermosaik mit den Filterelementen r, g, b nach dem Stand der Technik realisiert sind.Most frequently used in electronic cameras filter elements r, g, b, which are transparent to light of the color red, or green, or blue. In this case, an arrangement of the filter elements in the Bayer color filter mosaic is usually selected, as in 4 is shown. This arrangement goes back to the script US 000003971065 , In 3 the spectral transmission curves for the color channels red, green, blue are represented, which are realized by a color filter mosaic with the filter elements r, g, b according to the prior art.

Die Filtergrundfarben: Cyan, Gelb, Magenta werden in elektronischen Kameras eher selten eingesetzt, sind aber in der Drucktechnik gebräuchlich, da die Farbmischprozesse hier eher subtraktiven Charakter haben.The basic filter colors: cyan, yellow, magenta are rarely used in electronic cameras, but are commonly used in printing since the color mixing processes here are rather subtractive.

Es gibt einige Varianten des Bayer-Mosaiks. Die zusätzliche Anordnung von Pixeln ohne Farbfilter wurde verschiedentlich beschrieben, um eine Verbesserung der Dunkelempfindlichkeit zu erzielen. Ein Mosaik mit den Filterfarben Weiß, Rot, Grün, Blau ist in der Schrift US 5323233 dargestellt.There are several variants of the Bayer mosaic. The additional arrangement of pixels without color filters has been variously described to achieve an improvement in dark sensitivity. A mosaic with the filter colors white, red, green, blue is in writing US 5323233 shown.

Auch Filtermosaike auf Basis anderer Sätze aus 3 Grundfarben sind bekannt. In allen Fällen von Filtermosaiken aus 3 Grundfarben oder 3 Grundfarben plus Weiß kann der erfasste Farbraum aber äquivalent sein und eine Umrechnung der Farbkoordinaten ist möglich.Also filter mosaics based on other sentences from 3 basic colors are known. In all cases of filter mosaics of 3 primary colors or 3 primary colors plus white, however, the acquired color space can be equivalent and a conversion of the color coordinates is possible.

Generell ist die visuelle Unterscheidbarkeit von verschiedenen Geweben in der medizinischen Endoskopie ein wichtiger Gesichtspunkt. Die Schrift US 7042488B2 beschreibt, wie mittels Signalverarbeitungsverfahren die Erkennung von Blutgefäßen verbessert werden soll. Ein weiteres Verfahren basierend auf Signalverarbeitungsmethoden ist in US 2010/0265322A1 beschrieben. In beiden Fällen kommt zur eigentlichen Bildaufnahme eine konventionelle RGB-Dreifarbkamera zum Einsatz. Die Schrift US 2011/0230715A1 beschreibt Vorrichtungen und Verfahren, um verschiedenartige Blutgefäße voneinander zu unterscheiden. Dabei werden spezielle Beleuchtungseinheiten verwendet, die umschaltbar verschiedene Lichtspektren erzeugen.In general, the visual distinctiveness of various tissues in medical endoscopy is an important consideration. The font US 7042488B2 describes how by means of signal processing method the recognition of Blood vessels should be improved. Another method based on signal processing methods is in US 2010 / 0265322A1 described. In both cases, a conventional RGB three-color camera is used for the actual image acquisition. The font US 2011 / 0230715A1 describes devices and methods for differentiating different blood vessels. In this case, special lighting units are used, which produce switchable different light spectra.

Nachteile des Standes der TechnikDisadvantages of the prior art

Bei der Fluoreszenzendoskopie werden entweder 2 Kameras eingesetzt, was einen hohen apparativen Aufwand bedingt. Neben den hohen Kosten sind die Abmessungen und das Gewicht eines solchen Doppelsystems hinderlich für das medizinische Personal. Die Lösung mit einer Kamera, deren spektrale Empfindlichkeit periodisch gewechselt wird, liefert jeden Kamerakanal nur mit reduzierter Bildrate, was einer verringerten Bewegungsauflösung entspricht. Alternativ eingesetzte Einfachkameras verzichten auf einen Teil des sichtbaren Spektralbereiches, sodass wichtige visuelle Bildinformationen für das medizinische Personal verlorengehen. Auch sind hier spezielle Filter zur Aufbereitung des Beleuchtungslichts und selektive Beobachtungsfilter vor der Kamera erforderlich. Eine Nachbildung nicht erfasster Bildinformationen, z. B. des Blaukanales, ist nur mit Einschränkungen möglich. Komplexe Signalverarbeitungsmethoden und die teilweise notwendige Kalibrierung mit Hilfe von Referenzobjekten machen die Geräte aufwendig und schwer bedienbar.In fluorescence endoscopy either 2 cameras are used, which requires a lot of equipment. Besides the high costs, the dimensions and weight of such a double system are a hindrance to the medical staff. The solution with a camera whose spectral sensitivity is changed periodically, provides each camera channel only with reduced frame rate, which corresponds to a reduced motion resolution. Alternately used single cameras forego a portion of the visible spectral range, thus losing important visual image information to medical personnel. Also here special filters for the treatment of the illumination light and selective observation filters in front of the camera are required. A replica of unrecognized image information, eg. B. the blue channel, is possible only with restrictions. Complex signal processing methods and the sometimes necessary calibration with reference objects make the devices complex and difficult to operate.

Es gibt auch Endoskope mit einem Kamerafunktion am distalen Ende, die auch als „Chip on the Tip”-Endoskope bezeichnet werden. Die Bezeichnung „distal” beschreibt das Ende des Endoskops, das aus der Perspektive des Bedienungspersonals das entferntere ist. Bei diesem Typ ist die Realisierung mehrerer getrennter Kamerafunktionen aus Platzgründen praktisch ausgeschlossen. In der Spitze eines solchen Endoskops ist in der Regel nur Platz für ein Objektiv und einen Bildsensorchip und man strebt bei diesem Typ in der Regel auch möglichst kleine Abmessungen an. Es kann hier auch nicht mehr von einer Kamera gesprochen werden, sondern man bezieht sich auf den Bildsensor selbst. Es ist ja kein separates Kameragehäuse mehr vorhanden oder sichtbar, sondern der Bildsensor als Kernelement der Kamera ist im Endoskop selbst befestigt.There are also endoscopes with a camera function at the distal end, which are also referred to as "chip on the tip" endoscopes. The term "distal" describes the end of the endoscope, which is the more distant from the perspective of the operator. In this type, the realization of several separate camera functions for reasons of space is practically impossible. In the tip of such an endoscope is usually only space for a lens and an image sensor chip and you are aiming in this type usually the smallest possible dimensions. It can no longer be spoken by a camera here, but refers to the image sensor itself. There is indeed no separate camera body more available or visible, but the image sensor as the core element of the camera is mounted in the endoscope itself.

Der mechanische Wechsel von Beleuchtungs- oder Beobachtungsfiltern ist bei diesem Endoskoptyp schwierig und bisher nicht erfolgreich realisiert worden. Als Ersatzlösung für den Fall des variablen Beleuchtungsfilters können entweder mehrere unterschiedliche Lichtquellen an der Endoskopspitze erforderlich sein. Oder die Zuführung des gefilterten Lichtes muss über Glasfaserlichtleiter vom proximalen Ende, d. h. von der Bedienerseite des Endoskops her erfolgen. Dies bedingt eine zusätzliche Komplexität und es gehen prinzipielle Vorteile dieses Endoskoptyps verloren, wie geringe Abmessungen und eine einfache Serienfertigung.The mechanical change of illumination or observation filters is difficult in this endoscope type and has not been successfully implemented. As a substitute solution for the case of the variable illumination filter, either several different light sources at the endoscope tip may be required. Or the supply of filtered light must be via fiber optic light guide from the proximal end, i. H. from the operator side of the endoscope. This requires additional complexity and basic advantages of this type of endoscope are lost, such as small dimensions and simple serial production.

Herkömmliche Sensoren und Kameras auf der Basis der gebräuchlichen Farbfiltersystem mit den Grundfarben Rot, Grün, Blau oder äquivalenten dreidimensionalen Farbräumen weisen eine generelle Schwäche bei der Bilderfassung roter Farbtöne auf. Aber gerade in der medizinischen Endoskopie wäre hier eine Verbesserung notwendig, um eine gute Unterscheidbarkeit verschiedener medizinischer Objekte zu erhalten. Damit könnten sowohl die Diagnose als auch eine Operation schneller und sicherer erfolgen.Conventional sensors and cameras based on the conventional color filter system with the primary colors red, green, blue or equivalent three-dimensional color spaces have a general weakness in the image acquisition of red shades. But especially in medical endoscopy, an improvement would be necessary here in order to obtain a good differentiation of various medical objects. This would make both the diagnosis and surgery faster and safer.

Aufgabe der ErfindungObject of the invention

Aufgabe der Erfindung ist es, mit einem Endoskop gleichzeitig ein Fluoreszenzbild und ein visuelles Bild in voller Qualität zu erfassen, wobei die Lösung für verschiedene Typen von medizinischen Endoskopen gleichermaßen verwendbar sein muss.The object of the invention is to simultaneously detect a fluorescence image and a full-quality visual image with an endoscope, which solution must be equally usable for different types of medical endoscopes.

Lösung der AufgabeSolution of the task

Diese Aufgabe wird durch eine Vorrichtung mit den Merkmalen des Anspruch 1 gelöst.This object is achieved by a device having the features of claim 1.

In den Unteransprüchen sind Weiterbildungen sowie ein Verfahren zum Einsatz der Vorrichtung angegeben.In the dependent claims further developments and a method for using the device are given.

Anwendbarkeit und Vorteile der ErfindungApplicability and Advantages of the Invention

Ein erfindungsgemäßes Endoskop erlaubt die gleichzeitige Erfassung von Bildinformationen medizinischer Objekte im visuellen Spektralbereich und im Bereich des emittierten Fluoreszenzlichtes.An endoscope according to the invention allows the simultaneous acquisition of image information of medical objects in the visual spectral range and in the region of the emitted fluorescent light.

Das Endoskop liefert neben den Signalen für die drei Grundfarben Rot, Grün, Blau ein weiteres Signal für einen langwelligen Farbkanal. Das Endoskop verwendet nur einen Halbleiterbildsensor, auf dem sich ein Farbfiltermosaik befindet, dass aus Filterelementen der drei Grundfarben Rot, Grün, Blau und aus weiteren Filterelementen mit einer langwelligen Durchlasscharakteristik besteht.In addition to the signals for the three primary colors red, green and blue, the endoscope provides another signal for a long-wave color channel. The endoscope uses only one semiconductor image sensor, on which there is a color filter mosaic that consists of filter elements of the three primary colors red, green, blue and other filter elements with a long-wave transmission characteristic.

Das Bild im visuellen Spektralbereich erfasst den vollen Farbraum, wie er von einem menschlichen Beobachter wahrgenommen werden kann.The image in the visual spectral range captures the full color space as perceived by a human observer.

Auch werden die beiden Bilder mit voller Bildrate erfasst, sodass medizinische Beobachtungen und Arbeitsvorgänge nicht durch eine eingeschränkte Bewegungsauflösung behindert werden.Also, the two images are captured at full frame rate so that medical observations and operations are not hampered by limited movement resolution.

Das Endoskop enthält keine mechanisch bewegten Teile, sodass kompakte Abmessungen, eine hohe Lebensdauer und geringe Wartungsaufwendungen zu erwarten sind. The endoscope does not contain any mechanical moving parts, so compact dimensions, long life and low maintenance costs are expected.

Eine vorteilhafte Weiterbildung der Erfindung ergänzt das Filtermosaik mit vier Farbfilterelementen um weiße Filterelemente. Anders ausgedrückt bleiben solche Mosaikteilflächen für alles Licht durchlässig. Damit ist eine Steigerung der Lichtempfindlichkeit zu erzielen, was sich besonders in dunklen Bildbereichen und bei geringer Beleuchtungsintensität positiv auswirkt.An advantageous development of the invention supplements the filter mosaic with four color filter elements to white filter elements. In other words, such Mosaikteilflächen remain transparent to all light. Thus, an increase in photosensitivity is achieved, which has a positive effect especially in dark areas and at low illumination intensity.

Bei einem Endoskop mit Bildsensor am proximalen Ende ist die erfindungsgemäße Lösung mit nur einem Bildsensor den nach dem Stand der Technik noch verbreiteten Lösungen mit drei Bildsensoren und einem Farbteilerprisma wirtschaftlich und von den Abmessungen her überlegen.In an endoscope having an image sensor at the proximal end, the solution according to the invention with only one image sensor is economically superior to the solutions with three image sensors and a color splitting prism which are still widespread according to the prior art.

Das Endoskop nach der vorliegenden Erfindung lässt sich auch für andere Anwendungsfälle nutzbringend einsetzen. Mit einem breitbandigen Beleuchtungsspektrum können durch den erweiterten vierkanaligen Farbraum zusätzliche Farbinformationsdetails erfasst werden, die für ein Endoskop nach dem Stand der Technik nicht detektierbar sind. Anders ausgedrückt lässt sich die Farbunterscheidbarkeit im Bereich roter Farben verbessern. Das medizinische Personal kann so auf dem Bildschirm verschiedene medizinische Objekte besser trennen. Man könnte auch sagen, dass für das menschliche Auge nicht wahrnehmbare Strukturen des medizinischen Objekts auf diese Weise sichtbar gemacht werden.The endoscope according to the present invention can also be used profitably for other applications. With a broadband illumination spectrum, additional color information details that are undetectable for an endoscope according to the prior art can be detected by the extended four-channel color space. In other words, the color discrimination in the range of red colors can be improved. The medical staff can thus better separate various medical objects on the screen. It could also be said that imperceptible structures of the medical object are made visible to the human eye in this way.

Zeichnungendrawings

Die Zeichnungen stellen den Stand der Technik dar oder gehören zu den unten erläuterten Ausführungsbeispielen. Im Einzelnen zeigenThe drawings represent the prior art or belong to the embodiments explained below. Show in detail

1 eine schematische Darstellung eines Endoskops mit Sensor am proximalen Ende als erstes Ausführungsbeispiel, 1 a schematic representation of an endoscope with sensor at the proximal end as a first embodiment,

2 eine schematische Darstellung eines Endoskops mit Sensor am distalen Ende als zweites Ausführungsbeispiel, 2 a schematic representation of an endoscope with sensor at the distal end as a second embodiment,

3 die spektrale Empfindlichkeit von Farbsensoren nach dem Stand der Technik, 3 the spectral sensitivity of color sensors according to the prior art,

4 Darstellung eines Farbfiltermosaiks für Farbsensoren nach dem Stand der Technik, 4 Representation of a color filter mosaic for color sensors according to the prior art,

5 Darstellung eines Farbfiltermosaiks als drittes Ausführungsbeispiel, 5 Representation of a color filter mosaic as a third embodiment,

7 Darstellung eines Farbfiltermosaiks als viertes Ausführungsbeispiel, 7 Representation of a color filter mosaic as a fourth embodiment,

8 Darstellung eines Farbfiltermosaiks als fünftes Ausführungsbeispiel, 8th Representation of a color filter mosaic as a fifth embodiment,

9 Darstellung eines Farbfiltermosaiks als sechstes Ausführungsbeispiel, 9 Representation of a color filter mosaic as a sixth embodiment,

10 Darstellung eines Farbfiltermosaiks als siebtes Ausführungsbeispiel, 10 Representation of a color filter mosaic as seventh embodiment,

11 Darstellung eines Farbfiltermosaiks als achtes Ausführungsbeispiel, 11 Representation of a color filter mosaic as eighth embodiment,

12 Darstellung des Verfahrens zur Bilderfassung und Verarbeitung unter Verwendung des erfindungsgemäßen Endoskops. 12 Presentation of the method for image acquisition and processing using the endoscope according to the invention.

Ausführungsbeispieleembodiments

In 1 ist schematisch ein erfindungsgemäßes Endoskop in der Anwendung dargestellt. In einem Hohlraum 100, z. B. der Bauchhöhle, befindet sich ein medizinisches Objekt 101. Das Endoskop 130 ist hier vom klassischen Typ mit einer Kamera 110 am proximalen Ende. Das Bild des Objektes 101 wird über ein Objektiv 102, eine optische Übertragungsvorrichtung 103 und ein Okular 105 an das proximale Ende 104 des Endoskops weitergeleitet. Eine hier befestigte Kamera 110 erfasst diese Bildinformation. Dies erfolgt mit Hilfe eines Objektivs 111 und eines Bildsensors 112. Der Bildsensor kann das visuelle Farbbild und das Fluoreszenzbild zur gleichen Zeit erfassen. Die vom Bildsensor in elektronische Signale umgewandelten Bilder bestehend aus vier Farbkanälen werden über ein Kabel 113 zu einer Verarbeitungseinheit 114 übertragen. Typischerweise handelt es sich um einen Personal Computer mit einem Eingang zur Bewegtbilderfassung. Die Verarbeitungseinheit 114 analysiert das mehrkanalige Bildsignal und stellt ein daraus erzeugtes Farbbild und als optionale Einblendung auch extrahierte Zusatzinformationen auf einem Bildschirm 115 für das medizinische Personal dar. Ebenso kann mit der Verarbeitungseinheit 114 eine Bild- oder Videoaufnahme für Dokumentationszwecke erfolgen oder es können solche Aufzeichnungsgeräte angeschlossen werden.In 1 schematically an inventive endoscope is shown in the application. In a cavity 100 , z. B. the abdominal cavity, there is a medical object 101 , The endoscope 130 Here is the classic guy with a camera 110 at the proximal end. The picture of the object 101 is about a lens 102 , an optical transmission device 103 and an eyepiece 105 to the proximal end 104 forwarded to the endoscope. A camera attached here 110 captures this image information. This is done with the help of a lens 111 and an image sensor 112 , The image sensor can detect the visual color image and the fluorescence image at the same time. The images converted by the image sensor into electronic signals consisting of four color channels are connected via a cable 113 to a processing unit 114 transfer. Typically, this is a personal computer with a motion capture input. The processing unit 114 analyzes the multichannel image signal and displays a color image generated therefrom and also optionally displays additional information extracted on a screen as an optional overlay 115 Likewise, with the processing unit 114 an image or video recording for documentation purposes or such recording devices can be connected.

Zur Beleuchtung des Objektes 101 ist eine Lichtquelle 120 vorgesehen. Das Licht wird von dort über verschiedene Lichtleitvorrichten 121 und 122, wie z. B. Glasfaserbündel, weitergeleitet und mittels einer Beleuchtungsoptik 123 auf das medizinische Objekt projiziert.To illuminate the object 101 is a light source 120 intended. The light is from there via different Lichtleitvorrichten 121 and 122 , such as B. glass fiber bundle, forwarded and by means of a lighting optics 123 projected onto the medical object.

In 2 ist ein alternatives Endoskop 230 schematisch abgebildet, bei dem sich der Bildsensor am distalen Ende befindet. Das Endoskop ist in den Hohlraum 200 eingeführt. Ein Bild des medizinischen Objekts 201 wird mittels eines Objektivs 202 auf einen Bildsensor 203 abgebildet. Dieser erzeugt daraus ein elektrisches Bildsignal mit vier Farbkanälen, das über ein oder mehrere elektrisch Leitungen 206 zum bedienerseitigen Ende 210 des Endoskops weitergeleitet wird. Eine elektrische Verbindung 213 stellt von dort die Verbindung zur Verarbeitungseinheit 214 her. An diese ist wieder ein Bildschirm 215 angeschlossen. Im Weiteren gilt analog das für das zum Ausführungsbeispiel in 1 oben dargestellte.In 2 is an alternative endoscope 230 shown schematically, in which the image sensor is located at the distal end. The endoscope is in the cavity 200 introduced. A picture of the medical object 201 is by means of a lens 202 on an image sensor 203 displayed. This generates an electrical image signal with four color channels, the one or more electrical lines 206 to the operator end 210 of the endoscope is forwarded. An electrical connection 213 from there connects to the processing unit 214 ago. At this is again a screen 215 connected. In the following applies analogously to that for the embodiment in 1 shown above.

Die Beleuchtung des Objektes erfolgt mittels einer elektrischen Lichtquelle 226 am distalen Ende des Endoskops. Vorzugsweise werden hier ein oder mehrere Leuchtdioden eingesetzt. Die Zuführung elektrischer Energie für die Lichtquelle erfolgt über elektrische Verbindungen 225 und 221 durch eine Stromversorgungsvorrichtung 220. In der praktischen Realisierung können die elektrischen Verbindungen 221 und 213 zu einem einzigen Kabel zusammengefasst werden. Auch die Vorrichtungen 220 und 214 können eine mechanische Einheit bilden.The illumination of the object takes place by means of an electric light source 226 at the distal end of the endoscope. Preferably, one or more light-emitting diodes are used here. The supply of electrical energy for the light source via electrical connections 225 and 221 by a power supply device 220 , In practical realization, the electrical connections 221 and 213 to a single cable. Also the devices 220 and 214 can form a mechanical unit.

Als Ausführungsbeispiel stellt 5 die spektrale Empfindlichkeit ES eines erfindungsgemäßen Endoskops dar, wie sie mit einem geeigneten vierkanaligen Bildsensor realisiert wird. Neben den Durchlasscharakteristiken für den Blaukanal B und den Grünkanal G sind die beiden Kurven für die Rotkanäle R1 und R2 erkennbar.As an exemplary embodiment 5 the spectral sensitivity ES of an endoscope according to the invention, as it is realized with a suitable four-channel image sensor. In addition to the transmission characteristics for the blue channel B and the green channel G, the two curves for the red channels R1 and R2 can be seen.

Die Beleuchtung des Objektes soll mit weißem Licht erfolgen, dass oberhalb einer Wellenlänge von etwa 660 nm nur noch vernachlässigbare Spektralanteile aufweist. Als Beispiel ist die spektrale Intensitätsverteilung IS einer geeigneten Lichtquelle in 6 abgebildet. Ein solches Lichtspektrum kann entweder durch eine Anordnung mehrerer geeigneter Leuchtdioden, auch LEDs genannt, erzeugt werden oder man kann zum Beispiel auch eine konventionelle Glühlampe mit einem nachgeschalteten optischen Filter verwenden. Mit diesem Beleuchtungsspektrum ist sichergestellt, dass der zweite rote Farbkanal R2 des Endoskops nicht direkt Licht von der Beleuchtungsquelle empfängt, sondern nur das langwellige Fluoreszenzlicht erfasst.The illumination of the object should be done with white light, that above a wavelength of about 660 nm has only negligible spectral components. As an example, the spectral intensity distribution IS of a suitable light source in 6 displayed. Such a light spectrum can either be generated by an arrangement of a plurality of suitable light-emitting diodes, also called LEDs, or it is also possible, for example, to use a conventional incandescent lamp with a downstream optical filter. This illumination spectrum ensures that the second red color channel R2 of the endoscope does not directly receive light from the illumination source, but only detects the long-wave fluorescent light.

Die Ausführungsbeispiele in 7 bis 11 zeigen verschiedene mögliche Anordnungen eines Farbfiltermosaiks, das auf dem erfindungsgemäßen Bildsensor 203 zur Erzeugung des vierkanaligen Farbsignals angeordnet werden kann.The embodiments in 7 to 11 show various possible arrangements of a color filter mosaic on the image sensor according to the invention 203 can be arranged to produce the four-channel color signal.

Jedes der abgebildeten Quadrate entspricht der Fläche einer Pixelzelle. Eine Pixelzelle kann auch als Bildpunkt oder Bildelement bezeichnet werden. Die mit „g” gekennzeichneten Quadrate sollen Pixelzellen entsprechen, die mit einem grünen Farbfilterelement g bedeckt sind. Damit kann eine Pixelzelle unter einem Filterelement g nur Licht entsprechend der Durchlasscharakteristik des grünen Farbfilters empfangen und in ein elektrisches Signal für den Grünkanal umwandeln. Analoges gilt für die Quadrate mit den Bezeichnungen b, r1, r2, die elektrische Signale für den Blaukanal, bzw. den ersten Rotkanal bzw. den zweiten Rotkanal liefern.Each of the mapped squares corresponds to the area of a pixel cell. A pixel cell may also be referred to as a pixel or picture element. The squares marked "g" shall correspond to pixel cells covered with a green color filter element g. Thus, a pixel cell under a filter element g can receive only light corresponding to the transmission characteristic of the green color filter and convert it into an electric signal for the green channel. The same applies to the squares with the designations b, r1, r2, which supply electrical signals for the blue channel, or the first red channel and the second red channel, respectively.

Die 7 bis 11 zeigen jeweils nur die Grundanordnung der Filterelemente eines Mosaiks in Form einer quadratischen Matrix aus 16 Elementen. Zur Generierung eines realen Filtermosaiks für einen Bildsensor ist diese Matrix horizontal und vertikal verschoben periodisch zu wiederholen.The 7 to 11 each show only the basic arrangement of the filter elements of a mosaic in the form of a square matrix of 16 elements. To generate a real filter mosaic for an image sensor, this matrix must be repeated periodically, horizontally and vertically displaced.

Die Filtermosaike in 7, 8 und 9 sind gegenüber dem Mosaik von Bayer nach dem Stand der Technik in 4 erweitert. Die roten Filterelemente r wurden zu gleichen Teilen durch die neuen Rotfilter r1 und r2 ersetzt.The filter mosaics in 7 . 8th and 9 are opposite the mosaic of Bayer according to the state of the art in 4 extended. The red filter elements r were replaced in equal parts by the new red filters r1 and r2.

Im Ausführungsbeispiel 7 sind die Filterelemente so angeordnet, das in einer Zeile nur Filterelemente r1 vorkommen, und in anderen Zeilen nur Filterelemente r2. Die Anordnung ist also zeilenorientiert.In the embodiment 7 the filter elements are arranged so that only filter elements r1 occur in one line, and only filter elements r2 in other lines. The arrangement is therefore line-oriented.

Im Ausführungsbeispiel 8 ist die Anordnung der Filterelemente r1 und r2 spaltenorientiert vorgenommen.In the embodiment 8th the arrangement of the filter elements r1 and r2 is made column-oriented.

Eine alternative Anordnung ist in 9 angegeben. Hier liegen die Filterelemente r1 und r2 in einer schachbrettartigen Anordnung vor.An alternative arrangement is in 9 specified. Here are the filter elements r1 and r2 in a checkerboard-like arrangement.

Abhängig vom Herstellungsprozess für die Farbfilterelemente kann eine zeilen- oder spaltenorientierte Anordnung sinnvoll sein. Eine vorteilhafte Art für die Herstellung der Filterelemente r1 und r2 ist, sie durch eine Folge von zwei oder mehr Schichten herzustellen. Insbesondere kann mit der Abscheidung einer zweiten Filterschicht die Unterscheidung ursprünglich roter Filterelemente in einen Typ r1 und einen Typ r1 realisiert werden. Wenn der zweite Abscheidungsprozess nun größeren Abmessungstoleranzen unterliegt, wäre ein maximaler Abstand zwischen den Filterelementen r1 und r2 wünschenswert, wie dies bei 9 gegeben ist. Der Abstand ist um einen Faktor Wurzel von 2 größer als in den beiden anderen Fällen. Alternativ ist auch denkbar, dass für den zweiten Abscheidungsschritt streifenartige Strukturen Vorteile aufweisen, sodass man 7 oder 8 priorisiert.Depending on the manufacturing process for the color filter elements, a line or column-oriented arrangement may be useful. An advantageous way of producing the filter elements r1 and r2 is to produce them by a series of two or more layers. In particular, with the deposition of a second filter layer, the distinction of originally red filter elements into a type r1 and a type r1 can be realized. If the second deposition process is now subject to larger dimensional tolerances, a maximum distance between the filter elements r1 and r2 would be desirable, as with 9 given is. The distance is larger by a factor root of 2 than in the other two cases. Alternatively, it is also conceivable that strip-like structures have advantages for the second deposition step, so that one 7 or 8th prioritized.

Die Weiterbildungen des Farbfiltermosaiks in 10 und 11 weisen gegenüber den obigen Ausführungsbeispielen 7 bis 9 zusätzliche Filterelemente auf, die mit „w”, wie Weiß, bezeichnet sind. In der Realität bedeutet dies, dass auf den betreffenden Pixelzellen gar kein Filtermaterial abgeschieden wird, oder dass ein vollständig transparentes Material verwendet wird. Die Filterelemente w lassen Licht aller Spektralfarben ungehindert passieren. Die Verwendung weißer Filterelemente, bzw. eines weißen Signalkanals, hat bekanntermaßen Vorteile bei Situationen mit geringer Helligkeit des Objekts. Dieser Vorteil kann hier gewinnbringend mit dem Prinzip der vierkanaligen Farberfassung kombiniert werden, sodass gleichzeitig sowohl ein rauscharmes Farbbild im visuellen Spektralbereich als auch ein Fluoreszenzbild erfasst wird. Die resultierenden Signalverarbeitung der nun gegebenen fünf Signalkanäle ist etwas komplexer aber nach dem Stand der Technik gut realisierbar und bei den Vorteilen dieses Ansatzes oft zu rechtfertigen.The developments of the color filter mosaic in 10 and 11 show respect to the above embodiments 7 to 9 additional filter elements labeled "w", such as white. In reality, this means that no filter material is deposited on the relevant pixel cells, or that a complete transparent material is used. The filter elements w let light of all spectral colors pass unhindered. The use of white filter elements, or a white signal channel, is known to have advantages in low-brightness situations of the object. This advantage can be profitably combined with the principle of four-channel color detection, so that both a low-noise color image in the visual spectral range and a fluorescence image is recorded simultaneously. The resulting signal processing of the now given five signal channels is somewhat more complex but well-practicable in the state of the art and often justifiable in the advantages of this approach.

10 zeigt ein derartiges Ausführungsbeispiel, bei dem weiße w und rote Filterelemente r1, r2 in den gleichen Zeilen existieren. Andere Zeilen enthalten nur Filterelemente b und g. 10 shows such an embodiment in which white w and red filter elements r1, r2 exist in the same rows. Other lines contain only filter elements b and g.

11 zeigt eine gegenüber 10 komplementäre Anordnung. Hier sind die Filterelemente w und b in Zeilen der einen Art vorhanden, die Filterelemente g, r1, r2 in den Zeilen der anderen Art. 11 shows one opposite 10 complementary arrangement. Here, the filter elements w and b are present in lines of one kind, the filter elements g, r1, r2 in the lines of the other kind.

Je nach Ausgestaltung der Pixelzellen auf dem Bildsensor kann die erste oder die zweite dieser Varianten unter dem Gesichtspunkt des optischen Übersprechens zwischen Pixelzellen vorteilhafter sein.Depending on the design of the pixel cells on the image sensor, the first or the second of these variants may be more advantageous from the point of view of optical crosstalk between pixel cells.

Varianten der Beispiele 11 und 10 sind hinsichtlich der Anordnung der Filterelemente r1 und r2 analog wie bei den 7 bis 9 auch möglich.Variants of examples 11 and 10 are with respect to the arrangement of the filter elements r1 and r2 analogous as in the 7 to 9 also possible.

Die Anordnungen nach 7 bis 11 sind auch unterschiedlich hinsichtlich der erzielbaren Ortsauflösung in horizontaler, vertikaler und diagonaler Richtung und der für eine Pixelinterpolation notwendigen Algorithmen.The arrangements after 7 to 11 are also different in terms of achievable spatial resolution in horizontal, vertical and diagonal directions and the algorithms necessary for pixel interpolation.

In 12 ist schematisch ein Verfahren dargestellt, wie mit einem erfindungsgemäßen Endoskop Bildsignale erfasst, weiterverarbeitet und abschießend für das medizinische Personal dargestellt werden.In 12 schematically a method is shown, as recorded with an endoscope according to the invention image signals, further processed and displayed shooting for the medical staff.

Ein Endoskop 300 enthält einen Bildsensor 301, der vier Bildsignale Blau 302, Grün 303, Rot1 304 und Rot2 305 liefert. Es ist anzumerken, dass jedes dieser Signale nicht zwangsweise einer elektrischen Leitung entsprechen muss, auf der z. B. eine analoge Spannung übertragen wird. Stattdessen ist auch denkbar, dass diese Übertragung über eine einzige digitale Verbindung mit den Farbkanälen im Zeitmultiplex oder auch drahtlos, zum Beispiel über ein Funknetz, erfolgen kann.An endoscope 300 contains an image sensor 301 , the four image signals blue 302 , Green 303 , Rot1 304 and red2 305 supplies. It should be noted that each of these signals does not necessarily have to correspond to an electrical line on the z. B. an analog voltage is transmitted. Instead, it is also conceivable that this transmission via a single digital connection with the color channels in the time division multiplex or wirelessly, for example via a wireless network, can take place.

In der Verarbeitungseinheit 306 wird einerseits aus dem vierkanaligen Sensorsignal durch die Verarbeitung 307 ein für die Betrachtung durch medizinisches Personal geeignetes Farbbild mit den drei Kanälen Blau 308, Grün 309 und Rot 310 erzeugt. Dies kann beispielsweise mit Hilfe eines Prozessors erfolgen. Aus den Sensorsignalen 302, 303, 304, 305 wird auch mit Hilfe eines geeigneten Detektionsalgorithmus 312 ein Hilfssignal 313 gewonnen. Der Detektionsalgorithmus ist in der Lage aus dem vierkanaligen Sensorbild bestimmte Merkmale des medizinischen Objektes zu extrahieren. Das Hilfssignal 313 repräsentiert die extrahierten Merkmale. Diese Merkmale sind in den zur Bildschirmdarstellung vorgesehenen Bildsignalen 308, 309 und 310 nicht sichtbar. Diesen fügt eine Einblendfunktion 311 die Informationen des Hilfssignals 313 hinzu und es ergeben sich die elektrischen Bildsignale BD 314, GD 315 und RD 316, die auf einem Bildschirm 317 dargestellt werden. Anders ausgedrückt werden die erkannten, normalerweise unsichtbaren Merkmale des medizinischen Objekts durch Einblendungen auf dem Bildschirm sichtbar gemacht werden.In the processing unit 306 on the one hand from the four-channel sensor signal through the processing 307 a color image suitable for medical personnel viewing with the three channels of blue 308 , Green 309 and red 310 generated. This can be done for example with the help of a processor. From the sensor signals 302 . 303 . 304 . 305 is also using a suitable detection algorithm 312 an auxiliary signal 313 won. The detection algorithm is able to extract from the four-channel sensor image certain features of the medical object. The auxiliary signal 313 represents the extracted features. These features are in the image signals provided for display 308 . 309 and 310 not visible. This adds a pop-up feature 311 the information of the auxiliary signal 313 add and there are the electrical image signals BD 314 , GD 315 and RD 316 on a screen 317 being represented. In other words, the recognized, normally invisible features of the medical object will be made visible by fades on the screen.

Das medizinische Personal kann Einstellungen an der Verarbeitungseinheit 306 über die Benutzerschnittstelle 318 vornehmen, zum Beispiel mit dem Ziel, bestimmte Bereiche des medizinischen Objekts gut sichtbar aufzulösen. Je nach Art des medizinischen Objektes können die optimalen Einstellungen unterschiedlich sein. Auch lassen sich bestimmte Einblendungen oder Betriebsmodi aus- oder einschalten.The medical staff can make adjustments to the processing unit 306 via the user interface 318 For example, with the aim of clearly resolving certain areas of the medical object. Depending on the type of medical object, the optimal settings may be different. You can also turn off or on certain fade-ins or operating modes.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

100100
Hohlraumcavity
101101
medizinisches Objektmedical object
102102
Objektivlens
103103
Optische BildübertragungsvorrichtungOptical image transmission device
104104
Bedienungsgriff des EndoskopsOperating handle of the endoscope
105105
Okulareyepiece
110110
Kameracamera
111111
Objektivlinse der KameraObjective lens of the camera
112112
Bildsensorimage sensor
113113
elektrische Leitung zur Bildsignalübertragungelectrical line for image signal transmission
114114
Verarbeitungseinheitprocessing unit
115115
Bildschirmscreen
120120
Lichtquellelight source
121121
erste Lichtleitvorrichtungfirst light-guiding device
122122
zweite Lichtleitvorrichtungsecond light-guiding device
123123
Beleuchtungsoptikillumination optics
130130
Endoskop als GesamtgerätEndoscope as a complete device
200200
Hohlraumcavity
201201
medizinisches Objektmedical object
202202
Objektivlens
203203
Bildsensorimage sensor
206206
elektrische Leitungenelectric lines
210210
Bedienungsgriff des EndoskopsOperating handle of the endoscope
213 213
elektrische Verbindung zur Bildsignalübertragungelectrical connection for image signal transmission
214214
Verarbeitungseinheitprocessing unit
215215
Bildschirmscreen
220220
StromversorgungsvorrichtungPower supply apparatus
221221
elektrische Verbindungelectrical connection
225225
elektrische Leitung zur Lichtquelleelectrical line to the light source
226226
elektrische Lichtquelleelectric light source
230230
Endoskop als GesamtgerätEndoscope as a complete device
300300
Endoskopendoscope
301301
Bildsensorimage sensor
302302
Bildsignal Blau vom BildsensorImage signal blue from the image sensor
303303
Bildsignal Grün vom BildsensorImage signal Green from the image sensor
304304
Bildsignal Rot1 vom BildsensorImage signal Rot1 from the image sensor
305305
Bildsignal Rot2 vom BildsensorImage signal Rot2 from the image sensor
306306
Verarbeitungseinheitprocessing unit
307307
BildverarbeitungsfunktionImage processing function
308308
Komponentensignal B'Component signal B '
309309
Komponentensignal G'Component signal G '
310310
Komponentensignal R'Component signal R '
311311
Einblendfunktionfade function
312312
Detektionsfunktiondetection function
313313
Einblendsignalfade in
314314
elektrisches Bildsignal BDelectrical image signal BD
315315
elektrisches Bildsignal GDelectrical image signal GD
316316
elektrisches Bildsignal RDelectrical image signal RD
317317
Bildschirmscreen
318318
Bedienfunktionoperating function
gG
Filterelement eines Farbfiltermosaiks mit grüner FarbeFilter element of a color filter mosaic with green color
bb
Filterelement eines Farbfiltermosaiks mit blauer FarbeFilter element of a color filter mosaic with blue color
ww
Filterelement eines Farbfiltermosaiks, das weißes Licht durchlässtFilter element of a color filter mosaic that transmits white light
r1r1
Filterelement eines Farbfiltermosaiks mit einer ersten roten FarbeFilter element of a color filter mosaic with a first red color
r2r2
Filterelement eines Farbfiltermosaiks mit einer zweiten roten FarbeFilter element of a color filter mosaic with a second red color
rr
Filterelement eines Farbfiltermosaiks mit einer dritten roten FarbeFilter element of a color filter mosaic with a third red color

Zitierte PatentdokumenteCited patent documents

  • DE 10 2009 025 662 A1 ”Verfahren und Vorrichtung zum Steuern einer mehrfarbigen Ausgabe eines Bildes eines medizinischen Objekts” DE 10 2009 025 662 A1 "Method and Apparatus for Controlling Multicolor Output of an Image of a Medical Object"
  • US 000003971065 „Color Imaging Array”, Bryce E. Bayer US 000003971065 "Color Imaging Array", Bryce E. Bayer
  • US 5323233 „Image Signal Processing Apparatus having a Color Filter with Offset Luminance Filter Elements” US 5323233 "Image Signal Processing Apparatus Having a Color Filter with Offset Luminance Filter Elements"
  • US 2010/0265322A1 „Imaging Device, Endoscope System and Imaging Method” US 2010 / 0265322A1 "Imaging Device, Endoscope System and Imaging Method"
  • US 2011/0230715A1 „Electronic Endoscope System, and Electronic Endoscope Processor, and a Method of Acquiring Blood Vessel Information” US 2011 / 0230715A1 "Electronic Endoscope System, and Electronic Endoscope Processor, and Method of Acquiring Blood Vessel Information"

Andere SchriftenOther writings

  • E. Fossum „CMOS Image Sensors: Electronic Camera-On-A-Chip”; IEEE TrED; Oct. 1997 E. Fossum "CMOS Image Sensors: Electronic Camera-On-A-Chip"; IEEE TrED; Oct. 1997

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102009025662 A1 [0005, 0064] DE 102009025662 A1 [0005, 0064]
  • US 000003971065 [0009, 0064] US 000003971065 [0009, 0064]
  • US 5323233 [0011, 0064] US 5323233 [0011, 0064]
  • US 7042488 B2 [0013] US 7042488 B2 [0013]
  • US 2010/0265322 A1 [0013, 0064] US 2010/0265322 A1 [0013, 0064]
  • US 2011/0230715 A1 [0013, 0064] US 2011/0230715 A1 [0013, 0064]

Zitierte Nicht-PatentliteraturCited non-patent literature

  • E. Fossum „CMOS Image Sensors: Electronic Camera-On-A-Chip”; IEEE TrED; Oct. 1997 [0006] E. Fossum "CMOS Image Sensors: Electronic Camera-On-A-Chip"; IEEE TrED; Oct. 1997 [0006]
  • E. Fossum „CMOS Image Sensors: Electronic Camera-On-A-Chip”; IEEE TrED; Oct. 1997 [0064] E. Fossum "CMOS Image Sensors: Electronic Camera-On-A-Chip"; IEEE TrED; Oct. 1997 [0064]

Claims (10)

Endoskop (230) mit einem Bildsensor zur Farbbilderfassung medizinischer Objekte (201), dadurch gekennzeichnet, dass auf dem Bildsensor (203) ein Farbfiltermosaik mit 4 verschiedenen nichtweißen Farbfilterelementen vorhanden istEndoscope ( 230 ) with an image sensor for color image acquisition of medical objects ( 201 ), characterized in that on the image sensor ( 203 ) a color filter mosaic with 4 different non-white color filter elements is present Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass auf dem Bildsensor (203) ein Farbfiltermosaik vorhanden ist, das neben Filterelementen (b, g) für die Grundfarben Blau beziehungsweise Grün zwei weitere Filterelemente (r1, r2) verwendet, die beide unterhalb einer Wellenlänge von 550 nm einfallendes Licht mindestens um eine Faktor 10 bezogen auf die Photonenstromstärke dämpfen und die oberhalb dieser Wellenlänge lichtdurchlässig sind und in diesem Bereich unterschiedliche Verläufe der Durchlasskurven aufweisen.Apparatus according to claim 1, characterized in that on the image sensor ( 203 ) a color filter mosaic is present, which in addition to filter elements (b, g) for the primary colors blue and green, two further filter elements (r1, r2) used, both attenuate below a wavelength of 550 nm incident light by at least a factor of 10 based on the photon current and which are translucent above this wavelength and in this area have different characteristics of the transmission curves. Vorrichtung nach den Ansprüchen 1 oder 2, dadurch gekennzeichnet, dass eine quadratische Grundanordnung eines Filtermosaiks mit 16 Filterelementen aus acht grünen Filterelementen (g), vier blauen Filterelemente (b), zwei Filterelementen (r1) einer ersten roten Farbe sowie zwei Filterelementen (r2) einer zweiten roten Farbe besteht.Device according to claims 1 or 2, characterized in that a square basic arrangement of a filter mosaic with 16 filter elements consists of eight green filter elements (g), four blue filter elements (b), two filter elements (r1) of a first red color and two filter elements (r2) a second red color. Vorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass eine Hälfte der Zeilen grüne Filterelemente (g), Filterelemente (r1) einer ersten roten Farbe und Filterelemente (r2) einer zweiten roten Farbe enthält und dass die andere Hälfte der Zeilen grüne Filterelemente (g) und blaue Filterelemente (b) enthält.Apparatus according to claim 3, characterized in that one half of the rows contain green filter elements (g), filter elements (r1) of a first red color and filter elements (r2) of a second red color and that the other half of the rows contain green filter elements (g) and contains blue filter elements (b). Vorrichtung nach den Ansprüchen 1 oder 2, dadurch gekennzeichnet, dass das Farbfiltermosaik neben den Filterelementen (b, g) für Blau, bzw. Grün und den zwei langwelligen Filterelementen (r1, r2) auch weiße Filterelemente (w) aufweist, die im Spektralbereich des Beleuchtungslichts keine selektive Dämpfung bewirken.Device according to claims 1 or 2, characterized in that the color filter mosaic next to the filter elements (b, g) for blue, or green and the two long-wave filter elements (r1, r2) and white filter elements (w), which in the spectral range of Illuminating light does not cause selective attenuation. Vorrichtung nach Anspruch 5, dadurch gekennzeichnet, dass eine quadratische Grundanordnung eines Filtermosaiks mit 16 Filterelementen aus vier weißen Filterelementen (w), vier grünen Filterelementen (g), vier blauen Filterelementen (b), zwei Filterelementen (r1) einer ersten roten Farbe sowie zwei Filterelementen (r2) einer zweiten roten Farbe besteht.Apparatus according to claim 5, characterized in that a square basic arrangement of a filter mosaic with 16 filter elements of four white filter elements (w), four green filter elements (g), four blue filter elements (b), two filter elements (r1) of a first red color and two Filter elements (r2) consists of a second red color. Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass eine Hälfte der Zeilen weiße Filterelemente (w), Filterelemente (r1) einer ersten roten Farbe und Filterelemente (r2) einer zweiten roten Farbe enthält und dass die andere Hälfte der Zeilen grüne Filterelemente (g) und blaue Filterelemente (b) enthält.Apparatus according to claim 6, characterized in that one half of the rows contain white filter elements (w), filter elements (r1) of a first red color and filter elements (r2) of a second red color and that the other half of the lines comprise green filter elements (g) and contains blue filter elements (b). Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass eine Hälfte der Zeilen weiße Filterelemente (w) und blaue Filterelemente (b) enthält und dass die andere Hälfte der Zeilen grüne Filterelemente (g), Filterelemente (r1) einer ersten roten Farbe und Filterelemente (r2) einer zweiten roten Farbe enthält.Apparatus according to claim 6, characterized in that one half of the rows contains white filter elements (w) and blue filter elements (b) and that the other half of the rows green filter elements (g), filter elements (r1) of a first red color and filter elements (r2 ) contains a second red color. Verfahren nach Anspruch 1, gekennzeichnet durch die folgenden Schritte: – Erzeugung von vier Bildsignalen (302, 303, 304, 305) durch den Bildsensor (301) im Endoskop (300) und Weiterleitung zu einer Verarbeitungseinheit (306), – Verarbeitung (307) der vier Bildsignale (302, 303, 304, 305) und Erzeugung von drei Komponentensignalen (308, 309, 310), – Verarbeitung (312) der vier Bildsignale (302, 303, 304, 305) mittels eines Detektionsalgorithmus und Erzeugung des Einblendsignales (313), – Kombination (311) der Komponentensignale (308, 309, 310) sowie des Einblendsignales (313) und Erzeugung dreier elektrischer Signale (314, 315, 316), – Weiterleitung der elektrischen Signale (314, 315, 316) zu einem Bildschirm (317).Method according to claim 1, characterized by the following steps: - generation of four image signals ( 302 . 303 . 304 . 305 ) through the image sensor ( 301 ) in the endoscope ( 300 ) and forwarding to a processing unit ( 306 ), - processing ( 307 ) of the four image signals ( 302 . 303 . 304 . 305 ) and generation of three component signals ( 308 . 309 . 310 ), - processing ( 312 ) of the four image signals ( 302 . 303 . 304 . 305 ) by means of a detection algorithm and generation of the insertion signal ( 313 ), - Combination ( 311 ) of the component signals ( 308 . 309 . 310 ) as well as the insertion signal ( 313 ) and generation of three electrical signals ( 314 . 315 . 316 ), - transmission of electrical signals ( 314 . 315 . 316 ) to a screen ( 317 ). Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass Kommandos und Einstellungen durch das medizinische Personal eingegeben werden (318).A method according to claim 4, characterized in that commands and settings are entered by the medical staff ( 318 ).
DE102013005524.5A 2013-04-03 2013-04-03 Apparatus and method for color image acquisition of medical objects Withdrawn DE102013005524A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102013005524.5A DE102013005524A1 (en) 2013-04-03 2013-04-03 Apparatus and method for color image acquisition of medical objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102013005524.5A DE102013005524A1 (en) 2013-04-03 2013-04-03 Apparatus and method for color image acquisition of medical objects

Publications (1)

Publication Number Publication Date
DE102013005524A1 true DE102013005524A1 (en) 2014-10-09

Family

ID=51567253

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102013005524.5A Withdrawn DE102013005524A1 (en) 2013-04-03 2013-04-03 Apparatus and method for color image acquisition of medical objects

Country Status (1)

Country Link
DE (1) DE102013005524A1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US397A (en) 1837-09-25 Machinerf os mills foe
US5323233A (en) 1990-07-31 1994-06-21 Canon Kabushiki Kaisha Image signal processing apparatus having a color filter with offset luminance filter elements
US7042488B2 (en) 2001-09-27 2006-05-09 Fujinon Corporation Electronic endoscope for highlighting blood vessel
US20100265322A1 (en) 2008-10-17 2010-10-21 Olympus Corporation Imaging device, endoscope system and imaging method
DE102009025662A1 (en) 2009-06-17 2010-12-23 Karl Storz Gmbh & Co. Kg Method and apparatus for controlling a multicolor output of an image of a medical object
US20110230715A1 (en) 2010-03-19 2011-09-22 Takaaki Saito electronic endoscope system, an electronic endoscope processor, and a method of acquiring blood vessel information

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US397A (en) 1837-09-25 Machinerf os mills foe
US5323233A (en) 1990-07-31 1994-06-21 Canon Kabushiki Kaisha Image signal processing apparatus having a color filter with offset luminance filter elements
US7042488B2 (en) 2001-09-27 2006-05-09 Fujinon Corporation Electronic endoscope for highlighting blood vessel
US20100265322A1 (en) 2008-10-17 2010-10-21 Olympus Corporation Imaging device, endoscope system and imaging method
DE102009025662A1 (en) 2009-06-17 2010-12-23 Karl Storz Gmbh & Co. Kg Method and apparatus for controlling a multicolor output of an image of a medical object
US20110230715A1 (en) 2010-03-19 2011-09-22 Takaaki Saito electronic endoscope system, an electronic endoscope processor, and a method of acquiring blood vessel information

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
E. Fossum "CMOS Image Sensors: Electronic Camera-On-A-Chip"; IEEE TrED; Oct. 1997

Similar Documents

Publication Publication Date Title
DE3246239C2 (en)
DE3432391C2 (en) Endoscope arrangement
DE112015000863T5 (en) Imaging device, endoscope device and microscope device
DE102006001647B4 (en) Image data processor and electronic endoscope system
DE10101064B4 (en) Electronic endoscope system
DE102013103333A1 (en) Camera for recording optical properties and room structure properties
DE102007031230B3 (en) Document capture system and document capture process
DE10140839A1 (en) Image acquisition element for an electronic endoscope
DE102014110131A1 (en) Image pickup device and image recording method
DE102012016675A1 (en) Method for color calibration of a color monitor with LED backlight
DE112015001710T5 (en) endoscopic device
DE102008056921A1 (en) Endoscope processor and endoscope system
DE102009011474A1 (en) endoscope system
CN106331662A (en) Image acquisition device and image acquisition method
DE102020118814A1 (en) stereo endoscope
DE102014118382A1 (en) Optical observation apparatus and method for operating an optical observation apparatus.
DE112015006176T5 (en) endoscopic device
DE102017210274A1 (en) Microscopy system and microscopy method for recording fluorescent light images and white light images
DE102010010030B4 (en) Device for presenting an environment
WO2012084531A1 (en) Camera with a colour image sensor and recording method with such a camera
DE102020105459A1 (en) MEDICAL IMAGING DEVICE WITH MULTIPLE IMAGING MODES
DE112017002547T5 (en) Living body observation system
DE102013005524A1 (en) Apparatus and method for color image acquisition of medical objects
DE102009029321B4 (en) Method and device for videographic recording of fast processes
DE102007022958A1 (en) Endoscope processor, computer program product, endoscope system and endoscope image display device

Legal Events

Date Code Title Description
R084 Declaration of willingness to licence
R084 Declaration of willingness to licence

Effective date: 20150414

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee