DE102019134473A1

DE102019134473A1 - Live-Kalibrierung

Info

Publication number: DE102019134473A1
Application number: DE102019134473.5A
Authority: DE
Inventors: Florian Bauer; Michael Walz
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2019-12-16
Filing date: 2019-12-16
Publication date: 2021-06-17
Also published as: EP4078507A1; CN115136186A; WO2021124022A1; US20230029348A1; JP7427791B2; JP2023506884A

Abstract

Vorrichtung miteiner Offsetabzugseinheit;einem Bildsensor, der für jeden einer Vielzahl von Hellframes ein jeweiliges Bildsignal, das während einer jeweiligen Belichtungszeit des Bildsensors erhalten wird, erhält und an die Offsetabzugseinheit sendet, und für einen Dunkelframe ein jeweiliges Bildsignal, das während einer jeweiligen Belichtungszeit des Bildsensors erhalten wird, erhält und an die Offsetabzugseinheit sendet;einer Steuerungseinheit, die dafür sorgt, dass der Bildsensor abwechselnd eine Anzahl an Hellframes und einen Dunkelframe an die Offsetabzugseinheit sendet, wobeieine Lichtmenge durch die das jeweilige Bildsignal für jeden der Hellframes erzeugt wird, größer ist als eine Lichtmenge, durch die das jeweilige Bildsignal für den Dunkelframe erzeugt wird;die Offsetabzugseinheit einen Offset basierend auf dem Bildsignal des Dunkelframes erhält, und den Offset von einem Signal, das auf einem Bildsignal eines der Hellframes basiert, abzieht, um ein kalibriertes Signal zu erhalten,wobei der Dunkelframe und die Anzahl an Hellframes eine Abfolge von zeitlich unmittelbar aufeinanderfolgenden Frames darstellen.

Description

Die Erfindung bezieht sich auf ein Verfahren zum Kalibrieren von Bildsensordaten, insbesondere im Zusammenhang mit Endoskopen.
Stand der Technik
Optische Sensoren zeigen gewöhnlich räumliche Inhomogenitäten im Signaloffset (Black Level, Dunkelniveau). Diese Inhomogenitäten können mit der Zeit variieren und auch von der Betriebsumgebung abhängen. Die Inhomogenitäten können von dem Sensor selbst, seiner Elektronik, und/oder der Leitung, die das Signal vom Sensor zum Analog-Digital-Umwandler überträgt, stammen. Im letzteren Fall ist die räumliche Struktur gewöhnlich unabhängig von der Sensorzeile, was zu einem senkrechten Streifenmuster führt. In einigen Fällen haben die Inhomogenitäten eine solche Intensität, dass es nötig ist, sie zu kompensieren. Das Kompensieren solcher Fehler beinhaltet gewöhnlich einen Kalibrierungsschritt, bei dem die Inhomogenitäten in einer kontrollierten Umgebung erfasst werden und in der Sensoreinrichtung gespeichert werden. Diese Daten werden dann während eines Aufnehmen oder beim Bildverarbeiten verwendet, um die räumlichen Strukturen der Inhomogenitäten zu kompensieren.
Dieser Kalibrierungsansatz hat mehrere Nachteile.

(1.) Ein zusätzlicher Schritt wird bei der Produktion benötigt, und daher steigen die Kosten pro Sensoreinrichtung.
(2.) Die Kalibrierungsdaten müssen in der Sensoreinrichtung gespeichert werden. Wenn ein solcher Speicher nicht vorhanden ist, wird dafür ein Raum benötigt, und die Kosten pro Einheit steigen.
(3.) Die Kalibrierung in der kontrollierten Umgebung berücksichtigt nicht jede mögliche Betriebsumgebung oder jede mögliche Kombination mit verschiedener Hardware für den Sensor, die Leitung, die Verarbeitungseinheit, und die jeweiligen Anschlüsse.
(4.) Ein Wiederholen der Kalibrierung in gewissen Zeitintervallen erfordert eine Logistik und Infrastruktur dafür.

Kurze Zusammenfassung der Erfindung
Es ist eine Aufgabe der Erfindung, den Stand der Technik zu verbessern.
Es wird bereitgestellt:

Eine Vorrichtung mit einer Offsetabzugseinheit; einem Bildsensor, der dazu eingerichtet ist, für jeden einer Vielzahl von Hellframes ein jeweiliges Bildsignal, das durch eine optische Abbildung zumindest eines Teils eines Sichtfelds einer Abbildungsvorrichtung während einer jeweiligen Belichtungszeit des Bildsensors erhalten wird, zu erhalten und mit einer ersten Framerate an die Offsetabzugseinheit zu senden, und dazu eingerichtet ist, für zumindest einen Dunkelframe ein jeweiliges Bildsignal, das durch die optische Abbildung des zumindest Teils des Sichtfelds der Abbildungseinrichtung während einer jeweiligen Belichtungszeit des Bildsensors erhalten wird, zu erhalten und mit einer zweiten Framerate an die Offsetabzugseinheit zu senden; einer Steuerungseinheit, die dazu eingerichtet ist, dafür zu sorgen, dass der Bildsensor abwechselnd eine Anzahl an Hellframes und zumindest einen Dunkelframe an die Offsetabzugseinheit sendet, wobei die Steuerungseinheit dazu eingerichtet ist, dafür zu sorgen, dass unter der Annahme, dass eine Szene in dem zumindest Teil des Sichtfelds der Abbildungsvorrichtung in der Belichtungszeit für den zumindest einen Dunkelframe und in der jeweiligen Belichtungszeit von jedem der Hellframes gleich ist, eine jeweilige Lichtmenge, die von dem Bildsensor in der jeweiligen Belichtungszeit erfasst wird und durch die das jeweilige Bildsignal für jeden der Hellframes erzeugt wird, größer ist als eine jeweilige Lichtmenge, die von dem Bildsensor in der jeweiligen Belichtungszeit erfasst wird und durch die das jeweilige Bildsignal für den zumindest einen Dunkelframe erzeugt wird; die Offsetabzugseinheit dazu eingerichtet ist, einen Offset basierend auf dem Bildsignal des zumindest einen Dunkelframes zu erhalten, den Offset von einem Signal, das auf einem Bildsignal eines der Hellframes basiert, abzuziehen, um ein kalibriertes Signal zu erhalten, und das kalibrierte Signal für eine Weiterverarbeitung bereitzustellen, wobei der zumindest eine Dunkelframe und die Anzahl an Hellframes eine Abfolge von zeitlich unmittelbar aufeinanderfolgenden Frames darstellen.
Dadurch wird zumindest einer der folgenden Vorteile erzielt:
- • Bei der Produktion einer Sensoreinrichtung wird kein zusätzlicher Schritt benötigt;
- • die Kalibrierung entspricht der jeweiligen Betriebsumgebung und Hardware; und
- • Eine Logistik und/oder Infrastruktur zum Wiederholen der Kalibrierung ist nicht nötig.

Figurenliste

1 zeigt links eine Bildaufnahme einer Szene und rechts die Bildaufnahme eines Dunkelbilds (verstärkt um den Faktor 10 und gemittelt über mehrere Frames) gemäß dem Stand der Technik;
2 zeigt links eine Bildaufnahme einer Szene und rechts die Bildaufnahme eines Dunkelbilds (verstärkt um den Faktor 10 und gemittelt über mehrere Frames), nach einer Offsetkompensierung gemäß einem Ausführungsbeispiel der Erfindung;
3 zeigt eine Aufnahmesequenz von Hell- und Dunkelframes gemäß einem Ausführungsbeispiel der Erfindung;
4 erklärt die Begriffe Frame und Belichtungszeit;
5 zeigt eine Vorrichtung gemäß einem Ausführungsbeispiel der Erfindung; und
6 zeigt eine Vorrichtung, die in einem Ausführungsbeispiel der Erfindung verwendet werden kann.

Detaillierte Beschreibung von Ausführungsbeispielen
Wenn in der folgenden detaillierten Beschreibung ein Verfahren beschrieben wird, so bezieht sich die Beschreibung auch auf Vorrichtungen, die dazu eingerichtet sind, das Verfahren durchzuführen. Entsprechend, wenn in der folgenden detaillierten Beschreibung eine Vorrichtung, die dazu eingerichtet ist, ein Verfahren durchzuführen, beschrieben wird, so bezieht sich die Beschreibung auch auf das Verfahren selbst. Bei den Verfahren können die Anwendung in einer chirurgischen oder therapeutischen Anwendung des menschlichen oder tierischen Körpers oder Diagnostizierverfahren, die am menschlichen oder tierischen Körper vorgenommen werden, ausgeschlossen sein. Einige Vorrichtungen gemäß der Erfindung können aber für solche Anwendungen oder Verfahren geeignet sein.
Um die oben genannten Probleme zu lösen, stellen Ausführungsbeispiele der Erfindung eine „Livekalibrierung“ bereit. Bei der Livekalibrierung wird in regelmäßigen Abständen oder aufgrund bestimmter Ereignisse ein Frame nicht zum Aufnehmen eines Bildes der jeweiligen Szene („Hellframe“), sondern zum Aufnehmen eines Dunkelbildes verwendet. Dieser Frame („Dunkelframe“) oder ein aus mehreren solcher Dunkelframes gebildeter Durchschnittswert wird zum Kalibrieren der Hellframes verwendet.
Hier wird unter „Szene“ der Objektraum (also insbesondere die Objekte, ihre Anordnung, und den Hintergrund), den der Sensor aufnimmt, verstanden. Der Begriff beinhaltet auch die Beleuchtung des Objektraums, soweit sie nicht durch eine Vorrichtung gemäß einiger Ausführungsbeispiele der Erfindung gesteuert wird.
Dabei gibt es drei Hauptvarianten: die erste Hauptvariante der Erfindung ist vor allen Dingen nützlich, wenn der Bildsensor in dunklen Umgebungen eingesetzt wird. Ein Beispiel dafür ist ein Endoskop das z. B in einen Hohlraum eines menschlichen oder tierischen Körpers oder in eine Leitung eingeführt wird. In dieser Umgebung ist es dunkel, sodass das Endoskop eine eigene Lichtquelle zum Beleuchten der Szene mitführt. Die Lichtquelle kann z.B. eine oder mehrere LED(s) oder ein Austrittsende einer Glasfaser, die am proximalen Ende des Endoskops mit einer Lichtquelle verbunden ist, an der Endoskopspitze am distalen Ende des Endoskops sein. Gemäß dieser Hauptvariante wird während der Belichtungsdauer des Dunkelframes die Beleuchtung ausgestellt oder zumindest im Vergleich zu den Hellframes reduziert. Daher nimmt der Sensor nur ein Dunkelbild auf. Dieses wird in einigen Ausführungsbeispielen der Erfindung zur Kalibrierung verwendet.
Während die erste Hauptvariante eine dunkle Szene benötigt (zumindest sollte die Lichtintensität, die während der Belichtungszeit des Dunkelframes von dem Sensor erfasst wird, wesentlich kleiner als die Lichtintensität sein, die während eines Hellframes von dem Sensor erfasst wird), kann nach der zweiten und dritten Hauptvariante die Umgebung auch einigermaßen hell sein.
4 erklärt die Begriffe Frame (bzw. Framerate und inverse Framerate) und Belichtungszeit. 4 illustriert diese Begriffe am Beispiel eines Pixels des Sensors. Wenn der Bildsensor mehrere Pixel hat, können die Zeiten für andere Pixel mit denen des einen Pixels zusammenfallen oder ihnen gegenüber verschoben sein.
Der Sensor überträgt sein jeweiliges Bildsignal einmal pro Frame. Der zeitliche Abstand von einer Übertragung zur nächsten ist die inverse Framerate. Der Kehrwert davon ist die Framerate. Davon zu unterscheiden ist die Belichtungszeit pro Frame. Die Belichtungszeit ist die Zeit nach einem Reset des Pixels bis zum Auslesen des Signals aus dem Pixel. Wenn der Sensor das ausgelesene Signal nicht zwischenspeichert, wird es auch sofort zur weiteren Auswertung (z.B. A/D Wandlung) übertragen. In diesem Fall fällt die Zeit des Auslesens mit der Zeit des Übertragens zusammen. Falls eine Zwischenspeicherung stattfindet, findet die Übertragung nach dem Auslesen statt, wie in 4 dargestellt.
In einem Hellframe kann die Belichtungszeit zum Beispiel nur unwesentlich kürzer als die inverse Framerate sein. Sie kann z.B. bei einer Framerate von 30 Bildern pro Sekunde ca. 33 ms betragen. Jedoch kann die Belichtungszeit im Vergleich zur inversen Framerate auch deutlich verkürzt sein. Sie kann (z.B. bei Kinoaufnahmen) die Hälfte der inversen Framerate sein. In der Endoskopie, in Fällen in denen man möglichst keine Bewegungsunschärfe haben möchte, kann sie auch noch kürzer sein (im Bereich 1/5 der inversen Framerate bzw. in der Größenordnung einiger Millisekunden). Die minimale Belichtungszeit ist eine Eigenschaft des jeweiligen Sensors.
Gemäß der zweiten Hauptvariante der Erfindung wird die Belichtungszeit des Dunkelframes im Vergleich zur Belichtungszeit der Hellframes verkürzt. Z. B. kann die Belichtungszeit im Dunkelframe um einen Faktor 2, bevorzugt um einen Faktor 5, noch mehr bevorzugt um einen Faktor 10 noch mehr bevorzugt um einen Faktor 50 und noch mehr bevorzugt um einen Faktor 500 kleiner sein als die Belichtungszeit in einem normalen Frame. Der Faktor kann maximal 10000, bevorzugt maximal 5000, und noch bevorzugter maximal 1000 sein, da anderenfalls die von dem Sensor erfasste Lichtmenge zu klein wird. Die Belichtungszeit des Dunkelframes kann auch 0 sein. Deswegen ist die Lichtmenge, die während der Belichtungszeit des Dunkelframes von dem Sensor erfasst wird, unter der Annahme, dass die Szene (einschließlich ihrer Beleuchtung) unverändert ist, deutlich kleiner als die Lichtmenge, die während der Belichtungszeit eines Hellframes von dem Sensor erfasst wird. Daher verwenden einige Ausführungsbeispiele der Erfindung einen solchen Dunkelframe zum Kalibrieren der Inhomogenitäten des Sensors und/oder seiner Elektronik und/oder der Leitung.
Gemäß einer dritten Hauptvariante der Erfindung wird die Lichtmenge, die pro Zeiteinheit bei unveränderter Szene (einschließlich unveränderter Beleuchtung der Szene) von dem Sensor erfasst wird, durch eine variable Blende gesteuert. Eine solche Blende kann z.B. eine mechanische Blende sein. Aufgrund der kurzen inversen Frameraten dürfte jedoch in vielen Fällen eine mechanische Blende zu langsam sein. Alternativ kann z.B. eine Stroboskopblende, die sich mit einer entsprechenden Geschwindigkeit dreht, oder eine elektronische Blende verwendet werden. Eine elektronische Blende kann z.B. aus nebeneinander angeordneten Halbleiter-Lichtventilen, wie sie in LCD Bildschirmen verwendet werden, aufgebaut sein.
Während eines Dunkelframes ist die Blendenöffnung kleiner als während eines Hellframes. Bevorzugt ist die Blende während eines Dunkelframes geschlossen. Das heißt, ein Kameraverschluss (Shutter) wird hier als ein Spezialfall einer Blende betrachtet.
Die ersten bis dritten Hauptvarianten können beliebig miteinander kombiniert werden, um die relative Dunkelheit in einem Dunkelframe zu verbessern.
Gemäß Ausführungsbeispielen der Erfindung nimmt die Vorrichtung mindestens einen Dunkelframe und dann mehrere Hellframes auf. Jedoch können auch mehrere Dunkelframes oder abwechselnd ein Dunkelframe und ein Hellframe aufgenommen werden. Typischerweise werden der oder die Dunkelframes periodisch aufgenommen. Zusätzlich oder alternativ können der oder die Dunkelframes auch aufgrund eines vorbestimmten Ereignisses aufgenommen werden. Z.B. können der oder die Dunkelframes aufgrund einer Eingabe eines Operators aufgenommen werden, oder wenn festgestellt wird, dass sich die Szene (insbesondere ihre (externe) Beleuchtung) um mehr als einen festgelegten Schwellenwert geändert hat, oder wenn sich der Multiplikator eines Signalverstärkers und damit die Stärke des Offsets geändert hat.
3 zeigt ein Beispiel einer Sequenz von Frames (Hellframes 101 und Dunkelframes 102) gemäß einem Ausführungsbeispiel der Erfindung. In diesem Beispiel werden unmittelbar nacheinander ein Dunkelframe 102 und dann eine gewisse Anzahl von Hellframes 101 (hier: 5 Hellframes) erzeugt. Diese Abfolge wird periodisch wiederholt, eventuell unterbrochen von Dunkelframeaufnahmen aufgrund eines vordefinierten Ereignisses. Der Offset für nachfolgende Hellframes 101 basiert zumindest auf dem Signal des vorhergehenden Dunkelframes 102.
Der Dunkelframe wird bei der Bildverarbeitung bzw. Anzeige nicht dargestellt, sondern lediglich zum Kalibrieren verwendet. In einem Beispiel wird die Intensität eines Dunkelframes von der Intensität der danach folgenden normalen Frames abgezogen.
Falls der Bildsensor mehrere Pixel aufweist, kann die Kalibrierung pixelweise oder pixelgruppenweise erfolgen. Pixelweise heißt, für jeden Pixel wird ein eigener Offset berechnet und von dem Pixelwert des jeweiligen Pixels eines Hellframes abgezogen. Pixelgruppenweise heißt, dass die Pixel in Gruppen eingeteilt werden, und von dem jeweiligen Pixelwert jedes Pixels einer Gruppe eines Hellframes der gleiche Offset abgezogen wird. Dieser Offset kann durch Mittelwertsbildung über alle Pixel innerhalb der Gruppe eines Dunkelframes erlangt werden. Die Gruppen können beliebig auf der Sensorfläche angeordnet sein. Z.B. können die Pixel einer Spalte eine Gruppe bilden, oder die Pixel werden schachbrettartig in Gruppen zu je n*m benachbarten Pixeln (z.B. 2*2 Pixel, oder 2*3 Pixel, oder 3*2 Pixel etc.) eingeteilt. In einem Extrembeispiel kann eine Gruppe auch alle Pixel des Bildsensors enthalten.
In einem anderen Beispiel werden mehrere Dunkelframes aufgenommen. Diese Dunkelframes werden dann miteinander verarbeitet, z. B. durch eine einfache Durchschnittsbildung oder eine gewichtete Durchschnittsbildung, wobei typischerweise die letzten Dunkelframes stärker gewichtet werden als die älteren Dunkelframes. Dadurch kann ein Rauschen in den Kalibrierungsdaten reduziert werden. Ferner kann durch einen Vergleich der verschiedenen Dunkelframes erfasst werden, wenn Störsignale, wie z. B. eine geänderte Beleuchtung durch eine externe Lichtquelle, vorliegen, und in diesem Fall der betreffende Dunkelframe gar nicht oder nur mit einem geringen Gewicht verwendet werden. Durch die gleitende Durchschnittsbildung wird die Kalibrierung auch automatisch an die jeweilige Betriebsumgebung angepasst.
In einigen Ausführungsbeispielen, insbesondere wenn es um die Kompensation eines Streifenmusters bei einem Bildsensor mit mehreren Pixeln, die in Zeilen und Spalten angeordnet sind, geht, wird eine Mittelung (Durchschnittsbildung) über einige benachbarte Pixel jeder Spalte (oder jeder Zeile) desselben Frames durchgeführt. Diese Mittelung kann mit der Durchschnittsbildung über mehrere Frames kombiniert werden.
Ein Beispiel, in dem ein Ausführungsbeispiel der Erfindung angewendet wird, ist ein Endoskop Jedoch ist die Erfindung nicht auf Endoskope zum Einführen in den menschlichen Körper beschränkt. Sie kann z. B. auch für Endoskope, die in Rohrleitungen eingeführt werden, verwendet werden. Die Erfindung ist auch nicht auf Endoskope beschränkt, sondern kann grundsätzlich für alle Arten von Bildsensoren verwendet werden.
Beispielsweise kann der A/D Umwandler (Analog/Digital Umwandler) in vielen Endoskopen auf dem gleichen Chip wie der Bildsensor in der Endoskopspitze am distalen Ende des Endoskops angebracht sein, während er sich bei anderen Endoskopen am proximalen Ende des Endoskops befindet. Insbesondere im letzteren Fall ist aufgrund des großen Abstands des Bildsensors von dem A/D Umwandler und der Steuereinheit die Signalstörung signifikant. Eine Hauptquelle der Störung (sowohl bei Endoskopen mit A/D Umwandler am distalen Ende als auch bei Endoskopen mit A/D Umwandler am proximalen Ende) ist der Taktgeber (Clock), dessen Signale mit dem Bildsignal interferieren (resistive und/oder kapazitive Kopplung), was zu einem spaltenabhängigen Offset führt, der im Bild zu einem vertikalen Streifenmuster führt (siehe 1). 1 zeigt links eine Bildaufnahme einer Szene (Hellframe) und rechts die Bildaufnahme eines Dunkelbilds (verstärkt um den Faktor 10 und gemittelt über mehrere Dunkelframes). Das Streifenmuster ist sowohl in der Aufnahme der Szene als auch in dem Dunkelbild deutlich zu erkennen.
Deswegen werden gemäß Ausführungsbeispielen der Erfindung regelmäßig Dunkelframes aufgenommen, wie oben erklärt. Dadurch kann der Signaloffset geschätzt werden und dann bei der Bildverarbeitung kompensiert werden, was zu einem Bild führt, in dem nur ein minimales Streifenmuster zu sehen ist (siehe 2). 2 entspricht 1, außer dass sowohl in dem Bild der Szene links als auch in dem Dunkelbild rechts der Offset durch eine gleitende Durchschnittsbildung über mehrere Dunkelframes kompensiert wurde. Das Streifenmuster aus 1 ist in 2 praktisch nicht mehr zu sehen, und daher ist die Qualität der Aufnahme der Szene deutlich verbessert.
Der Dunkelframe kann in diesem Beispiel dadurch aufgenommen werden, dass die Lichtquelle des Endoskops für die Belichtungsdauer des Dunkelframes ausgeschaltet wird. Er kann auch dadurch aufgenommen werden, dass die Belichtungszeit des Dunkelframes wesentlich kürzer als die Belichtungszeit der normalen Frames eingestellt wird. In diesem Beispiel wird die Belichtungszeit auf den minimalen Wert von unter 100 µs eingestellt, während die Belichtungszeit eines Hellframes einige Millisekunden ist. Bevorzugt wird während eines Dunkelframes sowohl die Belichtungszeit des Sensors minimiert als auch die Lichtquelle ausgeschaltet.
Wenn sich der Sensor (das distale Ende des Endoskops) innerhalb eines menschlichen oder tierischen Körpers oder z.B. in einer Rohrleitung befindet, gibt es keine externe Lichtquelle, sodass angenommen werden kann, dass in dem Dunkelframe ein dunkles Bild aufgenommen wird. Wenn sich das Endoskop an einem Ort befindet, wo es möglicherweise externe Lichtquellen gibt, kann das Signal immer noch als dunkel angesehen werden, weil die Belichtungszeit des Dunkelframes wesentlich kürzer als die eines Hellframes ist und/oder, falls eine variable Blende vorhanden ist, die Blendenöffnung während der Belichtungszeit des Dunkelframes wesentlich kleiner als die Blendenöffnung während der Belichtungszeit des Hellframes ist.
Wie oben beschrieben, kann zur Kalibrierung ein gleitender Durchschnittsalgorithmus über mehrere Dunkelframes und/oder mehrere Pixel innerhalb einer Pixelgruppe verwendet werden, um Kalibrierungsdaten calib zu erhalten. Im Folgenden wird ein Beispiel eines solchen Algorithmus beschrieben, der mit Ganzzahlen arbeitet:

Wenn der Pixelwert des Dunkelframes kleiner als ein Schwellwert ist, wird sein Wert mittels eines gleitenden Durchschnitts zu den existierenden Kalibrierungsdaten addiert. Die Pixelwerte pixel werden mit 2^globalShift multipliziert um eine höhere Genauigkeit zu erreichen. In der Programmiersprache C sieht der Algorithmus zum Durchschnittsbilden folgendermaßen aus:

      if (pixel < threshold)

      {

      calib *= (1 « avgShift) - 1;
      calib += (pixel « globalShift) + (1 « (avgShift-1));
      calib >>= avgShift;
      }

Bevorzugt sollte der Wert des Schwellenwerts „threshold“ als Blacklevel + MaxFP gewählt werden, wobei Blacklevel der Blacklevel (Dunkelniveou) des A/D Konverters ist, und MaxFP der Maximalwert ist, den das Streifenmuster annehmen kann. Ein Ignorieren von Pixelwerten, die größer als der Schwellenwert sind, stellt sicher, dass die Kalibrierungsdaten diesen Wert nicht überschreiten, sodass der maximale Fehler im kompensierten Frame kleiner als 2*MaxFP ist.

Die Berechnung der Kalibrierungsdaten erfolgt in diesem Beispiel pixelweise. Jedoch ist es auch möglich, dass die Pixeldaten zunächst innerhalb jedes Dunkelframes geglättet werden.

Die Kalibrierungsdaten werden z.B. in einer vorbestimmten Zeile (z.B. der ersten Zeile) den Bilddaten, die über USB transferiert werden, hinzugefügt. Vor dem eigentlichen Bildverarbeiten werden die Kalibrierungsdaten von den Bilddaten abgezogen und die erste Zeile, die die Kalibrierungsdaten enthält, wird entfernt.

Die Erfindung ist nicht auf ein vertikales Streifenmuster, das durch das Ausleseprinzip eines typischen CCD- oder CMOS-Sensors entsteht, beschränkt. Es kann auf beliebige Offsetmuster angewendet werden. Bevorzugt sollten die Offsetmuster nur relativ langsam mit der Zeit variieren, sodass sie über mehrere Dunkelframes hin konstant (oder im Wesentlichen konstant) sind. Z.B. sollten sie über zehn Dunkelframes nicht mehr als 10% abweichen. Bevorzugter ist eine Abweichung von weniger als 5% oder sogar weniger als 2%.

Typischerweise ist die Framerate für alle Hell- und Dunkelframes während einer gewissen Zeitdauer konstant und dieselbe für alle diese Hell- und Dunkelframes. Jedoch ist es für Ausführungsbeispiele der Erfindung nicht erforderlich, dass die Framerate konstant ist, oder dass sie für Hell- und Dunkelframes gleich ist. Z.B. können manche Hellframes oder Dunkelframes mit einer höheren Framerate und andere Hellframes oder Dunkelframes mit einer niedrigeren Framerate übertragen werden. Beispielsweise können alle Hellframes mit einer anderen (vorzugsweise kleineren) Framerate als alle Dunkelframes während der Zeitdauer übertragen werden. Bevorzugt sollte aber die inverse Framerate (d.h., der zeitliche Abstand zwischen zwei Bildsignalübertragungen von dem Sensor) für Hellframes groß gegenüber der minimalen Belichtungsdauer des Sensors sein, es sei denn, dass man sicherstellen kann, dass der Sensor beim Aufnehmen eines Dunkelframes wirklich in einer dunklen Umgebung ist.

Je nach Ausführungsbeispiel kann die Kalibrierung (also das Subtrahieren eines Offsets von den Bilddaten) entweder vor, während, oder nach der A/D Umwandlung des Sensorsignals eines Hellframes erfolgen. Wenn die Kalibrierung nach der A/D Umwandlung des Sensorsignals des Hellframes erfolgt, kann ggf. die Ermittlung des Kalibrierungswertes aus mehreren Dunkelframes sowohl vor als auch nach der A/D Umwandlung der entsprechenden Sensorsignale der mehreren Dunkelframes erfolgen.

Gemäß Ausführungsbeispielen der Erfindung ist unter der Annahme, dass die von dem Bildsensor aufgenommene Szene (einschließlich einer evtl. externen Beleuchtung) unverändert ist, eine jeweilige Lichtmenge, die von dem Bildsensor erfasst wird und durch die das jeweilige Bildsignal für jeden der Hellframes erzeugt wird, größer ist als eine jeweilige Lichtmenge, die von dem Bildsensor erfasst wird und durch die das jeweilige Bildsignal für den zumindest einen Dunkelframe erzeugt wird. Bevorzugt ist die Lichtmenge für einen Hellframe doppelt so groß, noch bevorzugter 5-mal so groß, noch bevorzugter 10-mal so groß, und noch bevorzugter 100-mal so groß wie für einen Dunkelframe. Die in einem Dunkelframe erfasste Lichtmenge kann auch 0 sein.

5 zeigt eine Vorrichtung gemäß einem Ausführungsbeispiel der Erfindung. Die Vorrichtung weist eine Offsetabzugseinheit 10, einen Bildsensor 20 und eine Steuerungseinheit 30 auf.

Der Bildsensor 20 erhält für jeden einer Vielzahl von Hellframes ein jeweiliges Bildsignal, das durch eine optische Abbildung einer Szene während einer jeweiligen Belichtungszeit des Bildsensors erhalten wird, und sendet es mit einer ersten Framerate an die Offsetabzugseinheit 10. Ferner erhält der Bildsensor 20 für zumindest einen Dunkelframe ein jeweiliges Bildsignal, das das durch die optische Abbildung der Szene während einer jeweiligen Belichtungszeit des Bildsensors erhalten wird, und sendet es mit einer zweiten Framerate an die Offsetabzugseinheit 10.

Der Bildsensor kann z.B. ein CCD Sensor oder ein CMOS Sensor sein. Die Anzahl der Pixel des Sensors ist nicht limitiert.

Die Steuerungseinheit 30 sorgt dafür, dass der Bildsensor abwechselnd eine erste Anzahl an Hellframes und zumindest einen Dunkelframe an die Offsetabzugseinheit 10 sendet. Ferner sorgt die Steuerungseinheit dafür, dass unter der Annahme, dass die Szene (einschließlich ihrer (externen) Beleuchtung) unverändert ist, eine jeweilige Lichtmenge, die in der jeweiligen Belichtungszeit von dem Bildsensor 20 erfasst wird und durch die das jeweilige Bildsignal für jeden der Hellframes erzeugt wird, größer ist als eine jeweilige Lichtmenge, die in der jeweiligen Belichtungszeit von dem Bildsensor 20 erfasst wird und durch die das jeweilige Bildsignal für den zumindest einen Dunkelframe erzeugt wird. Die kann die Steuerungseinheit z.B. durch Steuern einer internen Lichtquelle, die die Szene beleuchtet, der jeweiligen Belichtungszeiten, und/oder der Größe der Öffnung einer variablen Blende erreichen.

Die Offsetabzugseinheit 10 erhält einen Offset basierend auf dem Bildsignal des zumindest einen Dunkelframes, zieht den Offset von einem Signal, das auf einem Bildsignal eines der Hellframes basiert, ab, um ein kalibriertes Signal zu erhalten, und stellt das kalibrierte Signal für eine Weiterverarbeitung bereit. Das Signal kann das Bildsignal eines Hellframes von dem Bildsensor 10 sein, oder ein Signal, das sich z.B. durch eine A/D-Umwandlung und/oder weiteren Bearbeitungsschritten aus dem Bildsignal des Hellframes von dem Bildsensor 10 ergibt sein. Der Offset kann ebenfalls das entsprechende Bildsignal eines Dunkelframes von dem Bildsensor 10 oder ein Signal, das sich z.B. durch eine A/D-Umwandlung und/oder weiteren Bearbeitungsschritten (z.B. Durchschnittsbildung über mehrere Dunkelframes) aus dem entsprechenden Bildsignal eines Dunkelframes von dem Bildsensor 10 ergibt, sein.

Die Steuerungseinheit und die Offsetabzugseinheit sowie eine evtl. vorhandene Bildverarbeitungseinheit können als Hardware und/oder Software ausgestaltet sein. Sie können in einer oder mehreren Hardwareeinheiten und/oder Softwareeinheiten realisiert werden. Sie können auch in der Cloud realisiert werden. Jede von Ihnen kann auch in einem oder mehreren Computern (z.B. Laptop) realisiert sein. Wie in 6 gezeigt, können sie auch durch einen Prozessor 810 mit einem Speicher 820 realisiert sein, wobei der Speicher 820 Programminstruktionen speichert, die dafür sorgen, dass der Prozessor 810 ein Verfahren gemäß der Erfindung ausführt, wenn sie von dem Prozessor 810 ausgeführt werden.

Es wird davon ausgegangen, dass im Allgemeinen die Lichtmenge, die von dem Bildsensor erfasst wird, umso größer ist, je größer die Lichtmenge ist, die auf den Bildsensor fällt. Z.B. kann die erfasste Lichtmenge proportional zur einfallenden Lichtmenge sein, oder eine allmähliche Sättigung mit zunehmender Lichtmenge zeigen.

Claims

Vorrichtung mit einer Offsetabzugseinheit; einem Bildsensor, der dazu eingerichtet ist, für jeden einer Vielzahl von Hellframes ein jeweiliges Bildsignal, das durch eine optische Abbildung zumindest eines Teils eines Sichtfelds einer Abbildungsvorrichtung während einer jeweiligen Belichtungszeit des Bildsensors erhalten wird, zu erhalten und mit einer ersten Framerate an die Offsetabzugseinheit zu senden, und dazu eingerichtet ist, für zumindest einen Dunkelframe ein jeweiliges Bildsignal, das durch die optische Abbildung des zumindest Teils des Sichtfelds der Abbildungseinrichtung während einer jeweiligen Belichtungszeit des Bildsensors erhalten wird, zu erhalten und mit einer zweiten Framerate an die Offsetabzugseinheit zu senden; einer Steuerungseinheit, die dazu eingerichtet ist, dafür zu sorgen, dass der Bildsensor abwechselnd eine Anzahl an Hellframes und zumindest einen Dunkelframe an die Offsetabzugseinheit sendet, wobei die Steuerungseinheit dazu eingerichtet ist, dafür zu sorgen, dass unter der Annahme, dass eine Szene in dem zumindest Teil des Sichtfelds der Abbildungsvorrichtung in der Belichtungszeit für den zumindest einen Dunkelframe und in der jeweiligen Belichtungszeit von jedem der Hellframes gleich ist, eine jeweilige Lichtmenge, die von dem Bildsensor in der jeweiligen Belichtungszeit erfasst wird und durch die das jeweilige Bildsignal für jeden der Hellframes erzeugt wird, größer ist als eine jeweilige Lichtmenge, die von dem Bildsensor in der jeweiligen Belichtungszeit erfasst wird und durch die das jeweilige Bildsignal für den zumindest einen Dunkelframe erzeugt wird; die Offsetabzugseinheit dazu eingerichtet ist, einen Offset basierend auf dem Bildsignal des zumindest einen Dunkelframes zu erhalten, den Offset von einem Signal, das auf einem Bildsignal eines der Hellframes basiert, abzuziehen, um ein kalibriertes Signal zu erhalten, und das kalibrierte Signal für eine Weiterverarbeitung bereitzustellen, wobei der zumindest eine Dunkelframe und die Anzahl an Hellframes eine Abfolge von zeitlich unmittelbar aufeinanderfolgenden Frames darstellen.
Vorrichtung nach Anspruch 1 mit einer Beleuchtungseinheit, die dazu eingerichtet ist, die Szene zu beleuchten; wobei die Steuerungseinheit dazu eingerichtet ist, die Beleuchtungseinheit so zu steuern, dass die Beleuchtungseinheit während der jeweiligen Belichtungszeiten der Hellframes die Szene mit einer ersten Intensität beleuchtet und dass die Beleuchtungseinheit während der Belichtungszeit des zumindest einen Dunkelframes die Szene mit einer zweiten Intensität beleuchtet oder ausgeschaltet ist, wobei die zweite Intensität kleiner als die erste Intensität ist.
Vorrichtung nach einem der Ansprüche 1 bis 2, wobei die Steuerungseinheit dazu eingerichtet ist, die Belichtungszeit für den zumindest einen Dunkelframe so einzustellen, dass sie kürzer als die für jeden der Hellframes ist.
Vorrichtung nach einem der Ansprüche 1 bis 3, mit einer variablen Blende, durch die eine Lichtmenge, die pro Zeiteinheit auf den Bildsensor fällt, eingestellt wird, wobei die Steuerungseinheit dazu eingerichtet ist, die variable Blende für jeden der Hellframes so zu steuern, dass sie in einem jeweiligen ersten Öffnungszustand ist, und dazu eingerichtet ist, die variable Blende für den zumindest einen Dunkelframe so zu steuern, dass sie in einem jeweiligen zweiten Öffnungszustand ist, wobei die variable Blende in jedem der ersten Öffnungszustände eine größere Öffnung als in dem zumindest einen zweiten Öffnungszustand hat.
Vorrichtung nach Anspruch 4, wobei in dem zumindest einen zweiten Öffnungszustand die variable Blende geschlossen ist.
Vorrichtung nach Anspruch 4, wobei in dem zumindest einen zweiten Öffnungszustand die variable Blende geöffnet ist, sodass das jeweilige Bildsignal für den zumindest einen Dunkelframe durch die optische Abbildung der Szene erhalten wird.
Vorrichtung nach einem der Ansprüche 1 bis 6, wobei die Steuerungseinheit dazu eingerichtet ist, dafür zu sorgen, dass die Abfolge von zeitlich unmittelbar aufeinanderfolgenden Frames periodisch wiederholt wird, wobei jede der Abfolgen zeitlich unmittelbar einer entsprechenden vorherigen Abfolge der Abfolgen folgt, und die Offsetabzugseinheit dazu eingerichtet ist, für jede der Abfolgen einen jeweiligen Offset basierend auf dem Bildsignal des zumindest einen Dunkelframes der jeweiligen Abfolge zu erhalten, den Offset von einem Signal, das auf einem Bildsignal eines der Hellframes der jeweiligen Abfolge basiert, abzuziehen, um ein kalibriertes Signal zu erhalten, und das kalibrierte Signal für eine Weiterverarbeitung bereitzustellen.
Vorrichtung nach einem der Ansprüche 1 bis 7, wobei die Steuerungseinheit dazu eingerichtet ist, dafür zu sorgen, dass zumindest ein Dunkelframe bei Vorliegen eines vorbestimmten Ereignisses auftritt, und die Offsetabzugseinheit dazu eingerichtet ist, für zumindest einen Hellframe, der dem Dunkelframe folgt, einen Offset basierend auf dem Bildsignal des zumindest einen Dunkelframes, der aufgrund des vorbestimmten Ereignisses aufgetreten ist, zu erhalten, den Offset von dem Signal, das auf dem Bildsignal des zumindest einen Hellframes basiert, abzuziehen, um ein kalibriertes Signal zu erhalten, und das kalibrierte Signal für eine Weiterverarbeitung bereitzustellen.
Vorrichtung nach einem der Ansprüche 1 bis 8, wobei die Offsetabzugseinheit dazu eingerichtet ist, den Offset durch eine Durchschnittsbildung über die Bildsignale einer Vielzahl von Dunkelframes zu erhalten.
Vorrichtung nach einem der Ansprüche 1 bis 9, wobei der Bildsensor eine Vielzahl von Pixeln aufweist, und die Offsetabzugseinheit dazu eingerichtet ist, für jeden der Pixel einen jeweiligen Offset basierend auf dem Bildsignal des jeweiligen Pixels des zumindest einen Dunkelframes zu erhalten.
Vorrichtung nach Anspruch 10, wobei die Pixel in Gruppen aus einem oder mehreren Pixeln eingeteilt sind, und die Offsetabzugseinheit dazu eingerichtet ist, für jede der Gruppen einen jeweiligen Offset zu erhalten und den jeweiligen Offset für jeden der Pixel der Gruppe von einem Signal des jeweiligen Pixels, das auf einem Bildsignal eines der Hellframes basiert, abzuziehen, um ein kalibriertes Signal des jeweiligen Pixels zu erhalten.
Vorrichtung nach Anspruch 11, wobei die Offsetabzugseinheit dazu eingerichtet ist, für jede Gruppe den jeweiligen Offset durch eine Durchschnittsbildung über die Bildsignale der Pixel der jeweiligen Gruppe des zumindest einen Dunkelframes zu erhalten.
Endoskop mit einer Vorrichtung nach einem der Ansprüche 1 bis 12, wobei sich der Bildsensor in einer Endoskopspitze an dem distalen Ende des Endoskops befindet, und die Offsetabzugseinheit an dem proximalen Ende des Endoskops angeschlossen ist.