-
Die
vorliegende Erfindung befasst sich mit einer Vorrichtung und einem
Verfahren, welche die Möglichkeit
schaffen, mittels faseroptischer Systeme hoch aufgelöste Bilder
zu erzeugen und insbesondere damit, wie die Auflösung von bildgebenden Systemen,
bei der ein Bild mittels eines Bündels
von mehreren geordneten Lichtleitern auf einen Sensor abgebildet
wird, gesteigert werden kann.
-
Optische
Systeme, bei denen ein Bild über eine
Optik auf einen bildgebenden Sensor transferiert wird, sind vielfach
im Einsatz. Ohne den bildgebenden Einsatz von Endoskopen wären heute
viele Anwendungen unter anderem im Bereich der Diagnostik, Inspektion,
Qualitätssicherung
und Forschung undenkbar. Dabei werden zum einem linsenoptische Systeme
verwendet, also Systeme mit einem starren Aufbau innerhalb dessen
das Bild durch eine Linsenanordnung ähnlich einem Objektiv einer
Kamera auf den Sensor übertragen
wird. Zum anderen kommen faseroptische Systeme zum Einsatz, die
aus einer großen
Anzahl geordneter lichtleitender in einem Bündel zusammengefasster Fasern
bestehen, wobei das Licht durch die Vielzahl von Fasern auf einen Sensor
geleitet wird.
-
Die
derzeitige Präferenz
für linsenoptische Systeme
liegt unter anderem in deren Bildqualität begründet. Wo ein im wortwörtlichen
Sinne weitaus „flexiblerer" Einsatz gefordert
ist (kleiner, schwieriger Zugang) muss auf hochwertige halbstarre
oder biegsame Endoskope (Fiberskope) mit geringen Arbeitsdurchmessern
und Glasfaser-Bildleitern zurückgegriffen
werden. Beim Einsatz eines solchen faseroptischen Systems aus mehreren
Bildleitern wird typischerweise je einzelnem verwendeten Bildleiter
ein einzelner Bildpunkt bzw. ein einzelner Intensitätswert übertragen.
Da bei vertretbaren Durchmessern des gesamten Faserbündels keine
beliebig große
Anzahl von einzelnen Fasern möglich
ist und einzelne Fasern nicht mit beliebig kleinen Durchmessern
hergestellt werden können,
behindert bislang vor allem die schlechte Auflösung der übertragenen Bilddaten und die
architekturbedingte Wabenstruktur eines solchen Systems einen adäquaten Einsatz
dieser Geräte.
-
Der
Bildleiter hochwertiger Fiberskope besteht aus einem regelmäßig geordneten
Bündel
von etwa 5000 bis 8000 Einzelfasern. Verglichen mit der Auflösung einer
herkömmlichen
Bewegtbildkamera (z.B. VGA: 640 × 480 > 300000 Bildpunkte bzw. Pixel) liegt dieser
Wert damit weit unterhalb des Grenzwertes für sinnvolle Anwendungen. Typischerweise wird
das mittels der Einzelfasern transportierte Bildsignal mit einer
solchen herkömmlichen
Bewegtbildkamera beobachtet. Die einzelnen Lichtleiter weisen meist
eine Ummantelung auf, so dass sich aus der Ummantelung störende Strukturen
in dem beobachteten Bild ergeben, die beispielsweise durch Tiefpassfilter
geglättet
oder adaptiv durch spektrale Maskierung reduziert werden können. Um
die durch die wabenförmige
Struktur eingeführten
und zur Beurteilung eines Bildes höchst störenden Strukturen zu entfernen,
existieren bereits Lösungen,
die auf der Basis von zunächst
lokalisierten Faserzentren ein wabenfreies Bild auf der Grundlage
der Helligkeitsinformation an den Faserzentren interpolieren. Ebenso
wie die Glättung
der wabenförmigen
Ummantelungsstrukturen oder durch deren Maskierung im Fourierraum
haben diese Verfahren jedoch den Nachteil, dass sie zwar die Darstellungsqualität des aufgenommenen Bildes
erhöhen,
jedoch keine tatsächliche
Auflösungssteigerung
des Bildes erreichen.
-
Ein
Problem, das es generell zu lösen
gilt, wird in der deutschen Patentschrift
DE 4318140 A1 behandelt.
Dort wird beschrieben, wie die Zentren der Lichtpunkte die durch
die einzelnen Glasfasern auf einen höher auflösenden Sensor abgebildet werden
dadurch bestimmt werden können,
dass eine geeignete Funktion an die Helligkeitsverteilung, die auf dem
zweidimensionalen Sensor von einer einzelnen Lichtleitfaser erzeugt
wird, angepasst wird. Die Patentschrift zeigt, wie auf der Basis
der angepassten Faserkoordinaten eine Zuordnung der Lage der Fasern
auf der Eingangsseite des Lichtfaserbündels zu der Position der von
den Fasern auf dem Sensor hervorgerufenen Lichtpunkte möglich ist.
-
Die
dem Stand der Technik entsprechenden Verfahren zur Bildbearbeitung
eines mittels eines faseroptischen Systems aufgenommenen Bildes
haben dabei den Nachteil, dass zwar die Darstellungsqualität bzw. die
subjektive Wahrnehmungsqualität der
Aufnahmen durch die dem Stand der Technik entsprechenden Verfahren
verbessert wird, diese jedoch keine tatsächliche Auflösungssteigerung
bewirken, da zur Verbesserung der Auflösung das Einbringen zusätzlicher
(Bild-) Information notwendig ist.
-
Ist
die Geometrie der beobachteten Szene bzw. das Auftreten bestimmter
geometrischer Formen innerhalb der Szene bereits im Vorhinein bekannt,
kann dieses Vorwissen je Einzelaufnahme eingebracht werden, um die
Auflösung
tatsächlich
zu erhöhen
(z.B. durch Anwendung von kantenerhaltender Filter). Ist beispielsweise
bekannt, dass innerhalb der Aufnahme ein gerade verlaufender Intensitätssprung
verläuft,
kann durch geeignetes Anwenden eines Filters der Verlauf der Kante
in der Aufnahme mit höherer
Präzision
als der Auflösung
eines einzelnen Bildpunktes bestimmt werden. Bei fiberoptischen Systemen,
die zur Diagnose eingesetzt werden, ist jedoch das Objekt bzw. die
Form des zu beobachtenden Objektes a priori meist nicht bekannt,
so dass derartige Verfahren nicht generell möglich sind.
-
Prinzipiell
kann die Informationsdifferenz bzw. die Informationsredundanz mehrerer
aufeinanderfolgender Aufnahmen aus variierenden Betrachtungspositionen
oder -richtungen kombiniert werden, um ein Bild zu rekonstruieren,
das eine höhere
Auflösung
besitzt als eine Einzelaufnahme. Für herkömmliche Videosequenzen, also
aufeinanderfolgende Einzelbilder, die aus einem rechtwinkligem Gitter
aus Bildpunkten bestehen, werden solche Verfahren unter dem Sammelbegriff „Superresolution" angewendet. Darüber hinaus
gibt es erste Ansätze
zur Erweiterung des Verfahrens zur Auflösungssteigerung für Bildpunkte,
die in beliebigen Gitterstrukturen, also in nicht-rechwinkligen
Koordinaten, vorliegen.
-
Beispielsweise
befasst sich auch die
US 6885801
B1 mit der Bildbearbeitung bzw. Bildverbesserung von mittels
fiberskopischen Systemen aufgenommenen Szenen. Dabei wird zunächst ein
Objekt mittels eines Faserbündels
auf eine Videokamera mit einer CCD abgebildet. Das danach digitalisierte
Bild wird mittels eines zweidimensionalen Bildfilters weiter verarbeitet
und an einen Monitor ausgegeben. Die Anordnung aus Faserbündel und
Videokamera wird kalibriert, indem die Faserzentren auf der CCD
bestimmt werden und indem die Abbildungseigenschaften einer jeden
Faser individuell erfasst werden. Um das Bild auf einem Monitor
auszugeben, wird das Bild, welches zunächst aus einzelnen, den Fasern zugeordneten
Intensitätswerten
besteht, interpoliert, um eine bessere Darstellung zu erzielen.
-
Auch
die
US 6157748 befasst
sich mit der Verbesserung mittels fiberskopischer Systeme aufgenommener
Bilder durch barizentrische Interpolation derselben. Dabei befasst
sich das Dokument insbesondere damit, wie Lichtfasern, die während des Produktionsprozesses
miteinander verschmolzen wurden, erkannt und für die digitale Signalverarbeitung
getrennt behandelt werden können,
so dass sich das Konzept der barizentrischen Interpolation auch auf
diese Lichtfasern anwenden lässt.
-
Der
vorliegenden Erfindung liegt die Aufgabe zugrunde, eine Vorrichtung
und ein Verfahren zu schaffen, mittels derer eine effektive Auflösungssteigerung
für mittels
faseropti scher Systeme aufgenommene Bilder effizienter ermöglicht wird.
-
Diese
Aufgabe wird durch ein Verfahren gemäß Patentanspruch 1 und durch
eine Vorrichtung gemäß Patentanspruch
6 gelöst.
-
Der
vorliegenden Erfindung liegt dabei die Erkenntnis zugrunde, dass
ein hoch aufgelöstes
Bild mittels eines Faserbündels
aus einer Mehrzahl von Lichtleitern und eines Sensors, der an der
Sensorseite des Faserbündels
angeordnet ist, erzeugt werden kann, wenn mittels des Sensors eine
Folge von Intensitätsbildern
aufgenommen wird und wenn basierend auf den Intensitätsbildern
und auf zusätzlichen
Lageinformationen, welche den Abbildungsort eines jeden Lichtleiters
auf dem Sensor angeben, aus den Intensitätsbildern zunächst Niedrigauflösungsbilder
erzeugt werden, so dass auf Grundlage der Niedrigauflösungsbilder
eine Bewegungsverfolgung erfolgen kann, die durch Identifikation
und Überlagerung
redundant aufgenommener Bildbereiche das Erzeugen eines hoch aufgelösten Hochauflösungsbildes
ermöglicht.
Durch das Erzeugen der Niedrigauflösungsbilder, deren Bildinformation
durch jeweils einen Bildpunkt je Abbildungsort eines Lichtleiters
gegeben ist, wird es möglich,
wabenstrukturfreie Bilder niedriger Auflösung zu erzeugen, anhand derer
eine Bewegungsverfolgung zwischen aufeinander folgenden Aufnahmen
möglich
wird. Für
das Erzeugen der Niedrigauflösungsbilder
ist also die Lageinformation, die den Abbildungsort eines jeden
Lichtleiters auf dem Sensor angibt, erforderlich. Aufgrund der durchgeführten Bewegungsverfolgung
können
identische Stellen eines Bildes in aufeinanderfolgenden Aufnahmen
identifiziert werden, so dass aufgrund der eindeutig zuordenbaren,
redundanten Bildinformation mittels Überlagerung der Einzelbilder
eine tatsächliche
Auflösungssteigerung
ermöglicht
wird.
-
Bei
einem Ausführungsbeispiel
der vorliegenden Erfindung wird das Bild mittels eines faseroptischen
Systems bestehend aus vielen einzelnen Lichtleiterfasern auf einen
bildgebenden Sensor derart abgebildet, dass der von einer einzelnen
Faser auf der Oberfläche
des Sensors verursachte Intensitätsverlauf
eine räumliche
Ausdehnung hat, die größer ist
als ein einzelnes lichtempfindliches Element bzw. Pixel des Sensors.
Dies hat den Vorteil, dass die Lageinformation, die den Abbildungsort
des Lichtleiters auf dem Sensor angibt, deutlich genauer als die geometrische
Ausdehnung eines Pixels bestimmt werden kann, da diese durch Schwerpunktbildung bzw.
Anpassen einer geeigneten Funktion an den Intensitätsverlauf,
der mittels mehrerer Pixel gemessen wird, bestimmt wird.
-
Den
selben statistischen Effekt macht man sich bei der Bewegungskompensation
zu Nutze, da bei der Detektion der Bewegung jeweils mehrere zusammengehörige Bildpunkte
verwendet werden, so dass eine Abschätzung eines Bewegungsvektors von
Bild zu Bild mit einer Genauigkeit erfolgen kann, die die ursprüngliche
Auflösung,
d.h. die Abstände benachbarter
Bildpunkte, übersteigt.
-
Bei
einem bevorzugten Ausführungsbeispiel der
vorliegenden Erfindung wird zumindest einmal, beispielsweise nach
der Herstellung des Systems aus Lichtleiter und Sensor, eine Eichung
des Systems derart durchgeführt,
dass die Faser zentren bzw. die Zentren der Lichtverteilung, die
eine Faser bei Beleuchtung der Faser auf dem Sensor verursacht,
bestimmt werden. Dazu wird das objektseitige Ende der Faser beispielsweise
bevorzugt homogen beleuchtet, so dass sich auf dem Sensor für jede Einzelfaser
eine Intensitätsverteilung
ergibt, die annährend
kreisförmig
ist und deren Schwerpunkt das Zentrum der Abbildung der Faser auf
dem Sensor bezeichnet. Die Zentren der Abbildung werden mathematisch
geeignet bestimmt bzw. gefittet und als Lageinformationen gespeichert.
-
Wird
nun eine Aufnahme mittels des Sensors durchgeführt, kann aus einem Intensitätsbild des Sensors
ein Niedrigauflösungsbild
errechnet werden, welches die von jedem einzelnen Lichtleiter übermittelte
Bildinformation in Form eines Intensitätswertes speichert. Bei Farbaufnahmen
sind selbstverständlich
auch die Speicherung von drei oder mehr Intensitätswerten je Lichtleiter möglich, um
die Farbinformation zu erhalten. Ein einzelnes Niedrigauflösungsbild
enthält
somit eine Anzahl von Bildpunkten, die einzelnen Lichtleitern zugeordnet
sind und die nicht in einem rechtwinkligen Gitter angeordnet sein
müssen.
Aufgrund der Erzeugung nur eines einzelnen Bildpunktes je Lichtleiter
wird die wabenförmige Struktur
der Lichtleiteranordnung, wie sie auf den einzelnen Sensoraufnahmen
mit höherer
Auflösung sichtbar
ist, erfolgreich unterdrückt.
-
Dadurch
wird insbesondere die Bewegungserkennung in aufeinanderfolgenden
Aufnahmen ermöglicht,
so dass erfindungsgemäß eine freibestimmbare
Anzahl von aufeinanderfolgenden Aufnahmen dazu verwendet werden
kann, eine Bewegung an Stellen des Bildes bzw. eine Translationsbewegung
des gesamten Bildes zu detektieren und dazugehörige Bewegungsvektoren abzuleiten.
Wie bereits oben gesagt, kann dabei die Bewegungsschätzung mit
einer Genauigkeit durchgeführt
werden, welche die ursprüngliche
Bildauflösung übersteigt.
-
Dabei
kann die Bewegungsschätzung
zum einen entweder auf Basis des unregelmäßigen Gitters der einzelnen
Lichtpunkte je Bildleiter durchgeführt werden. Alternativ dazu
kann, da die Wabenstruktur aus dem Bild bereits eliminiert wurde,
auf Basis des unregelmäßigen Gitters
durch Interpolation ein regelmäßiges, rechteckiges
Gitter von Bildpunkten, beispielsweise aber nicht notwendigerweise
in der Auflösung
des verwendeten Sensors, erzeugt werden. Eine Möglichkeit der Interpolation
ist dabei beispielsweise, die Intensitätswerte für jedes Pixel des regelmäßigen Gitters
durch barizentrische Gewichtung der drei dem abgetasteten Pixel
nächstliegenden
Intensitätswerte
zu gewinnen. Die Barizentrische Gewichtung basiert darauf, dass
die Intensitätswerte
der drei nächstliegenden
Punkte, also derjenigen Punkte die ein Dreieck bilden, innerhalb
dessen sich das abgetastete Pixel befindet, mit der Entfernung zum
betreffenden Punkt gewichtet und überlagert werden, um den Intensitätswert für das abgetastete
Pixel zu bestimmen.
-
Um
einen tatsächlichen
Auflösungsgewinn zu
erzielen, werden erfindungsgemäß die detektierten
Bewegungen der Einzelbilder bezüglich
eines frei wählbaren
Referenzbildes oder Referenzzeitpunktes rücktransformiert und überlagert.
Dadurch ergibt sich eine Abbildung, die mehr Bildpunkte beinhaltet,
als ein Einzelbild. Die Auflösungssteigerung
ergibt sich nunmehr dadurch, dass die Bewegungsvektoren mit einer
Genauigkeit bestimmt werden können,
die höher
als die ursprüngliche
Auflösung
bzw. der ursprüngliche
Abstand zwei benachbarter Bildpunkte ist. In dem überlagerten
Bild existieren also für
bewegte Objekte mehrere Bildpunkte aus unterschiedlichen aufeinander
folgenden Aufnahmen, die um weniger als die intrinsische Auflösung einer
einzelnen Aufnahme verschoben sein können, so dass sich bei einer
Kombination der Aufnahmen eine erhöhte Auflösung des rekonstruierten Bildes
ergibt. Erfindungsgemäß wird somit
entweder ein Standbild erzeugt oder aber auch eine Bildsequenz bzw.
ein Film, in dem jeweils einige aufeinanderfolgende Einzelbilder dazu
verwendet werden, ein Bild des Films oder der Bildsequenz zu erzeugen.
-
Es
wird somit eine Möglichkeit
geschaffen, mittels eines flexiblen faseroptischen Systems sowohl
Untersuchungen durchzuführen,
bei denen die Verwendung von hoch aufgelösten Einzelbildern erforderlich
ist, als auch Untersuchungen, die das Beobachten eines Vorgangs
in Echtzeit erfordern. Insbesondere bei endoskopischen medizinischen
Untersuchungen werden somit neue Diagnosemöglichkeiten erschlossen, die
das Verwenden eines möglichst dünnen und
flexiblen Bildleiters bei gleichzeitiger hoher Auflösung der
Bilder erfordern.
-
Die
vorliegende Erfindung überwindet
also mit Verfahren der „Auflösungssteigerung" für bewegte
Bildsequenzen (Superresolution) die Informationsgrenze, deren Kalkulation
sich bislang auf Betrachtung von Einzelbildern bezog. Dies ähnelt dem
Verhalten des menschlichen Auges beim Arbeiten mit Fiberskopen.
Eine derartige Auflösungssteigerung
eröffnet
sowohl für
die personelle Anwendung von Endoskopen, z.B. im Bereich der Sichtprüfung als
auch für
die rechnergestützte
Weiterverarbeitung der Daten neue interessante Anwendungsgebiete
für die flexible
Endoskopie. Insbesondere in solchen Bereichen, die bislang wegen
ihrer hohen Anforderung an die Auflösung den starren linsenoptischen
Endoskopen vorbehalten war.
-
Die
vorgestellte modifizierte Anwendung der Auflösungssteigerung lässt sich
im Rahmen der Produktionsmöglichkeiten
mit nahezu jeglicher Bauform (Auflösung, Sensorik zur Digitalisierung
und ähnliches)
von faseroptischen Übertragungssystemen realisieren
und findet ihren Anwendungsbereich von der hochqualitativen Nachbearbeitung
von Aufnahmen bis hin zur schnellen Echtzeitaufbereitung von Sequenzen.
-
Bevorzugte
Ausführungsbeispiele
der vorliegenden Erfindung werden nachfolgend, bezugnehmend auf
die beiliegenden Figuren, erläutert.
Es zeigen:
-
1 eine
Vorrichtung zum Erzeugen eines Hochauflösungsbildes;
-
2 die
Abbildung von Lichtfasern auf quadratische lichtempfindliche Pixel;
-
3 Flussdiagramm
für das
erfindungsgemäße Verfahren;
-
4 experimentell bestimmte Auflösungssteigerung;
und
-
5 ein weiteres Beispiel für die erzielbare Auflösungssteigerung.
-
1 zeigt
ein Beispiel für
ein System mit einer erfindungsgemäßen Vorrichtung zum Erzeugen eines
Hochauflösungsbilds
bzw. eine Auswerteeinrichtung 100. Gezeigt ist darüber hinaus
ein Faserbündel 102 und
ein Sensor 104, der mit der erfindungsgemäßen Auswerteeinrichtung
verbunden ist, so dass diese zum einen die Belichtungszeitpunkte des
Sensors 104 steuern kann, sowie zum anderen die Bilddaten
des Sensors 104 auslesen kann.
-
Ein
Bild oder Objekt wird von dem Faserbündel 102, das aus
einer Mehrzahl einzelner Lichtleiter 106 besteht, auf dem
Sensor 104 abgebildet.
-
Die
Abbildungssituation der einzelnen Lichtleiter auf dem Sensor ist
anhand von 2 detailliert dargestellt, bei
der die annährend
kreisförmigen
Intensitätsverteilungen
(beispielsweise Intensitätsverteilung 110)
gezeigt sind, wie sie sich auf der quadratischen Pixelmatrix 112 beispielsweise
eines CCD-Sensors überlagern.
-
Die
Funktionsweise des erfindungsgemäßen Verfahrens
zum Erzeugen eines Hochauflösungsbildes
bzw. der erfindungsgemäßen Vorrichtung
zum Erzeugen eines Hochauflösungsbildes
soll nun im Folgenden anhand der 1 und 2 erläutert werden.
-
Wie
es in 2 am Beispiel der kreisförmigen Intensitätsverteilung 110 beispielhaft
gezeigt ist, belichtet eine einzelne Lichtfaser eine Mehrzahl von Pixeln
der Pixelmatrix 112, wobei einzelne Pixel vollständig von
der Faser beleuchtet werden und die Pixel am Rand der kreisförmigen Intensitätsverteilung 110 nur
teilweise beleuchtet werden, so dass sich selbst bei vollständig homogener
Beleuchtung der Faser und bei idealisiertem Lichttransport durch
die Faser an den Rändern
des Faserbildes Pixel befinden, die nur teilweise beleuchtet werden,
also eine Intensität
aufnehmen, die geringer ist als diejenige des Pixels im Zentrum.
Darüber
hinaus kann am Rand des kreisförmigen
Querschnitts einer Lichtleitungsfaser aufgrund der optischen Eigenschaften
der Faser die Intensität
zusätzlich
abnehmen.
-
Gemäß des erfindungsgemäßen Verfahrens existiert
zu der Anordnung aus dem Faserbündel 102 und
dem Sensor 104 ein Satz von Lageinformationen, welche den
Abbildungsort der Lichtleiter auf dem Sensor angeben. Der Abbildungsort
ist dabei so zu verstehen, dass dieser das Zentrum des von einem
einzelnen Lichtleiter bestrahlten Bereichs auf dem Sensor angibt.
Als Beispiele für
die Zentren, die in den Lageinformationen angegeben sind, sind in 2 die
Punkte 114a, 114b und 114c gezeigt.
-
Die
Bestimmung der Lageinformationen erfolgt dabei zumindest einmal,
wenn die Anordnung aus dem Faserbündel 102 und dem Sensor 104 mechanisch
am sensorseitigem Ende des Faserbündels 102 fest miteinander
verbunden sind, so dass die relative Orientierung des Faserbündels 102 und
des Sensors 104 sich im Laufe der Benutzung der Anordnung
nicht mehr verändern
kann. Alternativ dazu kann der Sensor 104 und Fa serbündel 102 auch trennbar
miteinander verbunden sein, so dass bei jedem neuen Verbinden des
Faserbündels 102 und des
Sensors 104 eine Bestimmung der Lageinformationen durchgeführt werden
muss. Die Punkte 114a bis 114c, die das Zentrum
der Lichtverteilungen einzelner Fasern auf dem Sensor 104 angeben,
werden dabei beispielsweise so bestimmt, dass das Faserbündel auf
seiner Objektseite beleuchtet wird (vorzugsweise beispielsweise
homogen beleuchtet) und dass die Abbildungsorte 114a bis 114c der
Lichtleiter auf dem Sensor dadurch bestimmt werden, dass für die einzelnen
kreisförmigen
Intensitätsverteilungen der
Schwerpunkt der Intensitätswerte
bestimmt und dieser dann als Abbildungsort in der zu speichernden Lageinformation
verwendet wird. Alternativ dazu kann eine mathematische Funktion,
beispielsweise eine Gaußförmige Funktion
an die den einzelnen Lichtleitern korrespondierenden Intensitätsverteilungen
angepasst werden, um aus den Parametern der Anpassung den Abbildungsort
zu bestimmen.
-
Zur
eigentlichen Erzeugung des Hochauflösungsbildes mittels des Faserbündels 102 und
des Sensors 104 wird zunächst von der Vorrichtung zum Erzeugen
eines Hochauflösungsbildes 100 der
Sensor 104 derart angesteuert, dass dieser eine Folge von
aufeinanderfolgenden Intensitätsbildern
aufnimmt.
-
Basierend
auf den einzelnen Intensitätsbildern
und den Lageinformationen wird von der Vorrichtung zum Erzeugen
eines Hochauflösungsbildes 100 zunächst von
jedem Intensitätsbild
ein Niedrigauflösungsbild
abgeleitet. Dabei wird zunächst
für jede
einzelne Faser ein Bildpunkt mit dazugehörigem Intensitätswerten
bestimmt, so dass das resultierende Niedrigauflösungsbild zunächst eine
Anzahl von Bildpunkten aufweist, die der Anzahl der Lichtleiter 106 des
Faserbündels 102 entspricht.
Alternativ kann natürlich
auch eine geringere Anzahl von Bildpunkten erzeugt werden. Zur Bestimmung
der den Abbildungsorten 114a bis 114c entsprechenden
Intensitätswerten
kann dabei beispielsweise bevorzugt über die kreisförmige Intensitätsverteilung
integriert werden, um die gesamte von einem einzelnen Lichtleiter transportierte
Intensität
zu erfassen. Das so erzeugte Bild weist daher keine wabenförmige Struktur
mehr auf, wie sie in 2 zu erkennen ist, da die Ummantelungen
der einzelnen Lichtfasern bzw. der zwischen den einzelnen Lichtleitern
verbleibende Platz nicht beleuchtet wird. Ein erfindungsgemäß erzeugtes
Bild besteht also aus zu den Faserzentren korrespondierenden einzelnen
Bildpunkten, die keinerlei derartige Wabenstruktur aufweisen und
nicht notwendiger Weise in einem gleichmäßigen rechtwinkligen Gitter
angeordnet sind. Darüber
hinaus ist der Abstand benachbarter Bildpunkte größer als
der Abstand benachbarter lichtempfindlicher Pixel des Sensors 104.
-
Das
Bild, welches zu einzelnen Faserzentren korrespondierende Bildpunkte
aufweist kann nun entweder als Niedrigauflösungsbild direkt weiterverwendet
werden oder es kann, da die Wabenstruktur innerhalb des Bildes bereits
entfernt ist, auf der Basis dieses Bildes ein Niedrigauflösungsbild
durch Interpolation gewonnen werden, welches den Vorteil einer gleichmäßigen Anordnung
von Bildpunkten besitzt. Dazu können
die Bildpunkte 114a bis 114c beispielsweise mit
einem Gitter 112, wie es in 2 zu sehen ist,
abgetastet werden, wobei für
jedes Pixel des Gitters 112 die Intensitätswerte
durch Interpolation der drei nächst
benachbarten Abbildungsorte bzw. deren zugeordneter Intensitätswerte
gewonnen werden. Im Beispiel von 2 bilden
die drei Abbildungsorte 114a bis 114c ein Dreieck,
so dass für
die quadratischen Pixel innerhalb dieses Dreiecks die Intensitätswerte
aus einer gewichteten Superposition der drei Intensitätswerte
der Abbildungsorte 114a bis 114c gewonnen werden.
Beispielsweise kann diese Gewichtung barizentrisch erfolgen, d.h.
die Intensitätswerte
an den Abbildungsorten werden mit dem Abstand der jeweiligen Abbildungsorte
zum zu interpolierenden Pixel gewichtet und superponiert. Alternativ kann
ein Niedrigauflösungsbild
erzeugt werden, welches den Vorteil der regelmäßig angeordneten Pixel aufweist,
und das somit eine mathematisch einfachere Nachbearbeitung des Bildes
ermöglicht.
Dabei ist die Pixelgröße, mit
der das Bild der Abbildungsorte abgetastet wird, nicht vorgegeben
sondern frei wählbar
und an die jeweiligen Bedürfnisse
bzw. Rahmenbedingungen anpassbar.
-
Um
nun zu einer tatsächlichen
Auflösungssteigerung
zu gelangen, wird mittels der erfindungsgemäßen Vorrichtung zum Erzeugen
eines Hochauflösungsbilds 100 eine
Bewegungsschätzung
zwischen den einzelnen Aufnahmen der Folge von Niedrigauflösungsbildern
durchgeführt,
wobei unerheblich ist, ob die Niedrigauflösungsbilder rechtwinklig abgetastete
Pixeldarstellungen besitzen oder im Gitter der Abbildungsorte vorliegen.
Bei der von der Vorrichtung zum Erzeugen eines Hochauflösungsbildes 100 durchgeführten Bewegungsverfolgung
werden die einzelnen aufeinander folgenden Niedrigauflösungsbilder
dahingehend verglichen, ob entweder das gesamte Bild bzw. Teilbereiche
des Bildes an anderen geometrischen Orten aufeinanderfolgender Bilder
nachgewiesen werden können,
ob sich also Teile des Bildes bzw. das ganze Bild relativ zur vorhergehenden
Aufnahme auf dem Sensor 104 bewegt haben. Dabei ist zu
beachten, dass die Abbildungsorte 114a bis 114c sich
selbstverständlich
nicht auf dem Sensor 104 bewegen, da das Faserbündel 102 bezüglich des
Sensors 104 starr angeordnet ist. Eine Bewegung wird somit
also aufgrund von sich an den Abbildungsorten 114a bis 114c ändernden
Lichtintensitäten
detektiert. Sind beispielsweise in zwei aufeinanderfolgenden Aufnahmen
einander korrespondierende Bildbereiche identifiziert, die sich
gegeneinander verschoben haben, kann ein Bewegungsvektor definiert
werden, der die Bewegung des Bildbereiches von einem Bild zu dem
darauf folgenden Bild angibt. Aufgrund derselben Argumente, mit
denen die Bestimmung der Faserzentren mit einer Genauigkeit erfolgen
kann, die höher
ist als die Größe eines einzelnen
Pixels des Sensors 104, kann die Relativbewegung einander
korrespondierender Bildbereiche mit einer Genauigkeit bestimmt werden,
die diejenige der ursprünglichen
Bildauflösung,
also des Abstands benachbarter Abbildungsorte, übersteigt.
-
Um
nun die Auflösung
tatsächlich
zu steigern, wird von der Vorrichtung zum Erzeugen eines Hochauflösungsbildes 100 eine
Rücktransformation der
bewegten Objekte zu einem Referenzzeitpunkt beispielsweise auf ein
vorhergehendes Bild durchgeführt
und die Intensitätswerte
der einzelnen, rücktransformierten
Niedrigauflösungsaufnahmen
werden überlagert.
Dadurch werden Bildbereiche, die sich im Laufe der Folge von Niedrigauflösungsbildern verändert bzw.
bewegt haben, neue Bildpunkte hinzugefügt, die aufgrund der höheren Genauigkeit
der Bewegungsvektoren nicht im ursprünglichen Bildraster liegen
müssen.
Diese Situation ist anhand der gestrichelt dargestellten Bildpunkte 116a bis 116c in 2 verdeutlicht.
Die durch Rücktransformation und
anschließende
Superposition neu hinzugefügten Bildpunkte 116a bis 116c haben
den Effekt, als würde im
ursprünglichen
Bild das zu beobachtende Objekt mit einer höheren Auflösung beobachtet, als sie der Sensor
bzw. die Anordnung aus Sensor und Lichtleitern intrinsisch ermöglicht.
-
Durch
die erfindungsgemäße Vorrichtung zum
Erzeugen eines Hochauflösungsbildes 100 bzw. das
erfindungsgemäße Verfahren
zum Erzeugen des Hochauflösungsbildes
wird es also ermöglicht,
mittels der Verarbeitung einer Folge von aufgenommenen Intensitätsbildern
unter Berücksichtigung
von Lageinformationen ein Hochauflösungsbild zu erzeugen, welches
eine höhere
Auflösung
hat als ein einzelnes, zugrundeliegendes Intensitätsbild.
-
Die
erfindungsgemäße Vorrichtung
bzw. das erfindungsgemäße Verfahren
kann dabei so angewendet werden, dass entweder ein einzelnes stehendes
Bild erzeugt wird, oder dass eine fortlaufende Folge von Bildern,
also eine Bildsequenz oder ein Film mit gesteigerter Auflösung erzeugt
wird. Dabei kann die Anzahl der einzelnen Intensitätsaufnahmen, die
zur Erzeugung eines Hochauflösungsbildes
herangezogen werden, frei an die jeweiligen Gegebenheiten angepasst
werden. Ein Kriterium kann dabei beispielsweise die gewünschte Auflö sungssteigerung
sein, bzw. die Verzögerung,
die sich aufgrund der Aufnahme mehrerer Bilder zwangsläufig einstellt, bis
ein Hochauflösungsbild
erzeugt ist. Die Verzögerung
kann beispielsweise dann relevant sein, wenn eine Echtzeitbeobachtung
mittels des erfindungsgemäßen Verfahrens
ermöglicht
werden soll, wobei naturgemäß eine Reihe
von Intensitätsaufnahmen durchgeführt und
bearbeitet werden müssen,
bis das erste Hochauflösungsbild
der Bildsequenz auf einem Bildschirm sichtbar gemacht werden kann.
-
In
einer Erweiterung der oben beschriebenen Ausführungsform der vorliegenden
Erfindung kann das Hochauflösungsbild
in einer beliebig wählbaren
Auflösung
abgetastet werden, wobei das Abtastgitter beispielsweise der physikalischen
Auflösung
eines Bildschirms zur Darstellung des Ergebnisses entsprechen kann.
Die Abtastung kann dabei beispielsweise bevorzugt durch barizentrische
Interpolation analog zur Erzeugung des barizentrisch interpolierten
Niedrigauflösungsbildes
erfolgen.
-
Anhand
von 3 sind im Folgenden noch einmal die aufeinanderfolgenden
Schritte zur Durchführung
des erfindungsgemäßen Verfahrens
dargestellt. Um ein Hochauflösungsbild
zu erzeugen, ist zunächst
in einem Bildaufnahmeschritt 150 eine Folge von Intensitätsbildern
aufzunehmen. Wie es oben beschrieben ist, werden in dem Erzeugungsschritt 152 Niedrigauflösungsbilder
aus den Intensitätsbildern
unter Zuhilfenahme von Lageinformationen, die einen Abbildungsort
der Lichtleiter 106 auf dem Sensor 104 angeben,
erzeugt. Im darauf folgenden Bewegungserkennungsschritt 154 werden
die aufeinanderfolgenden Niedrigauflösungsbilder analysiert und es
werden für
bewegte Teile des Bildes bzw. für
den Fall, dass sich das gesamte Bild bewegt hat, relative Bewegungsvektoren
bestimmt. Im Syntheseschritt 156 wird das Hochauflösungsbild
aus den Niedrigauflösungsbildern
dadurch kombiniert, dass die detektierten Bewegungen zurücktransformiert
werden und die rücktransformierten
Bilder einander überlagert
werden.
-
In
einem zusätzlich,
optionalen Abtastschritt 158 kann das erzeugte Hochauflösungsbild
in beispielsweise rechtwinkligem Koordinatengitter abgetastet werden,
um es auf einem externen Anzeigegerät auszugeben.
-
4 zeigt experimentelle Ergebnisse, wie sie
durch das Anwenden des erfindungsgemäßen Verfahrens erzielt werden
können.
Dargestellt ist das Resultat einer Bearbeitung von Aufnahmen aus
einem flexiblen Endoskop mit Glasfaser-Bildleiter. Dabei zeigt Fig. a das Originalbild,
das vom Sensor am proximalen Ende des Endoskops aufgezeichnet wurde.
Fig. b zeigt wie durch barizentrische Interpolation ein Bild erzeugt
werden kann, dessen Wabenmuster reduziert, bzw. unterdrückt ist.
Die Fig. c bis e zeigen von links nach rechts die Anwendung des
erfindungsgemäßen Verfahrens
mit zunehmender Komplexität. In
Fig. c ist das Ergebnis bei Nutzung von fünf Einzelbildern, in Fig. d
das Ergebnis bei Nutzung von zehn Einzelbildern und in Fig. e das
Ergebnis bei Nutzung von fünfzehn
Einzelbildern zur Auflösungssteigerung dargestellt.
Wie es anhand der Figuren zu sehen ist, wird die Auflösung bei
Erhöhung
der Anzahl der zur Bestimmung des Hochauflösungsbildes verwendete Niedrigauflösungsbilder
kontinuierlich besser.
-
5 zeigt ein weiteres Beispiel, wie durch die
Anwendung des erfindungsgemäßen Verfahrens die
Lesbarkeit einer Schrift, die mittels eines faseroptischen Endoskops
aufgezeichnet wurde, verbessert werden kann. In Fig. a ist dabei
ein vergrößerter Ausschnitt
einer Aufnahme nach der Reduktion der Wabenstruktur dargestellt,
wobei die Figur b den selben Ausschnitt nach Anwendung des erfindungsgemäßen Verfahrens
zeigt. Wie es anhand der beiden Figuren eindeutig zu erkennen ist,
kann durch das erfindungsgemäße Verfahren
die Auflösung
real gesteigert werden, da Teile der Schriften erst in Fig. b lesbar
werden. Dabei hat das erfindungsgemäße Verfahren den großen Vorteil,
dass Informationen über
die Struktur des beobachteten Gegenstandes nicht be kannt sein müssen, um
die Auflösungssteigerung
zu erzielen. Im Falle einer Geraden 200, wie sie beispielsweise
in Fig. a zu sehen ist, wäre
eine Auflösungssteigerung
auch durch einen auf die Erkennung von Geraden abgestimmten Filter
möglich,
der durch Anpassung (Fit) einer geeigneten Funktion die Gerade 200 innerhalb
des Bildausschnittes mit hoher Genauigkeit finden könnte. Solche
dem Stand der Technik entsprechenden Verfahren würden jedoch nicht die runden
Formen und komplizierten Muster der Schriftzeichen erkennen können, wie
es mittels des erfindungsgemäßen Verfahrens
nun möglich
ist.
-
Wie
es anhand der 4 und 5 zu
sehen ist, wurden die präsentierten
Verfahren mit unterschiedlichem Bildmaterial mit lesbarem und unlesbarem,
strukturiertem und unstrukturiertem sowie transversal bzw. longitudinal
verschobenem Inhalt untersucht und verglichen. Abgesehen wurde von
extrem strukturschwachen Szenen, die keinen Beitrag zur Bewegungsdetektion
liefern und damit für
die Erhöhung
der räumlichen
Auflösung
keinen Ansatz bieten. Als Einflussgrößen wurden insbesondere die
Anzahl der verwendeten Bilder um ein Basisbild herum und die unterschiedliche
Struktur im Bild auf das subjektive Empfinden hin untersucht. Implementierung des
Verfahrens für
die Nachbearbeitung von fiberskopischen Bildmaterial bestätigen die
deutliche Zunahme von Details (lesbare Schrift, Kanten, Strukturen)
bei Kombination von mehreren Einzelaufnahmen.
-
Das
Verfahren eignet sich sowohl für
transversale als auch für
longitudinale Bewegung der Endoskopspitze und ist robust gegenüber nicht
homogener Bewegung innerhalb der Aufnahmen.
-
Zusammenfassend
lässt sich
sagen, dass sich die Algorithmik des hier übertragenen Verfahrens in die
Klasse der Auflösungssteigerung
im Ortsbereich mit Interpolation aus ungleich verteilten Rastern
einteilen lässt.
Eine modulare Trennung zwischen der Lokalisation von Bildinformation,
der interpolierten Bewegungsschätzung,
der Generierung eines hoch auflösenden
Gitters und dessen kartesische Abtastung mit barizentrischer Erweiterung
von Stützstellen
ermöglicht
die separate Nutzung und Umsetzung der jeweils eingesetzten Verfahren
in Soft- und Hardware. Die Anpassung und Optimierung des Verfahrens
auf beliebige Gitterstrukturen zur Gewinnung höher aufgelöster Bildinformation bietet
drei wesentliche Vorteile:
- 1. Zur Generierung
des höher
aufgelösten
Bildes werden statt kartesisch interpolierten Aufnahmen, wie sie
herkömmlich
durch den Auflösungsunterschied
Videokamera-Glasfaserbündel
vorliegen, direkt die Helligkeit der Faserzentren verwendet.
- 2. Konstruktiv bedingte Abweichungen der hexagonalen Struktur
eines Faserbündels
haben keinen negativen Einfluss auf das Ergebnis.
- 3. Das Verfahren ist robust gegenüber nicht-globalen Bewegungen,
wie sie insbesondere bei weitwinkligen Objektiven in der Endoskopie
beobachtet werden.
-
Das
Verfahren kann durch Parallelisierung von Prozessschritten in Signalprozessortechnik
realisiert werden und damit als Modul zur Auflösungssteigerung direkt zwischen
der digitalisierenden Sensorik nach der Faseroptik und einer Anzeige/Wiedergabe
oder Weiterverarbeitung eingesetzt werden.
-
Zusammenfassend
lässt sich
das erfindungsgemäße Verfahren
zur Auflösungssteigerung durch
die Kombination der nachfolgend beschriebenen fünf Schritte charakterisieren:
- 1. Lokalisierung der Faserzentren des Bildleiters. Dieser
Schritt kann durch Anwendung eines modifizierten Maximum-Filters
unterstützt
werden.
- 2. Erzeugung von Nachbarschaftsbeziehungen, beispielsweise durch
Triangulierung und Bereitstellung als geordnetes Dreiecksgitter.
- 3. Berechnung der globalen bzw. lokalen Bewegungsfelder zwischen
den Aufnahmen eines Abschnitts der fiberskopischen Bildsequenz.
Dieser Schritt kann durch einen Vorverarbeitungsschritt, z.B. Interpolation
des Bildmaterials, unterstützt werden.
- 4. Kombination eines Basisbilds mit den Intensitäten der
Faserzentren weiterer Bilder des Abschnitts der Bildsequenz, beispielsweise
durch Einbringen der Bewegungsinvertierten Intensitäten von
Faserzentren als Stützstellen
in ein vorbereitetes HR-Gitter (High-Resolution-Gitter).
- 5. Konvertierung des kombinierten hoch aufgelösten Bildes
in die erforderliche Darstellung, z.B. durch kartesische Abtastung
in ein Abbild mit rechteckig verteilten/angeordneten Bildpunkten. Die
Intrapolation kann durch barizentrische Gewichtung der Grauwertverteilung
zwischen den enthaltenen Stützstellen
aufbereitet werden.
-
Obwohl
anhand der beschriebenen Ausführungsbeispiele
ein Sensor nahegelegt wird, dessen Auflösung hoch ist, bei dem also
der Abstand benachbarter lichtempfindlicher Elemente verglichen mit
dem Abstand benachbarter Faserzentren auf dem Sensor gering ist,
ist eine deutlich größere Auflösung des
Sensors verglichen mit der intrinsischen Auflösung des Faserbündels zwar
vorteilhaft, jedoch nicht zwingend erforderlich. Die vorteilhafte
Implementierung des erfindungsgemäßen Verfahrens ist auch mit
Sensoren, deren Auflösung
in einer ähnlichen
Größenordung
wie die intrinsische Auflösung des
Faserbündels
liegt, durchführbar.
-
Obwohl
in den beschriebenen Ausführungsbeispielen
der vorliegenden Erfindung eine Abtastung von Bildern, um aus ungeordneten
Aufnahmen Aufnahmen mit geordneter gitterförmiger Pixelstruktur zu erhalten
mittels barizentrischer Gewichtung durchgeführt wurde, ist auch jedwede
andere Art der Abtastung geeignet, um das erfindungsgemäße Verfahren
zu implementieren.
-
Darüber hinaus
sind in den Ausführungsbeispielen
der vorliegenden Erfindung überwiegend Sensoren
und rechtwinklig angeordnete, rechteckige lichtsensitive Flächen dargestellt,
wie dies beispielsweise bei CCDs der Fall ist. Eine solche Anforderung ist
in keiner Weise Voraussetzung für
die Implementierung des erfindungsgemäßen Verfahrens. Wenngleich
zur Bewegtbildaufnahme überwiegend
CCDs und CMOS-Sensoren
verwendet werden, sind jedwede anderen lichtempfindlichen Sensorarrays ebenso
geeignet, das erfindungsgemäße Verfahren zu
implementieren, wie beispielsweise Arrays aus Fotodioden und anderen
fotosensitiven Elementen wie Fotokathoden und Fotoelektronenvervielfacher.
-
Wenngleich
zur Bestimmung der Faserzentrenpositionen, also der Abbildungsorte
der Lichtleiter auf dem Sensor eine möglichst homogene Beleuchtung
des Faserbündels
vorteilhaft ist, ist eine Bestimmung der Faserzentren auch mittels
einer inhomogenen Beleuchtung durchführbar.
-
Zur
Bestimmung der Intensitätswerte
der Niedrigauflösungsbilder
ist es vorteilhaft, wie es anhand der Ausführungsbeispiele beschrieben
ist, über die
gesamte von einer einzelnen Faser beleuchtete Fläche eine Integration der Intensitäten durchzuführen. Dabei
kann alternativ und zur Genauigkeitssteigerung auch eine abweichende
Lichtsensitivität
einzelner Pixel des Sensors berücksichtigt
werden, die beispielweise zusätzlich
zu den Abbildungsorten in den Lageinformationen gespeichert werden
kann, wenn diese bei homogener Beleuchtung des Faserbündels 102 im
Schritt der Ka libration und Bestimmung der Abbildungsorte mit den
Abbildungsorten gespeichert werden.
-
Obwohl
das erfindungsgemäße Konzept
in den vorhergehenden Abschnitten überwiegend in Anwendung auf
faseroptische endoskopische Systeme diskutiert wurde, versteht es
sich von selbst, dass dieses darüber
hinaus überall
dort anwendbar ist, wo eine Auflösungssteigerung
eines vignettierten Bildes erzielt werden soll.
-
Abhängig von
den Gegebenheiten kann das erfindungsgemäße Verfahren Erzeugen eines
Hochauflösungsbildes
in Hardware oder in Software implementiert werden. Die Implementierung
kann auf einem digitalen Speichermedium, insbesondere einer Diskette
oder CD mit elektronisch auslesbaren Steuersignalen erfolgen, die
so mit einem programmierbaren Computersystem zusammenwirken können, dass
das erfindungsgemäße Verfahren
Erzeugen eines Hochauflösungsbildes
ausgeführt
wird. Allgemein besteht die Erfindung somit auch in einem Computer-Programm-Produkt
mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode
zur Durchführung
des erfindungsgemäßen Verfahrens,
wenn das Computer-Programm-Produkt
auf einem Rechner abläuft.
In anderen Worten ausgedrückt
kann die Erfindung somit als ein Computer-Programm mit einem Programmcode zur
Durchführung
des Verfahrens realisiert werden, wenn das Computer-Programm auf
einem Computer abläuft.