DE19726877C2 - Bildverarbeitungssystem und Verfahren zur Bildverarbeitung für Endoskope - Google Patents
Bildverarbeitungssystem und Verfahren zur Bildverarbeitung für EndoskopeInfo
- Publication number
- DE19726877C2 DE19726877C2 DE19726877A DE19726877A DE19726877C2 DE 19726877 C2 DE19726877 C2 DE 19726877C2 DE 19726877 A DE19726877 A DE 19726877A DE 19726877 A DE19726877 A DE 19726877A DE 19726877 C2 DE19726877 C2 DE 19726877C2
- Authority
- DE
- Germany
- Prior art keywords
- focal length
- image
- optics
- image processing
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
Description
Die Erfindung betrifft ein Bildverarbeitungssystem
und ein Verfahren zur Bearbeitung von mit Endoskopen
erhaltenen Bildern nach dem Oberbegriff des Patent
anspruchs 1. Dabei soll die erfindungsgemäße Lösung
zur Bildrestauration verwendet werden können, wobei
sowohl sämtliche Verzeichnungs- und andere Fehler
korrigiert als auch der physikalisch bedingte Hellig
keitsabfall zu den Bildrändern kompensiert werden
sollen. Solche Endoskope mit veränderlichen Brennwei
tenbereich ermöglichen eine entsprechend variable
Vergrößerung und dadurch auch eine Sichtwinkelbe
reichsänderung, können sie in den verschiedensten
Gebieten der Technik und insbesondere in der Chirur
gie eingesetzt werden. Unter operativen und diagno
stischen Bedingungen ist es häufig erforderlich, die
verschiedensten Informationen über die zu betrachten
den Objekte einmal in einem Überblick und zum anderen
im Mikrobereich zu gewinnen. Da dies in der Regel
durch Veränderung der Brennweite der jeweiligen Optik
erreicht wird, ist es erforderlich, die Abbildungs
fehler, bei den Bildern auftretenden Verzeichnungen
und den Helligkeitsabfall zu den Bildrändern auszu
gleichen, wobei keine oder nur sehr kleine Zeitkon
stanten zugelassen werden dürfen, also eine zumindest
nahezu Echtzeitdarstellung erfolgen muß.
Bisher üblicherweise verwendete Endoskope mit elek
tronischer Bildübertragung arbeiten einmal mit einer
proximalseitig angeordneten Videokamera oder es wird
ein elektronischer Bildwandler (CCD-Sensoren) im An
schluß an eine entsprechend ausgebildete Optik ange
ordnet, mit der die Brennweite in Stufen oder konti
nuierlich verändert werden kann.
Mit dem Bildwandler wird dann das dort abgebildete
Bild in elektronische Signale umgewandelt und auf
herkömmliche Art und Weise verarbeitet, einem Display
(z. B. Monitor) zugeführt und dort kann das Bild des
jeweils anvisierten Objektes optisch sichtbar gemacht
werden.
Ein solches Endoskop ist beispielsweise aus DE 43 19 502 A1
bekannt, wobei ein Zoom-Objektiv, bestehend
aus mehreren Linsen, eingesetzt wird, die mittels
einer Mechanik eine Brennweitenveränderung ermögli
chen. Dabei wird ein Sensor verwendet, um ein dista
les fokussieren zu ermöglichen und damit für den Be
nutzer die Augenabberation konstant bleibt, um eine
einfache und bequeme Benutzung im gesamten Brennwei
tenbereich zu erreichen.
Bei diesem bekannten Endoskop ist es jedoch nicht
möglich, sämtliche Abbildungsfehler, die bedingt
durch die eingesetzte Optik auftreten, zu berücksich
tigen und zu korrigieren, so daß eine nahezu origi
nalgetreue Darstellung des anvisierten Objektes nicht
möglich wird und insbesondere Verzeichnungsfehler und
Helligkeitsfehler an den Bildrändern unberücksichtigt
bleiben.
Von R. Wartmann ist in "Die Entzerrung verzeichnungs
behafteter Bilder in der messenden digitalen Bildver
arbeitung"; Jahrbuch für Optik und Feinmechanik 43.
Jahrgang (1996); Berlin; Verlag Schiele & Schön, auf
das Erfordernis der Korrektur von Verzeichnungsfeh
lern hingewiesen worden. Dabei wird beispielhaft ein
Algorithmus beschrieben, wie auf iterativem Wege kon
struktionsbedingte (systematische, reproduzierbar
auftretende) Verzeichnungsfehler korrigiert werden
können. Ausgehend aus der Kenntnis über die jeweilige
Grundverzeichnung und die Pupillenabberation können
diese Fehler rechnerisch bei einer Bildverarbeitung
berücksichtigt werden, wobei eine entsprechend rela
tiv lange Bearbeitungszeit erforderlich ist, so daß
die Abarbeitung des Algorithmus für eine Echtzeitdar
stellung zu lange dauert. Die Bestimmung der Randbe
dingungen und die notwendige Kalibrierung des Algo
rithmus für eine ausreichende Anzahl von Einzelposi
tionen eines Zoom-Objektives für die verschiedenen
eingestellten Brennweiten ist sehr aufwendig, so daß
der Einsatz unter Bedingungen, wie sie in der Chir
urgie herrschen, wenn überhaupt nur bedingt erfolgen
kann. Eine Korrektur von auf Fertigungstoleranzen und
fertigungsbedingte Fehler zurückgehenden (sogenannten
zufälligen) Verzeichnungsfehlern ist mit derartigen
Algorithmen nicht möglich.
Daneben ist aus der US 5,313,306 eine Pseudo-Zoom-
Kamera bekannt, bei der anstelle eines herkömmlichen
Zoom-Objektives ein Weitwinkelobjektiv eingesetzt
wird. Die Auswahl des Bildausschnittes und des Bild
winkels wird bei dieser Lösung durch die Bildverar
beitung erreicht. Eine eventuelle Vergrößerung der
Abbildung wird dabei dadurch erreicht, daß nur die
Informationen einer Teilfläche des Bildwandlers bei
der letztendlichen Abbildung berücksichtigt werden.
Dies hat einmal den Nachteil, daß die Ansprüche an
die Bildauflösung der Abbildung und damit der Bild
qualität verringert werden müssen oder es muß ein
sehr hochauflösender CCD-Wandler verwendet werden,
der sehr kostenintensiv ist und in seinen Abmessungen
noch so groß ist, daß er nicht ohne weiteres im En
doskop integriert werden kann.
Aus US 5,313,306 ist es weiter bekannt, die Bildkor
rektur auf der Basis einer mathematischen Transforma
tion vorzunehmen, deren Parameter über eine Modell
bildung aus den Abbildungseigenschaften des optischen
Systems gewonnen werden. Dabei erfolgt keine voll
ständige Korrektur sämtlicher Fehler und insbesondere
die systematischen Fehler des jeweiligen Endoskoptyps
und die Fehler, die durch Fertigungstoleranzen und
Unregelmäßigkeiten bei der Herstellung bedingt sind,
werden nicht berücksichtigt, so daß individuelle Kor
rekturen nur im begrenzten Maße erfolgen.
Bei dieser Lösung erfolgt auch keine Korrektur des
Fehlers, der durch Helligkeitsabfall an den Bildrän
dern hervorgerufen wird.
In DE 94 14 957 U1 ist eine Trokar-Bilderzeugungsvor
richtung beschrieben, mit der ein in einem Körper
aufgenommenes Bild zu einer Auswerteeinheit über
tragen werden soll. Dabei sollen in dieser Vorrich
tung verschiedene objektive eingesetzt werden können
und die jeweiligen Abbildungen auf einer Kamera ab
gebildet werden, und die so erhaltenen elektronischen
Bildsignale zur Verfügung gestellt werden können. Es
werden hier keine Maßnahmen vorgeschlagen, um bei der
Abbildung auftretender Fehler zu korrigieren.
In JP 04-200081 A ist ein Bildaufnahmegerät beschrie
ben, das mehrere neuronale Netzwerke verwendet, um,
eine Korrektur der Linsen-Abberation durch Korrektur
der elektrischen Signale, die mit einer CCD-Einheit
erfaßt worden sind, zu ermöglichen. Dabei handelt es
sich bei den vorbeschriebenen Bildaufnahmegerät zwei
fellos um ein Photokamera.
Eine weitere Photokamera, bei der ein neuronales
Netzwerk verwendet werden soll, ist in US 5,227,835
beschrieben. Bei dieser Kamera dient jedoch das neu
ronale Netzwerk ausschließlich zur Steuerung der Ka
mera für die Aufnahme von Bildern, wobei der per
sönliche Aspekt des jeweiligen Photographen durch die
Lernfunktion, die das neuronale Netzwerk ermöglicht,
berücksichtigt werden soll.
Es ist daher Aufgabe der Erfindung, eine Möglichkeit
zu schaffen, mit der optische Informationen, die mit
einem Endoskop oder einem endoskopähnlichen Gerät er
halten werden können, so zu verarbeiten, daß eine na
hezu Echtzeitabbildung des anvisierten Objektes bei
gleichzeitiger nahezu vollständiger Korrektur sämtli
cher Abbildungsfehler, die durch die mit einer Brenn
weitenveränderung versehene Optik hervorgerufen wer
den.
Erfindungsgemäß wird diese Aufgabe durch die im Pa
tentanspruch 1 genannten Merkmale für das erfindungs
gemäße Bildverarbeitungssystem und die Merkmale der
Patentansprüche 7 und 8 für das Bildverarbeitungsverfahren
gelöst. Vorteilhafte Ausgestaltungsformen und Weiter
bildungen der Erfindung ergeben sich bei Verwendung
der in den untergeordneten Ansprüchen enthaltenen
Merkmale.
Dabei ist es bei der erfindungsgemäßen Lösung möglich
durch Kompensation bzw. Korrektur das fehlerbehaftete
Übertragungsverhalten des gesamten optischen und
elektronischen Systems zu beeinflussen, wobei auch
das den Bildsignalen überlagerte Rauschen entspre
chend berücksichtigt werden kann. Dies soll nachfol
gend schematisch durch die Darstellung der fehlerbe
hafteten Bildfunktion g(x', y', f), die durch die
Übertragungsfunktion des gesamten optisch/elektroni
schen Systems h(x', y', x, y, f) mit dem überlagerten
Rauschen n(x', y') gebildet wird, sowie der dem
optisch/elektronischen System nachgeschalteten Kor
rekturfunktion w(x', y', f) gezeigt werden.
Dabei stehen x, y für die planaren Objektkoordinaten,
x', y' für die Koordinaten der diskreten Intensitätssensoren
(Pixel) auf dem Bildaufnahmesensor (CCD-Ma
trix) sowie f für die Brennweite der Zoom-Optik.
Erfindungsgemäß werden die optikbedingten Abbildungs
fehler unter Verwendung eines echtzeitfähigen neuro
nalen Netzwerkes korrigiert. Das neuronale Netzwerk
wird dabei an einer Schnittstelle zwischen einer Si
gnalvorverarbeitung, bei der die Signale verstärkt, -
konditioniert und digitalisiert werden und einer Si
gnalverarbeitung, bei der die Signale gegebenenfalls
gefiltert, einer Merkmalsextraktion unterzogen und
über ein Interface einen Display zuführbar werden,
angeordnet.
Die Korrekturfunktion w(x', y', f) wird erfindungsgemäß
durch ein ein- oder mehrlagiges neuronales Netzwerk
bereitgestellt, dessen Schwerpunktwerte die Korrek
turfunktion definieren. Zur Ermittlung der Schwer
punktwerte und damit der Korrekturfunktion in Abhän
gigkeit von der aktuellen Brennweite w(x', y', f) wer
den mehrere in Gestaltung und Größe bekannte Muster
als Objekt anvisiert. Aus dem dabei erhaltenen feh
lerbehafteten Bildsignal g(x', y', f) sowie der bekann
ten Objektfunktion A(x, y) wird mit dem Ziel einer
weitestgehenden Kongruenz von Objektfunktion A(x, y)
und Bildfunktion A'(x', y') durch einen Trainingspro
zeß die Korrekturfunktion w(x', y', f) für eine endli
che Menge von Brennwerten f gewonnen. Das ent
sprechende Abbild dieser Korrekturfunktion wird in
Form ermittelter Schwerpunktwerte für verschiedene
bei der Optik eingestellte Brennweiten in einem Da
tenspeicher abgelegt.
Für die Reproduktion der Korrekturfunktion ist das
neuronale Netzwerk mit einer nichtflüchtigen, programmierbaren
Speichereinrichtung für die Speicherung
der für die jeweilige Brennweite gültigen Schwer
punktwerte verbunden.
Die gespeicherten Schwerpunktwerte werden für die
brennweitenabhängige Korrekturfunktion w(x', y', f)
über einen Baustein bzw. eine Funktion zur Parameter
auswahl aus dem Speicher ausgelesen, dem neuronalen
Netzwerk zur Verfügung gestellt und für die Korrektur
des Bildsignals verwendet.
Hierfür wird ein Brennweitenerfassungssystem verwen
det, das, wie noch zu beschreiben sein wird, in un
terschiedlichster Form angewendet werden kann.
Die jeweilige Brennweite kann dabei beispielsweise
bei einem Zoom-Objektiv mit einem Positionssensor an
der Optik erfaßt werden und das Signal, das der ein
gestellten Brennweite entspricht, kann über eine Po
sitionsauswertung dem Baustein bzw. der Funktion zur
Parameterauswahl und damit der durch das neuronale
Netzwerk realisierten Korrekturfunktion w(x', y', f)
zur Verfügung gestellt werden.
Eine andere Möglichkeit zur Erfassung der jeweils mit
der Optik eingestellten Brennweite besteht darin, daß
die Steuersignale eines Antriebes für die Einstellung
der Brennweite an der Optik des Endoskopes parallel
zur Positionsauswertung herangezogen werden, um die
eingestellte Brennweite zu erfassen und das entspre
chende Brennweitensignal in der gleichen Form für die
Fehlerkorrektur auszunutzen, wie dies bei der Verwen
dung des bereits genannten Positionssensors der Fall
war.
Eine weitere vorteilhafte Möglichkeit zur Erfassung
der eingestellten Brennweite der Optik besteht darin,
daß eine Hilfsstruktur in den Strahlengang des opti
schen Systems, bevorzugt auf einem der optischen Bau
elemente, angeordnet wird. Diese Hilfsstruktur hat
eine bekannte Geometrie und eine bekannte Größe, so
daß sich die Abbildung auf dem elektronischen
Bildwandler brennweitenabhängig verändert. Mit den
bekannten Daten der Hilfsstruktur kann das auf dem
elektronischen Bildwandler abgebildete Bild der
Hilfsstruktur ausgenutzt werden, um die Brennweite zu
berechnen. Da die Hilfsstruktur bekannt ist, kann
diese auf elektronischem Wege bei der nachfolgenden
Bildverarbeitung wieder aus der eigentlichen Abbil
dung des Objektes ausgeblendet werden. Diese Struktur
kann aber auch so ausgebildet sein, daß ihre Größe so
klein gehalten oder so angeordnet ist, daß sie bei
der letztendlichen Abbildung auf dem Display zu ver
nachlässigen ist.
Mit der Erfindung ist es nunmehr, im Gegensatz zu den
bekannten Lösungen, möglich, eine kontinuierliche Be
obachtung durchzuführen, wie sie bei chirurgischen
Operationen unabdingbar ist, und außerdem über die
gesamte Zeit eine große Variationsbreite für Brenn
weite und Sichtwinkel bei weitgehender Korrektur der
konstruktions- und fertigungstoleranzabhängigen Ab
bildungsfehler und Verzeichnungen zu erreichen. Mit
der erfindungsgemäßen Verwendung von neuronalen Netz
werken ist es im Gegensatz zum bekannten möglich,
sowohl baureihenweise (systematische), wie auch gerä
tespezifische (zufällige) Fehler und Einflüsse auszu
gleichen und dies auch dann, wenn solche Fehler an
sich unbekannt und/oder analytisch nicht oder nur mit
sehr großem Aufwand zu erfassen sind. Das neuronale
Netzwerk ist in der Lage solche Fehler bei der Kor
rektur des Bildes des abzubildenden Objektes zu be
rücksichtigen. Mit der Erfindung ist es, im Gegensatz
zu den bekannten Lösungen, weiterhin möglich, eine
kontinuierliche Beobachtung durchzuführen und zeit
gleich den optisch bedingten Helligkeitsabfall zu den
Bildrändern zu kompensieren. Dadurch wird eine auto
matische Kalibrierung des Endoskopes erreichbar.
Mit der Realisierung des Bildverarbeitungssystems und
Bildverarbeitungsverfahrens zur Bildrestauration nach
der Erfindung können Verzeichnungs- und andere Fehler
bei Endoskopen oder endoskopähnlichen Geräten bei der
Abbildung korrigiert werden, so daß solche Systeme
sehr flexibel und allgemein anwendbar sind. Sie kön
nen bei sehr vielen diagnostischen und therapeuti
schen Aufgaben in der Medizin Verwendung finden. Es
besteht aber auch die Möglichkeit, sie auf anderen
Gebieten der Technik mit den bereits genannten Vor
teilen einzusetzen, da ein solches System mit relativ
geringen Kosten hergestellt werden kann.
In der Medizin oder in der Technik können die ver
schiedensten Objekte bei verschiedensten Situationen,
in Abhängigkeit von den jeweiligen Erfordernissen
abgebildet werden.
Es können konstruktionsbedingte Abbildungsfehler der
Optik, die sich in Verzeichnung oder Pupillenabbera
tion manifestieren, korrigiert werden. Solche Fehler
können durch Fertigungstoleranzen, wie Zentrierfeh
ler, rotationssymmetrische und nichtrotationssymme
trische Abweichungen von den Konstruktionsparametern,
insbesondere an den verwendeten Linsen in Echtzeit
kontinuierlich oder quasikontinuierlich über den gesamten
Brennweitenbereich berücksichtigt werden.
Auch der optisch bedingte Helligkeitsabfall an den
Bildrändern kann entsprechend kontinuierlich oder
quasikontinuierlich über den gesamten Brennweitenbe
reich kompensiert werden.
Neben diesen genannten Fehlern können auch die bei
der optoelektronischen Signalwandlung auftretenden
Fehler (z. B. Bildrauschen) in Echtzeit kontinuierlich
oder quasikontinuierlich über den gesamten Brennwei
tenbereich berücksichtigt werden, wobei auch eine
Überlagerung mit den erstgenannten Fehlerarten keine
Probleme bei der Korrektur mit sich bringt. Das er
findungsgemäß ausgebildete Bildverarbeitungssystem
ist robust und zuverlässig, da die verwendete Anzahl
mechanisch betätigter Teile sehr beschränkt ist.
Nachfolgend soll die Erfindung an Ausführungsbeispie
len näher beschrieben werden.
Dabei zeigt:
Fig. 1: ein Blockschaltbild eines Ausführungsbei
spieles nach der Erfindung;
Fig. 2: ein weiteres Blockschaltbild eines zweiten
Ausführungsbeispieles;
Fig. 3: ein drittes Ausführungsbeispiel eines er
findungsgemäßen Bildverarbeitungssystems
und
Fig. 4: drei Darstellungen von Mustern für die
Trainierung des erfindungsgemäß zu verwen
denden neuronalen Netzwerkes.
Die Fig. 1 bis 3 geben verschiedene Ausführungsbeispiele
für die Erfindung in Form von Blockschalt
bildern wieder.
Bei dem in der Fig. 1 gezeigten Ausführungsbeispiel
wird ein Objekt 1 mittels eines Endoskopes oder eines
endoskopähnlichen Gerätes 2, das mit einer Optik 3
mit einer stark veränderlichen Brennweite ausgestat
tet ist, auf einen Bildwandler 4 abgebildet. Der
Bildwandler 4 wandelt die optischen Informationen in
elektronische Signale und diese gewandelten Signale
gelangen über eine Signalvorverarbeitungs-/Signalkon
ditionierungseinheit 5 in digitalisierter Form zu
einem bildkorrigierenden System 6. Das bildkorrigie
rende System 6 wird aus einem neuronalen Netzwerk 7,
einem Speicher 8 für Schwerpunktwerte, einer Ablauf
steuerung 9, einer Einheit zur Parameterauswahl 10
und entsprechenden Ein-/Ausgabebausteinen 11 und 12
gebildet. Die Korrektur der gewandelten Signale er
folgt in Abhängigkeit der momentanen Brennweite der
Optik 3 mit Hilfe des neuronalen Netzwerkes 7, so daß
eine Bildverarbeitungseinheit 13 bzw. einem Display
14 Signale, die ein weitgehend fehler- und verzeich
nungsfreies Abbild des Objektes 1 repräsentieren, zur
Verfügung gestellt werden.
Die Brennweiteneinstellung der Optik 3 kann dabei
manuell aber auch unter Verwendung eines Antriebes
erfolgen.
Bei diesem Beispiel wird die aktuelle Brennweite un
ter Verwendung eines Positionssensors 16 erfaßt und
über eine Positionsauswertung 19 zur Parameterauswahl
10 dem neuronalen Netzwerk 7 zur Korrektur der das
Bild repräsentierenden Informationssignale zur Ver
fügung gestellt, wobei diese aus dem Speicher 8
brennweitenabhängige Schwerpunktwerte auslesbar sind.
Bei dem in der Fig. 2 dargestellten Blockschaltbild
für ein zweites Ausführungsbeispiel wird anstelle des
Positionssensors 16 für die Optik 3 das Steuersignal
einer Zoom-Steuerung 18 für einen Antrieb der Optik
3, mit dem die Brennweite verändert werden kann, zur
Brennweitenerfassung ausgenutzt.
Die Berücksichtigung der gemessenen Brennweite bei
der Bildkorrektur erfolgt dann in der gleichen Form,
wie dies bereits für das erste Ausführungsbeispiel
ausgeführt worden ist.
Bei dem in der Fig. 3 gezeigten Blockschaltbild ei
nes dritten Ausführungsbeispiels wird auf eine direk
te Messung der Objektivposition verzichtet und die
Brennweite auf indirektem Wege ermittelt. Dabei wird
im optischen Strahlengang, bevorzugt auf einem der
bewegten optischen Bauelemente der Optik 3 eine
Hilfsstruktur angeordnet, deren Geometrie und Größe
bekannt ist. Die entsprechenden Informationen über
die Hilfsstruktur werden ähnlich verarbeitet, wie
dies mit den Signalen des Objektes 1 der Fall ist.
Von der Bildverarbeitung 13 werden die der Hilfs
struktur entsprechenden Signale einer Positionsaus
wertung 19 für die Parameterauswahl 10 zur Verfügung
gestellt, um die mit der Positionsauswertung 19 be
stimmte Brennweite der Optik 3 bei der Korrektur zu
berücksichtigen. Dies ist dadurch möglich, daß die
Ausgangskoordinaten der Hilfsstruktur bekannt sind
und deren Abbildung auf dem Bildwandler 4 ent
sprechend der eingestellten Brennweite der Optik 3
erfolgt und mit der Abbildung der Hilfsstruktur auf
dem Bildwandler 4 die eingestellte Brennweite der
Optik 3 rechnerisch bestimmt werden kann.
In der Fig. 4 sind dann verschiedene Muster 20, 21
und 22 gezeigt, die anstelle des Objektes 1 zum Trai
nieren des neuronalen Netzwerkes 7 und damit zur Er
mittlung der Bildkorrekturfunktion eingesetzt werden.
Da die Ausgangsmuster in ihrer Form und Größe bekannt
sind, kann deren fehlerbehaftete Abbildung auf dem
Bildwandler 4 mit einer ideal zu erwartenden Abbil
dung verglichen werden. Aus diesem Vergleich ermit
telt das selbstlernende neuronale Netzwerk 7 die die
Bildkorrekturfunktion deteminierenden Schwerpunktwer
te, die für verschiedene Brennweiten der Optik 3 im
Schwerpunktwertespeicher 8 abgelegt werden. Diese im
Speicher 8 abgelegten Schwerpunktwerte werden im wei
teren brennweitenabhängig mit Hilfe der Positionsaus
wertung 19 und der Parameterauswahl 10 bei der Bild
wiedergabe im Echtzeitbetrieb des Endoskopes 2 für
die Korrektur sämtlicher Bildfehler eingesetzt.
Die Muster 20, 21 und 22 sind dabei vorteilhaft so
ausgebildet, daß mit Ihnen Helligkeits- und Verzeich
nungsfehler der jeweiligen Optik 3 für das spezifi
sche Endoskop 2 erkannt, korrigiert und bei der Bild
verarbeitung entsprechend berücksichtigt werden kön
nen.
Claims (14)
1. Bildverarbeitungssystem für Endoskope mit einer
Optik mit einstellbarer Brennweite, bei dem Ob
jekte (1) auf einem elektronischen Bildwandler
(4) abbildbar und digitalisiert über eine elek
tronische Bildverarbeitung einem Display (14)
zuführbar sind,
dadurch gekennzeichnet,
daß an einer Schnittstelle zwischen einer digi talisierenden Signalvorverarbeitungsstufe und einer Signalverarbeitungsstufe ein neuronales Netzwerk (7) als Korrektursystem für Abbil dungsfehler der Optik (3) und/oder für den Randabfall der Helligkeit integriert ist;
ein nichtflüchtiger programmierbarer Speicher (8), zur Speicherung von für das neuronale Netzwerk (7) benötigten Schwerpunktwerten, und
ein System zur Erfassung der eingestellten Brennweite mit dem neuronalen Netzwerk (7) ver bunden sind.
dadurch gekennzeichnet,
daß an einer Schnittstelle zwischen einer digi talisierenden Signalvorverarbeitungsstufe und einer Signalverarbeitungsstufe ein neuronales Netzwerk (7) als Korrektursystem für Abbil dungsfehler der Optik (3) und/oder für den Randabfall der Helligkeit integriert ist;
ein nichtflüchtiger programmierbarer Speicher (8), zur Speicherung von für das neuronale Netzwerk (7) benötigten Schwerpunktwerten, und
ein System zur Erfassung der eingestellten Brennweite mit dem neuronalen Netzwerk (7) ver bunden sind.
2. Bildverarbeitungssystem nach Anspruch 1,
dadurch gekennzeichnet, daß das System zur Er
fassung der eingestellten Brennweite mit einem
Positionsauswertungssystem (19) für die Optik
(3) verbunden ist.
3. Bildverarbeitungssystem nach Anspruch 1,
dadurch gekennzeichnet, daß die eingestellte
Brennweite mit einem Positionssensor (16) an der
Optik (3) meßbar ist.
4. Bildverarbeitungssystem nach einem der
Ansprüche 1 oder 2,
dadurch gekennzeichnet, daß das System zur Er
fassung der eingestellten Brennweite der Optik
(3) mit einem Antrieb (17) zur Einstellung der
Brennweite, dessen Steuersignale erfassend, ver
bunden ist.
5. Bildverarbeitungssystem nach Anspruch 1,
dadurch gekennzeichnet, daß in den Strahlengang
des optischen Systems (3, 4) eine Hilfsstruktur
bekannter Geometrie und Größe angeordnet ist.
6. Bildverarbeitungssystem nach einem der Ansprüche
1 bis 5,
dadurch gekennzeichnet, daß die Optik (3) ein
Zoom-Objektiv ist.
7. Verfahren zur Bildverarbeitung von Endoskopen,
deren Brennweite einstellbar ist und bei dem das
Objekt (1) mit einer einstellbaren Optik (3) auf
einem Bildwandler (4) abgebildet, mit einer Si
gnalvorverarbeitung die Bildsignale digitali
siert;
und die digitalisierten Bildinformationen mit tels eines neuronalen Netzwerkes (7), unter Be rücksichtigung der eingestellten Brennweite, korrigiert und in korrigierter Form auf einem Display (14) in zumindest nahezu Echtzeit ab gebildet werden.
und die digitalisierten Bildinformationen mit tels eines neuronalen Netzwerkes (7), unter Be rücksichtigung der eingestellten Brennweite, korrigiert und in korrigierter Form auf einem Display (14) in zumindest nahezu Echtzeit ab gebildet werden.
8. Verfahren zur Bildverarbeitung von Endoskopen,
deren Brennweite einstellbar ist und bei dem das
Objekt (1) mit einer einstellbaren Optik (3) auf
einem Bildwandler (4) abgebildet, mit einer Si
gnalvorverarbeitung die Bildsignale digitali
siert;
und die digitalisierten Bildinformationen mit tels eines neuronalen Netzwerkes (7) unter Be rücksichtigung des eingestellten Bildwinkels hinsichtlich des auftretenden Helligkeitsabfal les zu den Bildrändern kompensiert und in kom pensierter Form auf einem Display (14) in zumin dest nahezu Echtzeit abgebildet werden.
und die digitalisierten Bildinformationen mit tels eines neuronalen Netzwerkes (7) unter Be rücksichtigung des eingestellten Bildwinkels hinsichtlich des auftretenden Helligkeitsabfal les zu den Bildrändern kompensiert und in kom pensierter Form auf einem Display (14) in zumin dest nahezu Echtzeit abgebildet werden.
9. Verfahren nach Anspruch 7 oder 8,
dadurch gekennzeichnet, daß die Korrektur unter
Berücksichtigung von in einem Speicher (8), mit
tels einer Erkennung von bekannten Mustern (20,
21, 22) für verschiedene Brennweiten der Optik
(3) erfaßten Schwerpunktwerten durchgeführt
wird.
10. Verfahren nach einem der Ansprüche 7 bis 9,
dadurch gekennzeichnet, daß die eingestellte
Brennweite mit mindestens einem Positionssensor
(16) an der Optik (3) gemessen und das Meßsignal
zum Auslesen der entsprechenden Schwerpunktwerte
aus dem Speicher (8) für die Bildkorrektur auf
bereitet wird.
11. Verfahren nach einem der Ansprüche 7 bis 9,
dadurch gekennzeichnet, daß die eingestellte
Brennweite mittels der Steuersignale eines An
triebs (17) zur Einstellung der Brennweite an
der Optik (3), zum Auslesen der entsprechenden
Schwerpunktwerte aus dem Speicher (8) für die
Bildkorrektur, erfaßt wird.
12. Verfahren nach einem der Ansprüche 7 bis 9,
dadurch gekennzeichnet, daß die eingestellte
Brennweite mit einer im Strahlengang des opti
schen Systems (3, 4) angeordneten Hilfsstruktur
bekannter Größe und Geometrie erfaßt wird; wobei
die Abbildung der Hilfsstruktur berücksichtigt
wird.
13. Verfahren nach einem der Ansprüche 7 bis 9,
dadurch gekennzeichnet, daß brennweiten- und/
oder bildwinkelabhängige Schwerpunktwerte des
neuronalen Netzwerkes (7) durch einen Trainings
prozeß des neuronalen Netzwerkes (7) mit Hilfe
einer oder mehrerer Musteranordnungen (20, 21,
22) ermittelt werden.
14. Verfahren nach Anspruch 13, dadurch gekennzeich
net, daß für den Brennweitenbereich der Optik
(3) mehrere Sätze von Schwerpunktwerten ermit
telt werden.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19726877A DE19726877C2 (de) | 1997-06-24 | 1997-06-24 | Bildverarbeitungssystem und Verfahren zur Bildverarbeitung für Endoskope |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19726877A DE19726877C2 (de) | 1997-06-24 | 1997-06-24 | Bildverarbeitungssystem und Verfahren zur Bildverarbeitung für Endoskope |
Publications (2)
Publication Number | Publication Date |
---|---|
DE19726877A1 DE19726877A1 (de) | 1999-01-07 |
DE19726877C2 true DE19726877C2 (de) | 2002-01-24 |
Family
ID=7833549
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE19726877A Expired - Fee Related DE19726877C2 (de) | 1997-06-24 | 1997-06-24 | Bildverarbeitungssystem und Verfahren zur Bildverarbeitung für Endoskope |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE19726877C2 (de) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7457458B1 (en) | 1999-11-26 | 2008-11-25 | Inb Vision Ag. | Method and apparatus for defining and correcting image data |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1104180B1 (de) * | 1999-11-26 | 2011-01-19 | INB Vision AG | Verfahren und Einrichtung zur Bestimmung und mindestens teilweisen Korrektur der Fehler eines Bildwiedergabesystems |
KR100709323B1 (ko) | 2005-02-04 | 2007-04-20 | 삼성전자주식회사 | 확률 신경회로망 이론을 적용한 영상보상장치 및 방법 |
DE102022110231A1 (de) | 2022-04-26 | 2023-10-26 | Olympus Winter & Ibe Gmbh | Verfahren, Softwareprogramm und System zum Erfassen von Bildunregelmäßigkeiten in von einem videoendoskopischen Instrument erzeugten Bildern |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04200081A (ja) * | 1990-11-29 | 1992-07-21 | Olympus Optical Co Ltd | 撮像装置 |
US5227835A (en) * | 1990-12-21 | 1993-07-13 | Eastman Kodak Company | Teachable camera |
DE4319502A1 (de) * | 1992-06-11 | 1993-12-16 | Keymed Medicals & Ind Equip | Optische Vorrichtung |
US5313306A (en) * | 1991-05-13 | 1994-05-17 | Telerobotics International, Inc. | Omniview motionless camera endoscopy system |
DE9414957U1 (de) * | 1994-05-25 | 1995-09-28 | Lemke Norbert | Trokar-Bilderzeugungsvorrichtung |
-
1997
- 1997-06-24 DE DE19726877A patent/DE19726877C2/de not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04200081A (ja) * | 1990-11-29 | 1992-07-21 | Olympus Optical Co Ltd | 撮像装置 |
US5227835A (en) * | 1990-12-21 | 1993-07-13 | Eastman Kodak Company | Teachable camera |
US5313306A (en) * | 1991-05-13 | 1994-05-17 | Telerobotics International, Inc. | Omniview motionless camera endoscopy system |
DE4319502A1 (de) * | 1992-06-11 | 1993-12-16 | Keymed Medicals & Ind Equip | Optische Vorrichtung |
DE9414957U1 (de) * | 1994-05-25 | 1995-09-28 | Lemke Norbert | Trokar-Bilderzeugungsvorrichtung |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7457458B1 (en) | 1999-11-26 | 2008-11-25 | Inb Vision Ag. | Method and apparatus for defining and correcting image data |
Also Published As
Publication number | Publication date |
---|---|
DE19726877A1 (de) | 1999-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102011008212A1 (de) | In-Vivo-Bildgebungsgerät mit Doppelsichtfeld und Verfahren zur Verwendung | |
EP3293558B1 (de) | Vorrichtung zum erfassen eines stereobilds | |
DE102006053758A1 (de) | Verfahren zur Regelung der Ausrichtung eines Heliostaten auf einen Receiver, Heliostatenvorrichtung und Solarkraftwerk | |
DE102009000550A1 (de) | Weitwinkelbildgebungssystem für die Bereitstellung eines Bildes der Umgebung eines Fahrzeugs, insbesondere eines Kraftfahrzeugs | |
DE102010023108A1 (de) | Projektor mit automatischer Fokussierung und Abbildungsverfahren | |
DE1240298C2 (de) | Anordnung zur Erzeugung zweier Bilder in verschiedenen Wellenlaengenbereichen von einem Gegenstand | |
EP2506027A1 (de) | Abbildungssystem für Sternsensoren mit zwei Brennweiten | |
DE102005040830A1 (de) | Optische Anordnung und Verfahren zur Abbildung tiefenstrukturierter Objekte | |
DE102016113887A1 (de) | Objektsimulationsgerät zum Prüfen eines Kameraobjektivs und Diagnosesystem | |
DE202006004094U1 (de) | Bildaufnahmevorrichtung zum Anschließen an eine Beobachtungsvorrichtung und Beobachtungsvorrichtung mit derartiger Bildaufnahmevorrichtung | |
DE3841575A1 (de) | Einrichtung zur feststellung der blickrichtung des benutzers einer fotografischen kamera | |
DE19726877C2 (de) | Bildverarbeitungssystem und Verfahren zur Bildverarbeitung für Endoskope | |
DE2440167C3 (de) | Einrichtung zur Auswahlsuche eines Objekts nach dessen Bild | |
WO2018141560A1 (de) | Verfahren zum bestimmen einer abweichung auf einem verschiebeweg einer zoom-optik und verfahren zur korrektur sowie bildaufnahmevorrichtung | |
DE2041530C3 (de) | Verfahren zum Fernlenken eines sich selbsttätig bewegenden Körpers und Einrichtung zur Durchführung des Verfahrens | |
DE102012005938A1 (de) | Multispektrales Zoomobjektiv sowie Kamerasystem | |
DE102012009975B4 (de) | Kamera mit opto-elektronischem Entfernungsmesser mit zwei auf einen gemeinsamen Zielpunkt ausgerichteten Bildaufnahme-Modulen | |
EP3554063A1 (de) | Digitaler sucher | |
WO2015085984A1 (de) | VERGRÖßERNDE OPTISCHE VORRICHTUNG | |
WO2008031420A2 (de) | Blendenwerterkennung | |
DE602004007129T2 (de) | Mit digitaler kamera ausgestattetes teleskop | |
DE10018312C2 (de) | Verfahren und Vorrichtung zum Fokussieren eines Bildes | |
DE102019108056A1 (de) | Bilderfassungssystem | |
EP1920287B1 (de) | Tag-nachtsichtgerät | |
AT526091B1 (de) | Fernoptische Vorrichtung |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
D2 | Grant after examination | ||
8364 | No opposition during term of opposition | ||
8339 | Ceased/non-payment of the annual fee |