DE19726877C2 - Bildverarbeitungssystem und Verfahren zur Bildverarbeitung für Endoskope - Google Patents

Bildverarbeitungssystem und Verfahren zur Bildverarbeitung für Endoskope

Info

Publication number
DE19726877C2
DE19726877C2 DE19726877A DE19726877A DE19726877C2 DE 19726877 C2 DE19726877 C2 DE 19726877C2 DE 19726877 A DE19726877 A DE 19726877A DE 19726877 A DE19726877 A DE 19726877A DE 19726877 C2 DE19726877 C2 DE 19726877C2
Authority
DE
Germany
Prior art keywords
focal length
image
optics
image processing
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE19726877A
Other languages
English (en)
Other versions
DE19726877A1 (de
Inventor
Volker Urban
Matthias Schuenemann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority to DE19726877A priority Critical patent/DE19726877C2/de
Publication of DE19726877A1 publication Critical patent/DE19726877A1/de
Application granted granted Critical
Publication of DE19726877C2 publication Critical patent/DE19726877C2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Description

Die Erfindung betrifft ein Bildverarbeitungssystem und ein Verfahren zur Bearbeitung von mit Endoskopen erhaltenen Bildern nach dem Oberbegriff des Patent­ anspruchs 1. Dabei soll die erfindungsgemäße Lösung zur Bildrestauration verwendet werden können, wobei sowohl sämtliche Verzeichnungs- und andere Fehler korrigiert als auch der physikalisch bedingte Hellig­ keitsabfall zu den Bildrändern kompensiert werden sollen. Solche Endoskope mit veränderlichen Brennwei­ tenbereich ermöglichen eine entsprechend variable Vergrößerung und dadurch auch eine Sichtwinkelbe­ reichsänderung, können sie in den verschiedensten Gebieten der Technik und insbesondere in der Chirur­ gie eingesetzt werden. Unter operativen und diagno­ stischen Bedingungen ist es häufig erforderlich, die verschiedensten Informationen über die zu betrachten­ den Objekte einmal in einem Überblick und zum anderen im Mikrobereich zu gewinnen. Da dies in der Regel durch Veränderung der Brennweite der jeweiligen Optik erreicht wird, ist es erforderlich, die Abbildungs­ fehler, bei den Bildern auftretenden Verzeichnungen und den Helligkeitsabfall zu den Bildrändern auszu­ gleichen, wobei keine oder nur sehr kleine Zeitkon­ stanten zugelassen werden dürfen, also eine zumindest nahezu Echtzeitdarstellung erfolgen muß.
Bisher üblicherweise verwendete Endoskope mit elek­ tronischer Bildübertragung arbeiten einmal mit einer proximalseitig angeordneten Videokamera oder es wird ein elektronischer Bildwandler (CCD-Sensoren) im An­ schluß an eine entsprechend ausgebildete Optik ange­ ordnet, mit der die Brennweite in Stufen oder konti­ nuierlich verändert werden kann.
Mit dem Bildwandler wird dann das dort abgebildete Bild in elektronische Signale umgewandelt und auf herkömmliche Art und Weise verarbeitet, einem Display (z. B. Monitor) zugeführt und dort kann das Bild des jeweils anvisierten Objektes optisch sichtbar gemacht werden.
Ein solches Endoskop ist beispielsweise aus DE 43 19 502 A1 bekannt, wobei ein Zoom-Objektiv, bestehend aus mehreren Linsen, eingesetzt wird, die mittels einer Mechanik eine Brennweitenveränderung ermögli­ chen. Dabei wird ein Sensor verwendet, um ein dista­ les fokussieren zu ermöglichen und damit für den Be­ nutzer die Augenabberation konstant bleibt, um eine einfache und bequeme Benutzung im gesamten Brennwei­ tenbereich zu erreichen.
Bei diesem bekannten Endoskop ist es jedoch nicht möglich, sämtliche Abbildungsfehler, die bedingt durch die eingesetzte Optik auftreten, zu berücksich­ tigen und zu korrigieren, so daß eine nahezu origi­ nalgetreue Darstellung des anvisierten Objektes nicht möglich wird und insbesondere Verzeichnungsfehler und Helligkeitsfehler an den Bildrändern unberücksichtigt bleiben.
Von R. Wartmann ist in "Die Entzerrung verzeichnungs­ behafteter Bilder in der messenden digitalen Bildver­ arbeitung"; Jahrbuch für Optik und Feinmechanik 43. Jahrgang (1996); Berlin; Verlag Schiele & Schön, auf das Erfordernis der Korrektur von Verzeichnungsfeh­ lern hingewiesen worden. Dabei wird beispielhaft ein Algorithmus beschrieben, wie auf iterativem Wege kon­ struktionsbedingte (systematische, reproduzierbar auftretende) Verzeichnungsfehler korrigiert werden können. Ausgehend aus der Kenntnis über die jeweilige Grundverzeichnung und die Pupillenabberation können diese Fehler rechnerisch bei einer Bildverarbeitung berücksichtigt werden, wobei eine entsprechend rela­ tiv lange Bearbeitungszeit erforderlich ist, so daß die Abarbeitung des Algorithmus für eine Echtzeitdar­ stellung zu lange dauert. Die Bestimmung der Randbe­ dingungen und die notwendige Kalibrierung des Algo­ rithmus für eine ausreichende Anzahl von Einzelposi­ tionen eines Zoom-Objektives für die verschiedenen eingestellten Brennweiten ist sehr aufwendig, so daß der Einsatz unter Bedingungen, wie sie in der Chir­ urgie herrschen, wenn überhaupt nur bedingt erfolgen kann. Eine Korrektur von auf Fertigungstoleranzen und fertigungsbedingte Fehler zurückgehenden (sogenannten zufälligen) Verzeichnungsfehlern ist mit derartigen Algorithmen nicht möglich.
Daneben ist aus der US 5,313,306 eine Pseudo-Zoom- Kamera bekannt, bei der anstelle eines herkömmlichen Zoom-Objektives ein Weitwinkelobjektiv eingesetzt wird. Die Auswahl des Bildausschnittes und des Bild­ winkels wird bei dieser Lösung durch die Bildverar­ beitung erreicht. Eine eventuelle Vergrößerung der Abbildung wird dabei dadurch erreicht, daß nur die Informationen einer Teilfläche des Bildwandlers bei der letztendlichen Abbildung berücksichtigt werden. Dies hat einmal den Nachteil, daß die Ansprüche an die Bildauflösung der Abbildung und damit der Bild­ qualität verringert werden müssen oder es muß ein sehr hochauflösender CCD-Wandler verwendet werden, der sehr kostenintensiv ist und in seinen Abmessungen noch so groß ist, daß er nicht ohne weiteres im En­ doskop integriert werden kann.
Aus US 5,313,306 ist es weiter bekannt, die Bildkor­ rektur auf der Basis einer mathematischen Transforma­ tion vorzunehmen, deren Parameter über eine Modell­ bildung aus den Abbildungseigenschaften des optischen Systems gewonnen werden. Dabei erfolgt keine voll­ ständige Korrektur sämtlicher Fehler und insbesondere die systematischen Fehler des jeweiligen Endoskoptyps und die Fehler, die durch Fertigungstoleranzen und Unregelmäßigkeiten bei der Herstellung bedingt sind, werden nicht berücksichtigt, so daß individuelle Kor­ rekturen nur im begrenzten Maße erfolgen.
Bei dieser Lösung erfolgt auch keine Korrektur des Fehlers, der durch Helligkeitsabfall an den Bildrän­ dern hervorgerufen wird.
In DE 94 14 957 U1 ist eine Trokar-Bilderzeugungsvor­ richtung beschrieben, mit der ein in einem Körper aufgenommenes Bild zu einer Auswerteeinheit über­ tragen werden soll. Dabei sollen in dieser Vorrich­ tung verschiedene objektive eingesetzt werden können und die jeweiligen Abbildungen auf einer Kamera ab­ gebildet werden, und die so erhaltenen elektronischen Bildsignale zur Verfügung gestellt werden können. Es werden hier keine Maßnahmen vorgeschlagen, um bei der Abbildung auftretender Fehler zu korrigieren.
In JP 04-200081 A ist ein Bildaufnahmegerät beschrie­ ben, das mehrere neuronale Netzwerke verwendet, um, eine Korrektur der Linsen-Abberation durch Korrektur der elektrischen Signale, die mit einer CCD-Einheit erfaßt worden sind, zu ermöglichen. Dabei handelt es sich bei den vorbeschriebenen Bildaufnahmegerät zwei­ fellos um ein Photokamera.
Eine weitere Photokamera, bei der ein neuronales Netzwerk verwendet werden soll, ist in US 5,227,835 beschrieben. Bei dieser Kamera dient jedoch das neu­ ronale Netzwerk ausschließlich zur Steuerung der Ka­ mera für die Aufnahme von Bildern, wobei der per­ sönliche Aspekt des jeweiligen Photographen durch die Lernfunktion, die das neuronale Netzwerk ermöglicht, berücksichtigt werden soll.
Es ist daher Aufgabe der Erfindung, eine Möglichkeit zu schaffen, mit der optische Informationen, die mit einem Endoskop oder einem endoskopähnlichen Gerät er­ halten werden können, so zu verarbeiten, daß eine na­ hezu Echtzeitabbildung des anvisierten Objektes bei gleichzeitiger nahezu vollständiger Korrektur sämtli­ cher Abbildungsfehler, die durch die mit einer Brenn­ weitenveränderung versehene Optik hervorgerufen wer­ den.
Erfindungsgemäß wird diese Aufgabe durch die im Pa­ tentanspruch 1 genannten Merkmale für das erfindungs­ gemäße Bildverarbeitungssystem und die Merkmale der Patentansprüche 7 und 8 für das Bildverarbeitungsverfahren gelöst. Vorteilhafte Ausgestaltungsformen und Weiter­ bildungen der Erfindung ergeben sich bei Verwendung der in den untergeordneten Ansprüchen enthaltenen Merkmale.
Dabei ist es bei der erfindungsgemäßen Lösung möglich durch Kompensation bzw. Korrektur das fehlerbehaftete Übertragungsverhalten des gesamten optischen und elektronischen Systems zu beeinflussen, wobei auch das den Bildsignalen überlagerte Rauschen entspre­ chend berücksichtigt werden kann. Dies soll nachfol­ gend schematisch durch die Darstellung der fehlerbe­ hafteten Bildfunktion g(x', y', f), die durch die Übertragungsfunktion des gesamten optisch/elektroni­ schen Systems h(x', y', x, y, f) mit dem überlagerten Rauschen n(x', y') gebildet wird, sowie der dem optisch/elektronischen System nachgeschalteten Kor­ rekturfunktion w(x', y', f) gezeigt werden.
Dabei stehen x, y für die planaren Objektkoordinaten, x', y' für die Koordinaten der diskreten Intensitätssensoren (Pixel) auf dem Bildaufnahmesensor (CCD-Ma­ trix) sowie f für die Brennweite der Zoom-Optik.
Erfindungsgemäß werden die optikbedingten Abbildungs­ fehler unter Verwendung eines echtzeitfähigen neuro­ nalen Netzwerkes korrigiert. Das neuronale Netzwerk wird dabei an einer Schnittstelle zwischen einer Si­ gnalvorverarbeitung, bei der die Signale verstärkt, - konditioniert und digitalisiert werden und einer Si­ gnalverarbeitung, bei der die Signale gegebenenfalls gefiltert, einer Merkmalsextraktion unterzogen und über ein Interface einen Display zuführbar werden, angeordnet.
Die Korrekturfunktion w(x', y', f) wird erfindungsgemäß durch ein ein- oder mehrlagiges neuronales Netzwerk bereitgestellt, dessen Schwerpunktwerte die Korrek­ turfunktion definieren. Zur Ermittlung der Schwer­ punktwerte und damit der Korrekturfunktion in Abhän­ gigkeit von der aktuellen Brennweite w(x', y', f) wer­ den mehrere in Gestaltung und Größe bekannte Muster als Objekt anvisiert. Aus dem dabei erhaltenen feh­ lerbehafteten Bildsignal g(x', y', f) sowie der bekann­ ten Objektfunktion A(x, y) wird mit dem Ziel einer weitestgehenden Kongruenz von Objektfunktion A(x, y) und Bildfunktion A'(x', y') durch einen Trainingspro­ zeß die Korrekturfunktion w(x', y', f) für eine endli­ che Menge von Brennwerten f gewonnen. Das ent­ sprechende Abbild dieser Korrekturfunktion wird in Form ermittelter Schwerpunktwerte für verschiedene bei der Optik eingestellte Brennweiten in einem Da­ tenspeicher abgelegt.
Für die Reproduktion der Korrekturfunktion ist das neuronale Netzwerk mit einer nichtflüchtigen, programmierbaren Speichereinrichtung für die Speicherung der für die jeweilige Brennweite gültigen Schwer­ punktwerte verbunden.
Die gespeicherten Schwerpunktwerte werden für die brennweitenabhängige Korrekturfunktion w(x', y', f) über einen Baustein bzw. eine Funktion zur Parameter­ auswahl aus dem Speicher ausgelesen, dem neuronalen Netzwerk zur Verfügung gestellt und für die Korrektur des Bildsignals verwendet.
Hierfür wird ein Brennweitenerfassungssystem verwen­ det, das, wie noch zu beschreiben sein wird, in un­ terschiedlichster Form angewendet werden kann.
Die jeweilige Brennweite kann dabei beispielsweise bei einem Zoom-Objektiv mit einem Positionssensor an der Optik erfaßt werden und das Signal, das der ein­ gestellten Brennweite entspricht, kann über eine Po­ sitionsauswertung dem Baustein bzw. der Funktion zur Parameterauswahl und damit der durch das neuronale Netzwerk realisierten Korrekturfunktion w(x', y', f) zur Verfügung gestellt werden.
Eine andere Möglichkeit zur Erfassung der jeweils mit der Optik eingestellten Brennweite besteht darin, daß die Steuersignale eines Antriebes für die Einstellung der Brennweite an der Optik des Endoskopes parallel zur Positionsauswertung herangezogen werden, um die eingestellte Brennweite zu erfassen und das entspre­ chende Brennweitensignal in der gleichen Form für die Fehlerkorrektur auszunutzen, wie dies bei der Verwen­ dung des bereits genannten Positionssensors der Fall war.
Eine weitere vorteilhafte Möglichkeit zur Erfassung der eingestellten Brennweite der Optik besteht darin, daß eine Hilfsstruktur in den Strahlengang des opti­ schen Systems, bevorzugt auf einem der optischen Bau­ elemente, angeordnet wird. Diese Hilfsstruktur hat eine bekannte Geometrie und eine bekannte Größe, so daß sich die Abbildung auf dem elektronischen Bildwandler brennweitenabhängig verändert. Mit den bekannten Daten der Hilfsstruktur kann das auf dem elektronischen Bildwandler abgebildete Bild der Hilfsstruktur ausgenutzt werden, um die Brennweite zu berechnen. Da die Hilfsstruktur bekannt ist, kann diese auf elektronischem Wege bei der nachfolgenden Bildverarbeitung wieder aus der eigentlichen Abbil­ dung des Objektes ausgeblendet werden. Diese Struktur kann aber auch so ausgebildet sein, daß ihre Größe so klein gehalten oder so angeordnet ist, daß sie bei der letztendlichen Abbildung auf dem Display zu ver­ nachlässigen ist.
Mit der Erfindung ist es nunmehr, im Gegensatz zu den bekannten Lösungen, möglich, eine kontinuierliche Be­ obachtung durchzuführen, wie sie bei chirurgischen Operationen unabdingbar ist, und außerdem über die gesamte Zeit eine große Variationsbreite für Brenn­ weite und Sichtwinkel bei weitgehender Korrektur der konstruktions- und fertigungstoleranzabhängigen Ab­ bildungsfehler und Verzeichnungen zu erreichen. Mit der erfindungsgemäßen Verwendung von neuronalen Netz­ werken ist es im Gegensatz zum bekannten möglich, sowohl baureihenweise (systematische), wie auch gerä­ tespezifische (zufällige) Fehler und Einflüsse auszu­ gleichen und dies auch dann, wenn solche Fehler an sich unbekannt und/oder analytisch nicht oder nur mit sehr großem Aufwand zu erfassen sind. Das neuronale Netzwerk ist in der Lage solche Fehler bei der Kor­ rektur des Bildes des abzubildenden Objektes zu be­ rücksichtigen. Mit der Erfindung ist es, im Gegensatz zu den bekannten Lösungen, weiterhin möglich, eine kontinuierliche Beobachtung durchzuführen und zeit­ gleich den optisch bedingten Helligkeitsabfall zu den Bildrändern zu kompensieren. Dadurch wird eine auto­ matische Kalibrierung des Endoskopes erreichbar.
Mit der Realisierung des Bildverarbeitungssystems und Bildverarbeitungsverfahrens zur Bildrestauration nach der Erfindung können Verzeichnungs- und andere Fehler bei Endoskopen oder endoskopähnlichen Geräten bei der Abbildung korrigiert werden, so daß solche Systeme sehr flexibel und allgemein anwendbar sind. Sie kön­ nen bei sehr vielen diagnostischen und therapeuti­ schen Aufgaben in der Medizin Verwendung finden. Es besteht aber auch die Möglichkeit, sie auf anderen Gebieten der Technik mit den bereits genannten Vor­ teilen einzusetzen, da ein solches System mit relativ geringen Kosten hergestellt werden kann.
In der Medizin oder in der Technik können die ver­ schiedensten Objekte bei verschiedensten Situationen, in Abhängigkeit von den jeweiligen Erfordernissen abgebildet werden.
Es können konstruktionsbedingte Abbildungsfehler der Optik, die sich in Verzeichnung oder Pupillenabbera­ tion manifestieren, korrigiert werden. Solche Fehler können durch Fertigungstoleranzen, wie Zentrierfeh­ ler, rotationssymmetrische und nichtrotationssymme­ trische Abweichungen von den Konstruktionsparametern, insbesondere an den verwendeten Linsen in Echtzeit kontinuierlich oder quasikontinuierlich über den gesamten Brennweitenbereich berücksichtigt werden. Auch der optisch bedingte Helligkeitsabfall an den Bildrändern kann entsprechend kontinuierlich oder quasikontinuierlich über den gesamten Brennweitenbe­ reich kompensiert werden.
Neben diesen genannten Fehlern können auch die bei der optoelektronischen Signalwandlung auftretenden Fehler (z. B. Bildrauschen) in Echtzeit kontinuierlich oder quasikontinuierlich über den gesamten Brennwei­ tenbereich berücksichtigt werden, wobei auch eine Überlagerung mit den erstgenannten Fehlerarten keine Probleme bei der Korrektur mit sich bringt. Das er­ findungsgemäß ausgebildete Bildverarbeitungssystem ist robust und zuverlässig, da die verwendete Anzahl mechanisch betätigter Teile sehr beschränkt ist.
Nachfolgend soll die Erfindung an Ausführungsbeispie­ len näher beschrieben werden.
Dabei zeigt:
Fig. 1: ein Blockschaltbild eines Ausführungsbei­ spieles nach der Erfindung;
Fig. 2: ein weiteres Blockschaltbild eines zweiten Ausführungsbeispieles;
Fig. 3: ein drittes Ausführungsbeispiel eines er­ findungsgemäßen Bildverarbeitungssystems und
Fig. 4: drei Darstellungen von Mustern für die Trainierung des erfindungsgemäß zu verwen­ denden neuronalen Netzwerkes.
Die Fig. 1 bis 3 geben verschiedene Ausführungsbeispiele für die Erfindung in Form von Blockschalt­ bildern wieder.
Bei dem in der Fig. 1 gezeigten Ausführungsbeispiel wird ein Objekt 1 mittels eines Endoskopes oder eines endoskopähnlichen Gerätes 2, das mit einer Optik 3 mit einer stark veränderlichen Brennweite ausgestat­ tet ist, auf einen Bildwandler 4 abgebildet. Der Bildwandler 4 wandelt die optischen Informationen in elektronische Signale und diese gewandelten Signale gelangen über eine Signalvorverarbeitungs-/Signalkon­ ditionierungseinheit 5 in digitalisierter Form zu einem bildkorrigierenden System 6. Das bildkorrigie­ rende System 6 wird aus einem neuronalen Netzwerk 7, einem Speicher 8 für Schwerpunktwerte, einer Ablauf­ steuerung 9, einer Einheit zur Parameterauswahl 10 und entsprechenden Ein-/Ausgabebausteinen 11 und 12 gebildet. Die Korrektur der gewandelten Signale er­ folgt in Abhängigkeit der momentanen Brennweite der Optik 3 mit Hilfe des neuronalen Netzwerkes 7, so daß eine Bildverarbeitungseinheit 13 bzw. einem Display 14 Signale, die ein weitgehend fehler- und verzeich­ nungsfreies Abbild des Objektes 1 repräsentieren, zur Verfügung gestellt werden.
Die Brennweiteneinstellung der Optik 3 kann dabei manuell aber auch unter Verwendung eines Antriebes erfolgen.
Bei diesem Beispiel wird die aktuelle Brennweite un­ ter Verwendung eines Positionssensors 16 erfaßt und über eine Positionsauswertung 19 zur Parameterauswahl 10 dem neuronalen Netzwerk 7 zur Korrektur der das Bild repräsentierenden Informationssignale zur Ver­ fügung gestellt, wobei diese aus dem Speicher 8 brennweitenabhängige Schwerpunktwerte auslesbar sind.
Bei dem in der Fig. 2 dargestellten Blockschaltbild für ein zweites Ausführungsbeispiel wird anstelle des Positionssensors 16 für die Optik 3 das Steuersignal einer Zoom-Steuerung 18 für einen Antrieb der Optik 3, mit dem die Brennweite verändert werden kann, zur Brennweitenerfassung ausgenutzt.
Die Berücksichtigung der gemessenen Brennweite bei der Bildkorrektur erfolgt dann in der gleichen Form, wie dies bereits für das erste Ausführungsbeispiel ausgeführt worden ist.
Bei dem in der Fig. 3 gezeigten Blockschaltbild ei­ nes dritten Ausführungsbeispiels wird auf eine direk­ te Messung der Objektivposition verzichtet und die Brennweite auf indirektem Wege ermittelt. Dabei wird im optischen Strahlengang, bevorzugt auf einem der bewegten optischen Bauelemente der Optik 3 eine Hilfsstruktur angeordnet, deren Geometrie und Größe bekannt ist. Die entsprechenden Informationen über die Hilfsstruktur werden ähnlich verarbeitet, wie dies mit den Signalen des Objektes 1 der Fall ist. Von der Bildverarbeitung 13 werden die der Hilfs­ struktur entsprechenden Signale einer Positionsaus­ wertung 19 für die Parameterauswahl 10 zur Verfügung gestellt, um die mit der Positionsauswertung 19 be­ stimmte Brennweite der Optik 3 bei der Korrektur zu berücksichtigen. Dies ist dadurch möglich, daß die Ausgangskoordinaten der Hilfsstruktur bekannt sind und deren Abbildung auf dem Bildwandler 4 ent­ sprechend der eingestellten Brennweite der Optik 3 erfolgt und mit der Abbildung der Hilfsstruktur auf dem Bildwandler 4 die eingestellte Brennweite der Optik 3 rechnerisch bestimmt werden kann.
In der Fig. 4 sind dann verschiedene Muster 20, 21 und 22 gezeigt, die anstelle des Objektes 1 zum Trai­ nieren des neuronalen Netzwerkes 7 und damit zur Er­ mittlung der Bildkorrekturfunktion eingesetzt werden.
Da die Ausgangsmuster in ihrer Form und Größe bekannt sind, kann deren fehlerbehaftete Abbildung auf dem Bildwandler 4 mit einer ideal zu erwartenden Abbil­ dung verglichen werden. Aus diesem Vergleich ermit­ telt das selbstlernende neuronale Netzwerk 7 die die Bildkorrekturfunktion deteminierenden Schwerpunktwer­ te, die für verschiedene Brennweiten der Optik 3 im Schwerpunktwertespeicher 8 abgelegt werden. Diese im Speicher 8 abgelegten Schwerpunktwerte werden im wei­ teren brennweitenabhängig mit Hilfe der Positionsaus­ wertung 19 und der Parameterauswahl 10 bei der Bild­ wiedergabe im Echtzeitbetrieb des Endoskopes 2 für die Korrektur sämtlicher Bildfehler eingesetzt.
Die Muster 20, 21 und 22 sind dabei vorteilhaft so ausgebildet, daß mit Ihnen Helligkeits- und Verzeich­ nungsfehler der jeweiligen Optik 3 für das spezifi­ sche Endoskop 2 erkannt, korrigiert und bei der Bild­ verarbeitung entsprechend berücksichtigt werden kön­ nen.

Claims (14)

1. Bildverarbeitungssystem für Endoskope mit einer Optik mit einstellbarer Brennweite, bei dem Ob­ jekte (1) auf einem elektronischen Bildwandler (4) abbildbar und digitalisiert über eine elek­ tronische Bildverarbeitung einem Display (14) zuführbar sind,
dadurch gekennzeichnet,
daß an einer Schnittstelle zwischen einer digi­ talisierenden Signalvorverarbeitungsstufe und einer Signalverarbeitungsstufe ein neuronales Netzwerk (7) als Korrektursystem für Abbil­ dungsfehler der Optik (3) und/oder für den Randabfall der Helligkeit integriert ist;
ein nichtflüchtiger programmierbarer Speicher (8), zur Speicherung von für das neuronale Netzwerk (7) benötigten Schwerpunktwerten, und
ein System zur Erfassung der eingestellten Brennweite mit dem neuronalen Netzwerk (7) ver­ bunden sind.
2. Bildverarbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, daß das System zur Er­ fassung der eingestellten Brennweite mit einem Positionsauswertungssystem (19) für die Optik (3) verbunden ist.
3. Bildverarbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, daß die eingestellte Brennweite mit einem Positionssensor (16) an der Optik (3) meßbar ist.
4. Bildverarbeitungssystem nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, daß das System zur Er­ fassung der eingestellten Brennweite der Optik (3) mit einem Antrieb (17) zur Einstellung der Brennweite, dessen Steuersignale erfassend, ver­ bunden ist.
5. Bildverarbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, daß in den Strahlengang des optischen Systems (3, 4) eine Hilfsstruktur bekannter Geometrie und Größe angeordnet ist.
6. Bildverarbeitungssystem nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß die Optik (3) ein Zoom-Objektiv ist.
7. Verfahren zur Bildverarbeitung von Endoskopen, deren Brennweite einstellbar ist und bei dem das Objekt (1) mit einer einstellbaren Optik (3) auf einem Bildwandler (4) abgebildet, mit einer Si­ gnalvorverarbeitung die Bildsignale digitali­ siert;
und die digitalisierten Bildinformationen mit­ tels eines neuronalen Netzwerkes (7), unter Be­ rücksichtigung der eingestellten Brennweite, korrigiert und in korrigierter Form auf einem Display (14) in zumindest nahezu Echtzeit ab­ gebildet werden.
8. Verfahren zur Bildverarbeitung von Endoskopen, deren Brennweite einstellbar ist und bei dem das Objekt (1) mit einer einstellbaren Optik (3) auf einem Bildwandler (4) abgebildet, mit einer Si­ gnalvorverarbeitung die Bildsignale digitali­ siert;
und die digitalisierten Bildinformationen mit­ tels eines neuronalen Netzwerkes (7) unter Be­ rücksichtigung des eingestellten Bildwinkels hinsichtlich des auftretenden Helligkeitsabfal­ les zu den Bildrändern kompensiert und in kom­ pensierter Form auf einem Display (14) in zumin­ dest nahezu Echtzeit abgebildet werden.
9. Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, daß die Korrektur unter Berücksichtigung von in einem Speicher (8), mit­ tels einer Erkennung von bekannten Mustern (20, 21, 22) für verschiedene Brennweiten der Optik (3) erfaßten Schwerpunktwerten durchgeführt wird.
10. Verfahren nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, daß die eingestellte Brennweite mit mindestens einem Positionssensor (16) an der Optik (3) gemessen und das Meßsignal zum Auslesen der entsprechenden Schwerpunktwerte aus dem Speicher (8) für die Bildkorrektur auf­ bereitet wird.
11. Verfahren nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, daß die eingestellte Brennweite mittels der Steuersignale eines An­ triebs (17) zur Einstellung der Brennweite an der Optik (3), zum Auslesen der entsprechenden Schwerpunktwerte aus dem Speicher (8) für die Bildkorrektur, erfaßt wird.
12. Verfahren nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, daß die eingestellte Brennweite mit einer im Strahlengang des opti­ schen Systems (3, 4) angeordneten Hilfsstruktur bekannter Größe und Geometrie erfaßt wird; wobei die Abbildung der Hilfsstruktur berücksichtigt wird.
13. Verfahren nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, daß brennweiten- und/­ oder bildwinkelabhängige Schwerpunktwerte des neuronalen Netzwerkes (7) durch einen Trainings­ prozeß des neuronalen Netzwerkes (7) mit Hilfe einer oder mehrerer Musteranordnungen (20, 21, 22) ermittelt werden.
14. Verfahren nach Anspruch 13, dadurch gekennzeich­ net, daß für den Brennweitenbereich der Optik (3) mehrere Sätze von Schwerpunktwerten ermit­ telt werden.
DE19726877A 1997-06-24 1997-06-24 Bildverarbeitungssystem und Verfahren zur Bildverarbeitung für Endoskope Expired - Fee Related DE19726877C2 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE19726877A DE19726877C2 (de) 1997-06-24 1997-06-24 Bildverarbeitungssystem und Verfahren zur Bildverarbeitung für Endoskope

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE19726877A DE19726877C2 (de) 1997-06-24 1997-06-24 Bildverarbeitungssystem und Verfahren zur Bildverarbeitung für Endoskope

Publications (2)

Publication Number Publication Date
DE19726877A1 DE19726877A1 (de) 1999-01-07
DE19726877C2 true DE19726877C2 (de) 2002-01-24

Family

ID=7833549

Family Applications (1)

Application Number Title Priority Date Filing Date
DE19726877A Expired - Fee Related DE19726877C2 (de) 1997-06-24 1997-06-24 Bildverarbeitungssystem und Verfahren zur Bildverarbeitung für Endoskope

Country Status (1)

Country Link
DE (1) DE19726877C2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7457458B1 (en) 1999-11-26 2008-11-25 Inb Vision Ag. Method and apparatus for defining and correcting image data

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1104180B1 (de) * 1999-11-26 2011-01-19 INB Vision AG Verfahren und Einrichtung zur Bestimmung und mindestens teilweisen Korrektur der Fehler eines Bildwiedergabesystems
KR100709323B1 (ko) 2005-02-04 2007-04-20 삼성전자주식회사 확률 신경회로망 이론을 적용한 영상보상장치 및 방법
DE102022110231A1 (de) 2022-04-26 2023-10-26 Olympus Winter & Ibe Gmbh Verfahren, Softwareprogramm und System zum Erfassen von Bildunregelmäßigkeiten in von einem videoendoskopischen Instrument erzeugten Bildern

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04200081A (ja) * 1990-11-29 1992-07-21 Olympus Optical Co Ltd 撮像装置
US5227835A (en) * 1990-12-21 1993-07-13 Eastman Kodak Company Teachable camera
DE4319502A1 (de) * 1992-06-11 1993-12-16 Keymed Medicals & Ind Equip Optische Vorrichtung
US5313306A (en) * 1991-05-13 1994-05-17 Telerobotics International, Inc. Omniview motionless camera endoscopy system
DE9414957U1 (de) * 1994-05-25 1995-09-28 Lemke Norbert Trokar-Bilderzeugungsvorrichtung

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04200081A (ja) * 1990-11-29 1992-07-21 Olympus Optical Co Ltd 撮像装置
US5227835A (en) * 1990-12-21 1993-07-13 Eastman Kodak Company Teachable camera
US5313306A (en) * 1991-05-13 1994-05-17 Telerobotics International, Inc. Omniview motionless camera endoscopy system
DE4319502A1 (de) * 1992-06-11 1993-12-16 Keymed Medicals & Ind Equip Optische Vorrichtung
DE9414957U1 (de) * 1994-05-25 1995-09-28 Lemke Norbert Trokar-Bilderzeugungsvorrichtung

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7457458B1 (en) 1999-11-26 2008-11-25 Inb Vision Ag. Method and apparatus for defining and correcting image data

Also Published As

Publication number Publication date
DE19726877A1 (de) 1999-01-07

Similar Documents

Publication Publication Date Title
DE102011008212A1 (de) In-Vivo-Bildgebungsgerät mit Doppelsichtfeld und Verfahren zur Verwendung
EP3293558B1 (de) Vorrichtung zum erfassen eines stereobilds
DE102006053758A1 (de) Verfahren zur Regelung der Ausrichtung eines Heliostaten auf einen Receiver, Heliostatenvorrichtung und Solarkraftwerk
DE102009000550A1 (de) Weitwinkelbildgebungssystem für die Bereitstellung eines Bildes der Umgebung eines Fahrzeugs, insbesondere eines Kraftfahrzeugs
DE102010023108A1 (de) Projektor mit automatischer Fokussierung und Abbildungsverfahren
DE1240298C2 (de) Anordnung zur Erzeugung zweier Bilder in verschiedenen Wellenlaengenbereichen von einem Gegenstand
EP2506027A1 (de) Abbildungssystem für Sternsensoren mit zwei Brennweiten
DE102005040830A1 (de) Optische Anordnung und Verfahren zur Abbildung tiefenstrukturierter Objekte
DE102016113887A1 (de) Objektsimulationsgerät zum Prüfen eines Kameraobjektivs und Diagnosesystem
DE202006004094U1 (de) Bildaufnahmevorrichtung zum Anschließen an eine Beobachtungsvorrichtung und Beobachtungsvorrichtung mit derartiger Bildaufnahmevorrichtung
DE3841575A1 (de) Einrichtung zur feststellung der blickrichtung des benutzers einer fotografischen kamera
DE19726877C2 (de) Bildverarbeitungssystem und Verfahren zur Bildverarbeitung für Endoskope
DE2440167C3 (de) Einrichtung zur Auswahlsuche eines Objekts nach dessen Bild
WO2018141560A1 (de) Verfahren zum bestimmen einer abweichung auf einem verschiebeweg einer zoom-optik und verfahren zur korrektur sowie bildaufnahmevorrichtung
DE2041530C3 (de) Verfahren zum Fernlenken eines sich selbsttätig bewegenden Körpers und Einrichtung zur Durchführung des Verfahrens
DE102012005938A1 (de) Multispektrales Zoomobjektiv sowie Kamerasystem
DE102012009975B4 (de) Kamera mit opto-elektronischem Entfernungsmesser mit zwei auf einen gemeinsamen Zielpunkt ausgerichteten Bildaufnahme-Modulen
EP3554063A1 (de) Digitaler sucher
WO2015085984A1 (de) VERGRÖßERNDE OPTISCHE VORRICHTUNG
WO2008031420A2 (de) Blendenwerterkennung
DE602004007129T2 (de) Mit digitaler kamera ausgestattetes teleskop
DE10018312C2 (de) Verfahren und Vorrichtung zum Fokussieren eines Bildes
DE102019108056A1 (de) Bilderfassungssystem
EP1920287B1 (de) Tag-nachtsichtgerät
AT526091B1 (de) Fernoptische Vorrichtung

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
D2 Grant after examination
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee