DE102012207420B4

DE102012207420B4 - Verfahren, Stereovideoendoskop und System zur Verarbeitung stereoendoskopischer Bilddaten

Info

Publication number: DE102012207420B4
Application number: DE102012207420.1A
Authority: DE
Inventors: Andreas Noack
Original assignee: Olympus Winter and Ibe GmbH
Current assignee: Olympus Winter and Ibe GmbH
Priority date: 2012-05-04
Filing date: 2012-05-04
Publication date: 2019-01-17
Anticipated expiration: 2032-05-05
Also published as: DE102012207420A1

Abstract

Verfahren zur Verarbeitung stereoendoskopischer Bilddaten mit den folgenden Schritten:
a) Aufnehmen einer Folge stereoskopischer Bildpaare mit einem Stereovideoendoskop (21) mit einem Bildsensorpaar aus einem Referenzbildsensor (1a - 1f) und einem Nebenbildsensor (2a - 2f),
b) Übermitteln von Bilddaten (3a - 3c, 4d - 4f, 5d - 5f) der Folge von stereoskopischen Bildpaaren an eine Auswertevorrichtung (29), wobei die Bilddaten (3a - 3c, 4d - 4f, 5d - 5f) des Nebenbildsensors (2a - 2f) mit gegenüber den Bilddaten (3a - 3c, 4d - 4f, 5d - 5f) des Referenzbildsensors (1a - 1f) reduzierter Datenmenge übermittelt werden, wobei die Datenreduktion durch eine stärkere Datenkompression und/oder eine geringere Farbtiefe und/oder ein Fehlen von Farbinformationen der Bilddaten und/oder eine Reduktion einer Bildwiederholungsrate der Bilddaten des Nebenbildsensors (2a - 2f) gegenüber den Bilddaten des Referenzbildsensors (1a - 1f) erzielt wird.

Description

Die Erfindung betrifft ein Verfahren und ein System zur Verarbeitung stereoendoskopischer Bilddaten sowie ein Stereovideoendoskop.
Stereoskopische Anwendungen sind aus verschiedenen Bereichen bekannt. Insbesondere in der minimalinvasiven Chirurgie kommen verstärkt stereoskopische Endoskope zur Anwendung. Hier bietet die Stereoendoskopie die einzigartige Möglichkeit, dem Operateur oder Chirurgen ein die Orientierung erleichterndes dreidimensionales Umfeld zu bieten, da das Operationsfeld bei minimalinvasiven Eingriffen ansonsten nicht einsehbar ist.
Bei stereoendoskopischen Aufnahmen von Einzelbildern oder Bildfolgen werden üblicherweise gleichzeitig oder in schneller Folge abwechselnd zwei Bilder eines Bildbereiches aus verschiedenen Blickwinkeln aufgenommen. Hierzu sind verschiedene Konzepte bekannt. Es werden entweder zwei Bildsensoren mit jeweils eigenen Eingangslinsen und Optiken verwendet, oder es werden durch eine einzige Eingangslinse und Optik zwei Bildsensoren belichtet. Alternativ werden Teilflächen eines Sensors durch zwei Optiken belichtet.
Bei der Wiedergabe der stereoskopisch aufgenommenen Bilder wird jedem Auge des Operateurs eines der beiden Bilder gezeigt. Insofern der perspektivische Versatz zwischen den beiden Bildern dem Erfahrungswert der menschlichen optischen Wahrnehmung mit zwei Augen entspricht, verarbeitet das Gehirn die unterschiedlichen Informationen für die beiden Augen zu einem räumlichen Bild mit Tiefenwirkung. Bei bekannten stereoskopischen Systemen werden auf diese Weise sehr plastische Effekte erzielt.
Moderne Videoendoskope liefern HD-Qualität, also hochauflösende Bilder mit bis zu 1.920 x 1.080 Pixeln. Hochaufgelöste HD-Videosequenzen erzeugen daher hohe Datenraten. Wenn Stereovideoendoskope mit HD-Auflösung betrieben werden, verdoppelt sich die notwendige Datenrate noch einmal. Damit wird es erforderlich, sehr leistungsfähige Bildverarbeitungselektronik in die entsprechenden hochauflösenden Stereovideoendoskope einzubauen, was zu hohen Kosten führt. Auch sind besondere Maßnahmen zur Abschirmung von Datenübertragungsleitungen im Endoskop nötig, wodurch sich der Aufwand bezüglich solcher Stereovideoendoskope weiter erhöht. Auch eine Übertragung der entsprechenden Videosignale über weitere Entfernungen, beispielsweise über das Internet, ist in manchen Fällen bandweitenbegrenzt.
JP H09 - 5643 A (D1) betrifft eine stereoskopische Endoskopvorrichtung, bei der zwei Kameras mit Linsensystem mit verschiedenen Brennweiten verwendet werden. Eine externe Auswertevorrichtung umfasst dabei eine Elektronik und Schaltvorrichtung, mit der ausgewählt werden kann, ob entweder ein 2D-Bild der Kamera mit Weitwinkelobjektiv oder der Kamera mit einer längeren Brennweite angezeigt wird oder eine dreidimensionale Ansicht mit einer Kombination der beiden Bilder, wobei die Auswerteelektronik aus dem Weitwinkelbild den zentralen Teil auswählt, der mit dem Blickfeld der anderen Kamera übereinstimmt und diesen auf die Größe des zweiten Bildes skaliert.
In US 2011/0280311 A1 ist ein Verfahren zum Erzeugen eines einzelnen Datenstroms für ein asymmetrisches Stereovideo offenbart.
WO 2006/045011 A2 betrifft ferngesteuerte Sensorkapseln zur Invivo-Inspektion des Körperinneren, also beispielsweise ein Kapselendoskop. Dieses weist zwei Kameras zur stereoskopischen Bilderzeugung auf. Dieses Kapselstereovideoendoskop ist um seine Längsachse drehbar.
Ferner offenbart DE 10 2010 027 400 A1 ein endoskopisches Instrument, das einen oder mehrere am distalen Ende seines Schafts angeordnete optische Sensoren aufweist. Die Datenübertragung von den optischen Sensoren erfolgt aufgrund seines geringen Durchmessers bei gleichzeitig geringer Dämpfung differentiell über ein Sternviererkabel anstelle eines Twisted-Pair-Kabels.
Demgegenüber liegt der vorliegenden Erfindung die Aufgabe zugrunde, hochauflösende Stereovideoendoskopie kostengünstig und mit geringem Aufwand zu ermöglichen.
Diese Aufgabe wird gelöst durch ein Verfahren zur Verarbeitung stereoendoskopischer Bilddaten mit den folgenden Schritten:

a) Aufnehmen einer Folge stereoskopischer Bildpaare mit einem Stereovideoendoskop mit einem Bildsensorpaar aus einem Referenzbildsensor und einem Nebenbildsensor,
b) Übermitteln von Bilddaten der Folge von stereoskopischen Bildpaaren an eine Auswertevorrichtung, wobei die Bilddaten des einen Nebenbildsensors mit gegenüber den Bilddaten des Referenzbildsensors reduzierter Datenmenge übermittelt werden,

Unter einer Folge von stereoskopischen Bilddaten wird im Rahmen der vorliegenden Erfindung eine stereoskopische Videosequenz verstanden, die auch eine Live-Übertragung mit zunächst unbestimmter Dauer beispielsweise bei einer Operation sein kann. Diese stereoskopischen Bilddaten werden von dem stereoskopischen Bildsensorpaar aus Referenzbildsensor und Nebenbildsensor erzeugt, die gleich oder unterschiedlich ausgebildet sein können.
Mit dem erfindungsgemäßen Verfahren wird der Datendurchsatz des hochauflösenden Stereovideodatenstroms dadurch reduziert, dass wenigstens bei einem der beiden Bildsensoren die Bilddaten bei der Übermittlung eine reduzierte Datenmenge gegenüber den Bilddaten des anderen Bildsensors aufweisen. Dieser Bildsensor wird im Rahmen der Erfindung als Nebenbildsensor bezeichnet. Eine reduzierte Datenmenge bezüglich des Nebenbildsensors bedeutet im Rahmen der Erfindung, dass die Bilddaten dieses Bildsensors mit einer geringeren Qualität und/oder Datentiefe übertragen werden als die des anderen Bildsensors, der im Rahmen der Erfindung als Referenzbildsensor bezeichnet wird. Die Bilder aus dem nicht oder nur weniger reduzierten Bilddatenstrom werden auch als Referenzbilder, diejenigen aus dem stärker reduzierten Bilddatenstrom als Nebenbilder („auxiliary pictures“ oder „auxiliary frames“) bezeichnet.
Die Erfindung beruht auf dem Grundgedanken, dass der menschliche visuelle Wahrnehmungsapparat in stereoskopischen Bildpaaren auch dann noch einen stereoskopischen Effekt, also eine räumliche Wahrnehmung, erfährt, wenn die Qualität der angebotenen Bilder des stereoskopischen Bildpaares unterschiedlich ist. So besitzen die meisten Menschen Augen mit unterschiedlicher Sehschärfe bei gleichzeitig völlig intakter räumlicher Wahrnehmung.
Die Wahrnehmung der räumlichen Tiefe hängt dabei davon ab, dass beide Augen jeweils ein vollständiges Bild liefern, wenn auch mit unterschiedlicher Qualität, aus verschiedenen Blickrichtungen, während die Detailschärfe des wahrgenommenen Bildes maßgeblich von dem Auge oder Bild mit der höheren Schärfe bestimmt wird. Das bedeutet, dass die Bildinformation des schwächeren Auges oder des unschärferen Bildes oder des Bildes mit weniger Informationen, dazu verwendet wird, die räumliche Wahrnehmung zusammen mit dem anderen Auge oder dem anderen Bild zu erzeugen, jedoch nicht maßgeblich ist für die Detailschärfe des wahrgenommenen Bildes. Auch andere einseitige Schwächen eines Auges führen im menschlichen Wahrnehmungsapparat im Allgemeinen nicht dazu, dass die räumliche Wahrnehmung verlorengeht, solange diese Sehschwächen nicht über ein bestimmtes Maß hinausgehen.
Erfindungsgemäß wird somit die Fähigkeit des menschlichen visuellen Wahrnehmungsapparates zur Herstellung eines räumlichen Eindrucks aus zwei stereoskopischen Bildern unterschiedlicher Qualität mit Referenzbildern und Nebenbildern dazu benutzt, die erforderliche Datenrate bei einem Stereovideoendoskop zu senken und somit das entsprechende Stereovideoendoskop einfacher und kostengünstiger gestalten zu können, und zwar sowohl in seiner Elektronikbestückung als auch beispielsweise in der Abschirmung seiner Signalleiter.
Bei modernen digitalen Videoübertragungssystemen findet grundsätzlich eine gewisse Datenreduktion und Datenkompression statt. Die ständig auftretenden Unterschiede der Datenreduktion in verschiedenen Bildern sind im Rahmen der Erfindung nicht wesentlich. Stereoskopische Bildpaare haben im Allgemeinen einen sehr ähnlichen Bildinhalt, so dass nur geringe Schwankungen in der bereits standardmäßigen Datenkomprimierung moderner Video-Codecs stattfinden. Diese üblicherweise auftretenden Schwankungen fallen nicht unter die erfindungsgemäß vorgesehene links/rechts- bzw. stereoasymmetrische Reduktion der Datenmenge. Bei der erfindungsgemäß vorgesehenen Reduktion handelt es sich um eine Reduktion über die Standardreduktion moderner Video-Codecs hinaus.
So ist es erfindungsgemäß auch erfasst, auch auf die Referenzbilder im Rahmen der Erfindung eine ohnehin stattfindende Datenreduktion anzuwenden, solange die auf die Nebenbilddaten angewandte Datenreduktion durch gezielte Auswahl eines oder mehrerer Datenreduktionsaspekte systematisch stärker ist als die auf die Referenzbilddaten angewandte Datenreduktion, unberührt von den oben beschriebenen normalen Schwankungen standardmäßiger gleichartiger Datenkompression bezüglich der beiden Bilder der stereoskopischen Bildpaare.
Vorteilhafterweise werden die Bilddaten der beiden Bildsensoren in der Auswertevorrichtung verarbeitet, und insbesondere mittels einer Anzeigevorrichtung angezeigt. Dabei fällt der Auswertevorrichtung die Aufgabe zu, die Bilddatenströme unterschiedlicher Datenraten, also der Referenzbilder und der Nebenbilder, zu stereoskopischen Bildpaaren zu rekonstruieren. Für die Anzeige der stereoskopischen Bildpaare stehen bekannte Systeme zur Verfügung, wie beispielsweise Projektionen mit unterschiedlichen Polarisationen, die durch entsprechend unterschiedlich polarisierte Brillengläser betrachtet werden, alternierende Abfolgen des linken und des rechten Bildes, das durch eine synchronisierte und alternierend schließende Shutter-Brille betrachtet wird, oder eine direkte Projektion in einer Brille mit zwei Monitoren für die beiden Augen.
Vorzugsweise werden die Bilddaten der beiden Bildsensoren zur Übermittlung an die Auswerte- und Anzeigevorrichtung in einen gemeinsamen Datenstrom zusammengefasst. Dabei enthält der Datenstrom vorzugsweise Informationen darüber, zu welchem Bild und zu welchem Teil eines Bildes des stereoskopischen Bildpaares die einzelnen Teile des Datenstroms gehören. So sind die Daten der Referenzbilder und der Nebenbilder aus dem gemeinsamen Datenstrom wieder zu gewinnen.
Erfindungsgemäß wird die Datenreduktion durch eine stärkere Datenkompression und/oder eine geringere Farbtiefe und/oder ein Fehlen von Farbinformationen der Bilddaten und/oder eine Reduktion einer Bildwiederholungsrate der Bilddaten des Nebenbildsensors gegenüber den Bilddaten des Referenzbildsensors erzielt, insbesondere zusätzlich durch eine geringere Auflösung der Bilddaten des Nebenbildsensors gegenüber den Bilddaten des Referenzbildsensors. Grundsätzlich können einzelne oder mehrere der genannten Möglichkeiten zur Informations- und Datenreduktion allein oder gleichzeitig bzw. in Kombination miteinander angewandt werden, um die Datenmenge für die Nebenbilder zu reduzieren.
So resultiert eine stärkere Datenkompression bei gleichbleibender Auflösung für die Nebenbilder in einer höheren Anzahl von Bildartefakten, was bei kontrastarmen oder langsam bewegten Bildern unauffällig sein kann und somit wenig stört. Als geringe Auflösung kann beispielsweise in Kombination mit einer HD-Auflösung eines Referenzbildes eine SD-Auflösung für die Nebenbilder verwendet werden, also eine Auflösung von 1.024 x 576 Pixeln oder weniger, beispielsweise 512 x 288 Pixel. Damit ist in diesem Beispiel bereits die Gesamtzahl der Bildpunkte beider Bilder um 37,5% bzw. um ca. 46,9% gesenkt. Die genannten Auflösungen beziehen sich auf das 16:9-Format. Entsprechend ist für ein 4:3-Format von anderen Seitenverhältnissen auszugehen. Solche Auflösungsreduktionen beeinträchtigen die räumliche Wahrnehmung im Allgemeinen nicht, sondern werden als leichte Unschärfe wahrgenommen. Da gleichzeitig ein hochaufgelöstes Referenzbild angeboten wird, wird diese Unschärfe des Nebenbildes aber nicht bewusst wahrgenommen. Stattdessen wird in der optischen Wahrnehmung die Detailschärfe des zusammengesetzten tiefenaufgelösten Bildes von derjenigen der höher aufgelösten Referenzbilder dominiert.
Auch bei fehlenden Farbinformationen ist eine räumliche Wahrnehmung noch möglich, wie beispielsweise im Dämmerlicht, in dem die räumliche Wahrnehmung intakt bleibt, obwohl die Helligkeit für die farbwahrnehmenden Zellen des menschlichen Auges zu niedrig ist. So kann eine ebenfalls starke Reduktion der Datenrate durch eine Verringerung der Farbtiefe der Nebenbilder erreicht werden, also eine Kodierung der vorhandenen Farben mit einer kleineren Bitlänge als bei voller Farbauflösung, etwa beispielsweise mit zwischen 12, vorzugsweise 18, und 48 Bit für jeden Bildpunkt, oder, wenn auf Farbinformationen in dem datenreduzierten Nebenbild vollständig verzichtet wird und nur noch Graustufen übertragen werden, beispielsweise mit 4, vorzugsweise 8, bis 12 Bit pro Bildpunkt. Die wahrgenommene Farbinformation stammt dann aus dem nicht oder nur wenig reduzierten Referenzbild.
Eine weitere Möglichkeit der Verringerung der Datenrate des zu reduzierenden Bildstroms ist eine Verringerung, beispielsweise eine Halbierung, der Bildwiederholungsrate für die Nebenbilder. Die Nebenbilder werden dann zwei oder mehrmals angezeigt, um in der Wiedergabe die gleiche Bildrate zu erzielen wie die Referenzbilder. Insbesondere bei langsamen Bewegungen, wie sie bei videoendoskopischen Untersuchungen vorkommen, stören solche geringeren Bildraten nicht oder nur kaum. Die fehlenden Nebenbilder können auch in der Auswertevorrichtung oder einer Anzeigevorrichtung interpoliert werden, um so scheinbar wieder die gleiche Bildfrequenz wie die Referenzbilder zu erreichen und gleichzeitig schnelle Bewegungen nicht ruckelig erscheinen zu lassen.
Es können im Rahmen der Erfindung auch verschiedene der Reduktionsvarianten miteinander kombiniert werden, so dass beispielsweise eine geringe Auflösung mit gleichzeitig geringer Farbtiefe übertragen wird. Auf diese Weise kann beinahe die Hälfte der ansonsten notwenigen Datenrate eingespart werden.
Eine weitere starke Vereinfachung und Kostenersparnis bei der hochauflösenden Stereovideoendoskopie ist erreicht, wenn der Nebenbildsensor eine geringere Auflösung aufweist als der Referenzbildsensor und/oder der Nebenbildsensor im Gegensatz zum Referenzbildsensor nur zur Wahrnehmung von Graustufen ausgebildet ist. Es ist dann nur noch notwendig, einen teuren, insbesondere hochauflösenden und/oder farbwiedergebenden Referenzbildsensor für die Referenzbilder einzusetzen, während der Nebenbildsensor ein kostengünstiges Exemplar mit geringerer Auflösung und/oder geringerer Farbtiefe und/oder ohne Farbwiedergabe sein kann. Die erfindungsgemäß zu erzielende Reduktion der Datenmenge ist somit bereits in der Auswahl der untereinander unterschiedlichen Bildsensoren angelegt und verwirklicht. Dieses kann mit einer weiteren oben beschriebenen Datenreduktion einhergehen.
Alternativ oder zusätzlich hierzu, insbesondere, wenn sich die Bildsensoren nicht oder nur wenig voneinander unterscheiden, wird vorteilhafterweise der Bildsensor ausgewählt, dessen Bilddaten in ihrer Datenmenge reduziert werden. Damit kann der Operateur abhängig von seiner eigenen Sehschärfe oder Präferenz auswählen, ob das rechte oder das linke Auge die hochaufgelösten Referenzbilder geliefert bekommen soll.
Sollte das Stereovideoendoskop zwei unterschiedliche Bildsensoren aufweisen, so ist es vorteilhaft, wenn bei der Auswahl, ob das linke oder das rechte Bild des stereoskopischen Bildpaares die hohe Auflösung aufweisen soll, eine Drehung der beiden Bildsensoren um 180° bezüglich der Längsachse des Endoskops erfolgt. Auf diese Weise werden die beiden Bildsensoren ausgetauscht und können die gewünschten Bilddaten liefern.
Die der Erfindung zugrunde liegende Aufgabe wird auch durch ein Stereovideoendoskop mit einem Bildsensorpaar zur Aufnahme von Folgen stereoskopischer Bildpaare und einer Ausleseelektronik gelöst, die ausgebildet ist, Bilddaten des Bildsensorpaares an eine Auswertevorrichtung zu übermitteln, das dadurch weitergebildet ist, dass das Bildsensorpaar einen Referenzbildsensor und einen Nebenbildsensor umfasst und die Ausleseelektronik ausgebildet ist, Bilddaten des Nebenbildsensors mit gegenüber Bilddaten des Referenzbildsensors reduzierter Datenmenge zu übermitteln, wobei die Ausleseelektronik ausgebildet ist, auf die in ihrer Datenmenge zu reduzierenden Bilddaten des Nebenbildsensors gegenüber den nicht oder weniger in ihrer Datenmenge zu reduzierenden Bilddaten des Referenzbildsensors eine verstärkte Datenkompression und/oder eine Verringerung der Farbtiefe und/oder eine Entfernung von Farbinformationen und/oder eine Reduktion einer Bildwiederholungsrate anzuwenden. Das Stereovideoendoskop ist insbesondere vorzugsweise zur Durchführung des oben beschriebenen erfindungsgemäßen Verfahrens ausgebildet und verwirklicht die der Erfindung zugrunde liegende Idee, eine einfachere und kostengünstigere Bauweise bereitzustellen, die Datenrate der stereoskopischen Bilddaten durch Reduzierung des Informationsgehaltes der Nebenbilder zu erreichen.
Eine kostengünstige Herstellung eines entsprechenden Stereovideoendoskops wird erreicht, wenn der Nebenbildsensor eine geringere Auflösung aufweist als der erste Referenzbildsensor und/oder der Nebenbildsensor im Gegensatz zum Referenzbildsensor nur zur Wahrnehmung von Graustufen ausgebildet ist.
Vorzugsweise ist die Ausleseelektronik ausgebildet, eine stärkere Reduktion der Datenmenge wahlweise auf die Bilddaten des einen oder des anderen der beiden Bildsensoren anzuwenden. Dieses ist insbesondere vorteilhaft, wenn die beiden Bildsensoren gleichgeartet sind. So ist es möglich, die Bildsensoren auszuwählen, die als Referenzbildsensor und als Nebenbildsensor verwendet werden sollen.
Ebenfalls vorteilhafterweise sind die Bildsensoren um 180° um eine zur zentralen Endoskoplängsachse parallele Achse oder um die zentrale Endoskoplängsachse drehbar, so dass ihre Positionen vertauscht werden. Dadurch ist es möglich, durch Rotation der Bildsensoren auszuwählen, welche der beiden Bildsensoren das linke Bild liefert und welche das rechte. Diese Drehbarkeit der Bildsensoren bzw. eines beide Bildsensoren tragenden Trägers ist insbesondere dann von Vorteil, wenn die beiden Bildsensoren von unterschiedlicher Art sind.
Erfindungsgemäß ist die Ausleseelektronik ausgebildet, auf die in ihrer Datenmenge zu reduzierenden Bilddaten des Nebenbildsensors gegenüber den nicht oder weniger in ihrer Datenmenge zu reduzierenden Bilddaten des Referenzbildsensors eine verstärkte Datenkompression und/oder eine Verringerung der Farbtiefe und/oder eine Entfernung von Farbinformationen und/oder eine Reduktion einer Bildwiederholungsrate anzuwenden, insbesondere zusätzlich eine Verringerung der Auflösung. Damit kann sowohl in dem Fall, dass die beiden Bildsensoren gleichartig sind als auch für den Fall, dass sie von unterschiedlicher Art sind, eine weitere Datenreduktion erfolgen.
Ferner wird die der Erfindung zugrunde Aufgabe auch durch ein System zur Verarbeitung stereoendoskopischer Bilddaten, mit einem erfindungsgemäßen oben beschriebenen Stereovideoendoskop und einer zur Übermittlung von stereoendoskopischen Bilddaten mit dem Stereovideoendoskop verbundenen Auswertevorrichtung gelöst, das dadurch weitergebildet ist, dass die Auswertevorrichtung ausgebildet ist, Bilddaten des Bildsensorpaares des Stereovideoendoskops zu verarbeiten, bei denen die Bilddaten eines Referenzbildsensors des Bildsensorpaares in ihrer Datenmenge gegenüber den Bilddaten eines Nebenbildsensors des Bildsensorpaares reduziert sind. Dabei sind vorzugsweise die Ausleseelektronik des Stereovideoendoskops und die Auswertevorrichtung ausgebildet, das oben beschriebene erfindungsgemäße Verfahren durchzuführen.
Die Erfindungsgegenstände, also das erfindungsgemäße Verfahren, das erfindungsgemäße Stereovideoendoskop und das erfindungsgemäße System sind direkt aufeinander bezogen und teilen daher die zuvor beschriebenen Merkmale, Vorteile und Eigenschaften.
Weitere Merkmale der Erfindung werden aus der Beschreibung erfindungsgemäßer Ausführungsformen zusammen mit den Ansprüchen und den beigefügten Zeichnungen ersichtlich.
Die Erfindung wird nachstehend ohne Beschränkung des allgemeinen Erfindungsgedankens anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen beschrieben, wobei bezüglich aller im Text nicht näher erläuterten erfindungsgemäßen Einzelheiten ausdrücklich auf die Zeichnungen verwiesen wird. Es zeigen:

1 eine schematische Darstellung eines Stereovideoendoskops mit einem starren Schaft,
2 bis 4 schematische Darstellungen von Datenreduktionsprinzipien gemäß der Erfindung und
5 bis 7 weitere schematische Darstellungen von Reduktionsprinzipien gemäß der Erfindung.

In den Zeichnungen sind jeweils gleiche oder gleichartige Elemente und/oder Teile mit denselben Bezugsziffern versehen, so dass von einer erneuten Vorstellung jeweils abgesehen wird.
In 1 ist schematisch ein Stereovideoendoskop 21 mit einem starren Schaft 22 dargestellt, der an seinem distalen, d.h. von einem Chirurgen abgewandten, Ende in einer schräggestellten Frontfläche mit Eintrittslinsen 23, 24 für zwei Bildkanäle endet. Es handelt sich um ein seitblickendes Endoskop 21. Der Blickwinkel ist fest eingestellt. Eine Blickrichtungsänderung erfolgt durch Drehung des Endoskops 21 bzw. des Endoskopschafts 22 um seine Längsachse.
Der Schaft 22 mündet in einen Adapter 25, der an einen Handgriff 26 angeschlossen ist. Ein Kabel 27 dient der Stromversorgung und der Übertragung von elektronischen Signalen, beispielsweise Videosignalen für die beiden Videokanäle. Die Bildsensoren sind nicht dargestellt und können entweder an der distalen Spitze des Schafts 21 hinter den Eintrittslinsen 23, 24 angeordnet sein oder im Adapter 25 oder im Handgriff 26, der ein Kamerakopf sein kann. In diesem Fall verlaufen im Inneren des Schafts 22 zwei optische Übertragungskanäle unter Verwendung von Stablinsensystemen beispielsweise, die das Licht aus den Eintrittslinsen 23, 24 zu den Bildsensoren übertragen.
Die nicht dargestellten Bildsensoren im Inneren des Endoskops 21 können an einem gemeinsamen rotierbaren Träger angebracht sein, dessen Rotation bestimmt, welcher der beiden Bildsensoren das linke Bild und das rechte Bild der stereoskopischen Bildpaare liefert. Dieses ist insbesondere vorteilhaft, wenn die beiden Bildsensoren in ihrer Auflösung oder in ihrer Farbwahrnehmung beispielsweise unterschiedlich sind.
Mittels des Kabels 27 ist das Stereovideoendoskop 21 mit einer Auswertevorrichtung 29 verbunden, die einerseits die Bilddatenströme oder den Bilddatenstrom des Stereovideoendoskops 21 aufnimmt und verarbeitet und andererseits anzuzeigende Bildinformationen an eine Anzeigevorrichtung 30, beispielsweise einen zur Anzeige von stereoskopischen Videosequenzen geeigneten Monitor. Dieser kann über Synchronisationsmittel verfügen, mit denen eine nicht dargestellte Shutter-Brille gesteuert wird, um die aufeinander folgenden linken und rechten Bilder jeweils nur dem linken und dem rechten Auge eines Betrachters zu zeigen. Auch andere Anzeigesysteme für stereoskopische Videosequenzen oder Filme sind bekannt.
Andererseits kann die Auswertevorrichtung 29 auch als Steuerungsvorrichtung für das Stereovideoendoskop 21 dienen und beispielsweise der Einstellung, ob das linke oder das rechte Auge datenreduzierte oder hochauflösende Bilder empfangen soll, dienen. Auch die Art der Datenreduktion kann gegebenenfalls an der Auswertevorrichtung 29 angegeben und bestimmt werden.
In den 2 bis 4 sind drei verschiedene Beispiele von Datenreduktionen dargestellt. Dabei stellen die Rechtecke 1a, 1b und 1c jeweils Referenzbildsensoren dar, die hochauflösende Bilder stereoskopischer Bildpaare liefern. Die Rechtecke 2a, 2b und 2c stellen die dazu gehörenden Nebenbildsensoren dar, die inhalts- und datenreduzierte Bilder der Nebenbilder der entsprechenden stereoskopischen Bildpaare liefern. Es wird davon ausgegangen, dass jeweils Bildfolgen aufgenommen werden, die nachfolgend zu einem gemeinsamen Datenstrom 3a, 3b, 3c zusammengeführt werden und gemeinsam der Auswertevorrichtung 29 zur Auswertung und Darstellung übermittelt werden. Eine Übermittlung der Datenströme 3a, 3b, 3c kann auch über längere Distanzen, beispielsweise über das Internet, geschehen, so dass auch hier eine Datenreduktion wichtig ist.
In dem in 2 dargestellten Beispiel ist für den Nebenbildsensor 2a eine hohe Auflösung gewählt, jedoch sind die Daten in Graustufen gehalten, was durch die blockartige Musterung in dem Bild 2a symbolisiert ist. Der zusammengefügte Datenstrom 3a verfügt dann jeweils über Bereiche mit Daten aus dem hochauflösenden Referenzbildsensor 1a, die ohne Schraffur dargestellt sind und einzelne schraffierte Bereiche, die Bilddaten aus dem Nebenbildsensor 2a darstellen. Im vorliegenden Fall wurde ein Verhältnis von vier Datenfeldern zum Referenzbildsensor 1a zu einem Datenfeld zum Nebenbildsensor 2a ausgewählt, um darzustellen, dass beispielsweise zu jedem Bildpunkt aus dem Referenzbildsensor 1a vier Farbinformationen entsprechend der Farbfolge RGGB eines Bayer-Filters übermittelt werden, während zum Bild aus dem Nebenbildsensor 2a nur eine Helligkeitsinformation übermittelt wird.
In 3 sind die beiden Bildsensoren 1b, 2b gleichgeartet und liefern beide hochauflösende farbliche Bilder. Allerdings wird auf die Bilder des Nebenbildsensors 2b eine höhere Datenkompression angewandt, so dass in dem nachfolgenden gemeinsamen Datenstrom 3b die Informationen für die einzelnen Bildpunkte der Bilder des Referenzbildsensors 1b viel Raum beanspruchen und die Informationen aus den Bildern des Nebenbildsensors 2b demgegenüber stark komprimiert sind, beispielsweise auf ein Viertel. Dieses kann auch eine Reduktion der Farbtiefe beinhalten.
In 4 ist eine Situation dargestellt, in der wiederum ein Bild von einem hochauflösenden farbauflösenden Referenzbildsensor 1c stammt, während der Nebenbildsensor 2c von sich aus eine geringere Auflösung aufweist. Der resultierende gemeinsame Datenstrom 3c weist wiederum nicht schraffierte Bereiche mit sämtlichen Informationen für die Bilder des Referenzbildsensors 1c auf, während in den senkrecht schraffierten Datenbereichen die ihrer Menge nach geringeren Informationen für den Nebenbildsensor 2c enthalten sind.
In den 5 bis 7 sind ähnliche Situationen dargestellt wie in den 2 bis 4, wobei jedoch die Datenströme 4d bis 4f, 5d bis 5f für die verschiedenen Bildsensoren 1d - 1f, 2d - 2f nicht in einen gemeinsamen Datenstrom zur Übermittlung an die Auswertevorrichtung 29 zusammengefasst werden.
In 5 ist wieder eine Situation dargestellt, in der neben einem hoch- und farbauflösenden Referenzbildsensor 1d ein Nebenbildsensor 2d Graustufenbilder erzeugt. Der Datenstrom 4d der Nebenbilder umfasst eine deutlich geringere Datenmenge als der Datenstrom 5d für die Referenzbilder der stereoskopischen Bildpaare.
In 6 sind zwei hochauflösende farbige Bildsensoren 1e, 2e gezeigt, deren Bilddaten jeweils in einem Datenstrom 4e bzw. 5e zusammengefasst werden. Durch eine hohe Kompression ist die Datenmenge in dem Datenstrom 4e des Nebenbildsensors 2e deutlich geringer als im Datenstrom 5e des Referenzbildsensors 1e.
In 7 ist eine hochauflösende Bildfolge eines Referenzbildsensors 1f mit einer niedrigauflösenden Bildfolge eines Nebenbildsensors 2f gepaart. In diesem Fall kommt hinzu, dass die Bildfolge der Bilder des Nebenbildsensors 2f mit einer geringeren Bildwiederholungsrate übertragen wird, beispielsweise mit der Hälfte der Bilder pro Sekunde wie die hochauflösende Bildfolge oder einem Viertel, so dass die Datenmenge im resultierenden Datenstrom 4f deutlich reduziert ist gegenüber der Datenmenge in dem Datenstrom 5f der Bildfolge 1f.
Die Ausführungen der 2, 3, 5 und 6 können auch bei Verwendung eines einzigen Sensors Anwendung finden.
Bezugszeichenliste

1a - 1f: Referenzbildsensor
2a - 2f: Nebenbildsensor
3a - 3c: zusammengefasster Bilddatenstrom
4d - 4f: erster Bilddatenstrom
5d - 5f: zweiter Bilddatenstrom
21: Stereovideoendoskop
22: starrer Schaft
23, 24: Eintrittslinse
25: Adapter
26: Handgriff
27: Kabel
28: Orientierungssensor
29: Auswertevorrichtung
30: Anzeigevorrichtung

Claims

Verfahren zur Verarbeitung stereoendoskopischer Bilddaten mit den folgenden Schritten: a) Aufnehmen einer Folge stereoskopischer Bildpaare mit einem Stereovideoendoskop (21) mit einem Bildsensorpaar aus einem Referenzbildsensor (1a - 1f) und einem Nebenbildsensor (2a - 2f), b) Übermitteln von Bilddaten (3a - 3c, 4d - 4f, 5d - 5f) der Folge von stereoskopischen Bildpaaren an eine Auswertevorrichtung (29), wobei die Bilddaten (3a - 3c, 4d - 4f, 5d - 5f) des Nebenbildsensors (2a - 2f) mit gegenüber den Bilddaten (3a - 3c, 4d - 4f, 5d - 5f) des Referenzbildsensors (1a - 1f) reduzierter Datenmenge übermittelt werden, wobei die Datenreduktion durch eine stärkere Datenkompression und/oder eine geringere Farbtiefe und/oder ein Fehlen von Farbinformationen der Bilddaten und/oder eine Reduktion einer Bildwiederholungsrate der Bilddaten des Nebenbildsensors (2a - 2f) gegenüber den Bilddaten des Referenzbildsensors (1a - 1f) erzielt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Bilddaten (3a - 3c, 4d - 4f, 5d - 5f) der beiden Bildsensoren (1a - 1f, 2a - 2f) in der Auswertevorrichtung (29) verarbeitet und mittels einer Anzeigevorrichtung (30) angezeigt werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Bilddaten der beiden Bildsensoren (1a - 1f, 2a - 2f) zur Übermittlung an die Auswertevorrichtung (29) in einen gemeinsamen Datenstrom (3a - 3c) zusammengefasst werden.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Datenreduktion zusätzlich durch eine geringere Auflösung der Bilddaten des Nebenbildsensors (2a - 2f) gegenüber den Bilddaten des Referenzbildsensors (1a - 1f) erzielt wird.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass der Bildsensor (1a - 1f, 2a - 2f) ausgewählt wird, dessen Bilddaten in ihrer Datenmenge reduziert werden.
Stereovideoendoskop (21) mit einem Bildsensorpaar (1a - 1f, 2a - 2f) zur Aufnahme von Folgen stereoskopischer Bildpaare und einer Ausleseelektronik, die ausgebildet ist, Bilddaten (3a - 3c, 4d - 4f, 5d - 5f) des Bildsensorpaares (1a - 1f, 2a - 2f) an eine Auswertevorrichtung (29) zu übermitteln, dadurch gekennzeichnet, dass das Bildsensorpaar (1a - 1f, 2a - 2f) einen Referenzbildsensor (1a - 1f) und einen Nebenbildsensor (2a - 2f) umfasst und die Ausleseelektronik ausgebildet ist, Bilddaten (3a - 3c, 4d - 4f) des Nebenbildsensors (2a - 2f) mit gegenüber Bilddaten (3a - 3c, 5d - 5f) des Referenzbildsensors (1a - 1f) reduzierter Datenmenge zu übermitteln, wobei die Ausleseelektronik ausgebildet ist, auf die in ihrer Datenmenge zu reduzierenden Bilddaten (3a - 3c, 4d - 4f) des Nebenbildsensors (2a - 2f) gegenüber den nicht oder weniger in ihrer Datenmenge zu reduzierenden Bilddaten (3a - 3c, 5d - 5f) des Referenzbildsensors (1a - 1f) eine verstärkte Datenkompression und/oder eine Verringerung der Farbtiefe und/oder eine Entfernung von Farbinformationen und/oder eine Reduktion einer Bildwiederholungsrate anzuwenden.
Stereovideoendoskop (21) nach Anspruch 6, dadurch gekennzeichnet, dass der Nebenbildsensor (2a - 2f) eine geringere Auflösung aufweist als der Referenzbildsensor (1a - 1f) und/oder der Nebenbildsensor (2a - 2f) im Gegensatz zum Referenzbildsensor (1a - 1f) nur zur Wahrnehmung von Graustufen ausgebildet ist.
Stereovideoendoskop (21) nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die Ausleseelektronik ausgebildet ist, eine stärkere Reduktion der Datenmenge wahlweise auf die Bilddaten des einen oder des anderen der beiden Bildsensoren (1a - 1f, 2a - 2f) anzuwenden.
Stereovideoendoskop (21) nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass die Bildsensoren um 180° um eine zur zentralen Endoskoplängsachse parallele Achse oder um die zentrale Endoskoplängsachse drehbar sind.
Stereovideoendoskop (21) nach einem der Ansprüche 6 bis 9, dadurch gekennzeichnet, dass die Ausleseelektronik ausgebildet ist, auf die in ihrer Datenmenge zu reduzierenden Bilddaten (3a - 3c, 4d - 4f) des Nebenbildsensors (2a - 2f) gegenüber den nicht oder weniger in ihrer Datenmenge zu reduzierenden Bilddaten (3a - 3c, 5d - 5f) des Referenzbildsensors (1a - 1f) zusätzlich eine Verringerung der Auflösung anzuwenden.
System (20) zur Verarbeitung stereoendoskopischer Bilddaten, mit einem Stereovideoendoskop (21) nach einem der Ansprüche 6 bis 10 und einer zur Übermittlung von stereoendoskopischen Bilddaten mit dem Stereovideoendoskop (21) verbundenen Auswertevorrichtung (29), dadurch gekennzeichnet, dass die Auswertevorrichtung (29) ausgebildet ist, Bilddaten des Bildsensorpaares (1a - 1f, 2a - 2f) des Stereovideoendoskops (21) zu verarbeiten, bei denen die Bilddaten eines Referenzbildsensors (1a - 1f) des Bildsensorpaares (1a - 1f, 2a - 2f) in ihrer Datenmenge gegenüber den Bilddaten eines Nebenbildsensors (2a - 2f) des Bildsensorpaares (1a - 1f, 2a - 2f) reduziert sind.
System (20) nach Anspruch 11, dadurch gekennzeichnet, dass die Ausleseelektronik des Stereovideoendoskops (21) und die Auswertevorrichtung (29) ausgebildet sind, das Verfahren nach einem der Ansprüche 1 bis 5 durchzuführen.